JP2006252138A - 運転者撮影装置および運転者監視装置 - Google Patents

運転者撮影装置および運転者監視装置 Download PDF

Info

Publication number
JP2006252138A
JP2006252138A JP2005067255A JP2005067255A JP2006252138A JP 2006252138 A JP2006252138 A JP 2006252138A JP 2005067255 A JP2005067255 A JP 2005067255A JP 2005067255 A JP2005067255 A JP 2005067255A JP 2006252138 A JP2006252138 A JP 2006252138A
Authority
JP
Japan
Prior art keywords
driver
mirror
infrared
face
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005067255A
Other languages
English (en)
Inventor
Shunji Ota
俊二 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2005067255A priority Critical patent/JP2006252138A/ja
Priority to DE602006005854T priority patent/DE602006005854D1/de
Priority to EP06110871A priority patent/EP1701290B1/en
Priority to AT06110871T priority patent/ATE426861T1/de
Priority to US11/371,778 priority patent/US7330124B2/en
Publication of JP2006252138A publication Critical patent/JP2006252138A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Heat Treatment Of Strip Materials And Filament Materials (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Electronic Switches (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 運転者の後方視界を妨げず、且つ眼及びその周辺部分を確実に撮影可能にする。
【解決手段】
運転者撮影装置は、運転席の前方の斜め上方に設置されるルームミラー1と、ルームミラー1の後方の斜め上方に設けられルームミラー1に向けて赤外線を照射するLED2と、運転者の顔面に対応する領域に向けて設置された赤外線に感度を有する赤外線カメラと4とを備えている。ルームミラー1は、可視光線を反射し赤外線を透過する第1の反射ミラー1aと、このミラー1aに対して角度θでその背後に設けられ赤外線を反射する第2の反射ミラー1bとで構成される。運転者3の後方視界は第1の反射ミラー1bで提供され、LED2から第1の反射ミラー1aと第2の反射ミラー1bとを介して運転者の顔面が照射された赤外線は赤外線カメラ4に進むことで、運転者3の顔画像が赤外線カメラ4で撮影される。
【選択図】 図2

Description

この発明は、自動車等の移動体において運転者の顔面を撮影するために好適な運転者撮影装置およびこの運転者撮影装置を用いた運転者監視装置に関する。
運転者の居眠り運転検知や脇見運転検知など自動車運転手の眼を中心とした顔面を画像撮影し運転者の状態を検知する安全技術が開発されている。
そのための画像撮影方法としては、ダッシュボードやインスツルメンツパネル、あるいはルームミラー周辺やルームミラー内部などに赤外線カメラを設置し、この赤外線カメラにより運転者の前方からその顔面を運転者を幻惑させたりすることがないように、且つ安定した照射が可能なように赤外線で直接撮影するようにしている。
ところが、運転者の顔面の位置は体格、姿勢、座席シートの設定状態により大きく変化するため、それらの撮影方法では、想定される顔面の存在範囲を十分にカバーする大きな画角の赤外線カメラを使用することが必要であり、さらに、そのようにして撮影された大きな画角の画像から顔面部分を特定する処理が必要である。そこで、適切に調整されたルームミラーを後方から見た場合にルームミラー内に運転手の眼部分が必ず映ることを利用して、ルームミラーを介して後方から撮像することにより、顔位置によらず常に眼部分の画像を取得する装置について提案されている(特許文献1)。
特開平11−304428号公報
しかしながら、上記特許文献1のものでは、以下に述べるような問題点があった。
(1)撮影装置の設置位置が制限される。特に眼部分が画像の中心となる画像を取得するためには、撮影装置をルームミラーから後方へと向かう直線上に設置させる必要がある。
(2)後方視界が部分的に撮影装置により隠蔽される。したがって、ルームミラー本来の機能である運転者に対する後方視界提供機能を妨げる。
(3)上記後方視界提供機能への妨げを小さくするには、撮影装置を小型にし、かつ撮影装置を可能な限りルームミラーから遠方へ配置する必要がある。
(4)撮影装置とルームミラーの距離を大きくすればするほど、ルームミラーを介して取得される画像は運転者の眼を中心とした狭い領域となり、眼以外の顔面の画像情報を得ることが困難になる。さらに、運転者の顔位置が変化した場合に画像内に眼部分が含まれなくなる可能性が増大する。
(5)撮影装置が運転者から視認されるため、運転者に対し監視されているという心理的圧迫感または不安感を与える。
この発明は、運転者の後方視界を妨げず、且つ眼の部分を確実に撮影する運転者撮影装置の提供を目的とする。
この発明の運転者撮影装置は、可視光線を反射し赤外線を透過する第1の反射手段と、該第1の反射手段に対して所定角θでその背後に設けられ赤外線を反射する第2の反射手段とを備え、運転席の前方の斜め上方に設置された後方監視ミラーと、
前記後方監視ミラーの後方の斜め上方に設置され、前記後方監視ミラーに向けて赤外線を照射する運転者照明装置と、
運転者の顔面に対応する領域に向けて設置された赤外線に感度を有するカメラと、を備えたことを特徴とする。カメラには、例えば赤外線カメラを使用することができる。
この発明では、第1の反射手段を従来のルームミラーとして使用することにより、後方視界からの可視光線は第1の反射手段で反射して運転者の眼に必ず届く。一方、後方監視ミラーの後方の斜め上方に前記後方監視ミラーに向けて赤外線を照射する運転者照明装置を設置することで、赤外線は後方監視ミラーの第1の反射手段を透過し第2の反射手段で反射して運転者の顔を照射する。運転者の顔で反射した赤外線は、例えばダッシュボード等に設けられた赤外線カメラで受光されることにより、運転者の顔画像が撮影される。
第1の反射手段と第2の反射手段のなす角度は所定角θに設定されているために、上記後方視界からの可視光線が後方監視ミラーに向かう方向と、上記赤外線が後方監視ミラーに向かう方向とは完全に異なる。この運転者照明装置により後方視界が妨げられることがない。
また、運転者照明装置が後方視界を妨げることがないため、第2の反射手段に接近した位置に設けたり、また、所定角θを適切な角度に設定することで自由度の高い位置に設置することが可能である。これにより、顔面の撮影位置や撮影領域の微調整が可能であり、眼の部分を含む広い範囲を撮影することも容易となる。
この発明の一つの実施態様では、前記第1の反射手段による後方視界の中心線に対して2θの方向に運転者照明装置が設置される。
一般の光学原理から、第1の反射手段と第2の反射手段とのなす角度がθであるとき、同一方向から第1の反射手段に入射した可視光線と赤外線は、それぞれ第1と第2の反射手段で反射されそれぞれの方向に進む。それぞれの反射光線の方向が互いになす角度は、第1の反射手段に入射した入射角にかかわらず常に2θである。このことは、光の進行方向が逆であっても同様となる。
したがって、運転者が第1の反射手段で後方を視認するように調整された状態においては、運転者照明装置は、運転者の顔位置にかかわらず、常に運転者の眼を中心とした顔面部分を後方視界を妨げることなく照射することができる。
前記赤外線カメラを、可視光線を透過せず赤外線を透過するカバーで覆うことにより、運転者からは赤外線カメラが見えなくなる。このため、赤外線カメラで監視されているような圧迫感がなくなる。
また、この発明の運転者撮影装置は、前記赤外線カメラを高ダイナミックレンジのCMOS赤外線カメラで構成したことを特徴とする。
さらに、この発明の運転者監視装置は、上記運転者撮影装置と、この運転者撮影装置で撮影された画像から運転者の顔または眼を検出し、検出した顔または眼の画像に基づいて運転者の状態を判定する画像認識装置と、を備えたことを特徴とする。
この発明では、高ダイナミックレンジのカメラ、例えば高ダイナミックレンジのCMOS赤外線カメラを使用することにより、明暗差が大きい環境下でも運転者の顔や眼の部分の画像を綺麗に撮影でき、これにより、照明無しまたは空間全体を照明した場合と比べて、顔の特定や顔の認識が容易になり、運転者の状態を判定する場合においても、正確な判定が可能になる。
この発明によれば、運転者の視界を確保しつつ、その視界中心線と異なった角度で運転者の顔、特に眼やその付近に対して赤外線を照射できるため、運転者の後方視界を遮らずに、運転者の顔、特に眼やその付近の画像を正確に撮影することができ、運転者が居眠り状態や脇見運転状態にあるかどうかを正確に判定することができる。
図1はこの発明の実施形態である運転者撮影装置の構成を示す図である。この運転者撮影装置は、ルームミラーの後方の斜め上方からルームミラーに向けて赤外線(近赤外線を含む。以下同様)を照射し反射させることで、運転者の顔面を赤外線照射する。運転者の前方やや下方には、赤外線カメラを設置し、運転者の顔面で反射された赤外線を受光することで運転者の顔を撮影する。
撮影された画像は、画像認識装置に入力されて、顔の認識、居眠り/脇見運転の検出・警告等に用いられる。
図1は自動車の車室を側面から表した図であるが、ルームミラー1は、車室内の中央前方の天井付近に、角度を調整可能に設けられている。このルームミラー1は、本発明の後方監視ミラーに対応している。
前記ルームミラー1は、運転者3が運転席に座ったとき、運転を開始する前に、このルームミラー1を介して後方の視界が確保できるように向き(角度)が調整される。運転者3は、ルームミラー1を介した視野がリアウィンドウ5をカバーできるように、すなわち、ルームミラー1およびリアウィンドウ5を介して後方の車両等を監視できるように調整する。このように調整されたときの運転者の後方の視野には、後述する赤外線照射手段が存在していない。
ルームミラー1の後方の斜め上方の天井部には、赤外線照射手段であるLED2が設けられている。このLED2の赤外線照射方向は、ルームミラー1に向けられる。ルームミラー1は、後述のように第1の反射ミラーとこの背後に角度θをもって取りつけられた第2の反射ミラーとで構成され、第1の反射ミラーは可視光線を反射して赤外線を透過し、第2の反射ミラーは赤外線を反射する特性のものが使用される。これにより、運転者の顔は、LED2からの赤外線が第1の反射ミラーを透過して第2の反射ミラーで反射することにより照射される。運転者の顔は運転中に大きく変動することはないため、LED2の照射範囲はレンズ等(不図示)で適当に絞られる。その照射範囲は、少なくともルームミラー1を含む領域であれば十分である。
ダッシュボード6には、運転者の顔で反射された赤外線を受光する赤外線カメラ4が設けられている。この赤外線カメラ4の設置場所は、ダッシュボード6の他、ステアリング(ハンドル部)の中央部など、運転者の顔部分を撮影可能な場所であればどこでも良い。
運転者の顔部分に照射された赤外線は上記赤外線カメラで受光されることにより、運転者の顔、特に眼及びその周辺部分の画像は赤外線カメラ4で撮像される。
前記赤外線カメラ4は、高ダイナミックレンジのCMOS赤外線カメラ(HDRC)であることが望ましい。すなわち、自動車の車内、特に運転席は、直接外界に視野が開けており、たとえば直射日光による高いコントラストや夜間の極めて低い照度など撮影条件としては劣悪な条件である。このような条件であっても、高ダイナミックレンジのCMOS赤外線カメラであれば、人間の網膜に近いダイナミックレンジを有し、光の強さに対する応答が対数的な関係になるようにされている。これにより、同一画面内における明るい被写体と暗い被写体の明暗比が1000万倍の0.01ルクス〜10万ルクスの高いダイナミックレンジで撮像が可能である。
これにより、直射日光に照らされた顔面など明暗差が激しい(コントラストの強い)被写体であっても、従来の撮像素子のように、ハイライト部は真っ白になったり、シャドウ部は真っ黒になってしまう「白飛び」や「黒つぶれ」の画像になることがない。
ダッシュボード6内には、上記LED2の発光制御や赤外線カメラ4の出力に基づく画像認識処理等を行う画像認識装置7が設けられている。
図2は上記ルームミラー1の構成を示す図である。図3は、ルームミラー1の具体的な構成図である。
このルームミラー1は、第1の反射ミラー1aと、この第1の反射ミラー1aに対して所定角θでその背後に設けられた第2の反射ミラー1bと、これらのミラー1a、1bを支持するハウジング1cと、ハウジング1cを保持し、車体に固定する支持アーム1dとで構成されている。運転者が良好な後方視界を得るよう調整可能なようにハウジング1cと支持アーム1dは回転可能な構造で接続され、上下左右方向に回転可能な構造となっている。第1の反射ミラー1aは、詳細については後述するコールドミラーで構成されている。
第1の反射ミラー1aと第2の反射ミラー1bとは、本実施形態では互いに所定角θを持って固定されるが、撮像しようとする顔面領域を変更する場合やLED2の位置を変更する場合などであれば角度を変更することが可能な構造であっても構わない。
第1の反射ミラー1aであるコールドミラーは、可視光線領域の光を反射し、LED2の発生する赤外線を透過する性質を持つ。本実施形態では、LED2の発生する赤外線は、波長950nmを中心として、900nmから1040nmの範囲の近赤外域にある。そこで、第1の反射ミラー1aは900nm以上の波長の光を透過し、かつ人間の眼の可視領域である400nmから700nmの光を反射する性質を持つ。本実施形態で使用するコールドミラーは、ガラス上の真空蒸着膜による干渉効果を原理とするものを使用するが、このような原理によらず、前記のような波長に応じた反射・透過の性質を持つものであれば、コールドミラーに代えて使用できる。
第2の反射ミラー1bは800nmから1040nmの波長の近赤外線を反射する鏡である。その波長の光を反射する性質を有しておれば、それ以外の波長は反射しても吸収しても透過しても構わない。本実施形態では、容易に低コストで入手できる、ガラスに銀メッキを施した鏡を使用する。
図3に示すように、ルームミラー1に対して後方視界中心線Aから入射した光のうち可視光線成分は第1の反射ミラー1aにより反射され、運転者の眼の方向Xに向かう。LED2から方向Yに発した赤外線は、第1の反射ミラー1aを透過し、第2の反射ミラー1bで反射し、さらに第1の反射ミラー1aを透過して方向Xに進む。方向Xは運転者の顔、特に眼の方向である。その赤外線は運転者の顔で反射してダッシュボードに設けられている赤外線カメラ4に進む。したがって、赤外線カメラ4により運転者の顔画像が撮影される。また、後方視界から入射した光のうち、第1の反射ミラー1aを透過した赤外線成分は第2の反射ミラー1bにより反射され運転者の眼と異なる方向Zへ向かう。
赤外線カメラ4は、運転者3の顔面の全体を撮影するに足る画角で撮影する。
光学原理から、第1の反射ミラー1aと第2の反射ミラー1bとのなす角度がθであるとき、同一方向から第1の反射ミラー1aに方向Xから入射した可視光線と赤外線は、それぞれ第1と第2の反射ミラー1a、1bで反射されそれぞれの方向に進むが、このとき、それぞれの反射光の方向が互いになす角度は、第1の反射ミラー1aに入射した入射角にかかわらず常に2θである。このことは、光の進行方向が逆であっても同様となる。したがって、方向Yから入射して第2の反射ミラー1bで反射して方向Xに進む赤外線と、方向Aから入射する可視光線とのなす角度は、方向Aからの可視光線の入射角にかかわらず、常に2θとなる。
ここで、方向Aは後方視界の中心に一致し、方向Xは運転者の眼の方向であり、方向YはLED2からの赤外線の照射方向である。
上記の構成において、運転者3は、第1の反射ミラー1aを通常の後方監視ミラーとして使用する一方、赤外線を視認できない運転者はLED2から照射され第2の反射ミラー1bで反射する赤外線を意識することはない。したがって、方向Aからの後方視界は第1の反射ミラー1aにより確保される。一方、LED2から照射される赤外線は第1の反射ミラー1aを透過し、第2の反射ミラー1bで反射し、さらに第1の反射ミラー1aを透過して運転者3の顔面を照射することにより、赤外線カメラ4により、運転者の顔画像が撮影される。したがって、運転者の顔画像は赤外線カメラ4で確実に撮影される。
第1の反射ミラー1aは、運転者3が後方を視認できるように調整されているから、運転者の顔位置がどこであっても、赤外線カメラ4では、常に、運転者の眼を中心とした領域で赤外線の照射された領域の顔画像を取得することができる。
以上の説明は、垂直面について述べたが、水平面についても同様である。すなわち、水平と垂直のそれぞれの平面において、後方視界の中心線Aから第1と第2の反射ミラー1a、1bのなす角度θの2倍の角度をなす位置にLED2を設置することで、常に運転者3の眼を中心とした顔画像を撮影することができる。そして、顔部分だけが照明されているために、その領域の探索が容易であり、処理量が大幅に軽減される。
図4は、LED2の内部構成図である。
点灯制御手段20は、投光の発光・非発光、および発光した場合の発光量を制御する。例えば撮影を行うときのみ発光し撮影しないときは非発光とすることにより無用な電力消費と発熱を避けることができる。あるいは、運転者の周囲に外部から赤外線が照射されているときには撮影に十分な強さになるに足るよう発光量を制御するような使い方も考えられる。さらには、赤外線カメラ4が画像を取得する瞬間に同期して発光する、あるいは発光時の画像と非発光時の画像を個別に取得し差を比較するというような使い方のための制御も考えられる。
LED駆動手段21は、点灯制御手段11からの指示に応じてLED部22に電流を供給して発光を制御する。駆動電流を制御することにより、発光する赤外線の強度を制御することができる。
LED部22は、LED駆動手段12から供給される電流により赤外線を発生するひとつまたは複数の赤外LED素子である。本実施例では、950nmを中心に800nmから1040nmの範囲の波長の近赤外線を発生する近赤外LED素子(例えばシャープ株式会社製GL381)を使用する。赤外LED素子の使用個数は、必要とされる光量と、個々の素子の発光光量により決まる。発光する赤外線の波長は、人間に殆ど不可視で、運転手顔面が撮像するのに適当な反射率を持ち、安価に入手でき、安価な撮像素子で撮影でき、空気中で大きく減衰しない、などの特性を持つ必要がある。本実施形態で使用する波長域はその要件を満たすが、要件を満たすのであれば他の波長域を使用しても構わないことはもちろんである。
レンズ23は、LED部22により発生された赤外線を、適切な拡がり角度を持つように収束させる。大きな領域に光線を照射してもルームミラー1で反射されて運転者の顔に照射される以外の光線は無駄になるので、本実施形態ではルームミラー1全体をちょうど照射するような拡がりを光線に与えている。ルームミラー1を含む円の半径を100mm、LED2からルームミラー1までの距離が300mmであるとして、適切な拡がり角度は 2*tan-1(100/300)、すなわち約37度である。また、そのとき、ルームミラー1の大きさを水平方向に200mm、垂直方向に50mmであるとし、ルームミラー1から運転者の顔面までの距離を400mmとすると、運転者の顔面が撮影される範囲は、垂直方向に116mm、水平方向に466mmとなり、運転者の眼を撮影するのに十分な大きさを持つ。光線の利用効率が問題とされない場合、あるいは赤外線LED素子自体が持つ発光指向性が適切な拡がり角を満たす場合であればレンズ23は不要である。
図5は赤外線カメラ4の構成図である。
赤外線カメラ4に入射した赤外線は画角制御手段40を経て、レンズ41により収束させられ、赤外線撮像素子42上に結像し電子データに変換されて、画像データ出力手段43により画像データとして出力される。
画角制限手段40は、撮影しようとする画像のルームミラー1以外の部分からの光を遮断するためのものである。ルームミラー1による反射光以外の光線は、不要であるばかりでなく、フレアやゴーストや迷光によるノイズの原因となり好ましくない。そのため、画角制限手段により赤外線撮像素子42に入射する光線を、ルームミラー1およびその周辺に制限することが望ましい。ルームミラー1は可動ではあるがその動きはハウジング1cと支持アーム1dとの接続部の回転機構を中心とした回転運動であることと、運転者が得るべき後方視界が車両のリアウィンドウ5を通しての視界であることから、その可動範囲は限定されており予測可能である。したがって、ルームミラー1が可動範囲内全体を撮影可能で範囲外が遮蔽されるような画角制限手段を使用することにより、必要以外の光線が赤外線撮像素子42に入射することを制限することができる。不要な光線による影響が問題にならない場合かあるいはレンズ41がそのような画角制限機能を併せ持つのであれば、画角制限手段40は無くても良い。
赤外線撮像素子42は、LED2が発生する波長の赤外線に対して十分な感度を持つものを使用する。本実施形態では、LED2が発生する赤外線の波長は950nmをピーク波長とする800nmから1040nmの波長域である。一般にシリコンフォトダイオードは可視光線領域のみならず、1100nm程度の波長の近赤外線領域までの感度を持つため、シリコンフォトダイオードの原理を使用して製作されたCCD,CMOSなどの撮像素子を使用した赤外線カメラが使用できる。例えば、ソニー社製のCCD撮像素子ICX429ALLの例では、950nmの波長においてもピーク感度の20%程度の感度を持つので本実施形態における赤外線撮像素子42として感度の点では好適である。同様の赤外感度を持つシリコンフォトダイオードを使用して製作された高ダイナミックレンジのCMOS赤外線カメラであればさらに好適である。また、外乱光の影響を小さくするために、可視光線を遮断し赤外線を透過するフィルタなどの手段を用いて撮像素子がLED2からの光の波長域以外の波長の光を感知しないようにしても良い。
赤外線カメラ4で取得された画像は画像認識装置7(図1参照)に送られる。
画像認識装置7は受け取った画像データを処理し、画像中の運転者顔面情報から自動車の安全機能や快適機能を実現するために必要な運転者の状態に関する情報を認識し出力する。運転者の顔画像から得られる運転者の状態により実現される機能は多様であり、本発明は認識機能を特定するものでは無いが、本実施形態では一例として脇見検知機能のための視線検出機能を持つものとする。
脇見検知を実現する一方法として、運転者の視線を検出し、視線方向が適切なタイミングで適切な方向を向いていることを判定する方法がある。視線を検知することによる方法は、別の実現方法である運手者の顔の向きにより判定する方法に比べて、実際の注視方向を検出するという点で高精度で確実度が高い。一方で、視線を検出する画像認識処理は、顔の向きを検出する画像認識処理に比べて大幅に高度な処理であり、入力される画像から運転者の眼を迅速かつ確実に検出することが要求される。本発明は、運転者の眼部分を撮影するものであるため、視線検出機能は本発明の実施形態として好適である。
図6に画像認識装置7の構成例を示す。
赤外線カメラ4から送られた画像データは眼検出手段70に送られる。眼検出手段70は、画像中から人間の眼を検出し、検出された眼部分画像データを視線検出手段71に送り、同時に眼検出の成否すなわち眼の検出結果の有無情報を判定手段に送る。
視線検出手段71は、眼部分の画像データから眼全体の形状と眼部分内の瞳の相対位置から視線方向を検出し、視線情報出力72として出力する。同時に、視線検出の成否すなわち視線の検出結果の有無情報を判定手段に送る。
判定手段73は、眼検出の有無情報と視線検出の有無情報から、眼の状態を判定し判定情報出力74として出力する。判定情報出力74に出力される情報は、例えば眼が検出されないときは眼検出失敗とされるが、これは運転者が前方を向いていない可能性があることを示す情報として利用される。あるいは、眼検出は成功したが、視線が検出されない場合は視線検出失敗とされ、これは運転者が眼を閉じている可能性があることを示す情報として利用される。あるいは、眼検出失敗にかかわらず視線検出が成功した場合は、何らかの画像認識処理上の誤認識が発生とした可能性が高いとするというような、視線情報出力の信頼度を示す情報として利用されることも可能である。
図7は、LED2の設置位置例を示す図である。
前記第2の反射ミラー1bと第2の反射ミラー1bとのなす角度θはゼロから90度の範囲で任意に設定可能である。このため、この角度θを調整することにより、LED2の設置位置の自由度を高くできる。例えば、図7(A)のように、LED2を第2の反射ミラー1bに近づけると運転者3の眼を中心とした広い範囲を照射することができ、反対に、図7(B)のように、LED2を第2の反射ミラー1bから遠ざけると運転者3の眼とその周辺の狭い範囲を照射することができる。いずれの場合も、LED2が後方視界を妨げることがないから運転者3はいつの場合も問題なく後方を監視することができる。また、運転者3の顔位置にかかわらず常に運転者の眼を含む領域だけを効率的に照射することができるため、LED2が出力すべき総光量は眼が存在する可能性のなる全領域を照明する場合に比して大幅に少なくて済み、コスト、省電力、小型化、発熱の点で有利となる。
なお、図3において説明したように、図8のように後方から赤外線を含む外光30、例えば後続車のヘッドライトの光などがルームミラー1に向けて照射されることがあり、その場合、従来のルームミラー1においては運転者3の顔面に強い赤外線が照射されることになるが、本実施形態では、この方向からの外光30は、図示のように第1の反射ミラー1bを通過し、第2の反射ミラー1bにより運転者3の顔面と異なる方向Zに反射されるため、撮影画像に影響を及ぼすことがない。
また、図8において、可視光線を透過せず、赤外線を透過するカバー31で赤外線カメラ4の受光部を覆うことにより、運転者3からは赤外線カメラ4が完全に隠蔽される。このように構成することで、運転者3に対する心理的圧迫感をなくし、また、内装デザイン上の制約もなくすことができる。
なお、この実施形態は、自動車に適用した例を示したが、自動車以外に、鉄道車両、船舶等に適用することも可能である。
この発明の実施形態である運転者撮影装置の構成を説明する図 ルームミラー1の構成を示す図 ルームミラー1の具体的な構成を示す図 LED2の構成を示す図 赤外線カメラ4の構成を示す図 画像認識装置7の構成を示す図 赤外線カメラ4の設置例を示す図 赤外線カメラ4を隠蔽するカバーを示す図
符号の説明
1−ルームミラー
1a−第1の反射ミラー
1b−第2の反射ミラー
2−(近赤外高輝度)LED
3−運転者
4−赤外線カメラ
7−画像認識装置

Claims (5)

  1. 可視光線を反射し赤外線を透過する第1の反射手段と、該第1の反射手段に対して所定角θでその背後に設けられ赤外線を反射する第2の反射手段とを備え、運転席の前方の斜め上方に設置された後方監視ミラーと、
    前記後方監視ミラーの後方の斜め上方に設置され、前記後方監視ミラーに向けて赤外線を照射する運転者照明装置と、
    運転者の顔面に対応する領域に向けて設置された赤外線に感度を有するカメラと、
    を備えたことを特徴とする運転者撮影装置。
  2. 前記運転者照明装置は、前記第1の反射手段による後方視界の中心線に対して2θの方向に設置したことを特徴とする請求項1記載の運転者撮影装置。
  3. 前記赤外線カメラを覆い、可視光線を透過せず赤外線を透過するカバーを設けたことを特徴とする請求項1又は2記載の運転者撮影装置。
  4. 前記赤外線カメラは、高ダイナミックレンジのカメラである請求項1〜3のいずれかに記載の運転者撮影装置。
  5. 請求項1〜4のいずれかに記載の運転者撮影装置と、
    この運転者撮影装置で撮影された画像から運転者の顔または眼を検出し、検出した顔または眼の画像に基づいて運転者の状態を判定する画像認識装置と、
    を備えた運転者監視装置。
JP2005067255A 2005-03-10 2005-03-10 運転者撮影装置および運転者監視装置 Pending JP2006252138A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005067255A JP2006252138A (ja) 2005-03-10 2005-03-10 運転者撮影装置および運転者監視装置
DE602006005854T DE602006005854D1 (de) 2005-03-10 2006-03-08 Bilderfassungsvorrichtung für Fahrer
EP06110871A EP1701290B1 (en) 2005-03-10 2006-03-08 Image capturing apparatus for vehicle driver
AT06110871T ATE426861T1 (de) 2005-03-10 2006-03-08 Bilderfassungsvorrichtung fur fahrer
US11/371,778 US7330124B2 (en) 2005-03-10 2006-03-09 Image capturing apparatus and monitoring apparatus for vehicle driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005067255A JP2006252138A (ja) 2005-03-10 2005-03-10 運転者撮影装置および運転者監視装置

Publications (1)

Publication Number Publication Date
JP2006252138A true JP2006252138A (ja) 2006-09-21

Family

ID=36616759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005067255A Pending JP2006252138A (ja) 2005-03-10 2005-03-10 運転者撮影装置および運転者監視装置

Country Status (5)

Country Link
US (1) US7330124B2 (ja)
EP (1) EP1701290B1 (ja)
JP (1) JP2006252138A (ja)
AT (1) ATE426861T1 (ja)
DE (1) DE602006005854D1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015549A (ja) * 2007-07-04 2009-01-22 Omron Corp 脇見検出装置および方法、並びに、プログラム
JP2010217955A (ja) * 2009-03-13 2010-09-30 Omron Corp 検出装置、評価装置および方法、並びに、プログラム
JP2011207444A (ja) * 2010-03-30 2011-10-20 Denso Corp 車両用制御装置及び車両用保安システム
US8308325B2 (en) 2007-08-07 2012-11-13 Murakami Corporation Image pickup device-equipped rear-view mirror
JP2013103530A (ja) * 2011-11-10 2013-05-30 Denso Corp 状態監視装置
WO2024165997A1 (en) * 2023-02-09 2024-08-15 Gentex Corporation Mirror rotation calibration

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5122782B2 (ja) * 2006-09-19 2013-01-16 株式会社デンソー 車両運転者撮影用カメラの搭載構造
JP2009136551A (ja) * 2007-12-07 2009-06-25 Denso Corp 車両用顔特徴量検出装置及び顔特徴量検出方法
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
US8120476B2 (en) * 2009-07-22 2012-02-21 International Truck Intellectual Property Company, Llc Digital camera rear-view system
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
US20130188825A1 (en) * 2012-01-19 2013-07-25 Utechzone Co., Ltd. Image recognition-based startup method
DE102012208822A1 (de) * 2012-05-25 2013-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
US9834221B2 (en) * 2012-10-19 2017-12-05 Autoliv Development Ab Driver attentiveness detection method and device
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9141996B2 (en) * 2013-03-10 2015-09-22 State Farm Mutual Automobile Insurance Company Dynamic auto insurance policy quote creation based on tracked user data
US20150149020A1 (en) * 2013-11-22 2015-05-28 Willis Dean Smith Method and apparatus for monitoring use of mobile communications in a vehicle
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10223479B1 (en) 2014-05-20 2019-03-05 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature evaluation
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9278696B2 (en) * 2014-06-14 2016-03-08 Ge Yi Vehicle onboard safety system
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
US20210118249A1 (en) 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair
KR101619651B1 (ko) 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
US9805601B1 (en) 2015-08-28 2017-10-31 State Farm Mutual Automobile Insurance Company Vehicular traffic alerts for avoidance of abnormal traffic conditions
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10308246B1 (en) 2016-01-22 2019-06-04 State Farm Mutual Automobile Insurance Company Autonomous vehicle signal control
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
DE102016213066B4 (de) * 2016-07-18 2020-10-01 Volkswagen Aktiengesellschaft Vorrichtung zur Fahrerbeobachtung
US10821987B2 (en) 2016-07-20 2020-11-03 Ford Global Technologies, Llc Vehicle interior and exterior monitoring
US20190034743A1 (en) * 2017-07-26 2019-01-31 Benoit CHAUVEAU Dashboard embedded driver monitoring system
FR3087029B1 (fr) * 2018-10-08 2022-06-24 Aptiv Tech Ltd Systeme de detection faciale d’un conducteur et methode associee
CN110826409A (zh) * 2019-10-09 2020-02-21 北京集光通达科技股份有限公司 道路监控装置和方法
US11582425B2 (en) 2020-06-10 2023-02-14 Magna Electronics Inc. Driver monitoring system using camera with adjustable mirror
TWM619972U (zh) * 2020-11-10 2021-11-21 佳能企業股份有限公司 行駛系統的操控裝置
DE102020214910A1 (de) * 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überwachung eines Fahrzeuginnenraums

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1076880A (ja) * 1996-09-05 1998-03-24 Murakami Corp 撮影機能付きバックミラー
JP2000225893A (ja) * 1999-02-08 2000-08-15 Tokai Rika Co Ltd インナーミラー
JP2002316580A (ja) * 2001-04-24 2002-10-29 Murakami Corp カメラ内蔵ミラー装置
JP2004058799A (ja) * 2002-07-26 2004-02-26 Murakami Corp 車載用乗員撮影装置
JP2005247014A (ja) * 2004-03-01 2005-09-15 Denso Corp 車載カメラシステム
JP2005271876A (ja) * 2004-03-26 2005-10-06 Denso Corp 撮影装置及びサンバイザ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400835B1 (en) * 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
US6700692B2 (en) * 1997-04-02 2004-03-02 Gentex Corporation Electrochromic rearview mirror assembly incorporating a display/signal light
JPH11304428A (ja) 1998-04-22 1999-11-05 Matsushita Electric Ind Co Ltd 運転者監視装置及び自動車運転支援システム
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1076880A (ja) * 1996-09-05 1998-03-24 Murakami Corp 撮影機能付きバックミラー
JP2000225893A (ja) * 1999-02-08 2000-08-15 Tokai Rika Co Ltd インナーミラー
JP2002316580A (ja) * 2001-04-24 2002-10-29 Murakami Corp カメラ内蔵ミラー装置
JP2004058799A (ja) * 2002-07-26 2004-02-26 Murakami Corp 車載用乗員撮影装置
JP2005247014A (ja) * 2004-03-01 2005-09-15 Denso Corp 車載カメラシステム
JP2005271876A (ja) * 2004-03-26 2005-10-06 Denso Corp 撮影装置及びサンバイザ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015549A (ja) * 2007-07-04 2009-01-22 Omron Corp 脇見検出装置および方法、並びに、プログラム
US8308325B2 (en) 2007-08-07 2012-11-13 Murakami Corporation Image pickup device-equipped rear-view mirror
JP2010217955A (ja) * 2009-03-13 2010-09-30 Omron Corp 検出装置、評価装置および方法、並びに、プログラム
JP2011207444A (ja) * 2010-03-30 2011-10-20 Denso Corp 車両用制御装置及び車両用保安システム
JP2013103530A (ja) * 2011-11-10 2013-05-30 Denso Corp 状態監視装置
WO2024165997A1 (en) * 2023-02-09 2024-08-15 Gentex Corporation Mirror rotation calibration

Also Published As

Publication number Publication date
US20060202843A1 (en) 2006-09-14
EP1701290A1 (en) 2006-09-13
US7330124B2 (en) 2008-02-12
DE602006005854D1 (de) 2009-05-07
EP1701290B1 (en) 2009-03-25
ATE426861T1 (de) 2009-04-15

Similar Documents

Publication Publication Date Title
JP2006252138A (ja) 運転者撮影装置および運転者監視装置
JP2006248365A (ja) 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置
US10095914B2 (en) Image pickup device, near infrared light emission device, and sunvisor
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
CN105620386B (zh) 驾驶者监控装置和用于控制其照明器的方法
JP2002316580A (ja) カメラ内蔵ミラー装置
JP5368771B2 (ja) 乗員監視装置
JP4269998B2 (ja) 撮影装置
JP2024133363A (ja) カメラユニットおよび乗員監視システム
JP2007029712A (ja) 視線検出装置
JP2007316036A (ja) 車両の乗員検知装置
CN110789455B (zh) 车外后视镜和车辆
JP5352266B2 (ja) 防眩装置
KR102320030B1 (ko) 차량의 내부 감시용 카메라 시스템
JP6572809B2 (ja) 画像処理装置
JP5206190B2 (ja) ドライバー監視装置
WO2014061175A1 (ja) 状態監視装置
JPH06178302A (ja) 運転者撮影装置
JP2009096323A (ja) カメラ照明制御装置
JP2008160365A (ja) 撮影装置
JP2021002181A (ja) 検出システム
JP7537366B2 (ja) 乗員撮像装置
JP2020082974A (ja) 車室内撮像装置
KR102280027B1 (ko) 차량내부용 카메라 시스템
JP2000185032A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110105