JP2008094221A - 目状態検出装置および目状態検出装置の取り付け方法 - Google Patents

目状態検出装置および目状態検出装置の取り付け方法 Download PDF

Info

Publication number
JP2008094221A
JP2008094221A JP2006277304A JP2006277304A JP2008094221A JP 2008094221 A JP2008094221 A JP 2008094221A JP 2006277304 A JP2006277304 A JP 2006277304A JP 2006277304 A JP2006277304 A JP 2006277304A JP 2008094221 A JP2008094221 A JP 2008094221A
Authority
JP
Japan
Prior art keywords
light source
camera
vehicle
driver
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006277304A
Other languages
English (en)
Inventor
Takashi Komura
敬司 甲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2006277304A priority Critical patent/JP2008094221A/ja
Priority to US11/902,668 priority patent/US8144992B2/en
Priority to DE102007047643A priority patent/DE102007047643A1/de
Priority to CN2007101801399A priority patent/CN101161200B/zh
Publication of JP2008094221A publication Critical patent/JP2008094221A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】車両のドライバの目の状態を検出する技術において、光源の配置を工夫することで、目の検出ができなくなるような状況の発生頻度を低減する。
【解決手段】このように、右側近赤外照明1と、左側近赤外照明2と、右側近赤外照明1および左側近赤外照明2によって照らされた車両のドライバの目を撮影するためのカメラ3と、カメラ3によって撮影された目の状態に基づいた制御を実行するECU4と、を備えた目状態検出装置50において、右側近赤外照明1を、カメラ3よりもドライバの座席から向かって右側に配置し、かつ、右側近赤外照明1の光軸11を、カメラ3の撮影方向31に対して右に15°〜45°傾いて配置し、左側近赤外照明2を、カメラ3よりもドライバの座席から向かって左側に配置し、かつ、左側近赤外照明2の光軸21はカメラ3の撮影方向31に対して左に15°〜45°傾いて配置することで、目状態検出装置50を車室内に設置する。
【選択図】 図1

Description

本発明は、車両のドライバの目の状態を検出する装置、およびその装置の取り付け方法に関する。
従来、車両のドライバの目の状態(例えば、まばたき、視線方向)を検出する目状態検出装置が提案されている。例えば特許文献1に開示された目状態検出装置は、ドライバの顔を照らすための光源、照らされたドライバの顔を前面から撮影するカメラ、および、カメラが撮影した顔の画像から目の状態を検出する画像処理部を備えている。
さらにこの特許文献1では、光源をカメラに対して上下左右の離れた位置に配置することで、光源からの光軸方向とカメラの撮影方向との成す角が少なくとも約20°〜30°以上となるようにしている。これは、光源から照射される光がドライバのメガネのレンズによって反射され、その反射光がカメラの撮像レンズに入射することを防ぐための配置である。
特開平9−21611号公報
発明者は、特許文献1においては、メガネレンズによる反射光がカメラの撮像レンズに入射することを防ぐための光源の設置位置が、1箇所のみであることに着目した。発明者の検討および実験によって、このような場合にはある問題が発生することがわかった。
この問題について説明するために、図15に、光源101の光軸方向をカメラ102の撮影方向(すなわちカメラ102のレンズの光軸方向)に対して右側にオフセットした例を示す。ここで、光源101の光軸方向は、光源101から、ドライバ席に座ったときのドライバ100の頭部の推定位置までの方向となっている。そして、撮影方向は、カメラ102から当該推定位置までの方向となっている。
図16〜図18に、このような場合にカメラ102によって生成されるドライバ100の顔の撮影画像を示す。
図16は、ドライバ100の顔がカメラ102に対して真正面に向いている場合の撮影画像である。この場合、顔の光源101から遠い側が陰になり、その結果当該陰部分の画像が暗くなる。したがって、画像処理部において陰側の目を検出することが困難になる。メガネレンズによる光源101からの光の反射の影響103、104を軽減するには、光源101の光軸とカメラ102の撮影方向との成す角を広くすることは有効であるが、両方向間の角度差を大きくすればするほど、この陰による悪影響は顕著になる。
図17は、ドライバ100の顔が、カメラ102の光源101のない側、すなわち、ドライバ100から見て左側を向いた場合の撮影画像である。この場合、顔の表面のほとんどが光源の光が当たらない陰となり、顔全体の画像が暗くなってしまうので、画像処理部において目を検出することが極めて困難になる。
図18は、ドライバ100の顔が光源101とカメラ102の中間の方向を向いている場合の、カメラ102の撮影画像である。この場合、両方のメガネレンズに目と重なった反射光103、104が発生し、画像処理部において両眼とも目を検出できないという状態が発生する。
このように、単に光源の光軸方向をカメラの光軸に対して左右にオフセットしただけでは、ほとんどの顔向き方向において目の検出が困難になる状況が発生し、運転中の多くの時間帯において、本来の目的である目の検出を行うことが困難となる。
また、図19に、光源101の光軸方向をカメラ102の撮影方向に対して上側にのみオフセットした例、すなわち、光源101をカメラ102の鉛直下方に離して配置した例を示す。
図20および図21に、図19の例においてドライバ100の顔が水平方向および上方向を向いている場合の、カメラ102の撮影画像を示す。これらの場合においては、メガネレンズの反射によって発生する輝点103、104は、目の位置からずれる。
しかし、発明者の検討および実験によれば、図19の例においては、以下のような問題が発生する。
図22に、図19の例においてドライバ100の顔が光源101よりも下を向いている場合の、カメラ102の撮影画像を示す。また、図23に、図19の例においてドライバ100の顔が光源101とカメラ102の中間方向を向いている場合の、カメラ102の撮影画像を示す。これらのように顔が少し俯き加減、もしくは下向き加減になった場合は、両方のメガネレンズに目と重なった輝点103、104が発生し、両眼とも目を検出できないという状態が発生する。このような顔の向きは、車両の運転操作や車室内機器操作などをする際などに、相当の頻繁で発生するため、運転時間における一定の時間帯においては、両眼とも目を検出できないという状態が発生する。
また、図24に示すように、ドライバ100がメガネを少し下向きに装着することが少なからずある。その場合には、光源101の光軸とカメラ102の撮影方向を上下にずらしたにも関わらず、図25に示すように100が水平方向を向いたときに、メガネレンズの反射による輝点が発生してしまうという不具合が発生する。
このように、光源の光軸方向をカメラの光軸に対して上下にオフセットしただけでは、ほとんどの顔向き方向において目の検出が困難になる状況が発生し、運転中の多くの時間帯において、本来の目的である目の検出を行うことが困難である。
本発明は上記点に鑑み、車両のドライバの目の状態を検出する目状態検出装置の技術において、光源の配置を工夫することで、目の検出ができなくなるような状況の発生頻度を従来よりも低減することを目的とする。
上記の目的を達成するための本発明の第1の特徴は、第1の光源(1)と、第2の光源(2)と、第1の光源(1)および第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置において、第1の光源(1)は、カメラ(3)よりもドライバの座席から向かって右側に配置され、かつ、第1の光源(1)の光軸方向(11)はカメラ(3)の撮影方向(31)に対して右に傾いて配置され、第2の光源(2)は、カメラ(3)よりもドライバの座席から向かって左側に配置され、かつ、第2の光源(2)の光軸方向(21)はカメラ(3)の撮影方向(31)に対して左に傾いて配置されていることである。ここで、カメラの撮影方向とは、カメラから撮影対象領域の中心への方向をいい、光源の光軸方向とは、光源から照射対象の中心までの方向をいう。
このように、第1の光源と第2の光源がそれぞれカメラの左右側に配置され、かつ、第1の光源と第2の光源の光軸方向がそれぞれカメラの撮影方向に対して左右に傾いているので、ドライバの顔の両側から顔に向けて光が当たる。したがって、顔に陰ができる可能性が低減される。
そしてこの場合、発明者の実験結果によれば、ドライバの顔がカメラの正面を向いている場合には、第1および第2の光源によってメガネレンズ上に輝点が発生した場合でも、その輝点は、眼鏡レンズの左右両端寄りに発生する場合が多くなるので(図5参照)、両目の輪郭に輝点が重畳する可能性が低減する。
また、発明者の実験によれば、顔が右側を向いている場合には、右側の眼鏡レンズには、右目の輪郭と重畳する輝点が発生する場合があるが、左側の眼鏡レンズには、左目の輪郭と重畳する輝点は発生しない場合が多くなる(図6参照)。
また、発明者の実験によれば、顔が左側を向いている場合には、左側の眼鏡レンズには、左目の輪郭と重畳する輝点が発生する場合があるが、右側の眼鏡レンズには、右目の輪郭と重畳する輝点は発生しない場合が多くなる(図7参照)。
このように、光源を複数用意し、それら光源の配置をカメラの左右両側に分け、それらの光軸方向をカメラの撮影方向に対して傾けることで、車両のドライバの目の状態を検出する目状態検出装置の技術において、目の検出ができなくなるような状況の発生頻度が低減される。
なお、右側、左側に配置されるということは、カメラから水平方向右側、左側に配置される場合のみならず、カメラから斜め方向右側、左側に配置される場合も含むものである。
またこのとき、第1の光源(1)の光軸方向(11)は、カメラ(3)の撮影方向(31)に対して右に15°以上傾いて配置され、第2の光源(2)の光軸方向(21)は、カメラ(3)の撮影方向(31)に対して左に15°以上傾いて配置されるようになっていてもよい。
発明者の実験によれば、このような場合には、車両のドライバの目の状態を検出する目状態検出装置の技術において、目の検出ができなくなるような状況の発生頻度が、ほとんどの種類のメガネ、ほとんどのメガネのかけ方においても、ゼロに近くなる。
また、本発明の第2の特徴は、目状態検出装置において、カメラ(3)は、ドライバの座席の正面方向に配置され、第1の光源(1)は、カメラ(3)よりも当該正面方向から向かって右側に配置され、かつ、第1の光源(1)の光軸方向(11)は正面方向に対して左に傾いて配置され、第2の光源(2)は、カメラ(3)よりも正面方向から向かって左側に配置され、かつ、第2の光源(2)の光軸方向(21)は正面方向に対して右に傾いて配置される。
この場合も、第1の光源と第2の光源がそれぞれカメラの左右側に配置され、かつ、第1の光源と第2の光源の光軸方向がそれぞれカメラの撮影方向に対して左右に傾いているので、ドライバの顔の両側から顔に向けて光が当たる。したがって、顔に陰ができる可能性が低減される。
そしてこの場合、発明者の上述の実験結果によれば、ドライバの顔がカメラの正面を向いている場合、右側を向いている場合、左側を向いている場合において、両目の輪郭に輝点が重畳する可能性が低減する。したがって、目の検出ができなくなるような状況の発生頻度が低減される。
またこのとき、第1の光源(1)の光軸方向(11)は当該正面方向から向って左側に15°以上傾いて配置され、第2の光源(2)の光軸方向(21)は当該正面方向から向って右側に15°以上傾いて配置されるようになっていてもよい。
発明者の実験によれば、このような場合には、車両のドライバの目の状態を検出する目状態検出装置の技術において、目の検出ができなくなるような状況の発生頻度が、ほとんどの種類のメガネ、ほとんどのメガネのかけ方においても、ゼロに近くなる。
また、本発明の第1および第2の特徴において、第1の光源(1)の光軸方向(11)は、第2の光源(2)の光軸方向(21)に対してさらに上下に傾いていてもよい。このようになっている場合、第1の光源によって発生する右目のメガネレンズ上の輝点の位置と、第2の光源によって発生する左目のメガネレンズ上の輝点の位置とが上下にずれる(図11〜図13参照)。したがって、両目が同時に輝点に重なる可能性が更に低減される。
そしてこの場合、第1の光源(1)の光軸方向(11)は、第2の光源(2)の光軸方向(21)に対して上下に15°以上傾いていてもよい。この場合、上記の効果がより顕著になる。
また、本発明の第3の特徴は、目状態検出装置において、カメラ(3)は、車両の車室内における、ドライバの座席の正面方向に配置され、第1の光源(1)は、車室内のドライバの座席の前方の部位に配置され、かつ、カメラ(3)よりも車両の右方向に20センチメートル以上ずれて配置され、第2の光源(2)は、車室内の前端部のうちドライバの座席の前方の部位に配置され、かつ、カメラ(3)よりも車両の左方向に20センチメートル以上ずれて配置されていることである。
この場合も、第1の光源と第2の光源がそれぞれカメラの左右側に配置されるので、ドライバの顔の両側から顔に向けて光が当たる。また、各光源のカメラからの左右のずれが20センチ程度である。一般に、車室内の前端部のうちドライバの座席の前方の部位からドライバの頭までの距離は、70センチ程度になるものと考えれば、各光源のカメラからの左右のずれが20センチ程度である状態は、ドライバの頭の位置から見て正面の左右に15°以上、光源がカメラから離れている状態に相当する。
このような場合、発明者の実験によれば、車両のドライバの目の状態を検出する目状態検出装置の技術において、目の検出ができなくなるような状況の発生頻度が、ほとんどの種類のメガネ、ほとんどのメガネのかけ方においても、ゼロに近くなる。
またこのとき、第1の光源(1)および第2の光源(2)は、互いに車両の上下に20センチメートル以上ずれて配置されていてもよい。この場合、第1の光源によって発生する右目のメガネレンズ上の輝点の位置と、第2の光源によって発生する左目のメガネレンズ上の輝点の位置とが上下にずれる効果が顕著に現れ、両目が同時に輝点に重なる可能性が更に低減される。
また、本発明の第4の特徴は、目状態検出装置において、第1の光源(1)は、カメラ(3)よりもドライバの座席の頭位置から向かって15°以上右側に配置され、第2の光源(2)は、前記カメラ(3)よりも頭位置から向かって15°以上左側に配置されることである。
なお、ここでいう「頭位置」は、ドライバ席のヘッドレストの前方10センチメートル程度の位置とする。また、ヘッドレストの位置は、ドライバ席の着座部に対して背もたれ部を正常な運転姿勢が保てる角度に(あるいは垂直に)立てたときの、背もたれ部の直上位置とする。また、着座部の位置は、着座部を最も車内前方に移動した位置と、着座部を最も車内後方に移動した位置と、の中央位置とする。
この場合も、ドライバの顔の両側から顔に向けて光が当たる。したがって、顔に陰ができる可能性が低減される。また、発明者の実験によれば、両目が同時にメガネレンズ上の輝点と重なる可能性が顕著に低減される。したがって、目の検出ができなくなるような状況の発生頻度が、ほとんどの種類のメガネ、ほとんどのメガネのかけ方においても、ゼロに近くなる。
また、本発明の第5の特徴は、目状態検出装置において、カメラ(3)は、車両のステアリングコラム筐体上またはメータパネル内に取り付けられ、第1の光源(1)は、車両の右フロントピラー、車両の右フロントドアの前端部、ダッシュボード筐体の右端部、のうちいずれか1つに取り付けられ、第2の光源(2)は、車両のルームミラー、車両の天井部のうち前記車両のルームミラーの根元の近傍、車両のダッシュボード内の中央上端部近傍、ダッシュボード中央近傍の筐体上のうちいいずれか1つに取り付けられていてもよい。
この場合も、ドライバの顔の両側から顔に向けて光が当たる。したがって、顔に陰ができる可能性が低減される。また、発明者の実験によれば、両目が同時にメガネレンズ上の輝点と重なる可能性が低減される。したがって、目の検出ができなくなるような状況の発生頻度が低減される。上述のような位置に光源を取り付けることが、ドライバの視界を遮らないという観点からも、有効である。
また、本発明の第6の特徴は、目状態検出装置において、カメラ(3)は、トラックのステアリングコラム筐体上またはメータパネル内またはダッシュボード筐体上に取り付けられ、第1の光源(1)は、当該トラックの右フロントピラー、前記車両の右フロントドアの前端部、ダッシュボード筐体の右端部、のうちいずれか1つに取り付けられ、第2の光源(2)は、トラックのルームミラー、前記トラックのルームミラーの根元の近傍、前記トラックのダッシュボード内の中央上端部近傍、ダッシュボード中央近傍の筐体上、のうちいいずれか1つに取り付けられることを特徴とする目状態検出装置。
この場合も、ドライバの顔の両側から顔に向けて光が当たる。したがって、顔に陰ができる可能性が低減される。また、発明者の実験によれば、両目が同時にメガネレンズ上の輝点と重なる可能性が低減される。したがって、目の検出ができなくなるような状況の発生頻度が低減される。
また、本発明の第1の特徴は、当該第1の光源(1)を、当該カメラ(3)よりも当該ドライバの座席から向かって右側に配置し、かつ、当該第1の光源(1)の光軸方向(11)を、当該カメラ(3)の撮影方向(31)に対して右に傾けて配置し、当該第2の光源(2)を、当該カメラ(3)よりも当該ドライバの座席から向かって左側に配置し、かつ、当該第2の光源(2)の光軸方向(21)を、当該カメラ(3)の撮影方向(31)に対して左に傾けて配置することを特徴とする目状態検出装置の取り付け方法としても捉えることができる。
また、本発明の第2の特徴は、当該カメラ(3)を、当該ドライバの座席の正面方向に配置し、当該第1の光源(1)を、当該カメラ(3)よりも当該正面方向から向かって右側に配置し、かつ、当該第1の光源(1)の光軸方向(11)を、当該正面方向に対して左に傾いて配置され、当該第2の光源(2)は、当該カメラ(3)よりも当該正面方向から向かって左側に配置され、かつ、当該第2の光源(2)の光軸方向(21)は当該正面方向に対して右に傾けて配置することを特徴とする目状態検出装置の取り付け方法として捉えることができる。
また、本発明の第3の特徴は、当該カメラ(3)を、当該車両の車室内における、当該ドライバの座席の正面方向に配置し、当該第1の光源(1)を、当該車室内の当該ドライバの座席の前方の部位に配置し、かつ、当該カメラ(3)よりも当該車両の右方向に20センチメートル以上ずらして配置し、当該第2の光源(2)を、当該車室内の当該ドライバの座席の前方の部位に配置し、かつ、当該カメラ(3)よりも当該車両の左方向に20センチメートル以上ずらして配置することを特徴とする目状態検出装置の取り付け方法としても捉えることができる。
また、本発明の第4の特徴は、第1の光源(1)と、第2の光源(2)と、当該第1の光源(1)および当該第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、当該カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を当該車両に取り付ける方法であって、当該第1の光源(1)を、当該カメラ(3)よりも当該ドライバの座席の頭位置から向かって15°以上右側に配置し、当該第2の光源(2)を、当該カメラ(3)よりも当該頭位置から向かって15°以上左側に配置することを特徴とする目状態検出装置の取り付け方法としても捉えることができる。
また、本発明の第5の特徴は、当該カメラ(3)を、当該車両のステアリングコラム筐体上またはメータパネル内に取り付け、当該第1の光源(1)は、当該車両の右フロントピラー、当該車両の右フロントドアの前端部、ダッシュボード筐体の右端部、のうちいずれか1つに取り付け、当該第2の光源(2)は当該車両のルームミラー、当該車両の天井部のうち当該車両のルームミラーの根元の近傍、当該車両のダッシュボード内の中央上端部近傍、前記車両のダッシュボード中央近傍の筐体上のうちいいずれか1つに取り付けることを特徴とする目状態検出装置の取り付け方法としても捉えることができる。
また、当該カメラ(3)を、当該トラックのステアリングコラム筐体上またはメータパネル内またはダッシュボード筐体上に取り付け、当該第1の光源(1)を、当該トラックの右フロントピラー、前記トラックのルームミラーの根元の近傍、前記トラックの右フロントドアの前端部、ダッシュボード筐体の右端部、のうちいずれか1つに取り付け、当該第2の光源(2)を、当該トラックのルームミラー、前記車両のダッシュボード内の中央上端部近傍、ダッシュボード中央近傍の筐体上、のうちいいずれか1つに取り付けることを特徴とする目状態検出装置の取り付け方法としても捉えることができる。
なお、上記特許請求の範囲における括弧内の符号は、後述の実施形態に、特許請求の範囲に記載された成要素等の一例として記載される具体物等との対応関係を示すものである。
(第1実施形態)
以下、本発明の第1実施形態について説明する。図1に、本実施形態に係る目状態検出装置50の車室への取り付け状態を概略的に示す。目状態検出装置50は、右側近赤外照明1、左側近赤外照明2、カメラ3、およびECU4を有している。
右側近赤外照明1および左側近赤外照明2は、車室内のドライバ席の前方部分に取り付けられたLED等の光源であり、それぞれ光円錐5および6に示すような広がりを有する近赤外光を、ドライバ席に着座するドライバの頭部に照射するようになっている。なお、右側近赤外照明1および左側近赤外照明2の点等、消灯は、ECU4からの信号によって制御される。
カメラ3は、ECU4からの制御に基づいて、ドライバ席に着座した状態のドライバの顔部分を撮影し、その撮影の結果生成した顔の撮影画像を示す信号を、ECU4に出力するようになっている。
ECU4は、ダッシュボードのドライバ席側方部分の内部等、車室の目立たない部分に搭載され、右側近赤外照明1、左側近赤外照明2、およびカメラ3を制御し、カメラ3から撮影画像を取得する。
図2に、右側近赤外照明1、左側近赤外照明2、カメラ3、およびECU4間の電気的接続状態およびECU4の構成をブロック図で示す。この図に示す通り、ECU4は、撮像制御部41、画像入出力部42、画像処理部43、およびシステム制御・演算部44を有している。これらECU4の構成要素41〜44は、それぞれ例えば周知のマイコンによって構成されていてもよい。
システム制御・演算部44は、繰り返し(例えば定期的に)訪れる撮影タイミングにおいて、画像処理部43に撮影要求コマンドを出力する。画像処理部43は、システム制御・演算部44から受けた撮影要求コマンドを画像入出力部42に出力する。画像入出力部42は、画像処理部43から受けた撮影要求コマンドを撮像制御部41に出力する。撮像制御部41は、画像入出力部42から撮影要求コマンドを受けたことに基づいて、カメラ3を制御してカメラ3にドライバの顔の撮影を行わせる(カメラ撮影制御機能に相当する)。
カメラ3が撮像制御部41の制御に従って撮影画像を生成して出力すると、画像入出力部42は、カメラ3から出力された撮影画像の信号を受け(カメラ画像入力機能に相当する)、受けた画像の信号を画像処理部43に出力する(カメラ出力機能に相当する)。画像処理部43は、画像入出力部42から受けた撮影画像の信号に基づいて、周知の画像処理技術を用いて、当該撮影画像中の目の輪郭および瞳の位置等を特定する。そして、その目の輪郭中に対する瞳の相対位置から、ドライバの視線方向を検出する(視線検出機能に相当する)。また画像処理部43は、画像入出力部42からの撮影画像中の瞳の有無等に基づいて、ドライバがまばたきしていないかしているか否かを判定する(まばたき検出機能に相当する)。そして、画像処理部43は、ドライバの視線方向およびまばたきの有無に関する検出データをシステム制御・演算部44に出力する。
システム制御・演算部44は、画像処理部43からドライバの視線方向およびまばたきの有無に関する検出データ受けると、そのデータに基づいて、ドライバがどの位置を注視しているかを特定し(注視点演算機能に相当する)。また、ドライバが眠気に襲われているか否かを推定する(眠気推定演算機能に相当する)。そしてシステム制御・演算部44は、処理の結果得た注視点および眠気の有無の情報を、車内の他のシステムに出力する(演算結果の出力制御機能に相当する)。
そして、注視点の情報を受けた他のシステムは、例えば、注視点の方向にヘッドライトの光軸を向ける等の制御を行う。また、眠気ありを示す情報を受けた他のシステムは、警告音をスピーカに出力させる等の制御を行う。
また、システム制御・演算部44は、夜間等の必要時に、画像処理部43に対して照明点灯コマンドを出力する。画像処理部43は、システム制御・演算部44から受けた照明点灯コマンドを画像入出力部42に出力する。画像入出力部42は、画像処理部43から受けた照明点灯コマンドを撮像制御部41に出力する。撮像制御部41は、画像入出力部42から照明点灯コマンドを受けたことに基づいて右側近赤外照明1および左側近赤外照明2を点灯させる。
このような作動により、ドライバの顔が照らされ、右側近赤外照明1、左側近赤外照明2からの光によって照らされたドライバの顔を、カメラ3が撮影することができ、また、ECU4がその撮影画像から目の状態を画像処理により特定することができる。
ここで、右側近赤外照明1、左側近赤外照明2、およびカメラ3の車室内の配置について説明する。図3は、車室内を上から見た概略図である。右側近赤外照明1、左側近赤外照明2、およびカメラ3は、同一水平面内に設置されている。この図に示す通り、カメラ3は、ドライバ席に座ったドライバ9の正面位置である、ステアリングホイールの回転注視ん部に取り付けられている。また、カメラ3は、車室内の前端部(すなわち、車室内の端部のうち、前方に面している部分)であり、かつドライバの正面位置であるメータ部に取り付けられていてもよい。
なお、ここでは、ドライバ席の着座部(すなわちドライバの尻および大腿部を乗せる部分)は、最も前方に動かしたときの位置および最も後方に動かしたときの位置から等距離の位置にあるとする。また、ドライバ席の背もたれ部は、着座部に対して垂直に立っているものとする。
また、右側近赤外照明1は、ドライバ9の頭部を中心点として、ドライバ席の正面方向(すなわち、ドライバ9の頭部からカメラ3への方向)から向って右側に15°以上かつ45°以下の角度範囲10の位置に設置される。具体的には、右フロントドアの前端部に設置される。また、右側近赤外照明1が車室内前端部に搭載される場合は、右側近赤外照明1とカメラ3との車両左右方向の距離は、20センチメートル以上である。なお、ドライバの頭部の位置は、ドライバ席の背もたれの直上10センチメートルの位置であるとする。
また、左側近赤外照明2は、ドライバ9の頭部を中心点として、ドライバ席の正面方向から向って左側に15°以上かつ45°以下の角度範囲20の位置に設置される。具体的には、ドライバのフロントガラス越しの視界を妨げないという観点から、前記車両のダッシュボード中央近傍の筐体上に設置される。また、左側近赤外照明2が車室内前端部に搭載される場合は、左側近赤外照明2とカメラ3との車両左右方向の距離は、20センチメートル以上である。
また、右側近赤外照明1および左側近赤外照明2の光軸方向、およびカメラ3の撮影方向は、図4に示す通りになる。カメラ3の撮影方向31は、カメラ3からドライバ9の頭部への方向、すなわち、カメラ3から車両後方への方向である。ここで、カメラ3の撮影方向とは、カメラ3が撮影のために用いる主レンズの光軸に平行な、カメラ3から被写体への向きづけを有する方向をいう。
また、右側近赤外照明1の光軸方向11、すなわち、右側近赤外照明1から照射される光円錐の中心軸に平行な、右側近赤外照明1から照射対象への向き付けを有する方向は、右側近赤外照明1からドライバ9の頭部までの方向である。上述の通り、右側近赤外照明1は、ドライバ9の頭部を中心としてドライバ席の正面方向から向って右側に15°以上かつ45°以下の角度範囲10の位置に設置されるので、右側近赤外照明1の光軸方向11は、カメラ3の撮影方向に対して右にβ=15°〜45°の範囲内で傾いていることになる。
また、左側近赤外照明2の光軸方向21、すなわち、左側近赤外照明2から照射される光円錐の中心軸に平行な、左側近赤外照明2から照射対象への向き付けを有する方向は、左側近赤外照明2からドライバ9の頭部までの方向である。上述の通り、左側近赤外照明2は、ドライバ9の頭部を中心としてドライバ席の正面方向から向って左側に15°以上かつ45°以下の角度範囲20の位置に設置されるので、右側近赤外照明2の光軸方向21は、カメラ3の撮影方向に対して左にα=15°〜45°の範囲内で傾いていることになる。
このように、右側近赤外照明1と、左側近赤外照明2と、右側近赤外照明1および左側近赤外照明2によって照らされた車両のドライバの目を撮影するためのカメラ3と、カメラ3によって撮影された目の状態に基づいた制御を実行するECU4と、を備えた目状態検出装置50において、右側近赤外照明1を、カメラ3よりもドライバの座席から向かって右側に、カメラ3から右方向に20センチメートル以上離して配置し、かつ、右側近赤外照明1の光軸11を、カメラ3の撮影方向31に対して右に15°〜45°傾いて配置し、左側近赤外照明2を、カメラ3よりもドライバの座席から向かって左側に、カメラ3から左方向に20センチメートル以上離して配置し、かつ、左側近赤外照明2の光軸21はカメラ3の撮影方向31に対して左に15°〜45°傾いて配置することで、目状態検出装置50を車室内に設置する。
このように、第1の光源と第2の光源がそれぞれカメラの左右側に配置され、かつ、第1の光源と第2の光源の光軸方向がそれぞれカメラの撮影方向に対して左右に傾いているので、ドライバの顔の両側から顔に向けて光が当たる。したがって、顔に陰ができる可能性が低減される。
そしてこの場合、発明者の実験および検討によれば、図5に示すように、ドライバの顔がカメラの正面を向いている場合には、右目のメガネレンズ上に右側近赤外照明1による輝点51が発生し、左目のメガネレンズ上に左側近赤外照明2による52が発生した場合でも、それらの輝点は、眼鏡レンズの左右両端寄りに発生する場合が多くなる。したがって、両目の輪郭に同時に輝点がほとんど重ならない。
また、発明者の実験および検討によれば、図6に示すように、ドライバの顔が右側を向いている場合には、右側の眼鏡レンズには、右目の輪郭と重畳する右側近赤外照明1による輝点が発生する場合があるが、左側の眼鏡レンズには、左目の輪郭と重畳する輝点はほとんど発生しない。
また、発明者の実験および検討によれば、図7に示すように、ドライバの顔が左側を向いている場合には、左側の眼鏡レンズには、左目の輪郭と重畳する左側近赤外照明2による輝点が発生する場合があるが、右側の眼鏡レンズには、右目の輪郭と重畳する輝点はほとんど発生しない。
このように、光源を複数用意し、それら光源の配置をカメラの左右両側に分け、それらの光軸をカメラの撮影方向に対して傾けることで、車両のドライバの目の状態を検出する目状態検出装置の技術において、目の検出ができなくなるような状況の発生頻度が低減される。
このように、車両のドライバの目の状態を検出する目状態検出装置の技術において、目の検出ができなくなるような状況の発生頻度が、ほとんどの種類のメガネ、ほとんどのメガネのかけ方においても、ゼロに近くなる。
なお、ECU4は、カメラ3によって撮影された目の状態に基づいた制御として説明したが、カメラ3によって撮影された目の状態に基づいた制御とドライバ状態推定のための演算を実行する構成であってもよい。
(第2実施形態)
次に、本発明の第2実施形態について説明する。図8に、本実施形態の目状態検出装置60の車室への取り付け状態を示す。本実施形態の目状態検出装置60と第1実施形態の目状態検出装置50との違いは、左側近赤外照明2の設置位置のみである。ただし、右側近赤外照明1の設置位置もずれていてもよい。
図8に示すに示すように、本実施形態の左側近赤外照明2の設置位置は、右側近赤外照明1およびカメラ3よりも上方に配置される。より詳しくは、左側近赤外照明2は、車室天井の、ルームミラーの根元に相当する位置に取り付けられる。
図9に、車室内を車両の側方から見た図を示す。この図に示すように、右側近赤外照明1の光軸11および左側近赤外照明2の光軸21を、鉛直方向および車両前後方向を含む面に射影したとき、その射影された2つの線の成す角が15°以上とする。
このように、右側近赤外照明1の右光軸方向11は、左側近赤外照明2の光軸21に対して上下に15°以上傾いていてもよい。このようになっている場合、第1の光源によって発生する右目のメガネレンズ上の輝点の位置と、第2の光源によって発生する左目のメガネレンズ上の輝点の位置とが上下にずれる。
例えば、図10に示すように、ドライバが水平方向正面を向いている場合、左側近赤外照明2によって左目メガネレンズ上に発生した輝点52は、第1実施形態において図5に示した輝点52に比べ、上方にずれている。また、図11に示すように、ドライバが正面下方を向いたときには、輝点51はメガネレンズ中に残っているものの、輝点52はメガネレンズのエッジにまで移動する。また、図12に示すように、ドライバが正面上方を向いたときには、輝点52はメガネレンズ中に残っているものの、輝点51はメガネレンズのエッジにまで移動する。このようになっているので、両目が同時に輝点に重なる可能性が更に顕著に低減される。
ここで、第2実施形態の目状態検出装置60を用いた発明者によるまばたき検出の実験結果を図13に表として示す。この実験においては、右側近赤外照明1の光軸11とカメラ3の撮影方向の水平方向に射影した角度差が19°、右側近赤外照明1の光軸11とカメラ3の撮影方向の垂直方向に射影した角度差が7°(右側近赤外照明1がカメラ3よりも下にある)、左側近赤外照明2の光軸21とカメラ3の撮影方向の水平方向に射影した角度差が17°、左側近赤外照明2の光軸21とカメラ3の撮影方向の垂直方向に射影した角度差が28°(右側近赤外照明1がカメラ3よりも上にある)である。このような配置の目状態検出装置60において、メガネを着用した148名についてまばたき検出処理を行った結果、検出不能となったのは1.4パーセントの2名のみであった。
また、本発明および特許文献1を適用しない条件における目状態検出装置を用いたまばたき検出の実験結果を図14に表として示す。この実験においては、右側近赤外照明1の光軸11とカメラ3の撮影方向の水平方向に射影した角度差が3°、右側近赤外照明1の光軸11とカメラ3の撮影方向の垂直方向に射影した角度差が0°、左側近赤外照明2の光軸21とカメラ3の撮影方向の水平方向に射影した角度差が3°、左側近赤外照明2の光軸21とカメラ3の撮影方向の垂直方向に射影した角度差が0°である。このような配置の目状態検出装置60において、メガネを着用した86名について、ほぼ正面を向いた状態でまばたき検出処理を行った結果、検出不能となったのは20.9パーセントの18名であった。
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
例えば、近赤外照明1または2の光軸とカメラ3の撮影方向との角度差は、左右に15°以下であっても、本発明の効果はある程度発揮される。
また、右側近赤外照明1の右光軸方向11と左側近赤外照明2の左光軸方向21との角度差は上下に15°以下でもよい。その場合でも第2実施形態の効果をある程度達成することができる。
また、右側近赤外照明1および左側近赤外照明2の位置は第1実施形態および第2実施形態に記載したものに限らない。
例えば、右側近赤外照明1は、当該車両の右フロントピラー、ダッシュボード筐体の右端部に設置されていてもよい。
また、左側近赤外照明2は、当該車両のルームミラー、ダッシュボード内の中央上端部近傍に設置されていてもよい。
また、ドライバの顔を照射する光源は3つ以上あってもよい。その場合、それら光源のうちの少なくとも2つが、第1の光源と第2の光源の関係と同じ関係にあれば、本発明の効果は達成される。
また、右側近赤外照明1の右光軸方向11および左側近赤外照明2の左光軸方向21は、カメラ3の撮影方向31と平行であってもよい。この場合であっても、ドライバの頭の位置から近赤外照明1または2への方向と、ドライバの頭の位置からカメラ3までの方向とのずれが十分あり、かつ右側近赤外照明1からの光がドライバの顔の右側に十分に当たり、左側近赤外照明2からの光がドライバの顔の左側に十分に当たるようになっていれば、本発明の効果は達成される。
以上の実施形態は、当該車両(トラックを含む)が右ハンドルである場合について記述したが、当該車両が左ハンドルである場合は、右側近赤外照明1(第1の光源に相当)と左側近赤外照明2(第2の光源に相当)の位置関係を左右対称に変更して取り付けるものとする。
このように車両(トラックを含む)のハンドル位置によって第1の光源と第2の光源の設置位置関係を左右対称に変更することで、上記実施形態1、2と同様な作用効果が得られる。
本発明の第1実施形態に係る目状態検出装置50の車室への取り付け状態を概略的に示す斜視図である。 右側近赤外照明1、左側近赤外照明2、カメラ3、およびECU4間の電気的接続状態およびECU4の構成を示すブロック図である。 近赤外照明1、2およびカメラ3の配置を示すための、車室内を上から見た概略図である。 また、近赤外照明1、2の光軸方向、およびカメラ3の撮影方向を示すための、車室内を上から見た概略図である。 ドライバの顔がカメラ3に正面から向いている場合の撮影画像を示す図である。 ドライバの顔が右側を向いている場合の撮影画像を示す図である。 ドライバの顔が左側を向いている場合の撮影画像を示す図である。 本発明の第2実施形態に係る目状態検出装置60の車室への取り付け状態を概略的に示す斜視図である。 近赤外照明1、2の相対的な配置を示すための、車室内を側方から見た概略図である。 ドライバの顔が水平方向を向いている場合の撮影画像を示す図である。 ドライバの顔が下方向を向いている場合の撮影画像を示す図である。 ドライバの顔が上方向を向いている場合の撮影画像を示す図である。 第2実施形態の目状態検出装置60についてのまばたき検出の実験結果を示す図表である。 他の実施例における目状態検出装置についてのまばたき検出の実験結果を示す図表である。 光源101の光軸方向をカメラ102の撮影方向に対して右側にオフセットした例を示す概略図である。 ドライバ100の顔がカメラ102に対して真正面に向いている場合の、カメラ102の撮影画像である。 ドライバ100の顔がカメラ102よりも左に向いている場合の、カメラ102の撮影画像である。 ドライバ100の顔が光源101とカメラ102の中間の方向を向いている場合の、カメラ102の撮影画像である。 光源101の光軸方向をカメラ102の撮影方向に対して上方向にのみオフセットした例を示す概略図である。 ドライバ100の顔が水平方向を向いている場合の、カメラ102の撮影画像である。 ドライバ100の顔が上方向を向いている場合の、カメラ102の撮影画像である。 ドライバ100の顔が光源101よりも下を向いている場合の、カメラ102の撮影画像である。 ドライバ100の顔が光源101とカメラ102の中間方向を向いている場合の、カメラ102の撮影画像である。 ドライバ100がメガネを少し下向きに装着している状態を示す図である。 図24の状態においてドライバ100の顔が水平方向を向いている場合の、カメラ102の撮影画像である。
符号の説明
1…右側近赤外照明、2…左側近赤外照明、3…カメラ、4…ECU、5…右側光円錐、
6…左側側光円錐、9…ドライバ、10…右設置範囲、11…右光軸方向、
20…左設置範囲、21…左光軸方向、31…撮影方向、41…撮像制御部、
42…画像入出力部、43…画像処理部、44…システム制御・演算部、
50…目状態検出装置、51、52…輝点、60…目状態検出装置、
100…ドライバ、101…光源、102…カメラ、103、104…輝点。

Claims (26)

  1. 第1の光源(1)と、
    第2の光源(2)と、
    前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、
    前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備え、
    前記第1の光源(1)は、前記カメラ(3)よりも前記ドライバの座席から向かって右側に配置され、かつ、前記第1の光源(1)の光軸方向(11)は前記カメラ(3)の撮影方向(31)に対して右に傾いて配置され、
    前記第2の光源(2)は、前記カメラ(3)よりも前記ドライバの座席から向かって左側に配置され、かつ、前記第2の光源(2)の光軸方向(21)は前記カメラ(3)の撮影方向(31)に対して左に傾いて配置されることを特徴とする目状態検出装置。
  2. 前記第1の光源(1)の光軸方向(11)は前記カメラ(3)の撮影方向(31)に対して右に15°以上傾いて配置され、
    前記第2の光源(2)の光軸方向(21)は前記カメラ(3)の撮影方向(31)に対して左に15°以上傾いて配置されることを特徴とする請求項1に記載の目状態検出装置。
  3. 第1の光源(1)と、
    第2の光源(2)と、
    前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、
    前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備え、
    前記カメラ(3)は、前記ドライバの座席の正面方向に配置され、
    前記第1の光源(1)は、前記カメラ(3)よりも前記正面方向から向かって右側に配置され、かつ、前記第1の光源(1)の光軸方向(11)は前記正面方向に対して左に傾いて配置され、
    前記第2の光源(2)は、前記カメラ(3)よりも前記正面方向から向かって左側に配置され、かつ、前記第2の光源(2)の光軸方向(21)は前記正面方向に対して右に傾いて配置されることを特徴とする目状態検出装置。
  4. 前記第1の光源(1)の光軸方向(11)は前記正面方向から向って左側に15°以上傾いて配置され、
    前記第2の光源(2)の光軸方向(21)は前記正面方向から向って右側に15°以上傾いて配置されることを特徴とする請求項3に記載の目状態検出装置。
  5. 前記第1の光源(1)の光軸方向(11)は、前記第2の光源(2)の光軸方向(21)に対して上下に傾いていることを特徴とする請求項1ないし4のいずれか1つに記載の目状態検出装置。
  6. 前記第1の光源(1)の光軸方向(11)は、前記第2の光源(2)の光軸方向(21)に対して上下に15°以上傾いていることを特徴とする請求項5に記載の目状態検出装置。
  7. 第1の光源(1)と、
    第2の光源(2)と、
    前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、
    前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備え、
    前記カメラ(3)は、前記車両の車室内における、前記ドライバの座席の正面方向に配置され、
    前記第1の光源(1)は、前記車室内の前端部のうち前記ドライバの座席の前方の部位に配置され、かつ、前記カメラ(3)よりも前記車両の右方向に20センチメートル以上ずれて配置され、
    前記第2の光源(2)は、前記車室内の前端部のうち前記ドライバの座席の前方の部位に配置され、かつ、前記カメラ(3)よりも前記車両の左方向に20センチメートル以上ずれて配置されていることを特徴とする目状態検出装置。
  8. 前記第1の光源(1)および前記第2の光源(2)は、互いに前記車両の上下に20センチメートル以上ずれて配置されていることを特徴とする請求項7に記載の目状態検出装置。
  9. 第1の光源(1)と、
    第2の光源(2)と、
    前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、
    前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備え、
    前記第1の光源(1)は、前記カメラ(3)よりも前記ドライバの座席の頭位置から向かって15°以上右側に配置され、
    前記第2の光源(2)は、前記カメラ(3)よりも前記頭位置から向かって15°以上左側に配置されることを特徴とする目状態検出装置。
  10. 前記頭位置から前記第1の光源(1)への方向と、前記頭位置から前記第2の光源(2)への方向とは、互いに車両の上下に15°以上ずれていることを特徴とする請求項9に記載の目状態検出装置。
  11. 第1の光源(1)と、
    第2の光源(2)と、
    前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、
    前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備え、
    前記カメラ(3)は、前記車両のステアリングコラム筐体上またはメータパネル内に取り付けられ、
    前記第1の光源(1)は、前記車両の右フロントピラー、前記車両の右フロントドアの前端部、前記車両のダッシュボード筐体の右端部、のうちいずれか1つに取り付けられ、
    前記第2の光源(2)は、前記車両のルームミラー、前記車両の天井部のうち前記車両のルームミラーの根元の近傍、前記車両のダッシュボード内の中央上端部近傍、前記車両のダッシュボード中央近傍の筐体上のうちいずれか1つに取り付けられることを特徴とする目状態検出装置。
  12. 第1の光源(1)と、
    第2の光源(2)と、
    前記第1の光源(1)および前記第2の光源(2)によって照らされたトラックのドライバの目を撮影するためのカメラ(3)と、
    前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備え、
    前記カメラ(3)は、前記トラックのステアリングコラム筐体上またはメータパネル内またはダッシュボード筐体上に取り付けられ、
    前記第1の光源(1)は、前記トラックの右フロントピラー、前記トラックの右フロントドアの前端部、前記トラックのダッシュボード筐体の右端部、のうちいずれか1つに取り付けられ、
    前記第2の光源(2)は、前記トラックのルームミラー、前記トラックのルームミラーの根元の近傍、、前記トラックのダッシュボード内の中央上端部近傍、前記トラックのダッシュボード中央近傍の筐体上、のうちいずれか1つに取り付けられることを特徴とする目状態検出装置。
  13. 第1の光源(1)と、第2の光源(2)と、前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を前記車両に取り付ける方法であって、
    前記第1の光源(1)を、前記カメラ(3)よりも前記ドライバの座席から向かって右側に配置し、かつ、前記第1の光源(1)の光軸方向(11)を、前記カメラ(3)の撮影方向(31)に対して右に傾けて配置し、
    前記第2の光源(2)を、前記カメラ(3)よりも前記ドライバの座席から向かって左側に配置し、かつ、前記第2の光源(2)の光軸方向(21)を、前記カメラ(3)の撮影方向(31)に対して左に傾けて配置することを特徴とする目状態検出装置の取り付け方法。
  14. 第1の光源(1)と、第2の光源(2)と、前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を前記車両に取り付ける方法であって、
    前記カメラ(3)を、前記ドライバの座席の正面方向に配置し、
    前記第1の光源(1)を、前記カメラ(3)よりも前記正面方向から向かって右側に配置し、かつ、前記第1の光源(1)の光軸方向(11)を、前記正面方向に対して左に傾いて配置され、
    前記第2の光源(2)は、前記カメラ(3)よりも前記正面方向から向かって左側に配置され、かつ、前記第2の光源(2)の光軸方向(21)は前記正面方向に対して右に傾けて配置することを特徴とする目状態検出装置の取り付け方法。
  15. 第1の光源(1)と、第2の光源(2)と、前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を前記車両に取り付ける方法であって、
    前記カメラ(3)を、前記車両の車室内における、前記ドライバの座席の正面方向に配置し、
    前記第1の光源(1)を、前記車室内の前記ドライバの座席の前方の部位に配置し、かつ、前記カメラ(3)よりも前記車両の右方向に20センチメートル以上ずらして配置し、
    前記第2の光源(2)を、前記車室内の前記ドライバの座席の前方の部位に配置し、かつ、前記カメラ(3)よりも前記車両の左方向に20センチメートル以上ずらして配置することを特徴とする目状態検出装置の取り付け方法。
  16. 第1の光源(1)と、第2の光源(2)と、前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を前記車両に取り付ける方法であって、
    前記第1の光源(1)を、前記カメラ(3)よりも前記ドライバの座席の頭位置から向かって15°以上右側に配置し、
    前記第2の光源(2)を、前記カメラ(3)よりも前記頭位置から向かって15°以上左側に配置することを特徴とする目状態検出装置の取り付け方法。
  17. 第1の光源(1)と、第2の光源(2)と、前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を前記車両に取り付ける方法であって、
    前記カメラ(3)を、前記車両のステアリングコラム筐体上またはメータパネル内に取り付け、
    前記第1の光源(1)は、前記車両の右フロントピラー、前記車両の右フロントドアの前端部、前記車両のダッシュボード筐体の右端部、のうちいずれか1つに取り付け、
    前記第2の光源(2)は前記車両のルームミラー、前記車両の天井部のうち前記車両のルームミラーの根元の近傍、前記車両のダッシュボード内の中央上端部近傍、前記車両のダッシュボード中央近傍の筐体上のうちいずれか1つに取り付けることを特徴とする目状態検出装置の取り付け方法。
  18. 第1の光源(1)と、第2の光源(2)と、前記第1の光源(1)および前記第2の光源(2)によって照らされた車両のドライバの目を撮影するためのカメラ(3)と、前記カメラ(3)によって撮影された目の状態に基づいた制御を実行する制御手段(4)と、を備えた目状態検出装置を前記車両に取り付ける方法であって、
    前記カメラ(3)を、前記トラックのステアリングコラム筐体上またはメータパネル内またはダッシュボード筐体上に取り付け、
    前記第1の光源(1)を、前記トラックの右フロントピラー、前記トラックの右フロントドアの前端部、前記トラックのダッシュボード筐体の右端部、のうちいずれか1つに取り付け、
    前記第2の光源(2)を、前記トラックのルームミラー、前記トラックのルームミラーの根元の近傍、前記トラックのダッシュボード内の中央上端部近傍、前記トラックのダッシュボード中央近傍の筐体上、のうちいずれか1つに取り付けることを特徴とする目状態検出装置の取り付け方法。
  19. 前記車両は右ハンドル車である請求項1乃至11、13の何れか1つに記載の目状態検出装置。
  20. 前記車両が左ハンドル車である場合は、前記第1の光源(1)と前記第2の光源(2)の位置関係を左右対称に変更設定したことを特徴とする請求項1乃至11、13の何れか1つに記載の目状態検出装置。
  21. 前記トラックは右ハンドル車である請求項12に記載の目状態検出装置。
  22. 前記トラックが左ハンドル車である場合は、前記第1の光源(1)と前記第2の光源(2)の位置関係を左右対称に変更設定したことを特徴とする請求項12に記載の目状態検出装置。
  23. 前記制御手段(4)は、前記カメラ(3)によって撮影された目の状態に基づいた制御とドライバ状態指定のための演算を実行するものである請求項1乃至22の何れか1つに記載の目状態検出装置。
  24. 前記車両は右ハンドル車である請求項14乃至18の何れか1つに記載の目状態検出装置の取り付け方法。
  25. 前記車両が左ハンドル車である場合は、前記第1の光源(1)と前記第2の光源(2)の位置関係を左右対称に変更設定したことを特徴とする請求項14乃至18の何れか1つに記載の目状態検出装置。
  26. 前記制御手段(4)は、前記カメラ(3)によって撮影された目の状態に基づいた制御とドライバ状態指定のための演算を実行するものである請求項14乃至18、24、25の何れか1つに記載の目状態検出装置の取り付け方法。
JP2006277304A 2006-10-11 2006-10-11 目状態検出装置および目状態検出装置の取り付け方法 Pending JP2008094221A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006277304A JP2008094221A (ja) 2006-10-11 2006-10-11 目状態検出装置および目状態検出装置の取り付け方法
US11/902,668 US8144992B2 (en) 2006-10-11 2007-09-25 Eye condition detection apparatus and method for installing same
DE102007047643A DE102007047643A1 (de) 2006-10-11 2007-10-05 Vorrichtung zum Erfassen eines Augenzustands und Verfahren zum Anbringen derselben
CN2007101801399A CN101161200B (zh) 2006-10-11 2007-10-10 眼睛状况检测装置及其安装方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006277304A JP2008094221A (ja) 2006-10-11 2006-10-11 目状態検出装置および目状態検出装置の取り付け方法

Publications (1)

Publication Number Publication Date
JP2008094221A true JP2008094221A (ja) 2008-04-24

Family

ID=39185189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006277304A Pending JP2008094221A (ja) 2006-10-11 2006-10-11 目状態検出装置および目状態検出装置の取り付け方法

Country Status (4)

Country Link
US (1) US8144992B2 (ja)
JP (1) JP2008094221A (ja)
CN (1) CN101161200B (ja)
DE (1) DE102007047643A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010013090A (ja) * 2008-07-04 2010-01-21 Hyundai Motor Co Ltd 運転者状態監視システム
JP2012201165A (ja) * 2011-03-24 2012-10-22 Komatsu Ltd 大型ダンプトラック
WO2019017157A1 (ja) * 2017-07-19 2019-01-24 株式会社デンソー 撮像装置及び車両用表示装置
JP2020036144A (ja) * 2018-08-29 2020-03-05 日本精機株式会社 乗員監視装置
EP3650991A1 (en) 2018-11-07 2020-05-13 Yazaki Corporation Monitoring system

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940962B2 (en) * 2007-08-03 2011-05-10 Delphi Technologies, Inc. System and method of awareness detection
JP4780088B2 (ja) * 2007-11-09 2011-09-28 アイシン精機株式会社 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP5082834B2 (ja) * 2007-12-27 2012-11-28 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
DE102008045774A1 (de) * 2008-09-04 2010-03-11 Claudius Zelenka Methode zur Erkennung der Blickrichtung
JP4666062B2 (ja) * 2008-11-17 2011-04-06 株式会社デンソー 画像撮影装置および方法
CN101643053B (zh) * 2009-09-01 2011-02-16 长安大学 一种驾驶员汽车驾驶行为的综合监测系统
US8503737B2 (en) * 2010-09-27 2013-08-06 Panasonic Corporation Visual line estimating apparatus
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
JP5761074B2 (ja) * 2012-02-24 2015-08-12 株式会社デンソー 撮像制御装置及びプログラム
US8699870B2 (en) * 2012-03-29 2014-04-15 Utechzone Co., Ltd. Vehicular eye-controlled device having illumination light source
TWI498769B (zh) * 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
JP6090129B2 (ja) * 2013-11-27 2017-03-08 株式会社デンソー 視認領域推定装置
CN103735278B (zh) * 2013-12-25 2016-03-09 中国科学院苏州生物医学工程技术研究所 一种客观检测危险驾驶行为的方法
DE102014203444A1 (de) 2014-02-26 2015-08-27 Application Solutions (Electronics and Vision) Ltd. Vorrichtung und Verfahrung zur Ermittlung eines Augenzustands eines Fahrzeuginsassen
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
DE102014218577A1 (de) * 2014-09-16 2016-03-17 Robert Bosch Gmbh Sicherheitseinrichtung für Motorradfahrer, Verfahren zum Betreiben einer Sicherheitseinrichtung für Motorradfahrer
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
JP6319350B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
DE102015217595A1 (de) * 2015-09-15 2017-03-16 Robert Bosch Gmbh Sicherheitsvorrichtung für ein Fahrzeug, Verfahren zum Betreiben
DE102016215766A1 (de) * 2016-08-23 2018-03-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Innenraumkamera
JP2018105737A (ja) * 2016-12-27 2018-07-05 トヨタ紡織株式会社 アイポイント測定装置、及びアイポイント測定方法
JP2019077283A (ja) * 2017-10-23 2019-05-23 矢崎総業株式会社 車載撮影装置
CN108128161A (zh) * 2017-12-25 2018-06-08 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的疲劳驾驶识别控制方法
DE102019004692B3 (de) * 2019-07-03 2020-11-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
US11657134B2 (en) * 2019-10-30 2023-05-23 Imatrix Holdings Corp. Eye contact detection device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191384A (ja) * 1993-12-24 1995-07-28 Nissan Motor Co Ltd 撮像用光源装置
JPH0921611A (ja) * 1995-07-06 1997-01-21 Mitsubishi Electric Corp 顔画像撮像装置
JP2003295303A (ja) * 2002-04-04 2003-10-15 Sony Corp 撮影装置
JP2003308523A (ja) * 2002-04-15 2003-10-31 Oki Electric Ind Co Ltd 虹彩撮影装置
JP2004234571A (ja) * 2003-01-31 2004-08-19 Sony Corp 画像処理装置、画像処理方法及び撮影装置
WO2005018997A1 (ja) * 2003-08-20 2005-03-03 Nagoya Toyopet Co., Ltd. 盗難車両の犯人割り出し装置
JP2005081101A (ja) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd 視線方向検出装置及び視線方向検出方法
JP2005242428A (ja) * 2004-02-24 2005-09-08 Nissan Motor Co Ltd 運転者の顔画像撮影装置
JP2005266868A (ja) * 2004-03-16 2005-09-29 National Univ Corp Shizuoka Univ 瞳孔と鼻孔を用いた頭部の方向を検出する方法
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352229A (ja) 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
JP4451195B2 (ja) 2004-04-13 2010-04-14 本田技研工業株式会社 視線検出装置
US7777778B2 (en) 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
CN1830389A (zh) 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191384A (ja) * 1993-12-24 1995-07-28 Nissan Motor Co Ltd 撮像用光源装置
JPH0921611A (ja) * 1995-07-06 1997-01-21 Mitsubishi Electric Corp 顔画像撮像装置
JP2003295303A (ja) * 2002-04-04 2003-10-15 Sony Corp 撮影装置
JP2003308523A (ja) * 2002-04-15 2003-10-31 Oki Electric Ind Co Ltd 虹彩撮影装置
JP2004234571A (ja) * 2003-01-31 2004-08-19 Sony Corp 画像処理装置、画像処理方法及び撮影装置
WO2005018997A1 (ja) * 2003-08-20 2005-03-03 Nagoya Toyopet Co., Ltd. 盗難車両の犯人割り出し装置
JP2005081101A (ja) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd 視線方向検出装置及び視線方向検出方法
JP2005242428A (ja) * 2004-02-24 2005-09-08 Nissan Motor Co Ltd 運転者の顔画像撮影装置
JP2005266868A (ja) * 2004-03-16 2005-09-29 National Univ Corp Shizuoka Univ 瞳孔と鼻孔を用いた頭部の方向を検出する方法
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010013090A (ja) * 2008-07-04 2010-01-21 Hyundai Motor Co Ltd 運転者状態監視システム
JP2012201165A (ja) * 2011-03-24 2012-10-22 Komatsu Ltd 大型ダンプトラック
WO2019017157A1 (ja) * 2017-07-19 2019-01-24 株式会社デンソー 撮像装置及び車両用表示装置
JP2019018751A (ja) * 2017-07-19 2019-02-07 株式会社デンソー 撮像装置及び車両用表示装置
US11178318B2 (en) 2017-07-19 2021-11-16 Denso Corporation Imaging device and vehicular display device
JP2020036144A (ja) * 2018-08-29 2020-03-05 日本精機株式会社 乗員監視装置
JP7200546B2 (ja) 2018-08-29 2023-01-10 日本精機株式会社 乗員監視装置
EP3650991A1 (en) 2018-11-07 2020-05-13 Yazaki Corporation Monitoring system
US10963718B2 (en) 2018-11-07 2021-03-30 Yazaki Corporation Monitoring system

Also Published As

Publication number Publication date
CN101161200B (zh) 2012-10-17
CN101161200A (zh) 2008-04-16
US20080089559A1 (en) 2008-04-17
DE102007047643A1 (de) 2008-04-17
US8144992B2 (en) 2012-03-27

Similar Documents

Publication Publication Date Title
JP2008094221A (ja) 目状態検出装置および目状態検出装置の取り付け方法
JP7055743B2 (ja) 複数カメラを用いた車両用モニタリングシステム
US10682958B2 (en) Vehicle display device, display control method, and rearview monitoring system
US7777778B2 (en) Illumination and imaging system and method
US11930264B2 (en) Vehicular driver monitoring system with camera view optimization
JP5310602B2 (ja) 車両用周辺監視システム
JP2009113621A (ja) 乗員画像撮像装置、運転支援装置
JP3228086B2 (ja) 運転操作補助装置
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
CN106030465B (zh) 用于自动接通和/或切换调节装置来调节平视显示器装置的视窗位置的系统和方法以及车辆
JP2008044603A (ja) 車両用防眩装置
JP2010130647A (ja) 車両周辺確認装置
WO2017056495A1 (ja) 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法
JP2006248365A (ja) 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2011189775A (ja) 車両の後側方確認装置
JP2009224841A (ja) ディスプレイ位置調整装置
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP2004182121A (ja) 運転支援装置
KR20110062060A (ko) 자동차용 디스플레이 장치 및 방법
JP2007253821A (ja) 乗員撮像装置
JP2019180075A (ja) 運転支援システム、画像処理装置及び画像処理方法
JP2012025233A (ja) 車両用死角補助システム
JP2004082918A (ja) 車両用暗視装置及びルームミラー
JP2020149431A (ja) 運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120724