JP2019104450A - 車載撮影装置、及び車載撮影方法 - Google Patents

車載撮影装置、及び車載撮影方法 Download PDF

Info

Publication number
JP2019104450A
JP2019104450A JP2017239722A JP2017239722A JP2019104450A JP 2019104450 A JP2019104450 A JP 2019104450A JP 2017239722 A JP2017239722 A JP 2017239722A JP 2017239722 A JP2017239722 A JP 2017239722A JP 2019104450 A JP2019104450 A JP 2019104450A
Authority
JP
Japan
Prior art keywords
unit
photographing
position adjustment
vehicle
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017239722A
Other languages
English (en)
Inventor
隆司 塩田
Takashi Shioda
隆司 塩田
謙一 長橋
Kenichi Nagahashi
謙一 長橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2017239722A priority Critical patent/JP2019104450A/ja
Priority to CN201811508868.7A priority patent/CN110021146A/zh
Priority to DE102018221510.3A priority patent/DE102018221510A1/de
Priority to US16/218,974 priority patent/US20190184909A1/en
Publication of JP2019104450A publication Critical patent/JP2019104450A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0211Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for record carriers apparatus, e.g. video recorders, tape players or CD players
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/16Steering columns
    • B62D1/18Steering columns yieldable or adjustable, e.g. tiltable
    • B62D1/181Steering columns yieldable or adjustable, e.g. tiltable with power actuated adjustment, e.g. with position memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005Dashboard
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008Adjustable or movable supports
    • B60R2011/0092Adjustable or movable supports with motorization
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)

Abstract

【課題】運転者の顔面を確実に捉えて撮影することができる車載撮影装置、及び車載撮影方法を提供する。【解決手段】車載撮影装置10は、ステアリングホイル60の位置を調整するホイル位置調整部55と、カメラ20の撮影位置及び撮影角度を調整する撮影位置調整部54、撮影位置調整機構30、第1及び第2の撮影位置調整モータM1,M2及び第1のモータ駆動回路C1と、カメラ20の撮影結果に基づいてホイル位置調整部55及び撮影位置調整部54を制御する位置調整制御部53と、を有する。【選択図】図6

Description

本発明は、車両に搭載され、運転者の顔面を撮影する車載撮影装置、及び車載撮影方法に関する。
近年、車両を運転中の運転者の顔面を撮影して、その運転者の眠気、疲労及び脇見運転などの運転状況を監視し、車両の安全性を確保するための車両安全技術が進展している。
例えば、特許文献1には、このような運転者の眠気や疲労を検知する車両安全技術を実現する装置として、運転者の顔面を含む撮影画像を撮影する撮影手段(カメラ)を有し、このカメラの撮影画像に基づき、運転者の覚醒度を推定する装置が開示されている。
また、特許文献2には、運転者の脇見運転を防止するため、運転者の目を撮影する撮影手段(カメラ)と、このカメラの撮影画像から運転者の視線を検知する視線検出手段と、運転者の視線の動きを計測する視線動作計測手段と、を有し、運転者の視線が予め設定された注視方向を向く頻度が基準となる頻度より少ない場合に、視認が不足していると警告する装置が開示されている。
特開2008−167806号公報 特開2006−224700号公報
ところで、この種の車載撮影装置においては、運転者の顔面を確実に捉えて撮影することが要求される。すなわち、運転者の顔面をカメラで捕捉できない場合には、上記特許文献1、2の装置では、運転者の眠気、疲労及び脇見などの運転状況を監視することができず、車両の安全に寄与することが難しくなる。また、カメラがメーターパネルに設置される場合には、カメラと運転者との間にはステアリングホイルが介在する。そのため、カメラは、ステアリングホイルの開口部を通じて運転者の顔面を撮影することになるが、場合によってはステアリングホイルが死角となる可能性がある。
また、近年、車両に搭載され自動運転を制御したり補助したりするための機構や機能の研究や開発が進められている。例えば、車両の電子制御ユニット(ECU)は、日本政府や米国運輸省道路交通安全局(NHTSA)などが規定する自動化レベルのレベル2(LV2)やレベル3(LV3)の自動運転に対応して構成されるようになっている。
なお、レベル2では、車両の加速、操舵及び制動のうち複数の操作をシステムが自動的に実施する。レベル3では、車両の加速、操舵、制動の制御を全てシステムが実施するので、通常、運転者は運転の状況を監視するだけで良いとされる。
ただし、レベル3でも、緊急時やシステムの限界時にシステムが要請したときは、この要請に応じて運転者は手動操作にハンドオーバ(H/O)しなければならない。そのため、車載撮影装置は、レベル3からのレベル2への移行時、すなわちハンドオーバに備えてレベル3でも運転者の顔面を常に捕捉する必要がある。そして、レベル3では、運転者は完全に休息することはできないが、通常よりリラックスしてその着座姿勢が崩れている可能性が十分に想定される。
ここで、レベル3でも運転者の顔面が標準位置のままであれば、ハンドオーバ時でもカメラは運転者の顔面を捕捉可能である。しかしながら、前述したように、運転者がレベル3でリラックスしてその顔面位置が極端に変化している場合には、従来の車載撮影装置ではカメラ、又はステアリングホールの開口部の位置によってはカメラの撮影範囲から外れてその顔面を撮影できない可能性がある。この場合には、車載撮影装置はその機能を発揮することができず、緊急時などにハンドオーバできない可能性がある。この点に関して、特許文献1や特許文献2などの従来の装置では十分に考慮されておらず、改善の余地があった。
また、車載撮影装置が、フェールセーフ機能として、運転者の顔面を撮影不可と判断する場合にランプや音声などで警報することが検討されるが、運転者にとって快適なはずの自動運転が煩雑となる可能性がある。
本発明は、上述した事情に鑑みてなされたものであり、その目的は、運転者の顔面を確実に捉えて撮影することができる車載撮影装置、及び車載撮影方法を提供することにある。
前述した目的を達成するために、本発明に係る車載撮影装置、及び車載撮影方法は、下記(1)〜(5)を特徴としている。
(1)運転者の顔面を撮影する車載撮影装置であって、
車両内に設置され、前記運転者の前記顔面を撮影する撮影部と、
前記車両内に設置されるステアリングホイルの位置を調整するホイル位置調整部と、
前記撮影部の撮影位置及び撮影角度の少なくとも一方を調整する撮影位置調整部と、
前記撮影部の撮影結果に基づいて前記ホイル位置調整部及び前記撮影位置調整部の少なくとも一方を制御する位置調整制御部と、
を有することを特徴とする車載撮影装置。
(2)前記撮影部の撮影結果に基づいて撮影画像を生成する画像生成部と、
前記画像生成部の前記撮影画像に基づいて前記撮影画像に前記運転者の前記顔面が含まれているか否かを判定する画像判定部と、をさらに有し、
前記位置調整制御部は、前記画像判定部の判定結果に基づいて前記撮影画像内に前記運転者の前記顔面が含まれるように、前記ホイル位置調整部及び前記撮影位置調整部の少なくとも一方を制御する
ことを特徴とする上記(1)に記載の車載撮影装置。
(3)前記位置調整制御部は、現在の前記撮影画像と、過去の前記撮影画像と、を比較して前記運転者の前記顔面の変位を検出し、前記変位にも基づいて前記ホイル位置調整部及び前記撮影位置調整部の少なくとも一方を制御する
ことを特徴とする上記(2)に記載の車載撮影装置。
(4)運転者の顔面を撮影する車載撮影方法であって、
車両内に設置される撮影部で、前記運転者の前記顔面を撮影する撮影ステップと、
前記撮影ステップでの撮影結果に基づいて撮影画像を生成する画像生成ステップと、
前記撮影画像に前記運転者の前記顔面が含まれているか否かを判定する画像判定ステップと、
前記画像判定ステップでの判定結果に基づいて前記撮影画像内に前記運転者の前記画像が含まれるように、前記車両内に設置されるステアリングホイルの位置、前記撮影部の撮影位置、及び前記撮影部の撮影角度の少なくとも一方を調整する位置調整制御ステップと、
を含むことを特徴とする車載撮影方法。
(5)前記位置調整制御ステップでは、過去の2つの時点の前記撮影画像を比較して前記運転者の前記顔面の変位を検出し、前記変位に基づいて前記ステアリングホイルの位置、前記撮影部の撮影位置、及び前記撮影部の撮影角度の少なくとも一方を調整する
ことを特徴とする上記(4)に記載の車載撮影方法。
上記(1)の構成の車載撮影装置によれば、運転者の顔面の位置が極端に変わっても撮影部で運転者の顔面を捉えることができる。すなわち、本発明の車載撮影装置によれば、ホイル位置調整部、撮影位置調整部、及び撮影部の撮影結果に基づいてホイル位置調整部及び撮影位置調整部の少なくとも一方を制御する位置調整制御部を有するため、運転者の顔面の位置が極端に変わっても撮影部で運転者の顔面を捉えることができる。また、撮影部の死角範囲を減少させ、撮影不可の異常報知の必要性があまりない。このため、運転者は着座姿勢を常時気にする必要がないので、運転者の車内快適性が損なうことはない。
上記(2)の構成の車載撮影装置によれば、撮影画像に運転者の顔面が含まれているか否かを判定し、撮影画像内に運転者の撮影画像が含まれるように、ステアリングホイルの位置、撮影部の撮影位置及び撮影部の撮影角度の少なくとも一方を調整するので、運転者の顔面の位置が極端に変わっても、効率的且つ自律的に運転者の顔面を捉えることができる。
上記(3)の構成の車載撮影装置によれば、現在の撮影画像と過去の撮影画像とを比較して運転者の顔面の変位を検出して、ステアリングホイルの位置、撮影部の撮影位置及び撮影部の撮影角度の少なくとも一方を調整するので、運転者の顔面の位置が極端に変わっても撮影部で運転者の顔面を迅速に捉えることができる。
上記(4)の構成の車載撮影方法によれば、運転者の顔面の位置が極端に変わっても撮影部で運転者の顔面を捉えることができる。また、撮影部の死角範囲を減少させ、撮影不可の異常報知の必要性が抑制される。このため、運転者は着座姿勢を常時気にする必要がなくなり運転者の車内快適性が損なうことはない。また、撮影画像に運転者の顔面が含まれているか否かを判定し、撮影画像内に運転者の撮影画像が含まれるように、ステアリングホイルの位置、撮影部の撮影位置及び撮影部の撮影角度の少なくとも一方を調整するので、運転者の顔面の位置が極端に変わっても効率的且つ自律的に運転者の顔面を捉えることができる。
上記(5)の構成の車載撮影方法によれば、過去の2つの時点の撮影画像を比較して運転者の顔面の変位を検出して、ステアリングホイルの位置、撮影部の撮影位置及び撮影部の撮影角度の少なくとも一方を調整するので、運転者の顔面の位置が極端に変わっても撮影部で運転者の顔面を迅速に捉えることができる。
本発明の車載撮影装置、及び車載撮影方法によれば、運転者の顔面の位置が極端に変わっても撮影部で運転者の顔面を捉えることができる。従って、本発明の車載撮影装置、及び車載撮影方法を、車両運転中の運転者の眠気、疲労及び脇見運転などの運転状況を監視して、例えば運転操作ミスによる車両の誤発進などを防止する走行支援システムなどに適用することができる。特に自動運転機能が搭載される車両において、自動運転の運転者関与度合いが低い状態から高い状態に移行するハンドオーバの前後で本発明の車載撮影装置、及び車載撮影方法を適用すると最適である。
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
図1は、本発明の実施形態における車載撮影装置を搭載する車両内の運転者及びその前方の主要な構成要素を左側方から視た側面図である。 図2は、図1に示す運転席前方のインストルメントパネルに配置されるメーターユニットの近傍を運転者の視点方向から視た正面図である。 図3は、ステアリングホイルのホイル位置調整機構の構成例を示す模式図である。 図4は、カメラの撮影位置調整機構の構成例を示す模式図である。 図5は、本発明に係る実施形態の車載撮影装置のハードウェア構成の構成例を示すブロック図である。 図6は、図5に示す車載撮影装置で実現される機能を示す機能ブロック図である。 図7は、図5に示す車載撮影装置が行う処理を示すフローチャートである。
本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。
<車載撮影装置及び自動運転の概要>
具体的な説明を行う前に、まず本発明の車載撮影装置、及び自動運転技術の概要について説明する。
車載撮影装置は、車両を運転する運転者の挙動や操作などの運転状況を検知するため、運転者をカメラ(撮影部)で撮影する。そして、車載撮影装置は、その撮影画像に基づいて運転者をリアルタイムで監視して異常発生時に警報を報知したり、あるいは取得した撮影画像を自動的に記録したりするのにベースとなる装置である。
例えば、車載撮影装置は、運転者の眠気や疲労を検知したり、又は運転者の視線に基づいて脇見運転を検知したりして、運転中の誤操作により意図しない車両の誤発進などを防止するために利用される。
また、前述したリアルタイム監視、異常警報、及び自動記録などの機能は、種々の公知技術や既存の装置と組み合わせることで実現可能である。例えば、車載撮影装置が、ドライブレコーダやデジタルタコグラフに接続されることで、車両の運転中に取得した種々の情報を自動的に記録可能である。また、運輸会社やタクシー会社などの安全管理者が、ドライブレコーダなどの記録結果を運転終了後に分析することで、運転者として車両に乗務する乗務員それぞれに対し安全運転を指導できる。
また、近年、車両の自動運転を制御するため、例えば日本政府や米国運輸省道路交通安全局(NHTSA)が規定する自動化レベルのレベル2(LV2)やレベル3(LV3)の自動運転に対応する機能を、車両に搭載される電子制御ユニット(ECU)に備える研究や開発が進みつつある。
レベル2では、車両の加速、操舵、制動のうち複数の操作をシステムが自動的に実施する。ただし、レベル2では、運転者は常時、運転状況を監視して必要に応じて運転操作を実施する必要がある。
一方、レベル3では、車両の加速、操舵、制動の制御を全てシステムが実施するので、通常、運転者は運転の状況を監視するだけで良い。また、通常は必ずしも監視を行う必要はない。
ただし、レベル3においても、緊急時やシステムの限界時にシステムが要請したときは、この要請に運転者が応じる必要がある。つまり、運転の責任をシステムから運転者の手動操作にハンドオーバ(H/O)して、レベル3からそれよりも自動化率の低いレベル2などに移行する必要がある。また、同じレベル内でも、自車両の自動運転中に、ステアリングホイルに手を添える、運転者が監視義務を負う、ウィンカー操作を起点とした自動車線変更の開始、システムの判断に対する運転者の承認などの運転者の補助が不要な走行状態から、これらのいずれかの補助が必要な走行状態に移行する場合もある。すなわち、自動運転技術が搭載される車両であっても、運転制御が自動で実行される第1状態から、この第1状態よりも運転者による運転制御への関与の度合いが大きい第2状態に移行することが運転中に発生する可能性がある。
このように、この種の車載撮影装置では、自動運転技術が搭載された車両であっても、車両安全を実現するためには、運転者の顔面を常時捕捉して撮影することが決定的に重要となる。しかしながら、従来の車載撮影装置では、例えばレベル3の完全な自動運転の最中で運転者がリラックスなどして、顔面位置が極端に変化している場合に対応できない可能性がある。すなわち、従来の車載撮影装置では、カメラの位置やステアリングホイルの開口部の位置によっては、カメラの撮影範囲から外れて運転者の顔面を撮影不可となる場合がある。
本発明に係る車載撮影装置は、運転者の顔面を確実に撮影可能とするため、以下に説明する実施形態のように特別な構成を有する。
<車載撮影装置の主要な構成要素、及びその配置>
図1及び図2を参照して、本実施形態の車載撮影装置10の主要な構成要素、及びその配置について説明する。図1は、本実施形態における車載撮影装置10を搭載する車両内の運転者D1,D2及びその前方の主要な構成要素を左側方から視た側面図である。また、図2は、図1に示す運転席前方のインストルメントパネル80に配置されるメーターユニット81の近傍を運転者D1,D2の視点方向から視た正面図である。
なお、図1中の点線で示す2つの人物顔面像のうち、運転者D1は運転中の通常の顔面位置を表す。運転者D2は、自動運転の最中(例えばレベル3)でリラックスして顔面が極端に下方になったときの顔面位置を表す。実際の乗車の際には、1人の運転者が着座することになる。
図1及び図2に示すように、車両内の運転席に着座する運転者D1,D2の前方には、ステアリングホイル60、及びインストルメントパネル80が配置される。
図2に示すように、ステアリングホイル60は、略円環状のリング部61と、リング部61の中央に配置され、筒状のコラム部65に回転可能に連結されるボス部62と、リング部61及びボス部62を径方向で連結する2対のスポーク部63,64と、を有する。また、この2対のスポーク部63,64は、車両上側で左右方向に延出して配設される1対の上側スポーク部63と、車両下側で左右方向に延出して配設される2対の下側スポーク部64と、を有する。また、リング部61、ボス部62及び一対の上側スポーク部63,63で区画される開口部66を通じて、後述する車載撮影装置10のカメラ(撮影部)20が運転者D1,D2の顔面を捕捉して撮影する(図1参照)。
インストルメントパネル80は、メーターユニット81を有する。メーターユニット81は、そのメーターパネル82上に、速度計83、エンジン回転計84、方向指示表示部(不図示)などの各種計器類や表示部を有する。
また、図1及び図2に示すように、メーターパネル82の上方及び側方には、略弧状のメーターフード85が車両後方に延出して設けられる。メーターフード85は、メーターパネル82の上方及び側方を覆って、太陽光などの外光がメーターパネル82に直接入射するのを防止する。この入射防止により、計器類や表示部に対する運転者D1,D2の視認性が確保されることになる。
また、インストルメントパネル80は、メーターフード85の略中央の位置の内側にカメラ取付部86を有する。カメラ取付部86は、メーターフード85から車両下方に突出して設けられる。
カメラ20は、車内に配設される。カメラ20は、メーターフード85のカメラ取付部86に埋設され、運転者D1,D2に向けて撮影する。
ここで、図1に示すように、カメラ20は、ステアリングホイル60のボス部62の外側上端部が、顔面位置が下がった運転者D2との間で障害物となり、死角領域を有する。すなわち、ステアリングホイル60の開口部66の位置、カメラ20の撮影位置及びカメラ20の撮影角度では、運転者D1の顔面はカメラ20で撮影可能であるが、運転者D2の顔面は撮影不可となる。そのため、後述するように、本実施形態の車載撮影装置10は、メカニカル的にステアリングホイル60の位置を調整するホイル位置調整機構70、及びカメラ20の撮影位置及び撮影角度を調整する撮影位置調整機構(撮影位置調整部)30を動作させる。これにより、自動運転中に運転者D2の着座姿勢が崩れてその顔面位置が極端に変わっても、ステアリングホイル60の位置、カメラ20の撮影位置及びカメラ20の撮影角度をその変化に応じて調整して運転者D2の顔面を捕捉する。
<ホイル位置調整機構の構成>
図3は、図1に示すステアリングホイル60のホイル位置調整機構70の構成例を示す模式図である。図3に示すように、ステアリングホイル60のホイル位置調整機構70は、ステアリングホイル60の車両上下(チルト)方向の位置を調整するものであり、ステアリングシャフト71を車両の車体Bに対し揺動ピボットP回りに揺動可能に支持する略円筒状のハウジング72と、ハウジング72及び車体Bに揺動可能に連結する直動機構73と、を有する。
なお、ホイル位置調整機構70は、通常、運転者D1,D2の体格などに応じてステアリングの操作性を得るために、ステアリングホイル60の位置を調整するのに用いられるものであり、車両によってはステアリングの操作性向上を第1の目的として標準装備される。そのため、本実施形態では、ホイル位置調整機構70が車両に標準搭載される場合にはその既存の機構を共通に利用する。
ステアリングシャフト71は、その後端部にステアリングホイル60が同心に取り付けられる。また、その前端部には、不図示のステアリング機構が連結され、ステアリングホイル60が運転者D1,D2によって操作されることでステアリング機構を介して操舵輪が転舵される。
直動機構73は、後述する車載撮影装置10の制御回路40の指令に応じて回転駆動するホイル位置調整モータM3と、ホイル位置調整モータM3によって回転駆動されるねじ軸74と、ねじ軸74に螺合され、ねじ軸74の回転駆動に対応して軸方向に直動するナット部材75と、ホイル位置調整モータM3及びナット部材75に強固に固定されるとともに、ハウジング72及び車体Bに対し揺動可能に支持される一対のリンク部材76と、を有する。また、ホイル位置調整モータM3は、後述する第2のモータ駆動回路C2が電気的に接続され、第2のモータ駆動回路C2によって駆動電力が供給され回転駆動する。
このようにステアリングホイル60のホイル位置調整機構70を構成することで、直動機構73のホイル位置調整モータM3が回転駆動すると、ねじ軸74がその回転駆動に応じて回転してナット部材75が直動する。この直動により直動機構73が伸縮して、ステアリングシャフト71が揺動ピボットP回りに揺動する。その結果、ステアリングホイル60の位置が調整される。すなわち、ホイル位置調整モータM3を制御することで、ステアリングホイル60の位置が調整される。
なお、図3では、ホイル位置調整機構70の基本的原理を説明するためその具体的構成を簡略化しているが、種々の具体的機構や構造を適宜採用することができる。例えば、ホイル位置調整モータM3をハウジング72の下側に配置したり、リンク部材76を多関節に設けたりしたりすることができる。
<カメラの位置調整機構の構成>
図4は、カメラ20の撮影位置調整機構30の構成例を示す模式図である。図4に示すように、撮影位置調整機構30は、カメラ20の筐体を保持するハウジング31と、カメラ20の撮影角度を変更するウォームギア機構32と、ハウジング31を上下動させるラックアンドピニオン機構35と、を有する。なお、本実施形態では、カメラ20の筐体は略立方体に形成される。
ハウジング31は、略箱状に形成され、その内部にカメラ20の筐体が収納される。また、ハウジング31は、その後壁部が開放して設けられ、この開放により、カメラ20は後方、すなわち運転者D1,D2に向けて撮影することができる。
ウォームギア機構32は、ハウジング31の底壁部に回転可能に軸支され、カメラ20の筐体に固定されるウォームホイル33と、ウォームホイル33に螺合するとともに、その回転軸が上下方向に沿うようにハウジング31に回転可能に軸支される円筒ウォーム34と、を有する。また、円筒ウォーム34は、その回転軸の一端部で後述する第1の撮影位置調整モータ(撮影位置調整部)M1の駆動軸に連結する。
ラックアンドピニオン機構35は、その長手方向が上下方向に沿うようにハウジング31の前壁部に固定されるラック36と、ラック36に螺合するともに、メーターフード85のカメラ取付部86に回転可能に軸支されるピニオン37と、を有する。また、ピニオン37は、その回転軸の一端部で後述する第2の撮影位置調整モータ(撮影位置調整部)M2の駆動軸に連結する。
このようにカメラ20の撮影位置調整機構30を構成することで、第1の撮影位置調整モータM1が回転駆動すると、円筒ウォーム34がその回転駆動に応じて回転してウォームホイル33が回転する。このとき、ウォームホイル33はカメラ20の筐体に固定されるので、このウォームホイル33の回転に伴ってカメラ20の筐体も回転する。その結果、カメラ20の撮影角度が調整される。
一方、第2の撮影位置調整モータM2が回転駆動すると、ピニオン37がその回転駆動に応じて回転してラック36が直動する。このとき、ラック36はカメラ20の筐体を保持するハウジング31に固定されるので、このラック36の直動に伴ってカメラ20の筐体も上下動する。その結果、カメラ20の撮影位置が調整される。
なお、図4も図3と同様に、撮影位置調整機構30の基本的原理を説明するためその具体的構成を簡略化しているが、種々の具体的機構や構造を適宜採用することができる。
<車載撮影装置のハードウェア構成>
図5は、本実施形態の車載撮影装置10のハードウェア構成を示すブロック図である。図5に示すように、車載撮影装置10は、運転者D1,D2の顔面を撮影するカメラ20と、カメラ20の撮影位置及び撮影角度を調整するための第1及び第2の撮影位置調整モータM1,M2と、第1及び第2の撮影位置調整モータM1,M2を駆動制御するための第1のモータ駆動回路(撮影位置調整部)C1と、カメラ20、第1のモータ駆動回路C1、第2のモータ駆動回路C2及び装置本体を制御するための制御回路40と、を有する。
カメラ20は、例えば赤外光用のCCDカメラで構成され、CCD素子からなる不図示の受光部と、カメラ本体に一体的に設けられ、運転者D1,D2に向けて赤外光など所定の照射光を照射する不図示の光源と、を有する。カメラ20の受光部は、運転者D1,D2の表面で反射する光源の照射光を、レンズを介して受光する。カメラ20は、この受光する光を電気信号に変換して制御回路40に出力する。
第1及び第2の撮影位置調整モータM1,M2は、例えばステッピングモータで構成され、上述した撮影位置調整機構30のウォームギア機構32及びラックアンドピニオン機構35を駆動する。第1の撮影位置調整モータM1は、ウォームギア機構32の円筒ウォーム34を回転駆動することで、カメラ20の撮影角度をチルト方向で調整する(図4参照)。また、第2の撮影位置調整モータM2は、ラックアンドピニオン機構35のピニオン37を回転駆動することで、カメラ20の撮影位置を上下方向で調整する。
第1のモータ駆動回路C1は、ステッピングモータ用の駆動回路であり、モータ制御用電子回路(例えばトランジスタ)で構成され、第1及び第2の撮影位置調整モータM1,M2に電気的に接続される。そして、第1のモータ駆動回路C1は、後述する撮影位置調整部54が出力する制御信号を受けて第1及び第2の撮影位置調整モータM1,M2に駆動電力を供給する。この供給により、第1及び第2の撮影位置調整モータM1,M2は、所望の目標値まで回転駆動する。
制御回路40は、汎用のコンピュータで構成され、CPU(中央演算回路)50と、ROM(読出し専用記憶回路)41と、RAM(書き込み可能な記憶回路)44と、インターフェース回路47と、通信回路48と、これら回路を相互に接続するバス49と、を有する。
また、制御回路40は、インターフェース回路47を通じて、ホイル位置調整モータM3を駆動制御するための第2のモータ駆動回路C2が電気的に接続される。第2のモータ駆動回路C2は、第1のモータ駆動回路C1と同様に、モータ制御用電子回路で構成され、後述するホイル位置調整部55が出力する制御信号を受けてホイル位置調整モータM3に駆動電力を供給する。
なお、本実施形態では、第2のモータ駆動回路C2は既存のホイル位置調整機構70の一部として構成されており、車載撮影装置10とは別の構成とされる。
CPU50は、ROM41及びRAM44に格納されるプログラム及びデータを適宜実行したり読み出したりして、カメラ20、第1のモータ駆動回路C1、第2のモータ駆動回路C2及び装置本体を制御する。
ROM41は、プログラム格納領域42と、データ格納領域43と、を有する。このプログラム格納領域42には、本実施形態の車載撮影装置10が有する機能を実現するための各種プログラム(後述)が格納される。また、データ格納領域43には、カメラ20の撮影画像に対して画像特徴を抽出するための複数のテンプレートが格納される。複数のテンプレートには、運転者D1,D2の顔面を抽出するための顔面抽出用テンプレートが含まれる。また、データ格納領域43には、第1及び第2の撮影位置調整モータM1,M2の駆動範囲の限界を示す駆動範囲データも同様に格納される。
RAM44は、CPU50がプログラムを実行する際、中間的に生成されるデータを一時的に保存する一時保存領域45と、カメラ20で撮影する撮影画像を逐次記憶保持する画像保存領域46と、を有する。
インターフェース回路47は、車内外に設けられる各種外部機器と間の物理的なインターフェース機能を有する。本実施形態では、インターフェース回路47は、カメラ20、第1及び第2のモータ駆動回路C1,C2に接続され、CPU50、ROM41及びRAM44などの回路に対し電気信号を仲介して相互に通信可能とする。
通信回路48は、車内LANとの間の通信プロトコルとしてのインターフェース機能を有し、車載撮影装置10の撮影画像や検知結果などをECU(Electric Control Unit)などの上流装置や上流機能に出力可能である。
<車載撮影装置の機能>
図6は、図5に示す車載撮影装置10で実現される機能を示す機能ブロック図である。なお、図6では車載撮影装置10の各機能は「部」として表現され、これら「部」は制御回路40のROM41のプログラム格納領域内42にプログラムとしてそれぞれ格納される。制御回路40のCPU50がこれらプログラムを適宜実行することにより、車載撮影装置10の各機能が実現される。
CPU50は、車載撮影装置10の機能として、画像生成部51と、画像判定部52と、位置調整制御部53と、撮影位置調整部54と、ホイル位置調整部55と、を有する。
画像生成部51は、インターフェース回路47を介して、カメラ20から出力される電気信号を制御回路40内に取り込む。また、画像生成部51は、その電気信号をデジタル変換して画像処理を施す。具体的には、画像生成部51は、カメラ20の撮影画像を減色した上で、この撮影画像を特徴が一様な部分領域に分割する。この領域分割後に、画像生成部51は、所定の対象物が占有する領域を抽出して撮影画像を生成する。そして、画像生成部51は、その撮影画像を画像判定部52及びRAM44の画像保存領域46に出力する。なお、上述したように、RAM44はその画像保存領域46で撮影画像を逐次記憶保持する。
画像判定部52は、ROM41のデータ格納領域43に格納される顔面抽出用テンプレートを読み込み、テンプレートマッチング手法に従って画像特徴を抽出する。これにより、画像判定部52は、撮影画像に運転者D1,D2の顔面が含まれるか否かを判定する。そして、画像判定部52は、その判定結果を位置調整制御部53に出力する。
なお、画像判定部52は、撮影画像に運転者D1,D2の顔面が含まれると判定する場合には、画像生成部51の撮影画像をECUなどの上流装置、又は上流機能に出力可能とする。この上流機能として例えば運転者D1,D2の疲労や眠気など、又はその脇見運転を検知するための機能(プログラム)などが挙げられる。
位置調整制御部53は、RAM44の画像保存領域46に記憶保持される撮影画像、及びROM41のデータ格納領域43に格納される駆動範囲データを読み込む。そして、位置調整制御部53は、ホイル位置調整部54及び撮影位置調整部55に制御量を算出させるため、画像判定部の判定結果に基づいて撮影画像内に運転者の顔面が含まれるように、第1及び第2の撮影位置調整モータM1,M2、又はホイル位置調整モータM3の目標値を生成する。
ここで当該目標値を生成するときには、位置調整制御部53は、画像保存領域46に記憶保持される撮影画像を参照して、現在の撮影画像と、過去の撮影画像と、を比較して運転者D1,D2の顔面の変位を検出し、その変位に基づいて第1及び第2の撮影位置調整モータM1,M2又はホイル位置調整モータM3の目標値を生成する。具体的には、位置調整制御部53は、現在の撮影画像において運転者D1,D2の顔面は前回(過去)の撮影画像と比べて高い位置にあるか否かを判定して目標値を生成する。
また、位置調整制御部53は、データ格納領域43に格納される駆動範囲データを参照して、第1及び第2の撮影位置調整モータM1,M2の駆動範囲が限界にあるのか否かを判定する。位置調整制御部53は、駆動範囲が限界にあると判定すれば、第1及び第2の撮影位置調整モータM1,M2の目標値を生成せず、ホイル位置調整モータM3の目標値を生成する。一方、位置調整制御部53は、駆動範囲が限界にないと判定すれば、第1及び第2の撮影位置調整モータM1,M2の目標値を生成する。すなわち、本実施形態では、カメラ20の撮影位置及び撮影角度の調整がプライマリーに設定される。位置調整制御部53は、このように生成した目標値を撮影位置調整部54又はホイル位置調整部55に出力する。
撮影位置調整部54は、位置調整制御部53の目標値に基づいて第1及び第2の撮影位置調整モータM1,M2の制御量を算出し、その制御量を制御信号として第1のモータ駆動回路C1に出力する。前述したように、第1のモータ駆動回路C1は、制御信号を受けて第1及び第2の撮影位置調整モータM1,M2に駆動電力を供給する。これにより、カメラ20の撮影位置及び撮影角度が調整され、カメラ20が運転者D1,D2の顔面を捕捉する。
ホイル位置調整部55は、位置調整制御部53の目標値に基づいてホイル位置調整モータM3の制御量を算出し、その制御量を制御信号として第2のモータ駆動回路C2に出力する。第2のモータ駆動回路C2は、制御信号を受けてホイル位置調整モータM3に駆動電力を供給する。これにより、ステアリングホイル60の位置が調整され、カメラ20がステアリングホイル60の開口部66を通じて運転者の顔面を捕捉する。
このように構成されるCPU50は、車両走行中において運転者D1,D2の顔面位置に応じて、ステアリングホイル60の位置を調整したり、カメラ20の撮影位置又は撮影角度を調整したりする。このため、例えば、自動運転中のレベル3で運転者D1,D2がリラックスして着座姿勢が崩れその顔面位置が極端に変化しても、カメラ20は運転者D1,D2の顔面を捕捉可能である。
<車載撮影装置の動作、及び車載撮影方法>
図7を参照して、本実施形態に係る車載撮影装置10の動作、及び車載撮影方法の手順について説明する。図7は、図5に示す撮影装置10が行う処理を示すフローチャートである。
図7に示すように、ステップS1でカメラ20は運転者D1,D2の顔面を撮影し、画像生成部51は、インターフェース回路47を介して、カメラ20から出力される電気信号を制御回路40内に取り込む。画像生成部51は、この電気信号をデジタル変換して画像処理を施した上で撮影画像を生成する。
画像判定部52は、S1で生成された画像生成部51の撮影画像に対して画像特徴を抽出して、撮影画像に運転者D1,D2の顔面が含まれるか否かを判定する(S2)。画像判定部52は、撮影画像に運転者D1,D2の顔面が含まれると判定する場合にはS1に戻る。一方、画像判定部52は、撮影画像に運転者D1,D2の顔面が含まれないと判定する場合には、次のステップS3に進む。
ステップS3では、位置調整制御部53は、前回と前々回の撮影画像を比較して、運転者の顔面が現在の撮影画像の位置に対し上下どちらの方向にあるか、初期方向を決定する。なお、前回と前々回の撮影画像の比較に限らず、過去の2つの時点の撮影画像の比較に基づいて初期方向を決定してもよい。
また、位置調整制御部53は、ROM41のデータ格納領域43に格納される駆動範囲データを参照して、ホイル位置調整モータM3の駆動範囲が限界にあるか否かを判定する(S4)。位置調整制御部53は、ホイル位置調整モータM3の駆動範囲が限界であると判定した場合には、S3で決定した初期方向と反対方向に運転者の顔面があると決定し(S5)、限界でないと判定した場合には、決定した方向を初期方向のままとする。
そして、位置調整制御部53は、決定された方向が、前回(過去)に対し高い方向であるか否かを判定し(S6)、高い方向に決定されている場合には、S10に進み、低い方向に決定されている場合には、S7に進む。
また、位置調整制御部53は、ROM41のデータ格納領域43に格納される駆動範囲データを参照して、第1及び第2の撮影位置調整モータM1,M2の駆動範囲が限界にあるのか否かを判定する(S7)。位置調整制御部53が第1及び第2の撮影位置調整モータM1,M2の駆動範囲が限界にあると判定する場合には、動作フローはステップS8に進む。一方、位置調整制御部53が第1及び第2の撮影位置調整モータM1,M2の駆動範囲が限界にないと判定する場合にはステップS9に進む。
ステップS8では、ホイル位置調整部55は、位置調整制御部53の目標値に基づいてステアリングホイル60の位置を下げるようにホイル位置調整モータM3の制御量を算出する。そして、ホイル位置調整部55は、その制御量を制御信号として第2のモータ駆動回路C2に出力する。
ステップS9では、撮影位置調整部54は、位置調整制御部53の目標値に基づいてカメラ20の撮影位置を上げ且つその撮影角度を下げるように第1及び第2の撮影位置調整モータM1,M2の制御量を算出する。そして、撮影位置調整部54は、その制御量を制御信号として第1のモータ駆動回路C1に出力する。
ステップS10に進んだ場合、ステップS7と同様の処理が行われるが、位置調整制御部53が第1及び第2の撮影位置調整モータM1,M2の駆動範囲が限界にあると判定する場合には、ステップS11に進む。その一方で、位置調整制御部53が第1及び第2の撮影位置調整モータM1,M2の駆動範囲が限界にないと判定する場合には、ステップS12に進む。
ステップS11では、ステップS8と同様な処理が行われるが、ホイル位置調整部55は、位置調整制御部53の目標値に基づいてステアリングホイル60の位置を上げるようにホイル位置調整モータM3の制御量を算出する。
ステップS12では、ステップS9と同様な処理が行われるが、撮影位置調整部54は、位置調整制御部53の目標値に基づいてカメラ20の撮影位置を下げ且つその撮影角度を上げるように第1及び第2の撮影位置調整モータM1,M2の制御量を算出する。
制御回路40のCPU50は、このようなステップS1〜ステップS12の一連のステップを実行することにより、自動運転中のレベル3で運転者D1,D2がリラックスして着座姿勢が崩れその顔面位置が極端に変化しても、カメラは運転者D1,D2の顔面を常に捕捉することができる。
<本実施形態の利点>
以上説明したように、本実施形態の車載撮影装置10によれば、車両内に設置されるステアリングホイル60の位置を調整するホイル位置調整部55と、カメラ20の撮影位置及び撮影角度を調整する撮影位置調整部54、撮影位置調整機構30、第1及び第2の撮影位置調整モータM1,M2及び第1のモータ駆動回路C1と、カメラ20の撮影結果に基づいてホイル位置調整部55及び撮影位置調整部54を制御する位置調整制御部53と、を有する。このため、運転者D1,D2の顔面の位置が極端に変わってもカメラ20で運転者D1,D2の顔面を捉えることができる。また、カメラ20の死角範囲を減少させ、撮影不可の異常報知の必要性を抑制できる。このため、運転者D1,D2は着座姿勢を常時気にする必要がないので、運転者D1,D2の車内快適性が損なうことはない。
また、本実施形態の車載撮影装置10によれば、画像生成部51の撮影画像に基づいて撮影画像に運転者D1,D2の顔面が含まれているか否かを判定する画像判定部52と、をさらに有し、位置調整制御部53は、画像判定部52の判定結果に基づいて撮影画像内に運転者の顔面が含まれるように、ホイル位置調整部55及び撮影位置調整部54を制御するため、運転者D1,D2の顔面の位置が極端に変わっても効率的且つ自律的に運転者D1,D2の顔面を捉えることができる。
また、本実施形態の車載撮影装置10によれば、位置調整制御部53は、過去の2つの時点の撮影画像を比較して運転者D1,D2の顔面の変位を検出し、その変位に基づいてホイル位置調整部55及び撮影位置調整部54の少なくとも一方を制御するので、運転者D1,D2の顔面の位置が極端に変わってもカメラ20で運転者D1,D2の顔面を迅速に捉えることができる。
また、本実施形態の車載撮影方法によれば、運転者D1,D2の顔面の位置が極端に変わってもカメラ20で運転者D1,D2の顔面を捉えることができる。また、カメラ20の死角範囲を減少させ、撮影不可の異常報知の必要性があまりない。このため、運転者D1,D2は着座姿勢を常時気にする必要がないので、運転者D1,D2の車内快適性が損なうことはない。また、撮影画像に運転者D1,D2の顔面が含まれているか否かを判定し、そして撮影画像内に運転者D1,D2の撮影画像が含まれるように、ステアリングホイル60の位置、カメラ20の撮影位置及びカメラ20の撮影角度を調整するので、運転者D1,D2の顔面の位置が極端に変わっても効率的且つ自律的に運転者D1,D2の顔面を捉えることができる。
また、本実施形態の車載撮影方法によれば、過去の2つの時点の撮影画像を比較して運転者D1,D2の顔面の変化を検出し、その変化に基づいてステアリングホイル60の位置、カメラ20の撮影位置、及びカメラ20の撮影角度を調整するため、運転者D1,D2の顔面の位置が極端に変わってもカメラ20で運転者D1,D2の顔面を迅速に捉えることができる。
なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。
例えば、上記実施形態では、画像生成部51を制御回路40の構成の一部として設けたが、これに限定されない。カメラ(撮影部)20の構成の一部として、あるいは別の画像生成装置として設けても良い。
また、上記実施形態では、第2のモータ駆動回路C2及びホイル位置調整モータM3などを車載撮影装置10とは別の構成としたが、これに限定されない。車載撮影装置10の構成の一部として設けても良い。
また、上記実施形態ではカメラ20を1台設けるが、これに限定されず、複数設けても良い。また、上記実施形態では、光源をカメラ20に一体的に設けるが、これに限定されない。光源を別体として設けても良い。
また、本発明や本実施形態における「部」とは単にハードウェアによって実現される物理的構成に限定されず、その構成が有する機能をプログラムなどのソフトウェアによって実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成によって実現されても、または2つ以上の構成の機能が例えば1つの物理的構成によって実現されていても構わない。
ここで、上述した本発明に係る車載撮影装置、及び車載撮影方法の実施形態の特徴をそれぞれ以下[1]〜[5]に簡潔に纏めて列記する。
[1]運転者(D1,D2)の顔面を撮影する車載撮影装置(10)であって、
車両内に設置され、前記運転者(D1,D2)の前記顔面を撮影する撮影部(カメラ20)と、
前記車両内に設置されるステアリングホイル(60)の位置を調整するホイル位置調整部(55)と、
前記撮影部(カメラ20)の撮影位置及び撮影角度の少なくとも一方を調整する撮影位置調整部(撮影位置調整部54、撮影位置調整機構30、第1の撮影位置調整モータM1、第2の撮影位置調整モータM2、第1のモータ駆動回路C1)と、
前記撮影部(カメラ20)の撮影結果に基づいて前記ホイル位置調整部(55)及び前記撮影位置調整部(撮影位置調整部54、撮影位置調整機構30、第1の撮影位置調整モータM1、第2の撮影位置調整モータM2、第1のモータ駆動回路C1)の少なくとも一方を制御する位置調整制御部(53)と、
を有することを特徴とする車載撮影装置(10)。
[2]前記撮影部(カメラ20)の撮影結果に基づいて撮影画像を生成する画像生成部(51)と、
前記画像生成部(51)の前記撮影画像に基づいて前記撮影画像に前記運転者(D1,D2)の前記顔面が含まれているか否かを判定する画像判定部(52)と、をさらに有し、
前記位置調整制御部(53)は、前記画像判定部(52)の判定結果に基づいて前記撮影画像内に前記運転者(D1,D2)の前記顔面が含まれるように、前記ホイル位置調整部(55)及び前記撮影位置調整部(撮影位置調整部54、撮影位置調整機構30、第1の撮影位置調整モータM1、第2の撮影位置調整モータM2、第1のモータ駆動回路C1)の少なくとも一方を制御する
ことを特徴とする上記[1]に記載の車載撮影装置(10)。
[3]前記位置調整制御部(53)は、現在の前記撮影画像と、過去の前記撮影画像と、を比較して前記運転者(D1,D2)の前記顔面の変位を検出し、前記変位にも基づいて前記ホイル位置調整部(55)及び前記撮影位置調整部(撮影位置調整部:54、撮影位置調整機構30、第1の撮影位置調整モータM1、第2の撮影位置調整モータM2、第1のモータ駆動回路C1)の少なくとも一方を制御する
ことを特徴とする上記[2]に記載の車載撮影装置(10)。
[4]運転者(D1,D2)の顔面を撮影する車載撮影方法であって、
車両内に設置される撮影部(カメラ20)で、前記運転者(D1,D2)の前記顔面を撮影する撮影ステップ(S1)と、
前記撮影ステップ(S1)での撮影結果に基づいて撮影画像を生成する画像生成ステップ(S1)と、
前記撮影画像に前記運転者(D1,D2)の前記顔面が含まれているか否かを判定する画像判定ステップ(S2)と、
前記画像判定ステップ(S2)での判定結果に基づいて前記撮影画像内に前記運転者(D1,D2)の前記撮影画像が含まれるように、前記車両内に設置されるステアリングホイル(60)の位置、前記撮影部(カメラ20)の撮影位置、及び前記撮影部(カメラ20)の撮影角度の少なくとも一方を調整する位置調整制御ステップ(S3〜S12)と、
を含むことを特徴とする車載撮影方法。
[5]前記位置調整制御ステップ(S3)では、過去の2つの時点の前記撮影画像を比較して前記運転者(D1,D2)の前記顔面の変位を検出し、前記変位に基づいて前記ステアリングホイル(60)の位置、前記撮影部(カメラ20)の撮影位置、及び前記撮影部(カメラ20)の撮影角度の少なくとも一方を調整する
ことを特徴とする上記[4]に記載の車載撮影方法。
10 車載撮影装置
20 カメラ(撮影部)
30 撮影位置調整機構(撮影位置調整部)
31 ハウジング
32 ウォームギア機構
33 ウォームホイル
34 円筒ウォーム
35 ラックアンドピニオン機構
36 ラック
37 ピニオン
40 制御回路
41 ROM
42 プログラム格納領域
43 データ格納領域
44 RAM
45 一時保存領域
46 画像保存領域
47 インターフェース回路
48 通信回路
49 バス
50 CPU
51 画像生成部
52 画像判定部
53 位置調整制御部
54 撮影位置調整部
55 ホイル位置調整部
60 ステアリングホイル
61 リング部
62 ボス部
63 上側スポーク部
64 下側スポーク部
65 コラム部
66 開口部
70 ホイル位置調整機構
71 ステアリングシャフト
72 ハウジング
73 直動機構
74 ねじ軸
75 ナット部材
76 リンク部材
80 インストルメントパネル
81 メーターユニット
82 メーターパネル
83 速度計
84 エンジン回転計
85 メーターフード
86 カメラ取付部
D1、D2 運転者
B 車体
P 揺動ピボット
M1 第1の撮影位置調整モータ(撮影位置調整部)
M2 第2の撮影位置調整モータ(撮影位置調整部)
M3 ホイル位置調整モータ
C1 第1のモータ駆動回路(撮影位置調整部)
C2 第2のモータ駆動回路

Claims (5)

  1. 運転者の顔面を撮影する車載撮影装置であって、
    車両内に設置され、前記運転者の前記顔面を撮影する撮影部と、
    前記車両内に設置されるステアリングホイルの位置を調整するホイル位置調整部と、
    前記撮影部の撮影位置及び撮影角度の少なくとも一方を調整する撮影位置調整部と、
    前記撮影部の撮影結果に基づいて前記ホイル位置調整部及び前記撮影位置調整部の少なくとも一方を制御する位置調整制御部と、
    を有することを特徴とする車載撮影装置。
  2. 前記撮影部の撮影結果に基づいて撮影画像を生成する画像生成部と、
    前記画像生成部の前記撮影画像に基づいて前記撮影画像に前記運転者の前記顔面が含まれているか否かを判定する画像判定部と、をさらに有し、
    前記位置調整制御部は、前記画像判定部の判定結果に基づいて前記撮影画像内に前記運転者の前記顔面が含まれるように、前記ホイル位置調整部及び前記撮影位置調整部の少なくとも一方を制御する
    ことを特徴とする請求項1に記載の車載撮影装置。
  3. 前記位置調整制御部は、現在の前記撮影画像と、過去の前記撮影画像と、を比較して前記運転者の前記顔面の変位を検出し、前記変位にも基づいて前記ホイル位置調整部及び前記撮影位置調整部の少なくとも一方を制御する
    ことを特徴とする請求項2に記載の車載撮影装置。
  4. 運転者の顔面を撮影する車載撮影方法であって、
    車両内に設置される撮影部で、前記運転者の前記顔面を撮影する撮影ステップと、
    前記撮影ステップでの撮影結果に基づいて撮影画像を生成する画像生成ステップと、
    前記撮影画像に前記運転者の前記顔面が含まれているか否かを判定する画像判定ステップと、
    前記画像判定ステップでの判定結果に基づいて前記撮影画像内に前記運転者の前記撮影画像が含まれるように、前記車両内に設置されるステアリングホイルの位置、前記撮影部の撮影位置、及び前記撮影部の撮影角度の少なくとも一方を調整する位置調整制御ステップと、
    を含むことを特徴とする車載撮影方法。
  5. 前記位置調整制御ステップでは、過去の2つの時点の前記撮影画像を比較して前記運転者の前記顔面の変位を検出し、前記変位に基づいて前記ステアリングホイルの位置、前記撮影部の撮影位置、及び前記撮影部の撮影角度の少なくとも一方を調整する
    ことを特徴とする請求項4に記載の車載撮影方法。
JP2017239722A 2017-12-14 2017-12-14 車載撮影装置、及び車載撮影方法 Pending JP2019104450A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017239722A JP2019104450A (ja) 2017-12-14 2017-12-14 車載撮影装置、及び車載撮影方法
CN201811508868.7A CN110021146A (zh) 2017-12-14 2018-12-11 安装在车辆上的拍摄设备及车辆中的拍摄方法
DE102018221510.3A DE102018221510A1 (de) 2017-12-14 2018-12-12 Bildaufnahmeeinrichtung, die in einem Fahrzeug montiert ist, und Bildaufnahmeverfahren in einem Fahrzeug
US16/218,974 US20190184909A1 (en) 2017-12-14 2018-12-13 Photographing Device Mounted on Vehicle and Photographing Method in Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017239722A JP2019104450A (ja) 2017-12-14 2017-12-14 車載撮影装置、及び車載撮影方法

Publications (1)

Publication Number Publication Date
JP2019104450A true JP2019104450A (ja) 2019-06-27

Family

ID=66674758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017239722A Pending JP2019104450A (ja) 2017-12-14 2017-12-14 車載撮影装置、及び車載撮影方法

Country Status (4)

Country Link
US (1) US20190184909A1 (ja)
JP (1) JP2019104450A (ja)
CN (1) CN110021146A (ja)
DE (1) DE102018221510A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528787B2 (ja) * 2017-01-17 2019-06-12 トヨタ自動車株式会社 車両の制御装置
US11823468B2 (en) * 2019-11-19 2023-11-21 Hyundai Mobis Co., Ltd. Driver state warning system and method of monitoring driver state
CN111063167A (zh) * 2019-12-25 2020-04-24 歌尔股份有限公司 一种疲劳驾驶识别提示方法、装置及相关组件
CN111709348A (zh) * 2020-06-11 2020-09-25 苏州百胜动力机器股份有限公司 一种基于驾驶员面部监视的舷外机安全驾驶控制系统
CN112669495B (zh) * 2021-01-07 2022-12-23 湖南晨晫智能科技有限公司 一种自动调节镜头角度的虹膜锁
DE102023004157A1 (de) 2022-10-27 2024-05-02 Mercedes-Benz Group AG Ein System zur Unterstützung einer Bilderfassungseinheit in einem Fahrzeug

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7605693B2 (en) * 2006-08-30 2009-10-20 Kulas Charles J Visual indicators on vehicle steering wheel displayed in response to hand position
JP4793269B2 (ja) 2007-01-09 2011-10-12 株式会社デンソー 眠気検知装置
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
CN103241189A (zh) * 2012-02-13 2013-08-14 环达电脑(上海)有限公司 自动转向控制装置
US9150238B2 (en) * 2012-06-04 2015-10-06 GM Global Technology Operations LLC System and method for automatically adjusting a steering tilt position
EP3001289A4 (en) * 2013-05-23 2017-01-18 Pioneer Corporation Display controller
US9120379B2 (en) * 2013-09-25 2015-09-01 Denso International America, Inc. Adaptive instrument display using eye tracking
DE102014003302B3 (de) * 2014-03-08 2015-06-11 Audi Ag Verfahren zum Betreiben eines Lenksystems, Lenksystem und Fahrzeug
DE102014221039A1 (de) * 2014-10-16 2016-04-21 Robert Bosch Gmbh Steuergerät für ein Kraftfahrzeug mit Kamera für Fahrergesicht und Verfahren zum Aufnehmen des Gesichtes eines Fahrzeuginsassen
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US9728084B2 (en) * 2015-02-25 2017-08-08 Here Global B.V. Method and apparatus for providing vehicle classification based on automation level
CN107416008A (zh) * 2016-04-13 2017-12-01 法拉第未来公司 使车辆方向盘自动缩回和伸出的系统和方法
CN105872379A (zh) * 2016-04-15 2016-08-17 乐视控股(北京)有限公司 摄像装置
US20170297493A1 (en) * 2016-04-15 2017-10-19 Ford Global Technologies, Llc System and method to improve situational awareness while operating a motor vehicle
CN106427807B (zh) * 2016-10-31 2019-03-19 惠州华阳通用电子有限公司 一种车载手机拍照装置及控制方法
DE102016223961A1 (de) * 2016-12-01 2018-06-07 Robert Bosch Gmbh Verfahren und Auslöseschaltung zum Auslösen eines in einem Lenkrad eines Kraftfahrzeugs angeordneten Airbags
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
US10150351B2 (en) * 2017-02-08 2018-12-11 Lp-Research Inc. Machine learning for olfactory mood alteration

Also Published As

Publication number Publication date
CN110021146A (zh) 2019-07-16
US20190184909A1 (en) 2019-06-20
DE102018221510A1 (de) 2019-06-19

Similar Documents

Publication Publication Date Title
JP2019104450A (ja) 車載撮影装置、及び車載撮影方法
JP6565859B2 (ja) 車両制御システム
JP5099451B2 (ja) 車両周辺確認装置
JP4922715B2 (ja) 乗員検出システム、警報システム、制動システム、車両
JP5493593B2 (ja) 眠気検出装置、眠気検出方法、及びプログラム
JP6915503B2 (ja) ドライバモニタシステム
US20170028921A1 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
JP2004026144A (ja) 車両内部または外部を監視する方法、及び監視カメラを備えた車両
JP2009201756A (ja) 情報処理装置および方法、並びに、プログラム
US10821895B2 (en) Apparatus and method for checking the playback of a video sequence of a mirror replacement camera
JP4696792B2 (ja) 車載警報装置
CN113165667A (zh) 调节摄像机的视角的车辆用全景监控系统及其方法
JP2020157938A (ja) 車載監視制御装置
JP2004194071A (ja) 運転支援画像生成装置
JP2003339044A (ja) 車両用周辺監視装置
JP2017206173A (ja) ドライバ状態検出装置
JP2007253821A (ja) 乗員撮像装置
JP2011003117A (ja) 後方視認支援システム
CN110228418B (zh) 用于车辆内后视镜的控制方法、装置、系统和车辆
JPH0475560B2 (ja)
JPH11304428A (ja) 運転者監視装置及び自動車運転支援システム
JP7345114B2 (ja) 車両用表示制御装置、表示制御方法、およびプログラム
KR100882689B1 (ko) 차량의 측후방 모니터링 시스템 및 그 제어방법
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
KR200291685Y1 (ko) 차량의 사면 모니터링 장치