CN110021146A - 安装在车辆上的拍摄设备及车辆中的拍摄方法 - Google Patents

安装在车辆上的拍摄设备及车辆中的拍摄方法 Download PDF

Info

Publication number
CN110021146A
CN110021146A CN201811508868.7A CN201811508868A CN110021146A CN 110021146 A CN110021146 A CN 110021146A CN 201811508868 A CN201811508868 A CN 201811508868A CN 110021146 A CN110021146 A CN 110021146A
Authority
CN
China
Prior art keywords
vehicle
driver
shooting
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811508868.7A
Other languages
English (en)
Inventor
盐田隆司
长桥谦一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN110021146A publication Critical patent/CN110021146A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0211—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for record carriers apparatus, e.g. video recorders, tape players or CD players
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/16—Steering columns
    • B62D1/18—Steering columns yieldable or adjustable, e.g. tiltable
    • B62D1/181—Steering columns yieldable or adjustable, e.g. tiltable with power actuated adjustment, e.g. with position memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • B60K2360/18—
    • B60K2360/21—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0092—Adjustable or movable supports with motorization
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

一种安装在车辆上的拍摄设备包括安装在车辆上以拍摄驾驶员的面部的拍摄部、调整安装在车辆上的方向盘的位置的盘位置调整部、调整拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个的拍摄位置调整部、以及基于拍摄部的拍摄结果控制盘位置调整部和拍摄位置调整部中的至少一个的位置调整控制部。

Description

安装在车辆上的拍摄设备及车辆中的拍摄方法
技术领域
本发明涉及安装在车辆上的拍摄设备和车辆中的拍摄方法。
背景技术
开发了一种车辆安全技术，该技术对正在驾驶车辆的驾驶员的面部进行拍摄，以监视驾驶员的困倦、疲劳和偏离视线(looking-away)驾驶，并确保车辆的安全。
例如，专利文献1公开了一种具有拍摄单元(相机)的设备，作为实现用于检测驾驶员的困倦或疲劳的车辆安全技术的设备，该拍摄单元拍摄包括驾驶员的面部的待拍摄图像，以基于相机所拍摄的图像来估计驾驶员的清醒程度。
此外，专利文献2公开了一种包括拍摄单元(相机)、视线检测单元和视线移动测量单元的设备，所述拍摄单元拍摄驾驶员的眼睛，所述视线检测单元从相机的拍摄图像检测驾驶员视线，所述视线移动测量单元测量驾驶员视线的移动以防止驾驶员的偏离视线驾驶，其中驾驶员视线指向预设的仔细观察方向的频率低于作为参考的频率，发出驾驶员视觉识别不足的警报。
[专利文献1]JP-A-2008-167806
[专利文献2]JP-A-2006-224700
在安装在车辆上的拍摄设备中，需要确保捕捉和拍摄驾驶员的面部。根据相关技术，当不能捕捉驾驶员的面部时，不能通过设备监视驾驶员的驾驶状态，诸如驾驶员的困倦、疲劳和偏离视线驾驶。因此，该设备对车辆的安全性贡献很小。此外，当相机安装在计量(meter)板上时，方向盘被提供于相机和驾驶员之间。因此，相机通过方向盘的开口部分拍摄驾驶员的面部。然而，根据情况，方向盘可能会形成死角。
此外，推进了安装在车辆上以控制或支持自动驾驶的机构或功能的研究或开发。例如，车辆的电子控制单元(ECU)被构造成满足日本政府或美国交通运输部道路交通安全局(NHTSA)规定的自动化等级的等级2(LV2)或等级3(LV3)的自动驾驶。
在等级2中，系统自动执行车辆的加速、转向和制动的多个操作。在等级3中，由于系统执行车辆的加速、转向和制动的所有控制，驾驶员通常可以仅监视驾驶状态。
然而，即使在等级3中，当系统在紧急情况或系统限制时作出请求时，驾驶员必须根据该请求将自动驾驶切换(H/O)为手动操作。因此，安装在车辆上的拍摄设备在从等级3到等级2的转换期间甚至在等级3中，即准备切换时，也总是需要捕捉驾驶员的面部。然后，在等级3中，很好地假设驾驶员不能完全地休息，然而，驾驶员比普通时间更放松，因此坐姿可能会松散。
这里，当驾驶员的面部即使在等级3中也位于标准位置时，即使在切换时，相机也能捕捉驾驶员的面部。然而，如上所述，当驾驶员在等级3中放松并且面部的位置过度改变时，面部可能会取决于相机的位置或方向盘的开口部分而偏离相机的拍摄范围，从而面部可能不会被安装在车辆上的通常的拍摄设备所拍摄到。在这种情况下，安装在车辆上的拍摄设备不能展示其功能，并且在紧急时可能无法执行切换。
此外，根据研究，当安装在车辆上的拍摄设备判断不能拍摄到驾驶员的面部时，通过灯或音频发出警报，作为安全失败功能。然而，最初对驾驶员来说舒适的自动驾驶可能会很复杂。
发明内容
一个或多个实施例提供了安装在车辆上的拍摄设备和车辆中的拍摄方法，通过该拍摄设备和拍摄方法，可以确保捕捉和拍摄驾驶员的面部。
在方面(1)中，一个或多个实施例提供了安装在车辆上的拍摄设备，该拍摄设备包括安装在车辆上以拍摄驾驶员面部的拍摄部、调整安装在车辆上的方向盘的位置的盘位置调整部、调整拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个的拍摄位置调整部、以及基于拍摄部的拍摄结果控制盘位置调整部和拍摄位置调整部中的至少一个的位置调整控制部。
在方面(2)中，所述安装在车辆上的拍摄设备还包括图像生成部和图像判断部，该图像生成部基于拍摄部的拍摄结果生成拍摄图像，该图像判断部基于图像生成部的拍摄图像来判断驾驶员的面部是否被包括在拍摄图像中。所述位置调整控制部基于图像判断部的判断结果来控制所述盘位置调整部和所述拍摄位置调整部中的至少一个，以便在拍摄图像中包括驾驶员的面部。
在方面(3)中，所述位置调整控制部将当前的拍摄图像与过去的拍摄图像进行比较以检测驾驶员面部的位移，并基于该位移控制所述盘位置调整部和所述拍摄位置调整部中的至少一个。
在方面(4)中，车辆中的拍摄方法包括：在安装在车辆上的拍摄部中拍摄驾驶员的面部；基于拍摄中的拍摄结果生成拍摄图像；判断驾驶员的面部是否被包括在拍摄图像中；以及基于判断中的判断结果调整安装在车辆上的方向盘的位置、所述拍摄部的拍摄位置和所述拍摄部的拍摄角度中的至少一个，以将驾驶员的面部包括在拍摄图像中。
在方面(5)中，所述调整包括将过去两次的拍摄图像彼此进行比较，以检测驾驶员面部的位移，并且基于该位移调整方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个。
根据所述方面(1)，即使当驾驶员面部的位置过度改变时，驾驶员的面部也可以被拍摄部所捕捉到。也就是说，根据本发明的安装在车辆上的拍摄设备，提供位置调整控制部，该位置调整控制部基于拍摄部的拍摄结果来控制盘位置调整部和拍摄位置调整部中的至少一个。因此，即使当驾驶员面部的位置过度改变时，驾驶员的面部也可以被拍摄部所捕捉到。此外，拍摄部的死角范围减小，从而很少需要通知不能进行拍摄操作的警报。因此，由于驾驶员不需要始终关心坐姿，因此不会损害驾驶员在车辆中的舒适性。
根据方面(2)，判断驾驶员的面部是否被包括在拍摄图像中，以调整方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个，从而将驾驶员的面部包括在拍摄图像中。因此，即使当驾驶员面部的位置过度改变时，也可以有效地和自觉地捕捉到驾驶员的面部。
根据方面(3)，将当前的拍摄图像与过去的拍摄图像进行比较，以检测驾驶员面部的位移，并调整方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个。因此，即使当驾驶员的面部的位置过度改变时，拍摄部也能快速捕捉到驾驶员的面部。
根据方面(4)，即使当驾驶员的面部的位置过度改变时，驾驶员的面部也可以被拍摄部所捕捉到。此外，拍摄部的死角范围减小，因此很少需要通知不能进行拍摄操作的警报。因此，由于驾驶员不需要始终关心坐姿，因此不会损害驾驶员在车辆中的舒适性。此外，判断驾驶员的面部是否被包括在拍摄图像中，以调整方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个，从而将驾驶员的面部包括在拍摄图像中。因此，即使当驾驶员的面部的位置过度改变时，也可以有效地和自觉地捕捉到驾驶员的面部。
根据方面(5)，将过去两次的拍摄图像彼此相互比较，以检测驾驶员面部的位移，并调整方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个。因此，即使当驾驶员的面部的位置过度改变时，拍摄部也能快速捕捉到驾驶员的面部。
根据一个或多个实施例，即使当驾驶员的面部的位置过度改变时，驾驶员的面部也可以被拍摄部捕捉到。因此，本发明的安装在车辆上的拍摄设备和车辆中的拍摄方法可以应用于驾驶支持系统，该驾驶支持系统监视正在驾驶车辆的驾驶员的驾驶状态，诸如困倦、疲劳和偏离视线驾驶，以防止由于例如驾驶操作中的错误而导致的车辆错误启动。特别地，在安装有自动驾驶功能的车辆中，本发明的安装在车辆上的拍摄设备和车辆中的拍摄方法最适合应用在驾驶员与自动驾驶的关系程度低的状态转换为驾驶员与自动驾驶的关系程度高的状态的切换之前和之后。
上面简要描述了本发明。此外，当通过参考附图阅读下面将描述的用于执行本发明的模式时，本发明的细节将会更加清楚。
附图说明
图1是示出从左侧看到的、其上安装有根据本发明示例性实施例的安装在车辆上的拍摄设备的车辆中的驾驶员以及驾驶员前方的主要部件的侧视图。
图2是示出从驾驶员的视觉点的方向看到的、布置在图1所示的驾驶员的座椅前面的仪表板中的计量单元附近的前视图。
图3是示出方向盘的盘位置调整机构的结构示例的示意图。
图4是示出相机的拍摄位置调整机构的结构示例的示意图。
图5是示出根据本发明的示例性实施例的安装在车辆上的拍摄设备的硬件结构的结构示例的框图。
图6是示出通过图5所示的安装车辆上的拍摄设备实现的功能的功能性框图。
图7是示出由图5所示的安装在车辆上的拍摄设备执行的处理的流程图。
具体实施方式
下面将参照附图描述本发明的具体示例性实施例。
<安装在车辆上的拍摄设备和自动驾驶的概述>
在作出具体解释之前，首先，下面将描述本发明的安装在车辆上的拍摄设备和自动驾驶技术的概述。
安装在车辆上的拍摄设备通过相机(拍摄部)拍摄驾驶员，以检测驾驶车辆的驾驶员的诸如行为或操作的驾驶状态。然后，安装在车辆上的拍摄设备是作为用于基于拍摄图像实时监视驾驶员、当发生异常时发出警报、或者自动记录获得的拍摄图像的基础的设备。
例如，安装在车辆上的拍摄设备用于检测驾驶员的困倦或疲劳，基于驾驶员的视线检测偏离视线驾驶，并防止在驾驶期间由于错误操作而导致车辆的意外错误启动。
此外，通过将各种已知技术或现有设备与本发明的设备相结合，可以实现诸如上述实时监视、异常报警和自动记录的功能。例如，当安装在车辆上的拍摄设备连接到驾驶记录仪或数字转速记录器时，可以自动记录在车辆驾驶期间获得的各种信息。此外，当运输公司或出租车公司的安全经理在驾驶结束后分析驾驶记录仪的记录结果时，安全经理可以分别向作为驾驶员上车的乘务员引导安全驾驶。
此外，近年来，为了控制车辆的自动驾驶，在准备车辆的电子控制单元(ECU)方面进行了研究或开发，其中在车辆上安装满足例如日本政府或美国交通运输部道路交通安全局(NHTSA)规定的自动化等级的等级2(LV2)或等级3(LV3)的自动驾驶的功能。
在等级2中，系统自动执行车辆的加速、转向和制动的多个操作。然而，在等级2中，驾驶员始终需要监视驾驶状态并根据需要执行驾驶操作。
另一方面，在等级3中，由于系统执行车辆的加速、转向和制动的所有控制，所以驾驶员通常可以仅监视驾驶状态。此外，通常，驾驶员不一定需要监视驾驶状态。
然而，即使在等级3，当系统在紧急情况或系统限制时作出请求时，驾驶员也需要响应该请求。也就是说，驾驶的责任需要从系统切换(H/O)到驾驶员的手动操作，并将等级3转换到自动化率低于等级3的等级2。此外，即使在同一等级上，在车辆的自动驾驶期间，也可能发生车辆的交通线路通过启动闪光灯(winker)操作开始改变的情况，在闪光灯操作中，驾驶员有义务将手附着到方向盘并进行监视操作。也就是说，可能存在这样的情况，其中不需要驾驶员的帮助(例如，驾驶员对系统决策的允许)的行驶状态转换到其中需要任何帮助的行驶状态。也就是说，即使在其上安装有自动驾驶技术的车辆中，在驾驶期间也可能出现这样的情况，即，其中自动执行驾驶控制的第一状态转换到其中驾驶员与驾驶控制的关系程度高于第一状态的第二状态。
如上所述，对于安装在车辆上的这种拍摄设备，即使在安装有自动驾驶技术的车辆中，始终捕捉驾驶员的面部并拍摄面部也是非常重要的。然而，安装在车辆上的通常的拍摄设备可能不满足驾驶员放松的情况，例如，在等级3中的完全自动驾驶期间并且面部的位置被过度改变。即，在安装在车辆上的通常的拍摄设备中，取决于相机的位置或方向盘的开口部，驾驶员的面部可能会偏离相机的拍摄范围，从而驾驶员的面部可能不会被拍摄到。
根据本发明的安装在车辆上的拍摄设备具有如下所述的示例性实施例中的具体结构，以确保拍摄驾驶员的面部。
<安装在车辆上的拍摄设备的主要部件及其布置>
通过参考图1和图2，下面将描述本示例性实施例的安装在车辆上的拍摄设备10的主要部件及其布置。图1是从左侧看到的、示出安装有根据本发明示例性实施例的安装在车辆上的拍摄设备10的车辆中的驾驶员D1和D2以及驾驶员前方的主要部件的侧视图。图2是从驾驶员D1和D2的视觉点的方向看到的、示出布置在图1所示的驾驶员的座椅前方的仪表板80中的计量单元81附近的前视图。
在图1中由虚线示出的两个人的图像中，驾驶员D1示出了在驾驶期间面部的普通位置。驾驶员D2示出了当驾驶员在自动驾驶(例如，等级3)期间放松时的面部的位置，使得面部位于非常靠下。在实际行进时，一名驾驶员坐在车辆上。
如图1和图2所示，在坐在车辆的驾驶员座椅上的驾驶员D1和D2的前面，布置有方向盘60和仪表板80。
如图2所示，方向盘60具有大致环形的环部61、布置在环部61的中心部分中并连接到管状的柱部65以便自由旋转的凸台部62以及两对辐条部63和64，辐条部63和64将环部61径向连接到凸台部62。此外，两对辐条部63和64包括一对在车辆的上方横向延伸和布置的上辐条部63和一对在车辆的下侧横向延伸和布置的下辐条部64。此外，通过由环部61、凸台部62和一对辐条部63和63限定的开口部66，下述的安装在车辆上的拍摄设备10的相机(拍摄部)20捕捉驾驶员D1和D2的面部并拍摄该面部(见图1)。
仪表板80具有计量单元81。计量单元81在其计量板82上包括各种计量器或显示部，诸如速度计83、发动机转数计数器84、方向指示和显示部(图中未示出)。
如图1和图2所示，在计量板82的上部和侧部，提供了大致弧形的计量罩85以向车辆的后方延伸。计量罩85覆盖计量板82的上部和侧部，以防止诸如太阳光的外部光直接入射到计量板82上。通过防止入射，确保了驾驶员D1和D2对计量器或显示部的可见性。
此外，仪表板80在计量罩85的大致中央位置的内部具有相机附接部86。相机附接部86被提供为从计量罩85向车辆的下方突出。
相机20布置在车辆中。相机20嵌入在计量罩85的相机附接部86中，以拍摄驾驶员D1和D2。
这里，如图1所示，由于方向盘60的凸台部62的外上端部分在相机20和面部位置降低的驾驶员D2之间形成障碍，因此相机20具有死角区域。即，在图1所示的方向盘60的开口部66的位置、相机20的拍摄位置和相机20的拍摄角度中，可以利用相机20拍摄驾驶员D1的面部，但是不能拍摄驾驶员D2的面部。因此，如下所述，安装在本示例性实施例的车辆上的拍摄设备10操作机械地调整方向盘60的位置的盘位置调整机构70和调整相机20的拍摄位置和拍摄角度的拍摄位置调整机构(拍摄位置调整部)30。因此，即使在自动驾驶期间驾驶员D2的坐姿变得松散并且面部的位置过度改变，也基于该改变而调整方向盘60的位置、相机20的拍摄位置和相机20的拍摄角度，以捕捉驾驶员D2的面部。
<盘位置调整机构的结构>
图3是示出图1所示的方向盘60的盘位置调整机构70的结构示例的示意图。如图3所示，方向盘60的盘位置调整机构70用于调整车辆中的方向盘60的垂直(倾斜)方向，并且包括用于支撑转向轴71以便相对于车辆的车身B在摆动枢轴P上自由摆动的大致圆柱形的壳体72、以及连接到壳体72和车身B以便自由摆动的直线移动机构73。
盘位置调整机构70通常用于调整方向盘60的位置，以基于驾驶员D1和D2的物理体形获得转向的机动性。按标准提供盘位置调整机构，其第一目的是根据车辆改善转向的机动性。因此，在本示例性实施例中，当盘位置调整机构70按照标准安装在车辆上时，通常使用其现有机构。
在转向轴71中，方向盘60同心地附接到其后端部分。图中未示出的转向机构连接到其前端部分。方向盘60由驾驶员D1和D2操作，使得方向盘通过转向机构被转向和旋转。
直线移动机构73包括：盘位置调整电动机M3，其根据安装在车辆上的拍摄设备10的下述控制电路40的命令来驱动以旋转；螺杆轴74，由盘位置调整电动机M3驱动以旋转；螺母构件75，与螺杆轴74卡合并在轴向上直线移动，以便实现螺杆轴74的旋转和驱动操作；以及一对连杆构件76，牢固地固定到盘位置调整电动机M3和螺母构件75，并被支撑以便相对于壳体72和车身B自由摆动。此外，下述第二电动机驱动电路C2电连接到盘位置调整电动机M3上，并且通过第二电动机驱动电路C2向盘位置调整电动机M3供应驱动电力，以便其被驱动和旋转。
方向盘60的盘位置调整机构70以上述方式构造。因此，当直线移动机构73的盘位置调整电动机M3旋转并驱动时，螺杆轴74根据旋转和驱动操作旋转，并且螺母构件75直线移动。根据直线移动，直线移动机构73扩展和收缩以使转向轴71在摆动枢轴P上摆动。结果，方向盘60的位置被调整。即，当控制所述盘位置调整电动机M3时，调整所述方向盘60的位置。
在图3中，为了解释盘位置调整机构70的基本原理，简化了其特定结构，然而，可以适当地使用各种特定机构或结构。例如，盘位置调整电动机M3可以布置在壳体72的下方，或者可以铰接连杆构件76。
<相机的位置调整机构的结构>
图4是示出相机20的拍摄位置调整机构30的结构示例的示意图。如图4所示，拍摄位置调整机构30包括用于保持相机20的外壳的壳体31、改变相机20的拍摄角度的蜗轮机构32和将壳体31上下移动的齿条齿轮机构35。在本示例性实施例中，相机20的外壳基本上形成为立方体形。
壳体31基本上形成为盒形，并且相机20的外壳容纳在其中。此外，壳体31的后壁部分被打开。由于相机20的后部被打开，相机20可以拍摄后部，即驾驶员D1和D2。
蜗轮机构32包括蜗轮33和圆柱蜗杆34，蜗轮33支撑在壳体31的底壁部分上以便自由旋转并固定到相机20的壳体上，圆柱蜗杆34与蜗轮33卡合并具有支撑在壳体31上的旋转轴以便沿垂直方向自由旋转。此外，圆柱蜗杆34在旋转轴的一端部处连接到下述第一拍摄位置调整电动机M1(拍摄位置调整部)的驱动轴。
齿条齿轮机构35包括齿条36和齿轮37，齿条36以纵向沿垂直方向延伸的方式固定到壳体31的前壁部分，齿轮37与齿条36卡合并被支撑在计量罩85的相机附接部86上以便自由旋转。此外，齿轮37在其旋转轴的一端部处连接到下述第二拍摄位置调整电动机(拍摄位置调整部)M2的驱动轴。
由于相机20的拍摄位置调整机构30以上述的这种方式形成，因此当第一拍摄位置调整电动机M1被驱动以旋转时，圆柱蜗杆34根据旋转和驱动操作旋转，以旋转蜗轮33。此时，由于蜗轮33固定在相机20的外壳上，相机20的外壳也根据蜗轮33的旋转而旋转。结果，相机20的拍摄角度被调整。
另一方面，当第二拍摄位置调整电动机M2被驱动以旋转时，齿轮37根据旋转和驱动操作旋转，以使齿条36直线移动。此时，由于齿条36固定到保持相机20的外壳的壳体31上，因此相机20的外壳也根据齿条36的直线移动而上下移动。结果，相机20的拍摄位置被调整。
在图4中，为了解释如图3的拍摄位置调整机构30的基本原理，简化了其特定结构，然而，可以适当地使用各种特定机构或结构。
<安装在车辆上的拍摄设备的硬件结构>
图5是示出根据本发明的示例性实施例的安装在车辆上的拍摄设备10的硬件结构的结构示例的框图。如图5所示，安装在车辆上的拍摄设备10包括：相机20，其拍摄驾驶员D1和D2的面部；第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2，其调整相机20的拍摄位置和拍摄角度；第一电动机驱动电路(拍摄位置调整部)C1，其驱动和控制第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2；以及控制电路40，其控制相机20、第一电动机驱动电路C1、第二电动机驱动电路C2和设备主体。
相机20由例如用于红外线的CCD相机形成，并且具有利用CCD元件形成的光接收元件(图中未示出)和与相机主体一体提供的光源(图中未示出)，该光源向驾驶员D1和D2施加规定的照射光，例如红外线。相机20的光接收元件通过透镜接收在驾驶员D1和D2的表面上反射的光源的照射光。相机20将接收到的光转换成电信号，并将该电信号输出到控制电路40。
第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2例如利用步进电动机形成，以驱动上述拍摄位置调整机构30的蜗轮机构32和齿条齿轮机构35。第一拍摄位置调整电动机M1驱动并旋转蜗轮机构32的圆柱蜗杆34，以调整相机20在倾斜方向上的拍摄角度(参见图4)。此外，第二拍摄位置调整电动机M2旋转并驱动齿条齿轮机构35的齿轮37，以上下调整相机的拍摄位置。
第一电动机驱动电路C1是用于步进电动机的驱动电路，并且利用电动机控制电子电路(例如晶体管)形成，并电连接到第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2。第一电动机驱动电路C1接收由下面描述的拍摄位置调整部54输出的控制信号，以向第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2供应驱动电力。通过电力供应，第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2被驱动以旋转到期望的目标值。
控制电路40利用通用计算机形成，并且包括CPU(中央处理单元)50、ROM(只读存储器电路)41、RAM(可写存储器电路)44、接口电路47、通信电路48和将这些电路相互连接的总线49。
此外，驱动和控制盘位置调整电动机M3的第二电动机驱动电路C2通过接口电路47电连接到控制电路40。第二电动机驱动电路C2利用与第一电动机驱动电路C1类似的电动机控制电子电路形成，并且接收由下述盘位置调整部55输出的控制信号，以向盘位置调整电动机M3供应驱动电力。
在本示例性实施例中，由于第二电动机驱动电路C2形成为现有盘位置调整机构70的一部分，所以第二电动机驱动电路C2形成为与安装在车辆上的拍摄设备10分离的结构。
CPU 50适当地执行或读取存储在ROM 41和RAM 44中的程序或数据，以控制相机20、第一电动机驱动电路C1、第二电动机驱动电路C2和设备主体。
ROM 41包括程序存储区42和数据存储区43。在程序存储区42中，存储了实现安装在车辆上的拍摄设备10的功能的各种程序(如下所述)。在数据存储区43中，存储了多个模板，这些模板将图像的特征提取到相机20的拍摄图像中。多个模板包括提取驾驶员D1和D2的面部的面部提取模板。此外，在数据存储区43中，还存储驱动范围数据，该驱动范围数据示出了第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的驱动范围的限度。
RAM 44包括临时存储区45和图像存储区46，临时存储区45临时存储当CPU 50执行程序时中间形成的数据，图像存储区46一个接一个地存储和保存由相机20拍摄的图像。
接口电路47具有对提供在车辆里面和外面的各种外部设备的物理接口功能。在本示例性实施例中，接口电路47连接到相机20以及第一电动机驱动电路C1和第二电动机驱动电路C2，以便通过电信号与诸如CPU 50、ROM 41和RAM 44的电路相互通信。
通信电路48具有作为到车辆中的LAN的通信协议的接口功能，以便将安装在车辆上的拍摄设备10的拍摄图像或检测结果输出到上游设备(例如ECU(电子控制单元))或上游功能。
<安装在车辆上的拍摄设备的功能>
图6是示出通过图5所示的安装在车辆上的拍摄设备10所实现的功能的功能性框图。在图6中，安装在车辆上的拍摄设备10的功能用“部”表示，并且这些“部”分别作为程序存储在控制电路40的ROM 41的程序存储区42中。当控制电路40的CPU 50正确执行这些程序时，安装在车辆上的拍摄设备10的功能分别被实现。
作为安装在车辆上的拍摄设备10的功能，CPU 50包括图像生成部51、图像判断部52、位置调整控制部53、拍摄位置调整部54和盘位置调整部55。
图像生成部51通过接口电路47获取从相机20输出到控制电路40的电信号。此外，图像生成部51数字地转换电信号以应用图像处理。具体地，图像生成部51减去相机20的拍摄图像的颜色，然后将拍摄图像划分为其中特征相等的部分区域。在划分区域之后，图像生成部51提取由规定的对象占据的区域以形成拍摄图像。此后，图像生成部51将拍摄图像输出到图像判断部52和RAM 44的图像存储区46。如上所述，RAM 44将拍摄图像一个接一个地存储并保存在图像存储区46中。
图像判断部52读取存储在ROM 41的数据存储区43中的面部提取模板，以根据模板匹配方法提取图像的特征。因此，图像判断部52判断驾驶员D1和D2的面部是否被包括在拍摄图像中。然后，图像判断部52将判断结果输出到位置调整控制部53。
当图像判断部52判断驾驶员D1和D2的面部被包括在拍摄图像中时，图像判断部52判断可以将图像生成部51的拍摄图像输出到诸如ECU的上游设备或上游功能。作为上游功能，例如，可以示例为用于检测驾驶员D1和D2的疲劳、困倦或偏离视线驾驶的功能(程序)。
位置调整控制部53读取存储和保存在RAM 44的图像存储区46中的拍摄图像和存储在ROM 41的数据存储区43中的驱动范围数据。然后，位置调整控制部53基于图像判断部的判断结果，生成第一位置调整电动机M1和第二位置调整电动机M2或盘位置调整电动机M3的目标值，以便在拍摄图像中包括驾驶员的面部，从而计算盘位置调整部55和拍摄位置调整部54的受控变量。
这里，当生成目标值时，位置调整控制部53参考存储和保存在图像存储区46中的拍摄图像，以将当前的拍摄图像与过去的拍摄图像进行比较，检测驾驶员D1和D2的面部的位移，并基于该位移生成第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2或盘位置调整电动机M3的目标值。具体地，位置调整控制部53判断当前的拍摄图像中的驾驶员D1和D2的面部是否位于高于上次(过去)的拍摄图像的位置的位置，以生成目标值。
此外，位置调整控制部53参考存储在数据存储区43中的驱动范围数据，以判断第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的驱动范围是否位于它们的限度中。当位置调整控制部53判断驱动范围位于驱动范围的限度中时，位置调整控制部53不生成第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的目标值，而生成盘位置调整电动机M3的目标值。另一方面，当位置调整控制部53判断驱动范围不在限度中时，位置调整控制部53生成第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的目标值。即，在本示例性实施例中，主要设置相机20的拍摄位置和拍摄角度的调整。位置调整控制部53将以上述方式生成的目标值输出到拍摄位置调整部54或盘位置调整部55。
拍摄位置调整部54基于位置调整控制部53的目标值计算第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的受控变量，并将受控变量作为控制信号输出到第一电动机驱动电路C1。如上所述，第一电动机驱动电路C1接收控制信号以向第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2供应驱动电力。因此，相机20的拍摄位置和拍摄角度被调整，并且相机20捕捉驾驶员D1和D2的面部。
盘位置调整部55基于位置调整控制部53的目标值计算盘位置调整电动机M3的受控变量，并将该受控变量作为控制信号输出到第二电动机驱动电路C2。第二电动机驱动电路C2接收控制信号以向盘位置调整电动机M3供应驱动电力。因此，方向盘60的位置被调整，使得相机20通过方向盘60的开口部66捕捉驾驶员的面部。
以上述方式构造的CPU 50在车辆行驶期间基于驾驶员D1和D2的位置调整方向盘60的位置或相机20的拍摄位置或拍摄角度。因此，即使当驾驶员D1和D2放松时，例如在等级3中的自动驾驶期间，并且他们的坐姿松散并且面部的位置过度改变，相机20也可以捕捉驾驶员D1和D2的面部。
<安装在车辆上的拍摄设备的操作和车辆中的拍摄方法>
参照图7，下面将描述根据本示例性实施例的安装在车辆上的拍摄设备10的操作以及车辆中的拍摄方法的过程。图7是示出由图5所示的拍摄设备10执行的处理的流程图。
如图7所示，在步骤S1中，相机20拍摄驾驶员D1和D2的面部。图像生成部51通过接口电路47将从相机20输出的电信号获取到控制电路40。图像生成部51数字地转换电信号，并应用图像处理来生成拍摄图像。
图像判断部52从在步骤S1中形成的图像生成部51的拍摄图像中提取图像的特征，以判断驾驶员D1和D2的面部是否被包括在拍摄图像中(S2)。当图像判断部52判断驾驶员D1和D2的面部被包括在拍摄图像中时，操作流程返回到步骤S1。另一方面，当图像判断部52判断驾驶员D1和D2的面部不被包括在拍摄图像中时，操作流程前进到下一步骤S3。
在步骤S3中，位置调整控制部53将上次的拍摄图像与上上次的拍摄图像进行比较，以判断驾驶员的面部相对于当前的拍摄图像的位置是位于上方还是下方，即初始方向。本发明不限于上次的拍摄图像与上上次的拍摄图像的比较，并且可以基于过去两次的拍摄图像的比较来确定初始方向。
此外，位置调整控制部53参考存储在ROM 41的数据存储区43中的驱动范围数据，以判断盘位置调整电动机M3的驱动范围是否达到其限度(S4)。当位置调整控制部53判断盘位置调整电动机M3的驱动范围达到其限度时，位置调整控制部53判断驾驶员的面部位于在步骤S3中确定的初始方向的相反方向上(S5)。当位置调整控制部53判断驱动范围未达到其限度时，将所确定的方向照现在的样子设置为初始方向。
然后，位置调整控制部53判断所确定的方向是否高于上次(过去)的方向(S6)。当所确定的方向高于上次(过去)的方向时，操作流程前进到S10。当所确定的方向低于上次的方向时，操作流程前进到S7。
此外，位置调整控制部53参考存储在ROM 41的数据存储区43中的驱动范围数据，以判断第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的驱动范围是否达到它们的限度(S7)。当位置调整控制部53判断第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的驱动范围达到其限度时，操作流程前进到步骤S8。另一方面，当位置调整控制部53判断第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的驱动范围没有达到限度时，操作流程前进到步骤S9。
在步骤S8中，盘位置调整部55基于位置调整控制部53的目标值计算盘位置调整电动机M3的受控变量，以便降低方向盘60的位置。然后，盘位置调整部55将受控变量作为控制信号输出到第二电动机驱动电路C2。
在步骤S9中，拍摄位置调整部54计算第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的受控变量，以便基于位置调整控制部53的目标值来升高相机20的拍摄位置并减小其拍摄角度。然后，拍摄位置调整部54将受控变量作为控制信号输出到第一电动机驱动电路C1。
当操作流程移动到步骤S10时，执行与步骤S7相同的处理。然后，当位置调整控制部53判断拍摄位置调整电动机M1和M2的驱动范围达到其限度时，操作流程移动到步骤S11。另一方面，当位置调整控制部53判断第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2没有达到它们的限度时，操作流程移动到步骤S12。
在步骤S11中，执行与步骤S8相同的处理。盘位置调整部55基于位置调整控制部53的目标值计算盘位置调整电动机M3的受控变量，以便升高方向盘60的位置。
在步骤S12中，执行与步骤S9的处理相同的处理。拍摄位置调整部54基于位置调整控制部53的目标值计算第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2的受控变量，以便降低相机20的拍摄位置并增加其拍摄角度。
由于控制电路40的CPU 50执行一系列上述步骤S1至S12，所以即使当驾驶员D1和D2在等级3中的自动驾驶期间放松时，坐姿松散并且面部的位置过度改变，相机也能始终捕捉驾驶员D1和D2的面部。
<本示例性实施例的优点>
如上所述，根据本示例性实施例的安装在车辆上的拍摄设备10包括：盘位置调整部55，其调整安装在车辆上的方向盘60的位置；拍摄位置调整部54，其调整相机20的拍摄位置和拍摄角度；拍摄位置调整机构30；第一拍摄位置调整电动机M1和第二拍摄位置调整电动机M2以及第一电动机驱动电路C1；以及位置调整控制部53，其基于相机20的拍摄结果控制盘位置调整部55和拍摄位置调整部54。因此，即使当驾驶员D1和D2的面部的位置过度改变时，驾驶员D1和D2的面部也可以被相机20捕捉到。此外，相机20的死角范围减小，从而可以抑制通知不能进行拍摄操作的异常警报的必要性。因此，由于驾驶员D1和D2不需要始终关心坐姿，因此不会损害驾驶员D1和D2在车辆中的舒适性。
根据本示例性实施例的安装在车辆上的拍摄设备10还包括图像判断部52，该图像判断部52基于图像生成部51的拍摄图像来判断驾驶员D1和D2的面部是否被包括在拍摄图像中。位置调整控制部53基于图像判断部52的判断结果控制盘位置调整部55和拍摄位置调整部54，以便将驾驶员的面部包括在拍摄图像中。因此，即使当驾驶员D1和D2的面部的位置过度改变时，驾驶员D1和D2的面部也能够被有效且自觉地捕捉。
根据安装在车辆上的拍摄设备10，位置调整控制部53将过去两次的拍摄图像彼此进行比较，以检测驾驶员D1和D2的面部的位移，并基于该位移调整盘位置调整部55和拍摄位置调整部54中的至少一个。因此，即使当驾驶员D1和D2的面部的位置过度改变时，驾驶员D1和D2的面部也可以被相机20快速捕捉。
此外，根据本示例性实施例的车辆中的拍摄方法，即使当驾驶员D1和D2的面部的位置过度改变时，驾驶员D1和D2的面部也可以被相机20捕捉。此外，相机20的死角范围减小，因此很少需要通知不能进行拍摄操作的异常警报。因此，由于驾驶员D1和D2不需要始终关心坐姿，所以不会损害驾驶员D1和D2在车辆中的舒适性。此外，由于判断驾驶员D1和D2的面部是否被包括在拍摄图像中，并且方向盘60的位置和相机20的拍摄位置以及相机20的拍摄角度被调整以便将驾驶员D1和D2的面部包括在拍摄图像中，因此即使当驾驶员D1和D2的面部的位置过度改变时，驾驶员D1和D2的面部也可以被有效地和自觉地捕捉。
此外，根据本示例性实施例的车辆中的拍摄方法，将过去两次的拍摄图像彼此相互比较，以检测驾驶员D1和D2的面部的改变，并基于该改变调整方向盘60的位置、相机20的拍摄位置和相机20的拍摄角度。因此，即使当驾驶员D1和D2的面部的位置过度改变时，驾驶员D1和D2的面部也可以被相机20快速捕捉。
本发明不限于上述示例性实施例，并且可以被适当地修改和改进。除此之外，上述示例性实施例中的器件的材料、形式、尺寸、数量、布置的位置等分别是任意的，并且只要能够实现本发明就不受限制。
在上述示例性实施例中，例如，图像生成部51被提供为控制电路40的结构的一部分，本发明不限于此。图像生成部可以形成为相机(拍摄部)20的结构的一部分或者单独的图像生成设备。
此外，在上述示例性实施例中，第二电动机驱动电路C2和盘位置调整电动机M3形成为与安装在车辆上的拍摄设备10分离的结构，然而，本发明不限于此。它们可以形成为安装在车辆上的拍摄设备10的一部分。
此外，在上述示例性实施例中，提供了一个相机20，然而，本发明不限于此。可以提供多个相机。此外，在上述示例性实施例中，光源与相机20一体提供，然而，本发明不限于此。光源可以作为单独的构件提供。
此外，本发明或本示例性实施例中的“部”不仅仅局限于由硬件实现的物理结构，还包括由诸如程序之类的软件实现该结构的功能的结构。此外，一个结构的功能可以通过两个或多个物理结构来实现，或者两个或多个结构的功能可以通过例如一个物理结构来实现。
这里，在下面描述的[1]至[5]中，分别简要总结和描述了根据本发明的安装在车辆上的拍摄设备和车辆中的拍摄方法的上述示例性实施例的特征。
[1]安装在车辆上的拍摄设备(10)包括：
拍摄部(相机20)，其安装在车辆上以拍摄驾驶员(D1、D2)的面部；
盘位置调整部(55)，其调整安装在车辆上的方向盘(60)的位置；
拍摄位置调整部(拍摄位置调整部54、拍摄位置调整机构30、第一拍摄位置调整电动机M1、第二拍摄位置调整电动机M2、第一电动机驱动电路C1)，其调整拍摄部(相机20)的拍摄位置和拍摄部(相机20)的拍摄角度中的至少一个；和
位置调整控制部(53)，其基于拍摄部(相机20)的拍摄结果，控制盘位置调整部(55)和拍摄位置调整部(拍摄位置调整部54、拍摄位置调整机构30、第一拍摄位置调整电动机M1、第二拍摄位置调整电动机M2、第一电动机驱动电路C1)中的至少一个。
[2]根据上述[1]的安装在车辆上的拍摄设备(10)，还包括：
图像生成部(51)，其基于拍摄部(相机20)的拍摄结果生成拍摄图像；和
图像判断部(52)，其基于图像生成部(51)的拍摄图像来判断驾驶员(D1，D2)的面部是否被包括在拍摄图像中，
其中，位置调整控制部(53)基于图像判断部(52)的判断结果，控制盘位置调整部(55)和拍摄位置调整部(拍摄位置调整部54、拍摄位置调整机构30、第一拍摄位置调整电动机M1、第二拍摄位置调整电动机M2、第一电动机驱动电路C1)中的至少一个，以便在拍摄图像中包括驾驶员(D1，D2)的面部。
[3]根据上述[2]的安装在车辆上的拍摄设备(10)，
其中，位置调整控制部(53)将当前的拍摄图像与过去的拍摄图像进行比较，以检测驾驶员(D1，D2)的面部的位移，并基于该位移控制盘位置调整部(55)和拍摄位置调整部(拍摄位置调整部54、拍摄位置调整机构30、第一拍摄位置调整电动机M1、第二拍摄位置调整电动机M2、第一电动机驱动电路C1)中的至少一个。
[4]一种车辆中的拍摄方法，包括：
在安装在车辆上的拍摄部(相机20)中拍摄驾驶员(D1、D2)的面部，
基于拍摄中的拍摄结果生成拍摄图像(S1)，
判断驾驶员(D1，D2)的面部是否被包括在拍摄图像中(S2)，以及
基于所述判断(S2)中的判断结果，调整安装在车辆上的方向盘(60)的位置、拍摄部(相机20)的拍摄位置和拍摄部(相机20)的拍摄角度中的至少一个(S3至S12)，以便在拍摄图像中包括驾驶员(D1，D2)的面部。
[5]根据上述[4]的车辆中的拍摄方法，
其中，所述调整包括将过去两次的拍摄图像彼此进行比较，以检测驾驶员(D1、D2)的面部的位移，并且基于该位移调整方向盘(60)的位置、拍摄部(相机20)的拍摄位置和拍摄部(相机20)的拍摄角度中的至少一个。
[参考数字和符号的描述]
10…安装在车辆上的拍摄设备 20…相机(拍摄部) 30…拍摄位置调整机构(拍摄位置调整部) 31…外壳 32…蜗轮机构 33…蜗轮 34…圆柱蜗杆 35…齿条齿轮机构 36…齿条 37…齿轮 40…控制电路 41…ROM 42…程序存储区 43…数据存储区 44…RAM 45…临时存储区 46…图像存储区 47…接口电路 48…通信电路 49…总线 50…CPU 51…图像生成部分 52：图像判断部 53…位置调整控制部 54：拍摄位置调整部 55：盘位置调整部60…方向盘60 61…环部 62…凸台部 63…上辐条部 64…下辐条部 65…柱部 66…开口部 70…盘位置调整机构 71…转向轴 72…壳体 73…直线移动机构 74…螺杆轴 75…螺母构件 76…连杆构件 80…仪表板 81…计量单元 82…计量板 83…速度计 84…发动机转数计数器 85…计量罩 86…相机附接部 D1、D2…驾驶员 B…车身 P…摆动枢轴 M1…第一拍摄位置调整电动机(拍摄位置调整部) M2…第二拍摄位置调整电动机(拍摄位置调整部) M3…盘位置调整电动机 C1…第一电动机驱动电路(拍摄位置调整部) C2…第二电动机驱动电路

Claims (6)

1.一种安装在车辆上的拍摄设备，包括：
拍摄部，其安装在车辆上以拍摄驾驶员的面部；
盘位置调整部，其调整安装在车辆上的方向盘的位置；
拍摄位置调整部，其调整所述拍摄部的拍摄位置和所述拍摄部的拍摄角度中的至少一个；和
位置调整控制部，其基于拍摄部的拍摄结果来控制所述盘位置调整部和所述拍摄位置调整部中的至少一个。
2.根据权利要求1所述的安装在车辆上的拍摄设备，还包括：
图像生成部，其基于拍摄部的拍摄结果生成拍摄图像；和
图像判断部，其基于图像生成部的拍摄图像判断驾驶员的面部是否被包括在拍摄图像中，
其中，所述位置调整控制部基于所述图像判断部的判断结果控制所述盘位置调整部和所述拍摄位置调整部中的至少一个，以便在拍摄图像中包括所述驾驶员的面部。
3.根据权利要求2所述的安装在车辆上的拍摄设备，
其中，所述位置调整控制部将当前的拍摄图像与过去的拍摄图像进行比较以检测驾驶员的面部的位移，并基于所述位移来控制所述盘位置调整部和所述拍摄位置调整部中的至少一个。
4.一种车辆中的拍摄方法，包括：
在安装在车辆上的拍摄部中拍摄驾驶员的面部，
基于拍摄中的拍摄结果生成拍摄图像，
判断驾驶员的面部是否被包括在拍摄图像中，以及
基于判断中的判断结果，调整安装在车辆上的方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个，以便在拍摄图像中包括驾驶员的面部。
5.根据权利要求4所述的车辆中的拍摄方法，
其中，所述调整包括将过去两次的拍摄图像彼此进行比较以检测驾驶员的面部的位移，并且基于所述位移调整方向盘的位置、拍摄部的拍摄位置和拍摄部的拍摄角度中的至少一个。
6.根据权利要求1所述的安装在车辆上的拍摄设备，
其中，所述拍摄位置调整部包括拍摄位置调整机构、第一拍摄位置调整电动机、第二拍摄位置调整电动机和第一电动机驱动电路。
CN201811508868.7A 2017-12-14 2018-12-11 安装在车辆上的拍摄设备及车辆中的拍摄方法 Pending CN110021146A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017239722A JP2019104450A (ja) 2017-12-14 2017-12-14 車載撮影装置、及び車載撮影方法
JP2017-239722 2017-12-14

Publications (1)

Publication Number Publication Date
CN110021146A true CN110021146A (zh) 2019-07-16

Family

ID=66674758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811508868.7A Pending CN110021146A (zh) 2017-12-14 2018-12-11 安装在车辆上的拍摄设备及车辆中的拍摄方法

Country Status (4)

Country Link
US (1) US20190184909A1 (zh)
JP (1) JP2019104450A (zh)
CN (1) CN110021146A (zh)
DE (1) DE102018221510A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110435665A (zh) * 2019-08-14 2019-11-12 东风汽车有限公司 一种驾驶员检测装置及汽车
CN111063167A (zh) * 2019-12-25 2020-04-24 歌尔股份有限公司 一种疲劳驾驶识别提示方法、装置及相关组件
CN111709348A (zh) * 2020-06-11 2020-09-25 苏州百胜动力机器股份有限公司 一种基于驾驶员面部监视的舷外机安全驾驶控制系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528787B2 (ja) * 2017-01-17 2019-06-12 トヨタ自動車株式会社 車両の制御装置
US11823468B2 (en) * 2019-11-19 2023-11-21 Hyundai Mobis Co., Ltd. Driver state warning system and method of monitoring driver state
CN112669495B (zh) * 2021-01-07 2022-12-23 湖南晨晫智能科技有限公司 一种自动调节镜头角度的虹膜锁

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101713644A (zh) * 2008-10-01 2010-05-26 通用汽车环球科技运作公司 使用单个照相机的眼睛检测系统
CN103241189A (zh) * 2012-02-13 2013-08-14 环达电脑(上海)有限公司 自动转向控制装置
CN103448785A (zh) * 2012-06-04 2013-12-18 通用汽车环球科技运作有限责任公司 自动调节方向盘倾斜位置的系统和方法
US20150251688A1 (en) * 2014-03-08 2015-09-10 Audi Ag Method for operating a steering system, a steering system and a vehicle
CN105522992A (zh) * 2014-10-16 2016-04-27 罗伯特·博世有限公司 用于具有用于驾驶员面部的相机的机动车的控制器和用于拍摄车辆乘坐者面部的方法
CN105872379A (zh) * 2016-04-15 2016-08-17 乐视控股（北京）有限公司 摄像装置
CN106427807A (zh) * 2016-10-31 2017-02-22 惠州华阳通用电子有限公司 一种车载手机拍照装置及控制方法
CN107107748A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN107416008A (zh) * 2016-04-13 2017-12-01 法拉第未来公司 使车辆方向盘自动缩回和伸出的系统和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7605693B2 (en) * 2006-08-30 2009-10-20 Kulas Charles J Visual indicators on vehicle steering wheel displayed in response to hand position
JP4793269B2 (ja) 2007-01-09 2011-10-12 株式会社デンソー 眠気検知装置
JPWO2014188565A1 (ja) * 2013-05-23 2017-02-23 パイオニア株式会社 表示制御装置
US9120379B2 (en) * 2013-09-25 2015-09-01 Denso International America, Inc. Adaptive instrument display using eye tracking
US9728084B2 (en) * 2015-02-25 2017-08-08 Here Global B.V. Method and apparatus for providing vehicle classification based on automation level
US20170297493A1 (en) * 2016-04-15 2017-10-19 Ford Global Technologies, Llc System and method to improve situational awareness while operating a motor vehicle
DE102016223961A1 (de) * 2016-12-01 2018-06-07 Robert Bosch Gmbh Verfahren und Auslöseschaltung zum Auslösen eines in einem Lenkrad eines Kraftfahrzeugs angeordneten Airbags
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
US10150351B2 (en) * 2017-02-08 2018-12-11 Lp-Research Inc. Machine learning for olfactory mood alteration

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101713644A (zh) * 2008-10-01 2010-05-26 通用汽车环球科技运作公司 使用单个照相机的眼睛检测系统
CN103241189A (zh) * 2012-02-13 2013-08-14 环达电脑(上海)有限公司 自动转向控制装置
CN103448785A (zh) * 2012-06-04 2013-12-18 通用汽车环球科技运作有限责任公司 自动调节方向盘倾斜位置的系统和方法
US20150251688A1 (en) * 2014-03-08 2015-09-10 Audi Ag Method for operating a steering system, a steering system and a vehicle
CN105522992A (zh) * 2014-10-16 2016-04-27 罗伯特·博世有限公司 用于具有用于驾驶员面部的相机的机动车的控制器和用于拍摄车辆乘坐者面部的方法
CN107107748A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN107416008A (zh) * 2016-04-13 2017-12-01 法拉第未来公司 使车辆方向盘自动缩回和伸出的系统和方法
CN105872379A (zh) * 2016-04-15 2016-08-17 乐视控股（北京）有限公司 摄像装置
CN106427807A (zh) * 2016-10-31 2017-02-22 惠州华阳通用电子有限公司 一种车载手机拍照装置及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110435665A (zh) * 2019-08-14 2019-11-12 东风汽车有限公司 一种驾驶员检测装置及汽车
CN111063167A (zh) * 2019-12-25 2020-04-24 歌尔股份有限公司 一种疲劳驾驶识别提示方法、装置及相关组件
CN111709348A (zh) * 2020-06-11 2020-09-25 苏州百胜动力机器股份有限公司 一种基于驾驶员面部监视的舷外机安全驾驶控制系统

Also Published As

Publication number Publication date
US20190184909A1 (en) 2019-06-20
JP2019104450A (ja) 2019-06-27
DE102018221510A1 (de) 2019-06-19

Similar Documents

Publication Publication Date Title
CN110021146A (zh) 安装在车辆上的拍摄设备及车辆中的拍摄方法
EP2530651B1 (en) Method for operating a camera system of a motor vehicle, motor vehicle as well as system with a motor vehicle and a separate computing device
CN105590455B (zh) 一种具有拍摄功能的一体化道闸
CN105522992A (zh) 用于具有用于驾驶员面部的相机的机动车的控制器和用于拍摄车辆乘坐者面部的方法
CN110481432A (zh) A柱动态可视系统
TWI593578B (zh) 車輛及應用於該車輛之自動調節系統及自動調節方法
US11708032B2 (en) Driving support device
CN109421453A (zh) 具有预测挂接角功能的挂车倒退辅助系统
CN106157386A (zh) 车载视频拍摄控制方法和装置
CN109983469A (zh) 使用车辆驾驶信息的图像分析方法、装置、系统和程序以及存储介质
JP2005096554A (ja) タイヤ空気圧監視システム
CN112954231A (zh) 视频采集设备、车辆、车舱检测及同步曝光方法
WO2016119647A1 (zh) 车载摄像系统
CN109353273A (zh) 一种汽车智能辅助转向系统
US20160134808A1 (en) 360-degree panorama driving recorder system and method
JP2010247829A (ja) 車両の運転支援装置
CN105141822B (zh) 航拍装置及其航拍方法
CN106603967A (zh) 一种电力巡检系统
CN113232677A (zh) 车辆驾驶辅助控制方法、控制系统、电子设备及存储介质
JP2009200718A (ja) 撮像装置
JP4840638B2 (ja) 車両の乗員監視装置
JP2000305136A (ja) 車載カメラ装置
CN209112129U (zh) 汽车安全装置及汽车
CN108528743A (zh) 一种可调角度的无人机照相装置及照相方法
CN109410122A (zh) 车载系统及其车载图像调整的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190716

WD01 Invention patent application deemed withdrawn after publication