CN110326289A - 车辆用拍摄控制装置、驾驶员监控装置及车辆用拍摄控制方法 - Google Patents

车辆用拍摄控制装置、驾驶员监控装置及车辆用拍摄控制方法 Download PDF

Info

Publication number
CN110326289A
CN110326289A CN201780087178.6A CN201780087178A CN110326289A CN 110326289 A CN110326289 A CN 110326289A CN 201780087178 A CN201780087178 A CN 201780087178A CN 110326289 A CN110326289 A CN 110326289A
Authority
CN
China
Prior art keywords
region
information
passenger
driver
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780087178.6A
Other languages
English (en)
Other versions
CN110326289B (zh
Inventor
国广和树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Corp
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Corp filed Critical Mitsubishi Corp
Publication of CN110326289A publication Critical patent/CN110326289A/zh
Application granted granted Critical
Publication of CN110326289B publication Critical patent/CN110326289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

模式选择部(6)使用车辆信息来选择针对乘客的监控的处理模式，区域选择部(7)选择与所选择的处理模式对应的区域。然后，曝光控制部(8)使用所选择的区域的亮度信息，来计算应设定于拍摄部(2)的曝光条件。

Description

车辆用拍摄控制装置、驾驶员监控装置及车辆用拍摄控制 方法
技术领域
本发明涉及将搭载于车辆的拍摄部设为控制对象的装置。
背景技术
已知如下装置：对拍摄部所拍摄的图像进行图像处理，由此来进行以搭载于车辆的人为对象的各种监控处理。作为该装置所具有的针对乘客的监控的处理模式，例如可举出位于驾驶座的乘客的状态判定、以及乘客的个人认证等。此时，为了进行恰当的监控处理，希望在拍摄部所拍摄的图像中、尤其是监控处理所需的区域被恰当地拍摄到。例如，在针对乘客的处理模式为位于驾驶座的乘客的状态判定的情况下，位于驾驶座的乘客的脸部所存在的区域成为监控处理中特别需要的区域。若未恰当地拍摄该区域，则难以恰当地判定位于驾驶座的乘客的状态、例如打瞌睡或东张西望等。
例如，专利文献1中，记载了如下图像处理方法：对获取到的图像进行分析来提取人物的脸部区域，计算所提取出的脸部区域的亮度成为最佳值的校正量，并基于该校正量来校正图像的亮度。
现有技术文献
专利文献
专利文献1：
日本专利特开2004－153315号公报
发明内容
发明所要解决的技术问题
在进行以车辆的乘客为对象的各种监控处理的情况下，有时监控处理所需的区域会随着针对乘客的处理模式的变化而变化。例如，基于仅需要位于驾驶座的乘客的脸部所存在的区域的状况，考虑到还需要位于副驾驶座的乘客的脸部的所存在的区域的情况等。
然而，在专利文献1的图像处理方法中，关于这种处理模式的变化，并未进行假设。因此，该图像处理方法中，在处理模式改变的情况下，在监控处理中无法获得恰当地对所需的区域进行拍摄后得到的图像。
本发明是为了解决上述问题而完成的，其目的在于得到一种车辆用拍摄控制装置，能进行与处理模式的变化相对应的曝光控制。
解决技术问题所采用的技术方案
本发明所涉及的车辆用拍摄控制装置的特征在于，包括：图像获取部，该图像获取部获取搭载于车辆的拍摄部所输出的、拍摄包含驾驶座和副驾驶座的车辆内部后而得到的图像信息；亮度检测部，该亮度检测部使用图像获取部所获取到的图像信息，来检测成为监控对象的区域的亮度信息；车辆信息获取部，该车辆信息获取部获取车辆信息；模式选择部，该模式选择部使用车辆信息获取部所获取到的车辆信息，在车辆正在行驶中的情况下选择对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式，并在车辆不在行驶中的情况下选择对位于驾驶座或副驾驶的乘客进行认证的个人认证模式，以作为针对乘客的监控的处理模式；区域选择部，该区域选择部在模式选择部选择了对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式的情况下，从成为监控对象的区域中选择该乘客的脸部所存在的区域，在模式选择部选择了对位于驾驶座或副驾驶座的乘客进行认证的个人认证模式的情况下，从成为监控对象的区域中选择该乘客的脸部所存在的区域；以及曝光控制部，该曝光控制部使用区域选择部所选择的区域的亮度信息，来计算拍摄部的曝光条件，并输出指示拍摄部在所计算出的曝光条件下进行拍摄的控制信号。
发明效果
根据本发明，选择与针对乘客的处理模式对应的区域，并使用所选择的区域的亮度信息来计算曝光条件，因此，能进行与处理模式的变化相对应的曝光控制。
附图说明
图1是示出本发明实施方式1所涉及的车辆用拍摄控制装置的结构的框图。
图2是示出搭载有本发明实施方式1所涉及的车辆用拍摄控制装置的车辆的内部的情形的图。
图3是对图2所示的车辆内部的情形进行拍摄时的图像。
图4中，图4A和图4B是示出具备本发明实施方式1所涉及的车辆用拍摄控制装置的驾驶员监控装置的硬件结构例的图。
图5是示出本发明实施方式1所涉及的车辆用拍摄控制装置的处理的一个示例的流程图。
图6是示出本发明实施方式1所涉及的车辆用拍摄控制装置的处理的一个示例的流程图，示出紧接着图5的处理。
图7是示出本发明实施方式1所涉及的车辆用拍摄控制装置的处理的一个示例的流程图，示出紧接着图6的处理。
具体实施方式
下面，为了对本发明进行更加详细的说明，根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是示出本发明实施方式1所涉及的车辆用拍摄控制装置的结构的框图。图1中，示出了实施方式1所涉及的车辆用拍摄控制装置内置于驾驶员监控装置1的情况。
驾驶员监控装置1搭载于车辆，进行以位于该车辆的乘客为对象的各种监控处理。驾驶员监控装置1具有拍摄部2、图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9。
图2是示出车辆内部的情形的一个示例的图。拍摄部2设置在乘客A、B的前方。乘客A位于在前方设置有转向器100的驾驶座来驾驶车辆。乘客B位于驾驶座附近的副驾驶座。CID(Center Information Display：中心信息显示器)101是具有导航功能和AV(AudioVisual：视听)功能等的装置(未图示)的输入输出装置。乘客A、B对CID101进行触摸操作，来输入目的地或指示重放乐曲。图2是右舵车的情况，在左舵车的情况下，图2所示的配置左右反转。
拍摄部2是对包含驾驶座和副驾驶座的车辆内部进行拍摄、并将其图像信息输出至图像获取部3的摄像头。拍摄部2根据曝光控制部8输出的控制信号来控制拍摄时的曝光条件。曝光条件是曝光时间或ISO感光度等摄像头参数。另外，曝光条件并不限于曝光时间或ISO感光度，是与曝光相关的摄像头参数即可。拍摄部2设置于能对包含驾驶座和副驾驶座的车辆内部进行拍摄的位置。此时，可以对其设置位置或视角等进行调整，以使得能对车辆内部的整体等更广的范围进行拍摄。
图像获取部3获取拍摄部2所输出的图像信息，并将该图像信息输出至亮度检测部4和图像处理部9。
图3是拍摄部2输出的图像信息所示的图像的一个示例。该图像相对于对图2所示的车辆内部的情形进行拍摄后得到的图像。在图像内，拍摄到位于驾驶座的乘客A的脸部所存在的区域T1、以及位于副驾驶座的乘客B的脸部所存在的区域T2等。
亮度检测部4使用图像获取部3获取并输出的图像信息，来检测区域选择部7所选择的成为监控的对象的区域的亮度信息。
成为监控的对象的区域是指至少对该区域进行监控、并能进行图像处理部9所进行的后述各处理模式中的处理的区域。例如，在图像处理部9具有后述的驾驶员状态判定模式及个人认证模式这2个处理模式的情况下，可以说图3所示的区域T1和T2均为成为监控对象的区域。成为监控对象的区域在图像上的位置根据拍摄部2的设置位置和设置角度等来决定，在设置驾驶员监控装置1时，存储于未图示的存储器。或者，亮度检测部4可以使用图像获取部3所输出的图像信息来提取乘客的脸部的位置等，并动态地计算成为监控对象的区域。
亮度检测部4将所检测出的亮度信息输出至曝光控制部8。
车辆信息获取部5从未图示的ECU(Electronic Control Unit：电子控制单元)等获取车辆信息。车辆信息是包含车辆的行驶状态且与车辆有关的各种信息，包含车速、换挡位置、刹车操作、点火的开关及车门的开闭状态等。车辆信息获取部5将所获取到的车辆信息输出至模式选择部6。
模式选择部6使用车辆信息获取部5所获取并输出的车辆信息，从图像处理部9所具有的针对乘客的监控的处理模式中选择任意处理模式。模式选择部6将选择结果输出至区域选择部7。
区域选择部7从成为监控对象的区域中选择与模式选择部6所选择的处理模式对应的区域。区域选择部7将选择结果输出至亮度检测部4。
曝光控制部8使用亮度检测部4所检测出的区域的亮度信息，来计算拍摄部2的曝光条件。然后，曝光控制部8输出指示拍摄部2在所计算出的曝光条件下进行拍摄的控制信号。
图像处理部9进行使用了图像获取部3所获取并输出的图像信号的图像处理，来进行针对乘客的监控处理。
作为监控的处理模式，例如可以举出对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式。驾驶员状态判定模式是如下模式：对于位于驾驶座的乘客，进行打瞌睡或东张西望检测、木桩检测(也称为无法驾驶状态检测)、疏忽状态检测、看漏检测、安全确认检测或异常行动检测等。
此外，例如还可以举出对位于驾驶座或副驾驶座的乘客进行个人认证的个人认证模式。该个人认证模式中，对乘客是谁进行认证。由此，若是未预先登记的人物，则使其无法驾驶车辆。另外，个人认证模式的认证结果也可以利用于上述用途以外。认证结果例如可以利用于根据乘客来控制CID101的显示内容。进行如下控制：将所认证的乘客利用导航功能时常设定的目的地、或所认证的乘客利用AV功能时经常重放的乐曲等作为选择项目优先显示于CID101。
图像处理部9根据状况切换监控的处理模式。图像处理部9例如经由车辆信息获取部5获取车辆信息，并基于获取到的车辆信息来切换处理模式。图像处理部9在车辆的行驶中执行驾驶员状态判定模式，在除此以外时执行个人认证模式。
由图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8构成车辆用拍摄控制装置。
这里，使用图4A及图4B对驾驶员监控装置1的硬件结构例进行说明。
驾驶员监控装置1的图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各功能由处理电路实现。该处理电路可以是专用的硬件，也可以是执行存储器中所存储的程序的CPU(Central Processing Unit：中央处理单元)。CPU也被称为中央处理装置、处理装置、运算装置、微处理器、微机、处理器、DSP(Digital Signal Processor：数字信号处理器)。
图4A是示出利用专用的硬件即处理电路200来实现驾驶员监控装置1的图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各功能的情况下的硬件结构例的图。处理电路200例如相当于单一电路、复合电路、程序化处理器、并联程序化处理器、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或它们的组合。可以组合独立的处理电路200来实现图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各部分的功能，也可以用1个处理电路200来实现各部分的功能。
处理电路200经由总线201与输入装置202相连接。输入装置202是拍摄部2。
图4B是示出利用执行存储器203中所存储的程序的CPU204来实现驾驶员监控装置1的图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各功能的情况下的硬件结构例的图。该情况下，图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各部分的功能由软件、固件、或软件和固件的组合来实现。软件及固件以程序的形式来表述，并储存于存储器203。CPU204通过读取并执行存储于存储器203的程序，来实现图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各部分的功能。即，驾驶员监控装置1具有用于存储程序等的存储器203，该程序最终执行后述的图5、图6及图7的流程图所示的步骤ST1～步骤ST3、步骤ST10～步骤ST13及步骤ST20～步骤ST24。此外，上述程序也可以说是使计算机执行图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的步骤或方法的程序。此外，存储器203例如相当于RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)、闪存、EPROM(Erasable Programmable ROM：可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable ROM：电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、以及磁盘、软盘、光盘、压缩光盘、迷你光盘或DVD(Digital Versatile Disc：数字通用光盘)等。
另外，对于驾驶员监控装置1的图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各部分的功能，可以利用专用的硬件来实现一部分，并利用软件或固件来实现一部分。例如，对于图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6及区域选择部7，可以由作为专用硬件的处理电路来实现其功能，对于曝光控制部8和图像处理部9，可以由处理电路读取存储在存储器中的程序并执行来实现其功能。
由此，处理电路能通过硬件、软件、固件或它们的组合来实现上述图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7、曝光控制部8及图像处理部9的各功能。
接着，对于如上述那样构成的车辆用拍摄控制装置所进行的处理，使用图5、图6及图7所示的流程图来说明其中一个示例。
另外，拍摄部2始终向图像获取部3输出图像信息。此外，图像获取部3、车辆信息获取部5及图像处理部9始终执行各自的处理。
图5是示出模式选择部6所进行的处理的流程图。
模式选择部6使用车辆信息获取部5所获取并输出的车辆信息来判定车辆是否正在行驶中(步骤ST1)。模式选择部6例如使用车速来进行步骤ST1的判定。更具体而言，例如，若车速为1km/h以上，则判定为正在行驶中。
在判定为正在行驶中的情况下(步骤ST1；是)，模式选择部6选择驾驶员状态判定模式来作为针对乘客的监控的处理模式(步骤ST2)。
另一方面，在判定为并非正在行驶中的情况下(步骤ST1；否)，模式选择部6选择个人认证模式来作为针对乘客的监控的处理模式(步骤ST3)。
模式选择部6所得出的选择结果被输出至区域选择部7。
图6是示出区域选择部7所进行的处理的流程图。
区域选择部7通过模式选择部6来判定是否选择了驾驶员状态判定模式(步骤ST10)。
在选择了驾驶员状态判定模式的情况下(步骤ST10；是)，区域选择部7选择位于驾驶座的乘客的脸部所存在的区域、在图3的情况下选择区域T1(步骤ST11)。在步骤ST11的处理之后，转移至步骤ST12的处理。
另一方面，在未选择驾驶员状态判定模式的情况下(步骤ST10；否)，直接转移至步骤ST12的处理。
接着，区域选择部7通过模式选择部6来判定是否选择了个人认证模式(步骤ST12)。
在选择了个人认证模式的情况下(步骤ST12；是)，区域选择部7选择位于驾驶座或副驾驶座的乘客的脸部所存在的区域、在图3的情况下选择区域T1或T2(步骤ST13)。另外，能在驾驶座和副驾驶座有乘客的情况下选择区域T1及T2，并能在副驾驶座没有乘客的情况下仅选择区域T1。设置座位传感器，并将该座位传感器的检测结果包含在车辆信息获取部5所获取的车辆信息中，由此能利用驾驶员监控装置1来判定各座位是否有乘客。若步骤ST13的处理结束，则区域选择部7结束处理。
另一方面，在未选择个人认证模式的情况下(步骤ST12；否)，区域选择部7结束处理。
区域选择部7所得出的选择结果被输出至亮度检测部4。
图7是示出亮度检测部4及曝光控制部8所进行的处理的流程图。图7中，以区域选择部7选择了多个区域的情况为例进行说明。具体而言，是在个人认证模式下选择了区域T1及T2的情况。
亮度检测部4使用图像获取部3所获取并输出的图像信息，来检测区域选择部7所选择的成为监控对象的区域的亮度信息(步骤ST20)。这里，将区域的平均亮度作为该区域的亮度信息来检测。即，对于区域选择部7所选择的成为监控对象的区域的每一个，检测平均亮度。所检测出的亮度信息被输出至曝光控制部8。
接着，曝光控制部8使用亮度检测部4所检测出的亮度信息，来判定在优先区域与除此以外的区域之间是否存在设定值以上的亮度信息的偏离。具体而言，判定优先区域的平均亮度与优先区域以外的区域的平均亮度之差是否在设定值以上。
优先区域是指区域选择部7所选择出的区域中、优先度最高的区域。个人认证模式中，与副驾驶座相比位于驾驶座的乘客的个人认证更为重要，因此，考虑将位于驾驶座的乘客的脸部所存在的区域设为优先区域。另外，并不局限于上述基准，也可以适当设定区域的优先度。例如，在驾驶座始终坐着相同的乘客、但位于副驾驶座的乘客因人的上下车而频繁变化的情况下，考虑将位于副驾驶座的乘客的脸部所存在的区域设为优先区域。有无上下车例如可以通过座位传感器来检测。
在亮度信息的偏离在设定值以上的情况下(步骤ST21；是)，曝光控制部8计算优先区域的亮度信息成为目标值的曝光条件(步骤ST22)。
目标值被设定为能恰当地进行各处理模式中的监控处理的程度的值。另外，目标值可以不单单指1个值，也可以指一定范围内所包含的所有值。即，也可以将能恰当地进行监控处理的值的下限值到上限值的所有值一并设为目标值。
另一方面，在亮度信息的偏离小于设定值的情况下(步骤ST21；否)，曝光控制部8计算区域选择部7所选择出的多个区域的亮度信息的平均值成为目标值的曝光条件(步骤ST23)。
例如，在优先区域极亮、除此以外的区域极暗的情况下，难以将优选区域及除此以外的区域均设为恰当的亮度。这是由于，若抑制优先区域的亮度，则除此以外的区域变得更暗，反之，若缓和优先区域以外的区域的暗度，则优先区域变得更亮。因此，如步骤ST21～ST23那样，在优先区域与除此以外的区域之间存在设定值以上的亮度信息的偏离的情况下，对于优先区域以外的区域放弃亮度的调整，而在没有设定值以上的偏离的情况下，对于区域选择部7所选择出的所有区域，平均地进行亮度调整。
即，步骤ST21的判定中所使用的设定值在由区域选择部7所选择出的所有区域中被设定为有望改善亮度的程度的值以下。
接着，曝光控制部8将指示在所计算出的曝光条件下进行拍摄的控制信号输出至拍摄部2(步骤ST24)。拍摄部2根据所接收到的控制信号来变更曝光条件，并将在变更后的曝光条件下拍摄到的图像信息输出至图像获取部3。
另外，在区域选择部7所选择出的区域为1个的情况下，计算该区域的亮度信息成为目标值的曝光条件。
图5、图6及图7的流程图所示的处理在对驾驶员监控装置1接通电源后反复进行。
由此，曝光控制部8能使拍摄部2之后进行与图像处理部9所进行的处理模式相对应的区域成为恰当的亮度那样的曝光条件下的拍摄。
另外，上述内容中，示出了车辆用拍摄控制装置内置于驾驶员监控装置1的情况。然而，也可以将构成车辆用拍摄控制装置的图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7及曝光控制部8构筑在外部服务器内，并由该外部服务器在拍摄部2与图像处理部9之间收发信息，由此来远程地进行拍摄部2的曝光控制。此外，此时，也可以经由智能手机等移动终端以可彼此通信的方式连接拍摄部2、图像处理部9和外部服务器，由此，构筑为能在拍摄部2、图像处理部9和外部服务器之间进行信息的收发。
此外，也可以将图像获取部3、亮度检测部4、车辆信息获取部5、模式选择部6、区域选择部7及曝光控制部8构筑在移动终端内，并使该移动终端起到作为车辆用拍摄控制装置的作用。
此外，上述内容中，将区域的平均亮度设为了该区域的亮度信息，但也可以将亮度的众数值或亮度的中央值设为区域的亮度信息。
此外，上述内容中，设为由亮度检测部4获取区域选择部7所得出的选择结果，仅对所选择的区域检测亮度信息，并输出至曝光控制部8。然而，也可以设为由亮度检测部4对成为监控对象的所有区域检测亮度信息并输出至曝光控制部8，曝光控制部8从中提取由区域选择部7所选择出的区域的亮度信息并使用在处理中。即，若使用图3来进行说明，则可以设为由亮度检测部4检测区域T1和T2的亮度信息，若正在行驶中则曝光控制部8提取区域T1，若不在行驶中则曝光控制部8提取区域T1或T2的亮度信息，并进行计算曝光条件的处理。另外，该情况下，区域选择部7所得出的选择结果被输出至曝光控制部8，以代替亮度检测部4。
如上所述，根据本实施方式1所涉及的车辆用拍摄控制装置，模式选择部6使用车辆信息来选择处理模式，区域选择部7选择与所选择的处理模式对应的区域。然后，曝光控制部8使用所选择的区域的亮度信息，来计算应设定于拍摄部2的曝光条件。曝光控制部8使拍摄部2之后进行所计算出的曝光条件下的拍摄。由此，能进行与处理模式的变化相对应的曝光控制。
通过恰当地拍摄所需的区域，图像处理部9所进行的监控处理的精度得以提高。
此外，拍摄部2中，可以仅设置1台成为监控对象的区域进入整个拍摄范围的摄像头。即，作为拍摄部2，无需设置多个摄像头、并使其与成为监控对象的区域一一对应。可以减少所需的摄像头的台数来控制成本。
此外，设为在区域选择部7选择了多个区域的情况下，由曝光控制部8使用多个区域的亮度信息来计算拍摄部2的曝光条件。由此，在选择了多个区域的情况下，将上述多个区域考虑在内来计算曝光条件。
此外，设为在曝光控制部8判定为由区域选择部7所选择出的多个区域中、在优先度最高的区域即优先区域与除此以外的区域之间没有设定值以上的亮度信息的偏离的情况下，计算由区域选择部7所选择出的多个区域的亮度信息的平均值成为目标值的曝光条件。由此，在选择了多个区域的情况下，能以恰当的亮度来拍摄上述区域。
此外，设为在曝光控制部8判定为由区域选择部7所选择出的多个区域中、在优先度最高的区域即优先区域与除此以外的区域之间存在设定值以上的亮度信息的偏离的情况下，计算该优先区域的亮度信息成为目标值的曝光条件。由此，能以恰当的亮度来拍摄应成为优先的区域。
此外，设为搭载于车辆的驾驶员监控装置1中包括车辆用拍摄控制装置、拍摄部2、以及使用图像获取部3所获取到的图像信息来进行针对乘客的监控处理的图像处理部9。由此，能作为搭载于车辆的驾驶员监控装置1来进行使用。
另外，本发明申请在其发明范围内可以对实施方式的任意结构要素进行变形，或者在实施方式中省略任意的结构要素。
工业上的实用性
如上所述，本发明所涉及的车辆用拍摄控制装置能进行与处理模式的变化相对应的曝光控制，因此，适用于作为内置于具备拍摄部的驾驶员监控装置、并对该拍摄部进行控制的装置来使用。
标号说明
1 驾驶员监控装置，
2 拍摄部，
3 图像获取部，
4 亮度检测部，
5 车辆信息获取部，
6 模式选择部，
7 区域选择部，
8 曝光控制部，
9 图像处理部，
100 转向器，
101 CID，
200 处理电路，
201 总线，
202 输入装置，
203 存储器，
204 CPU。

Claims (6)

1.一种车辆用拍摄控制装置，其特征在于，包括：
图像获取部，该图像获取部获取搭载于车辆的拍摄部所输出的、拍摄包含驾驶座和副驾驶座的车辆内部后而得到的图像信息；
亮度检测部，该亮度检测部使用所述图像获取部所获取到的图像信息，来检测成为监控对象的区域的亮度信息；
车辆信息获取部，该车辆信息获取部获取车辆信息；
模式选择部，该模式选择部使用所述车辆信息获取部所获取到的车辆信息，在车辆正在行驶中的情况下选择对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式，并在车辆不在行驶中的情况下选择对位于驾驶座或副驾驶的乘客进行认证的个人认证模式，以作为针对乘客的监控的处理模式；
区域选择部，该区域选择部在所述模式选择部选择了对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式的情况下，从成为监控对象的区域中选择该乘客的脸部所存在的区域，在所述模式选择部选择了对位于驾驶座或副驾驶座的乘客进行认证的个人认证模式的情况下，从成为监控对象的区域中选择该乘客的脸部所存在的区域；以及
曝光控制部，该曝光控制部使用所述区域选择部所选择的区域的亮度信息，来计算所述拍摄部的曝光条件，并输出指示所述拍摄部在所计算出的曝光条件下进行拍摄的控制信号。
2.如权利要求1所述的车辆用拍摄控制装置，其特征在于，
在所述区域选择部选择了多个区域的情况下，所述曝光控制部使用所述多个区域的亮度信息，来计算所述拍摄部的曝光条件。
3.如权利要求2所述的车辆用拍摄控制装置，其特征在于，
所述曝光控制部在判定为由所述区域选择部所选择出的多个区域中、在优先度最高的区域即优先区域与除此以外的区域之间没有设定值以上的亮度信息的偏离的情况下，计算由所述区域选择部所选择出的多个区域的亮度信息的平均值成为目标值的曝光条件。
4.如权利要求2所述的车辆用拍摄控制装置，其特征在于，
所述曝光控制部在判定为由所述区域选择部所选择出的多个区域中、在优先度最高的区域即优先区域与除此以外的区域之间存在设定值以上的亮度信息的偏离的情况下，计算该优先区域的亮度信息成为目标值的曝光条件。
5.一种搭载于车辆的驾驶员监控装置，其特征在于，包括：
权利要求1所述的车辆用拍摄控制装置；
所述拍摄部；以及
图像处理部，该图像处理部使用所述图像获取部所获取到的图像信息，来进行针对乘客的监控处理。
6.一种车辆用拍摄控制方法，其特征在于，包括：
图像获取步骤，该图像获取步骤中，图像获取部获取搭载于车辆的拍摄部所输出的、拍摄包含驾驶座和副驾驶座的车辆内部后而得到的图像信息；
亮度检测步骤，该亮度检测步骤中，亮度检测部使用由所述图像获取步骤所获取到的图像信息，来检测成为监控对象的区域的亮度信息；
车辆信息获取步骤，该车辆信息获取步骤中，车辆信息获取部获取车辆信息；
模式选择步骤，该模式选择步骤中，模式选择部使用由所述车辆信息获取部所获取到的车辆信息，在车辆正在行驶中的情况下选择对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式，并在车辆不在行驶中的情况下选择对位于驾驶座或副驾驶的乘客进行认证的个人认证模式，以作为针对乘客的监控的处理模式；
区域选择步骤，该区域选择步骤中，区域选择部在由所述模式选择步骤选择了对位于驾驶座的乘客的状态进行判定的驾驶员状态判定模式的情况下，从成为监控对象的区域中选择该乘客的脸部所存在的区域，在由所述模式选择步骤选择了对位于驾驶座或副驾驶座的乘客进行认证的个人认证模式的情况下，从成为监控对象的区域中选择该乘客的脸部所存在的区域；以及
曝光控制步骤，该曝光控制步骤中，曝光控制部使用由所述区域选择步骤所选择的区域的亮度信息，来计算所述拍摄部的曝光条件，并输出指示所述拍摄部在所计算出的曝光条件下进行拍摄的控制信号。
CN201780087178.6A 2017-02-28 2017-02-28 车辆用拍摄控制装置及方法、驾驶员监控装置 Active CN110326289B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007726 WO2018158809A1 (ja) 2017-02-28 2017-02-28 車両用撮像制御装置、ドライバモニタリング装置、及び、車両用撮像制御方法

Publications (2)

Publication Number Publication Date
CN110326289A true CN110326289A (zh) 2019-10-11
CN110326289B CN110326289B (zh) 2020-09-01

Family

ID=63370708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087178.6A Active CN110326289B (zh) 2017-02-28 2017-02-28 车辆用拍摄控制装置及方法、驾驶员监控装置

Country Status (5)

Country Link
US (1) US10735664B2 (zh)
JP (1) JP6513321B2 (zh)
CN (1) CN110326289B (zh)
DE (1) DE112017006801B4 (zh)
WO (1) WO2018158809A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095664A (zh) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 一种摄像头参数的调节方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538257B2 (en) * 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
US11361560B2 (en) * 2018-02-19 2022-06-14 Mitsubishi Electric Corporation Passenger state detection device, passenger state detection system, and passenger state detection method
US20190367038A1 (en) * 2018-06-04 2019-12-05 Sharp Kabushiki Kaisha Driver monitoring device
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
JP2022102494A (ja) 2020-12-25 2022-07-07 スズキ株式会社 乗員監視装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2009206811A (ja) * 2008-02-27 2009-09-10 Funai Electric Co Ltd 撮像装置
CN102044144A (zh) * 2009-10-21 2011-05-04 厦门雅迅网络股份有限公司 一种出租车车载通信终端及其数据处理方法
CN202014332U (zh) * 2010-12-28 2011-10-19 公信电子股份有限公司 车载网络结合车内情境监控系统
JP2013164663A (ja) * 2012-02-09 2013-08-22 Denso Corp 脇見判定装置および脇見判定方法
CN104240440A (zh) * 2014-10-10 2014-12-24 江阴延利汽车饰件股份有限公司 一种出租车人员实时监控方法
CN104380349A (zh) * 2013-04-15 2015-02-25 弗莱克斯电子有限责任公司 车辆入侵者警报检测和指示
CN105329204A (zh) * 2015-12-02 2016-02-17 赵立 一种识别车乘人员是否系安全带的监控系统及方法
CN105640516A (zh) * 2016-01-02 2016-06-08 无锡桑尼安科技有限公司 一种出租车驾驶员状态自动预警方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178017B2 (ja) 2002-10-28 2008-11-12 富士フイルム株式会社 画像処理方法及びデジタルカメラ
JP2013123180A (ja) 2011-12-12 2013-06-20 Denso Corp モニタリング装置
JP2014235410A (ja) 2013-06-05 2014-12-15 株式会社デンソー 撮像制御装置
US9881221B2 (en) * 2013-10-24 2018-01-30 Conduent Business Services, Llc Method and system for estimating gaze direction of vehicle drivers
JP6237725B2 (ja) * 2015-07-27 2017-11-29 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
US10318831B2 (en) * 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
WO2018117631A1 (en) * 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2009206811A (ja) * 2008-02-27 2009-09-10 Funai Electric Co Ltd 撮像装置
CN102044144A (zh) * 2009-10-21 2011-05-04 厦门雅迅网络股份有限公司 一种出租车车载通信终端及其数据处理方法
CN202014332U (zh) * 2010-12-28 2011-10-19 公信电子股份有限公司 车载网络结合车内情境监控系统
JP2013164663A (ja) * 2012-02-09 2013-08-22 Denso Corp 脇見判定装置および脇見判定方法
CN104380349A (zh) * 2013-04-15 2015-02-25 弗莱克斯电子有限责任公司 车辆入侵者警报检测和指示
CN104240440A (zh) * 2014-10-10 2014-12-24 江阴延利汽车饰件股份有限公司 一种出租车人员实时监控方法
CN105329204A (zh) * 2015-12-02 2016-02-17 赵立 一种识别车乘人员是否系安全带的监控系统及方法
CN105640516A (zh) * 2016-01-02 2016-06-08 无锡桑尼安科技有限公司 一种出租车驾驶员状态自动预警方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095664A (zh) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 一种摄像头参数的调节方法和装置

Also Published As

Publication number Publication date
DE112017006801T5 (de) 2019-10-10
DE112017006801B4 (de) 2020-10-22
JPWO2018158809A1 (ja) 2019-06-27
WO2018158809A1 (ja) 2018-09-07
JP6513321B2 (ja) 2019-05-15
CN110326289B (zh) 2020-09-01
US10735664B2 (en) 2020-08-04
US20190373157A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN110326289A (zh) 车辆用拍摄控制装置、驾驶员监控装置及车辆用拍摄控制方法
US11184383B2 (en) Security test system, security test method, function evaluation device, and program
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
CN110027951B (zh) 用于检测电梯轿厢操作面板状况的方法和系统
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN111415347B (zh) 遗留对象检测方法和装置及交通工具
CN106687654A (zh) 车载上锁装置及上锁系统
CN106361357B (zh) 驾驶能力的测试方法与系统
JP2019057247A (ja) 画像処理装置及びプログラム
CN109421664A (zh) 车辆解锁系统、装置以及方法
CN110414406A (zh) 车内对象监管方法、装置、系统、车载终端和存储介质
CN108369781A (zh) 用于评价由车辆的至少一个传感器检测到的危险情况的方法，用于控制危险警告的呈现的方法和用于呈现危险警告的方法
CN105279498B (zh) 一种眼球识别方法、装置和终端
JP4839611B2 (ja) 車載表示計の自動評価装置
CN111806451A (zh) 为车辆的驾驶辅助系统识别驾驶员疲劳的方法和控制设备
CN104228667B (zh) 判断雾存在与否的方法及其装置
US20130265410A1 (en) Color vision inspection system and method of inspecting a vehicle
WO2020174601A1 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
CN107599968A (zh) 一种判断车窗是否关闭及未关闭车窗时报警的方法
JP2009080706A (ja) 個人認証装置
CN109094557B (zh) 一种用于显示车辆右盲区图像的控制方法及控制系统
CN114663935A (zh) 信息处理设备、信息处理方法以及非暂态性存储介质
CN110509873A (zh) 倒车影像辅助装置及方法、倒车影像
CN110235178B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
WO2023105700A1 (ja) 更新判定装置及び更新判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant