CN112740300B - 车辆用监视装置 - Google Patents
车辆用监视装置 Download PDFInfo
- Publication number
- CN112740300B CN112740300B CN201980061705.5A CN201980061705A CN112740300B CN 112740300 B CN112740300 B CN 112740300B CN 201980061705 A CN201980061705 A CN 201980061705A CN 112740300 B CN112740300 B CN 112740300B
- Authority
- CN
- China
- Prior art keywords
- unit
- vehicle
- driving state
- opening degree
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
摄像部(2)对车辆的驾驶员进行拍摄。驾驶状态测定部(70)对摄像部(2)所拍摄到的图像进行分析,并对包含驾驶员的睁眼度的多个驾驶状态进行测定。行驶状态判定部(71)对车辆的行驶状态进行判定。警报判定部(72)基于驾驶状态和行驶状态来判定是否使警报装置(5)动作。在此,警在驾驶状态测定部(70)的睁眼度的测定失败时,在判定为除睁眼度外的其他驾驶状态正常且行驶状态也正常的情况下,报判定部(72)使驾驶状态测定部(70)重新执行睁眼度的测定。
Description
技术领域
本发明涉及监视装置,尤其涉及被搭载于车辆并用于监视车辆的驾驶员的装置。
背景技术
近年来,提出了各种对驾驶员的清醒状态进行推定,并根据需要来发出警报的技术(例如,专利文献1)。专利文献1所公开的技术中公开了:通过对由睁眼幅度计测部件计测到的睁眼幅度的时序趋势进行追踪,并向实测值应用低通滤波器的滤波来决定睁眼阈值。
现有技术文献
专利文献
专利文献1:日本国特开2010-067137号公报
发明内容
发明要解决的技术问题
在上述这样的技术中,在判定为应输出警报的情况下,会向驾驶员通知警报。警报用于唤起驾驶员的注意。因此,为了使驾驶车辆中的驾驶员的意识集中,会向驾驶员出示声音或振动,或是向显示部出示消息。
在应当唤起驾驶员的注意时,通知这些警报是有用的。然而,当因误判定而在无需唤起注意时通知警报时,可能会扰乱驾驶车辆中的驾驶员的集中力。
本发明鉴于这些点而完成,其目的在于提供一种抑制与驾驶状态有关的误判定的技术。
用于解决技术问题的技术手段
本发明的第1方案为一种车辆用监视装置。该装置包括:摄像部,其对车辆的驾驶员进行拍摄;驾驶状态测定部,其对所述摄像部所拍摄到的图像进行分析,从而对包含所述驾驶员的睁眼度的多个驾驶状态进行测定;行驶状态判定部,其对所述车辆的行驶状态进行判定;以及警报判定部,其基于所述驾驶状态和所述行驶状态来判定是否使警报装置动作。在所述驾驶状态测定部对所述睁眼度的测定失败时,在判定为除所述睁眼度外的其他驾驶状态正常且所述行驶状态也正常的情况下,所述警报判定部使所述驾驶状态测定部重新执行睁眼度的测定。
也可以是,在从所述驾驶状态测定部开始所述睁眼度的检测的初始化处理起,即使经过预定的睁眼度测定待机时间,也未从所述驾驶状态测定部接收到表示所述睁眼度的检测的初始化处理结束的信号的情况下,所述警报判定部判定为所述驾驶状态测定部的所述睁眼度的测定失败。
也可以是,所述行驶状态判定部包括:数据观测部,其对第1种观测数据及第2种观测数据进行观测,该第1种观测数据为基于被搭载于所述车辆的车载传感器而稳定地观测到的多个观测数据,该第2种观测数据为以所述驾驶员对被搭载于所述车辆的操作部进行操作为契机而观测到的多个观测数据;以及状态判定部,其基于各第1种观测数据是否被包含在针对每个所述第1种观测数据规定的正常判定基准范围内、以及是否观测到所述第2种观测数据,来判定所述行驶状态是否正常。
也可以是,在未接收到表示所述睁眼度的检测的初始化结束的信号时,即使在从所述驾驶状态测定部取得的所述驾驶员的暂定的睁眼度满足使所述警报装置动作的条件的情况下,在判定为除所述睁眼度外的其他驾驶状态正常且所述行驶状态也正常时,所述警报判定部也禁止所述警报装置的动作。
也可以是,所述车辆用监视装置还包括:坐标检测部、以及日照方向取得部,该坐标检测部对表示所述车辆的位置的位置信息及行进方向进行检测,该日照方向取得部参照日照方向数据库来取得日照方向,该日照方向数据库将日期和时间、位置信息及日照方向对应起来进行存储;也可以是,在所述驾驶状态测定部对所述睁眼度的测定失败的情况下,所述警报判定部以判定为除所述睁眼度外的其他驾驶状态正常、所述行驶状态也正常、且所述车辆的行进方向与所述车辆的位置处的所述日照方向满足预定的关系为条件,使所述驾驶状态测定部重新执行睁眼度的检测处理。
发明效果
根据本发明,能够抑制与驾驶状态有关的误判定。
附图的简要说明
图1是用于说明实施方式的车辆用监视装置的概要的示意图。
图2A是用于说明实施方式的车辆用监视装置所测定出的驾驶员的睁眼度的图。
图2B是用于说明实施方式的车辆用监视装置所测定出的驾驶员的睁眼度的图。
图3是示意性地表示实施方式的车辆用监视装置的功能构成的图。
图4是示意性地表示实施方式的驾驶状态测定部的功能构成的图。
图5是示意性地表示实施方式的行驶状态判定部的功能构成的图。
图6是示意性地表示实施方式的日照方向数据库的数据结构的图。
图7是用于说明实施方式的车辆用监视装置所执行的驾驶员监视处理的流程的流程图。
具体实施方式
<实施方式的概要>
图1是用于说明实施方式的车辆用监视装置1的概要的示意图。在图1所示的例子中,车辆用监视装置1被搭载于驾驶员D所驾驶的车辆V。车辆V也包括摄像部2、车载传感器3、GPS接收部4、以及警报装置5来作为车辆用监视装置1的一部分。
摄像部2例如为CCD(Charge Coupled Device:电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等固体摄像元件,对车辆V的驾驶员D进行拍摄。车辆用监视装置1基于睁眼度、驾驶员D的面部朝向的角度、以及驾驶员D的面部位置等来判定驾驶员D对车辆V的驾驶状态的适当与否,该睁眼度表示通过对摄像部2所拍摄到的图像进行分析而得到的驾驶员D的眼睛张开情况。
另外,在图1中,驾驶员D的睁眼度以O来表示,驾驶员D的视线方向以角度θ来表示,驾驶员D的面部位置以二维坐标(X,Y)来表示。驾驶员D的睁眼度、面部朝向的角度、面部位置等各种信息分别由车辆用监视装置1所包括的专用模块进行分析,其详情将在后面进行叙述。
在此,所谓“驾驶员D对车辆V的驾驶状态”,意味着表示驾驶员D是否能够使车辆V正常行驶的驾驶员D的状态。例如,在驾驶员D因心脏病或脑梗塞等原因而变得无法驾驶并蹲下的情况下,因为驾驶员D无法使车辆V正常行驶,所以驾驶状态可以称为“不适”。此外,在驾驶员D的眼睛闭上了的情况下,也可称为不适。
车载传感器3为用于对车辆V的行驶状态进行测定的各种车载传感器。在此,所谓“车辆V的行驶状态”,意味着表示车辆V是否正常行驶的车辆V的运动状态。车辆V的行驶状态例如由车辆用监视装置1考虑车辆V的速度或加速度、横摆率、转向角、各种踏板的操作、刮水器的操作、方向指示器的操作、辅助制动的操作、换挡操作、车辆V在车道中的行驶位置、以及与前方车辆的距离等来判定。
GPS(Global Positioning System:全球定位系统)接收部4从导航卫星接收GPS数据。警报装置5产生用于唤起驾驶员注意的警报。
在被用于判定驾驶员D对车辆V的驾驶状态的数据中,驾驶员D的睁眼度是较为重要的数据之一。睁眼度较小暗示着驾驶员D的眼睛闭合或半闭,即驾驶员D不清醒的可能性。因此,驾驶员D的睁眼度会成为用于判定驾驶员D的驾驶状态的有用线索。
图2A、图2B是用于说明实施方式的车辆用监视装置1所测定出的驾驶员D的睁眼度的图。具体而言,图2A是表示睁眼度为100%的驾驶员D的面部的示意图。图2B是表示睁眼度为30%的驾驶员D的面部的示意图。
驾驶员D的睁眼度被定义为测定时的驾驶员D眼睛的大小相对于驾驶员D通常时的眼睛的大小(即,驾驶员D清醒时在自然状态下睁开眼睛时的眼睛的大小)的比例。因此,为了使车辆用监视装置1算出驾驶员D的睁眼度,用于将驾驶员D的通常时的眼睛大小作为比较对象来确定的初始化处理是必要的。
车辆用监视装置1所包括的各种模块中的、负责对驾驶员D的睁眼度进行检测的模块被构成为在睁眼度检测的初始化处理成功时输出表示该情况的信号。然而,当驾驶员D通常时的眼睛大小的检测失败时,负责驾驶员D睁眼度的检测的模块当然无法输出表示初始化处理成功的信号。
在此,认为负责驾驶员D的睁眼度检测的模块的睁眼度检测的初始化处理失败的主要原因大致分为2个。第1个是由于驾驶员D漫不经心地驾驶等某种原因,摄像部2无法拍摄到驾驶员D的眼睛的情况。在该情况下,可以说是警报装置5应产生用于唤起驾驶员注意的警报的状况。
第2个是尽管摄像部2对驾驶员D的眼睛所存在的区域进行拍摄,但例如驾驶员D眼睛的检测因被太阳镜等遮蔽而难以进行的情况或夕阳等照到驾驶员D的面部而导致摄像部2所拍摄到的图像的像素值饱和那样的情况。在这种情况下,摄像部2存在正常运转的可能性,警报装置5不一定总应产生用于唤起驾驶员注意的警报。
如此,即使在负责驾驶员D睁眼度检测的模块的睁眼度检测初始化处理失败的情况下,也能够发生警报装置5不应该产生用于唤起驾驶员注意的警报的状况。
因此,实施方式的车辆用监视装置1在睁眼度的测定失败时,在判定为除睁眼度外的其他驾驶状态正常且车辆V的行驶状态也正常的情况下,会重新执行睁眼度的检测处理。由此,车辆用监视装置1能够抑制与驾驶状态有关的误判定,作为结果,车辆用监视装置1也能够抑制基于误判定的警报的通知。进而,能够抑制因基于误判定的警报的通知而给驾驶员D造成不快感或不信任感的情况。
<实施方式的车辆用监视装置1的功能构成>
图3是示意性地表示实施方式的车辆用监视装置1的功能构成的图。车辆用监视装置1除了上述的摄像部2、车载传感器3、GPS接收部4及警报装置5之外,还包括存储部6和控制部7。在图3中,箭头表示主要的数据的流动,也可以存在图3未示出的数据的流动。在图3中,各功能框不表示硬件(装置)单位的构成,而是表示功能单位的构成。因此,图中示出的功能框既可以被安装在单一装置内,或者也可以被分开安装在多个装置内。功能框间的数据收发也可以介由数据总线、网络、移动存储介质等任意部件来进行。
存储部6为容纳实现车辆用监视装置1的计算机的BIOS(Basic Input OutputSystem:基本输入输出系统)等的ROM(Read Only Memory:只读存储器)或作为车辆用监视装置1的工作区域的RAM(Random Access Memory:随机存取存储器)、OS(OperatingSystem:操作系统)或应用程序、以及容纳执行该应用程序时所参照的各种信息的HDD(HardDisk Drive:硬盘驱动器)或SSD(Solid State Drive:固态驱动器)等大容量存储装置。
控制部7为车辆V的ECU(Electronic Control Unit:电子控制单元)等处理器,通过执行被存储于存储部6的程序,从而作为驾驶状态测定部70、行驶状态判定部71、警报判定部72、坐标检测部73及日照方向取得部74来发挥功能。
摄像部2对车辆V的驾驶员D进行拍摄。具体而言,摄像部2被设置为能够拍摄将车辆V的驾驶员座包含于被摄体中的图像,并在驾驶员D坐入车辆V并驾驶车辆V时生成拍照驾驶员D的那样的图像。
驾驶状态测定部70对摄像部2所拍摄到的图像进行分析,并对包含驾驶员D的睁眼度的多个驾驶状态进行测定。
图4是示意性地表示实施方式的驾驶状态测定部70的功能构成的图。如图4所示,实施方式的驾驶状态测定部70至少包含面部检测部700、眼睛检测部701、面部朝向角度检测部702、面部位置检测部703、睁眼度测定部704、以及视线检测部705。
面部检测部700、眼睛检测部701、面部朝向角度检测部702、面部位置检测部703、睁眼度测定部704、以及视线检测部705分别用已知的图像识别技术或图像处理技术来实现。因为是已知的技术,所以省略详细的说明,面部检测部700对存在于摄像部2所拍摄到的图像中的面部进行检测。眼睛检测部701对存在于面部检测部700所检测到的面部中的眼睛进行检测。
面部朝向角度检测部702对表示面部检测部700所检测到的面部的朝向的角度进行检测。面部位置检测部703对被设定于摄像部2所拍摄到的图像的二维坐标系中的面部的位置坐标进行检测。另外,也可以是,面部位置检测部703在以设置有摄像部2的车辆V的任意一点为原点的三维坐标系中,对表示车辆V中的面部的存在位置的三维坐标进行检测。
睁眼度测定部704相当于上述的“负责驾驶员D的睁眼度检测的模块”,对眼睛检测部701所检测到的眼睛的睁眼度进行测定。视线检测部705对表示驾驶员D的视线的朝向的角度进行检测。
回到图3的说明。行驶状态判定部71基于车载传感器3的各种测定数据来对车辆V的行驶状态进行判定。警报判定部72基于驾驶状态测定部70所测定出的驾驶状态和行驶状态判定部71所判定的行驶状态来判定是否使警报装置5动作。
在驾驶状态测定部70的睁眼度测定失败时,在判定为除睁眼度外的其他驾驶状态正常且行驶状态也正常的情况下,警报判定部72使驾驶状态测定部70重新执行睁眼度的测定。在判定为除睁眼度外的其他驾驶状态正常且行驶状态也正常的情况下,仅睁眼度的测定失败的可能性较高。在这种情况下,警报判定部72会使驾驶状态测定部70将睁眼度的测定初始化并从头重新进行。由此,车辆用监视装置1能够抑制来源于睁眼度检测的误判定,进而也能够抑制基于误判定的误警报。
更具体而言,在从驾驶状态测定部70开始睁眼度检测的初始化处理起,即使经过了预定的睁眼度测定待机时间,也未从驾驶状态测定部70接收到表示睁眼度检测的初始化处理结束的信号的情况下,警报判定部72判定为驾驶状态测定部的睁眼度测定失败。
在此,所谓“睁眼度测定待机时间”,是指警报判定部72为了决定是否使驾驶状态测定部70重新执行睁眼度测定处理而参照的重新测定待机阈值时间。睁眼度测定待机时间的具体值可以考虑驾驶状态测定部70所包括的“负责驾驶员D的睁眼度检测的模块”的性能、到初始化处理正常结束为止所需的时间的平均值等来确定,例如为60秒。
图5是示意性地表示实施方式的行驶状态判定部71的功能构成的图。如图5所示,实施方式的行驶状态判定部71至少包含数据观测部710和状态判定部711。
数据观测部710对基于被搭载于车辆V的车载传感器3而稳定地观测到的多个观测数据即第1种观测数据进行观测。此外,数据观测部710也对以驾驶员D对被搭载于车辆V的操作部进行操作为契机而观测到的多个观测数据即第2种观测数据进行观测。
数据观测部710所观测的第1种观测数据例如为车辆V行驶中的车道中的车道内的位置的变动量、车辆V的车速的变动量、转向角的变动量、横摆率的变动量、以及车间距离的变动量等。第1种观测数据也可以说是被稳定地观测到的数据。
一般认为,在驾驶员D正常驾驶车辆V的情况下,与驾驶员D瞌睡驾驶或漫不经心地驾驶等非正常驾驶的情况相比,上述第1种观测数据均会成为较小的值。因此,状态判定部711将在各第1种观测数据是否被包含在针对每个第1种观测数据确定的正常判定基准范围内,作为用于判定行驶状态是否正常的1个判定基准。
在此,所谓“正常判定基准范围”,是指数据观测部710在车辆V的行驶状态正常的情况下可以取到各第1种观测数据的范围。各第1种观测数据的正常判定基准范围可以考虑车辆V的大小或引擎性能、车种等,通过实验来确定。
数据观测部710所观测的第2种观测数据例如为有无油门踏板、制动踏板及离合器踏板等踏板的操作、有无方向指示器的操作、以及有无换挡操作等。第2种观测数据也可以说是被间歇地观测到的数据。
一般认为,在驾驶员D正常驾驶车辆V的情况下,与驾驶员D瞌睡驾驶或漫不经心地驾驶等非正常驾驶的情况相比,观测到第2种观测数据的概率较高。原因在于,关于踏板操作或方向指示器的操作等,除非驾驶员D有意图地进行,否则难以发生。在观测到第2种观测数据的情况下,认为至少到经过预定的期间为止,驾驶员D是正常的,且车辆V正常行驶。
因此,状态判定部711将是否观测到第2种观测数据也作为用于判定行驶状态是否正常的另1个判定基准。更具体而言,在从观测到第2种观测数据起到经过预定的期间为止的期间,状态判定部711判定为车辆V的行驶状态正常。
在此,所谓“预定的期间”,是指在观测到第2种观测数据的情况下,数据观测部710在行驶状态的判定中利用的期间。在观测到某个第2种观测数据后经过预定的期间时,数据观测部710会中止基于该第2种观测数据的行驶状态的判定。“预定的期间”的具体值可以考虑驾驶员D的驾驶模式等,通过实验来确定。
如此,行驶状态判定部71能够基于车辆V所包括的车载传感器3的测定数据及驾驶员D的操作来高精度地推定车辆V的行驶状态。
回到图3的说明。驾驶状态测定部70基于摄像部2所拍摄到的图像,用已知的图像识别技术及图像处理技术来测定驾驶员D的驾驶状态。因此,在驾驶状态测定部70用于测定驾驶状态的图像的质量较低的情况下,与较高的情况相比,驾驶状态的测定精度可能会降低。
认为图像质量降低的原因有多种,尤其是,当强光照到驾驶员D的面部,从而摄像部2所生成的图像的像素值饱和或在驾驶员D的面部出现较大阴影时,驾驶状态测定部70所包括的各部分的识别精度容易降低。
作为驾驶员D的面部被暴露于强光的典型状况之一,可举出夕阳照到驾驶员D的面部的情况。原因在于,夕阳的入射角较浅,不会被车辆V遮挡,容易到达驾驶员D。虽然认为刚日出后的朝阳的入射角也较浅,但因为夕阳照射的时间带比刚日出后的时间带更易与驾驶员D进行活动的时间重叠,所以认为夕阳给摄像部2所生成的图像的质量造成的影响较大。
因此,坐标检测部73基于GPS接收部4所接收到的GPS数据来对表示车辆V的位置的位置信息及行进方向进行检测。日照方向取得部74参照日照方向数据库来取得日照方向,该日照方向数据库将日期和时间、位置信息及日照方向对应起来进行存储。
图6是示意性地表示实施方式的日照方向数据库的数据结构的图。日照方向数据库被容纳于存储部6,由日照方向取得部74管理。如图6所示,日照方向数据库中,日照方向的数据被以日期为单位而汇总。在图6所示的例子中,图示了2017年6月19日的日照方向的数据。
更具体而言,日照方向数据库在各日期中,针对纬度与经度的每个组合汇总了太阳的高度及方位。日照方向取得部74能够通过指定日期、纬度及经度并参照日照方向数据库,从而取得例如每30分钟的太阳的高度及方位。
在驾驶状态测定部70的睁眼度测定失败的情况下,警报判定部72以判定为除睁眼度外的其他驾驶状态正常、行驶状态也正常、且车辆V的行进方向和车辆V的位置处的日照方向满足预定的关系为条件,使驾驶状态测定部70重新执行睁眼度的检测处理。
作为预定的条件的一例,也可以是,警报判定部72将车辆V的行进方向为与日照方向相对的方向作为条件。原因在于,在车辆V的行进方向为与日照方向相对的方向的情况下,直射日光照到驾驶员D的面部的可能性较高,可能会对驾驶状态测定部70所进行的驾驶员D的驾驶状态的判定造成影响。由此,实施方式的车辆用监视装置1能够抑制与驾驶状态有关的误判定,作为结果,车辆用监视装置1还能够抑制基于误判定的警报的通知。
实施方式的睁眼度测定部704即使在睁眼度检测的初始化处理结束前,即确定100%的睁眼度前,也会输出暂定的睁眼度。睁眼度测定部704所输出的暂定的睁眼度被认为与初始化处理正常结束后输出的睁眼度相比,精度更差。
因此,在未接收到表示睁眼度的检测的初始化结束的信号时,即使在从驾驶状态测定部70取得的驾驶员D的暂定的睁眼度满足使警报装置5动作的条件的情况下,警报判定部72也会在判定为除睁眼度外的其他驾驶状态正常且行驶状态也正常时,禁止警报装置5的动作。由此,实施方式的车辆用监视装置1能够抑制基于与驾驶状态有关的误判定的警报的通知。
<车辆用监视装置1所执行的驾驶员D监视处理的处理流程>
图7是用于对实施方式的车辆用监视装置1所执行的驾驶员D监视处理的流程进行说明的流程图。本流程图中的处理例如在车辆用监视装置1起动时开始。
摄像部2对车辆V的驾驶员D进行拍摄(S2)。驾驶状态测定部70对摄像部2所拍摄到的图像进行分析并对包含驾驶员D的睁眼度的多个驾驶状态进行测定(S4)。行驶状态判定部71基于车载传感器3的各种测定数据来判定车辆V的行驶状态(S6)。
在驾驶状态测定部70的睁眼度的测定失败时(S8中的“是”),除睁眼度外的其他驾驶状态全部正常(S10中的“是”)、且行驶状态也正常的情况下(S12中的“是”),警报判定部72使驾驶状态测定部70重新执行睁眼度的测定(S14)。
在使驾驶状态测定部70重新执行睁眼度的测定的情况下,在驾驶状态测定部70的睁眼度测定成功的情况下(S8中的“否”),在除睁眼度外的其他驾驶状态中的至少1个异常的情况下(S10中的“否”),或在行驶状态异常的情况下(S12中的“否”),本流程图中的处理会结束。
<实施方式的车辆用监视装置1所起到的效果>
如以上说明的那样,根据实施方式的车辆用监视装置1,能够抑制与驾驶状态有关的误判定。
以上,用实施方式对本发明进行了说明,但本发明的保护范围不被限定于上述实施方式所记载的范围,能够在其主旨的范围内进行各种变形及变更。例如,装置的分散、整合的具体实施方式不限于以上实施方式,针对其全部或一部分,能够构成为以任意单位功能性或物理性地进行分散、整合。此外,由多个实施方式的任意组合产生的新的实施方式也被包含在本发明的实施方式中。由组合产生的新的实施方式的效果兼具原实施方式的效果。
<变形例>
在上述内容中,作为可稳定地观测的第1种观测数据的例子,对车辆V行驶中的车道中的车道内的位置的变动量、车辆V的车速的变动量、转向角的变动量、横摆率的变动量、以及车间距离的变动量等进行了说明。更具体而言,针对以下情况进行了说明:将各第1种观测数据是否被包含在针对每个第1种观测数据确定的正常判定基准范围内作为用于判定行驶状态是否正常的1个判定基准。
在此,也能够作为可间歇性地观测到的第2种观测数据来采用车辆V的车速的变动量、转向角的变动量、横摆率的变动量、以及车间距离的变动量等。在该情况下,在针对每个第1种观测数据确定的正常判定基准范围之外,另行设置用于捕捉比正常判定基准范围更大的变动的间歇现象观测用基准范围。例如,在车辆V的驾驶员D为了超车而变更车道或使车速上升时,会在车辆V的车速、转向角、横摆率及车间距离上观测到较大的变动。在这种情况下,因为认为驾驶员D正常驾驶车辆V,所以能够作为用于判定行驶状态是否正常的判定材料来采用。
本申请基于2018年9月20日申请的日本国专利申请(特愿2018-176320),并将其内容作为参照援引于此。
工业可利用性
本公开的车辆用监视装置能够抑制与驾驶状态有关的误判定,结果,在也能够抑制基于误判定的警报的通知这样的点上是有用的。
附图标记说明
1···车辆用监视装置
2···摄像部
3···车载传感器
4···GPS接收部
5···警报装置
6···存储部
7···控制部
70···驾驶状态测定部
700···面部检测部
701···眼睛检测部
702···面部朝向角度检测部
703···面部位置检测部
704···睁眼度测定部
705···视线检测部
71···行驶状态判定部
710···数据观测部
711···状态判定部
72···警报判定部
73···坐标检测部
74···日照方向取得部
V···车辆
Claims (4)
1.一种车辆用监视装置,包括:
摄像部,其对车辆的驾驶员进行拍摄,
驾驶状态测定部,其对所述摄像部所拍摄到的图像进行分析,并对包含所述驾驶员的睁眼度的多个驾驶状态进行测定,
行驶状态判定部,其对所述车辆的行驶状态进行判定,以及
警报判定部,其基于所述驾驶状态和所述行驶状态来判定是否使警报装置动作;
在所述驾驶状态测定部对所述睁眼度的测定失败时,在判定为除所述睁眼度外的其他驾驶状态正常且所述行驶状态也正常的情况下,所述警报判定部使所述驾驶状态测定部重新执行睁眼度的测定,
在从所述驾驶状态测定部开始所述睁眼度的检测的初始化处理起,即使经过预定的睁眼度测定待机时间,也未从所述驾驶状态测定部接收到表示所述睁眼度的检测的初始化处理结束的信号的情况下,所述警报判定部判定为所述驾驶状态测定部对所述睁眼度的测定失败。
2.如权利要求1所述的车辆用监视装置,其中,
所述行驶状态判定部包括:
数据观测部,其对第1种观测数据和第2种观测数据进行观测,该第1种观测数据为基于被搭载于所述车辆的车载传感器而稳定地观测到的多个观测数据,该第2种观测数据为以所述驾驶员对被搭载于所述车辆的操作部进行操作为契机而观测到的多个观测数据,以及
状态判定部,其基于各第1种观测数据是否被包含在针对每个所述第1种观测数据确定的正常判定基准范围内、以及是否观测到所述第2种观测数据,来判定所述行驶状态是否正常。
3.如权利要求1所述的车辆用监视装置,其中,
在未接收到表示所述睁眼度的检测的初始化结束的信号时,即使从所述驾驶状态测定部取得的所述驾驶员的暂定的睁眼度满足使所述警报装置动作的条件的情况下,在判定为除所述睁眼度外的其他驾驶状态正常且所述行驶状态也正常时,所述警报判定部也禁止所述警报装置的动作。
4.如权利要求1所述的车辆用监视装置,还包括:
坐标检测部,其对表示所述车辆的位置的位置信息及行进方向进行检测,以及
日照方向取得部,其参照日照方向数据库来取得日照方向,该日照方向数据库将日期和时间、位置信息及日照方向对应起来进行存储;
在所述驾驶状态测定部对所述睁眼度的测定失败的情况下,所述警报判定部以判定为除所述睁眼度外的其他驾驶状态正常、所述行驶状态也正常、且所述车辆的行进方向与所述车辆的位置处的所述日照方向满足预定的关系为条件,使所述驾驶状态测定部重新执行睁眼度的检测处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-176320 | 2018-09-20 | ||
JP2018176320A JP7180227B2 (ja) | 2018-09-20 | 2018-09-20 | 車両用監視装置 |
PCT/JP2019/036769 WO2020059800A1 (ja) | 2018-09-20 | 2019-09-19 | 車両用監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112740300A CN112740300A (zh) | 2021-04-30 |
CN112740300B true CN112740300B (zh) | 2023-07-07 |
Family
ID=69888449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980061705.5A Active CN112740300B (zh) | 2018-09-20 | 2019-09-19 | 车辆用监视装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11403858B2 (zh) |
JP (1) | JP7180227B2 (zh) |
CN (1) | CN112740300B (zh) |
DE (1) | DE112019004707T5 (zh) |
WO (1) | WO2020059800A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305190A (ja) * | 2007-06-07 | 2008-12-18 | Aruze Corp | 居眠り警告装置及び自動車 |
JP2009289136A (ja) * | 2008-05-30 | 2009-12-10 | Toyota Motor Corp | 警報制御装置 |
JP2010067137A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Central R&D Labs Inc | 開閉眼判定装置および開眼度推定装置 |
JP2011205350A (ja) * | 2010-03-25 | 2011-10-13 | Sanyo Electric Co Ltd | 端末装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06262958A (ja) * | 1993-03-15 | 1994-09-20 | Aisin Seiki Co Ltd | 開口を開閉する運動体の閉じ検出装置 |
JP3063504B2 (ja) * | 1993-12-22 | 2000-07-12 | 日産自動車株式会社 | 画像データの特徴量検出装置 |
JP3383594B2 (ja) | 1998-09-29 | 2003-03-04 | 沖電気工業株式会社 | 眼の開度測定装置 |
JP3852294B2 (ja) * | 2001-03-22 | 2006-11-29 | 日産自動車株式会社 | 居眠り検出装置 |
JP2004192345A (ja) * | 2002-12-11 | 2004-07-08 | Nissan Motor Co Ltd | 運転者状態検出装置 |
JP4622439B2 (ja) * | 2004-10-13 | 2011-02-02 | 日産自動車株式会社 | 覚醒度判定装置 |
JP2008059056A (ja) * | 2006-08-29 | 2008-03-13 | Hino Motors Ltd | 覚醒度検出装置 |
JP4967559B2 (ja) | 2006-09-19 | 2012-07-04 | 株式会社豊田中央研究所 | 居眠り運転防止装置及びプログラム |
JP4655035B2 (ja) * | 2006-12-27 | 2011-03-23 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
CN101375796B (zh) | 2008-09-18 | 2010-06-02 | 浙江工业大学 | 疲劳驾驶实时检测系统 |
JP2011043961A (ja) * | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
JP6024231B2 (ja) * | 2012-06-18 | 2016-11-09 | アイシン精機株式会社 | 状態判定装置、運転支援システム、状態判定方法及びプログラム |
KR101386823B1 (ko) * | 2013-10-29 | 2014-04-17 | 김재철 | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 |
CN105701445A (zh) | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
JP2016115117A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 判定装置および判定方法 |
DE102015204247A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines Müdigkeits- und/oder Schlafzustandes eines Fahrers eines Fahrzeugs |
JP2017076180A (ja) * | 2015-10-13 | 2017-04-20 | いすゞ自動車株式会社 | 状態判定装置 |
JP6730096B2 (ja) * | 2016-06-02 | 2020-07-29 | 株式会社Subaru | 乗員状態監視装置 |
JP2018176320A (ja) | 2017-04-07 | 2018-11-15 | 株式会社ディスコ | 加工装置 |
JP2019086813A (ja) * | 2017-11-01 | 2019-06-06 | 株式会社デンソー | 漫然運転抑制システム |
-
2018
- 2018-09-20 JP JP2018176320A patent/JP7180227B2/ja active Active
-
2019
- 2019-09-19 WO PCT/JP2019/036769 patent/WO2020059800A1/ja active Application Filing
- 2019-09-19 US US17/278,098 patent/US11403858B2/en active Active
- 2019-09-19 DE DE112019004707.8T patent/DE112019004707T5/de active Pending
- 2019-09-19 CN CN201980061705.5A patent/CN112740300B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305190A (ja) * | 2007-06-07 | 2008-12-18 | Aruze Corp | 居眠り警告装置及び自動車 |
JP2009289136A (ja) * | 2008-05-30 | 2009-12-10 | Toyota Motor Corp | 警報制御装置 |
JP2010067137A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Central R&D Labs Inc | 開閉眼判定装置および開眼度推定装置 |
JP2011205350A (ja) * | 2010-03-25 | 2011-10-13 | Sanyo Electric Co Ltd | 端末装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112740300A (zh) | 2021-04-30 |
JP7180227B2 (ja) | 2022-11-30 |
US11403858B2 (en) | 2022-08-02 |
JP2020047085A (ja) | 2020-03-26 |
US20210350156A1 (en) | 2021-11-11 |
DE112019004707T5 (de) | 2021-07-15 |
WO2020059800A1 (ja) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112740301B (zh) | 车辆用监视装置 | |
CN107856671B (zh) | 一种通过行车记录仪进行路况识别的方法和系统 | |
EP3825981B1 (en) | Warning apparatus and driving tendency analysis device | |
EP3316231B1 (en) | Alert generation correlating between head mounted imaging data and external device | |
US9123247B2 (en) | Surrounding area monitoring apparatus for vehicle | |
JP4962581B2 (ja) | 区画線検出装置 | |
US20200198645A1 (en) | System and method for analysis of driver behavior | |
US20170220875A1 (en) | System and method for determining a visibility state | |
US10586348B2 (en) | Distance measurement device and image capturing control device | |
US20210097865A1 (en) | Warning method and system for vehicle deviation, vehicle, and storage medium | |
CN112740302B (zh) | 车辆用监视装置 | |
JP6521490B2 (ja) | 運転者状態判定装置 | |
US20210240991A1 (en) | Information processing method, information processing device, non-transitory computer-readable recording medium recording information processing program, and information processing system | |
JP2009243963A (ja) | 物体検出装置 | |
CN112740300B (zh) | 车辆用监视装置 | |
WO2020059845A1 (ja) | 車両用監視装置 | |
JP2018045450A (ja) | 車両制御装置 | |
JP7059566B2 (ja) | 車両用警報装置 | |
KR102518537B1 (ko) | 운전자 지원 장치 및 그의 차선 정보 제공 방법 | |
JP7294323B2 (ja) | 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム | |
JP5074178B2 (ja) | 運転者支援装置 | |
JP2007010496A (ja) | 車両停止検出装置、カーナビゲーション装置 | |
US20220136859A1 (en) | Apparatus and method for updating map | |
US20240199046A1 (en) | Safe driving determination apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |