CN112052716B - 识别装置、识别方法及存储介质 - Google Patents

识别装置、识别方法及存储介质 Download PDF

Info

Publication number
CN112052716B
CN112052716B CN202010492306.9A CN202010492306A CN112052716B CN 112052716 B CN112052716 B CN 112052716B CN 202010492306 A CN202010492306 A CN 202010492306A CN 112052716 B CN112052716 B CN 112052716B
Authority
CN
China
Prior art keywords
driver
object target
identification
visual field
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010492306.9A
Other languages
English (en)
Other versions
CN112052716A (zh
Inventor
丸山雅纪
樋口实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN112052716A publication Critical patent/CN112052716A/zh
Application granted granted Critical
Publication of CN112052716B publication Critical patent/CN112052716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供能够以低负荷判定驾驶员是否识别着移动体的行进方向上的物体目标的识别装置、识别方法及存储介质。识别装置具备：视野识别部，其参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离视点而以规定角度扩展的范围，来作为视野范围；物体目标区域设定部，其基于由配置于移动体的视觉传感器对移动体的周围进行拍摄得到的图像数据，来识别映入图像数据内的在移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的物体目标的区域；以及驾驶员识别判定部，其在物体目标的区域中设定多个判定点，并基于多个判定点与视野范围之间的重叠程度，来判定驾驶员是否识别着物体目标。

Description

识别装置、识别方法及存储介质
技术领域
本发明涉及识别装置、识别方法及存储介质。
背景技术
以往，公开了与如下行驶支援系统相关的技术，在该行驶支援系统中，根据由驾驶员相机拍摄到的拍摄图像来检测出驾驶员的视线位置、视线圆及视野区域，根据由前相机拍摄到的拍摄图像来检测出处于车辆的行进方向前方的特征物，基于特征物与视线圆之间的重叠形态，来确定驾驶员对特征物的视觉辨识形态，并基于所确定的视觉辨识形态来进行与特征物相关的引导(例如，参照日本国特开2014-120114号公报)。
在以往的技术中，用于求出特征物的区域与驾驶员的视线圆的区域之间的重叠程度的处理的负荷高。
发明内容
本发明是基于上述的课题认识而完成的，其目的在于提供能够以低负荷判定驾驶员是否识别着移动体的行进方向上的物体目标的识别装置、识别方法及存储介质。
本发明的识别装置、识别方法及存储介质采用了以下的结构。
(1)：本发明的一方案的识别装置具备：视野识别部，其参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；物体目标区域设定部，其基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；以及驾驶员识别判定部，其在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标。
(2)：在上述(1)的方案的基础上，所述多个判定点至少包括所述物体目标的区域的中心点、以及所述视线方向上的直线或点与所述物体目标的区域之间的最接近点及最远离点。
(3)：在上述(2)的方案的基础上，所述规定形状为以所述物体目标为中心的长方体形状。
(4)：在上述(3)的方案的基础上，所述驾驶员识别判定部将所述视野范围投影到所述图像数据所表示的图像平面上，并基于投影出的所述视野范围与所述多个判定点之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标。
(5)：在上述(4)的方案的基础上，所述驾驶员识别判定部基于所述物体目标的属性，来变更成为判定为所述驾驶员识别着所述物体目标时的基准的、位于所述视野范围内的所述判定点的数量。
(6)：在上述(5)的方案的基础上，所述驾驶员识别判定部在成为所述基准的数量的所述判定点超过规定时间位于所述视野范围内的情况下，判定为所述驾驶员识别着包含该判定点的所述物体目标的状态。
(7)：在上述(6)的方案的基础上，所述规定时间是对成为所述基准的数量的所述判定点在规定期间内位于所述视野范围内的多个时间进行累计得到的时间。
(8)：在上述(6)或(7)的方案的基础上，所述驾驶员识别判定部基于所述物体目标的属性来变更所述规定时间。
(9)：在上述(8)的方案的基础上，所述驾驶员识别判定部根据所述判定点位于所述视野范围内的时间的长度，来判定是所述驾驶员部分地识别着所述物体目标的状态，还是所述驾驶员识别着所述物体目标的状态，所述驾驶员识别判定部使报告装置以第一形态报告判定为所述驾驶员未识别着的所述物体目标的存在，所述驾驶员识别判定部使所述报告装置以第二形态报告判定为由所述驾驶员进行的识别是所述部分地识别着的状态的所述物体目标的存在。
(10)：在上述(9)的方案的基础上，所述驾驶员识别判定部在所述驾驶员对报告了存在的所述物体目标进行的识别成为了所述识别着的状态的情况下，使所述报告装置结束与该所述物体目标相关的报告。
(11)：在上述(1)至(10)中任一方案的基础上，所述驾驶员识别判定部赋予所述驾驶员对各个所述物体目标进行识别的识别状态，在所述赋予的识别状态记录规定时间并且在所述视野范围存在多个所述物体目标的情况下，所述驾驶员识别判定部判定为被赋予了所述识别状态的所述物体目标是识别中的对象。
(12)：本发明的一方案的识别方法使计算机进行如下处理：参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；以及在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标。
(13)：本发明的一方案的存储介质存储有程序，所述程序使计算机进行如下处理：参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；以及在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标。
发明效果
根据上述的(1)～(13)的方案，能够以低负荷来判定驾驶员是否识别着移动体的行进方向上的物体目标。
附图说明
图1是具备实施方式的识别装置的识别系统的简要结构图。
图2是表示视线检测装置的一例的图。
图3是表示视线检测装置检测的视线的方向与驾驶员识别判定部所投影的视野范围之间的关系的一例的图。
图4是表示驾驶员识别判定部判定驾驶员对物体目标的识别状态的方法的一例的图。
图5是表示驾驶员识别判定部判定驾驶员对物体目标的识别状态的具体例的图。
图6是表示驾驶员识别判定部判定驾驶员对物体目标的识别状态的另一具体例的图。
图7是表示驾驶员识别判定部判定驾驶员对物体目标的识别状态的更具体的一例的图。
图8是表示由识别装置执行的处理的流程的一例的流程图。
图9是表示驾驶员识别判定部判定驾驶员识别着的物体目标的一例的第一场景的图。
图10是表示驾驶员识别判定部判定驾驶员识别着的物体目标的一例的第二场景的图。
具体实施方式
以下，参照附图来说明本发明的识别装置、识别方法及存储介质的实施方式。在以下的说明中，说明包含本发明的识别装置的识别系统的一例。以下说明适用左侧通行的法规的情况，但在适用右侧通行的法规的情况下，左右对调阅读即可。
[识别系统1的整体结构例]
图1是具备实施方式的识别装置的识别系统1的简要结构图。搭载识别系统1的车辆例如是四轮的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
识别系统1例如具备视觉传感器100、视线检测装置200、识别装置300及报告装置400。
视觉传感器100例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等固体摄像元件的数码相机。视觉传感器100安装于搭载识别系统1的车辆(以下称作本车辆M)的任意部位。在对前方进行拍摄的情况下，视觉传感器100安装于前风窗玻璃上部、车室内后视镜背面等。视觉传感器100例如周期性地反复对本车辆M的周围进行拍摄。视觉传感器100将对本车辆M的周围进行拍摄而得到的图像的图像数据向识别装置300输出。
视觉传感器100也可以不拍摄平面图像而拍摄包括距离在内的三维图像。例如，视觉传感器100也可以是立体相机。例如，视觉传感器100也可以是LIDAR(Light Detectionand Ranging)。在是LIDAR的情况下，视觉传感器100向本车辆M的周围照射光，并测定散射光。视觉传感器100基于从发光到受光的时间，来检测出到对象为止的距离。照射的光例如是脉冲状的激光。视觉传感器100在是将本车辆M的周围拍摄为三维空间的结构的情况下，也可以将包含如下距离信息的图像数据向识别装置300输出，所述距离信息是指所拍摄的图像所包含的与各个拍照的对象(其他车辆、行人、自行车、固定物等)之间的距离的信息。在以下的说明中，设为视觉传感器100拍摄平面图像，并将图像数据向识别装置300输出。
视线检测装置200例如包括利用了CCD、CMOS等固体摄像元件和LED(lightemitting diode：发光二极管)的视线计测(检测)相机。视线检测装置200在搭载识别系统1的本车辆M的车室内，安装于能够检测在本车辆M的驾驶员座就座着的驾驶员的视线的方向的任意部位。视线检测装置200包括图像解析装置，例如利用对于在人的眼睛的角膜的部分与其周围的部分(所谓的强膜的部分)处相对于从一定方向照射的光而言的歪曲存在差别这一情况，来检测驾驶员的视线的方向。更具体而言，视线检测装置200例如使LED向驾驶员的眼睛的方向照射近红外光，并检测出在所拍摄的驾驶员的眼睛的区域中照射到的近红外光的像歪曲着的部分，由此来检测驾驶员的视线的方向。视线检测装置200将表示检测到的驾驶员的视线的方向的信息(以下称作视线信息)作为检测结果向识别装置300输出。
[视线检测装置200的一例]
在此，说明构成识别系统1的视线检测装置200的一例。图2是表示视线检测装置200的一例的图。图2所示的视线检测装置200具备两个视线检测部210。图2中示出了将两个视线检测部210分别配置于本车辆M的车室内的一例。
在本车辆M的车室内例如存在设置有转向盘SW的驾驶员座DS、以及相对于驾驶员座DS在车宽方向(图中Y方向)上设置的副驾驶员座AS。在本车辆M的车室中，在前方的窗框存在前窗玻璃10，在驾驶员座车门的窗框存在侧窗玻璃11R，在副驾驶员座车门的窗框存在侧窗玻璃11L。在驾驶员座DS就座着的驾驶员能够透过前窗玻璃10、侧窗玻璃11R及侧窗玻璃11L，来识别本车辆M的车外的前方及侧方的状况。在本车辆M的车室中，在前方的上部存在车室内后视镜12，在驾驶员座车门的前方的车外存在侧部后视镜13R，在副驾驶员座车门的前方车外存在侧部后视镜13L。在驾驶员座DS就座着的驾驶员能够借助车室内后视镜12、侧部后视镜13R及侧部后视镜13L，来识别车外的后方的状况。
在图2所示的本车辆M的车室内，视线检测装置200所具备的第一视线检测部210-1和第二视线检测部210-2分别配置于在车宽方向上夹着驾驶员的不同的位置。更具体而言，第一视线检测部210-1配置于在前窗玻璃10的右侧与侧窗玻璃11R的前方之间的右侧的前柱(所谓的A柱)AR。第二视线检测部210-2配置于在驾驶员座DS与副驾驶员座AS之间的前围板设置的、例如导航装置的显示器DP的上部。由此，视线检测装置200不论在驾驶员座DS就座着的驾驶员的面部的朝向如何，都能够检测驾驶员的视线的方向。例如，视线检测装置200在设想驾驶员的面部的朝向改变的从侧部后视镜13R到侧部后视镜13L的区间，能够至少由任意的视线检测部210来检测驾驶员的视线的方向。
图2所示的第一视线检测部210-1和第二视线检测部210-2各自的配置只不过是一例，配置各个视线检测部210的位置也可以根据本车辆M的车室内的结构来适当变更。例如，在本车辆M在前窗玻璃10与侧窗玻璃11R之间、在前窗玻璃10与侧窗玻璃11L之间设置有角窗玻璃的情况下，第一视线检测部210-1也可以配置于在前窗玻璃10与侧窗玻璃11R之间的右侧的角窗玻璃之间的前柱。关于用于分别配置第一视线检测部210-1和第二视线检测部210-2的结构，并不限定于埋入车室内的构造物的方法，只要是驾驶员能够识别本车辆M的车外的状况、即在观察车外的情形时不会被妨碍的结构即可，也可以是任何的结构。例如，第一视线检测部210-1也可以是在从前柱AR向驾驶员的方向延伸的支承构件的驾驶员侧的端部安装的结构。
返回图1，识别装置300基于由视觉传感器100输出的图像数据和由视线检测装置200输出的视线信息，来判定驾驶员是否识别着在本车辆M的周围存在的物体目标。识别装置300对报告装置400进行指示而向包括驾驶员在内的乘员报告判定为驾驶员未识别着的物体目标、或者判定为识别程度低的物体目标所存在的方向。
识别装置300例如具备物体目标区域设定部310、视野识别部330及驾驶员识别判定部350。这些构成要素例如具备CPU(Central Processing Unit)等硬件处理器、存储有程序(软件)的存储装置(具备非暂时性的存储介质的存储装置)，并通过处理器执行程序来实现各个构成要素的功能。识别装置300所具备的构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)等来实现，还可以通过软件与硬件的协同配合来实现各个构成要素的功能。识别装置300所具备的构成要素中的一部分或全部也可以由专用的LSI来实现各个构成要素的功能。在此，程序(软件)可以预先保存于ROM(Read Only Memory)、RAM(Random AccessMemory)、HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置来向存储装置安装。程序(软件)也可以通过近距离通信或广域通信从其他计算机装置预先下载，并安装于存储装置。
物体目标区域设定部310识别在由视觉传感器100输出的图像数据内映入的物体目标，并设定将识别出的物体目标的区域以规定的形状表示的物体目标区域。在此，作为物体目标区域设定部310根据图像数据识别的物体目标，例如存在在本车辆M周围存在的其他车辆、行人、自行车、静止物等。其他车辆包括在相同的行驶车道或相邻的行驶车道上行驶着的其他车辆、在相向车道上行驶的相向车辆。静止物包括信号机、驻车车辆等。物体目标区域设定部310设定以所识别的各个物体目标为中心而将该物体目标的周围用长方体形状包围(也可以部分地进入物体目标的内部)的物体目标区域。例如，物体目标区域设定部310提取所识别的物体目标的特征点，并将包含所提取的各个特征点在内的、充分小的长方体形状设定为物体目标区域。物体目标区域设定部310根据识别的物体目标被映入图像数据内的角度的不同，也可以对该物体目标不设定长方体形状的物体目标区域而设定矩形形状的物体目标区域。这样的物体目标的特征点的提取、物体目标区域的设定例如能够使用在现有的图像处理的技术中生成边界框(bounding box)的处理来进行。因此，也可以将物体目标区域设定部310所设定的物体目标区域称作边界框。
物体目标区域设定部310将由视觉传感器100输出的图像数据和表示所设定的物体目标区域的信息向驾驶员识别判定部350输出。表示物体目标区域设定部310向驾驶员识别判定部350输出的物体目标区域的信息中包括与物体目标区域设定部310识别到的物体目标的属性相关的信息。物体目标区域设定部310具有判定识别到的物体目标的属性的属性判定功能。在此，所谓属性，表示物体目标区域设定部310识别到的物体目标是高速移动的其他车辆等移动体、还是低速移动的行人、自行车等移动体、亦或是在道路上设置的信号机等不移动的固定物、亦或是在行驶路径上存在的驻车车辆等虽然是移动物但当前是静止着的静止物。
视野识别部330参照由视线检测装置200输出的视线信息，来识别在驾驶员的视线的方向上扩展的视野的范围(视野范围)。例如，视野识别部330识别以驾驶员的视点为顶点并沿视线的方向延伸、且随着远离视点而以规定角度扩展的范围，来作为视野范围。视野识别部330将由视线检测装置200输出的视线信息和表示识别到的视野范围的信息向驾驶员识别判定部350输出。
驾驶员识别判定部350基于由物体目标区域设定部310输出的图像数据及物体目标区域的信息和由视野识别部330输出的视线信息及视野范围的信息，来判定相对于在本车辆M的周围存在的物体目标而驾驶员是否识别着物体目标(以下称作识别状态)。例如，驾驶员识别判定部350在由物体目标区域设定部310输出的图像数据、即在视觉传感器100所拍摄到的图像空间内判定驾驶员的识别状态。因此，首先，驾驶员识别判定部350将由物体目标区域设定部310输出的图像数据、即视觉传感器100拍摄到的图像的图像数据向假想的屏幕投影。作为供驾驶员识别判定部350投影图像数据的假想的屏幕，例如考虑与前窗玻璃相当的屏幕。在以下的说明中，供驾驶员识别判定部350投影图像数据的屏幕设为沿前窗玻璃的面假想存在。
然后，驾驶员识别判定部350向假想地投影出的图像数据所表示的图像平面上，投影出物体目标区域设定部310所设定出的物体目标区域。并且，驾驶员识别判定部350向投影出物体目标区域的相同的图像平面上，投影出由视野识别部330输出的驾驶员的视野范围。在向投影出物体目标区域的相同的图像平面上投影出驾驶员的视野范围时，以向图像数据内映入了的物体目标的在三维空间内的位置与在图像平面上的驾驶员DR的视线的位置相匹配的方式进行投影。该物体目标的在三维空间内的位置与在图像平面上的驾驶员DR的视线的位置之间的匹配也可以在驾驶员识别判定部350投影出图像数据、物体目标区域及视野范围时进行，还可以是驾驶员识别判定部350预先向根据在本车辆M中安装有视觉传感器100的位置与安装有视线检测装置200的位置之差(例如，角度之差)而预先设定出的位置进行投影。也可以是，以使视觉传感器100与视线检测装置200各自的检测位置为相同的位置的方式，来决定在本车辆M安装视觉传感器100的位置和安装视线检测装置200的位置。
之后，驾驶员识别判定部350将由视野识别部330输出的表示驾驶员的视线的方向的直线或视野范围的中心点作为驾驶员的注视点，并基于该注视点与物体目标区域之间的位置关系，来对物体目标区域设定多个判定点。在此，驾驶员识别判定部350设定的判定点中至少包括物体目标区域的中心点、表示驾驶员的视线的方向的直线或注视点与物体目标区域之间的最接近点及最远离点。
驾驶员识别判定部350基于设定出的各个判定点与视野范围的重叠程度，来判定驾驶员对物体目标区域设定部310识别出的在本车辆M的周围存在的各个物体目标的识别状态。此时，驾驶员识别判定部350也可以基于物体目标区域设定部310识别到的各个物体目标的属性，来变更成为在判定驾驶员对各个物体目标识别的识别状态时的基准的、判定点与视野范围之间的重叠程度。例如，驾驶员识别判定部350也可以基于物体目标区域的属性，来变更成为判定为驾驶员识别着物体目标时的基准的、位于视野范围内的判定点的数量。
驾驶员识别判定部350根据各个判定点与视野范围重叠的时间的长度，来判定驾驶员对各个物体目标的识别状态。例如，驾驶员识别判定部350在各个判定点与视野范围重叠的时间为第一规定时间以下的情况下，判定为驾驶员是未将该物体目标作为在继续本车辆M的行驶时可能成为风险的物体目标而识别着的状态(以下称作未识别状态)。例如，驾驶员识别判定部350在各个判定点与视野范围重叠的时间超过第一规定时间但为第二规定时间以下的情况下，判定为该物体目标进入了驾驶员的视野、但驾驶员是未将该物体目标作为在继续本车辆M的行驶时可能成为风险的物体目标而充分地识别着(识别程度低)的状态(以下，称作部分的识别状态)。例如，驾驶员识别判定部350在各个判定点与视野范围重叠的时间超过第二规定时间的情况下，判定为该物体目标进入驾驶员的视野并且驾驶员是将该物体目标作为在继续本车辆M的行驶时可能成为风险的物体目标而充分识别着的状态(以下，称作充分的识别状态)。此时，驾驶员识别判定部350也可以基于物体目标区域设定部310识别到的各个物体目标的属性，来变更成为在判定驾驶员对各个物体目标的识别状态时的基准的、判定点与视野范围重叠的时间，例如第一规定时间、第二规定时间。
驾驶员识别判定部350也可以根据将在规定期间内各个判定点与视野范围重叠的多个时间进行累计(累积)而得到的时间的长度，来判定驾驶员对各个物体目标的识别状态。这是因为，驾驶员在驾驶本车辆M时，并非一直朝向相同的方向而是向各种的方向改变视线的朝向。而且是因为，在规定的短的期间以内物体目标多次进入了驾驶员的视野的情况下，也能够判定为由驾驶员识别的识别状态为充分的识别状态的物体目标。
驾驶员识别判定部350基于判定出的驾驶员相对于各个物体目标的识别状态，使报告装置400报告未识别状态或部分的识别状态的物体目标(即，驾驶员未将物体目标作为在继续本车辆M的行驶时可能成为风险的物体目标而识别着的或识别程度低的物体目标)所存在的方向。此时，驾驶员识别判定部350向报告装置400输出用于报告物体目标的存在的报告指示。驾驶员识别判定部350向报告装置400输出的报告指示包括向驾驶员报告的物体目标所存在的方向的信息。
报告装置400例如包括在本车辆M的车室内的互不相同的位置配设的多个扬声器(声音输出部)。报告装置400按照来自驾驶员识别判定部350的报告指示，使多个扬声器中的一部分或全部输出声音。此时，报告装置400进行让用于报告的声像定位于来自驾驶员识别判定部350的报告指示所包含的向驾驶员报告的物体目标所存在的方向的信息所表示的方向的控制。使声像定位的控制例如是指通过调节向驾驶员的左右耳传递的声音的大小，来定出驾驶员感到的声源的空间上的位置。在本发明中，关于控制使声像定位的空间上的位置的方法、结构不特别地规定。因此，声像所定位的位置基于声源原本具有的声音特性、本车辆M的车室内环境的信息、头部传递函数(HRTF；Head-related transfer function)来定出，因此报告装置400也可以以通过预先利用感官试验等得到的最佳的输出分配来控制各个扬声器，从而使声像定位于规定的位置。由此，驾驶员能够知晓在本车辆M继续行驶时需要作为风险进行识别的、未识别状态或部分的识别状态的物体目标所存在的方向。
报告装置400例如也可以包括使图像、信息显示在本车辆M的前窗玻璃的面内的显示装置(所谓的平视显示器装置)。由此，驾驶员能够在视觉上知晓在本车辆M继续行驶时需要作为风险进行识别的物体目标的存在。
这样，在识别系统1中，基于视觉传感器100拍摄到的物体目标和由视线检测装置200检测出的驾驶员的视线的方向，来判定驾驶员对在本车辆M的周围存在的物体目标识别的识别状态，并向驾驶员报告在继续本车辆M的行驶时可能成为风险的物体目标的存在。由此，在搭载识别系统1的本车辆M中，驾驶员能够事先进行本车辆M应对被报告的物体目标的操作(驾驶)、相应准备，能够更安全地继续行驶。
[视野范围的一例]
接着，说明在识别系统1中视线检测装置200检测的视线的方向与识别装置300中的视野范围之间的关系。图3是表示视线检测装置200检测的视线的方向与驾驶员识别判定部350投影的视野范围之间的关系的一例的图。图3中示意性地示出本车辆M的前方的前窗玻璃10、侧窗玻璃11R及侧窗玻璃11L，并示出了在本车辆M的驾驶员DR观察着前方的情况下，视线检测装置200检测到的驾驶员DR的视线的方向与驾驶员识别判定部350在图像平面上投影出的由视野识别部330识别到的视野范围之间的关系。在图3中，为了使说明容易，省略前柱AR及前窗玻璃10的左侧与侧窗玻璃11L的前方之间的左侧的前柱(A柱)AL的图示。图3中也将物体目标区域设定部310作为物体目标识别并设定出的物体目标区域的一例一起示出。
驾驶员DR的视野范围VR处于如下圆锥状的视线束范围GR的范围内，该圆锥状的视线束范围GR以驾驶员DR的视点VP为顶点沿着表示驾驶员DR的视线的视线矢量GV的方向(进深方向)延伸，并随着远离视点VP而以规定角度(顶角AA)扩展。在识别装置300中视野范围VR是在视线束范围GR的范围内以在视线矢量GV上驾驶员DR注视着的注视点AP的位置为中心的椭圆形的范围。这是因为，假定为即使在识别装置300(更具体而言，驾驶员识别判定部350)沿前窗玻璃10的面假想地投影出由物体目标区域设定部310输出的图像数据的情况下，驾驶员DR也观察着本车辆M的前方的路面、即驾驶员DR的注视点AP存在于路面上。换言之，是因为，将即使沿前窗玻璃10的面投影出图像数据的情况下驾驶员DR观察着物体时的视线束相对于路面的距离也不是恒定的距离这一情况反映于沿图像平面投影的圆锥状的视线束范围GR的范围内的视野范围VR。
驾驶员识别判定部350认为在沿前窗玻璃10投影出的图像数据所表示的图像平面上注视点AP及视野范围VR移动的、例如在前窗玻璃10的面内注视点AP及视野范围VR移动，而进行判定驾驶员DR相对于各个物体目标的识别状态处理。更具体而言，驾驶员识别判定部350基于在沿前窗玻璃10投影出的图像数据所表示的图像平面上，物体目标区域设定部310识别并设定出的各个物体目标的物体目标区域BB(更具体而言，对各个物体目标区域BB设定出的各个判定点)与视野范围VR之间的重叠程度，来进行判定驾驶员DR相对于各个物体目标的识别状态的处理。在图3中驾驶员识别判定部350将设定有与视线束范围GR不重叠的物体目标区域BB3的其他车辆判定为由驾驶员DR未识别着的状态(未识别状态)。在图3中驾驶员识别判定部350将设定有与视线束范围GR重叠的物体目标区域BB1及物体目标区域BB2的各个其他车辆判定为由驾驶员DR识别着的状态。驾驶员识别判定部350关于设定有物体目标区域BB1的其他车辆和设定有物体目标区域BB2的其他车辆，也分别判定是部分的识别状态还是充分的识别状态。
[识别状态的判定方法的一例]
接着，说明在识别系统1中驾驶员识别判定部350判定驾驶员DR的物体目标的识别状态的方法。图4是表示驾驶员识别判定部350判定由驾驶员DR对物体目标识别的识别状态的方法的一例的图。图4中示出表示驾驶员DR的视线的视线矢量GV与驾驶员识别判定部350投影出的物体目标区域BB及视野范围VR之间的关系。驾驶员识别判定部350在判定驾驶员DR对物体目标识别的识别状态时，相对于投影出的物体目标区域BB，设定中心点CP、视线矢量GV或注视点AP与物体目标区域BB之间的最接近点NP、视线矢量GV或注视点AP与物体目标区域BB之间的最远离点FP这样的各个判定点。而且，驾驶员识别判定部350基于有几个判定点位于视野范围VR的范围内，来判定驾驶员DR对设定有物体目标区域BB的物体目标识别的识别状态。在图4中，示出有一个判定点(最接近点NP)位于视野范围VR的范围内的状态。
在此，说明驾驶员识别判定部350投影出的物体目标区域BB与视野范围VR之间的关系的具体的一例。图5及图6是表示驾驶员识别判定部350判定由驾驶员DR对物体目标识别的识别状态的具体例的图。在图5及图6中，为了使说明容易，示出了在视觉传感器100拍摄到的一帧图像IM的图像平面上，投影出物体目标区域设定部310设定出的物体目标区域BB、以及视野识别部330识别到的视野范围VR的情况的一例。在图5及图6中，为了使说明容易，示出了基于注视点AP而设定了各个判定点的情况的一例。
首先，使用图5，来说明判定驾驶员DR对物体目标识别的识别状态的具体例。图5例如是判定驾驶员DR对在与本车辆M行驶着的方向相同的方向上行驶着的前方的其他车辆、所谓的前行车辆识别的识别状态的情况的一例。在判定驾驶员DR的识别状态的对象是前行车辆这样的情况下，由物体目标区域设定部310设定图5所示的那样的长方体形状的物体目标区域BB。
驾驶员识别判定部350对在图像IM的图像平面上投影出的长方体形状的物体目标区域BB，设定中心点CP、最接近点NP及最远离点FP这样的各个判定点。驾驶员识别判定部350向图像IM的图像平面上投影出视野范围VR。而且，驾驶员识别判定部350判定各个判定点是否位于视野范围VR内。在图5所示的一例中驾驶员识别判定部350判定为最接近点NP和中心点CP位于视野范围VR内、即两个判定点位于视野范围VR内。而且，驾驶员识别判定部350根据判定为位于视野范围VR内的判定点的数量和位于视野范围VR内的时间的长度，来判定驾驶员DR对长方体形状的物体目标区域BB、即设定有长方体形状的物体目标区域BB的前行车辆识别的驾驶员DR的识别状态(部分的识别状态或充分的识别状态)。
接着，使用图6，来说明判定驾驶员DR对物体目标识别的识别状态的另一具体例。图6例如是判定驾驶员DR对在交叉路口等以横穿本车辆M的前方的方式行驶着的其他车辆、所谓的交叉车辆的识别状态的情况的一例。在判定驾驶员DR的识别状态的对象是交叉车辆这样的情况下，由物体目标区域设定部310设定图6所示的那样的矩形形状的物体目标区域BB。
驾驶员识别判定部350对于在图像IM的图像平面上投影出的矩形形状的物体目标区域BB，设定中心点CP、最接近点NP及最远离点FP这样的各个判定点。驾驶员识别判定部350在图像IM的图像平面上投影出视野范围VR。而且，驾驶员识别判定部350判定各个判定点是否位于视野范围VR内。在图6所示的一例中驾驶员识别判定部350判定为最接近点NP和中心点CP这两个判定点位于视野范围VR内。而且，驾驶员识别判定部350根据判定为位于视野范围VR内的判定点的数量和位于视野范围VR内的时间的长度，来判定驾驶员DR对没定有矩形形状的物体目标区域BB的交叉车辆识别的识别状态。
接着，说明驾驶员识别判定部350投影出的物体目标区域BB与视野范围VR之间的关系的更具体的一例。图7是表示驾驶员识别判定部350判定由驾驶员DR对物体目标识别的识别状态的更具体的一例的图。图7中，为了使说明容易，也示出了在视觉传感器100拍摄到的一帧图像IM的图像平面上投影出物体目标区域设定部310设定出的物体目标区域BB和视野识别部330识别出的视野范围VR的情况的一例。在图7中，为了使说明容易，也示出了基于注视点AP而设定了各个判定点的情况的一例。
图7中示出了在图像IM内映入有4个物体目标的情况。更具体而言，示出了映入有在与本车辆M行驶着的行驶车道相邻的行驶车道(左侧车道)上行驶着的其他车辆(以下称作并行车辆V1)、在相同的行驶车道上在前方行驶着的其他车辆(以下称作前行车辆V2)、在相邻的相反侧的行驶车道上行驶着的其他车辆(以下称作相向车辆V3)、以及在人行道通行着的行人H的情况。在该情况下，物体目标区域设定部310对识别到的各个物体目标设定物体目标区域BB。
驾驶员识别判定部350在图像IM的图像平面上投影出由物体目标区域设定部310设定出的各个物体目标区域BB，并对各个物体目标区域BB设定中心点CP、最接近点NP及最远离点FP这样的各个判定点。驾驶员识别判定部350在图像IM的图像平面上投影出由视野识别部330识别到的与各个物体目标对应的视野范围VR。驾驶员识别判定部350将与本车辆M同各个物体目标之间的距离相应的大小的视野范围VR向图像IM的图像平面上投影。视野范围VR处于圆锥状的视线束范围GR的范围内，因此关于视野范围VR的大小，视野范围VR位于距驾驶员DR越近的位置则越小，距驾驶员DR越远则越大。因此，在图像IM的图像平面上，越靠近下端则视野范围VR的大小越小，越靠近上端则视野范围VR的大小越大。在图7所示的一例中驾驶员识别判定部350投影出与并行车辆V1对应的视野范围VR1，投影出与前行车辆V2对应的视野范围VR2，投影出与相向车辆V3对应的视野范围VR3，并投影出与行人H对应的视野范围VR4。
而且，驾驶员识别判定部350判定对各个物体目标区域BB设定出的各个判定点是否位于视野范围VR内。在图7所示的一例中驾驶员识别判定部350判定为与前行车辆V2对应的物体目标区域BB2的中心点CP2、最接近点NP2及最远离点FP2位于视野范围VR2内，即全部的判定点位于视野范围VR2内。在图7所示的一例中驾驶员识别判定部350判定为与相向车辆V3对应的物体目标区域BB3的中心点CP3和最接近点NP3这两个判定点位于视野范围VR3内。在图7所示的一例中驾驶员识别判定部350判定为与行人H对应的物体目标区域BB4的中心点CP4、最接近点NP4及最远离点FP4即全部的判定点位于视野范围VR4内。
在图7所示的一例中驾驶员识别判定部350判定为对与并行车辆V1对应的物体目标区域BB1设定出的中心点CP1、最接近点NP1及最远离点FP1均不位于视野范围VR1内。然而，视野范围VR1全部是物体目标区域BB1。在该情况下，驾驶员识别判定部350例如判定为中心点CP1位于视野范围VR1内、即一个判定点位于视野范围VR1内的情况。在如视野范围VR1那样进行靠近驾驶员DR、即靠近本车辆M的位置的视野范围VR中的判定点的判定的情况下，驾驶员识别判定部350例如也可以设定将视野范围VR1的范围假想地扩展而得到的假想视野范围VVR1，并将位于假想视野范围VVR1内的物体目标区域BB1的判定点判定为位于视野范围VR1内的物体目标区域BB1的判定点。
而且，驾驶员识别判定部350根据判定为位于各个视野范围VR内的判定点的数量，来判定驾驶员DR对各个物体目标识别的识别状态。此时，驾驶员识别判定部350也可以基于物体目标区域设定部310识别到的各个物体目标的属性，来变更成为用于判定驾驶员DR的识别状态的基准的判定点的数量。
例如，在物体目标区域设定部310识别到的物体目标的属性为高速移动着的状态的其他车辆等移动体的情况、或者是设置于道路的信号机、驻车车辆等不移动的静止物的情况下，驾驶员识别判定部350也可以基于物体目标与驾驶员DR(即本车辆M)之间的距离，来变更成为用于判定驾驶员DR的识别状态的基准的判定点的数量。例如，驾驶员识别判定部350也可以在物体目标存在于靠近驾驶员DR(靠近本车辆M)的位置的情况下，将成为判定为驾驶员DR识别着该物体目标时的基准的位于视野范围VR内的判定点的数量设为一个。例如，驾驶员识别判定部350也可以在物体目标距驾驶员DR远(距本车辆M远)的位置存在物体目标的情况下，将成为判定为驾驶员DR识别着该物体目标时的基准的位于视野范围VR内的判定点的数量设为三个。即，驾驶员识别判定部350也可以将全部的判定点位于视野范围VR内这一情况，作为判定为驾驶员DR识别着该物体目标时的基准。而且，驾驶员识别判定部350也可以在中间附近的位置存在物体目标的情况下，将成为判定为驾驶员DR识别着该物体目标时的基准的位于视野范围VR内的判定点的数量设为两个。
由此，在图7所示的一例中驾驶员识别判定部350将仅一个判定点(例如中心点CP1)位于视野范围VR1内的并行车辆V1，判定为满足基准的物体目标。在图7所示的一例中驾驶员识别判定部350将全部(三个)判定点位于视野范围VR2内的前行车辆V2，判定为满足基准的物体目标。在图7所示的一例中驾驶员识别判定部350将在中间附近的位置存在物体目标、且两个判定点(中心点CP3和最接近点NP3)位于视野范围VR3内的相向车辆V3，判定为满足基准的物体目标。
如图7所示的一例那样，在驾驶员识别判定部350将与前行车辆V2对应的视野范围VR2在图像IM的图像平面上向视野范围VR2-2的位置投影了的情况下，物体目标区域BB2的中心点CP2与最接近点NP2仅这两个判定点位于视野范围VR2-2内。因此，驾驶员识别判定部350不将前行车辆V2判定为满足基准的物体目标。
作为图像处理的方法，例如存在将图像捕捉为点群进行处理的方法、以及将图像内的亮度差大的点识别为边缘点而通过这些点来识别物体目标的方法。在使用这样的图像处理的方法的情况下，也可以不将全部的点设为判定点，将各个物体目标中较有特征的点(例如，机动车的尾灯部、车牌、摩托车的前照灯等)、物体目标中的最远离点或者中心点等设定为代表点，并将设定出的代表点作为判定点，来进行是否为满足基准的物体目标的判定。在该情况下，也可以根据物体目标来改变代表点的位置。
例如，在物体目标区域设定部310识别到的物体目标的属性为低速移动着的状态的行人、自行车等小的移动体的情况下，驾驶员识别判定部350也可以无论物体目标与驾驶员DR(即本车辆M)之间的距离如何，都将作为判定为驾驶员DR识别着该物体目标时的基准的位于视野范围VR内的判定点的数量设为三个。即，驾驶员识别判定部350也可以将全部判定点位于视野范围VR内这一情况，作为在判定为驾驶员DR识别着该物体目标时的基准。由此，在图7所示的一例中驾驶员识别判定部350将全部(三个)判定点位于视野范围VR4内的行人H，判定为满足基准的物体目标。
而且，驾驶员识别判定部350根据成为基准的数量的判定点位于各个视野范围VR内(满足基准)的时间的长度，来判定驾驶员DR对各个物体目标识别的识别状态(未识别状态、部分的识别状态、或充分的识别状态)。换言之，驾驶员识别判定部350根据驾驶员DR的视线在物体目标的位置停留的时间的长度，来判定驾驶员DR对各个物体目标识别的识别状态。驾驶员DR的视线在物体目标的位置停留的时间的长度可以通过对成为基准的数量的判定点位于视野范围VR内(满足基准)的状态持续的时间进行计测来判定，也可以根据满足基准的状态持续跨视觉传感器100拍摄到的多少帧的量来判定。
在成为基准的数量的判定点位于视野范围VR内的时间例如是200[ms]左右的第一规定时间以下的情况下，驾驶员识别判定部350判定为驾驶员DR对该物体目标的识别状态是“未识别状态”。在作为基准的数量的判定点位于视野范围VR内的时间超过了第一规定时间但为例如600[ms]左右的第二规定时间以下的情况下，驾驶员识别判定部350判定为驾驶员DR对该物体目标的识别状态为“部分的识别状态”。在成为基准的数量的判定点位于视野范围VR内的时间超过了第二规定时间的情况下，驾驶员识别判定部350判定为驾驶员DR对该物体目标的识别状态为“充分的识别状态”。
上述的第一规定时间及第二规定时间只不过是一例，各个规定时间可以为了以多个阶段的方式判定驾驶员DR的识别状态而适当变更。驾驶员识别判定部350也可以基于物体目标区域设定部310识别到的各个物体目标的属性，来变更第一规定时间及第二规定时间的长度。例如，在物体目标区域设定部310识别到的物体目标的属性为高速移动的状态的其他车辆等移动体的情况下，驾驶员识别判定部350可以将第一规定时间、第二规定时间变更为稍长的时间。由此，驾驶员识别判定部350能够判定驾驶员DR更切实地识别着其他车辆的状态。例如，在物体目标区域设定部310识别到的物体目标的属性为低速移动着的状态的行人、自行车等移动体、设置于道路的信号机、驻车车辆等不移动的静止物的情况下，驾驶员识别判定部350可以将第一规定时间、第二规定时间变更为稍短的时间。而且，驾驶员识别判定部350也可以根据对成为基准的数量的判定点位于视野范围VR内的多个时间进行累计而得到的时间的长度，来判定驾驶员DR对行人等移动体、静止物识别的识别状态。由此，驾驶员识别判定部350能够判定驾驶员DR通过多次观察而识别着行人、自行车等移动体、信号机、驻车车辆等静止物的状态。
而且，驾驶员识别判定部350基于判定出的驾驶员DR对各个物体目标的识别状态，来向报告装置400输出用于报告驾驶员DR的识别状态为“未识别状态”、或者驾驶员DR的识别状态为“部分的识别状态(识别程度低)”的物体目标所存在的方向的报告指示，从而使报告装置400进行报告。
[识别装置300的处理一例]
接着，说明识别系统1的识别装置300的处理。图8是表示由识别装置300执行的处理的流程的一例的流程图。本流程图的处理每隔视觉传感器100拍摄一帧图像IM的规定的时间间隔反复执行。识别装置300具备的驾驶员识别判定部350判定驾驶员DR对在视觉传感器100拍摄到的图像IM的图像数据内映入的各个物体目标的识别状态。然而，在以下的说明中，为了使说明容易，设为在视觉传感器100拍摄到的图像IM中仅映入一个物体目标。例如，在图7所示的具体的一例中，设为在图像IM的图像数据内仅映入有前行车辆V2。而且，驾驶员识别判定部350判定驾驶员DR对图7所示的前行车辆V2的识别状态。
当视觉传感器100拍摄一帧图像IM时，物体目标区域设定部310取得由视觉传感器100输出的图像数据，并识别映入到取得的图像数据内的物体目标(前行车辆V2)(步骤S100)。然后，物体目标区域设定部310对识别到的物体目标(前行车辆V2)设定物体目标区域BB(物体目标区域BB2)(步骤S101)。物体目标区域设定部310将表示设定为取得的图像数据的物体目标区域BB2的信息向驾驶员识别判定部350输出。
接着，视野识别部330取得由视线检测装置200输出的视线信息，参照所取得的视线信息，来识别驾驶员DR的视野范围VR(视野范围VR2)(步骤S102)。并且，视野识别部330将所取得的视线信息和表示所识别到的视野范围VR2的信息向驾驶员识别判定部350输出。
接着，驾驶员识别判定部350将由物体目标区域设定部310输出的图像数据沿着前窗玻璃10的面假想地投影，在图像数据所表示的图像平面上分别投影出物体目标区域设定部310所设定的物体目标区域BB2和由视野识别部330输出的视野范围VR2。然后，驾驶员识别判定部350对投影出的物体目标区域BB2设定判定点(中心点CP2、最接近点NP2及最远离点FP2)(步骤S103)。
接着，驾驶员识别判定部350判定所设定的物体目标区域BB2的判定点位于视野范围VR2内的数量(步骤S104)。然后，驾驶员识别判定部350判定位于视野范围VR2内的判定点的数量是否满足投影出的前行车辆V2的位置处的判定点的数量的基准(步骤S105)。即，驾驶员识别判定部350判定前行车辆V2是否为满足基准的物体目标。
在步骤S105中判定为前行车辆V2不是满足基准的物体目标的情况下，驾驶员识别判定部350认为关于前行车辆V2而驾驶员DR的识别状态为“未识别状态”，向报告装置400输出用于以第一形态报告前行车辆V2所存在的方向的报告指示(步骤S106)。由此，报告装置400以第一形态向驾驶员DR报告前行车辆V2所存在的方向。然后，驾驶员识别判定部350结束针对视觉传感器100所拍摄到的当前的图像IM进行的本流程图的处理。
作为报告装置400中的通过第一形态进行的报告方法，例如也可以是通过多个扬声器使声像定位于前行车辆V2所存在的方向的方法。作为报告装置400中的通过第一形态进行的报告方法，例如也可以是通过平视显示器装置使前窗玻璃10显示表示前行车辆V2所存在的方向的箭头、表示前行车辆V2的位置的信息(例如物体目标区域BB)的方法。作为报告装置400中的通过第一形态进行的报告方法，也可以是将声像的定位与向前窗玻璃10的显示结合的方法。上述的通过第一形态进行的报告方法只是一例，通过第一形态进行的报告方法也可以根据报告装置400的结构而适当变更。
另一方面，在步骤S105中判定为前行车辆V2是满足基准的物体目标的情况下，驾驶员识别判定部350判定满足基准的时间是否超过了第一规定时间(例如200[ms]左右)(步骤S107)。在步骤S107中判定为满足基准的时间未超过第一规定时间的情况下，驾驶员识别判定部350使处理返回步骤S106。即，驾驶员识别判定部350认为关于前行车辆V2而驾驶员DR的识别状态为“未识别状态”，使报告装置400以第一形态向驾驶员DR进行报告。
另一方面，在步骤S107中判定为满足基准的时间超过了第一规定时间的情况下，驾驶员识别判定部350判定满足基准的时间是否超过了第二规定时间(例如600[ms]左右)(步骤S108)。在步骤S108中判定为满足基准的时间未超过第二规定时间的情况下，驾驶员识别判定部350认为关于前行车辆V2而驾驶员DR的识别状态为“部分的识别状态”，向报告装置400输出用于以第二形态报告前行车辆V2所存在的方向的报告指示(步骤S109)。由此，报告装置400以第二形态向驾驶员DR报告前行车辆V2所存在的方向。然后，驾驶员识别判定部350结束针对视觉传感器100拍摄到的当前的图像IM进行的本流程图的处理。
报告装置400中的通过第二形态进行的报告方法是与通过第一形态进行的报告方法相比报告的程度低的方法。例如，在通过第一形态进行的报告方法是将声像的定位与向前窗玻璃10的显示结合的方法的情况下，作为通过第二形态进行的报告方法，也可以是不进行声像的定位而仅进行向前窗玻璃10的显示的方法。此时，显示于前窗玻璃10的信息也可以是表示前行车辆V2所存在的方向的箭头、或者表示前行车辆V2的位置的信息中的任一方。上述的通过第二形态进行的报告方法只是一例，通过第二形态进行的报告方法也可以根据报告装置400的结构、与通过第一形态进行的报告方法之间的关系而适当变更。
另一方面，在步骤S108中判定为满足基准的时间超过了第二规定时间的情况下，驾驶员识别判定部350认为关于前行车辆V2而驾驶员DR的识别状态为“充分的识别状态”，结束针对视觉传感器100所拍摄到的当前的图像IM进行的本流程图的处理。
驾驶员识别判定部350通过这样的处理(更具体而言，步骤S104～步骤S109的处理)，判定驾驶员DR对视觉传感器100所拍摄到的当前的图像IM的图像数据所包含的全部的物体目标进行识别的识别状态。驾驶员识别判定部350将驾驶员DR对各个物体目标进行识别的识别状态的判定结果保持规定时间(例如3～5[s]程度)的期间。这是因为，在视觉传感器100所拍摄到的各个图像IM的每个图像IM的判定结果中，对进入着驾驶员DR的视野、即视野范围VR的相同的物体目标判定的判定结果经常成为“未识别状态”，通过报告装置400进行的报告会变得繁杂。通过保持驾驶员DR的识别状态的判定结果，从而以向视觉传感器100所拍摄到的图像IM的图像数据持续地映入而进入着驾驶员DR的视野的相同的物体目标成为“未识别状态”→“部分的识别状态”→“充分的识别状态”这样的方式，驾驶员DR的识别状态逐渐转移。并且，对由驾驶员DR进行的识别状态成为了“充分的识别状态”的物体目标，不再由报告装置400进行报告。例如，伴随时间的经过而行人隐藏于并行车辆的阴影而成为了不满足基准的状态，但之后从并行车辆的阴影中再次出现而成为了能够满足基准的情况下，驾驶员识别判定部350基于保持着的判定结果，能够将行人再次判定为满足基准的物体目标。由此，报告装置400不再针对行人而再次进行报告。
不过，驾驶员识别判定部350在保持着驾驶员DR的识别状态的判定结果的时间经过了规定时间之后，清除(废弃)所保持着的判定结果。然后，驾驶员识别判定部350再次判定驾驶员DR对相同的物体目标进行识别的识别状态。这是因为，例如即便是在驾驶员DR继续本车辆M的行驶时被作为存在成为风险的可能性的物体目标而充分识别到的“充分的识别状态”，在本车辆M继续行驶的期间，存在于周围的各个物体目标的状况也发生变化，因此需要惯常地对物体目标进行识别(监视变化)。
如上所述，在识别装置300中，将由视觉传感器100输出的图像数据投影到假想的屏幕，在图像平面上投影出映入到图像数据内的物体目标的物体目标区域BB、以及参照由视线检测装置200输出的视线信息而识别到的视野范围VR，来判定驾驶员DR对存在于本车辆M的周围的物体目标识别的识别状态。在识别装置300中，利用报告装置400向驾驶员DR报告在驾驶员DR继续本车辆M的行驶时存在成为风险的可能性的未识别状态或识别程度低的部分的识别状态的物体目标所存在的方向。由此，在搭载具备识别装置300的识别系统1的本车辆M中，驾驶员DR能够事先进行与所报告的物体目标对应的本车辆M的操作(驾驶)、相应的准备，能够更安全地继续行驶。
识别装置300所具备的驾驶员识别判定部350基于视觉传感器100所拍摄到的多帧的图像IM的图像数据，来判定驾驶员DR对各个物体目标识别的识别状态。因此，驾驶员识别判定部350例如虽然从与本车辆M行驶着的行驶车道相邻的行驶车道的后方超越了本车辆M的其他车辆等被新拍摄到视觉传感器100进行了拍摄的当前的图像IM中，但关于能够认为驾驶员DR已经是充分的识别状态(以下称作既已识别状态)的其他车辆，也能够避免用于使驾驶员DR识别的由报告装置400进行的报告。
[既已识别状态的判定方法的一例]
接着，说明在识别系统1中驾驶员识别判定部350进行的、针对能够认为驾驶员DR已经是充分的识别状态的物体目标的识别状态的判定方法。图9及图10是表示驾驶员识别判定部350对由驾驶员DR进行着识别的物体目标进行判定的一例的场景的图。在图9及图10中，示意性地示出了本车辆M的前方的前窗玻璃10、侧窗玻璃11R、侧窗玻璃11L、侧部后视镜13R、侧部后视镜13L、前柱AR及前柱AL，且示出了对驾驶员DR识别各个物体目标的识别状态进行着判定的状态。图9所示的场景是时间在前的第一场景，图10所示的场景是时间在后的第二场景。
在以下的说明中，视觉传感器100拍摄图9及图10所示的本车辆M的左侧的侧窗玻璃11L～右侧的侧窗玻璃11R的区间的图像、以及与侧部后视镜13L及侧部后视镜13R对应的图像。视线检测装置200检测图9及图10所示的侧部后视镜13L～侧部后视镜13R的区间的驾驶员DR的视线的方向。并且，在与本车辆M行驶着的行驶车道相邻的行驶车道(左侧车道)的后方行驶着的机动二轮车超越了本车辆M。
首先，使用图9来说明时间在前的第一场景中的驾驶员DR的识别状态。驾驶员DR是识别着并行车辆V1、前行车辆V2、相向车辆V3及行人H这样的各个物体目标的状态。在第一场景中识别各个物体目标时的物体目标区域BB与视野范围VR之间的关系所相关的再次的说明省略。在第一场景中，当驾驶员DR使视线也朝向侧部后视镜13L时，能够识别到机动二轮车C从左侧车道的后方正在向本车辆M接近。因此，驾驶员识别判定部350在第一场景的图像平面上投影出由视野识别部330识别到的朝向了侧部后视镜13L的驾驶员DR的视野范围VR5。也考虑到如下情况：物体目标区域设定部310在侧部后视镜13L的范围的图像中，机动二轮车C的区域小，因此不能设定与机动二轮车C对应的物体目标区域BB。因此，在第一场景中，示出了驾驶员识别判定部350未将与机动二轮车C对应的物体目标区域BB投影到图像平面上的情况。
接着，使用图10来说明从第一场景经过了时间之后的第二场景中的驾驶员DR的识别状态。在从第一场景转移到了第二场景的情况下，本车辆M与并行车辆V1及相向车辆V3之间的位置关系变化。与此相伴，驾驶员DR对各个物体目标的识别状态也变化。在第二场景中驾驶员DR仅对前行车辆V2继续进行识别。此时，当如第二场景那样在左侧车道上行驶着的机动二轮车要超越本车辆M时，驾驶员识别判定部350在第二场景的图像平面上分别投影出物体目标区域设定部310所新设定的物体目标区域BB6、以及视野识别部330新识别到的视野范围VR6。驾驶员识别判定部350对物体目标区域BB6设定中心点CP6、最接近点NP6及最远离点FP6这样的各个判定点。然后，驾驶员识别判定部350判定对物体目标区域BB6设定的各个判定点是否位于视野范围VR6内，来判定驾驶员DR对机动二轮车C识别的识别状态。
此时，驾驶员识别判定部350当仅从第二场景判定驾驶员DR对机动二轮车C识别的识别状态时，判定为对与机动二轮车C对应的物体目标区域BB6设定的中心点CP6位于视野范围VR6内、即一个判定点位于视野范围VR6内。物体目标区域BB6由于是存在于距驾驶员DR近(距本车辆M近)的位置的物体目标区域BB，因此即便是仅一个判定点(中心点CP6)位于视野范围VR6内的情况下，驾驶员识别判定部350也判定为满足判定点的数量的基准的物体目标。在任何判定点均不位于视野范围VR6内的情况下，驾驶员识别判定部350也可以基于与假想视野范围VVR1同样的思考方式而设定将视野范围VR6的范围假想地扩展的假想视野范围VVR6，来判定位于视野范围VR6内的物体目标区域BB6的判定点。
在此，机动二轮车C是在第二场景中由视觉传感器100新拍摄到的物体目标。因此，驾驶员识别判定部350即便在判定点的数量为基准数以上的判定点位于视野范围VR6内的情况下，也至少不将机动二轮车C判定为“充分的识别状态”。因此，驾驶员识别判定部350向报告装置400输出用于报告机动二轮车C所存在的方向的报告指示。由此，报告装置400向驾驶员DR报告机动二轮车C所存在的方向。
然而，如在第一场景中所说明那样，驾驶员DR使视线也朝向侧部后视镜13L，能够认为已经是充分识别着机动二轮车C的状态。因此，驾驶员识别判定部350回溯规定时间而判定驾驶员DR对物体目标识别的识别状态。由此，驾驶员识别判定部350也能够避免向报告装置400输出用于报告机动二轮车C所存在的方向的报告指示。由此，驾驶员识别判定部350能够避免对驾驶员DR的识别状态已经是充分的识别状态的物体目标进行不必要的报告。
驾驶员识别判定部350对驾驶员DR的识别状态回溯判定的规定时间是保持判定结果的规定时间(例如3～5[s]程度)以下的时间。这是因为，即便是在驾驶员DR继续本车辆M的行驶时作为存在成为风险的可能性的物体目标而充分地识别到机动二轮车C的“充分的识别状态”，也如上所述那样，各个物体目标的状况发生变化，因此需要惯常地对物体目标进行识别(监视变化)，在这点上是不变的。
如上所述，在识别装置300中，能够回溯进行驾驶员DR对能够认为已经是充分的识别状态的物体目标识别的识别状态的判定。由此，在搭载具备识别装置300的识别系统1的本车辆M中，能够避免不必要地报告驾驶员DR的识别状态已经是充分的识别状态的物体目标所存在的方向。
在既已识别状态的判定方法的一例中，说明了在图9所示的第一场景中，基于侧部后视镜13L的范围的图像而物体目标区域设定部310不能设定与机动二轮车C对应的物体目标区域BB。然而，物体目标区域设定部310也有时能够基于侧部后视镜13L的范围的图像来设定与机动二轮车C这样的小的区域的物体目标对应的物体目标区域BB。在该情况下，驾驶员识别判定部350在能够判定为在第一场景中投影出的物体目标区域BB5和在第二场景中投影出的物体目标区域BB6是与相同的机动二轮车C对应的物体目标区域BB的情况下，即便不回溯规定时间也能够判定驾驶员DR对机动二轮车C识别的识别状态。由此，驾驶员识别判定部350同样地，能够不向报告装置400输出用于报告机动二轮车C所存在的方向的报告指示，避免针对驾驶员DR的识别状态已经是充分的识别状态的机动二轮车C进行的不必要的报告。
在本实施方式中，说明了供识别装置300投影出图像数据的假想的屏幕沿着前窗玻璃10的面存在的情况。然而，假想的屏幕所存在的位置不限定于沿着前窗玻璃10的面的位置。例如，假想的屏幕也可以存在于本车辆M的车长方向的前端的位置。
在本实施方式中，说明了识别装置300基于视觉传感器100将本车辆M的周围作为二维空间而拍摄到的图像的图像数据，来判定驾驶员DR对物体目标识别的识别状态的情况。然而，识别装置300用在判定驾驶员DR对物体目标的识别状态的图像也可以是将本车辆M的周围作为三维空间而拍摄到的图像的图像数据。在该情况下，识别装置300不是在图像平面上，而是能够在图像的三维空间内判定驾驶员DR对物体目标识别的识别状态。然而，在该情况下的识别装置300的处理中，除了能够利用从本车辆M到物体目标的距离的信息以外，能够与上述的基于二维空间的图像数据而判定驾驶员DR对物体目标识别的识别状态的处理同样地考虑。因此，识别装置300基于三维空间的图像数据来判定驾驶员DR对物体目标识别的识别状态的处理所相关的说明省略。
根据以上说明的实施方式的识别装置300，具备：视野识别部330，其参照视线检测装置200的检测结果，识别从本车辆M的驾驶员DR的视点VP沿着视线方向(视线矢量GV的方向：进深方向)延伸且随着远离视点VP而以规定角度(顶角AA)扩展的范围，来作为视野范围VR；物体目标区域设定部310，其基于由配置于本车辆M的视觉传感器100对本车辆M的周围进行拍摄得到的图像数据，来识别映入图像数据内的在本车辆M的周围的环境中存在的物体目标(在实施方式中为其他车辆、行人)，并以规定形状设定所识别到的物体目标的区域(物体目标区域BB)；以及驾驶员识别判定部350，其在物体目标的区域(物体目标区域BB)中设定多个判定点(中心点CP、最接近点NP、最远离点FP)，并基于多个判定点与视野范围VR之间的重叠程度，来判定驾驶员DR是否识别着物体目标，由此能够向驾驶员DR报告在使本车辆M的行驶继续时存在成为风险的可能性的物体目标的存在。由此，在搭载具备识别装置300的识别系统1的本车辆M中，驾驶员DR能够事先进行与所报告的物体目标对应的本车辆M的操作(驾驶)、相应的准备，能够更安全地继续行驶。
上述说明的实施方式能够如以下那样表现。
识别装置构成为具备：
硬件处理器；以及
存储装置，其存储有程序，
所述硬件处理器通过将存储于所述存储装置的程序读出而执行如下处理：
参照视线检测装置的检测结果，来识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；
基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；以及
在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (12)

1.一种识别装置，其中，
所述识别装置具备：
视野识别部，其参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；
物体目标区域设定部，其基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；以及
驾驶员识别判定部，其在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标，
所述驾驶员识别判定部基于所述物体目标的属性，来变更成为判定为所述驾驶员识别着所述物体目标时的基准的、位于所述视野范围内的所述判定点的数量。
2.根据权利要求1所述的识别装置，其中，
所述多个判定点至少包括所述物体目标的区域的中心点、以及所述视线方向上的直线或点与所述物体目标的区域之间的最接近点及最远离点。
3.根据权利要求2所述的识别装置，其中，
所述规定形状为以所述物体目标为中心的长方体形状。
4.根据权利要求3所述的识别装置，其中，
所述驾驶员识别判定部将所述视野范围投影到所述图像数据所表示的图像平面上，并基于投影出的所述视野范围与所述多个判定点之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标。
5.根据权利要求1所述的识别装置，其中，
所述驾驶员识别判定部在成为所述基准的数量的所述判定点超过规定时间位于所述视野范围内的情况下，判定为所述驾驶员识别着包含该判定点的所述物体目标的状态。
6.根据权利要求5所述的识别装置，其中，
所述规定时间是对成为所述基准的数量的所述判定点在规定期间内位于所述视野范围内的多个时间进行累计得到的时间。
7.根据权利要求5或6所述的识别装置，其中，
所述驾驶员识别判定部基于所述物体目标的属性，来变更所述规定时间。
8.根据权利要求7所述的识别装置，其中，
所述驾驶员识别判定部根据所述判定点位于所述视野范围内的时间的长度，来判定是所述驾驶员未识别着所述物体目标的状态，还是所述驾驶员部分地识别着所述物体目标的状态，亦或是所述驾驶员充分识别着所述物体目标的状态，
所述驾驶员识别判定部使报告装置以第一形态报告判定为所述驾驶员未识别着的所述物体目标的存在，
所述驾驶员识别判定部使所述报告装置以第二形态报告判定为所述驾驶员部分地识别着的所述物体目标的存在。
9.根据权利要求8所述的识别装置，其中，
所述驾驶员识别判定部在所述驾驶员对报告了存在的所述物体目标进行的识别成为了所述充分识别着的状态的情况下，使所述报告装置结束与该所述物体目标相关的报告。
10.根据权利要求1所述的识别装置，其中，
所述驾驶员识别判定部赋予所述驾驶员对各个所述物体目标进行识别的识别状态，在所述赋予的识别状态记录规定时间并且在所述视野范围存在多个所述物体目标的情况下，所述驾驶员识别判定部判定为被赋予了所述识别状态的所述物体目标是识别中的对象。
11.一种识别方法，其中，
所述识别方法使计算机进行如下处理：
参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；
基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；
在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标；以及
基于所述物体目标的属性，来变更成为判定为所述驾驶员识别着所述物体目标时的基准的、位于所述视野范围内的所述判定点的数量。
12.一种存储介质，其存储有程序，其中，
所述程序使计算机进行如下处理：
参照视线检测装置的检测结果，识别从移动体的驾驶员的视点沿着视线方向延伸且随着远离所述视点而以规定角度扩展的范围，来作为视野范围；
基于由配置于所述移动体的视觉传感器对所述移动体的周围进行拍摄得到的图像数据，来识别映入所述图像数据内的在所述移动体的周围的环境中存在的物体目标，并以规定形状设定所识别到的所述物体目标的区域；
在所述物体目标的区域中设定多个判定点，并基于所述多个判定点与所述视野范围之间的重叠程度，来判定所述驾驶员是否识别着所述物体目标；以及
基于所述物体目标的属性，来变更成为判定为所述驾驶员识别着所述物体目标时的基准的、位于所述视野范围内的所述判定点的数量。
CN202010492306.9A 2019-06-07 2020-06-02 识别装置、识别方法及存储介质 Active CN112052716B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019107386A JP7228472B2 (ja) 2019-06-07 2019-06-07 認識装置、認識方法、およびプログラム
JP2019-107386 2019-06-07

Publications (2)

Publication Number Publication Date
CN112052716A CN112052716A (zh) 2020-12-08
CN112052716B true CN112052716B (zh) 2024-03-29

Family

ID=73608803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010492306.9A Active CN112052716B (zh) 2019-06-07 2020-06-02 识别装置、识别方法及存储介质

Country Status (3)

Country Link
US (1) US11390297B2 (zh)
JP (1) JP7228472B2 (zh)
CN (1) CN112052716B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170916A1 (ja) * 2019-02-22 2020-08-27 パナソニックＩｐマネジメント株式会社 状態検知装置及び状態検知方法
US11107238B2 (en) * 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
JP2022155703A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 脇見判定装置
JP7350823B2 (ja) * 2021-11-22 2023-09-26 本田技研工業株式会社 報知装置、車両および報知制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2017111649A (ja) * 2015-12-17 2017-06-22 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
CN108639055A (zh) * 2017-03-15 2018-10-12 株式会社斯巴鲁 车辆的显示系统及车辆的显示系统的控制方法
CN109791053A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4385392B2 (ja) 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008172441A (ja) 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP2010105502A (ja) 2008-10-29 2010-05-13 Toyota Motor Corp 前方監視装置
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
JP2014120114A (ja) 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
US9487139B1 (en) * 2015-05-15 2016-11-08 Honda Motor Co., Ltd. Determining a driver alert level for a vehicle alert system and method of use
WO2018085804A1 (en) * 2016-11-07 2018-05-11 Nauto Global Limited System and method for driver distraction determination
WO2018229548A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for contextualized vehicle operation determination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2017111649A (ja) * 2015-12-17 2017-06-22 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
CN109791053A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
CN108639055A (zh) * 2017-03-15 2018-10-12 株式会社斯巴鲁 车辆的显示系统及车辆的显示系统的控制方法

Also Published As

Publication number Publication date
US20200385012A1 (en) 2020-12-10
JP2020201670A (ja) 2020-12-17
CN112052716A (zh) 2020-12-08
JP7228472B2 (ja) 2023-02-24
US11390297B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112052716B (zh) 识别装置、识别方法及存储介质
US10479269B2 (en) Lighting apparatus for vehicle and vehicle having the same
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
US10311618B2 (en) Virtual viewpoint position control device and virtual viewpoint position control method
KR101949358B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US9475420B2 (en) Display apparatus
KR101768500B1 (ko) 운전 보조 장치 및 그 제어방법
WO2016147547A1 (ja) 画像生成装置
CN112292286A (zh) 骑乘者辅助系统和方法
US20210138960A1 (en) Interactive safety system for vehicles
JP7163748B2 (ja) 車両用表示制御装置
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JPWO2017212927A1 (ja) 撮像制御装置および方法、並びに車両
JP6561616B2 (ja) 車載ヘッドアップディスプレイ装置及び車載表示システム
KR20170048781A (ko) 차량용 증강현실 제공 장치 및 그 제어방법
KR102227371B1 (ko) 차량용 영상투사장치 및 이를 구비한 차량
US11256088B2 (en) Vehicle display device
JP2022140026A (ja) 画像処理装置、画像処理方法およびプログラム
JP7037764B2 (ja) 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム
JP2021154888A (ja) 車両用表示装置
JP2017007581A (ja) 車両安全制御装置
KR20150074753A (ko) 차량 운전 보조 장치 및 이를 구비한 차량
JP2022157399A (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
CN116761737A (zh) 视线引导装置、注意提醒系统、注意提醒方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant