CN110758380A - 视觉交互系统和视觉交互方法 - Google Patents

视觉交互系统和视觉交互方法 Download PDF

Info

Publication number
CN110758380A
CN110758380A CN201810752757.4A CN201810752757A CN110758380A CN 110758380 A CN110758380 A CN 110758380A CN 201810752757 A CN201810752757 A CN 201810752757A CN 110758380 A CN110758380 A CN 110758380A
Authority
CN
China
Prior art keywords
target
vehicle
visual
sight
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810752757.4A
Other languages
English (en)
Other versions
CN110758380B (zh
Inventor
唐帅
孙铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to CN201810752757.4A priority Critical patent/CN110758380B/zh
Publication of CN110758380A publication Critical patent/CN110758380A/zh
Application granted granted Critical
Publication of CN110758380B publication Critical patent/CN110758380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及视觉交互系统和视觉交互方法。该视觉交互系统包括信息获取装置，其配置为获取车辆周围预定范围内的至少一个目标的面部图像；视线判断装置，其配置为根据至少一个目标的面部图像来判断至少一个目标的视线是否落在车辆的预定区域内；以及视觉响应装置，其配置为响应于判断至少一个目标的视线落在车辆的预定区域内，来向至少一个目标执行视觉响应，以使车辆与至少一个目标通过视觉接触进行交互。根据本发明的视觉交互系统和视觉交互方法能够仅与视线落在车辆上的至少一个目标进行视觉交互，从而避免车辆发送无效的视觉交互信息。

Description

视觉交互系统和视觉交互方法
技术领域
本发明涉及信息交互技术领域，并且更具体地，涉及能够在车辆(或机器人)与其周围目标之间执行视觉接触的视觉交互系统和视觉交互方法。
背景技术
通常，已知人们日常交流往往依赖于视觉和听觉这两大感官。而且，车辆在行驶过程中一般通过产生听觉信号(例如鸣笛声、喇叭声和噪声等)来执行警示，使得周边目标通过听音辨位来得到车辆的位置和运动状态，从而主动预防碰撞的发生。但是，随着电动技术的发展，电动车辆的整体噪音强度大幅度降低，因此如果继续利用听觉信号可能会降低人车交互或车车交互的有效性。
而且，对于无人驾驶或自动驾驶的电动车辆而言，由于其车厢内并不存在驾驶员，因此周边目标可能更加担心电动车辆会因没有注意到他们，例如行人在车前横穿时，缺乏与车辆沟通交流造成的犹豫，而引发安全事故。
因此，要想使周边目标了解电动车辆实际上已经检测到了他们的存在因而不必焦虑或犹豫时，需要为车辆提供一种能够在车辆与周围目标之间执行视觉接触的系统和方法。
发明内容
本发明的一个目的在于提供能够检测车辆周围的目标的视线是否落在车辆上的视觉交互系统和视觉交互方法。本发明的另一个目的在于提供能够与视线落在车辆上的目标进行视觉交互的视觉交互系统和视觉交互方法。本发明的又一个目的在于提供能够与视线落在车辆上的多个目标中的每个目标依次进行视觉交互的视觉交互系统和视觉交互方法。
本发明的一个方面提供了一种用于车辆的视觉交互系统，包括：信息获取装置，其配置为获取所述车辆周围预定范围内的至少一个目标的面部图像；视线判断装置，其配置为根据所述至少一个目标的面部图像来判断所述至少一个目标的视线是否落在所述车辆的预定区域内；以及视觉响应装置，其配置为响应于判断所述至少一个目标的视线落在所述车辆的预定区域内，来向所述至少一个目标执行视觉响应，以使所述车辆与所述至少一个目标进行视觉接触。
根据本发明的实施例，所述视觉响应装置还配置为在所述至少一个目标是多个目标的情况下，确定所述多个目标中的每个目标的优先级，并且根据每个目标的优先级依次向每个目标执行视觉响应。
根据本发明的实施例，每个目标的优先级根据每个目标的以下状态信息中的一项或多项来确定：类型、相对于所述车辆的距离、移动速度、移动方向、碰撞风险和碰撞时间。
根据本发明的实施例，所述视觉响应装置配置为经由所述车辆的显示装置或照明装置来向所述至少一个目标执行视觉响应。
根据本发明的实施例，所述视觉响应装置配置为向所述至少一个目标执行视觉响应达预定时间段。
根据本发明的实施例，所述视线判断装置配置为根据所述至少一个目标的面部特征的取向来判断所述至少一个目标的视线是否落在所述车辆的预定区域内。
本发明的又一个方面提供了一种车辆，包括如上所述的视觉交互系统。
本发明的另一个方面提供了一种用于车辆的视觉交互方法，包括以下步骤：获取所述车辆周围预定范围内的至少一个目标的面部图像；根据所述至少一个目标的面部图像来判断所述至少一个目标的视线是否落在所述车辆的预定区域内；以及响应于判断所述至少一个目标的视线落在所述车辆的预定区域内，来向所述至少一个目标执行视觉响应，以使所述车辆与所述至少一个目标进行视觉接触。
根据本发明的实施例，执行视觉响应的步骤包括以下步骤：在所述至少一个目标是多个目标的情况下，确定所述多个目标中的每个目标的优先级，并且根据每个目标的优先级依次向每个目标执行视觉响应。
根据本发明的实施例，每个目标的优先级根据每个目标的以下状态信息中的一项或多项来确定：类型、相对于所述车辆的距离、移动速度、移动方向、碰撞风险和碰撞时间。
根据本发明的实施例，所述视觉响应经由所述车辆的显示装置或照明装置来向所述至少一个目标做出。
根据本发明的实施例，执行视觉响应的步骤包括以下步骤：向所述至少一个目标执行视觉响达预定时间段。
根据本发明的实施例，所述至少一个目标的视线是否落在所述车辆的预定区域内根据所述至少一个目标的面部特征的取向来判断。
与现有技术相比，根据本发明的视觉交互系统和视觉交互方法能够仅与视线落在车辆上的目标进行视觉交互，从而避免了因发送无效的交互信息所导致的资源浪费。
附图说明
从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中，相似的标号指示相同或功能类似的组件。
图1示出了安装有根据本发明的实施例的视觉交互系统的车辆的示意图。
图2示出了根据本发明的实施例的视觉交互系统的一个应用场景。
图3示出了根据本发明的实施例的视觉交互方法的流程框图。
具体实施方式
下文中，参照附图描述本发明的实施例。下面的详细描述和附图用于示例性地说明本发明的原理，本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。现参考示例性的实施方式详细描述本发明，一些实施例图示在附图中。以下描述参考附图进行，除非另有表示，否则在不同附图中的相同附图标记代表相同或类似的组件。以下示例性实施方式中描述的方案不代表本发明的所有方案。相反，这些方案仅是所附权利要求中涉及的本发明的各个方面的系统和方法的示例。
根据本发明的实施例的视觉交互系统可以安装在车辆上或应用于车辆。车辆可以是以内燃机为驱动源的内燃机汽车、以电动机为驱动源的电动汽车或燃料电池汽车、以上述两者为驱动源的混合动力汽车、或具有其他驱动源的汽车。
图1是示出安装有根据本发明的实施例的视觉交互系统的车辆的示意图。如图1所示，车辆10包括检测装置100、显示装置200和照明装置300和视觉交互系统400。这些装置和系统可以彼此连接，例如分别连接到车辆10的控制器局域网(CAN)总线或
Figure BDA0001725978670000041
网络。为了简明起见，车辆10中公知的动力和操纵装置、传动系统等部件未在图1中示出。
检测装置100包括环境检测装置和车辆检测装置。环境检测装置可以检测车辆周围的环境。环境检测装置可以包括一个或多个检测单元，并且可以包括各种类型的检测单元，例如雷达装置、激光传感器、超声波传感器、摄像机等。环境检测装置可以通过以上任意一种检测单元和/或检测单元的组合来检测车辆周围的环境。环境检测装置可以安装在车辆的前方、后方、侧面和/或其他适于对车辆周围的环境进行检测的位置处。车辆检测装置可以检测与车辆相关的车辆信息，例如车辆的行驶参数，包括但不限于以下参数：位置、行驶速度、行驶加速度、转向角、指示灯状态等。车辆检测装置可以是安装在车辆上的各种类型的传感器，例如，位置传感器、速度传感器、加速度传感器和转向角传感器等。
显示装置200可以显示各种符号、图案或文字等。根据本发明的实施例，显示装置200是指设置在车辆10外部表面上的车外显示屏。显示装置200可以向车辆周围的目标显示各种信息。显示装置200可以安装在车辆的前面、后面、侧面和/或便于车辆周围的目标观看显示装置200所显示的各种信息的其他合适位置处。在示例性实施例中，显示装置200安装在车辆10的前罩上。显示装置200可以是液晶显示装置。
照明装置300可以用于提供照明和/或用于向车辆周围的目标提供视觉警示。在本文中，照明装置300安装在车辆外部以向车辆周围的目标提供视觉警示。根据本发明的实施例，照明装置300可以安装在车辆的前面、后面、侧面和/或便于车辆周围的目标进行观看的其他合适位置处。在示例性实施例中，照明装置300安装在车辆10的前罩上。照明装置300可以由发光二极管(LED)阵列或有机发光二极管(OLED)阵列形成。
视觉交互系统400可以与检测装置100、显示装置200和照明装置300中的任一者有线或无线通信。再次参考图1，视觉交互系统400可以包括信息获取装置410、视线判断装置420和视觉响应装置430。这些装置可以由硬件电路实现，也可以由软件模块实现，还可以通过硬件电路和软件模块的组合来实现。视觉交互系统400的各个装置可以配置成以各个装置中的部件相互连接的方式工作。连接方式包括系统总线、网络和/或其他适合的连接方式。下面，将具体地描述根据本发明的实施例的视觉交互系统400的各个单元和/或部件的配置和功能。
信息获取装置410可以获取车辆10周围预定范围内的目标的面部图像。在本文中，预定范围可以是与车辆10相距十米的距离。应当理解，本发明并不限于此。预定范围也可以根据车辆10的行驶速度而发生改变，即如果车辆10的行驶速度越大，则预定范围也越大。但是，预定范围不能设定得太大，以防车辆10发出的视觉响应不能有效地到达目标。目标是指能够与车辆10进行视觉交互的各种交通参与者，包括但不限于行人、骑自行车的人和其他车辆的乘员等。目标可以是一个或者一个以上。
信息获取装置410可以从车辆10的检测装置100中的摄像机接收目标的面部图像。摄像机可以设置在便于对车辆10周围的环境进行图像采集的地方。例如，摄像机可以设置在车辆10的至少一侧的后视镜处，例如后视镜的下方或背部。摄像机可以被设置成可调节的，使其视场能够覆盖其所在那侧的预定范围内的所有目标。例如，摄像机可以被设置成能够相对于车辆10的车体或者相对于后视镜旋转或平移，以获得合适的视角和/或视场。图像包括静态图像、立体图像和/或动态图像等。
除此之外，信息获取装置410还可以从车辆10的检测装置100获取目标的状态信息。状态信息包括但不限于以下参数中的一项或多项：类型、相对于车辆10的距离、移动速度和移动方向。例如，信息获取装置410可以通过对来自检测装置100中的摄像机的图像进行分析来获取目标的类型以及相对于车辆10的移动方向。又如，由于检测装置100中的雷达装置可以利用电磁波特性来准确地测量车外物体到车辆的距离，因此信息获取装置410可以从雷达装置获取目标相对于车辆10的距离。此外，由于雷达装置可以利用多普勒效应来测量车辆与物体的速度变化，因此信息获取装置400可以从雷达装置获取目标相对于车辆10的移动速度。
视线判断装置420可以和信息获取装置410有线或无线通信。视线判断装置420可以根据目标的面部图像来判断目标的视线是否落在车辆10的预定区域内。根据本发明的实施例，预定区域可以是车辆10的车体的任何区域(例如车辆10的前罩、车顶和后罩等)或距车辆10的车体的外表面预定范围的区域等。在示例性实施例中，预定区域是车辆10的显示装置200或照明装置300的安装区域。
视线判断装置420可以通过在目标的面部图像中确定目标的脸部取向来判断目标的视线是否落在车辆10的预定区域内。具体而言，视线判断装置420首先可以对从检测装置100的摄像机获取的目标的面部图像进行分析来确定目标的脸部取向。目标的脸部取向是目标的正面脸部相对于车辆10的角度，并将其与预定角度范围进行比较。在本实施例中，预定角度范围可以是例如±10°。如果判断目标的正面脸部相对于车辆10的角度处于预定角度范围内，则视线判断装置420可以判断该目标的视线落在车辆10的预定区域内。
可替换地，除了通过分析目标的面部整体取向来确定目标的视线之外，视线判断装置420还可以通过对目标的面部子特征的取向进行分析来判断目标的视线是否落在车辆10的预定区域内。面部子特征包括前额、鼻子、嘴唇、脸颊和下巴等中的一者。首先，视线判断装置420可以根据基准轮廓将从检测装置100的摄像机获取的目标的面部图像分割成多个子特征图像，例如前额子图像、鼻子子图像、嘴唇子图像、脸颊子图像和下巴子图像等。接着，视线判断装置420可以通过确定上述子特征图像中的一项或多项的取向(即相对于车辆10的角度)来判断该目标的视线是否落在车辆10的预定区域内。
响应于视线判断装置420的判断结果，视觉响应装置430可以向视线落在车辆10的预定区域内的目标执行视觉响应，以使车辆10与该目标进行视觉接触。由于目标的视线落在车辆10上，因此视觉响应装置430可以仅通过车辆10的显示装置200和/或照明装置300就可以向目标做出回应，从而实现车辆10与目标之间的眼睛到眼睛的接触。
在一个示例中，视觉响应装置430可以使车辆10的照明装置300朝目标所在的方位发射光线。如上所述，照明装置300由发光二极管(LED)阵列或有机发光二极管(OLED)阵列形成，因此视觉响应装置430可以在基于车辆10和目标两者的位置确定了车辆10相对于目标的方向后，使车辆10的照明装置300仅朝向目标所在的方向发射光线。优选地，视觉响应装置430还可以进一步根据照明装置300的安装参数以及目标的高度来确定从照明装置300到目标的眼睛的方向(或角度)，并且可以接着使照明装置300仅朝向目标的眼睛所在的方向发射光线。更优选地，视觉响应装置430还可以使照明装置300朝向目标的眼睛所在的方向进行闪烁，以做出对目标的视线的回应。
在又一个示例中，视觉响应装置430可以使车辆10的显示装置200呈现出类似于人眼形状的图案。具体而言，在视线判断装置420判断目标的视线落在车辆10的预定区域内，视觉响应装置430可以使显示装置200在该预定区域处呈现出类似于人眼形状的图案。具体而言，视觉响应装置430可以通过改变构成显示装置200的一部分像素的开启和关闭来使显示装置200呈现类似于人眼形状的图案的视图。图2示出了显示装置200所呈现的类似于人眼形状的图案的视图。优选地，视觉响应装置430还可以使呈现在显示装置200上的人眼形图案进行闪烁，以做出类似于眨眼动作的动画。还优选地，视觉响应装置430还可以进一步根据显示装置200的安装参数以及目标的高度来确定从显示装置200到目标的眼睛的方向，并且可以使呈现在显示装置200上的人眼形图案中的眼球朝向目标的眼睛所在的方向转动。
根据本发明的实施例，视觉响应装置430可以使车辆10与目标保持视觉接触直达预定时间段，以保证车辆10与目标之间进行有效且充分的交互。在一个示例中，预定时间段可以例如是1秒。
在其他实施例中，视觉响应装置430还可以进一步统计视线落在车辆10的预定区域内的目标的数量，并且在视线落在车辆10的预定区域内的目标的数量为多个的情况下，视觉响应装置430可以确定多个目标中的每个目标的优先级，并且根据每个目标的优先级依次向每个目标执行视觉响应。视觉响应装置430可以根据每个目标的以下状态信息中的一项或多项来确定每个目标的优先级：类型、相对于车辆10的距离、移动速度、移动方向、碰撞风险和碰撞时间。上述这些状态信息是从检测装置100的环境检测装置直接获取的或者是通过对所直接获取的状态参数进行计算来得到的。下面将详细解释目标的优先级与其状态信息之间的关系。
视觉响应装置430可以根据以下判断规则来确定多个目标中的每个目标的优先级：到车辆10的距离越近的目标的优先级高于到车辆10的距离越远的目标的优先级；移动速度较快的目标的优先级高于移动速度较慢的目标的优先级；移动方向朝向车辆10的目标的优先级高于移动方向远离车辆10的目标的优先级；在车辆10的行驶方向上位于车辆10前方的目标的优先级高于在车辆10的行驶方向上位于车辆10后方的目标的优先级；相对于车辆10存在碰撞风险的目标的优先级高级相对于车辆10无碰撞风险的目标的优先级；相对于车辆10的碰撞时间越小的目标的优先级高于相对于车辆10的碰撞时间越大的目标的优先级；等等。例如，在车辆10周围存在目标A和目标B这两个目标并且这两个目标的视线均落在车辆10上的情况下，如果目标A是正在沿与车辆10的行驶方向相交叉的方向快速移动的骑自行车的人，并且目标B是站立在车辆10的当前道路的路边的行人，则视觉响应装置430可以判断目标A的优先级高于目标B的优先级。
在确定了多个目标中的每个目标的优先级之后，视觉响应装置430可以根据每个目标的优先级依次向每个目标执行视觉响应。换言之，视觉响应装置430可以按照每个目标的优先级的高低顺序向每个目标执行视觉响应。具体而言，视觉响应装置430可以首先向多个目标中的优先级较高的目标执行视觉响应，接着可以向多个目标中的优先级较低的目标执行视觉响应。例如，如上所述，视觉响应装置430可以先向目标A发出视觉响应，再向目标B发出视觉响应。在示例性实施例中，视觉响应装置430可以在向目标A发出视觉响应预定时间段(例如，1秒)后，再向目标B发出视觉响应。
由此，根据本发明的视觉交互系统能够仅与视线落在车辆上的目标进行视觉交互，从而避免了因发送无效的交互信息所导致的资源浪费。
上文描述了视觉交互系统安装在车辆上或应用于车辆。但是，本领域技术人员应理解，视觉交互系统也可以安装在机器人上或应用于机器人。
下面将参考附图描述根据本发明的实施例的视觉交互方法。图3是示出根据本发明的实施例的视觉交互方法30的流程图。视觉交互方法30由上述的视觉交互系统400来执行。
如图3所示，在步骤S31中，获取车辆10周围预定范围内的目标的面部图像和状态信息。在本文中，预定范围可以是与车辆10相距十米的距离。目标可以是一个或者一个以上。有关“预定范围”和“目标”的其他描述参见上文，在此不再赘述。根据本发明的实施例，目标的面部图像可以从车辆10的检测装置100中的摄像机直接获取。目标的状态信息可以从车辆10的检测装置100(例如，摄像机、雷达装置等)获取。状态信息包括但不限于以下参数中的一项或多项：类型、相对于车辆10的距离、移动速度和移动方向。接着，方法30前行到步骤S32。
在步骤S32中，判断目标的视线是否落在车辆10的预定区域内。预定区域可以是车辆10的车体的任何区域(例如车辆10的前罩、车顶和后罩等)或距车辆10的车体的外表面预定范围的区域等。在示例性实施例中，预定区域是车辆10的显示装置200或照明装置300的安装区域。根据本发明的实施例，目标的视线可以根据目标的面部图像来判断。具体而言，首先，可以对从检测装置100的摄像机获取的目标的面部图像进行分析来确定目标的面部特征(正面脸部、前额、鼻子、嘴唇、脸颊和下巴等)取向，即目标的面部特征相对于车辆10的角度。接着，可以将所确定的目标的面部特征取向与预定角度范围(例如±10°)进行比较。例如，如果判断目标的正面脸部相对于车辆10的角度处于预定角度范围内，则可以判断该目标的视线落在车辆10的预定区域内，此时方法30前行到步骤S33。反之，如果判断目标的视线没有落在车辆10的预定区域内，那么方法30返回到步骤S31。
在步骤S33中，可以统计视线落在车辆10的预定区域内的目标的数量。如果视线落在车辆10的预定区域内的目标的数量是一个，那么方法30直接前行到步骤S35。如果视线落在车辆10的预定区域内的目标的数量是多个，那么方法30前行到步骤S34。
在步骤S34中，确定多个目标中的每个目标的优先级。根据本发明的实施例，可以根据每个目标的以下状态信息中的一项或多项来确定每个目标的优先级：类型、相对于车辆10的距离、移动速度、移动方向、碰撞风险和碰撞时间。每个目标的优先级可以根据以下判断规则来确定：到车辆10的距离越近的目标的优先级高于到车辆10的距离越远的目标的优先级；移动速度较快的目标的优先级高于移动速度较慢的目标的优先级；移动方向朝向车辆10的目标的优先级高于移动方向远离车辆10的目标的优先级；相对于车辆10存在碰撞风险的目标的优先级高级相对于车辆10无碰撞风险的目标的优先级；相对于车辆10的碰撞时间越小的目标的优先级高于相对于车辆10的碰撞时间越大的目标的优先级；等等。
在步骤S35中，可以向视线落在车辆10的预定区域内的目标执行视觉响应，以使车辆10与该目标进行视觉接触。根据本发明的示例性实施例，可以仅通过车辆10的显示装置200和/或照明装置300向目标做出视觉回应，从而实现车辆10与目标之间的眼睛到眼睛的接触。此外，车辆10与目标视觉接触可以保持预定时间段，以保证车辆10与目标之间进行有效且充分的交互。在一个示例中，预定时间段可以例如是1秒。有关“视觉响应”的其他方向参见上文，在此不再赘述。
此外，在视线落在车辆10的预定区域内的目标的数量是多个的情况下，视觉响应可以根据在步骤S34中所确定的多个目标中的每个目标的优先级依次且分别向每个目标执行。根据本发明的实施例，视觉响应可以按照每个目标的优先级的高低顺序向每个目标执行。
由此，根据本发明的视觉交互方法能够仅与视线落在车辆上的目标进行视觉交互，从而避免了因发送无效的交互信息所导致的资源浪费。
尽管已经参考示例性实施例描述了本发明，但是应理解，本发明并不限于上述实施例的构造和方法。相反，本发明意在覆盖各种修改例和等同配置。另外，尽管在各种示例性结合体和构造中示出了所公开发明的各种组件和方法步骤，但是包括更多、更少的组件或方法的其它组合也落在本发明的范围之内。

Claims (13)

1.一种用于车辆的视觉交互系统，包括：
信息获取装置，其配置为获取所述车辆周围预定范围内的至少一个目标的面部图像；
视线判断装置，其配置为根据所述至少一个目标的面部图像来判断所述至少一个目标的视线是否落在所述车辆的预定区域内；以及
视觉响应装置，其配置为响应于判断所述至少一个目标的视线落在所述车辆的预定区域内，来向所述至少一个目标执行视觉响应，以使所述车辆与所述至少一个目标进行视觉接触。
2.根据权利要求1所述的视觉交互系统，其中，
所述视觉响应装置还配置为在所述至少一个目标是多个目标的情况下，确定所述多个目标中的每个目标的优先级，并且根据每个目标的优先级依次向每个目标执行视觉响应。
3.根据权利要求2所述的视觉交互系统，其中，
每个目标的优先级根据每个目标的以下状态信息中的一项或多项来确定：类型、相对于所述车辆的距离、移动速度、移动方向、碰撞风险和碰撞时间。
4.根据权利要求1至3中任一项所述的视觉交互系统，其中，
所述视觉响应装置配置为经由所述车辆的显示装置或照明装置来向所述至少一个目标执行视觉响应。
5.根据权利要求1至3中任一项所述的视觉交互系统，其中，
所述视觉响应装置配置为向所述至少一个目标执行视觉响达预定时间段。
6.根据权利要求1至3中任一项所述的视觉交互系统，其中，
所述视线判断装置配置为根据所述至少一个目标的面部特征的取向来判断所述至少一个目标的视线是否落在所述车辆的预定区域内。
7.一种车辆，包括根据权利要求1至6中任一项所述的视觉交互系统。
8.一种用于车辆的视觉交互方法，包括以下步骤：
获取所述车辆周围预定范围内的至少一个目标的面部图像；
根据所述至少一个目标的面部图像来判断所述至少一个目标的视线是否落在所述车辆的预定区域内；以及
响应于判断所述至少一个目标的视线落在所述车辆的预定区域内，来向所述至少一个目标执行视觉响应，以使所述车辆与所述至少一个目标进行视觉接触。
9.根据权利要求8所述的视觉交互方法，其中，
执行视觉响应的步骤包括以下步骤：在所述至少一个目标是多个目标的情况下，确定所述多个目标中的每个目标的优先级，并且根据每个目标的优先级依次向每个目标执行视觉响应。
10.根据权利要求9所述的视觉交互方法，其中，
每个目标的优先级根据每个目标的以下状态信息中的一项或多项来确定：类型、相对于所述车辆的距离、移动速度、移动方向、碰撞风险和碰撞时间。
11.根据权利要求8至10中任一项所述的视觉交互方法，其中，
所述视觉响应经由所述车辆的显示装置或照明装置来向所述至少一个目标做出。
12.根据权利要求8至10中任一项所述的视觉交互方法，其中，
执行视觉响应的步骤包括以下步骤：向所述至少一个目标执行视觉响达预定时间段。
13.根据权利要求8至10中任一项所述的视觉交互方法，其中，
所述至少一个目标的视线是否落在所述车辆的预定区域内根据所述至少一个目标的面部特征的取向来判断。
CN201810752757.4A 2018-07-10 2018-07-10 视觉交互系统和视觉交互方法 Active CN110758380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810752757.4A CN110758380B (zh) 2018-07-10 2018-07-10 视觉交互系统和视觉交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810752757.4A CN110758380B (zh) 2018-07-10 2018-07-10 视觉交互系统和视觉交互方法

Publications (2)

Publication Number Publication Date
CN110758380A true CN110758380A (zh) 2020-02-07
CN110758380B CN110758380B (zh) 2023-05-05

Family

ID=69326790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810752757.4A Active CN110758380B (zh) 2018-07-10 2018-07-10 视觉交互系统和视觉交互方法

Country Status (1)

Country Link
CN (1) CN110758380B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2735458A1 (fr) * 2011-03-22 2012-09-22 Denis Hugron Systeme interactif pour la prevention des accidents automobiles causes par le non respect des regles de la circulation, procede de fabrication et utilisation du systeme avec des vehicules
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN204124043U (zh) * 2014-07-22 2015-01-28 深圳信息职业技术学院 一种基于车载视觉的行人综合判断系统
CN105718904A (zh) * 2016-01-25 2016-06-29 大连楼兰科技股份有限公司 基于组合特征与车载摄像头的盲人检测与识别方法与系统
CN106274694A (zh) * 2016-11-16 2017-01-04 陕西华泰交通设备制造有限公司 可消除转弯盲区的半挂车
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2735458A1 (fr) * 2011-03-22 2012-09-22 Denis Hugron Systeme interactif pour la prevention des accidents automobiles causes par le non respect des regles de la circulation, procede de fabrication et utilisation du systeme avec des vehicules
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN204124043U (zh) * 2014-07-22 2015-01-28 深圳信息职业技术学院 一种基于车载视觉的行人综合判断系统
CN105718904A (zh) * 2016-01-25 2016-06-29 大连楼兰科技股份有限公司 基于组合特征与车载摄像头的盲人检测与识别方法与系统
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
CN106274694A (zh) * 2016-11-16 2017-01-04 陕西华泰交通设备制造有限公司 可消除转弯盲区的半挂车

Also Published As

Publication number Publication date
CN110758380B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US10332401B2 (en) Running vehicle alerting system and method
US11798290B2 (en) Obstacle detection and notification for motorcycles
JP7188394B2 (ja) 画像処理装置及び画像処理方法
EP3954580A1 (en) A rider assistance system and method
US20190135295A1 (en) Driver condition detection system
CN104786933A (zh) 一种全景影像驾驶辅助装置及方法
JP2006338594A (ja) 歩行者認識装置
JP2005536394A (ja) 情報技術システムの少なくとも１つのシステムコンポーネントの制御装置および方法
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
JP2009265842A (ja) 車両用警告装置、警告方法
CN108725454B (zh) 安全驾驶辅助系统及其控制方法
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
CN101349562A (zh) 车辆行驶偏向的警报方法及装置
KR20200059755A (ko) 라이다 센서 검증시험 모의장치
CN111260915B (zh) 一种高速公路交通异常区域行人逗留的预警提醒方法
JP2021117725A (ja) 車両用衝突防止装置および車両用衝突防止方法
US11170637B2 (en) Notification device for self-driving vehicle and notification method for self-driving vehicle
KR102621245B1 (ko) 차량 및 그 제어방법
CN110758380B (zh) 视觉交互系统和视觉交互方法
JP2012156903A (ja) 車両周辺監視装置
CN113401057A (zh) 一种场景随动的全息投影系统及其汽车
CN114194108A (zh) 用于车辆的安全预警装置、安全预警方法和车辆
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム
JP7185571B2 (ja) 視認方向推定装置、視認方向推定方法、およびプログラム
KR20230136830A (ko) 운전자 보조 시스템 및 운전자 보조 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant