CN108367755B - 用于控制至少一个驾驶员交互系统的方法和设备 - Google Patents

用于控制至少一个驾驶员交互系统的方法和设备 Download PDF

Info

Publication number
CN108367755B
CN108367755B CN201680073972.0A CN201680073972A CN108367755B CN 108367755 B CN108367755 B CN 108367755B CN 201680073972 A CN201680073972 A CN 201680073972A CN 108367755 B CN108367755 B CN 108367755B
Authority
CN
China
Prior art keywords
driver
interaction
data
vehicle
interaction system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680073972.0A
Other languages
English (en)
Other versions
CN108367755A (zh
Inventor
A.科特豪尔
F.武尔夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN108367755A publication Critical patent/CN108367755A/zh
Application granted granted Critical
Publication of CN108367755B publication Critical patent/CN108367755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及一种用于控制至少一个驾驶员交互系统的方法。所述方法具有以下步骤:读取所述车辆(100)的驾驶员(105)的至少一个身体部分的数据(145)和交互信号(135),所述交互信号代表所述驾驶员(105)与用于操作所述车辆(100)的行驶功能的至少一个操作装置(120)的所识别的交互。所述方法也具有在使用所述数据(145)的情况下执行将所述驾驶员(105)的交互分类为目标明确的或意外的步骤。此外,所述方法具有产生控制信号(170)用于根据所述分类的结果(165)来控制至少一个驾驶员交互系统(110)的步骤。

Description

用于控制至少一个驾驶员交互系统的方法和设备
技术领域
本发明从根据独立权利要求所述类型的设备或方法出发。计算机程序也是本发明的主题。
背景技术
驾驶员辅助系统可以在自动的或半自动的行驶运行中例如借助在踏板和方向盘上的传感器识别驾驶员的接管意图。一旦感知踏板的一定的运动或在方向盘上的力矩,则可以将其解释为驾驶员的有意接管。
DE 10 2009 050 404 A1描述一种用于控制机动车的全自动的、被构造用于独立的车辆引导的驾驶员辅助系统的运行的方法以及一种机动车。
发明内容
在此背景下,借助在此提出的方案,按照主权利要求来提出一种方法,此外提出一种设备,所述设备使用所述方法,以及提出一种相应的计算机程序。通过在从属权利要求中列出的措施,能够实现在独立权利要求中说明的设备的有利的扩展方案和改进方案。
根据本发明的实施方式,例如借助驾驶员的骨骼模型尤其可以将驾驶员的驾驶员车辆交互分类为有意的交互和无意的交互。换言之,尤其可以提供一种用于对在自动行驶时驾驶员的接管意图进行分类的方法。例如可以实现在自动化行驶时用于区分车辆控制的有意的和无意的接管的这样的方法的应用。因此,尤其可以提出一种方法,用于借助传感器对驾驶员的接管意图精确地分类。
有利地,根据本发明的实施方式可以提高交通安全性,因为尤其在自动化的驾驶员辅助系统中,可以使由系统到驾驶员的行驶任务的重新接管(Rück-Übergabe)更可靠、更安全和更简单。因此,尤其可以在由驾驶员意图的时间点通过可靠的方式停用自动化的驾驶员辅助系统或用于自动化行驶的驾驶员辅助系统。通过驾驶员的意外的运动引起的无意的停用可以被避免。
提出一种用于控制用于车辆的至少一个驾驶员交互系统的方法,其中,所述方法具有以下步骤:
读取所述车辆的驾驶员的至少一个身体部分的数据,以及
读取交互信号,所述交互信号代表所述驾驶员与用于操作所述车辆的驾驶员交互系统的至少一个操作装置的所识别的交互;
在使用所述数据的情况下执行将所述驾驶员的交互分类为目标明确的(zielgerichtet)或意外的;
产生控制信号用于根据所述分类的结果来控制至少一个驾驶员交互系统。
所述方法可以用于如此操控驾驶员交互系统,使得撤销(zurücknehmen)或可以撤销自动化行驶的模式。这可以通过驾驶员辅助的控制来实现,在所述控制中,进行车辆乘员的、例如驾驶员的交互的分类。如果交互被分类为目标明确的,则例如可以评估车辆乘员的位置数据或运动行为。根据这样的评估的结果可以产生用于引入重新接管的合适的控制信号。
所述数据可以例如涉及包括关于至少一个身体部分的位置、状态或交互的信息。因此,所述数据可以仅仅例如示例性地涉及位置数据。
状态的行为可以仅仅示例性地涉及驾驶员的运动行为。因此,所述行为可以涉及驾驶员的运动、位置、状态或交互。
驾驶员交互系统可以被构造用于,实现车辆的至少部分自主的行驶。
所述至少一个驾驶员交互系统可以被构造为多媒体系统、尤其构造为娱乐系统、导航系统、远程技术系统和/或驾驶员辅助系统。
所述至少一个驾驶员交互系统可以被构造用于能够实现所述车辆的至少部分自主的行驶,并且尤其所述驾驶员交互系统的控制包括:通过所述驾驶员重新接管所述至少部分自主的行驶。
可以在使用所述交互信号的情况下执行将所述驾驶员的交互分类为目标明确的或意外的。
所述方法可以例如以软件或硬件的方式或以由软件和硬件组成的混合形式例如在控制设备中实施。车辆可以涉及机动车、尤其陆地车辆(Landfahrzeug)、道路车辆等等,例如载客车辆、载重车辆或其他的商用车辆。至少一个操作装置可以具有踏板、换挡杆、方向盘等等。
根据一种实施方式,所述方法可以具有在使用所述数据的情况下所述驾驶员的至少一个身体部分的三维的身体模型的生成步骤。在此,在所述执行步骤中,可以在使用所述身体模型的情况下执行所述分类。身体模型可以实施为骨骼模型以及附加地或替代地实施为表面模型。所述生成步骤可以一次性地或重复地实施,其中,所生成的身体模型可以借助所读取的数据来被更新。这样的实施方式提供以下优点:可以在使用身体模型的情况下精确地以及确切地对驾驶员的行为进行分类。
在读取步骤中,也可以读取所述驾驶员的上身的、至少一个手臂的以及附加地或替代地至少一个腿的数据。这样的实施方式提供以下优点:可以更准确地解释驾驶员尤其与方向盘以及附加地或替代地驾驶员与踏板机构的交互。为此,数据的或身体模型的焦点可以位于包括手臂在内的躯干上部上或驾驶员的腿上。
在此,可以在所述读取步骤中,连续地以及附加地或替代地重复地读取所述数据。这样的实施方式提供以下优点:可以例如连续地监视驾驶员的运动,以便进一步提高分类的精确度。
尤其可以在所述产生步骤中,产生控制信号,当在所述执行步骤中将行为分类为目标明确的时候,这代表有意的驾驶员接管,则所述控制信号引起所述至少一个驾驶员交互系统的停用和驾驶员接管的引入。在此,在所述产生步骤中,产生控制信号,当在所述执行步骤中将所述行为分类为意外的时候,这代表无意的驾驶员接管,则所述控制信号引起所述至少一个驾驶员交互系统的保持启用(aktiviert lassen)。这样的实施方式提供以下优点:可以快速地并且安全地控制至少一个驾驶员交互系统,以便作出鉴于驾驶员的接管意图方面的决定。
此外,可以在读取步骤中读取图像数据,所述图像数据代表所述车辆的驾驶员的所检测的视线方向以及附加地或替代地头部位置。在此,可以在所述执行步骤中在使用所述视线方向以及附加地或替代地头部位置的情况下执行所述分类。可选地,所述方法可以在此具有在使用图像数据的情况下检测驾驶员的视线方向以及附加地或替代地头部位置的步骤。这样的实施方式提供以下优点:能够实现行为的和分类的结果的合理性验证。因此,可以更可靠地以及更符合状况地控制至少一个驾驶员交互系统。例如,摄像机系统等等能够借助摄像机数据来识别或检测人的头的位置以及附加地或替代地人的视线方向。
根据一种实施方式,可以在所述执行步骤中确定用于所述分类的结果的置信值(Konfidenzwert)。在此,可以在所述产生步骤中根据所述置信值产生所述控制信号。置信值也可以称作置信程度(Konfidenzmaß)。在此,置信值可以充当用于对分类的结果加权的加权因子。置信值可以例如在使用驾驶员的视线方向以及附加地或替代地驾驶员的头部位置的情况下被确定。这样的实施方式提供以下优点:可以进一步提分类结果的可靠性和精确性。
也可以在读取步骤中从关于立体摄像机装置的、运行时间摄像机装置的、以及附加地或替代地条带投影检测装置的接口读取所述数据。这样的实施方式提供以下优点:能够实现驾驶员的运动的准确的、快速的和可靠的观察以及可选地跟踪。借助3D传感器可以例如识别并提供人的身体模型。此外,在所述读取步骤中,可以从关于图像评估装置的接口读取数据。图像评估装置可以被构造用于在使用由图像检测装置检测的图像的情况下确定数据。为此,图像评估装置可以构造用于执行合适的图像评估。这样的图像评估装置也可以集成在图像检测装置中,从而在图像检测装置中已经可以确定数据。在这种情况下,可以减少待由图像检测装置传输的数据量。
此外,可以在所述读取步骤中,从关于至少一个识别装置的接口读取所述交互信号,所述至少一个识别装置用于识别通过所述驾驶员施加到所述至少一个操作装置上的力矩以及附加地或替代地通过所述驾驶员引起的所述至少一个操作装置的位置变化。这样的实施方式提供以下优点:可以进行对所识别的交互的快速反应,其中,可以通过安全的和简单的方式识别所述交互。
在此提出的方案还创建一种设备,所述设备被构造用于,在相应的装置中执行、操控或者实施在此所提出的方法的变型方案的步骤。通过本发明的以设备形式的实施变型方案也可以快速和高效地解决本发明所基于的任务。
为此,所述设备可以具有:用于处理信号或数据的至少一个计算单元;用于存储信号或数据的至少一个存储单元;关于传感器或执行器的至少一个接口,用于从传感器读取传感器信号或用于输出数据信号或控制信号到执行器;和/或用于读取或输出数据的至少一个通信接口,其嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器等等,其中,存储单元可以是闪存存储器、EPROM或磁性存储单元。通信接口可以被构造用于,无线地和/或有线地读取或输出数据,其中,可以读取或输出有线的数据的通信接口可以例如以电的方式或以光学的方式从相应的数据传输线路读取数据或将数据输出到相应的数据传输线路中。
设备当前可以理解为如下电设备,所述电设备处理传感器信号并且据此来输出控制信号和/或数据信号。所述设备可以具有能够硬件式和/或软件式构造的接口。在硬件式的构造方案中,接口例如可以是所谓的系统ASIC的如下部分,所述部分包含所述设备的最不同功能。然而,也可能的是,接口是自身的集成电路或至少部分地由分立的器件组成。在软件式的构造方案中,接口可以是软件模块,其例如与其他软件模块共存在微控制器上。
在一种有利的构型方案中,通过所述设备来进行对车辆的至少一个驾驶员交互系统进行控制。对此,所述设备可以例如访问传感器信号,例如数据,交互信号和可选地访问图像数据。经由借助所述设备所产生的控制信号来进行操控。
具有程序代码的计算机程序产品或者计算机程序也是有利的,所述程序代码可以存储在机器可读的载体或者存储介质,如半导体存储器、硬盘存储器或光学存储器上,并且当在计算机或者设备上运行程序产品或者程序时尤其用于执行、实施和/或操控根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在以下的描述中详细阐述本发明的实施例。其中:
图1示出根据一个实施例的用于重新接管自动化地行驶的车辆的设备的框图;以及
图2示出根据一个实施例的用于重新接管自动化地行驶的车辆的方法的流程图。
在本发明的有利的实施例的以下描述中,对于在不同的图中示出的并且类似地起作用的元件使用相同的或类似的附图标记,其中,放弃对这些元件的重复描述。
具体实施方式
图1示出根据一种实施例的用于控制至少一个驾驶员交互系统的、布置在车辆100中的设备的示意图。车辆100涉及机动车、例如载客车辆或商用车辆。根据在图1中示出的实施例,驾驶员105位于车辆100中。
车辆100中,根据在图1中示出的实施例,仅仅示例性地示出驾驶员交互系统110、方向盘120形式的操作装置120、识别装置130、检测装置140、车辆摄像机150和设备160。在此,设备160通过一个或多个接口有数据传输能力地或有信号传输能力地与驾驶员交互系统110、识别装置130、检测装置140和车辆摄像机150连接。
驾驶员交互系统110被构造用于能够实现车辆100的至少部分自主的行驶。在此,驾驶员交互系统110尤其构造用于使车辆100至少部分无关于驾驶员105地在道路交通中运动。驾驶员105可以至少部分地将行驶任务转交给驾驶员交互系统110。同样地,驾驶员105可以从驾驶员交互系统110重新接管行驶任务或者驾驶员交互系统110可以将行驶任务归还或转交给驾驶员105。
识别装置130被构造用于识别通过所述驾驶员105施加到方向盘120上的力矩。在此,识别装置130被构造用于从方向盘120接收测量信号125并且在使用测量信号125的情况下产生并提供交互信号135。交互信号135代表驾驶员105与操作装置120的所识别的交互,在此为所识别的力矩,该力矩通过驾驶员105施加到方向盘120上。
检测装置140被构造用于检测并提供驾驶员105的至少一个身体部分的数据145。在此,检测装置140根据在图1中示出的实施例实施为图像检测装置,在此实施为立体摄像机装置。替代地,检测装置140也可以实施为运行时间摄像机装置和/或条带投影检测装置。根据一个实施例,数据145示出身体部分在车辆100内的位置。从在时间上彼此相继的数据145可以确定身体部分的运动的变化过程。通过运动的变化过程的分析,根据一个实施例确定,驾驶员105的包含运动的行为应被分类为目标明确的还是意外的。
例如,检测装置140被构造用于检测至少一个身体部分的图像并且在使用图像评估算法的情况下从身体部分的图像确定数据145。替代地,数据145可以包括身体部分的图像,并且可以在设备160内执行数据135的合适的评估、预处理(Aufbereitung)或分析。
车辆摄像机150被构造用于记录并提供驾驶员105的图像数据155。尤其车辆摄像机150也被构造用于在所记录的原始图像数据中检测驾驶员105的视线方向和/或头部位置。在此,图像数据155代表驾驶员105的所检测的视线方向和/或头部位置。
设备160被构造用于控制至少一个驾驶员交互系统110。在此,控制设备160被构造用于在使用交互信号135和数据145的情况下产生用于控制驾驶员交互系统110的控制信号170。为此,控制设备160具有读取装置162、执行装置164和产生装置166。
设备160的读取装置162被构造用于从关于识别装置130的接口读取交互信号135并且从关于检测装置140的接口读取数据145。读取装置162也被构造用于将交互信号135和数据145转发给执行装置164。
执行装置164被构造用于在使用数据145的情况下并且可选地在使用交互信号135的情况下执行将所述驾驶员105的交互分类为目标明确的或意外的。换言之,执行装置164被构造用于根据数据145和可选地根据交互信号135将驾驶员105的交互分类为目标明确的或意外的。此外,执行装置164被构造用于提供结果信号165或者向产生装置166输出结果信号,其中,结果信号165代表分类的结果,也即驾驶员105的被分类为目标明确的或意外的交互。
产生装置166被构造用于根据通过执行装置164执行的分类的结果或者根据结果信号164来产生用于控制至少一个驾驶员交互系统110的控制信号170。产生装置166或设备160也构造用于为驾驶员交互系统110提供控制信号170或者将控制信号输出给驾驶员交互系统110。
产生装置166尤其被构造用于产生控制信号170,当所述行为通过执行装置164分类为目标明确的时候,所述控制信号引起:停用驾驶员交互系统110并引入驾驶员接管。分类为目标明确的行为代表有意的驾驶员接管。同样地,产生装置166尤其被构造用于产生控制信号170,当所述交互通过执行装置164分类为意外的时候,所述控制信号引起驾驶员交互系统110的保持启用。分类为意外的交互代表无意的或非有意的驾驶员接管。
根据一个实施例,借助检测装置140所检测的数据145涉及驾驶员105的上身、至少一个手臂和/或至少一个腿。
附加地或替代地,操作装置120可以具有车辆100的至少一个踏板或换挡杆。在此,识别装置130可以构造用于提供交互信号135,所述交互信号代表通过驾驶员105引起的这样的操作装置120的位置变化。
根据一个实施例,读取装置162或设备160被构造用于从关于车辆摄像机150的接口读取图像数据155。在此,读取装置162也被构造用于提供执行装置164的所读取的图像数据155。执行装置164被构造用于在使用代表视线方向和/或头部位置的图像数据155的情况下执行分类。因此,根据该实施例,附加地在使用图像数据155的情况下产生控制信号170。
设备160根据一个实施例尤其是被构造用于,在使用数据145的情况下生成驾驶员105的至少一个身体部分的三维的身体模型。在此,执行装置164被构造用于在使用所生成的三维的身体模型的情况下执行分类。身体模型例如涉及驾驶员105的三维的骨骼模型。因此,设备160被构造用于为了产生控制信号170而利用在使用数据145的情况下所生成的身体模型。
图2示出根据一个实施例的用于控制至少一个驾驶员交互系统的方法200的流程图。方法200能够实施用于操控车辆的至少一个驾驶员交互系统。驾驶员交互系统在此构造用于能够实现车辆的至少部分自主的行驶。方法200能够以与图1中的设备或类似的设备的使用相结合的方式来实施或在使用图1中的设备或类似的设备的情况下来实施。此外,所述方法200也能够以与图1中的车辆或类似的车辆相结合的方式来实施。
方法200具有读取交互信号和关于车辆的驾驶员的至少一个身体部分的数据的步骤210。交互信号代表驾驶员与用于操作车辆的行驶功能的至少一个操作装置的所识别的交互。
在关于读取步骤210而言接下来能够实施的所述执行步骤220中,在方法200中在使用所读取的数据和可选地所读取的交互信号的情况下执行将驾驶员的交互分类为目标明确的或意外的。
此外,在方法200中,在关于所述执行步骤220而言接下来能够实施的所述产生步骤230中,根据在所述执行步骤220中所执行的分类的结果来产生用于控制至少一个驾驶员交互系统的控制信号。
根据一个实施例,在读取步骤210中连续地和/或重复地读取数据。根据一个实施例,在读取步骤210中也附加地读取图像数据,所述图像数据代表车辆的驾驶员的所检测的视线方向和/或头部位置。在此,在所述执行步骤220中,在使用通过所读取的图像数据所代表的视线方向和/或头部位置的情况下执行分类。
可选地,附加地尤其在所述执行步骤220中,确定用于分类的结果的置信值。在此,在所述产生步骤230中根据置信值产生控制信号。
根据另一个实施例,方法200此外具有在使用所读取的数据的情况下对驾驶员的至少一个身体部分的三维的身体模型进行的生成步骤240。在此,所述生成步骤240能够在分类的执行步骤220之前实施。在生成步骤240中,三维的身体模型可以一次性地被生成并且在使用所读取的数据的情况下被连续更新或者在使用所读取的数据的情况下被重复地生成。在此,在执行步骤220中,在使用生成步骤240生成的身体模型的情况下执行分类。
参考图1和2,下面汇总性地并且以其他言语描述实施例。在此可以使用一些传感器或方法,在使用所述传感器或方法的情况下例如可以创建驾驶员105的三维的骨骼模型。在此,驾驶员105的上身区域以及附加地或替代地腿区域可以是特别意义重大的。
在车辆100的至少部分自动化行驶期间,通过设备160和/或方法200如此分类或控制驾驶员接管。
驾驶员105尤其连续地借助存在的3D传感机构或检测装置140来测量。如此获取的数据145借助设备160例如被处理成三维的骨骼模型。借助识别装置130,借助于通用的传感器、诸如在踏板机构上的位置传感机构、在方向盘上的力矩传感机构等等,进行对与踏板机构和/或方向盘120的驾驶员交互的识别。
如果交互信号135表明驾驶员105与踏板机构或方向盘120的交互,则借助于骨骼模型,驾驶员105的行为借助设备160、例如在应用用于控制的方法200的情况下被分类。在此分类:所述交互是否是目标明确的,例如驾驶员105将手置于方向盘120上并且就不再继续移动;或者所述交互是否意外地在其他运动期间进行,例如驾驶员105向后转并且在此以手和/或腿擦碰到方向盘120上。头部位置的和/或视线方向的基于视频的探测的图像数据155可以附加地用于合理性验证。如果视线和头部姿势向车辆100外部对准,也就是说驾驶员105恰好没有分心并且至少从挡风玻璃或前部侧窗看时,那么接管意图可以是目标明确的。附加地,可以在对驾驶员105的交互分类的情况下计算用于分类的置信程度。
根据分类的结果或结果信号165以及必要时根据置信程度可以决定:驾驶员接管是否有意地通过驾驶员105引起。视所述决定的结果而定地,使自动化的驾驶员交互系统110响应于控制信号170,要么将行驶任务转交给驾驶员105并且自身停用要么保持激活。
如果一个实施例包括第一特征与第二特征之间的“和/或”关联,则这应解读如下:所述实施例根据一种实施方式不仅具有第一特征,而且具有第二特征;并且根据另一种实施方式要么仅仅具有第一特征,要么仅仅具有第二特征。

Claims (17)

1.一种用于控制用于车辆(100)的至少一个驾驶员交互系统(110)的方法(200),其中,所述方法(200)对在自动行驶时驾驶员的接管意图进行分类,所述方法具有以下步骤:
读取(210)所述车辆(100)的驾驶员(105)的至少一个身体部分的数据(145),以及
读取(210)交互信号(135),所述交互信号代表所述驾驶员(105)与用于操作所述车辆(100)的所述驾驶员交互系统(110)的至少一个操作装置(120)的所识别的交互;
在使用所述数据(145)的情况下执行(220)将所述驾驶员(105)的所述交互分类为目标明确的或意外的并且区分所述驾驶员对车辆控制的接管是有意的还是无意的;以及
产生(230)控制信号(170)用于根据所述分类的结果(165)来控制所述至少一个驾驶员交互系统(110)。
2.根据权利要求1所述的方法(200),其中,所述至少一个驾驶员交互系统(110)构造为多媒体系统(110)。
3.根据权利要求1所述的方法(200),其中,所述至少一个驾驶员交互系统(110)被构造用于,能够实现所述车辆(100)的至少部分自主的行驶。
4.根据权利要求1至3中任一项所述的方法(200),其中,在使用所述交互信号(135)的情况下执行:将所述驾驶员(105)的所述交互分类为目标明确的或意外的。
5.根据权利要求1至3中任一项所述的方法(200),所述方法具有在使用所述数据(145)的情况下所述驾驶员(105)的至少一个身体部分的三维的身体模型的生成步骤(240),其中,在所述执行步骤(220)中,在使用所述身体模型的情况下执行所述分类。
6.根据权利要求1至3中任一项所述的方法(200),其中,在所述读取步骤(210)中,读取所述驾驶员(105)的上身的和/或至少一个腿的数据(145)。
7.根据权利要求1至3中任一项所述的方法(200),其中,在所述读取步骤(210)中,连续地和/或重复地读取所述数据(145)。
8.根据权利要求3所述的方法(200),其中,在所述产生步骤(230)中,产生控制信号(170),当在所述执行步骤(220)中将行为分类为目标明确的时候,这代表有意的驾驶员接管,则所述控制信号引起所述至少一个驾驶员交互系统(110)的停用和驾驶员接管的引入,其中,在所述产生步骤(230)中,产生控制信号(170),当在所述执行步骤(220)中将行为分类为意外的时候,这代表无意的驾驶员接管,则所述控制信号引起所述至少一个驾驶员交互系统(110)的保持启用。
9.根据权利要求1至3中任一项所述的方法(200),其中,在所述读取步骤(210)中读取图像数据(155),所述图像数据代表所述车辆(100)的所述驾驶员(105)的所检测的视线方向和/或头部位置,其中,在所述执行步骤(220)中在使用所述视线方向和/或头部位置的情况下执行所述分类。
10.根据权利要求1至3中任一项所述的方法(200),其中,在所述执行步骤(220)中确定用于所述分类的结果(165)的置信值,其中,在所述产生步骤(230)中根据所述置信值产生所述控制信号(170)。
11.根据权利要求1至3中任一项所述的方法(200),其中,在所述读取步骤(210)中,从关于立体摄像机装置、运行时间摄像机装置、条带投影检测装置和/或图像评估装置的接口读取所述数据(145)。
12.根据权利要求1至3中任一项所述的方法(200),其中,在所述读取步骤(210)中,从关于至少一个识别装置的接口读取所述交互信号(135),所述至少一个识别装置用于识别通过所述驾驶员(105)施加到所述至少一个操作装置(120)上的力矩和/或通过所述驾驶员(105)引起的所述至少一个操作装置(120)的位置变化。
13.根据权利要求2所述的方法(200),其中,所述至少一个驾驶员交互系统(110)构造为娱乐系统、导航系统、远程技术系统和/或驾驶员辅助系统。
14.根据权利要求3所述的方法(200),其中,所述驾驶员交互系统(110)的所述控制包括:通过所述驾驶员(105)重新接管所述至少部分自主的行驶。
15.根据权利要求6所述的方法(200),其中,在所述读取步骤(210)中,读取所述驾驶员(105)的至少一个手臂的数据(145)。
16.一种用于控制用于车辆(100)的至少一个驾驶员交互系统(110)的设备(160),所述设备被设立用于,在相应的单元中实施根据权利要求1至15中任一项所述的方法(200)的步骤。
17.一种机器可读的存储介质,在所述机器可读的存储介质上存储有被设立用于实施根据权利要求1至15中任一项所述的方法(200)的计算机程序。
CN201680073972.0A 2015-12-16 2016-11-10 用于控制至少一个驾驶员交互系统的方法和设备 Active CN108367755B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102015225393 2015-12-16
DE102015225393.7 2015-12-16
DE102016206771.0A DE102016206771A1 (de) 2015-12-16 2016-04-21 Verfahren und Vorrichtung zum Steuern zumindest eines Fahrerinteraktionssystems
DE102016206771.0 2016-04-21
PCT/EP2016/077258 WO2017102188A1 (de) 2015-12-16 2016-11-10 Verfahren und vorrichtung zum steuern zumindest eines fahrerinteraktionssystems

Publications (2)

Publication Number Publication Date
CN108367755A CN108367755A (zh) 2018-08-03
CN108367755B true CN108367755B (zh) 2021-12-21

Family

ID=58994662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073972.0A Active CN108367755B (zh) 2015-12-16 2016-11-10 用于控制至少一个驾驶员交互系统的方法和设备

Country Status (4)

Country Link
US (1) US10752256B2 (zh)
CN (1) CN108367755B (zh)
DE (1) DE102016206771A1 (zh)
WO (1) WO2017102188A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
DE102017213008B4 (de) * 2017-07-27 2019-05-09 Continental Automotive Gmbh Verfahren zum Betreiben eines mit einem Handschaltgetriebe und einer automatischen Kupplung ausgebildeten Kraftfahrzeugs und Kraftfahrzeug
DE102018215969A1 (de) * 2018-09-19 2020-03-19 Robert Bosch Gmbh Verfahren zum Klassifizieren einer fahraufgabenfremden Aktivität eines Fahrers hinsichtlich einer Unterbrechbarkeit der fahraufgabenfremden Aktivität bei einer Übernahmeaufforderung der Fahraufgabe und Verfahren zur Wiederfreigabe einer fahraufgabenfremden Aktivität nach einer Unterbrechung der fahraufgabenfremden Aktivität aufgrund einer Übernahmeaufforderung der Fahraufgabe
DE102019132577A1 (de) * 2019-12-02 2021-06-02 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Beenden einer automatisierten Fahrzeugführung
KR20210070117A (ko) * 2019-12-04 2021-06-14 현대자동차주식회사 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765598A (zh) * 2014-01-06 2015-07-08 哈曼国际工业有限公司 自动驾驶者识别

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP5168000B2 (ja) * 2008-07-17 2013-03-21 トヨタ自動車株式会社 操作支援装置および操作支援方法
DE102009050404A1 (de) 2009-10-22 2011-05-05 Audi Ag Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
JP5182449B2 (ja) * 2010-04-07 2013-04-17 トヨタ自動車株式会社 車両の制御装置
DE102011011802A1 (de) * 2011-02-19 2012-08-23 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle, insbesondere in einem Fahrzeug
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US20140121927A1 (en) * 2011-07-11 2014-05-01 Kiyoto Hanita Vehicle emergency evacuation device
DE102012012697A1 (de) * 2012-06-26 2014-01-02 Leopold Kostal Gmbh & Co. Kg Bediensystem für ein Kraftfahrzeug
WO2014089202A1 (en) 2012-12-04 2014-06-12 L3 Communications Corporation Touch sensor controller responsive to environmental operating conditions
JP6267558B2 (ja) * 2014-03-25 2018-01-24 株式会社デンソーテン 車両用装置及び車両制御方法
US20160107642A1 (en) * 2014-10-15 2016-04-21 Continental Automotive Systems, Inc. Collision avoidance system using driver eye monitoring during gear change

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765598A (zh) * 2014-01-06 2015-07-08 哈曼国际工业有限公司 自动驾驶者识别

Also Published As

Publication number Publication date
US10752256B2 (en) 2020-08-25
CN108367755A (zh) 2018-08-03
US20190009793A1 (en) 2019-01-10
DE102016206771A1 (de) 2017-06-22
WO2017102188A1 (de) 2017-06-22

Similar Documents

Publication Publication Date Title
CN108367755B (zh) 用于控制至少一个驾驶员交互系统的方法和设备
CN109863461B (zh) 用于在停用车辆的高度自动化驾驶模式时支持驾驶员的方法和设备
CN108885836B (zh) 驾驶辅助装置、系统、方法、控制装置、车辆及介质
US9429946B2 (en) Driving control system and dynamic decision control method thereof
JP5132750B2 (ja) 運転者支援システムのための実世界の交通場面からの視覚特性の行動ベース学習
US10124775B2 (en) Method and device for operating a vehicle which is capable of autonomous driving
CN111216792B (zh) 一种自动驾驶车辆状态监测系统及方法、汽车
KR101436624B1 (ko) 차선 유지 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN108602510B (zh) 用于设计成至少部分自动化驾驶的车辆的踏板系统
CN109552324A (zh) 车辆控制装置
US20120316723A1 (en) method for determining at least one trafficable area in the surroundings of a motor vehicle
US11292463B2 (en) Determination of a control signal for an in-part-autonomous vehicle
CN112689587A (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
US20200033863A1 (en) Adaptation of an evaluable scanning area of sensors and adapted evaluation of sensor data
CN113748060A (zh) 用于求取车辆的应有功能的安全水平的方法、安全系统和车辆
CN114987507A (zh) 用于求取挂车的空间定向的方法、装置和存储介质
CN114537431A (zh) 自动驾驶控制方法和控制装置
JP2024026539A (ja) 制御装置、方法およびプログラム
US11643113B2 (en) Target identification device and driving assistance device
CN115071723A (zh) 在行驶期间检测驾驶员的手握住/松开方向盘的方法和系统
CN113165611A (zh) 用于在单轮辙式的机动车中执行自主制动的方法和装置
US11878705B2 (en) Method and apparatus for generating test case for dynamic verification of autonomous driving system
KR102281652B1 (ko) 자동 긴급 제동 시스템 및 그의 종방향 가속 의도 추정 방법
US20240078819A1 (en) Steering wheel contact detection
US20230192111A1 (en) Input processing device, function setting method, storage medium

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant