CN117657001A - 方向盘接触检测 - Google Patents

方向盘接触检测 Download PDF

Info

Publication number
CN117657001A
CN117657001A CN202311096343.8A CN202311096343A CN117657001A CN 117657001 A CN117657001 A CN 117657001A CN 202311096343 A CN202311096343 A CN 202311096343A CN 117657001 A CN117657001 A CN 117657001A
Authority
CN
China
Prior art keywords
image
steering wheel
vehicle
computer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311096343.8A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
Y·杰恩
瑞恩·索斯比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN117657001A publication Critical patent/CN117657001A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/08—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to driver input torque
    • B62D6/10—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to driver input torque characterised by means for sensing or determining torque
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04—Hand wheels
    • B62D1/046—Adaptations on rotatable parts of the steering wheel for accommodation of switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开提供“方向盘接触检测”。可以检测与车辆的方向盘接触的对象。然后获得所述方向盘在第一旋转角度下的第一图像和所述方向盘在第二旋转角度下的第二图像。基于所述第一图像或所述第二图像中的至少一者将所述对象的类型识别为人手或外来对象中的一者。基于所述对象的所述类型来控制车辆部件。

Description

方向盘接触检测
技术领域
本公开涉及车辆中的方向盘接触检测。
背景技术
诸如电容传感器的接触传感器可以包括在车辆方向盘中或车辆方向盘上，以确定用户的手是否与方向盘接触。然而，接触传感器至多检测导电对象是否与方向盘接触。
发明内容
如本文所公开的，车辆中的计算机可以输出对与车辆中的方向盘接触的对象是人手还是某个其他对象的预测或确定。计算机可以从方向盘传感器(例如，车辆方向盘中或车辆方向盘上的电容传感器等)接收指示对象与方向盘接触的数据。计算机可以从车辆中的一个或多个相机接收另外的数据，即，图像数据。可以基于图像数据来确定方向盘的旋转角度。例如，计算机可以根据第一图像确定第一方向盘旋转角度并根据第二图像确定第二方向盘旋转角度。此外，可以从第一图像或第二图像中的一者或两者将对象的类型识别为人手或某个其他对象(在本文中称为“外来”对象)。然后可以基于对象的类型来控制车辆。例如，如果对象是外来对象，则车辆计算机可以向用户输出消息和/或可以采用其他控制选项，诸如限制车辆速度、经由车辆方向盘或座椅提供触觉输出等。
因此，一种系统包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行使得所述处理器被编程为检测与车辆的方向盘接触的对象；获得所述方向盘在第一旋转角度下的第一图像和所述方向盘在第二旋转角度下的第二图像；基于所述第一图像或所述第二图像中的至少一者将所述对象的类型识别为人手或外来对象中的一者；以及基于所述对象的类型来控制车辆部件。
所述处理器还可以被编程为基于所述对象的深度估计来识别所述对象的类型。所述处理器还可以被编程为通过凭借组合所述第一图像和所述第二图像确定所述方向盘的表面法线来获得所述对象的深度估计。所述处理器还可以被编程为基于来自方向盘扭矩传感器和电位计中的一者或两者的数据来识别所述对象的类型。
所述处理器还可以被编程为基于关于所述车辆的当前用户的数据来控制所述车辆部件。关于所述车辆的当前用户的数据可以是眼睛注视数据。替代地或另外，关于所述车辆的当前用户的数据可以是操作员配置文件数据。
所述处理器还可以被编程为接收从第一相机提供的第一图像和从第二相机提供的第二图像。所述第一图像或所述第二图像中的至少一者可以从雷达和/或激光雷达提供。
接触传感器可以被布置成提供指示所述对象与所述方向盘接触的信号。
所述处理器还可以被编程为在将所述对象的类型识别为所述人手时，基于所述人手相对于所述方向盘上的界标的位置来控制所述车辆部件。
所述处理器还可以被编程为基于所述第一图像和所述第二图像两者来识别所述对象的类型。
一种方法包括：检测与车辆的方向盘接触的对象；获得所述方向盘在第一旋转角度下的第一图像和所述方向盘在第二旋转角度下的第二图像；基于所述第一图像或所述第二图像中的至少一者将所述对象的类型识别为人手或外来对象中的一者；以及基于所述对象的类型来控制车辆部件。
所述方法还可以包括基于所述对象的深度估计来识别所述对象的类型。所述方法还可以包括通过凭借组合所述第一图像和所述第二图像确定所述方向盘的表面法线来获得所述对象的深度估计。所述方法还可以包括基于来自方向盘扭矩传感器和电位计中的一者或两者的数据来识别所述对象的类型。
所述方法还可以包括基于关于所述车辆的当前用户的数据来控制所述车辆部件。所述方法还可以包括从第一相机接收所述第一图像和从第二相机接收所述第二图像。所述方法还可以包括基于所述第一图像和所述第二图像两者来识别所述对象的类型。
附图说明
图1是示例性方向盘对象接触检测系统的框图。
图2是包括方向盘对象接触检测系统的元件的车厢的示例性部分的透视图。
图3是包括方向盘对象接触检测系统的元件的车厢的示例性部分的侧视图。
图4A和图4B是示例性方向盘对象接触检测系统的另外的透视图，包括方向盘与外来对象接触并且处于第一旋转角度和第二旋转角度。
图5是示出用于操作方向盘对象接触检测系统的示例性过程的过程流程图。
具体实施方式
参考图1，方向盘对象接触检测系统100可以包括车辆102和其中的元件。车辆102可以是任何合适类型的地面车辆，例如客车或商用汽车，诸如轿车、轿跑车、卡车、运动型多功能车、跨界车、货车、小型货车、出租车、公共汽车等。车辆102可以包括车辆计算机104的各种传感器106、子系统或部件108，包括在车辆网络110上通信的人机界面(HMI)。
车辆计算机104包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可以由车辆计算机104执行以用于执行各种操作，包括如本文所公开的各种操作。例如，车辆计算机104可以是具有如上所述的处理器和存储器的通用计算机，和/或可以包括用于特定功能或功能集的电子控制单元ECU或控制器，和/或专用电子电路，所述专用电子电路包括针对特定操作而制造的ASIC(专用集成电路)，例如用于处理传感器106数据和/或传送传感器106数据的ASIC。在另一个示例中，车辆计算机104可以包括FPGA(现场可编程门阵列)，所述FPGA是被制造为可由用户配置的集成电路。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)的硬件描述语言来描述诸如FPGA和ASIC的数字和混合信号系统。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件108可以基于例如存储在电连接到FPGA电路的存储器中的VHDL编程来配置。在一些示例中，计算机104中可以包括处理器、ASIC和/或FPGA电路的组合。
存储器可以是任何类型，例如，硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。存储器可以存储从传感器106发送的所收集数据。存储器可以是与计算机104分离的装置，并且计算机104可经由车辆102中的网络(例如，通过CAN总线、无线网络等)检索由存储器存储的信息。替代地或另外，存储器可以是计算机104的一部分，例如作为计算机104的存储器。计算机104可包括编程以操作以下中的一者或多者：车辆102的制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆102的加速)、转向、气候控制、内部和/或外部灯等，以及确定计算机104(而非人类操作员)是否并且何时控制此类操作。另外，计算机104可以被编程为确定人类操作员是否以及何时控制此类操作。
计算机104可以包括多于一个处理器或例如经由如下文进一步描述的车辆网络110(诸如通信总线)与多于一个处理器通信地耦合，所述处理器例如包括在车辆102中所包括的用于监测和/或控制各种车辆部件(例如，动力传动系统控制器、制动控制器、转向控制器等)的部件108(诸如传感器106、电子控制单元(ECU)等)中。本文描述的车辆计算机104可以包括用于对车辆计算机104执行本文描述的操作的多个装置(例如，ECU等)。因此，替代地或另外，在计算机104实际上包括多个装置的情况下，车辆102通信网络可用于在本公开中表示为计算机104的装置之间进行通信。此外，如下所述，各种控制器和/或传感器106可以经由车辆102通信网络向计算机104提供数据。
车辆102通常包括多种传感器106。传感器106是可以获得一个或多个物理现象的一个或多个测量值的装置。一些传感器106检测车辆102的内部状态，例如车轮转速、车轮取向以及发动机和变速器变量。一些传感器106检测车辆102的位置或取向，例如全球定位系统GPS传感器106；加速度计，诸如压电或微机电系统MEMS；陀螺仪，诸如速率陀螺仪、环形激光陀螺仪或光纤陀螺仪；惯性测量单元IMU；以及磁力计。一些传感器106检测外部世界和/或车辆102内部，所述传感器例如雷达传感器106、扫描激光测距仪、光探测和测距LIDAR装置以及诸如相机206(参见图2-图4)的图像处理传感器106。LIDAR装置通过发出激光脉冲并测量脉冲行进到对象并且返回的飞行时间来检测与对象的距离。一些传感器106是通信装置，例如车辆对基础设施V2I或车辆对车辆V2V装置。传感器106的操作可能会受到遮挡物(例如灰尘、雪、昆虫等)的影响。通常但不一定，传感器106包括数模转换器以将感测到的模拟数据转换成数字信号，所述数字信号可以例如经由诸如本文描述的数字网络提供给数字计算机104。传感器106可以包括各种装置，并且可以被设置成以各种方式感测环境、提供关于机器的数据等。例如，传感器106可以安装到道路上、道路上方或附近的静止基础设施元件。此外，车辆102中的各种控制器可以充当传感器106以经由车辆网络110或总线提供数据，例如与车辆102速度、加速度、位置、子系统和/或部件108状态等有关的数据。此外，车辆102、静止基础设施元件等基础设施中或上的其他传感器106可以包括相机206、短程雷达、远程雷达、LIDAR和/或超声换能器、重量传感器106、加速度计、运动检测器等，即，提供各种数据的传感器106。仅提供几个非限制性示例，传感器106数据可以包括用于确定部件108的位置、对象的位置、对象的速度、对象的类型、道路的坡度、温度、水分的存在或量、驾驶员的眼睛注视、车辆中的乘客的位置和/或姿态、燃料水平、数据速率等的数据。
车辆传感器106包括一个或多个相机206，其可以检测在某个波长范围内的电磁辐射。例如，相机206可以检测可见光、红外辐射、紫外光或包括可见光、红外光和/或紫外光的某个范围的波长。例如，相机206可以是电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)或任何其他合适的类型。又例如，传感器106可以包括飞行时间TOF相机206，其包括用于照亮环境的调制光源并检测来自调制光源的反射光和环境光两者，以感测反射率振幅和到场景的距离。
车辆传感器106还可以包括方向盘传感器106，诸如输出施加到方向盘202上的扭矩的扭矩传感器106、测量位置并且可以用于确定方向盘202的角度的旋转电位计、和/或接触传感器208。接触传感器208可以是用于检测对象接触方向盘的任何合适的接触传感器，诸如方向盘202中或上面的电容传感器，即，检测由接近人类皮肤引起的电场变化的传感器，诸如表面电容传感器、投射电容触摸传感器诸如互电容传感器、自电容传感器等。
计算机104可以包括编程以命令一个或多个致动器操作一个或多个车辆102子系统或部件108，诸如车辆102制动、推进或转向。即，计算机104可以通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来致动对车辆102中的加速度的控制，和/或可以致动对制动、转向、气候控制、内部和/或外部灯等的控制。计算机104可以包括多于一个处理器或例如经由车辆网络110通信地耦合到多于一个处理器，所述多于一个处理器例如包括在用于监测和/或控制各种车辆部件(例如，ECU等，诸如动力传动系统控制器、制动控制器、转向控制器等)的部件108(诸如传感器106、电子控制单元(ECU)等)中。
车辆部件可以包括HMI 112。车辆102可以包括HMI 112(人机界面)，例如显示器、触摸屏显示器、传声器、扬声器、触觉致动器(例如，车辆102的座椅或方向盘202中)等中的一者或多者。用户可以经由HMI 112向装置诸如计算机104提供输入。HMI 112可以经由车辆网络110与计算机104通信，例如，HMI 112可以向计算机104发送包括经由触摸屏、传声器、捕捉手势的相机206等提供的用户输入的消息，和/或可以例如经由屏幕、扬声器等显示输出。
车辆网络110是通信网络，经由所述通信网络，可以在车辆102中的各种装置(例如，计算机104、传感器106、部件108中所包括的致动器等)之间交换消息。计算机104通常可以被编程为经由车辆网络110向车辆102中的其他装置(例如，ECU、传感器106、致动器、部件108、通信模块、人机界面HMI 112等中的任一者或全部)发送消息和/或从其接收消息。另外或替代地，消息可以经由车辆网络110在车辆102中的各种这样的其他装置之间交换。在计算机104实际上包括多个装置的情况下，车辆网络110可以用于在本公开中表示为计算机104的装置之间进行通信。此外，如以下所提及，各种控制器和/或车辆102传感器106可以向计算机104提供数据。在一些实施方式中，车辆网络110可以是其中经由车辆102通信总线传达消息的网络。例如，车辆网络110可以包括其中经由控制器局域网CAN总线传达消息的CAN，或者其中经由局域互连网LIN总线传达消息的LIN。在一些实施方式中，车辆网络110可以包括其中使用其他有线通信技术和/或无线通信技术(例如，以太网、WiFi、蓝牙等)传达消息的网络。在一些实施方式中可以用于通过车辆网络110进行通信的协议的另外的示例包括但不限于面向媒体的系统传输MOST、时间触发协议TTP和FlexRay。在一些实施方式中，车辆网络110可以表示支持车辆102中装置之间通信的可能是不同类型的多个网络的组合。例如，车辆网络110可以包括：CAN，其中车辆102中的一些装置经由CAN总线进行通信；以及有线或无线局域网，其中车辆102中的一些装置根据以太网或Wi-Fi通信协议进行通信。
图2示出了车厢200的一部分，其包括车辆102中的检测系统100的另外的元件，所述元件包括安装到转向柱204上的方向盘202和安装到转向柱204上的相机206。尽管在本图中示出了单个相机206，但是多个相机206可以设置在车厢200中。例如，作为安装到转向柱204上的相机206的补充或替代，车厢200可以包括安装在驾驶员后面的相机206，所述相机具有包括车辆102操作员和/或方向盘202的视野210(参见图3)的前向视野。又进一步替代地或另外，相机206可以安装在内部车顶表面中或上面、安装在内部后视镜或镜子总成上或附近等，由此替代地或另外，相机206可以提供车辆102操作员和/或方向盘202的侧视图或后视图。此外，一个或多个接触传感器208可以嵌入方向盘202中和/或安装在方向盘上。此外，通常提供转向扭矩传感器106(未示出)，并且所述转向扭矩传感器可以输出方向盘202的旋转角度。如上所述，接触传感器208和转向扭矩传感器106可以经由车辆网络110向车辆计算机104提供数据。
图3从侧视图示出了车厢200的一部分。如图3中可见，相机206可以包括视野210，所述视野涵盖车辆102操作员以及方向盘202的一部分。如上文提及，其他相机206可以替代地或另外设置在车厢200中，并且可以具有涵盖车辆102操作员和/或方向盘202的一些或全部的不同视野210。
图4A和图4B是示例性方向盘202对象接触检测系统100的另外的透视图，包括方向盘202与外来对象接触并且处于第一旋转角度和第二旋转角度。例如，可以根据方向盘202扭矩传感器106的输出和/或基于解译来自一个或多个相机206的图像来确定相对于指定轴线(诸如竖直轴线A)的旋转角度。在图4A中，方向盘202被示出为处于零旋转角度，使得竖直轴线A和旋转轴线R是同一轴线。在图4B中，方向盘202被示出为处于非零旋转角度，使得在竖直轴线A与旋转轴线R之间存在旋转角度。
车辆102计算机104包括如上所述的处理器和存储器。存储器可以存储可由处理器执行的指令，使得处理器被编程为检测与车辆102的方向盘202接触的对象。例如，如上所述的方向盘接触传感器208可以向计算机提供数据以检测与方向盘接触的对象，和/或可以使用图像辨识技术来检测对象。最初，计算机可以经由方向盘传感器(例如，诸如电容传感器等的接触传感器208)检测与方向盘202接触的对象，如上所述。在检测到对象与方向盘接触时，计算机然后可以获取方向盘202在各种旋转角度下的图像以识别对象的类型，例如，人手或外来对象。
在一个示例中，机器学习程序用于识别与方向盘202接触的对象(包括确定对象的类型)。例如，可以训练深度神经网络(诸如卷积神经网络)以基于方向盘202的输入图像来输出方向盘202的旋转角度和/或对象与方向盘202接触。可以用代表性车辆102(例如，表示品牌、型号、年份、装饰级别等中的一者或多者的车辆102)的训练图像来训练DNN，以辨识各种对象类型和/或旋转角度。此外，方向盘202可以包括“界标”，即，定位或放置在方向盘202上的预定位置处以用于在相机206图像中进行检测的视觉标记或标志。可以用其中存在并识别界标的训练图像来进一步训练DNN。
计算机104可以各种方式获得方向盘202的相应旋转角度下的图像。例如，计算机104可以在第一时间和第二时间获得第一图像和第二图像，然后可以确定方向盘202在第一时间和第二时间处于第一旋转角度和第二旋转角度。替代地或另外，方向盘202扭矩传感器106可以提供在获得方向盘202的第一图像和第二图像的相应第一时间和第二时间处的方向盘202角度。示例性第一旋转角度和第二旋转角度分别在图4A和图4B中示出。分析相应的第一旋转角度和第二旋转角度下的第一图像和第二图像的优点是，如果相机206的视野210不涵盖整个方向盘202，则分析在相应旋转角度下的图像可以允许相机206以查看方向盘202的更多(如果不是全部的话)。例如，如果人类操作员抓握方向盘202，但是在第一旋转角度处在相机206的视野210之外，则可以在第二旋转角度下检测到人类操作员的手在方向盘202上。更进一步地，即使相机206的视野210确实涵盖整个方向盘202，分析相应旋转角度下的图像也可以允许相机206将相应图像输入到DNN以得到更准确的输出。即，可以训练DNN以接受第一输入图像和第二输入图像(或多于两个输入图像)以及相应的旋转角度，然后输出检测到对象和对象的类型。
可以基于第一图像或第二图像中的至少一者来将接触方向盘的对象的类型识别为例如人手或外来对象中的一者。对象的“类型”是指对象的分类或归类，其指示对象的来源或起源。例如，输出对象类型可以是人手或外来对象中的一者。在另一个示例中，输出对象类型可以是人手、其他有机物(例如，一块水果)、制造的装置等中的一者。
计算机104还可以被编程为基于对象的类型来控制车辆102部件108。例如，如果可能的分类是人手与外来对象，则计算机104可以被编程为基于检测到外来对象来控制车辆102部件108，例如方向盘202或转向柱204中的触觉输出致动器。替代地或另外，计算机104可以被编程为在检测到外来对象时控制车辆102部件108，诸如转向、推进或制动。
计算机104还可以被编程为基于对象的深度估计来识别对象的类型。即，对象的深度估计提供可以提供给DNN以改进对象和对象类型的识别的三维数据。深度数据或深度估计是指相机206、传感器106(诸如相机206)与传感器106的视野210内的对象的表面之间的范围(或距离)。因此，应当理解，可以经由相机206(例如，红绿蓝深度(RGB-D)相机206)获得深度数据，所述相机除了可见光波长之外还包括在红外波长下进行检测。替代地或另外，可以使用飞行时间相机206。又进一步替代地或另外，可以经由其他传感器106(诸如激光雷达或雷达)获得深度数据。包括对可见光谱的捕获以及红外数据的图像中的深度数据或深度估计表示对于图像中的给定像素x,y位置，RGB图像将包括位置的颜色，并且另外的深度数据将包括距同一位置的距离或范围。替代地，例如来自激光雷达或雷达的深度数据可以包括距检测到的对象上的点的距离或范围。更进一步替代地或另外地，可以组合各种传感器模态，例如来自激光雷达、雷达、可见光相机和/或红外相机的数据，即，可以使用传感器融合技术。例如，在使用RGB-D(红-绿-蓝-深度)相机206的情况下，可以组合深度和颜色强度数据。即，除了使用深度图之外，计算机104还可以检测相机206图像中的对象的边缘或边界框。例如，可以使用合适的图像辨识技术，其中图像数据被输入到卷积神经网络等。替代地或另外，车辆102可以包括内部雷达传感器106。在传感器融合技术中，来自不同传感器模态的数据可以用于生成方向盘202上的对象类型的相应预测，并且可以比较或组合相应预测。例如，计算机104可以要求基于来自至少两个传感器模态的数据来预测对象类型。更进一步地，图像或深度数据可以与其他种类的数据(例如，来自方向盘202的扭矩传感器106的数据)组合。在这样的示例中，计算机104可能需要接触方向盘202的外来对象类型的指示结合扭矩传感器106输出，施加到方向盘202上的扭矩为零或至少低于以经验确定的指定阈值，以指示扭矩传感器可能检测到噪声而不是施加到方向盘202上的扭矩。
深度数据可以用于生成深度图，所述深度图是指定图像中的点的3D(三维)位置的一组数据。例如，深度图可以包括所接收的相机206图像的相应像素例如相对于包括相机206的镜头的车辆102内部的坐标系的一组3D坐标，使得深度可以被指定为相机206例如到方向盘202、接触方向盘202的对象等的距离。换句话说，深度图提供以图像的相应像素表示的真实世界表面点的3D位置坐标。计算机104可以被编程为使用合适的计算机104视觉技术来生成相机206的视野210的图像的深度图。此外，计算机104可以被编程为通过处理自从不同位置但具有重叠视野210的车辆102 100内部的不同位置处的两个或更多个相机206接收的图像数据来生成深度图。
更进一步地，用于生成深度图的其他技术可以包括使用能够检测光场的相机206、使用光度立体方法或通常利用基于神经网络的2D图像数据的变换的单目深度估计技术。例如，计算机104还可以被编程为通过根据组合第一图像和第二图像的立体图像确定方向盘202(和/或与其接触的任何对象(诸如乘员的手和/或外来对象))的表面法线图来获得对象的深度估计。注意，立体图像(即，作为第一图像和第二图像的一对图像)可以用第一相机和第二相机206获得，或者可以从单个立体相机206获得。合适的光度技术，即，通过改变诸如车辆102的车厢200的环境中的照明以获得方向盘202、手和/或外来对象的表面法线来生成表面法线图。表面法线是垂直于在图像上以像素表示的相应表面的向量。每个向量是与例如方向盘202的对象的表面的小部分成法向(即，正交或垂直)的三维空间向量，并且向量因此定义对象的表面的取向。向量可以是无单位的单位向量。向量被映射到相机206的视野210的图像中的位置。然后，计算机104可以使用如刚刚提及的光度立体技术。此外，当方向盘202上的对象与方向盘202一起移动时，比较来自相应图像的深度图可以允许应用合适的技术来确定对象的结构。
计算机还可以被编程为至少部分地基于来自方向盘扭矩传感器的数据来识别对象的类型。例如，可以用通过在车辆在各种速度和各种路况(例如，油漆、泥土、颠簸、高速公路、城市街道等)下操作时在各种类型的对象接触方向盘的情况下操作车辆而收集的方向盘扭矩数据来训练DNN。训练数据可以用于训练DNN以输出对接触方向盘202的对象类型的预测。由DNN输出的对象类型的预测可以进行置信度确定，其中仅在输出超过置信度阈值时才使用输出。例如，对于图像中的各个像素，可以训练DNN以提供三个输出，每个输出具有在零至一之间的值，所述三个输出表示像素表示相应的不同对象(在该示例中为人手、外来对象或背景对象(诸如车辆方向盘或仪表板))的可能性。在该示例中，零值意为像素被确定为不表示由输出表示的对象，而一意为像素被确定为表示对象，其中中间值指示可能性，例如，.6表示像素表示对象的可能性为60％。可以使用用于确定用于确定对象类型的输出中的一者或多者的适当阈值的任何合适的技术，例如，ROC曲线和精确召回曲线。
计算机104还可以被编程为基于关于车辆102的当前用户的数据(诸如眼睛注视数据或驾驶风格数据)来控制车辆102部件108。例如，车辆102可以包括合适的眼睛注视检测系统100，所述眼睛注视检测系统向计算机104提供对操作员的注视是否指向车辆102的操作表面(例如，道路)或操作员是否正在注视某个其他方向的指示。在确定是否控制车辆102部件108(诸如消息输出、使车辆102减速、限制车辆102的速度等)时，计算机104可以实施规则以根据操作员的眼睛注视来控制车辆102部件108。例如，如果确定操作员的眼睛注视在向前方向上朝向车辆102正在行驶的道路，并且在方向盘202上未检测到外来对象，则计算机104可以实施规则以抑制对车辆102部件108的控制。替代地或另外，计算机104可以被编程为如果确定操作员的眼睛注视在行驶方向的向前方向上并且在方向盘202上没有检测到外来对象并且此外检测到操作员的手不在方向盘202上持续不超过指定时间量(例如，五秒)，则抑制对车辆102部件108的控制。
替代地或另外，在基于接触方向盘202的对象的类型来确定是否控制车辆102部件108时，可以考虑操作员配置文件数据。例如，操作员配置文件可以存储在车辆102计算机104的存储器中，并且可以例如使用任何合适的技术(诸如经由便携式装置的操作员登录、面部辨识或其他生物特征识别等)在车辆102中识别操作员。操作员配置文件可以包括操作员年龄等。
图5是示出用于操作方向盘202对象接触检测系统100的示例性过程500的过程流程图。过程500可以在框505中开始，例如，在车辆102置于开启状态或置于“行驶”状态以在道路上操作等之后开始。在框505中，计算机104确定对象是否与方向盘202接触。如果否，则过程500前进到框520。如果例如通过接触传感器208检测到对象与方向盘202接触，则接下来执行框510。
在框510中，计算机104获得方向盘202在相应旋转角度下的图像，至少是第一图像和第二图像。如上文提及，可以从车辆102中的同一相机206或两个或更多个不同的相机206获得图像。
接下来，在框515中，计算机104确定接触方向盘202的对象是否是外来对象。可以使用任何合适的技术。例如，如上所述，基于将方向盘202的相应旋转角度下的至少两个图像输入到DNN，计算机104可以获得指示接触方向盘202的对象的类型(例如，外来对象或人手)的输出。如果检测到外来对象，则过程500前进到框520。否则，过程500前进到框525。
在框520中，计算机104可以导致在车辆102中发起或致动控制动作。例如，如上所述，当框520在框515之后时，表示检测到外来对象接触方向盘202，则计算机104可以提供诸如在HMI 112上显示的消息、对方向盘202的触觉输出等输出。更进一步地，计算机104可以采取动作，诸如限制车辆102的速度、禁用车辆102的特征(诸如速度控制)等。此外，可以在框505之后访问框520，因为没有检测到对象接触方向盘202，例如，确定操作员的手不在方向盘202上。在这种情况下，计算机104同样可以实施控制动作，诸如可听或视觉输出、触觉输出、控制车辆102转向、速度等。更进一步地，对车辆102部件108的控制可以至少部分地基于关于车辆102的当前用户(或操作员)的数据，诸如眼睛注视数据或操作员配置文件数据。
在框520之后，计算机104可以确定是否继续进行过程500区域，例如，车辆102可以转变到纯手动模式，即，车辆102操作仅可能通过操作员接触方向盘202进行的模式，车辆102可断电，等等。然而，如果确定过程500未结束，则过程500可以返回到框505；否则，过程500在框525之后结束。
已经以说明性方式描述了本公开，并且应当理解，已经使用的术语意在是描述性的词语的性质，而不是限制性的。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以不同于具体描述的其他方式来实践。
在附图中，相同的附图标记指示相同的要素。此外，可以改变这些要素中的一些或全部。就本文所描述的介质、过程、系统、方法等而言，应当理解，虽然此类过程的步骤等已经被描述为按照特定的顺序发生，但除非另有说明或从上下文中可以看出，可在按照本文所述顺序以外的顺序执行所述步骤的情况下实践此类过程。同样，还应当理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。
形容词第一和第二贯穿本文档用作标识符，并且除非另有明确说明，不意图表示重要性、顺序或数量。
术语示例性在本文中以表示示例的意义使用，例如，对示例性小部件的引用应被解读为仅指代小部件的示例。
本文中“响应于”、“基于”和“在确定……时”的使用指示因果关系，而不仅仅是时间关系。
计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于单独或组合的Java、C、C++、Visual Basic、Java Script、Perl、Python、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括本文所描述的过程中的一个或多个过程。此类指令和其他数据可使用各种计算机可读介质来存储和传输。联网装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、电线、无线通信，包括构成联接到计算机的处理器的系统总线的内部件。共同形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
根据本发明，提供了一种系统，所述系统具有处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行使得所述处理器被编程为：检测与车辆的方向盘接触的对象；获得所述方向盘在第一旋转角度下的第一图像和所述方向盘在第二旋转角度下的第二图像；基于所述第一图像或所述第二图像中的至少一者将所述对象的类型识别为人手或外来对象中的一者；以及基于所述对象的类型来控制车辆部件。
根据实施例，所述处理器还被编程为基于所述对象的深度估计来识别所述对象的类型。
根据实施例，所述处理器还被编程为通过凭借组合所述第一图像和所述第二图像确定所述方向盘的表面法线来获得所述对象的深度估计。
根据实施例，所述处理器还被编程为基于来自方向盘扭矩传感器和电位计中的一者或两者的数据来识别所述对象的类型。
根据实施例，所述处理器还被编程为基于关于所述车辆的当前用户的数据来控制所述车辆部件。
根据实施例，关于所述车辆的当前用户的数据是眼睛注视数据。
根据实施例，关于所述车辆的当前用户的数据是操作员配置文件数据。
根据实施例，所述处理器还被编程为接收从第一相机提供的第一图像和从第二相机提供的第二图像。
根据实施例，所述第一图像或所述第二图像中的至少一者是从雷达提供的。
根据实施例，所述第一图像或所述第二图像中的至少一者是从激光雷达提供的。
根据实施例，本发明的特征还在于接触传感器，所述接触传感器被布置成提供指示所述对象与所述方向盘接触的信号。
根据实施例，所述处理器还被编程为在将所述对象的类型识别为所述人手时，基于所述人手相对于所述方向盘上的界标的位置来控制所述车辆部件。
根据实施例，所述处理器还被编程为基于所述第一图像和所述第二图像两者来识别所述对象的类型。
根据本发明，一种方法包括：检测与车辆的方向盘接触的对象；获得所述方向盘在第一旋转角度下的第一图像和所述方向盘在第二旋转角度下的第二图像；基于所述第一图像或所述第二图像中的至少一者将所述对象的类型识别为人手或外来对象中的一者；以及基于所述对象的类型来控制车辆部件。
根据实施例，本发明的特征还在于基于所述对象的深度估计来识别所述对象的类型。
根据实施例，本发明的特征还在于通过凭借组合所述第一图像和所述第二图像确定所述方向盘的表面法线来获得所述对象的深度估计。
根据实施例，本发明的特征还在于基于来自方向盘扭矩传感器和电位计中的一者或两者的数据来识别所述对象的类型。
根据实施例，本发明的特征还在于基于关于所述车辆的当前用户的数据来控制所述车辆部件。
根据实施例，本发明的特征还在于从第一相机接收所述第一图像和从第二相机接收所述第二图像。
根据实施例，本发明的特征还在于基于所述第一图像和所述第二图像两者来识别所述对象的类型。

Claims (15)

1.一种方法，其包括：
检测与车辆的方向盘接触的对象；
获得所述方向盘在第一旋转角度下的第一图像和所述方向盘在第二旋转角度下的第二图像；
基于所述第一图像或所述第二图像中的至少一者将所述对象的类型识别为人手或外来对象中的一者；以及
基于所述对象的所述类型来控制车辆部件。
2.根据权利要求1所述的方法，其还包括基于所述对象的深度估计来识别所述对象的所述类型。
3.根据权利要求2所述的方法，其还包括通过凭借组合所述第一图像和所述第二图像确定所述方向盘的表面法线来获得所述对象的所述深度估计。
4.根据权利要求1所述的方法，其还包括基于来自方向盘扭矩传感器和电位计中的一者或两者的数据来识别所述对象的所述类型。
5.根据权利要求1所述的方法，其还包括基于关于所述车辆的当前用户的数据来控制所述车辆部件。
6.根据权利要求1所述的方法，其还包括从第一相机接收所述第一图像和从第二相机接收所述第二图像。
7.根据权利要求1所述的方法，其还包括基于所述第一图像和所述第二图像两者来识别所述对象的所述类型。
8.根据权利要求1所述的方法，其中关于所述车辆的当前用户的数据是眼睛注视数据和/或操作员配置文件数据。
9.根据权利要求1所述的方法，其还包括从第一相机接收所述第一图像和从第二相机接收所述第二图像。
10.根据权利要求1所述的方法，其中所述第一图像或所述第二图像中的至少一者是从雷达或激光雷达提供的。
11.根据权利要求1所述的方法，其还包括基于所述第一图像和所述第二图像两者来识别所述对象的所述类型。
12.根据权利要求1所述的方法，其还包括使用接触传感器，所述接触传感器被布置成提供指示所述对象与所述方向盘接触的信号。
13.根据权利要求1所述的方法，其还包括在将所述对象的所述类型识别为所述人手时，基于所述人手相对于所述方向盘上的界标的位置来控制所述车辆部件。
14.一种计算机，其被编程为执行根据权利要求1-13中任一项所述的方法。
15.一种车辆，其包括根据权利要求14所述的计算机。
CN202311096343.8A 2022-09-01 2023-08-29 方向盘接触检测 Pending CN117657001A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/929,042 2022-09-01
US17/929,042 US20240078819A1 (en) 2022-09-01 2022-09-01 Steering wheel contact detection

Publications (1)

Publication Number Publication Date
CN117657001A true CN117657001A (zh) 2024-03-08

Family

ID=89905242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311096343.8A Pending CN117657001A (zh) 2022-09-01 2023-08-29 方向盘接触检测

Country Status (3)

Country Link
US (1) US20240078819A1 (zh)
CN (1) CN117657001A (zh)
DE (1) DE102023123245A1 (zh)

Also Published As

Publication number Publication date
US20240078819A1 (en) 2024-03-07
DE102023123245A1 (de) 2024-03-07

Similar Documents

Publication Publication Date Title
US11068726B1 (en) Static obstacle detection
CN108688656B (zh) 车辆及用于控制车辆的方法
CN107878460B (zh) 自动驾驶车辆的控制方法和服务器
CN107798699B (zh) 用立体图像进行深度图估计
KR101851155B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
KR101688762B1 (ko) 자율 주행 차량에 대한 제어를 운전자에게 이행하기 위한 시스템들 및 방법들
CN106915302B (zh) 用于车辆的显示装置及其控制方法
JP5912200B2 (ja) 複数のセンサーを用いる物体検出方法及びシステム
US9063548B1 (en) Use of previous detections for lane marker detection
US10347127B2 (en) Driving mode adjustment
KR101755086B1 (ko) 제스처 기반 자동차 제어
CN107757616B (zh) 使用环境信息辅助用于自主车辆的图像处理
US11334754B2 (en) Apparatus and method for monitoring object in vehicle
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
CN109814130B (zh) 用于在车辆感知系统中自由空间推断以分开群集对象的系统和方法
EP2727799A1 (en) Controlling vehicle lateral lane positioning
KR20190099756A (ko) 차량 및 그 제어 방법
US20180074200A1 (en) Systems and methods for determining the velocity of lidar points
CN110182203B (zh) 车辆及其控制方法
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
JP2022016382A (ja) 自律車両、システム、および自律車両の動作方法
US20240078819A1 (en) Steering wheel contact detection
KR102338989B1 (ko) 차량 및 그 제어방법
US20190210513A1 (en) Vehicle and control method for the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication