CN113998034A - 骑乘者辅助系统和方法 - Google Patents

骑乘者辅助系统和方法 Download PDF

Info

Publication number
CN113998034A
CN113998034A CN202111135078.0A CN202111135078A CN113998034A CN 113998034 A CN113998034 A CN 113998034A CN 202111135078 A CN202111135078 A CN 202111135078A CN 113998034 A CN113998034 A CN 113998034A
Authority
CN
China
Prior art keywords
motorcycle
images
threat
time
ride
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111135078.0A
Other languages
English (en)
Other versions
CN113998034B (zh
Inventor
U·拉维
L·科恩
M·布拉夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reed Vision Ltd
Original Assignee
Reed Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reed Vision Ltd filed Critical Reed Vision Ltd
Priority to CN202111135078.0A priority Critical patent/CN113998034B/zh
Publication of CN113998034A publication Critical patent/CN113998034A/zh
Application granted granted Critical
Publication of CN113998034B publication Critical patent/CN113998034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J3/00Acoustic signal devices; Arrangement of such devices on cycles
    • B62J3/10Electrical devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/162Speed limiting therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J3/00Acoustic signal devices; Arrangement of such devices on cycles
    • B62J3/10Electrical devices
    • B62J3/12Buzzers; Horns with electrically driven airflow
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/40Sensor arrangements; Mounting thereof
    • B62J45/41Sensor arrangements; Mounting thereof characterised by the type of sensor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J6/00Arrangement of optical signalling or lighting devices on cycles; Mounting or supporting thereof; Circuits therefor
    • B62J6/22Warning or information lights
    • B62J6/24Warning or information lights warning or informing the rider, e.g. low fuel warning lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J6/00Arrangement of optical signalling or lighting devices on cycles; Mounting or supporting thereof; Circuits therefor
    • B62J6/22Warning or information lights
    • B62J6/26Warning or information lights warning or informing other road users, e.g. police flash lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60K2360/178
    • B60K2360/179
    • B60K2360/21
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/36Cycles; Motorcycles; Scooters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

一种用于摩托车的骑乘辅助系统,包括:处理资源;存储器,所述存储器被配置为存储可由所述处理资源使用的数据;以及至少一个广角前视相机,所述至少一个广角前视相机被配置为以使其能够捕获在所述摩托车前方的包括至少右侧和左侧的场景的图像的方式而安装在所述摩托车上;其中所述处理资源被配置为:获得由所述相机连续地获取的一系列的至少两个图像;分析在所述系列图像中的至少一对连续图像内的感兴趣区域,以识别在所述至少一对连续图像内具有相应特征位置的特征;确定所述特征的移动矢量;以及在满足与所述移动矢量相关联的标准时生成警告通知。

Description

骑乘者辅助系统和方法
本申请是申请号为201980039145.3、申请日为2019年6月4日、发明名称为“骑乘者辅助系统和方法”的专利申请的分案申请。
技术领域
本发明涉及一种骑乘者辅助系统和方法。
背景技术
近年来,汽车高级驾驶员辅助系统(也称为“ADAS”)已经变为汽车行业中的标准,这尤其是由于安全是汽车制造商最关心的问题这一事实。世界各国政府都采用了严格汽车安全标准,并且鼓励汽车制造商和车主在新制造的车辆以及私有车辆中安装各种ADAS。使用ADAS极大地提高汽车驾驶员和乘客安全,并且已经证明在众多情况下可挽救生命。
遗憾地,摩托车行业落后于汽车行业的其他领域。这可能是由于当今世界上出售的大多数摩托车被要求买得起这一事实,而添加各种ADAS会增加此类车辆的成本。另外,还存在着特定于摩托车的环境的各种困难。例如,摩托车放置ADAS的空间非常有限。向摩托车骑乘者提供警报也是一项挑战,因为骑乘者戴着头盔,并且在受风、发动机噪音等影响的嘈杂环境中操作。此外,戴着头盔的摩托车骑乘者的视角受限制,并且在摩托车本身上放置视觉指示器(诸如用于提供视觉指示的显示器)就将其定位在摩托车上可使骑乘者在骑乘摩托车时可见的位置处而言有挑战性。更进一步,摩托车表现得不同于汽车,其相对于道路的角度(例如,倾斜角)比汽车相对于道路的角度更快速且更急剧地偏移,尤其是当摩托车倾斜、加速和制动时。
因此,本领域中需要的是一种新的骑乘辅助系统和方法。
发明内容
根据本公开的主题的第一方面,提供了一种用于摩托车的骑乘辅助系统,包括:处理资源;存储器,所述存储器用于存储由所述处理资源使用的日期;以及至少一个前视相机,所述至少一个前视相机被配置为以使其能够捕获在所述摩托车前方的场景的图像的方式而安装在所述摩托车上;其中所述处理资源被配置为:获得由所述前视相机连续地获取的一系列的至少两个图像,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;分析所述系列的所述图像,以确定在所述摩托车与在所述系列中的所述连续图像的至少部分上至少部分地可见的一个或多个相应对象之间的碰撞时间,其中所述碰撞时间是预计直到所述摩托车与所述相应对象碰撞为止经过的时间;以及在所述碰撞时间指示对所述摩托车的威胁时生成警告通知。
在一些情况下,所述警告通知被提供给所述摩托车的骑乘者。
在一些情况下,所述骑乘辅助系统还包括照明系统,所述照明系统包括多个灯,当面向所述摩托车前方时,所述多个灯对所述摩托车的所述骑乘者可见,并且所述警告通知通过打开所述灯的一个或多个所选择的灯来提供。
在一些情况下,根据出自多个威胁类型中的威胁的威胁类型来选择所选择的灯,其中所述威胁类型中的至少两者与所选择的灯的不同组合相关联。
在一些情况下,所述警告通知通过以预确定模式和/或颜色打开所选择的灯来提供。
在一些情况下,所述预确定模式是所选择的灯的闪烁模式。
在一些情况下,所述照明系统被包括在所述摩托车的镜内。
在一些情况下,所述照明系统连接到所述摩托车的所述镜并在所述摩托车的所述镜外部。
在一些情况下,所述警告通知是经由一个或多个扬声器提供给所述摩托车的所述骑乘者的声音通知。
在一些情况下,所述声音通知是语音通知。
在一些情况下,所述警告通知是经由引起由所述摩托车的所述骑乘者感觉到的振动的一个或多个振动元件而提供给所述摩托车的所述骑乘者的振动。
在一些情况下,所述相应对象中的至少一者是行人或除摩托车之外的车辆,并且所述警告通知被提供给所述行人或所述车辆的驾驶员。
在一些情况下,所述警告通知包括以下项中的至少一者:打开所述摩托车的至少一个灯,或者使用所述摩托车的喇叭鸣喇叭。
在一些情况下,所述威胁是所述摩托车与所述对象中的一者或多者碰撞的前向碰撞威胁,并且其中在所述处理资源确定在所述摩托车与所述相应对象之间的所述碰撞时间比预确定阈值时间少时生成所述警告通知。
在一些情况下,所述对象中的至少一个给定对象是所述摩托车骑行于的车道中的造成所述摩托车的方向变化的弯道,并且所述威胁是所述摩托车无法保持所述车道的车道保持威胁,并且在所述处理资源确定作为预计直到所述摩托车到达所述弯道为止经过的时间的到达弯道时间比预确定阈值时间少时生成所述警告通知。
在一些情况下,所述对象中的至少一个给定对象是所述摩托车骑行于的车道上的造成所述摩托车的方向变化的弯道,并且所述威胁是所述摩托车以危险的倾斜角进入所述弯道的倾斜角威胁,并且其中在所述处理资源使用所述摩托车的当前倾斜角的信息、所述弯道的角度的信息和作为预计直到所述摩托车到达所述弯道为止经过的时间的到达弯道时间来确定作为所述摩托车相对于地面的倾斜角的所述当前倾斜角比第一预确定阈值低或比第二预确定阈值高时生成所述警告通知。
在一些情况下,所述当前倾斜角从连接到所述摩托车的惯性测量单元(IMU) 获得。
在一些情况下,所述处理资源还被配置为通过分析所述图像中的至少两者来确定所述摩托车的所述当前倾斜角。
在一些情况下,所述骑乘辅助系统还包括至少一个后视相机,所述至少一个后视相机被配置为以使其能够捕获在所述摩托车后方的场景的图像的方式而安装在所述摩托车上,并且所述处理资源还被配置为:获得由所述后视相机连续地获取的第二系列的至少两个第二图像,其中在所述第二图像当中的每个第二连续图像对的捕获之间经过的时间比所述给定阈值少;分析所述第二系列的所述第二图像,以确定在所述摩托车与在所述第二系列中的所述第二图像的至少部分上至少部分地可见的一个或多个相应第二对象之间的第二碰撞时间,其中所述第二碰撞时间是预计直到所述摩托车与所述相应第二对象碰撞为止经过的第二时间;以及在所述第二碰撞时间指示对所述摩托车的威胁时生成第二警告通知。
在一些情况下,所述威胁是所述摩托车与所述第二对象中的一者或多者碰撞的后向碰撞威胁,并且其中在所述处理资源确定在所述摩托车与所述相应第二对象之间的所述第二碰撞时间比第二预确定阈值时间少时生成所述第二警告通知。
在一些情况下,所述威胁是相对于所述摩托车在预确定区域中存在所述第二对象中的至少一者的盲点警告威胁,并且在所述处理资源确定所述第二对象中的至少一者至少部分地存在于所述预确定区域中时生成所述第二警告通知。
在一些情况下,所述预确定区域在所述摩托车的左侧和右侧。
在一些情况下,所述处理资源还被配置为在所述碰撞时间指示对所述摩托车的威胁时执行一个或多个保护措施。
在一些情况下,所述保护措施包括使所述摩托车减慢。
在一些情况下,所述前视相机是广角相机,其覆盖超过150°的角度。
在一些情况下,在所述摩托车的移动期间并实时地执行所述获得。
在一些情况下,所述通知通过投影到所述摩托车的所述骑乘者的头盔的护目镜上来提供。
在一些情况下,在第一时间处、在所述第二系列中的所述第二图像的至少部分上至少部分地可见的所述一个或多个第二对象中的至少一者变成在晚于所述第一时间的第二时间处、在所述系列中的所述图像的至少部分上至少部分地可见的相应第一对象。
在一些情况下,所述碰撞时间使用在所述摩托车与在所述系列中的所述连续图像的至少部分上至少部分地可见的所述一个或多个相应对象之间的所确定的距离、以及在所述摩托车与所述相应对象之间的相对移动来确定。
根据本公开的主题的第二方面,提供了一种用于摩托车的骑乘辅助方法,所述方法包括:由处理资源获得由至少一个前视相机连续地获取的一系列的至少两个图像,所述至少一个前视相机以使其能够捕获在所述摩托车前方的场景的图像的方式安装在所述摩托车上,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;由所述处理资源分析所述系列的所述图像,以确定在所述摩托车与在所述系列中的所述连续图像的至少部分上至少部分地可见的一个或多个相应对象之间的碰撞时间,其中所述碰撞时间是预计直到所述摩托车与所述相应对象碰撞为止经过的时间;以及在所述碰撞时间指示对所述摩托车的威胁时生成警告通知。
在一些情况下,所述警告通知被提供给所述摩托车的骑乘者。
在一些情况下,所述警告通知通过打开照明系统的多个灯中的一个或多个所选择的灯来提供,当面向所述摩托车前方时,所述多个灯对所述摩托车的所述骑乘者可见。
在一些情况下,根据出自多个威胁类型中的威胁的威胁类型来选择所选择的灯,其中所述威胁类型中的至少两者与所选择的灯的不同组合相关联。
在一些情况下,所述警告通知通过以预确定模式和/或颜色打开所选择的灯来提供。
在一些情况下,所述预确定模式是所选择的灯的闪烁模式。
在一些情况下,所述照明系统被包括在所述摩托车的镜内。
在一些情况下,所述照明系统连接到所述摩托车的所述镜并在所述摩托车的所述镜外部。
在一些情况下,所述警告通知是经由一个或多个扬声器提供给所述摩托车的所述骑乘者的声音通知。
在一些情况下,所述声音通知是语音通知。
在一些情况下,所述警告通知是经由引起由所述摩托车的所述骑乘者感觉到的振动的一个或多个振动元件而提供给所述摩托车的所述骑乘者的振动。
在一些情况下,所述相应对象中的至少一者是行人或除摩托车之外的车辆,并且所述警告通知被提供给所述行人或所述车辆的驾驶员。
在一些情况下,所述警告通知包括以下项中的至少一者:打开所述摩托车的至少一个灯,或者使用所述摩托车的喇叭鸣喇叭。
在一些情况下,所述威胁是所述摩托车与所述对象中的一者或多者碰撞的前向碰撞威胁,并且其中在确定在所述摩托车与所述相应对象之间的所述碰撞时间比预确定阈值时间少时生成所述警告通知。
在一些情况下,所述对象中的至少一个给定对象是所述摩托车骑行于的车道中的造成所述摩托车的方向变化的弯道,并且所述威胁是所述摩托车无法保持所述车道的车道保持威胁,并且其中在由所述处理资源确定作为预计直到所述摩托车到达所述弯道为止经过的时间的到达弯道时间比预确定阈值时间少时生成所述警告通知。
在一些情况下,所述对象中的至少一个给定对象是所述摩托车骑行于的车道上的造成所述摩托车的方向变化的弯道,并且所述威胁是所述摩托车以危险的倾斜角进入所述弯道的倾斜角威胁,并且其中在由所述处理资源使用所述摩托车的当前倾斜角的信息、所述弯道的角度的信息和作为预计直到所述摩托车到达所述弯道为止经过的时间的到达弯道时间来确定作为所述摩托车相对于地面的倾斜角的所述当前倾斜角比第一预确定阈值低或比第二预确定阈值高时生成所述警告通知。
在一些情况下,所述当前倾斜角从连接到所述摩托车的惯性测量单元(IMU) 获得。
在一些情况下,所述方法还包括由所述处理资源分析所述图像中的至少两者来确定所述摩托车的所述当前倾斜角。
在一些情况下,所述方法还包括:由所述处理资源获得由至少一个后视相机连续地获取的第二系列的至少两个第二图像,所述至少一个后视相机以使其能够捕获在所述摩托车后方的场景的图像的方式安装在所述摩托车上,其中在所述第二图像当中的每个第二连续图像对的捕获之间经过的时间比所述给定阈值少;由所述处理资源分析所述第二系列的所述第二图像,以确定在所述摩托车与在所述第二系列中的所述第二图像的至少部分上至少部分地可见的一个或多个相应第二对象之间的第二碰撞时间,其中所述第二碰撞时间是预计直到所述摩托车与所述相应第二对象碰撞为止经过的第二时间;以及由所述处理资源在所述第二碰撞时间指示对所述摩托车的威胁时生成第二警告通知。
在一些情况下,所述威胁是所述摩托车与所述第二对象中的一者或多者碰撞的后向碰撞威胁,并且其中在由所述处理资源确定在所述摩托车与所述相应第二对象之间的所述第二碰撞时间比第二预确定的阈值时间少时生成所述第二警告通知。
在一些情况下,所述威胁是相对于所述摩托车在预确定区域中存在所述第二对象中的至少一者的盲点警告威胁,并且其中在由所述处理资源确定所述第二对象中的至少一者至少部分地存在于所述预确定区域中时生成所述第二警告通知。
在一些情况下,所述预确定区域在所述摩托车的左侧和右侧。
在一些情况下,所述方法还包括由所述处理资源在所述碰撞时间指示对所述摩托车的威胁时执行一个或多个保护措施。
在一些情况下,所述保护措施包括使所述摩托车减慢。
在一些情况下,所述前视相机是广角相机,其覆盖超过150°的角度。
在一些情况下,在所述摩托车的移动期间并实时地执行所述获得。
在一些情况下,所述通知通过投影到所述摩托车的所述骑乘者的头盔的护目镜上来提供。
在一些情况下,在第一时间处、在所述第二系列中的所述第二图像的至少部分上至少部分地可见的所述一个或多个第二对象中的至少一者变成在晚于所述第一时间的第二时间处、在所述系列中的所述图像的至少部分上至少部分地可见的相应第一对象。
在一些情况下,所述碰撞时间使用在所述摩托车与在所述系列中的所述连续图像的至少部分上至少部分地可见的所述一个或多个相应对象之间的所确定的距离、以及在所述摩托车与所述相应对象之间的相对移动来确定。
根据本公开的主题的第三方面,提供了一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质体现有计算机可读程序代码,所述计算机可读程序代码可由计算机的处理资源执行以执行方法,所述方法包括:由所述处理资源获得由至少一个前视相机连续地获取的一系列的至少两个图像,所述至少一个前视相机以使其能够捕获在所述摩托车前方的场景的图像的方式安装在所述摩托车上,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;由所述处理资源分析所述系列的所述图像,以确定在所述摩托车与在所述系列中的所述连续图像的至少部分上至少部分地可见的一个或多个相应对象之间的碰撞时间,其中所述碰撞时间是预计直到所述摩托车与所述相应对象碰撞为止经过的时间;以及由处理资源在所述碰撞时间指示对所述摩托车的威胁时生成警告通知。
根据本公开的主题的第四方面,提供了一种用于自动地控制摩托车的转弯信号的系统,所述系统包括:处理资源;存储器,所述存储器用于存储由所述处理资源使用的日期;以及至少一个前视相机,所述至少一个前视相机被配置为以使其能够捕获在所述摩托车前方的场景的图像的方式而安装在所述摩托车上;其中所述处理资源被配置为:实时地获得由所述前视相机连续地获取的连续图像,其中在所述连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;连续地分析所述连续图像中的一者或多者的最新组,以确定所述摩托车相对于所述摩托车骑行于的车道的侧向移动的速率;在所述速率超过阈值时,打开所述摩托车的转弯信号,以发信号通知在所述摩托车的所述侧向移动的方向上的转弯。
在一些情况下,所述处理资源还被配置为在对所述连续图像中的一者或多者的所述最新组的分析指示所述侧向移动结束时,关闭所述摩托车的所述转弯信号。
在一些情况下,所述处理资源还基于从连接到所述摩托车的惯性测量单元 (IMU)获得的所述摩托车的倾斜角来确定所述速率。
在一些情况下,所述系统还包括至少一个后视相机,所述至少一个后视相机被配置为以使其能够捕获在所述摩托车后方的场景的图像的方式而安装在所述摩托车上,并且所述处理资源还被配置为:实时地连续地获得由所述后视相机连续地获取的连续第二图像,其中在所述连续第二图像当中的每个连续第二图像对的捕获之间经过的第二时间比第二给定阈值少;连续地分析所述连续第二图像中的一者或多者的最新组,以确定在所述摩托车后方行驶的一个或多个车辆的存在;其中所述转弯信号仅在所述处理资源确定在所述摩托车后方行驶的所述车辆的存在的情况下才打开。
根据本公开的主题的第五方面,提供了一种用于自动地控制摩托车的转弯信号的方法,所述方法包括:由处理资源实时地获得由至少一个前视相机连续地获取的连续图像,所述至少一个前视相机以使其能够捕获在所述摩托车前方的场景的图像的方式安装在所述摩托车上;其中在所述连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;由所述处理资源连续地分析所述连续图像中的一者或多者的最新组,以确定所述摩托车相对于所述摩托车骑行于的车道的侧向移动的速率;在所述速率超过阈值时,由所述处理资源打开所述摩托车的转弯信号,以发信号通知在所述摩托车的所述侧向移动的方向上的转弯。
在一些情况下,所述方法还包括在对所述连续图像中的一者或多者的所述最新组的分析指示所述侧向移动结束时,由所述处理资源关闭所述摩托车的所述转弯信号。
在一些情况下,还基于从连接到所述摩托车的惯性测量单元(IMU)获得的所述摩托车的倾斜角来确定所述速率。
在一些情况下,所述方法还包括:由所述处理资源实时地连续地获得由至少一个后视相机连续地获取的连续第二图像,所述至少一个后视相机以使其能够捕获在所述摩托车后方的场景的图像的方式安装在所述摩托车上,其中在所述连续第二图像当中的每个连续第二图像对的捕获之间经过的第二时间比第二给定阈值少;由所述处理资源连续地分析所述连续第二图像中的一者或多者的最新组,以确定在所述摩托车后方行驶的一个或多个车辆的存在;其中所述转弯信号仅在确定在所述摩托车后方行驶的所述车辆的存在的情况下才打开。
根据本公开的主题的第六方面,提供了一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质体现有计算机可读程序代码,所述计算机可读程序代码可由计算机的处理资源执行以执行方法,所述方法包括:由所述处理资源实时地获得由至少一个前视相机连续地获取的连续图像,所述至少一个前视相机以使其能够捕获在所述摩托车前方的场景的图像的方式安装在所述摩托车上;其中在所述连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;由所述处理资源连续地分析所述连续图像中的一者或多者的最新组,以确定所述摩托车相对于所述摩托车骑行于的车道的侧向移动的速率;在所述速率超过阈值时,由所述处理资源打开所述摩托车的转弯信号,以发信号通知在所述摩托车的所述侧向移动的方向上的转弯。
根据本公开的主题的第七方面,提供了一种用于摩托车的自适应速度控制系统,包括:处理资源;存储器,所述存储器用于存储由所述处理资源使用的日期;以及至少一个前视相机,所述至少一个前视相机被配置为以使其能够捕获在所述摩托车前方的场景的图像的方式而安装在所述摩托车上;其中所述处理资源被配置为:获得对在所述摩托车与在所述摩托车前方行驶的车辆之间要维持的参考距离的指示;实时地获得由所述前视相机连续地获取的连续图像,其中在所述连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;连续地分析所述连续图像,以确定在所述摩托车与在所述摩托车前方行驶的车辆之间的实际距离;在所述实际距离不同于所述参考距离时,控制所述摩托车的速度以返回到与所述车辆相距所述参考距离。
在一些情况下,通过分析由所述前视相机捕获的一个或多个参考距离确定图像直至在所述摩托车的骑乘者提供触发之前或之后的预确定时间来在所述摩托车的所述骑乘者提供所述触发时确定所述参考距离。
根据本公开的主题的第八方面,提供了一种用于摩托车的自适应速度控制方法,所述方法包括:由处理资源获得对在所述摩托车与在所述摩托车前方行驶的车辆之间要维持的参考距离的指示;由所述处理资源实时地获得由至少一个前视相机连续地获取的连续图像,所述至少一个前视相机以使其能够捕获在所述摩托车前方的场景的图像的方式安装在所述摩托车上,其中在所述连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;由所述处理资源连续地分析所述连续图像,以确定在所述摩托车与在所述摩托车前方行驶的车辆之间的实际距离;在所述实际距离不同于所述参考距离时,由所述处理资源控制所述摩托车的速度以返回到与所述车辆相距所述参考距离。
在一些情况下,通过分析由所述前视相机捕获的一个或多个参考距离确定图像直至在所述摩托车的骑乘者提供触发之前或之后的预确定时间来在所述摩托车的所述骑乘者提供所述触发时确定所述参考距离。
根据本公开的主题的第九方面,提供了一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质体现有计算机可读程序代码,所述计算机可读程序代码可由计算机的处理资源执行以执行方法,所述方法包括:由所述处理资源获得对在所述摩托车与在所述摩托车前方行驶的车辆之间要维持的参考距离的指示;由所述处理资源实时地获得由至少一个前视相机连续地获取的连续图像,所述至少一个前视相机以使其能够捕获在所述摩托车前方的场景的图像的方式安装在所述摩托车上,其中在所述连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;由所述处理资源连续地分析所述连续图像,以确定在所述摩托车与在所述摩托车前方行驶的车辆之间的实际距离;在所述实际距离不同于所述参考距离时,由所述处理资源控制所述摩托车的速度以返回到与所述车辆相距所述参考距离。
根据本公开的主题的第十方面,提供了一种用于摩托车的骑乘辅助系统,包括:处理资源;存储器,所述存储器被配置为存储可由所述处理资源使用的日期数据;以及至少一个广角前视相机,所述至少一个广角前视相机被配置为以使其能够捕获在所述摩托车前方的包括至少右侧和左侧的场景的图像的方式安装在所述摩托车上;其中所述处理资源被配置为:获得由所述相机连续地获取的一系列的至少两个图像,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比第一阈值少;分析在所述系列图像中的至少一对连续图像内的感兴趣区域,以识别在所述至少一对连续图像内具有相应特征位置的特征;将所述特征中的每一者与其在所述系列图像中的所述至少一对连续图像中的每个图像内的相应特征位置匹配,以确定所述相应特征中的每一者在所述系列图像中的所述至少一对连续图像之间的移动矢量,所述移动矢量表示所述特征随时间的所述移动;以及在满足标准时生成警告通知,其中所述标准与相应特征的所述移动矢量相关联或与相应特征的增强移动矢量相关联。
在一些情况下,所述标准是相应特征的与所述摩托车的方向处于碰撞路线上的所述移动矢量的数量超过另一个阈值。
在一些情况下,所述标准是平均矢量与所述摩托车的方向在碰撞路线上,所述平均矢量为表示所述移动矢量的平均值的矢量。
在一些情况下,所述特征位置使用以下项中的一者或多者进行匹配:L2函数,或者最近邻算法。
在一些情况下,所述处理资源还被配置为估计与在所述系列图像中的所述至少一对连续图像中的给定图像内的所述特征中的至少一些特征相关联的车辆的存在可能性;并且其中仅在所述可能性比第三阈值高时才生成所述警告通知。
在一些情况下,使用卷积神经网络来执行所述估计。
在一些情况下,所述处理资源还被配置为:分析在所述系列图像中的至少另一对连续图像内的所述感兴趣区域,以识别具有相应特征位置的所述特征,其中所述一对的所述图像中的至少一者是所述另一对的所述图像中的一者;将在所述系列图像中的所述一对连续图像和所述另一对连续图像内的所述特征的所述特征位置匹配,以确定所述相应特征中的每一者在所述一对的所述连续图像和所述另一对的所述连续图像之间的所述增强移动矢量,其中所述增强移动矢量与在所述一对的所述图像和所述另一对的所述图像内所述相应特征的位置之间的最长距离相关联。
在一些情况下,所述处理资源还被配置为:估计所述特征中的每一者的轨迹;识别所估计的轨迹的交点;其中当所述交点在所述系列的给定图像内的预限定区域内时,所述标准满足。
在一些情况下,所述处理资源还被配置为确定在所述系列图像中的所述一对连续图像内的至少另一个感兴趣区域内、在朝向所述摩托车的竖直方向上的光流的平均值,其中当光流的所述平均值超过允许平均光流阈值时,所述标准满足。
在一些情况下,所述警告通知被提供给所述摩托车的骑乘者。
在一些情况下,所述系统还包括照明系统,所述照明系统包括多个灯,当面向所述摩托车前方时,所述多个灯对所述摩托车的所述骑乘者可见,并且其中所述警告通知通过打开所述灯的一个或多个所选择的灯来提供。
在一些情况下,根据出自多个威胁类型中的威胁的威胁类型来选择所选择的灯,其中所述威胁类型中的至少两者与所选择的灯的不同组合相关联。
在一些情况下,所述警告通知通过以预确定模式和/或颜色打开所选择的灯来提供。
在一些情况下,所述预确定模式是所选择的灯的闪烁模式。
在一些情况下,所述照明系统被包括在所述摩托车的镜内。
在一些情况下,所述照明系统连接到所述摩托车的所述镜并在所述摩托车的所述镜外部。
在一些情况下,所述警告通知是经由一个或多个扬声器提供给所述摩托车的所述骑乘者的声音通知。
在一些情况下,所述声音通知是语音通知。
在一些情况下,所述警告通知是经由引起由所述摩托车的所述骑乘者感觉到的振动的一个或多个振动元件而提供给所述摩托车的所述骑乘者的振动。
在一些情况下,所述广角前视相机是广角相机,其覆盖超过90°的角度。
在一些情况下,在所述摩托车的移动期间并实时地执行所述获得。
在一些情况下,所述通知通过投影到所述摩托车的所述骑乘者的头盔的护目镜上来提供。
在一些情况下,所述图像覆盖所述场景的至少60°的角度。
根据本公开的主题的第十一方面,提供了一种用于摩托车的骑乘辅助方法,所述方法包括:由处理资源获得由至少一个广角前视相机连续地获取的一系列的至少两个图像,所述至少一个广角前视相机被配置为以使其能够捕获在所述摩托车前方的包括至少右侧和左侧的场景的图像的方式而安装在所述摩托车上,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比第一阈值少;分析在所述系列图像中的至少一对连续图像内的感兴趣区域,以识别在所述至少一对连续图像内具有相应特征位置的特征;将所述特征中的每一者与其在所述系列图像中的所述至少一对连续图像中的每个图像内的相应特征位置匹配,以确定所述相应特征中的每一者在所述系列图像中的所述至少一对连续图像之间的移动矢量,所述移动矢量表示所述特征随时间的所述移动;以及在满足标准时生成警告通知,其中所述标准与相应特征的所述移动矢量相关联或与相应特征的增强移动矢量相关联。
在一些情况下,所述标准是相应特征的与所述摩托车的方向处于碰撞路线上的所述移动矢量的数量超过另一个阈值。
在一些情况下,所述标准是平均矢量与所述摩托车的方向在碰撞路线上,其中平均矢量为表示所述移动矢量的平均值的矢量。
在一些情况下,所述特征位置使用以下项中的一者或多者进行匹配:L2函数,或者最近邻算法。
在一些情况下,所述方法还包括估计与在所述系列图像中的所述至少一对连续图像中的给定图像内的所述特征中的至少一些特征相关联的车辆的存在可能性;并且其中仅在所述可能性比第三阈值高时才生成所述警告通知。
在一些情况下,使用卷积神经网络来执行所述估计。
在一些情况下,所述方法还包括:分析在所述系列图像中的至少另一对连续图像内的所述感兴趣区域,以识别具有相应特征位置的所述特征,其中所述一对的所述图像中的至少一者是所述另一对的所述图像中的一者;以及将在所述系列图像中的所述一对连续图像和所述另一对连续图像内的所述特征的所述特征位置匹配,以确定所述相应特征中的每一者在所述一对的所述连续图像和所述另一对的所述连续图像之间的所述增强移动矢量,其中所述增强移动矢量与在所述一对的所述图像和所述另一对的所述图像内所述相应特征的位置之间的最长距离相关联。
在一些情况下,所述方法还包括:估计所述特征中的每一者的轨迹;识别所估计的轨迹的交点;其中当所述交点在所述系列的给定图像内的预限定区域内时,所述标准满足。
在一些情况下,所述方法还包括确定在所述系列图像中的所述一对连续图像内的至少另一个感兴趣区域内、在朝向所述摩托车的竖直方向上的光流的平均值,其中当光流的所述平均值超过允许平均光流阈值时,所述标准满足。
在一些情况下,所述警告通知被提供给所述摩托车的骑乘者。
在一些情况下,所述警告通知通过打开照明系统中包括的多个灯中的一个或多个所选择的灯来提供,当面向所述摩托车前方时,所述灯对所述摩托车的所述骑乘者可见。
在一些情况下,根据出自多个威胁类型中的威胁的威胁类型来选择所选择的灯,其中所述威胁类型中的至少两者与所选择的灯的不同组合相关联。
在一些情况下,所述警告通知通过以预确定模式和/或颜色打开所选择的灯来提供。
在一些情况下,所述预确定模式是所选择的灯的闪烁模式。
在一些情况下,所述照明系统被包括在所述摩托车的镜内。
在一些情况下,所述照明系统连接到所述摩托车的所述镜并在所述摩托车的所述镜外部。
在一些情况下,所述警告通知是经由一个或多个扬声器提供给所述摩托车的所述骑乘者的声音通知。
在一些情况下,所述声音通知是语音通知。
在一些情况下,所述警告通知是经由引起由所述摩托车的所述骑乘者感觉到的振动的一个或多个振动元件而提供给所述摩托车的所述骑乘者的振动。
在一些情况下,所述广角前视相机是广角相机,其覆盖超过90°的角度。
在一些情况下,在所述摩托车的移动期间并实时地执行所述获得。
在一些情况下,所述通知通过投影到所述摩托车的所述骑乘者的头盔的护目镜上来提供。
在一些情况下,所述图像覆盖所述场景的至少60°的角度。
根据本公开的主题的第十二方面,提供了一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质体现有计算机可读程序代码,所述计算机可读程序代码可由处理资源执行以执行方法,所述方法包括:由所述处理资源获得由至少一个广角前视相机连续地获取的一系列的至少两个图像,所述至少一个广角前视相机被配置为以使其能够捕获在所述摩托车前方的包括至少右侧和左侧的场景的图像的方式而安装在所述摩托车上,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比第一阈值少;分析在所述系列图像中的至少一对连续图像内的感兴趣区域,以识别在所述至少一对连续图像内具有相应特征位置的特征;将所述特征中的每一者与其在所述系列图像中的所述至少一对连续图像中的每个图像内的相应特征位置匹配,以确定所述相应特征中的每一者在所述系列图像中的所述至少一对连续图像之间的移动矢量,所述移动矢量表示所述特征随时间的所述移动;以及在满足标准时生成警告通知,其中所述标准与相应特征的所述移动矢量相关联或与相应特征的增强移动矢量相关联。
附图说明
为了理解本公开的主题并了解其如何在实践中实施,现在将参考附图仅通过非限制性示例描述主题,其中:
图1是根据本公开的主题的具有骑乘辅助系统的摩托车的示意图;
图2是根据本公开的主题的示意性地示出骑乘辅助系统的一个示例的框图;
图3是根据本公开的主题的示出被实施来向摩托车的骑乘者和/或其他实体提供与在摩托车前方的风险有关的警告的操作序列的一个示例的流程图;
图4是根据本公开的主题的示出被实施来向摩托车的骑乘者和/或其他实体提供与在摩托车后方的风险有关的警告的操作序列的一个示例的流程图;
图5是根据本公开的主题的示出被实施来自动地控制摩托车的转弯信号的操作序列的一个示例的流程图;
图6是根据本公开的主题的示出被实施来选择性地激活摩托车的转弯信号的操作序列的一个示例的流程图;
图7是根据本公开的主题的示出被实施来提供用于摩托车的自适应巡航控制的操作序列的一个示例的流程图;
图8是根据本公开的主题的骑乘辅助系统的示例性视觉语言的示意图;
图9是根据本公开的主题的示出被实施来向摩托车的骑乘者和/或其他实体提供与侧面碰撞的风险有关的警告的操作序列的一个示例的流程图;
图10是根据本公开的主题的示出被实施来确定增强运动矢量的操作序列的一个示例的另一个流程图;
图11是根据本公开的主题的具有不连续感兴趣区域的示例性帧的示意图;
图12是根据本公开的主题的示出对摩托车的威胁的帧序列的示意图;
图13是根据本公开的主题的示出对摩托车的非威胁的帧序列的示意图;
图14是根据本公开的主题的示出被实施来确定安全区的操作序列的一个示例的流程图;
图15a是根据本公开的主题的由安装在摩托车上的前视相机捕获的第一交通状况的图片;
图15b示出了根据本公开的主题的如通过边缘检测算法检测的在图16a的图片内的对象的边缘;
图15c示出了在图16a的图片内的对象的顶视图;
图16a是根据本公开的主题的由安装在摩托车上的前视相机捕获的第二交通状况的图片;
图16b示出了根据本公开的主题的如通过边缘检测算法检测的在图17的图片内的对象的边缘;
图16c示出了在图17的图片内的对象的顶视图;并且
图17是根据本公开的主题的示出被实施来确定安全区深度的操作序列的一个示例的流程图。
具体实施方式
在以下详细描述中,阐述了众多具体细节,以便提供对本公开的主题的透彻理解。然而,本领域的技术人员将理解,可在没有这些具体细节的情况下实践本公开的主题。在其他情况下,没有详细地描述所熟知的方法、过程和部件,以免使本公开的主题不清楚。
在所阐述的附图和描述中,相同的附图标记指示不同的实施例或配置所共有的那些部件。
除非另外具体地说明,否则如从以下论述显而易见,应理解,贯穿本说明书,利用诸如“获得”、“分析”、“生成”、“确定”、“执行”、“控制”等术语的论述包括计算机的动作和/或过程,所述动作和/或过程将数据操纵和/或转换为其他数据,所述数据表示为物理量,例如,诸如电子量,和/或所述数据表示物理对象。术语“计算机”、“处理器”和“控制器”应被广泛地解释为涵盖具有数据处理功能的任何类型的电子装置,以非限制性示例的方式包括个人台式/膝上型计算机、服务器、计算系统、通信装置、智能电话、平板电脑、智能电视、处理器(例如,数字信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC))等)、共享各种任务的执行的一组多个物理机、共驻留在单个物理机上的虚拟服务器、任何其他电子计算装置和/或它们的任何组合。
根据本文中的教导的操作可由为所期望的目的而特殊地构造的计算机或由通过存储在非暂时性计算机可读存储介质中的计算机程序为所期望的目的而特殊地配置的通用计算机来执行。本文使用术语“非暂时性”来排除暂时性传播信号,但另外包括适用于应用的任何易失性或非易失性计算机存储技术。
如本文所使用,短语“例如(for example)”、“诸如”、“例如(for instance)”及其变型描述了本公开的主题的非限制性实施例。在本说明书中对“一种情况”、“一些情况”、“其他情况”或其变型的引用意味着结合实施例描述的特定特征、结构或特性被包括在本公开的主题的至少一个实施例中。因此,短语“一种情况”、“一些情况”、“其他情况”或其变型的出现不一定是指相同实施例。
应理解,除非另外具体地说明,否则为了清楚起见,在单独实施例的上下文中描述的本公开的主题的某些特征也可在单个实施例中组合地提供。相反地,为了简洁起见,在单个实施例的上下文中描述的本公开的主题的各种特征也可单独地提供或以任何合适的子组合提供。
在本公开的主题的实施例中,可执行与图3至图7、图9至图10、图14和图17中示出的阶段相比更少、更多和/或不同的阶段。在本公开的主题的实施例中,图3至图7、图9至图10、图14和图17中示出的一个或多个阶段可以不同次序执行,并且/或者一个或多个阶段组可同时地执行。图1和图2示出根据本公开的主题的实施例的系统架构的总示意图。图1和图2中的每个模块可由执行如本文中定义和解释的功能的软件、硬件和/或固件的任何组合制成。图1 和图2中的模块可集中在一个位置中或分散在多于一个位置上。在本公开的主题的其他实施例中,系统可包括与图1和2中示出的模块相比更少、更多和/或不同的模块。
在本说明书中对方法的任何引用应加以必要变更以应用于能够执行方法的系统,并且应加以必要变更以应用于存储指令的非暂时性计算机可读介质,所述指令一旦由计算机执行就造成执行方法。
在本说明书中对系统的任何引用应加以必要变更以应用于可由系统执行的方法,并且应加以必要变更以应用于存储可由系统执行的指令的非暂时性计算机可读介质。
在本说明书中对非暂时性计算机可读介质的任何引用应加以必要变更以应用于能够执行存储在非暂时性计算机可读介质中的指令的系统,并且应加以必要变更以应用于可由读取存储在非暂时性计算机可读介质中的指令的计算机执行的方法。
应注意,在以下描述中,将摩托车作为关于任何2轮车变型的术语进行参考,但本文中提供的公开内容也可用于其他车辆,包括3轮车、4轮车和加以必要变更的任何其他类型的车辆(不论是否是机动化的)。在其上可实现本公开的主题的一些示例性类型的车辆包括摩托车、机动输运车、高尔夫球车、电动踏板车、小汽车、卡车等。
考虑到这一点,请注意图1,其为根据本公开的主题的具有骑乘辅助系统的摩托车的示意图。
根据本公开的主题,提供了摩托车10,作为在其上安装有骑乘辅助系统的平台。骑乘辅助系统包括被配置为感测摩托车10的环境的一个或多个传感器。传感器可包括被配置为获得在摩托车10前方的区域的图像的至少一个前视相机 120,以及任选地还包括被配置为获得在摩托车10后端的区域的图像的至少一个后视相机130。前视相机120可定位在摩托车10前灯上方、摩托车10前灯下方、摩托车10前灯内(例如,如果在前视相机的制造期间将前视相机集成到摩托车前灯的话),或者以向前视相机120提供在摩托车10前方的区域的清楚视图的任何其他方式定位。后视相机130可定位在摩托车10后灯上方、摩托车10 后灯下方、摩托车10后灯内(例如,如果在后视相机的制造期间将后视相机集成到摩托车后灯的话),或者以向后视相机130提供在摩托车10后方的区域的清楚视图的任何其他方式定位。
相机(即,至少一个前视相机120和至少一个后视相机130)可任选地以使得能够捕获摩托车10的前方和/或摩托车10的后方的广角视图的方式布置。在一些实施例中,广角可为大于60°或甚至90°的任何角度,并且在更具体的情况下,其可为175°或甚至180°和更大的角度。可理解,具有175°或甚至180°的角度的前视相机和后视相机能够实现围绕摩托车10的350°至360°的覆盖范围。具有围绕摩托车10的350°至360°的覆盖范围有效地带来始终能够识别来自其他车辆的威胁的能力,因为车辆的尺寸造成其至少部分在前视相机120或后视相机 130中的至少一者的视场内始终可见。
可使用的相机的示例性规格是SAINSMART的广角FOV175°5百万像素相机模块SKU101-40-187(参见https://www.sainsmart.com/products/ wide-angle-fov175-5-megapixel-camera-module)。前视相机120和后视相机130 可具有至少二百万像素(MP)的分辨率,并且在一些实施例中至少五MP的分辨率。前视相机120和后视相机130可具有的帧速率为至少每秒二十帧(FPS),并且在一些实施例中至少三十FPS。
应注意,在一些情况下,除了前视广角相机之外,还可使用附加前视窄角相机,例如,用于冗余,或者用于实现在与前视广角相机相比更高范围下提高的准确度。以类似的方式,在一些情况下,除了后视广角相机之外,还可使用附加后视窄角相机,例如,用于冗余,或者用于实现在与后视广角相机相比更高范围下提高的准确度。
如本文所指示,在替代实施例中,可使用多于一个前视相机120或多于一个后视性相机130,其各自具有非广角或广角,同时相机的视场可能会部分地重叠,或者不重叠。在一些实施例中,相机的组合视场覆盖例如60°、90°、175°或甚至180°或更大的广角。
尽管该图仅示出了前视相机120和后视相机130作为传感器,但传感器可包括其他/附加传感器,包括前视和/或后视雷达、多个激光测距仪,或者能够使处理模块确定在摩托车10与可对摩托车10造成风险的其他对象(例如,在距摩托车10的特定阈值距离内的其他车辆)之间的碰撞时间的任何其他传感器。
然后,由传感器获取的信息由处理模块110获得并分析,以便识别对摩托车 10的威胁,如在本文中更详细地解释的。处理模块110可位于摩托车10的座椅下方,但也可替代地位于摩托车中的其他地方。处理模块110可连接到摩托车 10的电池,或者其也可具有其自己的电源。传感器(例如,前视相机120和后视相机130)可连接到串行器,并且然后通过同轴电缆连接到解串行器,该解串行器继而又向处理模块110馈送由传感器获取的信息。
在传感器是前视相机120和/或后视相机130的情况下,处理模块为此分析由此获取的图像。可由处理模块110识别的一些示例性威胁包括:从摩托车10右侧与在该摩托车附近的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)碰撞的右碰撞警告;从摩托车10 左侧与在该摩托车附近的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)碰撞的左碰撞警告;摩托车10 与在其前方的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)碰撞的前向碰撞警告(FCW);指示在摩托车10的骑乘者可能无法看到的特定区域处存在对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)的盲点警告 (BSW);摩托车10未保持其车道的道路/车道保持警告(RKW);摩托车10与在其前方的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)相距不低于特定距离的距离保持警告(DKW);摩托车10倾斜角太过尖锐或不够尖锐的倾斜角警告;摩托车10以可能造成其无法通过弯道的速度接近弯道的弯道速度警告(CSW)。
一旦识别出对摩托车10的威胁,处理模块110可被配置为向摩托车10的骑乘者发警报,以便使得骑乘者能够执行措施来消除或减少任何风险。警报可以可被摩托车10的骑乘者感知的任何方式来提供。在一些情况下,可经由照明系统140来提供警报,该照明系统包括产生在可见光谱中的光的一个或多个光产生部件(例如,发光二极管(LED)灯或任何其他光产生装置)。照明系统140 可定位在摩托车10的镜的天际线上,如图所示。在一些情况下,它可集成到镜本身中。在其他情况下,它可添加在摩托车10的现有镜的顶部上。照明系统140 产生在镜的上方和/或侧面和/或底部上可由摩托车的骑乘者看到的光。
警报可替代地或附加地经由其他手段提供,包括经由连接到由骑乘者穿戴的头盔(例如,使用在处理模块110与振动元件之间的蓝牙连接)或连接到摩托车10座椅或可由骑乘者以将使骑乘者能够感知作为警报而提供的振动的方式穿戴的任何其他可穿戴对象的振动元件。另一个任选的警报机制可包括经由产生即使当以高速骑行时也能被骑乘者听到的声音的耳机和/或扬声器(例如,在由摩托车10骑乘者穿戴的头盔内的扬声器)提供给摩托车10骑乘者的基于声音的警报。另一个任选的警报机制可包括使用投影机制将指示警报的信息以及任选地与该警报相关联的警报类型和/或其他信息投影到摩托车10的骑乘者的头盔的护目镜上。
应注意,在一些情况下,骑乘辅助系统可被配置为识别多种类型的威胁,并且在这种情况下,每个威胁可与不同警报相关联,从而使得摩托车10的骑乘者能够确定威胁类型。因此,当使用照明系统140提供警报时,每种类型的警报可与任选地以特定模式提供的光的特定组合相关联,所述特定模式包括以特定节拍的闪烁。在一些情况下,光可根据威胁的严重程度来改变颜色。例如,如果存在摩托车10与在其前方行驶的另一个车辆碰撞的碰撞威胁,则(a)当威胁发生的可能性低于X时,光将为橙色,其指示轻度威胁,以及(b)当威胁发生的可能性大于X时,光将为红色,其指示重度威胁。作为另一个示例,当使用声音提供警报时,随着威胁增大,该声音的音量可增大。作为又一个示例,当使用振动元件提供警报时,随着威胁增大,振动频率可增大。
图8处举例说明了可采用的一种示例性类型的视觉语言,其示出了表格,该表格示出了在识别出各种类型的威胁时提供给摩托车10的骑乘者的各种类型的视觉指示。在表中,每个警告与由照明系统提供的特定颜色的光(例如,橙色和红色,这任选地根据威胁的严重度,其中轻度威胁与橙色相关联,并且重度威胁与红色相关联)、照明系统的激活模式(例如,简单地打开灯,或者以特定模式(诸如闪烁)将其打开)以及每种类型的警告都激活了LED灯中的哪个相关联。在所示的示例中的视觉指示由摩托车10的镜上的LED条提供。
返回图1,在一些情况下,除了向摩托车10的骑乘者提供警报之外,或者作为其替代,骑乘辅助系统可向行人或向除摩托车10之外的另一个车辆的驾驶员提供警报,该警报指示了其对摩托车10造成威胁。在这种情况下,可通过打开摩托车10的至少一个前灯和/或后灯或使用摩托车10的喇叭鸣喇叭来提供警报,从而向行人或向其他车辆的驾驶员提供基于视觉和/或声音的警报。应注意,为此,骑乘辅助系统可连接到摩托车10的控制器局域网(CAN)总线,这可使其能够连接到摩托车10的各种系统,包括由以下项组成的组中的一者或多者:摩托车的节气门、摩托车的喇叭、摩托车的前灯和/或尾灯、摩托车的制动器、摩托车的显示器等。在其他情况下,例如当不可能连接到摩托车10的CAN总线时,骑乘辅助系统可使用可作为骑乘辅助系统的部分而安装的专用灯和/或喇叭,以便消除使用摩托车10的系统(即,连接到摩托车10的CAN总线的系统)的需求。例如,可在摩托车10的制动灯旁边和/或在摩托车10的后向转向灯旁边添加照明单元。
在一些情况下,处理模块110还被配置为在识别对摩托车10的威胁时执行一种或多种保护措施,以便消除或减少威胁。保护措施可包括通过使用自动降档或其制动器和/或通过以预计造成摩托车10减慢的方式控制摩托车10的节气门(或以其他方式控制摩托车10发动机的燃料流的量)来使摩托车减慢。应注意,在一些情况下,例如当摩托车10的倾斜角极其尖锐时,保护措施可包括提高该摩托车的速度。
尽管附图中未示出,但骑乘辅助系统还可包括(a)全球定位系统跟踪单元(或使得能够确定摩托车10的当前地理位置的任何其他类型装置);和/或(b)使得能够例如确定摩托车10的倾斜角的惯性测量单元(IMU),包括加速度计和/或陀螺仪和/或磁力计;和/或(c)可用于存储各种数据的数据存储库,如本文进一步详述的,尤其参考图2。
已经描述了具有骑乘辅助系统的摩托车的图示,请注意图2,该框图示意性地示出了根据本公开的主题的骑乘辅助系统的一个示例。
根据本公开的主题的某些示例,骑乘辅助系统200可包括至少一个前视相机 120和/或至少一个后视相机130,如本文详述的,尤其参考图1。
骑乘辅助系统200还可包括数据存储库210(例如,数据库、存储系统、包括只读存储器(ROM)、随机存取存储器(RAM)或任何其他类型的存储器的存储器等),或者以其他方式与其相关联,该数据存储库被配置为存储数据,尤其包括由传感器获取的信息(例如,由前视相机120和/或后视相机130获取的图像)、过去骑乘记录等。
骑乘辅助系统200还包括处理模块110。处理模块110可包括一个或多个处理单元(例如,中央处理单元)、微处理器、微控制器(例如,微控制器单元(MCU)) 或任何其他计算处理装置,其适于独立地或协同地处理数据来用于控制相关骑乘辅助系统200资源并用于实现与骑乘辅助系统200资源有关的操作。
处理模块210可包括以下模块中的一者或多者:骑乘辅助模块220、转弯信号控制模块230和自适应巡航控制模块240。
根据本公开的主题的一些示例,骑乘辅助模块220被配置为向摩托车10的骑乘者提供骑乘辅助。辅助可包括指示摩托车10的骑乘者需要注意的危险或潜在地危险的情况的警告。在本文中提供了关于骑乘辅助过程的详细说明,尤其参考图3、图4、图9和图10。
转弯信号控制模块230被配置为在确定应打开/关闭摩托车10的转弯信号时自动地控制转弯信号,如本文进一步详述的,尤其参考图5和图6。
自适应巡航控制模块240被配置为提供自适应巡航控制,以使得摩托车10 能够自动地维持距在其前方行驶的车辆的给定距离或距离范围,如本文进一步详述的,尤其参考图7。
转向图3,示出了根据本公开的主题的被实施来向摩托车的骑乘者和/或其他实体提供与在摩托车前方的风险有关的警告的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用骑乘辅助模块220来执行基于前视相机的骑乘辅助过程300。
为此,骑乘辅助系统200可被配置为获得由前视相机120连续地获取的一系列的至少两个图像,其中在图像当中的每个连续图像对的捕获之间经过的时间比给定阈值(例如,200毫秒,或者使得能够确定在图像内存在的车辆与摩托车 10之间的当前相对速度的任何其他阈值)少(框310)。在一些情况下,还在摩托车10的移动期间实时地从前视相机120连续地获得图像,所述前视相机以其最大帧速率(或至少以满足给定阈值的帧速率)获得图像,只要摩托车10的发动机正在运行即可,或者至少只要摩托车正在移动即可。
骑乘辅助系统200实时地分析在框310处获得的系列的图像中的至少两者,并且优选地分析在该系列中的图像中的至少两个当前图像,以确定在摩托车10 与一个或多个相应对象之间的碰撞时间(框320)。碰撞时间指示摩托车10将经过多少时间与对象碰撞(或遇到对象,这是例如道路弯道的情况)。
在一些情况下,可通过使用由单个前视相机120捕获的图像来确定碰撞时间,任选地无需知道在摩托车10与相应对象之间的距离。在这种类型的计算中,在每个图像内可识别的相应对象中的每一者被分配有唯一签名,该唯一签名是针对来自图像的相应对象计算的。此签名可用于跟踪在随后捕获的图像(其中出现相应对象)之间的每个相应对象。每个签名与图像的出现相应对象的特定部分相关,同时,应注意,当在图像内的对象的相对尺寸变得比其在先前图像中的相对尺寸小或大时,在图像内的该部分的相对尺寸分别变得更小或更大。由于这一事实,监测相对于在图像序列内的每个图像的该部分的尺寸的变化可使得能够确定在对应于该部分的对象与摩托车10之间的碰撞时间。换句话说,可根据在随后获取的图像之间的相应部分的尺寸的变化率来确定与对应于在图像中的给定部分的给定对象的碰撞时间。
在其他情况下,可例如通过确定以下项来确定碰撞时间:(a)在摩托车10与在该系列中的连续图像的被分析子集的至少部分上至少部分地可见的一个或多个相应对象(例如,车辆、行人、障碍物、道路弯道等)之间的距离;以及(b) 在摩托车与相应对象之间的相对移动。
例如,可通过分析在两个连续地获取的图像之间的变化来确定距离和相对移动。然而,应注意,可以其他方式加以必要变更来确定在摩托车10与由骑乘辅助系统200的传感器感测到的其他对象之间的距离和相对移动。例如,通过使用雷达、激光雷达(LIDARS)、激光测距仪或使得能够确定在摩托车10与由骑乘辅助系统200的传感器感测到的其他对象之间的距离和相对移动的任何其他合适的方法和/或机制。
在摩托车10与图像中可见的给定对象之间的距离可使用来自单个前视相机的输入或使用来自两个前视相机的输入来确定:
A.使用查看在摩托车10前方的场景的两个相机可使得能够确定在摩托车10 与给定对象之间的距离。为此,B是在两个相机之间的已知距离,f是相机的已知焦距,并且x和x'是在图像平面中对应于在与对象相关联的场景中的要确定距离的给定点的点之间的距离。对象的距离被计算为(B*f)/(x-x’)。
B.使用单个相机:h是相机的中间焦平面距摩托车10所骑行于的道路的已知高度。f是相机的已知焦距。相机相对于道路的角度是已知的。q是相机的焦平面的高度的一半。对象的距离被计算为(f*h)/q。可理解,此计算是基于与在相机内的三角形相似性,有一个由h和f表示的三角形,其类似于在相机外部的由h 和D表示的三角形,其中唯一未知的是D。
应注意,可使用其他方法和/或技术来确定碰撞时间,并且本文中详述的方法仅是示例性实现方式。
骑乘辅助系统200在碰撞时间(在框320处确定)指示对摩托车的威胁时生成警告通知(框330)。
可理解,如参考图1所指示,当骑乘摩托车10时存在许多威胁。可使警告通知生成的一些示例性威胁包括:从摩托车10右侧与在该摩托车附近的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)碰撞的右碰撞警告;从摩托车10左侧与在该摩托车附近的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)碰撞的左碰撞警告;摩托车10与在其前方的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象) 碰撞的前向碰撞警告(FCW);指示在摩托车10的骑乘者可能无法看到的特定区域处存在对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象)的盲点警告(BSW);摩托车10未保持其车道的道路/车道保持警告(RKW);摩托车10与在其前方的对象(无论是在道路上的障碍物、另一个车辆、行人还是可由处理模块110检测到的任何其他对象) 相距不低于特定距离的距离保持警告(DKW);摩托车10倾斜角太过尖锐或不够尖锐的倾斜角警告;摩托车10以可能造成其无法通过弯道的速度接近弯道的弯道速度警告(CSW);或者对摩托车10造成的任何其他威胁。
如本文所指示,在一些情况下,警告通知可提供给摩托车10的骑乘者。在这种情况下,可经由照明系统140提供警告通知,该照明系统任选地包括至少一个并任选地多个灯,当面向摩托车的前方时,该灯对摩托车10的骑乘者可见。
可通过任选地以预确定模式(例如,以给定频率闪烁、灯的激活的定时、打开所选择的灯中的不同灯等)和/或颜色(例如,指示轻度风险威胁的橙色和指示重度威胁的红色)打开照明系统140的一个或多个所选择的灯或所有灯来提供警告通知。可根据在框330处识别出的威胁的出自多个威胁类型和/或严重度的威胁类型和/或严重度来(例如,根据预定义规则)选择所选择的灯(以及任选地模式和/或颜色)。在这种情况下,至少两种不同威胁类型各自与所选择的灯和/ 或模式和/或颜色的不同组合相关联。
附加地,或可替代地,为了使用照明系统140来提供视觉警告通知,警告通知可包括经由一个或多个扬声器提供给摩托车的骑乘者的声音通知。扬声器可为集成在骑乘者的头盔中的蓝牙扬声器,或者产生可被摩托车10的骑乘者听到的声音的任何其他扬声器。在一些情况下,声音通知可为自然语言语音通知,其提供所识别的具体威胁类型和/或严重度的信息(例如“警告-前向碰撞风险”)。在一些情况下,可根据风险的严重度来调整音量,使得风险越高,通知的音量就将越大。
附加地,或可替代地,警告通知可为经由引起由摩托车10的骑乘者感觉到的振动的一个或多个振动元件而提供给摩托车的骑乘者的振动。在一些情况下,可根据风险严重度来调整振动,使得风险越高,振动就将越强。振动元件可任选地集成在由摩托车10的骑乘者穿戴的夹克中、摩托车10的座椅中或由摩托车10的骑乘者穿戴的头盔中,然而,它们也可提供在其他地方,只要其振动被摩托车10的骑乘者感觉到即可。
附加地,或可替代地,警告通知可为除照明系统140之外的视觉通知。例如,可使用任何合适的投影机制来将警告通知投影到摩托车10的骑乘者的头盔的护目镜上,或者显示在摩托车10的显示器上。
应注意,以上警告通知提供系统仅是示例,并且警告通知可以任何其他方式提供给摩托车10的骑乘者,只要能向骑乘者通知威胁即可。
已经描述了旨在向摩托车的骑乘者提供警告通知的一些警告通知提供系统,现在注意除了向摩托车10的骑乘者提供警告通知之外或作为其替代还将警告通知提供给除摩托车10之外的行人或车辆(其为由骑乘辅助系统200的传感器感测到并对摩托车10造成风险的其他对象)的情况。可向除摩托车10之外的这种行人或车辆提供警告通知的一些示例性方式包括:(a)打开摩托车的至少一个灯,无论是制动灯、前灯还是转向灯,以及(b)使用摩托车的喇叭或连接到骑乘辅助系统200的任何其他喇叭鸣喇叭。
现在注意威胁类型的一些具体示例及其骑乘辅助系统200的处理。第一示例性威胁类型是摩托车10与存在于摩托车10前方的一个或多个对象碰撞的前向碰撞威胁。在这种情况下,可在处理模块110确定碰撞时间(其为预计直至摩托车与相应对象碰撞为止经过的时间)比预确定阈值时间少时生成警告通知。在经由照明系统140提供警告通知的情况下,可基于对摩托车10造成威胁的对象的位置来打开第一灯组合。例如,如果对象在摩托车10的前方并朝向左侧,则可打开在摩托车10的左侧上(例如,在左视镜上方)的一个或多个灯(任选地以特定模式和/或颜色,如上文所详述)。如果对象在摩托车10的前方并朝向右侧,则可打开在摩托车10的右侧上(例如,在右视镜上方)的一个或多个灯 (任选地以特定模式和/或颜色,如上文所详述)。如果对象在摩托车10的前方并朝向其中心,则可打开在摩托车10的左侧和右侧上(例如,在左视镜和右视镜上方)的两个灯(任选地以特定模式和/或颜色,如上文所详述),或可替代地,打开放置在左视镜与右视镜之间的一个或多个灯。应注意,这些仅是示例,并且可使用其他手段加以必要变更来提供警告通知。
另一个示例性威胁类型是摩托车10因道路/车道中的造成摩托车10的方向发生所要求的变化的弯道而无法保持摩托车10骑行于的道路/车道的道路/车道保持威胁。在这种情况下,可在处理模块110确定(例如,使用在摩托车与弯道之间的距离和相对移动)作为预计直到摩托车到达弯道为止经过的时间的到达弯道时间比预确定阈值时间少时生成警告通知。在经由照明系统140提供警告通知的情况下,例如可基于到达弯道时间来打开第二灯组合(除了在前向碰撞威胁中提供的第一灯组合之外)。例如,如果到达弯道时间小于3秒,则照明系统140的一个或多个灯可以黄色打开。如果当到达弯道时间小于2秒时威胁仍然存在,则照明系统140的一个或多个灯可以橙色打开。如果当到达弯道时间小于1秒时威胁仍然存在,则照明系统140的一个或多个灯可以红色打开。
另一个示例性威胁类型是摩托车10进入在摩托车10以危险的倾斜角骑行于的车道中的弯道的倾斜角威胁。在这种情况下,可在处理模块110使用摩托车的当前倾斜角的信息、弯道的角度的信息和作为预计直至摩托车到达弯道为止经过的时间的到达弯道时间来确定作为摩托车相对于地面的倾斜角的当前倾斜角比第一预确定阈值少或比第二预确定阈值高时生成警告通知。在经由照明系统140提供警告通知的情况下,例如可基于到达弯道时间和/或基于当前摩托车 10倾斜角来打开第三灯组合(除了在前向碰撞威胁中提供的第一灯组合之外)。例如,如果确定到达弯道时间小于1.2秒,并且摩托车10的当前倾斜角不在第一预限定阈值和第二预限定阈值内,则照明系统140的一个或多个灯可按闪烁模式以黄色打开。如果在到达弯道时间小于1秒时威胁仍然存在,则照明系统 140的一个或多个灯可按闪烁模式以橙色打开。如果在到达弯道时间小于0.8秒时威胁仍然存在,则照明系统140的一个或多个灯可按闪烁模式以红色打开。
应注意,关于摩托车10的当前倾斜角,可从连接到摩托车10的惯性测量单元(IMU)和/或通过分析由前视相机120获取的至少两个最新连续图像来获得该当前倾斜角。
本文参考向摩托车10的骑乘者和/或向除了摩托车10之外的其他实体(诸如行人和/或其他车辆的驾驶员)提供警告通知。然而,在一些情况下,除了提供警告通知之外或作为其替代,处理模块110可任选地被配置为在指示对摩托车的威胁的碰撞时间(如本文所指示,其可使用各种方法和/或技术来确定)时执行一个或多个保护措施。保护措施可包括例如通过使用自动降档或其制动器和/ 或通过以预计造成摩托车10减慢的方式控制摩托车10的节气门(或以其他方式控制摩托车10发动机的燃料流的量)来使摩托车10减慢。应注意,在一些情况下,例如当摩托车10的倾斜角极其尖锐时,保护措施可包括提高该摩托车的速度。
应注意,参考图3,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。还应注意,框中的一些是任选的(例如,在识别威胁时执行一种或多种保护措施的情况下,可放弃在框330处警告通知的生成)。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
图4示出了根据本公开的主题的示出被实施来向摩托车的骑乘者和/或其他实体提供与在摩托车后方的风险有关的警告的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用骑乘辅助模块220来执行基于后视相机的骑乘辅助过程400,其类似于并任选地补充骑乘辅助过程300。
为此,骑乘辅助系统200可被配置为获得由后视相机130连续地获取的一系列的至少两个图像,其中在图像当中的每个连续图像对的捕获之间经过的时间比给定阈值(例如,200毫秒,或者使得能够确定在图像内存在的车辆与摩托车 10之间的当前相对速度的任何其他阈值)少(框410)。在一些情况下,还在摩托车10的移动期间实时地从后视相机130连续地获得图像,所述后视相机以其最大帧速率(或至少以满足给定阈值的帧速率)获得图像,只要摩托车10的发动机正在运行即可,或者至少只要摩托车正在移动即可。
骑乘辅助系统200实时地分析在框410处获得的系列的图像中的至少两者,并且优选地分析在该系列中的图像中的至少两个当前图像,以确定在摩托车10 与一个或多个相应对象之间的碰撞时间(框420)。碰撞时间指示对象将经过多少时间与摩托车10碰撞。
在一些情况下,可通过使用由单个后视相机130捕获的图像来确定碰撞时间,任选地无需知道在摩托车10与相应对象之间的距离。在这种类型的计算中,在每个图像内可识别的相应对象中的每一者被分配有唯一签名,该唯一签名是针对来自图像的相应对象计算的。此签名可用于跟踪在随后捕获的图像(其中出现相应对象)之间的每个相应对象。每个签名与图像的出现相应对象的特定部分相关,同时,应注意,当在图像内的对象的相对尺寸变得比其在先前图像中的相对尺寸更小或更大时,在图像内的该部分的相对尺寸分别变得更小或更大。由于这一事实,监测相对于在图像序列内的每个图像的该部分的尺寸的变化可使得能够确定在对应于该部分的对象与摩托车10之间的碰撞时间。换句话说,可根据在随后获取的图像之间的相应部分的尺寸的变化率来确定与对应于在图像中的给定部分的给定对象的碰撞时间。
在其他情况下,可例如通过确定以下项来确定碰撞时间:(a)在摩托车10与在该系列中的连续图像的被分析子集的至少部分上至少部分地可见的一个或多个相应对象(例如,车辆、行人、障碍物、道路弯道等)之间的距离;以及(b) 在摩托车与相应对象之间的相对移动。例如,可通过分析在两个连续地获取的图像之间的变化来确定距离和相对移动。然而,应注意,可以其他方式加以必要变更来确定在摩托车10与由骑乘辅助系统200的传感器感测到的其他对象之间的距离和相对移动。例如,通过使用雷达、激光雷达、激光测距仪或使得能够确定在摩托车10与由骑乘辅助系统200的传感器感测到的其他对象之间的距离和相对移动的任何其他合适的方法和/或机制。
应注意,可使用其他方法和/或技术来确定碰撞时间,并且本文中详述的方法仅是示例性实现方式。
骑乘辅助系统200在碰撞时间(在框420处确定)指示对摩托车10的威胁时生成警告通知(框430)。
一种示例性威胁类型是除了摩托车10之外的车辆从后端侧与摩托车10碰撞的后向碰撞威胁。在这种情况下,可在处理模块110例如使用在框420处确定的作为预计直至其他车辆与摩托车10碰撞为止经过的时间的碰撞时间确定比预确定阈值时间少时生成警告通知。在这种情况下,骑乘辅助系统200可任选地以特定模式和/或颜色激活摩托车10的制动灯和/或转向灯,使得对摩托车造成威胁(通过与之碰撞)的车辆的驾驶员将被通知其为威胁。附加地,或可替代地,骑乘辅助系统200可使用摩托车10的喇叭向对摩托车10造成威胁(通过与之碰撞)的车辆的驾驶员提供声音通知,该声音通知会使他注意到对摩托车 10造成了威胁这一事实。应注意,在一些情况下,骑乘辅助系统200可使用专用灯和/或喇叭来代替使用摩托车10的灯和/或喇叭(例如,它不能连接到摩托车10的CAN总线以控制摩托车10的灯和/或喇叭)。
在一些情况下,除了向对摩托车10造成威胁(通过与之碰撞)的车辆的驾驶员提供警告通知之外或作为其替代,还可向摩托车的骑乘者提供警告通知10。在这种情况下,可经由照明系统140提供警告通知,其中可基于对摩托车10造成威胁的车辆的位置来打开第一灯组合。例如,如果车辆在摩托车10的后方并且朝向左侧,则可打开在摩托车10的左侧上(例如,在左视镜上方)的一个或多个灯(任选地以特定模式和/或颜色,如上文所详述)。如果对象在摩托车10 的后方并且朝向右侧,则可打开在摩托车10的右侧上(例如,在右视镜上方) 的一个或多个灯(任选地以特定模式和/或颜色,如上文所详述)。如果对象在摩托车10的后方并朝向其中心,则可打开在摩托车10的左侧和右侧上(例如,在左视镜和右视镜上方)的两个灯(任选地以特定模式和/或颜色,如上文所详述),或可替代地,打开放置在左视镜与右视镜之间的一个或多个灯。应注意,这些仅是示例,并且可使用其他手段加以必要变更来提供警告通知。
另一个示例性威胁类型涉及在摩托车10的骑乘者的盲点中的对象(例如,除了摩托车10之外的车辆)的存在。盲点是在摩托车10的右侧和左侧上的特定区域,当骑乘者向前看时,该特定区域是对摩托车10的骑乘者不可见的。在一些情况下,盲点可由相对于从摩托车的前方延伸的直线的特定的角度范围来限定。例如,右侧盲点可限定为角度范围35°至120°,并且左侧盲点可限定为角度范围215°至300°。当在摩托车10的盲点中存在威胁时,可经由照明系统140 提供警告通知,其中可根据存在威胁的侧面来打开第一灯组合。如果威胁在摩托车10的左侧,则可打开在照明系统140的左侧的灯(任选地以特定模式和/ 或颜色,如上文所详述)。如果威胁在摩托车10的右侧,则可打开在照明系统 140的右侧的灯(任选地以特定模式和/或颜色,如上文所详述)。
应注意,由后视相机130识别的对象可在之后变成由前视相机120识别的对象,例如,因为这些对象移动得比摩托车10快。类似地,由前视相机120识别的对象可在之后变成由后视相机130识别的对象,例如,因为摩托车10移动得比此类对象快。因此,前视相机120和后视相机130两者的存在使得能够覆盖在摩托车周围的大的区域,这可为摩托车10的骑乘者提供360°保护,正如在骑乘辅助系统200的至少一些配置中,可设置前视相机120和后视相机130,使得当车辆在摩托车10旁边在距摩托车的特定范围内(例如,距摩托车10至多三米或甚至五米)行驶时,前视相机120捕获至少包括在车辆前方的图像,并且后视相机130捕获至少包括在车辆后方的图像,使得始终覆盖在保护范围内的任何车辆(通过由前视相机120和后视相机130中的至少一者捕获其至少部分)。
应注意,参考图4,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。还应注意,框中的一些是任选的(例如,在识别威胁时执行一种或多种保护措施的情况下,与在图3的上下文中描述的那些类似地,可放弃在框430处警告通知的生成)。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
转到图5,示出了根据本公开的主题的示出被实施来自动地控制摩托车的转弯信号的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用转弯信号控制模块230执行转弯信号控制过程500。
为此,骑乘辅助系统200可被配置为实时地获得由前视相机120连续地获取的连续图像,其中在连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值(例如,200毫秒,或者使得能够确定在图像内存在的车辆与摩托车 10之间的当前相对速度的任何其他阈值)少(框510)。在一些情况下,还在摩托车10的移动期间实时地从前视相机120连续地获得图像,所述前视相机以其最大帧速率(或至少以满足给定阈值的帧速率)获得图像,只要摩托车10的发动机正在运行即可,或者至少只要摩托车正在移动即可。
骑乘辅助系统200还被配置为实时地分析在框510处获得的连续图像中的一者或多者的最新组,以确定摩托车10相对于摩托车10所骑行于的车道的侧向移动的方向和/或速率(框520)。可通过分析图像并识别摩托车10与在道路上的车道标记的距离来确定移动的方向和/或速率。自然地,随着摩托车10开始转弯,它开始向车道标记(根据其转弯方向而在其左侧或右侧上)移动,并且以此方式,可通过图像分析来确定移动的方向和/或速率。然而,应注意,可使用其他方法和/或技术来确定移动的方向和/或速率,包括例如使用从连接到摩托车 10的IMU获得的信息连同摩托车10速度的信息,以便得到移动的方向和/或速率。
当速率超过阈值时,骑乘辅助系统200被配置为打开摩托车的转弯信号,以发信号通知在摩托车10的侧向移动的方向上的转弯(框530)。在确定侧向移动结束时,骑乘辅助系统200可关闭摩托车10的转弯信号。可使用对由前视相机 120获取的图像的分析和/或使用从摩托车10的IMU获得的信息来确定侧向移动结束。
应注意,参考图5,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。应进一步注意,框中的一些是任选的。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
图6是根据本公开的主题的示出被实施来选择性地激活摩托车的转弯信号的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用转弯信号控制模块230执行选择性转弯信号控制过程600。选择性转弯信号控制过程 600可对转弯信号控制过程500进行补充,以便使得能够仅当确定在摩托车10 后方存在车辆时才打开转弯信号。
为此,骑乘辅助系统200可被配置为实时地连续地获得由后视相机130连续地获取的连续图像,其中在连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值(例如,200毫秒,或者使得能够确定在图像内存在的车辆与摩托车10之间的当前相对速度的任何其他阈值)少(框510)。
骑乘辅助系统200还被配置为连续地分析在框610处获得的连续图像中的一者或多者的最新组,以确定在摩托车10后方行驶的一个或多个车辆的存在(框 620)。根据该确定,可在框530处决定是否打开转弯信号,使得仅在确定在摩托车10后方行驶的一个或多个车辆的存在时才打开转弯信号。
应注意,参考图6,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
在图7处,示出了根据本公开的主题的示出被实施来提供用于摩托车的自适应巡航控制的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用自适应巡航控制模块240执行自适应巡航控制过程700。
为此,骑乘辅助系统200可被配置为获得对在摩托车10与在摩托车10前方行驶的任何车辆之间要维持的参考距离的指示(框710)。该指示可通过骑乘者例如经由摩托车10的输入装置(诸如专用按钮)或任何其他输入装置提供作为开始自适应巡航控制过程的指令的触发来提供。在接收到这种指令时,骑乘辅助系统200可使用至多在所述摩托车的骑乘者提供触发之前或之后的预确定时间(例如,至多在发起触发之前和/或之后的0.5秒)由前视相机120捕获的参考距离确定图像来确定参考距离。
骑乘辅助系统200被配置为实时地获得由前视相机120连续地获取的连续图像,其中在连续图像当中的每个连续图像对的捕获之间经过的时间比给定阈值 (例如,200毫秒,或者使得能够确定在摩托车10前方行驶的车辆与摩托车10 之间的当前相对速度的任何其他阈值)少(框720)。
骑乘辅助系统200连续地分析在框720处获得的连续图像,以确定在摩托车 10与在摩托车10前方行驶的车辆之间的实际距离(框730),并且在实际距离不同于参考距离时,骑乘辅助系统200控制(提高/降低)摩托车10的速度(例如,通过以预计造成摩托车10速度的变化的方式来控制摩托车10的节气门(或以其他方式控制流到摩托车10发动机的燃料流的量)、制动器、挡位等)以返回到与车辆相距参考距离(框740)。
应注意,参考图7,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
转向图9,示出了根据本公开的主题的示出被实施来向摩托车的骑乘者和/或其他实体提供与侧面碰撞的风险有关的警告的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用骑乘辅助模块220执行侧面碰撞检测过程800。
为此,骑乘辅助系统200可被配置为获得由前视相机120连续地获取的一系列的至少两个图像,其中在所述图像中的每个连续图像对的捕获之间经过的时间比给定阈值(例如,200毫秒,或者使得能够确定在图像内存在的车辆与摩托车10之间的当前相对速度的任何其他阈值)少(框310)。在一些情况下,还在摩托车10的移动期间实时地从前视相机120连续地获得图像,所述前视相机以其最大帧速率(或至少以满足给定阈值的帧速率)获得图像,只要摩托车10的发动机正在运行即可,或者至少只要摩托车正在移动即可。应注意,在一些情况下,摩托车10相对于道路的至少一个角度在捕获至少一对连续图像之间改变。
骑乘辅助系统200任选地实时地分析在该系列图像中的至少一对连续图像内的感兴趣区域(其任选地为非连续的),以识别在至少一对连续图像内具有相应特征位置的特征。
在一些情况下,感兴趣区域可为一对连续图像中的每个图像的子部分。它可为图像的不包括图像的上部部分的至少部分(例如,图像的在其中示出的天际线上方的特定部分,其可任选地进行裁剪)、并任选地不包括图像的在其最左侧部分与其最右侧部分之间的至少部分的一部分。图11中示出了示例性感兴趣区域,其中示出了示例性框架1100,其具有非连续感兴趣区域,该非连续性感兴趣区域由两个部分构成,一个部分在框架的左下侧,标记为1110,并且第二部分在框架的右下侧,标记为1120。当试图检测来自侧面碰撞对摩托车的潜在威胁时,这个感兴趣区域(由1110和1120构成)是相关的。标记为1110的区域的部分用于检测来自摩托车10的左侧的潜在侧面碰撞威胁,并且标记为1120 的区域的部分用于检测来自摩托车10的右侧的潜在侧面碰撞威胁。应注意,这仅是示例,并且仅出于说明性目的而绘制感兴趣区域(1110和1120)的比例。图内的比例也是示例性的,并且在一些情况下,它们可与图中所示的比例不同。应注意,当在本文中提到非连续的感兴趣区域时,非连续感兴趣区域的每个连续部分都可加以必要变更而被视为单独的连续感兴趣区域。
返回到侧面碰撞检测过程800,并且转向框820,骑乘辅助系统200分析在至少一对连续图像内的感兴趣区域,以识别在至少一对连续图像内具有相应特征位置的特征。可使用已知特征识别方法和/或技术、或使用专有方法和/或技术来在每个帧中识别特征。根据本公开的主题,特征可为与汽车、卡车或其他类型的车辆相关联的特征。示例性特征可包括车辆的角落、车辆的特定零件(例如,车轮、镜、前灯、牌照、闪光灯、保险杠等)等。
骑乘辅助系统200将特征中的每一者与其在该系列图像中的至少一对连续图像中的每个图像内的相应特征位置匹配,以确定相应特征中的每一者在该系列图像中的至少一对连续图像之间的移动矢量,该移动矢量表示特征随时间(在捕获被分析的图像之间的时间)的移动(框830)。可使用L2函数和/或最近邻算法来匹配特征。
骑乘辅助系统200还可被配置为在满足标准时生成警告通知,其中该标准与相应特征的移动矢量相关联或与相应特征的增强移动矢量相关联(应注意,本文参考图12提供了关于增强移动矢量的详细说明)(框840)。
在一些情况下,该标准可为相应特征的与摩托车10的方向处于碰撞路线上的移动矢量的数量超过阈值。在替代实施例中,该标准可为作为表示移动矢量的平均值的矢量的平均矢量与摩托车10的方向在碰撞路线中。在一些情况下,骑乘辅助系统200还可被配置为估计特征中的每一者的轨迹并识别所估计的轨迹的交点,并且在这种情况下,当交点处于在框810处获得的图像系列的给定图像内的预限定区域中时,可满足标准。在一些情况下,骑乘辅助系统200还可被配置为确定在该系列的一对连续图像内的至少一个感兴趣区域内(除了在框820处分析的感兴趣区域之外)、在朝向摩托车10的竖直方向上的光流的平均值,并且在这种情况下,当光流的平均值超过允许平均光流阈值(其可任选地预限定)时,可满足标准。
在一些情况下,尽管附图中未示出,但骑乘辅助系统200还可被配置为估计与在该系列图像中的至少一对连续图像中的给定图像内的特征中的至少一些特征相关联的车辆的存在可能性,并且在这种情况下,仅在该可能性比对应阈值高时才生成警告通知。在一些情况下,可使用卷积神经网络来执行估计与在给定图像内的特征中的至少一些特征相关联的车辆的存在可能性。
如本文所指示,在一些情况下,可将在框840处生成的警告通知提供给摩托车10的骑乘者。在这种情况下,可经由照明系统140提供警告通知,该照明系统任选地包括至少一个并任选地多个灯,当面向摩托车的前方时,该灯对摩托车10的骑乘者可见。
可通过任选地以指示侧面碰撞威胁的预确定模式和/或颜色打开照明系统 140的一个或多个所选择的灯或所有灯来提供警告通知。根据侧面碰撞威胁的方向(右侧或左侧)和/或在框840处识别的威胁的严重度,可(例如,根据预限定规则)选择所选择的灯(以及任选地模式和/或颜色)。
附加地,或可替代地,为了使用照明系统140提供视觉警告通知,警告通知可包括经由一个或多个扬声器提供给摩托车的骑乘者的声音通知。扬声器可为集成在骑乘者的头盔中的蓝牙扬声器,或者产生可被摩托车10的骑乘者听到的声音的任何其他扬声器。在一些情况下,声音通知可为自然语言语音通知,其提供威胁的方向和/或其严重度的信息(例如“警告-左侧碰撞”)。在一些情况下,可根据风险的严重度来调整音量,使得风险越高,通知的音量就将越大。
附加地,或可替代地,警告通知可为经由引起由摩托车10的骑乘者感觉到的振动的一个或多个振动元件提供给摩托车的骑乘者的振动。在一些情况下,可根据风险严重度来调整振动,使得风险越高,振动就将越强。振动元件可任选地集成在由摩托车10的骑乘者穿戴的夹克中、摩托车10的座椅中或由摩托车10的骑乘者穿戴的头盔中,然而,它们也可提供在其他地方,只要其振动被摩托车10的骑乘者感觉到即可。
附加地,或可替代地,警告通知可为除照明系统140之外的视觉通知。例如,可使用任何合适的投影机制来将警告通知投影到摩托车10的骑乘者的头盔的护目镜上,或者显示在摩托车10的显示器上。
应注意,以上警告通知提供系统仅是示例,并且警告通知可以任何其他方式提供给摩托车10的骑乘者,只要能向骑乘者通知威胁即可。
已经描述了旨在向摩托车10的骑乘者提供警告通知的一些警告通知提供系统,现在注意除了向摩托车10的骑乘者提供警告通知之外或作为其替代,还将警告通知提供给对摩托车10造成威胁的车辆的情况。将警告通知提供给除了摩托车10之外的这种车辆的示例性方式包括使用摩托车的喇叭或连接到骑乘辅助系统200的任何其他喇叭鸣喇叭。
应注意,参考图9,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。应进一步注意,框中的一些是任选的。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
看向图10,示出了根据本公开的主题的示出被实施来确定增强运动矢量的操作序列的一个示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用骑乘辅助模块220执行增强运动矢量确定过程900。
为此,骑乘辅助系统200可被配置为分析在该系列的除了在框820中分析的那对之外的至少另一对连续图像内的感兴趣区域,以识别具有相应特征位置的特征,其中在框820中分析的那对的图像中的至少一者是另一对的图像中的一者(框910)。因此,分析三个连续图像,以识别在其中的特征。
骑乘辅助系统200将在该系列的一对连续图像和另一对连续图像内的特征的特征位置匹配,以确定相应特征中的每一者在一对和另一对的连续图像之间的增强移动矢量,其中该增强移动矢量与在一对和另一对的图像内相应特征的位置之间的最长距离相关联(框920)。因此,如果在所有三个被分析图像中都识别出给定特征,则增强矢量是连接三者中的最早图像中的特征和三者中的最新图像中的相同特征的矢量。如果在所有三个图像中未识别出该特征,则生成连接在三个图像中的两个中识别出的每个特征的矢量。
在框920处生成的矢量可由骑乘辅助系统200在框840处使用,其目的是在根据框840如此确定的情况下提供警告通知。
应注意,参考图10,框中的一些可被集成到合并的框中,或者可分解为几个框,并且/或者可添加其他框。还应注意,尽管还参考实现流程图的系统元件来描述流程图,但这绝不是绑定的,并且框可由本文中描述的那些以外的元件来执行。
注意图12,其显示了根据本发明的主题的示出对摩托车的威胁的帧序列的示意图,并且注意图13,其显示了根据本公开的主题的示出对摩托车的非威胁的帧序列的示意图。
在图12中,示出了在三个连续帧中的感兴趣区域内车辆的一部分。在所示的示例中的感兴趣区域是由前视相机120捕获的图像的左下侧,其对应于摩托车10的左侧的区域(例如,示出示例性图像/帧的图11中标记为1110的区域)。 VF1标记第一帧中的车辆,VF2标记第二帧中的车辆,并且VF3标记第三帧中的车辆。在每个帧中识别特征,并且例如使用已知特征识别方法和技术使特征在帧之间进行匹配。在所有帧中,F1标记第一特征,F2标记第二特征,F3标记第三特征,并且F4标记第四特征。对于每个特征,生成将相应特征的最早特征位置与其最新特征位置连接的矢量。在图12中提供的图示中,可理解,所有所生成的矢量都指向与摩托车10处于碰撞路线上的方向,因为所有矢量都指向了在摩托车10的路线上的位置。
看向图13,另一方面,可理解,矢量并非全都指向与摩托车10处于碰撞路线上的方向,并且一些矢量指向不在摩托车10的路线上的位置(这在看向连接 F4的矢量时清楚地示出,该矢量从摩托车10路线向外指向)。
因此,图12示出了在框840处应提供警告通知的威胁场景,而图13示出了在框840处不应提供警告通知的非威胁场景。
转向图14,其示出了根据本公开的主题的示出被实施来确定安全区的操作序列的示例的流程图。
根据本公开的主题的一些示例,骑乘辅助系统200可被配置为例如利用骑乘辅助模块220执行如图14所示的安全区确定过程。
骑乘辅助模块220可被配置为检测在摩托车10前方的道路中的对象,并且评估摩托车10的骑乘者是否相对于在前方的对象以安全距离和速度骑乘。骑乘辅助模块220还可被配置为如果摩托车10的骑乘者相对于任何检测到的对象的距离和/或相对速度变得不安全,即当检测到的对象中的一者或多者变为碰撞风险时,则警告该摩托车的骑乘者。为了评估是否有任何对象对摩托车10造成风险,确定前向碰撞安全区。前向碰撞安全区是正好在摩托车10前方的矩形。该矩形的高度和宽度取决于摩托车10的速度、位置、运动角度(俯仰和/或侧倾和 /或横摆)、加速度、在摩托车10周围的对象的密度以及此类对象的速度(假使它们是在移动的对象),该矩形的取向取决于摩托车10的运动角度、道路弯道以及在摩托车10附近的交通状态。当使用相机(诸如前视相机120)来获得摩托车10的环境的信息时,由于透视图,此矩形在相机的图像平面上变为梯形。
在框1570处确定的前向碰撞安全区是图像平面中的动态梯形,该动态梯形由截断的三角形构成。此三角形基部的宽度从在摩托车10周围的对象密度为低时的(由诸如前视相机120的相机捕获的图像的)整个图像宽度动态地变化到正好足以使摩托车10在周围交通繁忙时从检测到的对象之间通过的狭窄通道。
当摩托车10和周围被检测对象以预限定高速(例如,超过60km/h)进行移动时,安全区既为较宽的(由于其他对象可能快速地且突然地进入其中),也为较深的(因摩托车的自身速度而造成的快速移动),达到完整三角形水平。
在交通繁忙的情况下,当摩托车10在缓慢地(预限定速度)移动的对象(例如,它们的速度小于15km/h)之间进行操纵时,在安全区中意味着在这些对象之间存在可让摩托车10通过的路径。与只能一个接一个地在路线(车道边界) 中移动的在交通中的四轮车相反,摩托车10具有在缓慢地移动的车辆路线之间骑行的能力。这种移动的特征为侧倾角和横摆角频繁地改变。在这种情况下,限定两个预测路径,一个根据当前运动方向,另一个根据在车辆之间的可能路径。有时,这些路径可能彼此显著不同,例如在摩托车10在以低速(例如,小于20km/h至30km/h)行驶时使其车把旋转(横摆)的情况下。
图14示出了流程图,其示出了被实施来限定在摩托车10的前方的安全区的操作序列的示例,然而,本文中的教导也适用于确定在摩托车10后方的安全区。
为此,骑乘辅助系统200获得由前视相机120连续地获取的一系列的至少两个图像作为输入,其中在图像当中的每个连续图像对的捕获之间经过的时间比给定阈值(例如,200毫秒,或者使得能够确定在图像1500内存在的车辆与摩托车10之间的当前相对速度的任何其他阈值)少。
将卷积网络应用于图像1500,并且找到在感兴趣区域中的所有对象。这些对象中的每一者在摩托车10附近的轨迹都是近似的。
在一些情况下,骑乘辅助系统200可分析在框1500处获得的图像并确定在摩托车10所骑行于的道路上的轨线(例如,车辆)的数量,任选地在摩托车10 附近的对象(例如,车辆)的密度,任选地在道路上的对象的方向,任选地在道路上的对象的速度,任选地在道路上的对象的尺寸,任选地道路弯道,以及任选地可通过分析在框1500处获得的图像确定的其他信息(框1520)。
另一方面,骑乘辅助系统200获得一系列自我测量结果(例如,摩托车10 的速度和/或加速度和/或运动角度)(框1510)。在一些情况下,这些角度可由一个或多个传感器获取,如下文在图17中进一步说明的,其中经过的时间比给定阈值(例如,200毫秒,或者使得能够确定当前摩托车10速度和/或位置和/或加速度的任何其他阈值)少。在一些情况下,除了基于除了在框1500处获得的图像之外的输入来确定运动角度之外,还可使用已知方法和/或技术通过分析在框 1500处获得的一系列的至少两个图像中的图像来获得摩托车10的运动角度。
如下文在图17中进一步说明的,摩托车预测轨迹1530限定安全区应在摩托车前方多远处,并且因此,它限定了梯形深度1530。预限定较高速度(例如大于60km/h)产生较长梯形,而预限定较低速度(例如小于20km/h)产生较短梯形。
三角形顶点是根据侧倾和/或横摆和/或俯仰角1540旋转的当前消失点。通过找到真实世界平行线在图像中所相交于的点,在初始校准步骤中限定初始消失点。在初始校准步骤中,横摆角和俯仰角设置为零。以下变换应用于初始消失点:围绕图像底部中点以侧倾角进行的旋转和/或因横摆角而在x方向上的平移和/或因俯仰角而在y方向上的平移。
在一些情况下,道路弯道更新梯形取向1540,即消失点(静止或如上所述以运动角度旋转)移动到在摩托车10前方的道路弯道开始的位置。
在一些情况下,基于框1520、1530和1540,限定在摩托车10周围的当前交通状态1550。交通状态1550可从交通稀疏变化到交通拥塞。例如,如果摩托车 10的自身速度相对高,对象的密度低(例如,少于两个车辆),并且存在一定时间段(例如,在前10秒期间)的摩托车侧倾(例如,超过10°),则这是交通稀疏状态,例如高速公路。另一方面,如果速度低,对象密度高(例如,多于两个车辆),对象看起来又大又近,存在一定时间段(例如,在前10秒期间)的摩托车横摆(例如,超过6°),则是交通繁忙状态,例如交通阻塞。
根据交通状态1550,限定梯形/三角形基部宽度1560。例如,在交通稀疏的情况下,梯形/三角形基部宽度应宽,直至(由诸如前视相机120的相机捕获的图像的)整个图像宽度,而在交通繁忙的情况下,该基部应窄。在一些情况下,交通越稀疏,三角形基部越宽,反之亦然。
在一些情况下,三角形根据摩托车10的预测路径而被截断,如图17进一步说明的。如果需要的话,使用相机内部参数将在接下来的秒数(安全时间,例如1.5秒)之后的摩托车10预测位置投影到相机图像平面上,以限定三角形截断的y坐标。
现在限定梯形。根据摩托车10预测路径、交通状态、周围车辆的密度、自身数据(速度/加速度/运动角度)、其他车辆的速度、道路弯道等,在每个时间步上动态地更新此梯形。
图15和图16中示出了不同梯形尺寸和取向的两个示例。
图15a示出了当汽车2000和2030看起来很大并靠近摩托车(即,与图16a 中示出的那些相比显著地更大并更靠近摩托车10)时的情况。摩托车10的速度相对低(例如,小于20km/h)。在场景中还有另外两个汽车2010和2020,并且如果有的话,所有四辆汽车2000、2010、2020和2030缓慢地移动。在前10秒期间,摩托车10横摆数次。因此,这是交通繁忙状态。梯形是窄的、短的,并且根据当前运动角度取向。图15a中和图15b中示出了梯形2050。图15c中示出了它对应的安全区矩形2050,该图是从上方看的场景视图。
图16a展示了当汽车2060、2070和2080快速地行驶时,它们看起来相对小并距摩托车10相当远的另一种情况。摩托车10的自身速度相对高(例如,超过50km/h)。在最后10秒期间,摩托车10侧倾数次。以上所有全都表明这是交通稀疏状态。梯形是宽的、长的,并且根据当前运动角度取向。图16a中和图 16b中示出了梯形2130。图16c中示出了它对应的安全区矩形2130,该图是从上方看的场景视图。
图17示出了流程图,其示出了进一步深入框1530。
框1513展示了用于计算影响图像平面中的对象的一个、两个或所有三个运动角度的三种不同方法。这些角度是侧倾、横摆和俯仰。
方法1:基于连接到摩托车10的惯性测量单元(IMU)对侧倾和/或横摆和/ 或俯仰的测量。
方法2:基于摩托车10的运动角度对图像1515的影响。由于摩托车10侧倾,图像中的对象(特别是在摩托车10前方的四轮车)看起来旋转。可从图像1515 中的每个图像重建对侧倾角的近似。将卷积网络应用于图像1515。因此,找到在感兴趣区域中的所有对象,并且针对每个这种对象,限定包含它的边界框。对于与四轮车背面相关的每个边界框,应用边缘检测器(例如,Canny边缘检测器)并查找所有的线(例如,应用霍夫变换,以便在边缘图中找到连续的线)。计算这些线的斜率,并且根据可能的侧倾值的范围对线进行“过滤”。对于常规的摩托车10,骑乘侧倾角在-30°至30°之间变化。这些线的斜率根据其长度来决定最终侧倾。基于边界框区域的所有角度的中值限定所考虑的每个图像的最终侧倾。
在初始校准步骤中,确保横摆和俯仰初始设置为零,并且在此步骤中计算静态消失点。在每个图像1515中,基于通过使用以下步骤找到在图像中的当前消失点处相交的真实世界平行线来计算当前消失点。
为了找到投影到图像1515上的真实世界平行线,应用两个过程。首先,在图像的底部部分中、在图像中心的右侧和左侧划分特定斜率的线(例如,在5°与85°之间)。其次,将图像传送到HSV颜色空间中,在其中寻找道路的白色和黄色车道。上面两个过程的所得的线应在同一点、即当前消失点处相交。
在静态和当前消失点之间的x坐标差异表示对图像的横摆影响,而y坐标差异表示俯仰影响。
方法3:基于运动角度对图像1515的影响和已知四轮车对称性。包括车辆在内的大多数人造对象都具有很强的对称性。在围绕车辆的边界框中的图像平面中,存在竖直对称轴线,使得它左侧的一些像素在其右侧距对称轴线的相同距离处具有对应像素。这些成对对应点产生平行于地面并垂直于对称轴线的一组线。由于摩托车侧倾,这组平行线车和对称轴线精确地以侧倾角旋转。利用这一事实,可找到摩托车10的侧倾角。
对于在图像中的每个四轮车,考虑了其边界框并创建其边缘的图。对于每个可能侧倾角候选(例如,在-30°至30°之间的范围内的任何角度),都以该角度限定地平线。然后,将垂直于该地平线的每个线视为可能对称轴线,并且针对此设置而计算对称对的量。这个量表示该线的分数。分数最高的线被认为是所考虑的侧倾候选的对称轴线。在所有侧倾候选中,最高分数限定最佳拟合,并且它是给定边界框的侧倾角。如上所述,对于常规的摩托车骑乘,侧倾候选一般可在-30°至30°之间变化。然而,通常,可能的候选范围要小得多,仅为在先前帧中限定的侧倾的左右几度。该假设基于侧倾角在连续帧之间相对缓慢地改变这一事实。
在此过程的最后,在1515的每个图像中,都有一侧倾角和四轮车“蒙版 (mask)”:对称轴线和一组平行线,在它们上面有成对对应像素。这些线垂直于对称轴线。可通过以下内容使这些蒙版在对应于同一四轮车的两个连续边界框之间匹配:首先使这些蒙版的对称轴线重合,然后沿着其轴线移动这些蒙版中的一者,直到在两个蒙版之间的匹配对的数量达到最大。此移动是由于摩托车10的运动造成的,并且它表示摩托车10的俯仰角。在了解摩托车10速度及其对图像的影响后,在一些情况下,当用于最佳蒙版拟合的移动显著地大于摩托车10运动对图像的影响(例如,超过10%)时,可找到对俯仰角的近似。
当四轮车出现在摩托车10正前方时,对称性是完美的,即,从像素到对称轴线的左侧的距离等于对应像素到其右侧的距离。然而,由于摩托车横摆角,这种对称性属性可能会改变:在对称轴线的左侧和右侧,距离略有不同。这种差异限定摩托车的横摆对图像的影响。在一些情况下,根据这一事实,可找到对摩托车10的横摆角的近似。
在一些情况下,基于自身数据(框1512、1513),可应用卡尔曼滤波器跟踪(线性/非线性),以便限定摩托车10的自身轨迹及其对摩托车手对路况作出反应的时间段所需的时间段的预测(接下来的毫秒数,例如,对于常规的摩托车骑乘为1500毫秒),框1514。
在一些情况下,摩托车10的预测轨迹也可能取决于道路弯道。在一些情况下,可从图像1515中找到道路弯道。将图像传送到HSV颜色空间中,在其中寻找道路的白色和黄色车道,并且通过例如使用已知曲线拟合过程来对其进行近似。
应理解,本公开的主题的应用不限于本文中包含的描述中阐述的或附图中示出的细节。本公开的主题能够具有其他实施例并能够以各种方式实践和实施。因此,应理解,本文中采用的措辞和术语用于描述目的并且不应视为限制。这样,本领域的技术人员将理解,本公开所基于的概念可容易地用作设计用于实施本公开的主题的若干目的的其他结构、方法和系统的基础。
还应理解,根据本公开的主题的系统可至少部分地实现为适当地编程的计算机。同样,本公开的主题设想计算机可读的计算机程序,以用于执行所公开的方法。本公开的主题还设想机器可读存储器,其有形地体现指令程序,所述指令程序可由机器执行,以用于执行所公开的方法。

Claims (10)

1.一种用于摩托车的骑乘辅助系统,包括:
处理资源;
存储器,所述存储器被配置为存储能够由所述处理资源使用的数据;以及
至少一个后视相机,所述至少一个后视相机被配置为以使其能够捕获所述摩托车后方处场景的图像的方式而安装在所述摩托车上;
其中所述处理资源被配置为:
获得由所述后视相机连续地获取的一系列的至少两个图像,其中在所述图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;
分析所述系列的所述图像,以确定:(a)在所述摩托车与在所述系列中的所述图像的至少部分上至少部分可见的一个或多个相应对象之间的碰撞时间,其中,所述碰撞时间是预计直到所述摩托车与所述相应对象碰撞为止经过的时间,或(b)至少一个所述对象的至少一部分存在于相对于所述摩托车的预确定区域内,所述预确定区域对所述摩托车的骑乘者是不可见的;以及
(a)在所述碰撞时间指示对所述摩托车的威胁时、或(b)在所述预确定区域内存在所述至少一个所述对象而指示对所述摩托车的威胁时,生成警告通知。
2.根据权利要求1所述的骑乘辅助系统,其中,所述处理资源还被配置为在所述碰撞时间指示对所述摩托车的所述威胁时执行一种或多种保护措施。
3.如权利要求1所述的骑乘辅助系统,其中,存在于所述预确定区域内的所述至少一个所述对象是车辆,并且其中,所述处理资源还被配置为向所述车辆的驾驶员提供警报。
4.如权利要求1所述的骑乘辅助系统,还包括照明系统,所述照明系统包括多个灯,当面向所述摩托车前方时,所述多个灯对所述摩托车的所述骑乘者是可见的,并且其中,所述警告通知通过打开所述灯的一个或多个所选择的灯来提供。
5.一种用于摩托车的骑乘辅助方法,该方法包括:
通过处理资源获得由至少一个后视相机连续地获取的一系列的至少两个图像,所述至少一个后视相机以使其能够捕获所述摩托车后方处场景的图像的方式而安装在所述摩托车上,其中,在所述图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;
通过处理资源分析所述系列的所述图像,以确定:(a)在所述摩托车与在所述系列中的所述图像的至少部分上至少部分地可见的一个或多个相应对象之间的碰撞时间,其中,所述碰撞时间是预计直到所述摩托车与所述相应对象碰撞为止经过的时间,或(b)至少一个所述对象的至少一部分存在于相对于所述摩托车的预确定区域内,所述预确定区域对所述摩托车的骑乘者是不可见的;以及
通过处理资源,(a)在所述碰撞时间指示对所述摩托车的威胁时、或(b)在所述预确定区域内存在所述至少一个对象而指示对所述摩托车的威胁时,生成警告通知。
6.如权利要求1所述的骑乘辅助系统或如权利要求5所述的骑乘辅助方法,其中,所述威胁是所述摩托车与所述对象中的一者或多者碰撞的后向碰撞威胁,并且其中,在所述处理资源确定在所述摩托车与所述相应对象之间的所述碰撞时间比预确定阈值时间少时生成所述警告通知。
7.如权利要求1所述的骑乘辅助系统或如权利要求5所述的骑乘辅助方法,其中,所述威胁是相对于所述摩托车在预确定区域中存在所述至少一个对象的盲点警告威胁,并且在所述处理资源确定所述至少一个对象至少部分地存在于所述预确定区域中时生成所述警告通知。
8.如权利要求1所述的骑乘辅助系统或如权利要求5所述的骑乘辅助方法,还包括在所述碰撞时间指示对所述摩托车的所述威胁时执行一种或多种保护措施。
9.如权利要求5所述的骑乘辅助方法,其中,所述警告通知通过打开照明系统内的灯中的一个或多个所选择的灯来提供,其中,当面向所述摩托车前方时,所述多个灯对所述摩托车的所述骑乘者是可见的。
10.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质体现有计算机可读程序代码,所述计算机可读程序代码能够由处理资源来执行,以便执行一方法,所述方法包括:
通过处理资源获得由至少一个后视相机连续地获取的一系列的至少两个图像,所述至少一个后视相机以使其能够捕获所述摩托车后方处场景的图像的方式而安装在所述摩托车上,其中,在所述图像当中的每个连续图像对的捕获之间经过的时间比给定阈值少;
通过处理资源分析所述系列的所述图像,以确定:(a)在所述摩托车与在所述系列中的所述图像的至少部分上至少部分可见的一个或多个相应对象之间的碰撞时间,其中,所述碰撞时间是预计直到所述摩托车与所述相应对象碰撞为止经过的时间,或(b)至少一个对象的至少一部分存在于相对于所述摩托车的预确定区域内,所述预确定区域对所述摩托车的骑乘者是不可见的;以及
通过处理资源,(a)在所述碰撞时间指示对所述摩托车的威胁时、或(b)在所述预确定区域内存在所述至少一个对象而指示对所述摩托车的威胁时,生成警告通知。
CN202111135078.0A 2018-06-13 2019-06-04 骑乘者辅助系统和方法 Active CN113998034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111135078.0A CN113998034B (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862684208P 2018-06-13 2018-06-13
US62/684,208 2018-06-13
US201862755567P 2018-11-05 2018-11-05
US62/755,567 2018-11-05
US201962813168P 2019-03-04 2019-03-04
US62/813,168 2019-03-04
CN201980039145.3A CN112292286A (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法
CN202111135078.0A CN113998034B (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法
PCT/IL2019/050634 WO2019239402A1 (en) 2018-06-13 2019-06-04 A rider assistance system and method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980039145.3A Division CN112292286A (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法

Publications (2)

Publication Number Publication Date
CN113998034A true CN113998034A (zh) 2022-02-01
CN113998034B CN113998034B (zh) 2023-08-25

Family

ID=68842612

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111135078.0A Active CN113998034B (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法
CN201980039145.3A Pending CN112292286A (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980039145.3A Pending CN112292286A (zh) 2018-06-13 2019-06-04 骑乘者辅助系统和方法

Country Status (6)

Country Link
US (2) US20210221368A1 (zh)
EP (3) EP3807128B1 (zh)
JP (2) JP7397807B2 (zh)
CN (2) CN113998034B (zh)
SG (1) SG11202111248UA (zh)
WO (1) WO2019239402A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020050220A (ja) * 2018-09-28 2020-04-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 制御装置及び制御方法
US11418387B2 (en) * 2019-02-28 2022-08-16 Shoppertrak Rct Corporation Systems and methods for optical device configuration
JP2020164047A (ja) * 2019-03-29 2020-10-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh ライダー支援システム、及び、ライダー支援システムの制御方法
JP2020166581A (ja) * 2019-03-29 2020-10-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh モータサイクルの動作を制御する制御装置及び制御方法
JP2020175830A (ja) * 2019-04-22 2020-10-29 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 制御装置及び制御方法
CA3174577A1 (en) * 2020-03-03 2021-09-10 Accelerated Systems Inc. A vehicle with a protective warning system
IT202000004891A1 (it) * 2020-03-09 2021-09-09 Ferrari Spa Metodo di assistenza alla guida prestazionale di un veicolo stradale con interfaccia in realta' aumentata
DE102020202986A1 (de) * 2020-03-10 2021-09-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Motorrads
US11501452B2 (en) * 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
CN114179713A (zh) * 2020-09-14 2022-03-15 华为技术有限公司 一种车辆提醒方法、系统及相关设备
CN114694375B (zh) * 2020-12-28 2024-02-27 本田技研工业株式会社 交通监视系统、交通监视方法及存储介质
TWI809401B (zh) * 2021-05-24 2023-07-21 宏佳騰動力科技股份有限公司 車輛後視警示系統
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
US20230093042A1 (en) * 2021-09-21 2023-03-23 Reby Rides, Inc. Vehicle collision detection and driver notification system
US11697466B1 (en) * 2021-09-23 2023-07-11 Stephen Shelton Motorcycle integrated safety system
US20230278573A1 (en) * 2022-03-07 2023-09-07 Damon Motors Inc. Lean-compensated position and trajectory of motorcycle
EP4254385A1 (en) * 2022-03-29 2023-10-04 Alps Alpine Europe GmbH Method for assessing a risk of interference, data processing device, system for assessing a risk of interference, and bicycle assembly
DE102022204650A1 (de) * 2022-05-12 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem deaktivierten Abstands- und Geschwindigkeitsregelungssystem
WO2023243629A1 (ja) * 2022-06-13 2023-12-21 本田技研工業株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349926A (ja) * 2003-05-21 2004-12-09 Suzuki Motor Corp 障害物検出装置及び方法並びに障害物検出用プログラム
JP2006103600A (ja) * 2004-10-07 2006-04-20 Yamaha Motor Co Ltd 自動二輪車の前方視認装置
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
US20090139793A1 (en) * 2007-11-30 2009-06-04 Honda Motor Co., Ltd., Steering assist system for motorcycle
JP2013084242A (ja) * 2011-10-06 2013-05-09 Honda Research Inst Europe Gmbh 映像に基づく車両用警報システム
US20130311075A1 (en) * 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance
WO2014131086A1 (en) * 2013-03-01 2014-09-04 Federation Enterprises (Wa) Pty Ltd Bicycle camera
US20140314279A1 (en) * 2008-04-24 2014-10-23 GM Global Technology Operations LLC Clear path detection using an example-based approach
CN105460124A (zh) * 2014-09-26 2016-04-06 本田技研工业株式会社 跨骑式车辆的接近报知装置
US20160129962A1 (en) * 2014-11-10 2016-05-12 Rock Langevin Motorcycle safety system with incorporated camera and video recording
US20160129840A1 (en) * 2001-07-31 2016-05-12 Magna Electronics Inc. Driver assistance system for a vehicle
KR101813946B1 (ko) * 2017-06-21 2018-01-02 장현우 후방 카메라가 장착된 세이프존 안내 자전거
CN107826205A (zh) * 2016-09-15 2018-03-23 雅马哈发动机株式会社 电动辅助自行车
CN107839797A (zh) * 2016-09-20 2018-03-27 福特环球技术公司 自行车安全禁区系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
JP4107605B2 (ja) * 2005-02-01 2008-06-25 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
DE102007039377B4 (de) * 2007-08-21 2011-11-10 Audi Ag Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&Go-Funktion
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
JP5499035B2 (ja) * 2009-07-29 2014-05-21 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
US8232872B2 (en) * 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
DE102012220191A1 (de) * 2012-11-06 2014-05-08 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs
US10219571B1 (en) * 2012-11-08 2019-03-05 Peter Aloumanis In helmet sensors providing blind spot awareness
US9676336B2 (en) * 2013-06-25 2017-06-13 Magna Mirrors Of America, Inc. Exterior rearview mirror assembly for vehicle
US9792817B2 (en) * 2013-12-24 2017-10-17 Intel Corporation Road hazard communication
US20150228066A1 (en) * 2014-02-10 2015-08-13 Michael Scot Farb Rear Encroaching Vehicle Monitoring And Alerting System
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
US9153133B1 (en) * 2014-07-18 2015-10-06 John D. Baker Motorcycle blind spot detector
US10506838B2 (en) * 2014-11-28 2019-12-17 Eric S. TAMMAM Augmented audio enhanced perception system
KR101604447B1 (ko) * 2015-05-26 2016-03-28 주식회사 피엘케이 테크놀로지 선행차량 추돌 경보 장치 및 방법
US9580009B1 (en) * 2015-12-04 2017-02-28 Karl Lenker Systems and methods for motorbike collision avoidance
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
CN105718888B (zh) * 2016-01-22 2019-09-13 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
KR101749578B1 (ko) * 2016-02-05 2017-06-21 고려대학교 산학협력단 드론의 자동 이착륙 방법 및 장치
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器(美国)知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体
CN109641552B (zh) * 2016-07-29 2022-05-31 株式会社小糸制作所 车用照明系统、车辆系统和车辆
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
JP2018164199A (ja) 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
JP6853756B2 (ja) * 2017-09-05 2021-03-31 川崎重工業株式会社 グリップヒーター装置
DE112018007275T5 (de) * 2018-03-14 2020-12-10 Honda Motor Co., Ltd. Informationsbenachrichtigungsvorrichtung eines Grätschsitzfahrzeugs, Grätschsitzfahrzeug und Informationsbenachrichtigungsverfahren
US11618469B2 (en) * 2018-05-17 2023-04-04 Mitsubishi Electric Corporation Vehicle-use rear side warning device and vehicle-use rear side warning method

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160129840A1 (en) * 2001-07-31 2016-05-12 Magna Electronics Inc. Driver assistance system for a vehicle
JP2004349926A (ja) * 2003-05-21 2004-12-09 Suzuki Motor Corp 障害物検出装置及び方法並びに障害物検出用プログラム
JP2006103600A (ja) * 2004-10-07 2006-04-20 Yamaha Motor Co Ltd 自動二輪車の前方視認装置
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
US20090139793A1 (en) * 2007-11-30 2009-06-04 Honda Motor Co., Ltd., Steering assist system for motorcycle
US20140314279A1 (en) * 2008-04-24 2014-10-23 GM Global Technology Operations LLC Clear path detection using an example-based approach
JP2013084242A (ja) * 2011-10-06 2013-05-09 Honda Research Inst Europe Gmbh 映像に基づく車両用警報システム
US20130311075A1 (en) * 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance
WO2014131086A1 (en) * 2013-03-01 2014-09-04 Federation Enterprises (Wa) Pty Ltd Bicycle camera
CN105460124A (zh) * 2014-09-26 2016-04-06 本田技研工业株式会社 跨骑式车辆的接近报知装置
US20160129962A1 (en) * 2014-11-10 2016-05-12 Rock Langevin Motorcycle safety system with incorporated camera and video recording
CN107826205A (zh) * 2016-09-15 2018-03-23 雅马哈发动机株式会社 电动辅助自行车
CN107839797A (zh) * 2016-09-20 2018-03-27 福特环球技术公司 自行车安全禁区系统
KR101813946B1 (ko) * 2017-06-21 2018-01-02 장현우 후방 카메라가 장착된 세이프존 안내 자전거

Also Published As

Publication number Publication date
JP2021192303A (ja) 2021-12-16
JP7295185B2 (ja) 2023-06-20
CN113998034B (zh) 2023-08-25
JP7397807B2 (ja) 2023-12-13
EP3954580A1 (en) 2022-02-16
EP3807128C0 (en) 2024-01-31
WO2019239402A1 (en) 2019-12-19
JP2021526681A (ja) 2021-10-07
SG11202111248UA (en) 2021-11-29
US20220073068A1 (en) 2022-03-10
CN112292286A (zh) 2021-01-29
EP3807128B1 (en) 2024-01-31
EP3807128A1 (en) 2021-04-21
EP3807128A4 (en) 2022-03-02
US20210221368A1 (en) 2021-07-22
EP4250269A3 (en) 2023-10-18
EP4250269A2 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
CN113998034B (zh) 骑乘者辅助系统和方法
US11538254B2 (en) Safety system for a vehicle to detect and warn of a potential collision
US11972615B2 (en) Vehicular control system
CN107845104B (zh) 一种检测超车车辆的方法、相关处理系统、超车车辆检测系统以及车辆
JP6189815B2 (ja) 走行区画線認識システム
US10147002B2 (en) Method and apparatus for determining a road condition
US10276040B2 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
JP2016001463A (ja) 処理装置、処理システム、処理プログラム及び処理方法
US11104356B2 (en) Display device and method for a vehicle
RU2706757C1 (ru) Способ и блок управления для заднего обзора
KR20150092505A (ko) 차간 거리 경고 방법 및 전방 충돌 감지 장치
JP7185571B2 (ja) 視認方向推定装置、視認方向推定方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant