CN106394553B - 驾驶员辅助设备及其控制方法 - Google Patents

驾驶员辅助设备及其控制方法 Download PDF

Info

Publication number
CN106394553B
CN106394553B CN201610801238.3A CN201610801238A CN106394553B CN 106394553 B CN106394553 B CN 106394553B CN 201610801238 A CN201610801238 A CN 201610801238A CN 106394553 B CN106394553 B CN 106394553B
Authority
CN
China
Prior art keywords
vehicle
vehicles
processor
information
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610801238.3A
Other languages
English (en)
Other versions
CN106394553A (zh
Inventor
李超日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106394553A publication Critical patent/CN106394553A/zh
Application granted granted Critical
Publication of CN106394553B publication Critical patent/CN106394553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • B60W2520/125Lateral acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data

Abstract

公开了驾驶员辅助设备及其控制方法。所述驾驶员辅助设备包括:感测单元,该感测单元被配置为获取有关在车辆外部的物体的信息,所述物体包括正在所述车辆附近行驶的第一其它车辆;以及处理器,该处理器被配置为基于有关所述物体的所述信息、从所述车辆的驾驶员提供的用户输入、有关所述驾驶员的状态的信息以及从正在所述车辆附近行驶的第二其它车辆提供的有关所述第一其它车辆的信息中的至少一种来判断所述第一其它车辆是否是危险车辆,并且在判断所述第一其它车辆是危险车辆时执行至少一个预定操作。

Description

驾驶员辅助设备及其控制方法
技术领域
本发明涉及驾驶员辅助设备及其操作方法,并且更具体地,涉及一种响应于另一车辆的移动而执行操作的驾驶员辅助设备及其操作方法。
背景技术
车辆是经由车轮的驱动将例如人或货物从一个地方运输到另一地方的设备。车辆的示例包括诸如摩托车的两轮车、诸如轿车的四轮车以及火车。
近年来,为了增加使用车辆的用户的安全和方便,用于给车辆配备例如各种传感器和电子装置的技术在积极地发展。具体地,例如,为了用户驾驶方便而开发的各种类型的驾驶员辅助设备已被安装在车辆中。
当在车辆附近的另一车辆在异常地或危险行驶(例如,反复地且突然减速或者制动,或者在车辆前面突然插入)时,存在车辆将与另一车辆碰撞的高可能性。另外,驾驶员在判断如何操作车辆以便避开另一车辆时有困难。
在正在对应车辆附近危险行驶的另一车辆被道路附近的物体或者被其它车辆隐藏的另一频繁发生的场景中,对应车辆的驾驶员的忧虑可能增加,因为正在危险行驶的另一车辆不在坐在对应车辆里的驾驶员的视野中。
发明内容
因此,本发明被做出来解决如上所述的问题,并且本发明的一个目的在于提供一种能够基于在车辆附近的至少一个其它车辆的移动来判断所述其它车辆是否是危险车辆的驾驶员辅助设备及其控制方法。
另外,本发明的另一目的在于提供一种能够基于正在危险行驶的另一车辆的行驶模式自动地控制车辆的转向、减速和加速中的至少一个的驾驶员辅助设备及其控制方法。
另外,本发明的另一个目的在于提供一种能够在外部提供与在危险行驶的另一车辆有关的信息的驾驶员辅助设备及其控制方法。
本发明的目的不应该限于前述目的,并且其它未提及的目的将由本领域技术人员从以下描述清楚地理解。
根据本发明的一个方面,以上和其它目的能够通过提供一种驾驶员辅助设备来实现,该驾驶员辅助设备包括:感测单元,该感测单元被配置为获取有关在车辆外部的物体的信息,所述物体包括正在所述车辆附近行驶的第一其它车辆;以及处理器,该处理器被配置为基于有关所述物体的所述信息、从所述车辆的驾驶员提供的用户输入、所述驾驶员的状态以及从正在所述车辆附近行驶的第二其它车辆提供的有关所述第一其它车辆的信息中的至少一种来判断所述第一其它车辆是否是危险车辆,并且在判断所述第一其它车辆是危险车辆时执行至少一个预定操作。
在本发明的至少一个可能的实施方式中,所述用户输入是所述驾驶员的手势,并且所述处理器可以基于所述驾驶员指向所述第一其它车辆的所述手势来判断所述第一其它车辆是否是危险车辆。
在本发明的至少一个可能的实施方式中,所述处理器可以基于被包括在所述车辆的室内图像中的所述驾驶员的图像来检测所述驾驶员的凝视和瞳孔,并且在所述驾驶员的凝视被导向所述第一其它车辆时基于所述驾驶员的所述瞳孔的大小来判断所述驾驶员的状态。
在本发明的至少一个可能的实施方式中,所述处理器可以接收由穿戴在所述驾驶员上的可穿戴装置所获取的所述驾驶员的心率,并且基于所接收的心率来判断所述驾驶员的状态。
在本发明的至少一个可能的实施方式中,所述处理器可以基于确定所述驾驶员的状态是忧虑状态来判断所述第一其它车辆是否是危险车辆。
在本发明的至少一个可能的实施方式中,所述处理器可以基于确定所述驾驶员的状态是忧虑状态来判断所述第一其它车辆是否是危险车辆。
在本发明的至少一个可能的实施方式中,所述处理器可以基于包括在有关所述物体的所述信息中的所述第一其它车辆的移动来获取所述第一其它车辆的行驶模式,将所述第一其它车辆的所述行驶模式与预定基准模式进行比较,并且基于确定所述第一其它车辆的所述行驶模式与所述基准模式相匹配来判断所述第一其它车辆是否是危险车辆。
在本发明的至少一个可能的实施方式中,所述处理器可以经由车辆间通信从所述第二其它车辆接收有关所述第一其它车辆的所述信息。在本发明的至少一个可能的实施方式中,所述处理器可以基于被包括在有关所述物体的所述信息中的所述第一其它车辆的声音来判断所述第一其它车辆是否是危险车辆。
在本发明的至少一个可能的实施方式中,所述预定操作包括第一操作,并且该第一操作是向所述驾驶员通知有关被判断为危险车辆的所述第一其它车辆的信息的操作。
在本发明的至少一个可能的实施方式中,所述预定操作包括第二操作,并且该第二操作是基于被判断为危险车辆的所述第一其它车辆的行驶模式来预测所述第一其它车辆的行为的操作。
在本发明的至少一个可能的实施方式中,所述预定操作包括第三操作,并且该第三操作是基于所述第一其它车辆的预测行为来改变所述车辆的行驶状态的操作。
在本发明的至少一个可能的实施方式中,所述处理器可以通过执行转向控制、加速控制或减速控制中的至少一个来改变所述车辆的行驶状态。
在本发明的至少一个可能的实施方式中,所述预定操作包括第四操作,并且该第四操作是给正在所述车辆附近行驶的第三其它车辆提供有关被判断为危险车辆的所述第一其它车辆的信息的操作。
在本发明的至少一个可能的实施方式中,所述处理器可以经由车辆间通信将有关所述第一其它车辆的所述信息发送到正在所述车辆附近行驶的所述第三其它车辆。
在本发明的至少一个可能的实施方式中,所述处理器可以将有关所述第一其它车辆的所述信息显示在安装到所述车辆的外部的显示器上。
在本发明的至少一个可能的实施方式中,所述处理器可以将从所述车辆的至少一个相机提供的多个行驶图像处理成包括所述第一其它车辆的第一行驶图像以及不包括所述第一其它车辆的第二行驶图像,并且分别存储所述第一图像和所述第二图像。
在本发明的至少一个可能的实施方式中,所述处理器可以基于被设置在所述车辆处的多个相机,激活所述相机中的被选择为基于所述第一其它车辆相对于所述车辆的位置来捕获所述第一其它车辆的图像的一个或更多个相机。
其它实施方式的详细项被包括在以下描述和附图中。
附图说明
根据结合附图进行的以下详细描述,将更清楚地理解本发明的以上及其它目的、特征和优点。
图1是根据本发明的一个实施方式的车辆的框图;
图2是参照图1例示了一个示例性车辆的视图;
图3是参照图1例示了另一示例性车辆的视图;
图4是例示了由图3所例示的多个相机生成的一个示例性图像的视图;
图5是根据本发明的一个实施方式的驾驶员辅助设备的框图;
图6是例示了图5所例示的处理器的内部配置的框图;
图7A和图7B是被参照来说明图6所例示的处理器的操作的视图;
图8是例示了根据本发明的一个实施方式的驾驶员辅助设备的一个示例性控制方法的流程图;
图9是例示了根据本发明的一个实施方式的驾驶员辅助设备的另一个示例性控制方法的流程图;
图10是例示了根据本发明的一个实施方式的驾驶员辅助设备的又一示例性控制方法的流程图;
图11是例示了根据本发明的一个实施方式的驾驶员辅助设备的另一个示例性控制方法的流程图;
图12A、图12B和图12C是分别例示了根据本发明的一个实施方式的驾驶员辅助设备判断是否在车辆附近存在任何危险车辆的情形的视图;
图13A和图13B是例示了根据本发明的一个实施方式的驾驶员辅助设备判断是否在车辆附近存在任何危险车辆的情形的视图;
图14是例示了根据本发明的一个实施方式的驾驶员辅助设备确定在车辆附近的任何危险车辆的情形的视图;
图15A、图15B和图15C是分别例示了根据本发明的一个实施方式的驾驶员辅助设备确定在车辆附近的任何危险车辆的情形的视图;
图16是例示了根据本发明的一个实施方式的驾驶员辅助设备确定在车辆附近的任何危险车辆的情形的视图;
图17A和图17B是例示了根据本发明的一个实施方式的驾驶员辅助设备控制车辆的移动的一个示例性操作的视图;
图18A是例示了根据本发明的一个实施方式的在图17A所例示的情形下输出给驾驶员的一个示例性引导图像的视图;
图18B是例示了根据本发明的一个实施方式的当存在图17B所例示的危险车辆时输出给驾驶员的另一示例性引导图像的视图;
图19A是例示了根据本发明的一个实施方式的被判断为危险车辆的另一车辆正在车辆附近行驶的情形的视图;
图19B是例示了根据本发明的一个实施方式的在图19A所例示的情形下输出给驾驶员的一个示例性引导图像的视图。
图20A是例示了根据本发明的一个实施方式的被判断为危险车辆的另一车辆正在车辆附近行驶的情形的视图;
图20B是例示了根据本发明的一个实施方式的车辆在图20A所例示的情形下的外观的视图;
图21A、图21B和图21C是例示了根据本发明的一个实施方式的被判断为危险车辆的另一车辆正在车辆附近行驶的情形的视图;以及
图22是例示了根据本发明的一个实施方式的提供给驾驶员的一系列用户界面的一个示例的视图。
具体实施方式
在下文中,将参照附图详细地描述本说明书中公开的实施方式,并且即使在不同的附图中描绘相同或相似的元件,它们也由相同的附图标记来表示,并且将省略其冗余描述。在以下描述中,关于以下描述中使用的组成元件,后缀“模块”和“单元”是仅考虑到易于准备说明书来给出的或者彼此混合,而不具有或者用作不同的含义。因此,后缀“模块”和“单元”可以彼此混合。另外,在本说明书中公开的实施方式的以下描述中,并入本文的已知功能和配置的详细描述在它可能使本说明书中公开的实施方式的主题变得不清楚时将被省略。另外,附图是仅为了更好地理解本说明书中公开的实施方式而提供的,而不旨在限制本说明书中公开的技术构思。因此,应该理解,附图包括本发明的范围和精神中包括的所有修改、等同物和替换。
应当理解,尽管术语第一、第二等可以在本文中用于描述各种组件,但是这些组件不应该受这些术语限制。这些术语仅用于区分一个组件和另一组件。
应当理解,当组件被称为“连接至”或者“耦接至”另一组件时,它可以直接连接至或者耦接至另一组件,或者可以存在中间组件。相比之下,当组件被称为“直接连接至”或者“直接耦接至”另一组件时,不存在中间组件。另外,应当理解,当组件被称为“控制”另一组件时,它可以直接控制另一组件,或者还可以经由第三组件的媒介作用控制另一组件。另外,应当理解,当组件被称为“给”另一组件“提供”信息和信号时,它可以直接给另一组件提供信息和信号,并且还可以经由第三组件的媒介作用给另一组件提供信息和信号。
如本文所使用的,除非上下文另外清楚地指示,否则单数形式也旨在包括复数形式。
在本申请中,还应当理解,术语“包括”、“包含”等指定陈述的特征、整数、步骤、操作、元件、组件或其组合的存在,但是不排除一个或更多个其它特征、整数、步骤、操作、元件、组件或其组合的存在或添加。
如本说明书所描述的车辆可以包括包含发动机作为动力源的内燃机车辆、包含发动机和电动机作为动力源的混合动力车辆以及包含电动机作为动力源的电动车辆中的全部。
图1是根据本发明的一个实施方式的车辆1的框图。
车辆1可以包括通信单元110、输入单元120、存储器130、输出单元140、车辆驱动单元150、感测单元160、控制器170、接口单元180、电源单元190和驾驶员辅助设备500。
通信单元110可以包括用于使得能实现车辆1与外部器具(例如,移动终端、外部服务器或另一车辆)之间的无线通信的一个或更多个模块。另外,通信单元110可以包括用于将车辆1连接至一个或更多个网络的一个或更多个模块。
通信单元110可以包括广播接收模块111、无线互联网模块112、短距离通信模块113、位置信息模块114和光学通信模块115。
广播接收模块111被配置为经由广播信道从外部广播管理服务器接收广播信号或广播相关信息。这里,广播包括无线电广播或TV广播。
无线互联网模块112是用于无线互联网接入的模块。无线互联网模块112可以在内部或在外部耦接至车辆1。无线互联网模块712被配置为根据无线互联网技术经由通信网络发送或者接收无线信号。
这些无线互联网技术的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-FiDirect、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作性 (WiMAX)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)和LTE-A(高级长期演进)。无线互联网模块112也根据这些无线互联网技术和其它互联网技术中的一个或更多个来发送和接收数据。例如,无线互联网模块112可以按照无线方式与外部服务器交换数据。无线互联网模块112可以从外部服务器接收天气信息和道路交通状态信息(例如,传输协议专家组(TPEG)信息)。
短距离通信模块113可以使用从BluetoothTM、射频标识(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi Direct、无线USB(无线通用串行总线)等当中选择的至少一个来协助短距离通信。
短距离通信模块113可以形成无线局域网以在车辆1与至少一个外部装置之间执行短距离通信。例如,短距离通信模块113可以按照无线方式与乘客的移动终端交换数据。短距离通信模块113可以从移动终端或外部服务器接收天气信息和道路交通状态信息(例如,传输协议专家组(TPEG)信息)。当用户进入车辆1时,用户的移动终端和车辆1可以自动地或者随着用户执行配对应用而彼此配对。
位置信息模块114是用于获取车辆1的位置的模块。位置信息模块114的代表性示例包括全球定位系统(GPS)模块。例如,当车辆利用GPS模块时,可以使用从 GPS卫星发送的信号来获取车辆1的位置。
光学通信模块115可以包括光发射单元和光接收单元。
光接收单元可以将光转换成电信号以接收信息。光接收单元可以包括用于接收光的光电二极管(PDP)。光电二极管可以将光转换成电信号。例如,光接收单元可以经由从包括在前方车辆中的光源发射的光来接收有关前方车辆的信息。
光发射单元可以包括用于将电信号转换成光的至少一个发光元件。这里,发光元件可以是发光二极管(LED)。光发射单元将电信号转换成光以从而发射该光。例如,光发射单元可以经由发光元件的与规定频率对应的闪烁在外部发射光。在一些实施方式中,光发射单元可以包括多个发光元件的阵列。在一些实施方式中,光发射单元可以与设置在车辆1中的灯集成在一起。例如,光发射单元可以是从前灯、尾灯、制动灯、转向信号灯和侧灯当中选择的至少一个。例如,光学通信模块115可以经由光学通信与另一车辆交换数据。
输入单元120可以包括驱动操作单元121、麦克风123和用户输入单元124。
驱动操作单元121被配置为接收针对车辆1的行驶的用户输入。驱动操作单元 121可以包括转向输入单元121a、换挡输入单元121b、加速输入单元121c和制动输入单元121d。
转向输入单元121a被配置为接收关于车辆1的行驶方向的用户输入。转向输入单元121a可以包括方向盘。在一些实施方式中,可以将转向输入单元121a配置为触摸屏、触摸板或按钮。
换挡输入单元121b被配置为从用户接收用于选择车辆1的停车挡(P)、行驶挡(D)、空挡(N)和倒车挡(R)中的一个的输入。换挡输入单元121b可以具有杆形式。在一些实施方式中,可以将换挡输入单元121b配置为触摸屏、触摸板或按钮。
加速输入单元121c被配置为接收用于车辆1的加速的用户输入。制动输入单元121d被配置为接收用于车辆1的减速的用户输入。加速输入单元121c和制动输入单元121d中的每一个可以具有踏板形式。在一些实施方式中,可以将加速输入单元121c 或制动输入单元121d配置为触摸屏、触摸板或按钮。
麦克风123可以将外部声音信号处理成电数据。可以根据车辆1正在执行的功能按照各种方式利用经处理的数据。麦克风123可以将用户语音命令转换成电数据。可以将经转换的电数据发送到控制器170。
此外,在一些实施方式中,相机122或麦克风123可以是除输入单元120的组件以外的感测单元160的组件。
用户输入单元124被配置为从用户接收信息。当经由用户输入单元124输入信息时,控制器170可以控制移动车辆1的操作以对应于所输入的信息。用户输入单元 124可以包括触摸输入单元或机械输入单元。在一些实施方式中,用户输入单元124 可以位于方向盘的区域中。在这种情况下,驾驶员可以在握住方向盘的同时利用手指操作用户输入单元124。
感测单元160被配置为感测与例如车辆1的行驶关联的信号。为此,感测单元 160可以包括碰撞传感器、转向传感器、速度传感器、坡度传感器、重量传感器、舵向传感器、偏航传感器、陀螺传感器、位置模块、车辆前进/倒退传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声传感器、红外传感器、雷达和激光雷达。
因此,感测单元160可以获取关于例如车辆碰撞信息、车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆前进/倒退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息以及方向盘旋转角度信息的感测信号。另外,将在下面描述的驾驶员辅助设备500可以例如基于由包括在车辆1中的相机、超声传感器、红外传感器、雷达和激光雷达中的至少一个获取的周围环境信息来生成用于车辆1的加速、减速、方向改变等的控制信号。这里,周围环境信息可以是与位于离正在行驶的车辆1的规定距离内的各种物体有关的信息。例如,周围环境信息可以包括位于离车辆1 100m的距离内的障碍物的数目、到障碍物的距离、障碍物的大小、障碍物的种类等。
此外,感测单元160还可以包括例如加速器踏板传感器、压力传感器、发动机速度传感器、空气流率传感器(AFS)、气温传感器(ATS)、水温传感器(WTS)、油门位置传感器(TPS)、上死点(TDC)传感器和曲柄角度传感器(CAS)。
感测单元160可以包括生物特征信息感测单元。该生物特征信息感测单元被配置为感测并获取乘客的生物特征信息。生物特征信息可以包括指纹信息、虹膜扫描信息、视网膜扫描信息、手几何形状信息、面部识别信息和语音识别信息。生物特征信息感测单元可以包括用于感测乘客的生物特征信息的传感器。这里,内部相机162和麦克风123可以作为传感器。生物特征信息感测单元可以经由内部相机162获取手几何形状信息和面部识别信息。
感测单元160可以包括至少一个相机161以捕获车辆1的外部的图像。例如,感测单元160可以包括被布置在车辆1的外部的不同位置处的多个相机161。各个相机 161可以包括图像传感器和图像处理模块。相机161可以对由图像传感器(例如, CMOS或CCD)获取的静止图像或运动图像进行处理。图像处理模块可以通过对由图像传感器获取的静止图像或运动图像进行处理来提取所需信息,并且可以将所提取的信息发送到控制器170。
感测单元160可以包括至少一个相机162以捕获车辆1内部的空间的图像。例如,相机162可以形成包括车辆1的乘客的图像并且然后给控制器170提供该图像。
相机161和162可以分别包括图像传感器(例如,CMOS或CCD)和图像处理模块。另外,相机161和162对由图像传感器获取的静止图像或运动图像进行处理。图像处理模块可以对由图像传感器获取的静止图像或运动图像进行处理。另外,相机 161和162可以获取包括交通灯、交通标志、行人、其它车辆和路面中的至少一个的图像。
此外,尽管图1将感测单元160例示为被包括在车辆1中,但是可以将包括在感测单元160中的至少一个传感器描述为包括在驾驶员辅助设备500而不是车辆1中的组件。
输出单元140被配置为输出在控制器170中处理的信息。输出单元140可以包括显示单元141、声音输出单元142和触觉输出单元143。
显示单元141可以显示在控制器170中处理的信息。例如,显示单元141可以显示车辆相关信息。这里,车辆相关信息可以包括用于车辆1的直接控制的车辆控制信息或用于指导驾驶员的车辆行驶的驾驶员辅助信息。另外,车辆相关信息可以包括指示车辆的当前状态的车辆状态信息或有关车辆的行驶的车辆行驶信息。
显示单元141可以包括从液晶显示器(LCD)、薄膜晶体管LCD(TFT LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器和电子墨水显示器当中选择的至少一个。
显示单元141可以配置具有触摸传感器的层间结构,或者可以与触摸传感器整体地形成在一起以实现触摸屏。触摸屏可以充当在车辆1与用户之间提供输入接口的用户输入单元124并且还用来在车辆1与用户之间提供输出接口。在这种情况下,显示单元141可以包括感测对显示单元141的触摸以便按照触摸方式接收控制命令的触摸传感器。当如上所述向显示单元141输入触摸时,触摸传感器可以感测该触摸并且控制器170可以生成与该触摸对应的控制命令。按照触摸方式输入的内容可以是字符或数字,或者可以是例如各种模式下的指令或可以被指定的菜单项。
此外,显示单元141可以包括用于使得驾驶员能够在驾驶车辆的同时检查车辆状态信息或车辆行驶信息的仪表板(cluster)。仪表板可以位于仪表盘上。在这种情况下,驾驶员可以在向前看的同时检查仪表板上显示的信息。
此外,在一些实施方式中,可以将显示单元141实现为平视显示器(HUD)。当显示单元141作为HUD被实现时,可以经由设置在挡风玻璃处的透明显示器输出信息。另选地,显示单元141可以包括投影器模块以经由投影到挡风玻璃的图像来输出信息。
声音输出单元142被配置为将来自控制器170的电信号转换成音频信号并且输出这些音频信号。为此,音输出单元142可以包括例如声扬声器。声音输出单元142 可以输出与用户输入单元124的操作对应的声音。
触觉输出单元143被配置为生成触觉输出。例如,触觉输出单元143可以操作来使方向盘、安全带或座椅振动,以便使得用户能够识别其输出。
车辆驱动单元150可以控制车辆1的各种装置的操作。车辆驱动单元150可以包括动力源驱动单元151、转向驱动单元152、制动驱动单元153、灯驱动单元154、空调器驱动单元155、窗驱动单元156、气囊驱动单元157、天窗驱动单元158和刮水器驱动单元159中的至少一个。
动力源驱动单元151可以针对车辆1内部的动力源执行电子控制。动力源驱动单元151可以包括用于增加车辆1的速度的加速装置以及用于减小车辆1的速度的减速装置。
例如,在基于化石燃料的发动机(未例示)是动力源的情况下,动力源驱动单元151可以针对发动机执行电子控制。因此,动力源驱动单元151可以控制例如发动机的输出转矩。在动力源驱动单元151是发动机的情况下,动力源驱动单元151可以通过在控制器170的控制下控制发动机的输出转矩来控制车辆的速度。
在另一示例中,在电动机(未例示)是动力源的情况下,动力源驱动单元151 可以针对电机执行控制。因此,动力源驱动单元151可以控制例如电机的RPM和转矩。
转向驱动单元152可以包括转向设备。因此,转向驱动单元152可以针对车辆1 内部的转向设备执行电子控制。例如,转向驱动单元152可以包括转向转矩传感器、转向角度传感器和转向电机。由驾驶员施加到方向盘12的转向转矩可以由转向转矩传感器感测。转向驱动单元152可以通过基于例如车辆1的速度和转向转矩而改变施加到转向电机的电流的大小和方向来控制转向力和转向角度。另外,转向驱动单元 152可以基于由转向角度传感器获取的转向角度信息来判断车辆1的行驶方向是否当前正被调整。因此,转向驱动单元152可以改变车辆1的行驶方向。另外,转向驱动单元152可以在车辆1以低速度行驶时通过增加转向电机的转向力来减小方向盘12 的重量感觉并且可以在车辆1以高速度行驶时通过减小转向电机的转向力来增加方向盘12的重量感觉。另外,当车辆1的自主行驶功能被执行时,转向驱动单元152 即使在驾驶员操作方向盘12的状态下(即,在未感测到转向转矩的状态下)也可以控制转向电机基于例如从感测单元160输出的感测信号或由处理器570提供的控制信号来生成适当的转向力。
制动驱动单元153可以执行车辆1内部的制动设备(未例示)的电子控制。例如,制动驱动单元153可以通过控制位于车轮处的制动器的操作来减小车辆1的速度。在另一示例中,制动驱动单元153可以通过区别位于左右车轮处的相应的制动器的操作来调整车辆1向左方或向右方的行驶方向。
灯驱动单元154可以开启或者关掉布置在车辆1内部和外部的至少一个灯。灯驱动单元154可以包括照明设备。另外,灯驱动单元154可以控制例如包括在照明设备中的各个灯的光的强度和方向。例如,灯驱动单元154可以针对转向信号灯、前灯或制动灯执行控制。
空调器驱动单元155可以执行车辆1内部的空调器(未例示)的电子控制。例如,当车辆1的内部温度高时,空调器驱动单元155可以操作空调器以向车辆1的内部供应冷空气。
窗驱动单元156可以执行车辆1内部的窗设备的电子控制。例如,窗驱动单元 156可以控制车辆1的左窗和右窗的打开或关闭。
气囊驱动单元157可以执行车辆1内部的气囊设备的电子控制。例如,气囊驱动单元157可以控制要在危险情形下部署的气囊。
天窗驱动单元158可以执行车辆1内部的天窗设备(未例示)的电子控制。例如,天窗驱动单元158可以控制天窗的打开或关闭。
刮水器驱动单元159可以执行对包括在车辆1中的刮水器14a和刮水器14b的控制。例如,刮水器驱动单元159可以在通过用户输入单元124接收到引导刮水器14a 和刮水器14b的操作的用户输入时响应于用户输入而执行例如关于刮水器14a和刮水器14b的操作次数以及刮水器14a和刮水器14b的操作的速度的电子控制。在另一示例中,刮水器驱动单元159可以基于包括在感测单元160中的雨传感器的感触信号来判断雨水的量或强度,以便在没有用户输入的情况下自动地操作刮水器14a和刮水器 14b。
此外,车辆驱动单元150还可以包括悬挂驱动单元(未例示)。悬挂驱动单元可以执行车辆1内部的悬挂设备(未例示)的电子控制。例如,在路面不平的情况下,悬挂驱动单元可以控制悬挂设备以减小车辆1的振动。
存储器130电连接至控制器170。存储器130可以存储各个单元的基本数据、用于单元的操作控制的控制数据以及输入/输出数据。存储器130可以是诸如例如ROM、 RAM、EPROM、闪速驱动器和硬盘的各种存储装置中的任一个。存储器130可以存储用于车辆1的总体操作的各种数据,诸如例如用于控制器170的处理或控制的程序。
接口单元180可以用作连接至车辆1的各种各样的外部装置的通路。例如,接口单元180可以具有可连接至移动终端的端口并且可以经由该端口连接至移动终端。在这种情况下,接口单元180可以与移动终端交换数据。
控制器170可以控制车辆1内部的各个单元的总体操作。控制器170可以被称为电子控制单元(ECU)。
可以使用从以下项当中选择的至少一个按照硬件方式实现控制器170:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及用于实现其它功能的电子单元。
电源单元190可以供应在控制器170的控制下操作相应的组件所需的电力。具体地,电源单元190可以从例如车辆1内部的电池(未例示)接收电力。
音频视频导航(AVN)设备400可以与控制器170交换数据。控制器170可以从AVN设备或单独的导航设备(未例示)接收导航信息。这里,导航信息可以包括与车辆行驶有关的设定目的地信息、基于目的地的选路信息以及地图信息或车辆位置信息。
此外,图1所例示的组件中的一些可能不是实现车辆1所必需的。因此,本说明书中描述的车辆1可以包括比以上所提及的那些更多或更少数量的组件。
图2是参照图1例示了一个示例性车辆的视图。为了描述的方便,车辆1被假定为四轮车。
参照图2,车辆1可以包括雷达201、激光雷达202和超声传感器203中的至少一个。
雷达201可以被安装在车辆1的一个侧面处并且用来向车辆1附近发射电磁波并且接收从存在于车辆1附近的各种物体反射的电磁波。例如,雷达201可以通过测量直到被所对应的物体反射的电磁波返回给其为止花费的时间来获取与例如任一个物体的距离、方向和高度有关的信息。
激光雷达202可以被安装在车辆1的一个侧面处并且用来在车辆1附近发射激光。由激光雷达202发射的激光可能被散射或者反射以从而返回给车辆1。激光雷达 202可以基于直到激光返回为止花费的时间、激光的强度、频率的变化以及极性的变化来获取与诸如例如位于车辆1附近的目标的距离、速度和形状的物理特性有关的信息。
超声传感器203可以被安装在车辆1的一个侧面处并且用来在车辆1附近生成超声波。由超声传感器203生成的超声波具有高频率(大约20KHz或更高)和短波长的特性。超声传感器203可以主要用于识别例如靠近车辆1的障碍物。
图2所例示的雷达201、激光雷达202和超声传感器203可以是包括在图1所例示的感测单元160中的传感器。
图3是参照图1例示了另一示例性车辆1的视图。为了描述的方便,车辆1被假定为四轮车。
参照图3,可以在车辆1的外部上的不同位置处安装四个相机301、302、303和 304。
相机301、302、303和304可以分别位于车辆1的前侧、左侧、右侧和后侧。相机301、302、303和304中的每一个可以对应于图1所例示的相机161。
前相机301可以靠近挡风玻璃、靠近厂标或者靠近散热器护栅。
左相机302可以位于包封左侧视图镜子的外壳内部。另选地,左相机302可以位于包封左侧视图镜子的外壳的外部处。又另选地,左相机302可以位于左前门、左后门或左挡泥板的外部的区域处。
右相机303可以位于包封右侧视图镜子的外壳内部。另选地,右相机303可以位于包封右侧视图镜子的外壳的外部处。又另选地,右相机303可以位于右前门、右后门或右挡泥板的外部的区域处。
此外,后相机304可以靠近后牌照或后备箱开关。
可以向处理器570发送由相机301、302、303和304捕获的相应的图像,并且处理器570可以对相应的图像进行构图以生成车辆1的环绕视图图像。
此外,图3所例示的相机301、302、303和304中的每一个可以与图1所例示的感测单元160的相机161相同。
此外,尽管图3将车辆1例示为包括安装到其外部的四个相机,但是注意,关于相机的数量本发明不受限制,并且可以在与图3所例示的位置不同的位置处安装比以上所提及的那些更大或更少数量的相机。
图4是例示了由图3所例示的相机301、302、303和304生成的一个示例性图像的视图。
参照图4,合成图像400可以包括由前相机301捕获的第一图像区域401、由左相机302捕获的第二图像区域402、由右相机303捕获的第三图像区域403以及由后相机304捕获的第四图像区域404。合成图像400可以被称作全景监视图像。
此外,在生成合成图像400时,在包括在合成图像400中的相应的两个图像之间生成边界线411、412、413和414。这些边界可以经历图像融合,以用于其自然显示。
此外,可以在相应的图像之间的边界处显示边界线411、412、413和414。另外,合成图像400可以在其中心处包括指示车辆1的预定图像。
另外,可以经由安装在车辆1内部的空间中的显示装置来显示合成图像400。
图5是根据本发明的一个实施方式的驾驶员辅助设备500的框图。
驾驶员辅助设备500可以经由从图1所例示的相机161和162接收的图像的基于计算机视觉的信号处理来生成车辆相关信息。这里,车辆相关信息可以包括用于车辆的直接控制的车辆控制信息或用于在行驶期间指导车辆驾驶员的车辆行驶辅助信息。
这里,相机161和162可以是单目相机或立体相机。
参照图5,驾驶员辅助设备500可以包括输入单元510、通信单元520、接口单元530、存储器540、处理器570、显示单元580和电源单元590。在一些实施方式中,可以省略图5所例示的组件中的一些,或者可以添加新组件。例如,包括在图1所例示的感测单元160中的一些组件可以被包括在驾驶员辅助设备500而不是车辆1中。
输入单元510可以包括多个按钮或触摸屏。驾驶员可以开启驾驶员辅助设备500以使用按钮或触摸屏来操作驾驶员辅助设备500。另外,输入单元510可以被用于实现各种其它输入操作。
通信单元520可以按照无线方式与例如车辆1的乘客的移动终端、外部服务器或其它车辆的其它外部器具交换数据。具体地,通信单元520可以按照无线方式与驾驶员的移动终端交换数据。可以使用诸如例如蓝牙、Wi-Fi、Wi-Fi direct、APiX和NFC 的各种无线数据通信协议。
通信单元520可以从外部服务器接收天气信息以及诸如例如传输协议专家组(TPEG)信息的道路交通状态信息。此外,通信单元520可以向外部器具发送由驾驶员辅助设备500获取的实时信息。
此外,当用户进入车辆时,用户的移动终端可以自动地或者随着用户执行配对应用而与驾驶员辅助设备500配对。
通信单元520可以从外部服务器接收交通灯改变信息。这里,外部服务器可以是位于交通控制中心中的服务器。
接口单元530可以接收车辆相关数据,或者在外部发送由处理器570处理或者生成的信号。为此,接口单元530可以按照有线或无线通信方式执行与例如车辆1内部的控制器170、音频视频导航(AVN)设备和感测单元160的数据通信。
接口单元530可以经由与车辆1的控制器170、控制器170、AVN设备或单独的导航设备的数据通信接收导航信息。这里,导航信息可以包括与车辆行驶有关的设定目的地信息、基于目的地的选路信息、地图信息以及车辆的当前位置信息。此外,导航信息可以包括有关车辆在道路上的位置的信息。
此外,接口单元530可以从控制器170或感测单元160接收传感器信息。
这里,传感器信息可以包括从车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆前进/倒退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息和物体信息当中选择的至少一种。
可以从例如航向传感器、偏航传感器、陀螺传感器、位置模块、车辆前进/倒退传感器、车轮传感器、车辆速度传感器、车体坡度传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器和物体传感器(例如,雷达、激光雷达或超声传感器)获取传感器信息。此外,位置模块可以包括用于接收GPS信息的GPS模块。
此外,在以上指定的传感器信息之中,例如,与车辆行驶有关的车辆行驶方向信息、车辆位置信息、车辆角度信息、车辆速度信息和车辆倾斜信息可以被称为车辆行驶信息。
接口单元530可以接收转向信号信息。这里,转向信号信息可以是由用户输入的向左转或向右转的转向信号灯的开启信号。当经由车辆1的用户输入单元(图1中的 124)接收到用于开启左或右转向信号灯的输入时,接口单元530可以接收左转向或右转向的转向信号信息。
接口单元530可以接收车辆速度信息、方向盘旋转角度信息或变速器信息。接口单元530可以接收经由车辆1的感测单元160感测的车辆速度信息、方向盘旋转角度信息或变速器信息。另选地,接口单元530可以从车辆1的控制器170接收车辆速度信息、方向盘旋转角度信息或变速器信息。此外,这里,变速器信息可以是有关车辆的当前挡位位置的信息。例如,变速器信息可以是有关变速器是否在停车挡(P)、倒车挡(R)、空挡(N)和驱动挡(D)或编号挡中的任一个中。
接口单元530可以经由车辆1的用户输入单元124接收用户输入。接口单元530 可以从车辆1的输入单元120接收用户输入,或者可以通过控制器170接收用户输入。
接口单元530可以接收从外部器具获取的信息。例如,当经由车辆1的通信单元110从外部服务器接收到交通灯改变信息时,接口单元530可以从控制器170接收该交通灯改变信息。
存储器540可以存储用于驾驶员辅助设备500的总体操作的各种数据,诸如例如用于处理器570的处理或控制的程序。
存储器540可以存储用于物体验证的数据。例如,当根据由相机161和162捕获的图像检测到规定物体时,存储器540可以存储用于使用规定算法来验证该物体对应于什么的数据。
存储器540可以存储与交通信息有关的数据。例如,当根据由相机161和162 捕获的图像检测到规定交通信息时,存储器540可以存储用于使用规定算法来验证该交通信息对应于什么的数据。
此外,存储器540可以是诸如例如ROM、RAM、EPROM、闪速驱动器和硬盘的各种硬件存储装置中的任一个。
处理器570控制驾驶员辅助设备500内部的各个单元的总体操作。
处理器570可以对在车辆前面的视图的图像或由相机161和162获取的车辆的全景图像进行处理。具体地,处理器570基于信号处理实现计算机视觉。因此,处理器 570可以从相机161和162获取在车辆前面的视图的图像或车辆的全景图像,并且基于该图像执行物体检测和物体跟踪。具体地,处理器570可以在物体检测期间执行例如车道检测(LD)、车辆检测(VD)、行人检测(PD)、亮斑检测(BD)、交通标志识别(TSR)和路面检测。
此外,交通标志可以意指可以被发送给车辆1的驾驶员的规定信息。可以经由交通灯、交通标志或路面将交通标志发送给驾驶员。例如,交通标志可以是从交通灯输出的针对车辆或行人的通行信号或停止信号。例如,交通标志可以是标记在交通标志上的各种符号或文本。例如,交通标志可以是标记在路面上的各种符号或文本。
处理器570可以根据由相机161和162获取的车辆的全景图像来检测信息。
该信息可以是车辆行驶情形信息。例如,该信息可以包括车辆行驶道路信息、交通规则信息、相邻车辆信息、车辆或行人交通灯信息、道路施工信息、交通状态信息、停车场信息和车道信息。
该信息可以是交通信息。处理器570可以根据包括在由相机161和162捕获的图像中的交通灯、交通标志和路面中的任一个来检测交通信息。例如,处理器570可以根据包括在图像中的交通灯来检测针对车辆或行人的通行信号或停止信号。例如,处理器570可以根据包括在图像中的交通标志来检测各种符号或文本。例如,处理器 170可以根据包括在图像中的路面来检测各种符号或文本。
处理器570可以通过将检测到的信息与存储在存储器540中的信息进行比较来验证信息。
例如,处理器570根据包括在获取的图像中的物体来检测指示坡道的符号或文本。这里,物体可以是交通标志或路面。处理器570可以通过将所检测到的符号或文本与存储在存储器540中的交通信息进行比较来验证坡道信息。
例如,处理器570根据包括在获取的图像中的物体来检测指示车辆或行人停止的符号或文本。这里,物体可以是交通标志或路面。处理器570可以通过将所检测到的符号或文本与存储在存储器540中的交通信息进行比较来验证停止信息。另选地,处理器570根据包括在获取的图像中的路面来检测停止线。处理器570可以通过将所检测到的停止线与存储在存储器540中的交通信息进行比较来验证停止信息。
例如,处理器570可以根据包括在获取的图像中的物体来检测交通车道标记是否存在。这里,物体可以是路面。处理器570可以检查检测到的交通车道标记的颜色。处理器570可以检查所检测到的交通车道标记是用于行驶车道还是左转车道。
例如,处理器570可以根据包括在获取的图像中的物体来检测车辆通行或停止信息。这里,物体可以是车辆交通灯。这里,车辆通行信息可以是用于指示车辆直行或者向左转或向右转的信号。车辆停止信息可以是用于指示车辆停止的信号。车辆通行信号可以用绿色显示并且车辆停止信息可以用红色显示。
例如,处理器570可以根据包括在获取的图像中的物体来检测行人通行或停止信息。这里,物体可以是行人交通灯。这里,行人通行信息可以是用于指示行人在人行横道处穿过街道的信号。行人停止信息可以是用于指示行人在人行横道处停止的信号。
此外,处理器570可以控制相机161和162的变焦。例如,处理器570可以基于物体检测结果来控制相机161和162的变焦。当检测到交通标志但是未检测到写在该交通标志上的内容时,处理器570可以控制相机161和162以放大。
此外,处理器570可以经由通信单元520接收天气信息和道路交通状态信息(例如,传输协议专家组(TPEG)信息)。
此外,处理器570可以实时地识别已由驾驶员辅助设备500基于立体图像识别的车辆周围的交通状态信息。
此外,处理器570可以经由接口单元530从AVN设备或单独的导航设备(未例示)接收例如导航信息。
此外,处理器570可以经由接口单元530从控制器170或感测单元160接收传感器信息。这里,传感器信息可以包括从车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆前进/倒退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息和方向盘旋转信息当中选择的至少一种。
此外,处理器570可以经由接口单元530从控制器170、AVN设备或单独的导航设备接收导航信息。
此外,处理器570可以使用以下项中的至少一个来实现:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及用于实现其它功能的电子单元。
处理器570可以由控制器170控制。
显示单元580可以显示处理器570中处理的各条信息。显示单元580可以显示与驾驶员辅助设备500的操作有关的图像。为了显示这种图像,显示单元580可以包括安装在车辆1的内部的前面处的仪表板或平视显示器(HUD)。此外,当显示单元580 是HUD时,显示单元580可以包括投影器模块以将图像投影到车辆1的挡风玻璃。
电源单元590可以供应在处理器570的控制下操作相应的组件所需的电力。具体地,电源单元590可以从例如车辆1内部的电池接收电力。
图6是例示了图5所例示的处理器570的内部配置的框图。
参照图6,驾驶员辅助设备500内部的处理器570可以包括图像预处理器610、视差计算器620、分段单元632、物体检测器634、物体验证单元636、物体跟踪单元 640和应用单元650。
图像预处理器610可以从图1所例示的相机161和162接收图像,并且对所接收的图像进行预处理。
具体地,图像预处理器610可以针对图像执行例如降噪、矫正、校准、颜色增强、颜色空间转换(CSC)、内插和相机增益控制。因此,图像预处理器610可以获取比由相机161和162捕获的立体图像更鲜艳的图像。
视差计算器620可以接收通过图像预处理器610信号处理的图像,针对所接收的图像执行立体匹配,并且基于立体匹配获取双目视差图。也就是说,视差计算器620 可以获取与在车辆前面的视图的立体图像有关的双目视差信息。
这时,可以在立体图像的每像素基础上或者在立体图像的每规定块基础上执行立体匹配。此外,双目视差图可以意指立体图像(即,左图像与右图像)之间的双目视差信息由数值来表示的图。
分段单元632可以基于来自视差计算器620的双目视差信息来对立体图像中的至少一个执行分段和聚类。
具体地,分段单元632可以基于双目视差信息将立体图像中的至少一个分段成背景和前景。
例如,分段单元632可以计算双目视差信息为预定值或更小值的视差图的区域作为背景并且排除所对应的区域。按照这种方式,可以相对地使前景分开。
在另一示例中,分段单元632可以计算双目视差信息为预定值或更大值的视差图的区域作为前景并且提取所对应的区域。按照这种方式,可以使前景分开。
如上所述,当根据基于立体图像提取的双目视差信息将图像分段成前景和背景时,能够在随后的物体检测期间减小例如信号处理速度和信号处理量。
随后,物体检测器634可以基于来自分段单元632的图像分段来检测物体。
也就是说,物体检测器634可以基于双目视差信息针对立体图像中的至少一个来检测物体。
具体地,物体检测器634可以针对立体图像中的至少一个来检测物体。例如,物体检测器634可以根据通过图像分段分开的前景来检测物体。
随后,物体验证单元636可以对经分开的物体进行分类和验证。
为此,物体验证单元636可以例如使用利用神经网络的标识方法、支持向量机(SVM)方法、利用Harr型特征的AdaBoost标识方法或方向梯度直方图(HOG) 方法。
此外,物体验证单元636可以将所检测到的物体与存储在存储器540中的物体进行比较以验证所检测到的物体。
例如,物体验证单元636可以验证例如位于车辆周围的相邻车辆、交通车道标记、路面、交通标志、危险区和隧道。
物体跟踪单元640可以跟踪经验证的物体。例如,物体跟踪单元640可以验证包括在顺序地获取的立体图像中的物体,计算经验证的物体的运动或运动向量,并且例如基于所计算出的运动或运动向量来跟踪所对应的物体的移动。因此,物体跟踪单元 640可以跟踪例如位于车辆周围的相邻车辆、交通车道标记、路面、交通标志、危险区和隧道。
随后,应用单元650可以基于位于车辆周围的各种物体(例如,其它车辆、交通车道标记、路面和交通标志)来计算例如车辆1的事故风险。另外,应用单元650 可以计算与前方车辆前端碰撞的可能性以及是否发生失去牵引力。
另外,应用单元650可以输出例如消息以向用户通知诸如例如所计算出的风险、碰撞可能性或牵引力失去的驾驶员辅助信息。另选地,应用单元650可以生成用于车辆1的姿态控制或行驶控制的控制信号作为车辆控制信息。
此外,在一些实施方式中,图像预处理器610、视差计算器620、分段单元632、物体检测器634、物体验证单元636、物体跟踪单元640和应用单元650中的一些可以被包括在处理器570中。在相机161和162提供仅二维(2D)图像的情况下,可以排除视差计算器620。
图7A和图7B是被参照来说明图6所例示的处理器570的操作的视图。
图7A和图7B是被参照来基于分别从第一帧周期和第二帧周期获取的立体图像来说明图6所例示的处理器570的操作方法的视图。
首先参照图7A,当相机161是立体相机时,相机161在第一帧周期期间获取立体图像。
包括在处理器570中的视差计算器620接收通过图像预处理器610信号处理的立体图像FR1a和立体图像FR1b,并且针对所接收的立体图像FR1a和立体图像FR1b 执行立体匹配以获取视差图720。
视差图720将立体图像FR1a与立体图像FR1b之间的双目视差示出为水平。当视差水平较高时,可以将离车辆的距离计算为较短的。当视差水平较低时,可以将离车辆的距离计算为较长的。
此外,当视差图被显示时,视差图可以在视差水平较高的时用较高的亮度显示,而在视差水平较低的时用较低的亮度显示。
图7A通过示例例示了在视差图720中第一交通车道标记728a、第二交通车道标记728b、第三交通车道标记728c和第四交通车道标记728d具有它们自己的视差水平,并且道路施工区722、第一前方车辆724和第二前方车辆726具有它们自己的视差水平。
分段单元632、物体检测器634和物体验证单元636分别基于视差图720针对立体图像FR1a和立体图像FR1b中的至少一个执行分段、物体检测和物体验证。
图7A通过示例例示了使用视差图720来执行针对第二立体图像FR1b的物体检测和物体验证。
也就是说,可以执行针对第一交通车道标记738a、第二交通车道标记738b、第三交通车道标记738c和第四交通车道标记738d、道路施工区732、第一前方车辆734 以及第二前方车辆736的物体检测和物体验证。
接下来,参照图7B,立体相机161在第二帧周期期间获取立体图像。
包括在处理器570中的视差计算器620接收通过图像预处理器610信号处理的立体图像FR2a和立体图像FR2b,并且针对所接收的立体图像FR2a和立体图像FR2b 执行立体匹配以获取视差图740。
图7B通过示例例示了在视差图740中第一交通车道标记748a、第二交通车道标记748b、第三交通车道标记748c和第四交通车道标记748d具有它们自己的视差水平,并且道路施工区742、第一前方车辆744和第二前方车辆746具有它们自己的视差水平。
分段单元632、物体检测器634和物体验证单元636分别基于视差图740针对立体图像FR2a和立体图像FR2b中的至少一个执行分段、物体检测和物体验证。
图7B通过示例示出了使用视差图740来执行针对第二立体图像FR2b的物体检测和物体验证。
也就是说,可以执行针对第一交通车道标记758a、第二交通车道标记758b、第三交通车道标记758c和第四交通车道标记758d、道路施工区752、第一前方车辆754 以及第二前方车辆756的物体检测和物体验证。
此外,物体跟踪单元640可以通过将图7A和图7B彼此进行比较来跟踪验证的物体。
具体地,物体跟踪单元640可以基于从图7A和图7B验证的相应的物体的运动或运动向量来跟踪物体的移动。因此,例如,物体跟踪单元740可以跟踪位于车辆周围的交通车道标记、道路施工区、第一前方车辆和第二前方车辆。
图8是例示了根据本发明的一个实施方式的驾驶员辅助设备500的一个示例性控制方法S800的流程图。
参照图8,在步骤S810中,驾驶员辅助设备500的处理器570接收有关在车辆外部的物体的信息。这里,参照图8所描述的车辆可以是参照图1、图2、图3、图4、图5、图6和图7以上所描述的车辆1。另外,在车辆外部的物体包括正在该车辆附近行驶的至少一个其它车辆。措辞“车辆附近”可以意指在最大距离内的车辆的感测单元160能够感测到物体的区域。
有关在车辆外部的物体的信息可以由包括在车辆的感测单元160中的至少一个物体检测传感器获取。例如,感测单元160可以包括雷达、激光雷达和超声传感器中的至少一个,并且可以感测存在于车辆附近的各种物体,从而给处理器570提供与所感测到的结果对应的电信号。
这里,有关物体的信息可以包括例如物体的种类(例如,行人、其它车辆、建筑物和交通车道标记)、物体的移动(例如,移动方向、横向速率、纵向速率和路径)、离物体的距离以及物体的大小。
在步骤S820中,处理器570基于包括在经由步骤S810接收的有关物体的信息中的另一车辆的移动来获取另一车辆的行驶模式。具体地,处理器570可以以规定时间间隔通过对随着时间过去而顺序地提供的有关另一车辆的移动的各条信息彼此进行比较来获取另一车辆的行驶模式。例如,处理器570可以确定另一车辆在第一时间点的第一移动,并且可以确定另一车辆在第二时间点的第二移动,并且此后,可以获取第一移动与第二移动之间的差异,从而基于第一移动与第二移动之间的差异来获取另一车辆的行驶模式。这时,第一时间点和第二时间点可以彼此间隔开预定时间间隔(例如,0.1秒)。由处理器570获取的另一车辆的行驶模式可以包括例如另一车辆突然减小其速度的次数、另一车辆突然加速的次数、另一车辆做出车道改变的次数以及另一车辆在规定时间段(例如,3秒)期间改变其舵向方向的次数和该车辆与另一车辆之间的平均距离。
在步骤S830中,处理器570将经由步骤S820获取的另一车辆的行驶模式与基准模式进行比较。这里,基准模式可以是被预设在处理器570和存储器540中的至少一个中以便判断在车辆附近的另一车辆是否在被异常地驾驶的驾驶模式。基准模式可以包括在每项基础上用于判断另一车辆的行驶模式是否异常的至少一个临界值。基准模式可以包括例如关于另一车辆在规定时间段期间突然减小其速度的次数的临界值(例如,3次)、关于另一车辆在规定时间段内突然加速的次数的临界值(例如,7次)、关于另一车辆做出车道改变的次数的临界值(例如,4次)、关于另一车辆改变其舵向方向的次数的临界值(例如,4次)以及关于该车辆与另一车辆之间的平均距离的临界值(例如,20m)。
在步骤S840中,处理器570基于在步骤S830中执行的比较的结果来判断另一车辆的行驶模式是否和基准模式匹配。例如,当另一车辆的行驶模式的任何一项(例如,另一车辆改变其舵向方向的次数)超过基准模式的相同项的临界值时,处理器570 可以判断另一车辆的行驶模式和基准模式匹配。在另一示例中,当另一车辆的行驶模式的两个或更多个项(例如,另一车辆做出车道改变的次数以及另一车辆改变其舵向方向的次数)超过基准模式的相同的两个或更多个项的临界值时,处理器570可以判断另一车辆的行驶模式和基准模式匹配。
在步骤S840中判断另一车辆的行驶模式和基准模式匹配时,在步骤S850中,处理器570执行判断另一车辆是危险车辆的操作。在本发明中,措辞“危险车辆”可以意指具有与该车辆碰撞的可能性并且作为该车辆的正常行驶的障碍物的另一车辆。
另一方面,在步骤S840中判断另一车辆的行驶模式不和基准模式匹配时,控制方法S800可以结束。
在步骤S860中,处理器570响应于被判断为危险车辆的另一车辆的行驶模式而执行至少一个预定操作。这时,可以基于另一车辆的行驶模式与基准模式之间的差异来选择由处理器570执行的操作。例如,随着另一车辆的行驶模式与基准模式之间的差异增加,更大量的操作可以由处理器570执行。
以上所描述的步骤S860中执行的操作可以包括第一操作。第一操作可以是向车辆驾驶员通知有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570 可以输出指示正在车辆附近异常地行驶并且具有与该车辆碰撞的可能性的另一车辆的存在的警告信号。可以按照视觉、听觉或触觉方式输出该警告信号。
另选地,在步骤S860中执行的操作可以包括第二操作。第二操作可以是基于被判断为危险车辆的另一车辆的行驶模式来预测另一车辆将来将采取什么行为的操作。在一个示例中,处理器570可以预测另一车辆将从其当前位置移动的方向。
另选地,在步骤S860中执行的操作可以包括第三操作。第三操作可以是基于经由以上所描述的第二操作预测的另一车辆的行为来控制车辆的行驶状态的操作。例如,处理器570可以减小车辆的速度以便增加离另一车辆的距离,或者可以将车辆从另一车辆正在其中行驶的车道移动到不同的车道。
另选地,在步骤S860中执行的操作可以包括第四操作。第四操作可以是给正在车辆附近行驶的其它车辆提供有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570可以经由车辆间通信向其它车辆发送指示另一车辆正在异常地行驶的消息。在另一示例中,在指示另一车辆正在异常地行驶的信息的图形处理之后,处理器570可以控制车辆显示该图形信息的显示,使得能够从外部检查它。在这种情况下,可以将显示器安装到车辆的外部。
另选地,在步骤S860中执行的操作可以包括第五操作。第五操作可以是将经搜索且设定的车辆的路线改变为另一路线的操作。
另选地,在步骤S860中执行的操作可以包括第六操作。第六操作可以是将从安装到车辆的至少一个相机提供的多个行驶图像分类为包括另一车辆的行驶图像以及不包括另一车辆的行驶图像并且分别存储这些图像的操作。出于这个目的,可以在存储器540中分配用于存储包括另一车辆的行驶图像的存储区域(例如,文件夹)。
图9是例示了根据本发明的一个实施方式的驾驶员辅助设备500的另一个示例性控制方法S900的流程图。
参照图9,在步骤S910中,驾驶员辅助设备500的处理器570接收有关在车辆外部的物体的信息。这里,参照图9所描述的车辆可以是参照图1、图2、图3、图4、图5、图6和图7以上所描述的车辆1。另外,在车辆外部的物体包括正在该车辆附近行驶的至少一个其它车辆。措辞“车辆附近”可以意指在最大距离内的车辆的感测单元160能够感测到物体的区域。
有关在车辆外部的物体的信息可以由包括在车辆的感测单元160中的至少一个物体检测传感器获取。例如,感测单元160可以包括雷达、激光雷达和超声传感器中的至少一个,并且可以感测存在于车辆附近的各种物体,从而给处理器570提供与所感测到的结果对应的电信号。
这里,有关物体的信息可以包括例如物体的种类(例如,行人、其它车辆、建筑物和交通车道标记)、物体的移动(例如,移动方向、横向速率、纵向速率和路径)、离物体的距离以及物体的大小。
在步骤S920中,处理器570接收从车辆的驾驶员提供的用户输入。这里,用户输入可以是诸如例如语音、手势或触摸的各种类型中的任一种。在一个示例中,处理器570可以从安装在车辆内部的一个侧面处的室内相机(例如,红外相机)接收三维 (3D)室内图像,并且可以根据该室内图像识别驾驶员的手势。在另一示例中,处理器570可以从安装在车辆内部的一个侧面处的麦克风123接收与驾驶员的语音命令对应的电信号。
在步骤S930中,处理器570可以响应于步骤S920中接收的用户输入而从包括在步骤S910中以上描述的物体中的一个或更多个车辆当中选择任一个车辆。在一个示例中,当用户输入是驾驶员的手势时,处理器570可以确定驾驶员的手势正指向的方向,并且可以选择位于由该手势指示的方向上的另一车辆。
在步骤S940中,处理器570执行将在步骤S930中选择的另一车辆的行驶模式与基准模式进行比较的操作。这里,可以基于如参照图8以上所描述的另一车辆的移动来获取另一车辆的行驶模式。另外,基准模式可以是被预设在处理器570和存储器 540中的至少一个中以便判断在车辆附近的另一车辆是否在异常地行驶的行驶模式。基准模式可以包括在每项基础上用于判断另一车辆的行驶模式是否异常的至少一个临界值。例如,基准模式可以包括例如关于另一车辆在规定时间段期间突然减小其速度的次数的临界值(例如,3次)、关于另一车辆在规定时间段内突然加速的次数的临界值(例如,7次)、关于另一车辆做出车道改变的次数的临界值(例如,4次)、关于另一车辆改变其舵向方向的次数的临界值(例如,4次)以及关于该车辆与另一车辆之间的平均距离的临界值(例如,20m)。
在步骤S950中,处理器570基于在步骤S940中执行的比较的结果来判断所选择的另一车辆的行驶模式是否和基准模式匹配。例如,当另一车辆的行驶模式的任何一项(例如,另一车辆改变其舵向方向的次数)超过基准模式的相同项的临界值时,处理器570可以判断另一车辆的行驶模式和基准模式匹配。在另一示例中,当另一车辆的行驶模式的两个或更多个项(例如,另一车辆做出车道改变的次数以及另一车辆改变其舵向方向的次数)超过基准模式的相同的两个或更多个项的临界值时,处理器 570可以判断另一车辆的行驶模式和基准模式匹配。
在步骤S950中判断另一车辆的行驶模式和基准模式匹配时,在步骤S960中,处理器570执行判断另一车辆是危险车辆的操作。另一方面,在步骤S950中判断另一车辆的行驶模式不和基准模式匹配时,控制方法S900可以结束。
在步骤S970中,处理器570响应于被判断为危险车辆的另一车辆的行驶模式而执行至少一个预定操作。这时,可以基于另一车辆的行驶模式与基准模式之间的差异来选择由处理器570执行的操作。例如,随着车辆的行驶模式与基准模式之间的差异增加,更大量的操作可以由处理器570执行。
以上所描述的步骤S970中执行的操作可以包括第一操作。第一操作可以是向车辆驾驶员通知有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570 可以输出指示正在车辆附近异常地行驶并且具有与该车辆碰撞的可能性的另一车辆的存在的警告信号。可以按照视觉、听觉或触觉方式输出该警告信号。
另选地,在步骤S970中执行的操作可以包括第二操作。第二操作可以是基于被判断为危险车辆的另一车辆的行驶模式来预测另一车辆将来将采取什么行为的操作。在一个示例中,处理器570可以预测另一车辆将从其当前位置移动的方向。
另选地,在步骤S970中执行的操作可以包括第三操作。第三操作可以是基于经由以上所描述的第二操作预测的另一车辆的行为来控制车辆的行驶状态的操作。例如,处理器570可以减小车辆的速度以便增加离另一车辆的距离,或者可以将车辆从另一车辆正在其中行驶的车道移动到不同的车道。
另选地,在步骤S970中执行的操作可以包括第四操作。第四操作可以是给正在车辆附近行驶的其它车辆提供有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570可以经由车辆间通信向其它车辆发送指示另一车辆正在异常地行驶的消息。在另一示例中,在指示另一车辆正在异常地行驶的信息的图形处理之后,处理器570可以控制车辆显示该图形信息的显示,使得能够从外部检查它。在这种情况下,可以将显示器安装到车辆的外部。
另选地,在步骤S970中执行的操作可以包括第五操作。第五操作可以是将经搜索且设定的车辆的路线改变为另一路线的操作。
另选地,在步骤S970中执行的操作可以包括第六操作。第六操作可以是将从安装到车辆的至少一个相机提供的多个行驶图像分类为包括另一车辆的行驶图像以及不包括另一车辆的行驶图像并且分别存储这些图像的操作。出于这个目的,可以在存储器540中分配用于存储包括另一车辆的行驶图像的存储区域(例如,文件夹)。
图10是例示了根据本发明的一个实施方式的驾驶员辅助设备500的又一示例性控制方法S1000的流程图。
参照图10,驾驶员辅助设备500的处理器570可以在步骤S1010中接收室内图像,并且可以在步骤S1020中根据该室内图像来检测驾驶员的凝视和瞳孔的大小。这里,参照图10所描述的车辆可以是参照图1、图2、图3、图4、图5、图6和图7 以上所描述的车辆1。在一个示例中,处理器570可以从安装在车辆内部的一个侧面处的相机162接收3D室内图像,并且可以通过对该室内图像进行处理来检测驾驶员的凝视和瞳孔的大小。这时,相机162可以包括单目相机、立体相机、红外相机和深度相机中的至少一个。
在步骤S1030中,处理器570可以接收驾驶员的心率。在这种情况下,驾驶员的心率可以由穿戴在驾驶员的身体的一部分上的可穿戴装置600获取。例如,可穿戴装置600可以基于短距离无线通信向驾驶员辅助设备500的通信单元发送有关使用包括在其中的心率传感器测量到的驾驶员的心率的信息,并且处理器570可以接收由通信单元110接收到的驾驶员的心率。
在步骤S1040中,处理器570可以从正在车辆附近行驶的一个或更多个车辆当中选择位于在步骤S1020中检测到的驾驶员的凝视被导向的方向上的任一个车辆。为此,处理器570可以首先执行基于从感测单元160提供的有关在车辆外部的物体的信息来标识正在该车辆附近行驶的至少一个其它车辆的过程。
在步骤S1050中,处理器570可以基于瞳孔的大小和驾驶员的心率来确定驾驶员的状态。这时,可以在处理器570中预设用于确定驾驶员的状态的至少一个临界值。例如,可以在处理器570中预设关于瞳孔的大小的第一临界值以及关于心率的第二临界值。处理器570可以将驾驶员的瞳孔的大小与第一临界值进行比较并且将驾驶员的心率与第二临界值进行比较,并且此后可以基于两个比较的结果来确定驾驶员的状态。这里,措辞“驾驶员的状态”可以意指驾驶员的精神状态。
在一个示例中,当驾驶员的瞳孔的大小低于第一临界值并且驾驶员的心率低于第二临界值时,处理器570可以确定驾驶员的状态是稳定状态。在另一示例中,当驾驶员的瞳孔的大小低于第一临界值并且驾驶员的心率大于或者等于第二临界值时,处理器570可以确定驾驶员的状态是正常状态。在又一示例中,当驾驶员的瞳孔的大小大于或者等于第一临界值并且驾驶员的心率低于第二临界值时,处理器570可以确定驾驶员的状态是正常状态。在另一个示例中,当驾驶员的瞳孔的大小大于或者等于第一临界值并且驾驶员的心率大于或者等于第二临界值时,处理器570可以确定驾驶员的状态是忧虑状态。
此外,可以仅在驾驶员的凝视被连续地导向至在步骤S1040中选择的另一车辆的情况下执行步骤S1050。
在步骤S1050中判断驾驶员的状态是忧虑状态时,在步骤S1060中,处理器570 判断基于驾驶员的凝视而选择的另一车辆是危险车辆。也就是说,处理器570可以判断驾驶员由于另一车辆的移动而感到忧虑。
在步骤S1070中,处理器570响应于被判断为危险车辆的另一车辆的行驶模式而执行至少一个预定操作。具体地,在步骤S1070中执行的操作可以包括第一操作。第一操作可以是向车辆驾驶员通知有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570可以输出指示正在车辆附近异常地行驶并且具有与该车辆碰撞的可能性的另一车辆的存在的警告信号。可以按照视觉、听觉或触觉方式输出该警告信号。
另选地,在步骤S1070中执行的操作可以包括第二操作。第二操作可以是基于被判断为危险车辆的另一车辆的行驶模式来预测另一车辆将来将采取什么行为的操作。在一个示例中,处理器570可以预测另一车辆将从其当前位置移动的方向。
另选地,在步骤S1070中执行的操作可以包括第三操作。第三操作可以是基于经由以上所描述的第二操作预测的另一车辆的行为来控制车辆的行驶状态的操作。例如,处理器570可以减小车辆的速度以便增加离另一车辆的距离,或者可以将车辆从另一车辆正在其中行驶的车道移动到不同的车道。
另选地,在步骤S1070中执行的操作可以包括第四操作。第四操作可以是给正在车辆附近行驶的其它车辆提供有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570可以经由车辆间通信向其它车辆发送指示另一车辆正在异常地行驶的消息。在另一示例中,在指示另一车辆正在异常地行驶的信息的图形处理之后,处理器570可以控制车辆显示该图形信息的显示,使得能够从外部检查它。在这种情况下,可以将显示器安装到车辆的外部。
另选地,在步骤S1070中执行的操作可以包括第五操作。第五操作可以是将经搜索且设定的车辆的路线改变为另一路线的操作。
另选地,在步骤S1070中执行的操作可以包括第六操作。第六操作可以是将从安装到车辆的至少一个相机提供的多个行驶图像分类为包括另一车辆的行驶图像以及不包括另一车辆的行驶图像并且分别存储这些图像的操作。出于这个目的,可以在存储器540中分配用于存储包括另一车辆的行驶图像的存储区域(例如,文件夹)。
图11是例示了根据本发明的一个实施方式的驾驶员辅助设备500的另一个示例性控制方法S1100的流程图。
参照图11,在步骤S1110中,驾驶员辅助设备500的处理器570经由车辆间通信接收有关正在车辆附近行驶的另一车辆的信息。
这里,参照图11所描述的车辆可以是参照图1、图2、图3、图4、图5、图6 和图7以上所描述的车辆1。另外,措辞“车辆附近”可以意指在最大距离内的车辆的感测单元160能够感测到物体的区域。有关另一车辆的信息可以是从正在该车辆附近行驶的其它车辆发送的信息。另外,有关另一车辆的信息可以包括有关另一车辆的移动的信息。
在步骤S1120中,处理器570基于包括在经由步骤S1110接收的有关物体的信息中的另一车辆的移动来获取另一车辆的行驶模式。具体地,处理器570可以基于经由车辆间通信顺序地接收的有关另一车辆的移动的信息来获取另一车辆的行驶模式。例如,处理器570可以判断另一车辆在第一时间点的第一移动并且可以判断另一车辆在第二时间点的第二移动,并且此后,可以获取第一移动与第二移动之间的差异,从而基于第一移动与第二移动之间的差异来获取另一车辆的行驶模式。这时,第一时间点和第二时间点可以彼此间隔开预定的时间间隔(例如,0.1秒)。由处理器570获取的另一车辆的行驶模式可以包括例如另一车辆突然减小速度的次数、另一车辆突然加速的次数、另一车辆做出车道改变的次数以及另一车辆在规定时间段(例如,3秒)期间相对于另一车辆改变其舵向方向的次数和该车辆与另一车辆之间的平均距离。
在步骤S1130中,处理器570将经由步骤S1120获取的另一车辆的行驶模式与基准模式进行比较。这里,基准模式可以是被预设在处理器570和存储器540中的至少一个中以便判断在车辆附近的另一车辆是否在异常地行驶的行驶模式。基准模式可以包括在每项基础上用于判断另一车辆的行驶模式是否异常的至少一个临界值。例如,基准模式可以包括例如关于另一车辆在规定时间段期间突然减小其速度的次数的临界值(例如,3次)、关于另一车辆在规定时间段内突然加速的次数的临界值(例如, 7次)、关于另一车辆做出车道改变的次数的临界值(例如,4次)、关于另一车辆改变舵向方向的次数的临界值(例如,4次)以及关于该车辆与另一车辆之间的平均距离的临界值(例如,20m)。
在步骤S1140中,处理器570基于在步骤S1130中执行的比较的结果来判断另一车辆的行驶模式是否和基准模式匹配。例如,当另一车辆的行驶模式的任何一项(例如,另一车辆改变舵向方向的次数)超过基准模式的相同项的临界值时处理器570 可以判断另一车辆的行驶模式和基准模式匹配。在另一示例中,当另一车辆的行驶模式的两个或更多个项(例如,另一车辆做出车道改变的次数以及另一车辆改变其舵向方向的次数)超过基准模式的相同的两个或更多个项的临界值时处理器570可以判断另一车辆的行驶模式和基准模式匹配。
在步骤S1140中判断另一车辆的行驶模式和基准模式匹配时,在步骤S1150中,处理器570执行判断另一车辆是危险车辆的操作。另一方面,在步骤S1140中判断另一车辆的行驶模式不和基准模式匹配时,控制方法S1110可以结束。
在步骤S1160中,处理器570响应于被判断为危险车辆的另一车辆的行驶模式而执行至少一个预定操作。这时,可以基于另一车辆的行驶模式与基准模式之间的差异来选择由处理器570执行的操作。例如,随着车辆的行驶模式与基准模式之间的差异增加,更大量的操作可以由处理器570执行。
以上所描述的步骤S1160中执行的操作可以包括第一操作。第一操作可以是向车辆驾驶员通知有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570 可以输出指示正在车辆附近异常地行驶并且具有与该车辆碰撞的可能性的另一车辆的存在的警告信号。可以按照视觉、听觉或触觉方式输出该警告信号。
另选地,在步骤S1160中执行的操作可以包括第二操作。第二操作可以是基于被判断为危险车辆的另一车辆的行驶模式来预测另一车辆将来将采取什么行为的操作。在一个示例中,处理器570可以预测另一车辆将从其当前位置移动的方向。
另选地,在步骤S1160中执行的操作可以包括第三操作。第三操作可以是基于经由以上所描述的第二操作预测的另一车辆的行为来控制车辆的行驶状态的操作。例如,处理器570可以减小车辆的速度以便增加离另一车辆的距离,或者可以将车辆从另一车辆正在其中行驶的车道移动到不同的车道。
另选地,在步骤S1160中执行的操作可以包括第四操作。第四操作可以是给正在车辆附近行驶的其它车辆提供有关被判断为危险车辆的另一车辆的信息的操作。例如,处理器570可以经由车辆间通信向其它车辆发送指示另一车辆正在异常地行驶的消息。在另一示例中,在指示另一车辆正在异常地行驶的信息的图形处理之后,处理器570可以控制车辆显示该图形信息的显示,使得能够从外部检查它。在这种情况下,可以将显示器安装到车辆的外部。
另选地,在步骤S1160中执行的操作可以包括第五操作。第五操作可以是将经搜索且设定的车辆的路线改变为另一路线的操作。
另选地,在步骤S1160中执行的操作可以包括第六操作。第六操作可以是将从安装到车辆的至少一个相机提供的多个行驶图像分类并且单独存储为包括另一车辆的行驶图像以及不包括另一车辆的行驶图像的操作。出于这个目的,可以在存储器540 中分配用于存储包括另一车辆的行驶图像的存储区域(例如,文件夹)。
此外,包括在图8、图9、图10和图11所例示的控制方法S800、S900、S1000 和S1100中的多个块(即,步骤)中的至少一个可以被划分成两个或更多个子块,或者可以在一些实施方式中被省略。另外,尽管依次例示了图8、图9、图10和图11 所例示的控制方法S800、S900、S1000和S1100的块,但是在一些情况下,可以并行执行这些块中的一些,或者可以使任何两个块的顺序颠倒。另外,图8、图9、图 10和图11所例示的控制方法S800、S900、S1000和S1100可以包括与图8、图9、图10和图11未例示的功能或操作关联的新块。
图12A、图12B和图12C是分别例示了根据本发明的一个实施方式的驾驶员辅助设备500判断是否在车辆附近存在任何危险车辆的情形的视图。
图12A是包括左车道1211、中心车道1212和右车道1213的道路的俯视图。车辆1201正在道路的中心车道1212中行驶,并且另一车辆1202正在车辆1201前面在同一车道(即,中心车道1212)中且在与车辆1201相同的方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1201中并且车辆1201对应于图1 所例示的车辆1。
车辆1201的感测单元160可以给处理器570提供有关另一车辆1202的移动的信息。处理器570可以接收从感测单元160提供的有关另一车辆1202的移动的信息,并且可以基于所接收的信息来获取另一车辆1202的行驶模式。由处理器570获取的另一车辆1202的行驶模式可以包括图12A所例示的行驶路径1221。例如,可以基于在从当前时间点起最近的预定时间段(例如,3秒)期间接收的有关另一车辆1202 的移动的信息来获取另一车辆1202的行驶路径1221。另外,可以实时地或者周期性地更新另一车辆1202的行驶模式。
处理器570可以将另一车辆1202的行驶模式与第一预定基准模式进行比较以判断两个模式是否彼此匹配。这里,第一基准模式可以包括关于另一车辆在规定时间段 (例如,3秒)期间做出车道改变的次数的临界值。当另一车辆1202在规定时间段期间改变车道的次数大于或者等于包括在第一基准模式中的临界值时,处理器570 可以判断另一车辆1202的行驶模式和第一基准模式匹配。例如,假定包括在第一基准模式中的临界值是3次,因为另一车辆1202具有在规定时间段期间做出车道改变总共6次的行驶模式,所以处理器570可以判断另一车辆1202的行驶模式和第一基准模式匹配。结果,处理器570可以判断另一车辆1202是危险车辆。
与图12A类似,图12B是包括左车道1211、中心车道1212和右车道1213的道路的俯视图。车辆1203正在道路的中心车道1212中行驶,并且另一车辆1204正在车辆1201前面在同一车道(即,中心车道1212)中且在与车辆1201相同的方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1203中并且车辆 1203对应于图1所例示的车辆1。
车辆1201的感测单元160可以给处理器570提供有关另一车辆1204的移动的信息。处理器570可以接收从感测单元160提供的有关另一车辆1204的移动的信息,并且可以基于所接收的信息来获取另一车辆1204的行驶模式。由处理器570获取的另一车辆1204的行驶模式可以包括另一车辆1204已在从当前时间点起最近的预定时间段期间进入车辆1203的安全距离x1的次数。这里,安全距离x1可以是被设定为避免与在车辆1203前面的物体碰撞的最小距离。可以将安全距离x1设定为与车辆的速度成比例地增加。
例如,另一车辆1204的行驶模式可以包括另一车辆1204已在从当前时间点起最近的预定时间段(例如,3秒)期间进入车辆1203的安全距离x1的次数。假定车辆 1203正在以恒定速度行驶,另一车辆1204已进入车辆1203的安全距离x1的次数可以与另一车辆1204突然减小其速度的次数相同。
处理器570可以将另一车辆1204的行驶模式与第二预定基准模式进行比较以判断两个模式是否彼此匹配。这里,第二基准模式可以包括关于另一车辆1204已在从当前时间点起最近的预定时间段(例如,3秒)期间进入车辆1203的安全距离x1的次数的临界值。当另一车辆1204已在从当前时间点起最近的预定时间段(例如,3 秒)期间进入车辆1203的安全距离x1的次数大于或者等于包括在第二基准模式中的临界值时,处理器570可以判断另一车辆1204的行驶模式和第二基准模式匹配。例如,当车辆1203正在以恒定速度行驶、包括在第二基准模式中的临界值是两次、并且另一车辆1204已在规定时间段期间通过突然减小其速度三次或更多次而进入车辆 1203的安全距离x1总共三次时,处理器570可以判断另一车辆1204的行驶模式和第二基准模式匹配。结果,处理器570可以判断另一车辆1204是危险车辆。
与图12A类似,图12C是包括左车道1211、中心车道1212和右车道1213的道路的俯视图。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1205中并且车辆1205对应于图1所例示的车辆1。
车辆1205正在道路的中心车道1212中行驶,并且另一车辆1206突然做出车道改变以从左车道1211移动到中心车道1212。
车辆1205的感测单元160给处理器570提供有关另一车辆1206的移动的信息。处理器570可以接收从感测单元160提供的有关另一车辆1206的移动的信息,并且可以基于所接收的信息来获取另一车辆1206的行驶模式。
由处理器570获取的另一车辆1206的行驶模式可以包括另一车辆1206已在从当前时间点起最近的预定时间段期间在车辆1205前面插入的次数。这里,措辞“在车辆前面插入”可以意指正在与车辆1205的车道不同的车道中行驶的另一车辆1206在不保证与车辆1205的安全距离x2的情况下突然移动到车辆1205的前面的行为。安全距离x2可以被设定为与车辆的速度成比例地增加,并且可以与图12B所例示的安全距离x1相同或不同。
例如,另一车辆1206的行驶模式可以包括另一车辆1206已在从当前时间点起最近的预定时间段(例如,3秒)期间在车辆1205前面插入的次数。
处理器570可以将另一车辆1206的行驶模式与第三预定基准模式进行比较以判断两个模式是否彼此匹配。这里,第三基准模式可以包括关于另一车辆1206已在规定时间段(例如,3秒)期间在车辆1205前面插入的次数。当另一车辆1206已在规定时间段期间在车辆1205前面插入的次数大于或者等于包括在第三基准模式中的临界值时,处理器570可以判断另一车辆1206的行驶模式和第三基准模式匹配。例如,当包括在第三基准模式中的临界值是1次并且另一车辆1206已在规定时间段期间在车辆1205前面插入一次时,处理器570可以判断另一车辆1206的行驶模式和第三基准模式匹配。结果,处理器570可以判断另一车辆1206是危险车辆。
图13A和图13B是例示了根据本发明的一个实施方式的驾驶员辅助设备500判断是否在车辆附近存在任何危险车辆的情形的视图。
图13A是包括左车道1311、中心车道1312和右车道1313的道路的俯视图。车辆1301正在道路的中心车道1312中行驶,第一其它车辆1302正在车辆1301前面在同一车道(即,中心车道1312)中且在与车辆1301相同的方向上行驶,并且第二其它车辆1303正在右车道1313中在与车辆1301相同的方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1301中并且车辆1301对应于图1所例示的车辆1。在这种情况下,处理器570可能正在基于从感测单元160提供的有关第一其它车辆1302的移动的信息以及有关第二其它车辆1303的移动的信息来跟踪第一其它车辆1302的行驶模式和第二其它车辆1303的行驶模式。
图13B例示了车辆1301在图13A的情形下的室内视图。驾驶员能够通过挡风玻璃观察第一其它车辆1302以及在车辆1301前面的第二其它车辆1303。
相机162可以被放置在车辆1301的内部的一个侧面(例如,天花板或仪表盘) 处。相机162可以是能够获取有关车辆1301内部的空间的3D图像信息的立体相机或深度相机。另选地,相机162可以是红外相机。另外,相机162具有倾斜和视角以捕获驾驶员的身体的至少一部分(例如,头部、面部、眼睛、手、手指、上体或整个身体)的图像。因此,由相机162获取的3D图像信息可以包括驾驶员的手势。
尽管图13B例示了放置在车辆1301内部的仅一个相机162,但是可以在不同的位置处布置多个相机以便分别获取3D图像信息。
处理器570可以基于从相机162提供的3D图像信息来识别驾驶员的手势。例如,处理器570可以基于先前存储的基准图像与所获取的3D图像之间的差异来确定从多个预定手势当中选择的驾驶员目前正在执行的手势。在另一示例中,当相机162是红外相机时,处理器570可以基于被朝向驾驶员发射并且然后被驾驶员反射的红外光束来识别驾驶员的手势。应该理解,本发明的范围不限于以上描述,并且可以使用其它已知方法来识别驾驶员的手势。
图13B例示了随着处理器570监视包括食指1320的3D图像而识别驾驶员的手势的一个示例。处理器570可以基于3D图像来确定驾驶员的手指1320正指向的方向,并且确定手指1320正指向的物体。例如,处理器570可以计算与手指1320正指向的方向对应的直线1321,并且可以确定直线1321通过的挡风玻璃上的点。例如,可以获取直线1321与挡风玻璃之间的交点的坐标。因此,处理器570可以从第一其它车辆1302和第二其它车辆1303当中选择在直线1321与挡风玻璃会合的点处观察到的第一其它车辆1302。
处理器570可以判断通过驾驶员的手势1320选择的第一其它车辆1302是危险车辆。另选地,处理器570可以将通过驾驶员的手势1320选择的第一其它车辆1302 的行驶模式与预定基准模式进行比较,并且可以在第一其它车辆1302的行驶模式和预定基准模式匹配时判断第一其它车辆1302是危险车辆。
图14是例示了根据本发明的一个实施方式的驾驶员辅助设备500判断在车辆附近的任何危险车辆的情形的视图。
图14是包括左车道1411、中心车道1412和右车道1413的道路的俯视图。第一其它车辆1402正在第二其它车辆1403前面行驶,并且第二其它车辆1403正在车辆 1401前面行驶。另外,所有三个车辆1401、1402和1403正在中心车道1412中在同一方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1401中并且车辆1401对应于图1所例示的车辆1。
在这种情况下,在车辆1401的位置处,第一其它车辆1402被第二其它车辆1403 隐藏,并且因此车辆1401的驾驶员在观察第一其它车辆1402时有困难。当第一其它车辆1402正在异常地行驶时,存在事故的风险,因为车辆1401的驾驶员必然地反应来不及。
此外,第二其它车辆1403可以使用安装到第二其它车辆1403的至少一个传感器来获取有关第一其它车辆1402的移动的信息,并且此后将有关第一其它车辆1402 的移动的信息发送到车辆1401。在这种情况下,车辆1401可以经由车辆间通信从第二其它车辆1403接收有关第一其它车辆1402的移动的信息。
处理器570可以基于有关第一其它车辆1402的移动的信息来获取第一其它车辆1402的行驶模式。此后,处理器570可以将第一其它车辆1402的行驶模式与预定基准模式进行比较。当比较的结果是第一其它车辆1402的行驶模式和预定基准模式匹配时,处理器570可以判断第一其它车辆1402是危险车辆。也就是说,处理器570 可以提前判断不在车辆1401的驾驶员的视野中的第一其它车辆1402是否在异常地行驶。
图15A、图15B和图15C是分别例示了根据本发明的一个实施方式的驾驶员辅助设备500判断在车辆附近的任何危险车辆的情形的视图。
图15A例示了正在第一其它车辆1502和第二其它车辆1503后面行驶的车辆1501的室内视图。驾驶员可以通过挡风玻璃来观察在其前面的第一其它车辆1502和第二其它车辆1503。
与图13B类似,相机162可以被放置在车辆1501内部的一个侧面(例如,天花板或仪表盘)处。相机162可以是能够获取有关车辆1301内部的空间的3D图像信息的立体相机或深度相机。另选地,相机162可以是红外相机。另外,相机162具有倾斜和视角以捕获驾驶员的身体的至少一部分(例如,头部、面部、眼睛、手、手指、上体或整个身体)的图像。
此外,处理器570可以经由通信单元110从穿戴在驾驶员的身体上的可穿戴装置1510接收驾驶员的生物信号。驾驶员的生物信号可以包括例如心率、排汗量和体温。可以使用包括在可穿戴装置1510中的各种传感器来测量驾驶员的这些生物信号。
图15B例示了眼睛跟踪的一个示例,由此使用图15A所例示的相机162来识别驾驶员的凝视1520。相机162被假定为红外相机。参照图15B,如第一附图1521所例示,处理器570使用相机162来获取驾驶员可见的图像。这时,相机162可以朝向驾驶员的面部发射光束。接下来,如第二附图1522所例示,处理器570根据驾驶员可见的图像来检测驾驶员的面部。例如,处理器570可以通过将由相机162提供的室内图像与预存储的比较图像进行比较以便根据驾驶员可见的图像检测人的面部来检测驾驶员的面部。接下来,如第三附图1523所例示,处理器570通过检测包括在驾驶员的面部中的多个面部特征点1531、1532、1533、1534、1535、1536和1537来检测驾驶员的眼睛。第三附图1523所例示的面部特征点1531、1532、1533、1534、1535、 1536和1537是通过示例给出的。接下来,如第四附图1523所例示,处理器570检测包括在驾驶员的眼睛中的瞳孔以及角膜反射区域。角膜反射区域是从相机162发射的光束被驾驶员的角膜反射并且可以比其它区域亮的区域。另外,处理器570可以计算瞳孔的大小。因此,处理器570可以通过基于瞳孔和角膜反射区域的大小和位置计算凝视向量来判断图15A所例示的驾驶员的凝视1520。
按照这种方式,处理器570可以从第一其它车辆1502和第二其它车辆1503当中选择驾驶员的凝视1520被导向的第一其它车辆1502。然而,应当理解,眼睛跟踪不限于图15B所例示的过程并且可以使用其它已知过程。
图15C是例示了驾驶员的瞳孔的大小及驾驶员的心率与时间的流动之间的关系。如所例示,驾驶员的瞳孔的大小和驾驶员的心率可以随着时间的推移而变化。
处理器570可以基于驾驶员的瞳孔的大小和驾驶员的心率中的至少一个来判断驾驶员的凝视1520被导向的第一其它车辆1502是否是危险车辆。为了描述的方便,假定了第一其它车辆1502被选择的时间点是tk
例如,处理器570可以基于在第一其它车辆1502被选择的时间点tk的基础上从在规定时间Δt之前到在规定时间Δt之后的周期(即,从tk-Δt到tk+Δt的周期)期间的驾驶员的瞳孔的大小和驾驶员的心率的变化来判断第一其它车辆1502是否是危险车辆。
具体地,考虑例示了瞳孔的大小的曲线图,驾驶员的瞳孔的大小在时间点tk-Δt处低于第一临界值K1,而在时间点tk+Δt处超过第一临界值K1。另外,考虑例示了心率的曲线图,驾驶员的心率在时间点tk-Δt处低于第二临界值K2,而在时间点tk+Δt 处超过第二临界值K2。这里,第一临界值K1和第二临界值K2是被预设来判断驾驶员的状态是否是忧虑状态的值,并且可以根据驾驶员的输入而改变。
因为瞳孔和心率的大小随着人的忧虑增加而增加,所以如图15C所例示的瞳孔和心率的大小在第一其它车辆1502被选择的时间点tk之前和之后的快速变化可以意指驾驶员由于第一其它车辆1502而感到忧虑的状态。因此,处理器570可以基于驾驶员的凝视1520来判断所选择的第一其它车辆1502是危险车辆。
另一方面,与图15C的例示不同,当瞳孔和心率的大小中的每一个在从tk-Δt到 tk+Δt的周期期间连续地保持低于或者高于第一临界值K1或第二临界值K2时,处理器570可以判断第一其它车辆1502不是危险车辆。
图16是例示了根据本发明的一个实施方式的驾驶员辅助设备500判断在车辆附近的任何危险车辆的情形的视图。
图16是包括左车道1611、中心车道1612和右车道1613的道路的俯视图。车辆 1601正在中心车道1612中行驶并且另一车辆1602正在右车道1613中在与车辆1601 相同的方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1601 中并且车辆1601对应于图1所例示的车辆1。
车辆1601可以经由麦克风123接收来自存在于车辆1601附近的至少一个物体的声音。例如,多个麦克风123a、123b、123c和123d可以被放置在车辆1601的不同位置处,并且麦克风123a、123b、123c和123d中的至少一个可以接收从正在车辆 1601附近行驶的另一车辆1602放出的声音1620。从另一车辆1602放出的声音1620 可以是例如另一车辆1602的乘客的语音、另一车辆1602的排气声音、另一车辆1602 的喇叭、另一车辆1602的发动机噪声以及另一车辆1602的扬声器声音。另外,麦克风123a、123b、123c和123d可以将所接收的声音1620转换成对应的电信号。电信号可以包括与另一车辆1602有关的声信息。
另外,处理器570可以基于由麦克风123a、123b、123c和123d接收的声音的强度来判断另一车辆1602与车辆1601的方向和距离。例如,当由麦克风123b接收的声音1620的强度大于由其它麦克风123a、123c和123d接收的同一声音1620的强度时,处理器570可以判断另一车辆1602靠近安装有麦克风123b的位置。
另外,处理器570可以基于包括在从麦克风123a、123b、123c和123d中的至少一个提供的电信号中的声信息来判断另一车辆1602是否是危险车辆。例如,处理器 570可以经由语音识别将另一车辆1602的声音1620转换成文本,并且可以在与预定不敬的言语(例如,脏话)对应的字符被包括在经转换的文本中时判断另一车辆1602 是危险车辆。在另一示例中,处理器570可以将另一车辆1602的声音1620与预存储的基准声音进行比较,并且可以在另一车辆1602的声音1620和基准声音匹配时判断另一车辆1602是危险车辆。这里,基准声音是预存储在例如存储器540中以用于判断来自周围物体的声音是否是与危险情形关联的声音的声音,并且可以包括例如轮胎刺穿声音、车辆到车辆碰撞声音以及尖叫的声音。
图17A和图17B是例示了根据本发明的一个实施方式的驾驶员辅助设备500控制车辆的移动的一个示例性操作的视图。
图17A是包括左车道1711、中心车道1712和右车道1713的道路的俯视图。车辆1701正在中心车道1712中行驶并且另一车辆1702正在车辆1701前面在同一中心线1712上且在与车辆1701相同的方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1701中并且车辆1701对应于图1所例示的车辆1并且另一车辆1702是正在异常地行驶的危险车辆。例如,另一车辆1702可以是因为另一车辆 1702在规定时间期间改变车道超过临界值的次数所以被处理器570判断为危险车辆的车辆。
在图17A的情形下,处理器570可以操作车辆1701以便从中心车道1712移动到左车道1711和右车道1713中的任何一个。
例如,处理器570可以根据从相机161提供的行驶图像来检测道路上绘制的交通车道标记,并且可以基于所检测到的交通车道标记来判断右车道1613的两个边界。另外,处理器570可以连续地维持从中心车道1712移动到右车道1713所需的转向角度,并且此后可以给转向驱动单元152提供该转向角度。因此,转向驱动单元152 可以按转向角度调整车辆1701的舵向,以便通过做出车道改变而将车辆1701移动到右车道1713。
与图17A类似,图17B是包括左车道1711、中心车道1712和右车道1713的道路的俯视图。车辆1703正在道路的中心车道1712中行驶,并且另一车辆1704正在车辆1703前面在同一车道(即,中心车道1712)中且在与车辆1703相同的方向上行驶。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1703中并且车辆 1703对应于图1所例示的车辆1并且另一车辆1704是正在异常地行驶的危险车辆。例如,另一车辆1704可以是因为另一车辆1704在规定时间段期间反复地且突然减小其速度并且加速超过临界值的次数所以被处理器570判断为危险车辆的车辆。
在图17B的情形下,不是做出车道改变,而是处理器570可以减小车辆1703的速度以保证车辆1703与另一车辆1704之间的规定距离x3或更多。
这时,规定距离x3可以大于图12B所例示的安全距离x1,并且可以根据另一车辆1704的行驶模式而变化。例如,规定距离x3在另一车辆1704在规定时间段期间突然减小其速度的次数为3~5次时可以被设定为50m,而在另一车辆1704在规定时间段期间突然减小其速度的次数为6次或更多次时可以增加至70m。
此外,图17A和图17B例示了车辆1701和车辆1703已进入自主行驶模式的状态。一旦已进入自主行驶模式,车辆1701就可以在基于从感测单元160提供的各种信号自动地执行其转向、减速和加速中的至少一个的同时被驾驶而无需关于驾驶员的部分的任何操作。
图18A是例示了根据本发明的一个实施方式的在图17A所例示的情形下输出给驾驶员的一个示例性引导图像1810的视图。引导图像1810可以是用于指示驾驶员必须执行以便避开危险车辆1702的行为的图像,并且可以被显示在显示单元580或安装在车辆1701内部的显示单元141上。
如上所述,为了避开危险车辆1702,需要车道改变操作以便将车辆1701移动到左车道1711和右车道1713中的任何一个,并且处理器570可以产生与其有关的引导图像1810。
引导图像1810可以包括分别指示左车道1711、中心车道1712和右车道1713的三个车道图像1811、1812和1813。另外,指示车辆1701的指示符1801可以被显示在指示中心车道1712的图像1812中。另外,引导图像1810可以包括指示驾驶员必须执行的行为的文本1812。
车辆1701的驾驶员可以经由引导图像1810识别车辆1710当前正在中心车道 1712中行驶并且移动到左车道1711或右车道1713是安全的。
因此,车辆1701的驾驶员可以如图17A所例示的通过操作方向盘来将车辆1701 移动到右车道1713。
图18B是例示了根据本发明的一个实施方式的当存在图17B所例示的危险车辆1704时输出给驾驶员的另一示例性引导图像1820的视图。
引导图像1820可以是用于指示驾驶员必须执行以便避开危险车辆1704的行为的图像,并且可以被显示在显示单元580或安装在车辆1703内部的显示单元141上。
如上所述,为了避开危险车辆1704,需要用于减小车辆1703的速度的操作以便保证与危险车辆1704的规定距离x3,并且处理器570可以产生与其有关的引导图像 1820。
引导图像1820可以包括分别指示左车道1711、中心车道1712和右车道1713的三个车道图像1811、1812和1813。另外,指示车辆1703的指示符1803可以被显示在指示中心车道1712的图像1812中。另外,引导图像1820可以包括指示驾驶员必须执行的行为的文本1822。
车辆1703的驾驶员可以经由引导图像1820识别车辆1703当前正在中心车道 1712中行驶,车辆1703与危险车辆1704之间的当前距离当前是65m,并且减小车辆1703的速度以便保证与危险车辆1704相距100m或更多的距离是安全的。
因此,车辆1703的驾驶员可以操作例如制动踏板以便减小车辆1703的速度,直到车辆1703与另一车辆1704之间的距离大于或者等于规定距离x3为止。
图19A是例示了根据本发明的一个实施方式的被判断为危险车辆的另一车辆1902正在车辆1901附近行驶的情形的视图。
图19A是包括主车道1910、第一支路车道1921和第二支路车道1922的道路的俯视图。车辆1901正在主车道1910中行驶,并且第一支路车道1921和第二支路车道1922连接至主车道1910。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆1901中并且车辆1901对应于图1所例示的车辆1。
参照图19A,正在车辆1901前面异常地行驶的另一车辆1902正从主车道1910 前往第一支路车道1921。处理器570可以基于从感测单元160提供的有关另一车辆 1902的移动的信息来判断另一车辆1902正进入第一支路车道1921和第二支路车道 1922当中的第一支路车道1921。
图19B是例示了根据本发明的一个实施方式的在图19A所例示的情形下输出给驾驶员的一个示例性引导图像1930的视图。引导图像1930是用于指导为了避开另一车辆1902所需的车辆1901的操作或驾驶员的行为的图像,并且可以被显示在显示单元580或安装在车辆1901内部的显示单元141上。
参照图19B,引导图像1930可以包括路线引导图像1940。在一个示例中,路线引导图像1940可以包括指示车辆1901的指示符1941、指示针对先前输入的目的地的当前查找的路线的指示符1951以及指示新路径以避开另一车辆1902的指示符 1952。
另外,引导图像1930可以包括用于接收用于同意路线改变的用户输入的图标1961以及用于接收用户拒绝路线改变的输入的图标1971。当车辆1901的驾驶员经由例如触摸选择图标1961时,处理器570可以删除当前查找的路线,并且可以设定由指示符1952指示的新路线。当车辆1901处于自主行驶模式时,处理器570可以控制车辆1901的转向、减速和加速中的至少一个以便遵循由指示符1952指示的新路径。
图20A是例示了根据本发明的一个实施方式的被判断为危险车辆的另一车辆2002正在车辆2001附近行驶的情形的视图。
图20A是包括左车道2011、中心车道2012和右车道2013的道路的俯视图。车辆2001、第一其它车辆2002和第二其它车辆2003中的全部正在中心车道2012中行驶。
为了描述的方便,假定了驾驶员辅助设备500被包括在车辆2001中,车辆2001 对应于图1所例示的车辆1,并且第一其它车辆2002被判断为危险车辆。
在这种情况下,车辆2001可以经由车辆间通信向外发送有关第一其它车辆2002的移动的信息。有关第一其它车辆2002的移动的信息由车辆2001的感测单元160 获取,并且可以被实时地或者周期性地发送到位于车辆间通信可能的范围C内的至少一个其它车辆。
第二其它车辆2003落入车辆间通信可能的范围C内,并且可以接收从车辆2001 发送的有关第一其它车辆2002的移动的信息。因此,第二其它车辆2003可以识别并且前摄地对被车辆2001隐藏并因此不可见的第一其它车辆2002的行驶模式做出响应。
图20B是例示了根据本发明的一个实施方式的车辆在图20A所例示的情形下的外观的视图。
参照图20B,耦接至处理器570的显示器2010可以被放置在车辆2001的一个侧面处。例如,如所例示,显示器2010可以被安装在车辆2001的后窗的区域中。显示器2010可以被包括在图3所例示的显示单元580或者图7所例示的显示单元141中的任何一个中。
处理器570可以产生指示第一其它车辆2002正在车辆2001前面行驶的引导消息,以便向在车辆2001附近的其它车辆通知第一其它车辆2002的存在,并且此后如图20B所例示将引导消息显示在显示器2010上。也就是说,有关第一其它车辆2002 的信息被显示在显示器2010上,使得能够从外部检查它。
因此,即使车辆间通信是不可能的也可以通过检查显示在显示器2010上的引导消息来使得正在车辆2001后面行驶的第二其它车辆2002的驾驶员知道正在车辆 2001前面异常地行驶的车辆的存在。
图21A、图21B和图21C是例示了根据本发明的一个实施方式的被判断为危险车辆的其它车辆2102、2103和2104正在车辆2101附近行驶的情形的视图。具体地,图21A、图21B和图21C是包括左车道2111、中心车道2112和右车道2113的道路的俯视图。为了描述的方便,假定了驾驶员辅助设备500被包括在车辆2101中,并且车辆2101对应于图1所例示的车辆1。
首先,参照图21A,另一车辆2102正在车辆2101前面行驶,并且处理器570可以基于从感测单元160提供的感测信号来判断另一车辆2102当前位于车辆2101前面。
如图3所例示,车辆2101可以被提供有相机301、302、303和304。这时,相机301可以具有第一视角S1,相机302可以具有第二视角S2,相机303可以具有第三视角S3,并且相机304可以具有第四视角S4。有关相应的相机301、302、303和 304的布置位置和视角的信息可以被预存储在处理器570或存储器540中。
位于车辆2101前面的另一车辆2102被包括在相机301的视角S1中,但是未被包括在其它三个相机302、303和304的视角中。在图21A的情形下,处理器570可以关掉三个相机302、303和304,并且仅激活相机301。因此,另一车辆2102在由相机301形成的行驶图像中可见,并且处理器570可以将来自由相机301形成的行驶图像当中的由另一车辆2102可见的行驶图像存储在存储器540中定义的单独的存储空间中。
接下来,参照图21B,与图21A不同,另一车辆2103正在车辆2101的右侧行驶并且被定位为与车辆2101平行,并且处理器570可以基于从感测单元160提供的感测信号来判断另一车辆2103当前位于车辆2101右边。
在这种情况下,位于车辆2101右边的另一车辆2103被包括在相机303的视角 S3中,但是未被包括在其它三个相机301、302和304的视角中。在图21B的情形下,处理器570可以关掉三个相机301、302和304,并且仅激活相机303。因此,另一车辆2103在由相机303形成的行驶图像中可见,并且处理器570可以将来自由相机303 形成的行驶图像当中的由另一车辆2103可见的行驶图像存储在存储器540中定义的单独的存储空间中。
接下来,参照图21C,另一车辆2104正在右车道2113中行驶,并且处理器570 可以基于从感测单元160提供的感测信号来判断另一车辆2104当前位于车辆2101 右前侧。
在这种情况下,另一车辆2104被包括在相机301的视角S1以及相机303的视角 S3中,但是未被包括在其它两个相机302和304的视角中。在图21C的情形下,处理器570可以关掉两个相机302和304并且仅激活其它两个相机301和303。因此,另一车辆2104在由两个相机301和303形成的行驶图像中可见,并且处理器570可以将来自由两个相机301和303形成的行驶图像当中的另一车辆2104可见的行驶图像存储在存储器540中定义的单独的存储空间中。
如图21A、图21B和图21C示例性地例示的,处理器570可以从相机当中选择性地仅激活能够捕获被判断为危险车辆的其它车辆的图像的相机,这使得能实现记录行驶图像所需的存储空间的高效使用。
图22是例示了根据本发明的一个实施方式的提供给驾驶员的一系列用户界面的一个示例的视图。图22所例示的该系列用户界面2210、2220和2230可以由处理器 570以图像的形式产生以协助用户搜索或者重放记录的行驶图像当中的特定行驶图像,并且此后被显示在显示单元580或安装在车辆1901内部的显示单元141上。
用户界面2210包括由图21A、图21B和图21C所例示的多个相机195、196、197 和198中的至少一个所获取的图像的类别2211、2212和2213,并且此后被记录在存储器540中。例如,当类别2211被选择时,可以提供在一般行驶期间捕获的100个图像的列表。当类别2212被选择时,可以提供在停车期间捕获的31个图像的列表。当类别2213被选择时,可以提供危险车辆可见的7个图像的列表。
当用户界面2210的类别2213被选择时,处理器570可以显示包括对应于危险车辆可见的7个图像的7个图标2221、2222、2223、2224、2225、2226和2227的用户界面2220。另外,用户界面2220可以包括搜索图标2228。驾驶员可以选择搜索图标 2228,并且此后输入与用户想要查找的图像有关的信息,以便搜索特定图像。
当用户界面2220的任何一个图标2225被选择时,处理器570可以提供用户界面2230。用户界面2230可以包括其中显示有与图标2225有关的图像的重放画面的重放窗口2231以及多个图标2232、2233和2234。另外,可以在用户界面2230的区域中显示与重放窗口2231中显示的图像有关的各条信息。例如,可以显示所对应的图像的记录日期和记录时间以及危险车辆2232的牌照号码。
另外,驾驶员可以选择图标2241以将危险车辆2232报告给警察。另外,驾驶员可以选择图标2242以向预注册的便携式终端发送正在用户界面2230中重放的图像。另外,驾驶员可以选择图标2243以从存储器540中永久地删除正在用户界面2230 中重放的图像。
如从以上描述显而易见的,根据本发明的驾驶员辅助设备的效果及其操作方法如下。
通过本发明的实施方式中的至少一个,作为基于在车辆附近的至少一个另一车辆的移动来判断另一车辆是否是危险车辆并且给驾驶员提供与判断的结果有关的通知的结果,能够减少驾驶员的忧虑并且协助驾驶员适当地操作车辆。
另外,通过本发明的实施方式中的至少一个,作为基于正在危险行驶的另一车辆的行驶图像自动地控制在自主行驶模式下行驶的车辆的转向、减速和加速中的至少一个的结果,能够防止与另一车辆的碰撞。
另外,通过本发明的实施方式中的至少一个,作为在外部提供与正在危险行驶的另一车辆有关的信息的信息,能够增加其它车辆的安全性。
本发明的效果应该不限于前述效果,并且其它未提及的效果将由本领域技术人员从权利要求清楚地理解。
如上所述的本发明的实施方式不限于仅经由设备和方法来实现,并且可以经由实现与本发明的各个实施方式的配置对应的功能的程序或记录有该程序的记录介质来实现。这个实施方式将由本发明的技术人员根据实施方式的以上描述容易地实现。
另外,应该容易地理解,本发明不限于附图和以上所描述的实施方式。相反,能够修改本发明以并入至今未描述但是与本发明的精神和范围匹配的任何数量的变化、变更、替换或等效布置。因此,本发明将不被视为受实施方式和附图的前面描述限制,并且实施方式中的一些或全部可以彼此选择性地组合以实现各种变更。
相关申请的交叉引用
本申请要求于2015年8月3日在韩国知识产权局提交的韩国专利申请第 10-2015-0109599号的优先权权益,通过引用将其公开内容并入本文。

Claims (17)

1.一种驾驶员辅助设备,该驾驶员辅助设备包括:
感测单元,该感测单元被配置为获取有关在车辆外部的物体的信息,其中,所述物体包括正在所述车辆附近行驶的第一其它车辆;以及
处理器,该处理器连接至所述感测单元,
其中,所述处理器被配置为:
基于有关所述物体的所述信息、从所述车辆的驾驶员提供的用户输入、所述驾驶员的状态以及从正在所述车辆附近行驶的第二其它车辆提供的有关所述第一其它车辆的信息中的至少一种来判断所述第一其它车辆是否是危险车辆,并且
基于判断所述第一其它车辆是危险车辆来执行至少一个预定操作,
其中,所述处理器被配置为:经由车辆间通信从所述第二其它车辆接收有关所述第一其它车辆的所述信息。
2.根据权利要求1所述的驾驶员辅助设备,其中,所述用户输入是所述驾驶员的手势,并且
其中,所述处理器被配置为基于所述驾驶员指向所述第一其它车辆的所述手势来判断所述第一其它车辆是否是危险车辆。
3.根据权利要求1所述的驾驶员辅助设备,其中,所述处理器被配置为:基于被包括在所述车辆的室内图像中的所述驾驶员的图像来检测所述驾驶员的凝视和瞳孔,并且在所述驾驶员的凝视被导向所述第一其它车辆时基于所述驾驶员的所述瞳孔的大小来判断所述驾驶员的状态。
4.根据权利要求3所述的驾驶员辅助设备,其中,所述处理器被配置为:接收由穿戴在所述驾驶员上的可穿戴装置所获取的所述驾驶员的心率,并且基于所接收的心率来判断所述驾驶员的状态。
5.根据权利要求3所述的驾驶员辅助设备,其中,所述处理器被配置为:基于确定所述驾驶员的状态是忧虑状态来判断所述第一其它车辆是否是危险车辆。
6.根据权利要求4所述的驾驶员辅助设备,其中,所述处理器被配置为:基于确定所述驾驶员的状态是忧虑状态来判断所述第一其它车辆是否是危险车辆。
7.根据权利要求1所述的驾驶员辅助设备,其中,所述处理器被配置为:基于包括在有关所述物体的所述信息中的所述第一其它车辆的移动来获取所述第一其它车辆的行驶模式,将所述第一其它车辆的所述行驶模式与预定基准模式进行比较,并且基于确定所述第一其它车辆的所述行驶模式与所述基准模式相匹配来判断所述第一其它车辆是否是危险车辆。
8.根据权利要求1所述的驾驶员辅助设备,其中,所述处理器被配置为:基于被包括在有关所述物体的所述信息中的所述第一其它车辆的声音来判断所述第一其它车辆是否是危险车辆。
9.根据权利要求1所述的驾驶员辅助设备,其中,所述预定操作包括第一操作,并且
其中,所述第一操作是向所述驾驶员通知有关被判断为危险车辆的所述第一其它车辆的信息的操作。
10.根据权利要求1所述的驾驶员辅助设备,其中,所述预定操作包括第二操作,并且
其中,所述第二操作是基于被判断为危险车辆的所述第一其它车辆的行驶模式来预测所述第一其它车辆的行为的操作。
11.根据权利要求10所述的驾驶员辅助设备,其中,所述预定操作包括第三操作,并且
其中,所述第三操作是基于所述第一其它车辆的预测行为来改变所述车辆的行驶状态的操作。
12.根据权利要求11所述的驾驶员辅助设备,其中,所述处理器被配置为:通过执行转向控制、加速控制或减速控制中的至少一个来改变所述车辆的行驶状态。
13.根据权利要求1所述的驾驶员辅助设备,其中,所述预定操作包括第四操作,并且
其中,所述第四操作是给正在所述车辆附近行驶的第三其它车辆提供有关被判断为危险车辆的所述第一其它车辆的信息的操作。
14.根据权利要求13所述的驾驶员辅助设备,其中,所述处理器被配置为:经由车辆间通信将有关所述第一其它车辆的所述信息发送到正在所述车辆附近行驶的所述第三其它车辆。
15.根据权利要求13所述的驾驶员辅助设备,其中,所述处理器被配置为:将有关所述第一其它车辆的所述信息显示在安装到所述车辆的外部的显示器上。
16.根据权利要求1所述的驾驶员辅助设备,其中,所述处理器被配置为:将从所述车辆的至少一个相机提供的多个行驶图像处理成包括所述第一其它车辆的第一行驶图像以及不包括所述第一其它车辆的第二行驶图像,并且分别存储所述第一行驶图像和所述第二行驶图像。
17.根据权利要求1所述的驾驶员辅助设备,其中,所述处理器被配置为:基于被设置在所述车辆处的多个相机,激活所述相机中的被选择为基于所述第一其它车辆相对于所述车辆的位置来捕获所述第一其它车辆的图像的一个或更多个相机。
CN201610801238.3A 2015-08-03 2016-08-02 驾驶员辅助设备及其控制方法 Active CN106394553B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150109599A KR101730321B1 (ko) 2015-08-03 2015-08-03 운전자 보조 장치 및 그 제어방법
KR10-2015-0109599 2015-08-03

Publications (2)

Publication Number Publication Date
CN106394553A CN106394553A (zh) 2017-02-15
CN106394553B true CN106394553B (zh) 2019-04-16

Family

ID=57153237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610801238.3A Active CN106394553B (zh) 2015-08-03 2016-08-02 驾驶员辅助设备及其控制方法

Country Status (4)

Country Link
US (1) US10286905B2 (zh)
EP (1) EP3128462B1 (zh)
KR (1) KR101730321B1 (zh)
CN (1) CN106394553B (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11511757B2 (en) * 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10144419B2 (en) * 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
MX2018009147A (es) * 2016-01-29 2018-11-29 Nissan Motor Metodo de control de desplazamiento de vehiculo y dispositivo de control de desplazamiento de vehiculo.
US9940832B2 (en) 2016-03-22 2018-04-10 Toyota Jidosha Kabushiki Kaisha Traffic management based on basic safety message data
US10589694B2 (en) * 2016-06-17 2020-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor integration into existing vehicle structures
EP3481661A4 (en) * 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
US11322018B2 (en) 2016-07-31 2022-05-03 NetraDyne, Inc. Determining causation of traffic events and encouraging good driving behavior
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10252717B2 (en) 2017-01-10 2019-04-09 Toyota Jidosha Kabushiki Kaisha Vehicular mitigation system based on wireless vehicle data
KR102578517B1 (ko) * 2017-01-13 2023-09-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US10471829B2 (en) * 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US11520460B1 (en) * 2017-02-06 2022-12-06 United Services Automobile Association (Usaa) System on board an on-road vehicle for identifying, tagging and reporting hazardous drivers in the vicinity of a host vehicle
US10768630B2 (en) * 2017-02-09 2020-09-08 International Business Machines Corporation Human imperceptible signals
EP3370085B1 (en) * 2017-03-01 2021-10-13 Aptiv Technologies Limited Method of tracking a plurality of objects in the vicinity of a host vehicle
CN110392907B (zh) * 2017-03-07 2022-04-26 三菱电机株式会社 驾驶辅助装置、驾驶辅助方法及计算机可读取储存介质
KR20180104235A (ko) * 2017-03-10 2018-09-20 만도헬라일렉트로닉스(주) 운전자 상태 모니터링 방법 및 장치
US11214143B2 (en) 2017-05-02 2022-01-04 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
CN107225928B (zh) * 2017-05-03 2019-05-31 江苏大学 一种基于驾驶行为的主/被动悬架模式切换控制系统及方法
EP3401182B1 (en) 2017-05-09 2020-09-09 Veoneer Sweden AB Apparatus for lane detection
JP2018195301A (ja) 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
US20180362047A1 (en) * 2017-06-19 2018-12-20 Panasonic Intellectual Property Corporation Of America Information processing device and recording medium
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
SG10202102486UA (en) * 2017-07-03 2021-04-29 Gp Network Asia Pte Ltd Processing payments
KR102406511B1 (ko) * 2017-07-04 2022-06-10 현대자동차주식회사 차량 시스템 및 그 제어 방법
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
CN110997415A (zh) * 2017-08-01 2020-04-10 三星电子株式会社 控制车辆的操作的电子设备和方法
US10883846B2 (en) * 2017-08-23 2021-01-05 Magna Electronics Inc. Vehicle communication system with area classifier
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
DE102017216737A1 (de) * 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Senden von Informationen von einem ersten Verkehrsteilnehmer an einen zweiten Verkehrsteilnehmer sowie zum Empfangen von Informationen, die von einem ersten Verkehrsteilnehmer an einen zweiten Verkehrsteilnehmer gesendet worden sind
EP3687863A4 (en) 2017-09-29 2020-12-02 Netradyne, Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
DE112018004507T5 (de) * 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
WO2019075341A1 (en) 2017-10-12 2019-04-18 Netradyne Inc. DETECTION OF DRIVING ACTIONS THAT MITIGATE RISK
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
WO2019131121A1 (ja) * 2017-12-26 2019-07-04 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP7040936B2 (ja) * 2017-12-26 2022-03-23 株式会社ゼンリンデータコム 情報収集システムおよび情報収集装置
US10762785B1 (en) * 2018-01-09 2020-09-01 State Farm Mutual Automobile Insurance Company Vehicle collision alert system and method
JP6939580B2 (ja) * 2018-01-10 2021-09-22 株式会社デンソー 車両用画像合成装置
KR102035922B1 (ko) * 2018-01-25 2019-10-24 주식회사 에프에스솔루션 전방 차량 위험도 예측 방법 및 장치
KR102540919B1 (ko) * 2018-02-20 2023-06-07 현대자동차주식회사 차량의 주행 제어 장치 및 방법
JP7077083B2 (ja) * 2018-03-15 2022-05-30 本田技研工業株式会社 表示システム、表示方法、およびプログラム
US10235882B1 (en) * 2018-03-19 2019-03-19 Derq Inc. Early warning and collision avoidance
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
JP7102850B2 (ja) * 2018-03-28 2022-07-20 マツダ株式会社 ドライバ状態判定装置
EP3552909A1 (en) * 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for managing control authority transition in vehicle
US11565693B2 (en) 2018-05-03 2023-01-31 Honda Motor Co., Ltd. Systems and methods for distracted driving detection
US10676103B2 (en) * 2018-05-17 2020-06-09 Aptiv Technologies Limited Object position history playback for automated vehicle transition from autonomous-mode to manual-mode
CN108762279A (zh) * 2018-06-20 2018-11-06 北京智行者科技有限公司 一种平行驾驶系统
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
WO2020073147A1 (en) * 2018-10-08 2020-04-16 Qualcomm Incorporated Vehicle entry detection
US10703386B2 (en) 2018-10-22 2020-07-07 Ebay Inc. Intervehicle communication and notification
JP7424305B2 (ja) * 2018-11-13 2024-01-30 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP7143736B2 (ja) * 2018-11-20 2022-09-29 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム
JP7251120B2 (ja) * 2018-11-29 2023-04-04 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
CN109583384A (zh) * 2018-11-30 2019-04-05 百度在线网络技术(北京)有限公司 用于无人驾驶车的避障方法和装置
CN111301405A (zh) * 2018-12-12 2020-06-19 王进州 一种基于驾驶员心率的汽车主动安全控制系统
CN109823268A (zh) * 2019-02-19 2019-05-31 百度在线网络技术(北京)有限公司 一种危险道路行为告警方法、装置、服务器及系统
EP3716245A1 (en) * 2019-03-27 2020-09-30 Zenuity AB Method and control device for sending information to surrounding vehicles
US10839682B1 (en) * 2019-04-26 2020-11-17 Blackberry Limited Method and system for traffic behavior detection and warnings
JP7302311B2 (ja) * 2019-06-07 2023-07-04 株式会社デンソー 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
WO2021038299A2 (en) 2019-08-29 2021-03-04 Derq Inc. Enhanced onboard equipment
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
US11453290B2 (en) 2020-01-30 2022-09-27 Nio Technology (Anhui) Co., Ltd. Faulty power source ejection in a safe zone
KR20220026656A (ko) * 2020-08-25 2022-03-07 현대모비스 주식회사 차량의 주행 제어 시스템 및 방법
CN112428989B (zh) * 2020-10-30 2022-03-11 惠州华阳通用电子有限公司 一种车辆控制方法
JP7174801B2 (ja) * 2020-11-10 2022-11-17 神達數位股▲ふん▼有限公司 車両の危険な走行状態を検出する方法及びシステム、並びにその方法を実行するためのプログラムを格納した非一時的なコンピュータ可読媒体
CN112419722B (zh) * 2020-11-18 2022-08-30 百度(中国)有限公司 交通异常事件检测方法、交通管控方法、设备和介质
KR102367675B1 (ko) * 2020-12-21 2022-02-25 재단법인 자동차융합기술원 전기차의 사고 방지를 위한 커뮤니케이션용 구동 장치 및 이를 이용한 전기차의 구동 방법
JP7409329B2 (ja) * 2021-01-13 2024-01-09 トヨタ自動車株式会社 信号機管理システム
CN112874515B (zh) * 2021-02-23 2022-08-26 长安大学 利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法
CN113362684A (zh) * 2021-06-01 2021-09-07 石家庄华燕交通科技有限公司 科目三考试控制与评判系统及方法
KR102354734B1 (ko) * 2021-07-21 2022-01-24 (주)넥스트박스 상대적 변화량이 많은 객체와 자차의 사고 위험도를 예측, 분석 및 판단하는 방법 및 시스템
CN113682301A (zh) * 2021-10-25 2021-11-23 江苏日盈电子股份有限公司 用于主动避让危险车辆的方法和系统以及车辆
KR102597179B1 (ko) * 2021-12-23 2023-11-03 한국자동차연구원 후방차량 스토커 방지와 안전운전 지원 장치 및 그 방법
CN115294801B (zh) * 2022-08-03 2023-09-22 广东凯莎科技有限公司 一种车载网络通讯方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4802437A (en) * 1985-07-08 1989-02-07 Umberto Felicetti External speed display device for motor vehicles
US5521580A (en) * 1992-11-13 1996-05-28 Mitsubishi Denki Kabushiki Kaisha Danger avoidance system for a vehicle
CN1462697A (zh) * 2002-05-27 2003-12-24 雅马哈株式会社 能够听觉地通知其状态的车辆以及通知车辆状态的方法
CN1782665A (zh) * 2004-11-12 2006-06-07 高田株式会社 通过图像处理的车辆安全控制系统
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的系统
CN104773177A (zh) * 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100372453B1 (ko) * 2000-12-26 2003-02-15 현대자동차주식회사 주변 차량의 운전습관 표시장치
JP2003200782A (ja) 2002-01-08 2003-07-15 Hitachi Kokusai Electric Inc 車両走行状況表示装置
US6721659B2 (en) * 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
US6985089B2 (en) * 2003-10-24 2006-01-10 Palo Alto Reserach Center Inc. Vehicle-to-vehicle communication protocol
JP2008507883A (ja) * 2004-07-22 2008-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 通信装置及び通信システム並びに移動ノード間で通信する方法
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
EP1683683B1 (de) * 2005-01-25 2007-08-15 Delphi Technologies, Inc. Verfahren zum Beurteilen einer Bewegung eines Kraftfahrzeugs
JP2007080060A (ja) * 2005-09-15 2007-03-29 Matsushita Electric Ind Co Ltd 対象物特定装置
JP4416020B2 (ja) 2007-08-03 2010-02-17 トヨタ自動車株式会社 走行計画生成装置
EP2296125B1 (en) * 2008-05-20 2012-05-30 C.R.F. Società Consortile per Azioni Cooperative geolocation based on inter-vehicular communication
KR100934942B1 (ko) 2008-07-08 2010-01-06 신대현 차량용 에이브이엔을 이용한 위기상황 녹화 시스템
KR20100043875A (ko) 2008-10-21 2010-04-29 주식회사 대우일렉트로닉스 네비게이션 시스템을 이용한 차량의 상태 저장 장치 및 방법
US8924150B2 (en) * 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
JP5532039B2 (ja) * 2011-10-05 2014-06-25 株式会社デンソー 車両用表示装置
KR20130058991A (ko) 2011-11-28 2013-06-05 현대자동차주식회사 제스처 인식 운전보조시스템
JP5942761B2 (ja) * 2012-10-03 2016-06-29 トヨタ自動車株式会社 運転支援装置および運転支援方法
KR20150043663A (ko) 2013-10-15 2015-04-23 현대모비스 주식회사 안전운전 지원 시스템 및 그 동작 방법
US9881221B2 (en) * 2013-10-24 2018-01-30 Conduent Business Services, Llc Method and system for estimating gaze direction of vehicle drivers
KR20150087737A (ko) 2014-01-22 2015-07-30 경북대학교 산학협력단 차량 위험 감지 시스템
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4802437A (en) * 1985-07-08 1989-02-07 Umberto Felicetti External speed display device for motor vehicles
US5521580A (en) * 1992-11-13 1996-05-28 Mitsubishi Denki Kabushiki Kaisha Danger avoidance system for a vehicle
CN1462697A (zh) * 2002-05-27 2003-12-24 雅马哈株式会社 能够听觉地通知其状态的车辆以及通知车辆状态的方法
CN1782665A (zh) * 2004-11-12 2006-06-07 高田株式会社 通过图像处理的车辆安全控制系统
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的系统
CN104773177A (zh) * 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置

Also Published As

Publication number Publication date
KR20170016174A (ko) 2017-02-13
EP3128462A3 (en) 2017-05-17
EP3128462B1 (en) 2023-07-05
KR101730321B1 (ko) 2017-04-27
US20170036673A1 (en) 2017-02-09
CN106394553A (zh) 2017-02-15
US10286905B2 (en) 2019-05-14
EP3128462A2 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106394553B (zh) 驾驶员辅助设备及其控制方法
US10583829B2 (en) Parking assistance system
US10406979B2 (en) User interface apparatus for vehicle and vehicle
US10748428B2 (en) Vehicle and control method therefor
US10513184B2 (en) Interface system for vehicle
CN106240456B (zh) 驾驶员辅助设备及其控制方法
CN109204325B (zh) 安装在车辆上的车辆控制装置和控制车辆的方法
KR101708657B1 (ko) 차량 및 그 제어방법
CN107054245B (zh) 车辆用便利装置及车辆
CN106448260B (zh) 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
CN107097793A (zh) 驾驶员辅助设备和具有该驾驶员辅助设备的车辆
KR102551099B1 (ko) 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US20190232952A1 (en) Autonomous parking system and vehicle
US20190079717A1 (en) User interface apparatus for vehicle
CN106205175A (zh) 用于车辆的显示设备和车辆
CN107867296A (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
CN109895788A (zh) 安装在车辆上的车辆控制装置以及用于控制车辆的方法
CN106314152A (zh) 车辆驾驶辅助装置及具有其的车辆
KR101762805B1 (ko) 차량 및 그 제어방법
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
CN110053608A (zh) 安装在车辆上的车辆控制装置及控制该车辆的方法
US11043034B2 (en) Image output device
CN109835257A (zh) 显示装置及具有该显示装置的车辆
EP3450240B1 (en) Display device and vehicle having the same
CN109484343A (zh) 车辆上安装的车辆控制设备和用于控制车辆的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant