CN110861578B - 车辆及其控制方法 - Google Patents
车辆及其控制方法 Download PDFInfo
- Publication number
- CN110861578B CN110861578B CN201910170998.2A CN201910170998A CN110861578B CN 110861578 B CN110861578 B CN 110861578B CN 201910170998 A CN201910170998 A CN 201910170998A CN 110861578 B CN110861578 B CN 110861578B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- roi
- information
- region
- steering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000015654 memory Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000001105 regulatory effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及车辆及其控制方法。该车辆及其控制方法基于车辆的制动信息和转向信息确定前方视野图像中的关注区域(ROI),并从ROI图像获得驾驶辅助信息。该车辆包括:图像获取部分,该图像获取部分构造成通过捕获关于车辆前方区域的图像来获取前方视野图像;转向信息获取部分,该转向信息获取部分构造成通过检测所述车辆的转向方向和转向角度来获取转向信息;制动信息获取部分,该制动信息获取部分构造成通过检测所述车辆的制动或非制动状态以及制动减速度来获取制动信息;以及控制器,该控制器构造成基于所述车辆的所述转向信息和所述制动信息中的至少一者来确定所述前方视野图像内的关注区域(ROI)。
Description
技术领域
本公开的实施方式涉及车辆及其控制方法,并且更具体地涉及用于确定由安装至车辆的相机获取的前方视野图像中的关注区域(ROI)的车辆,及其控制方法。
背景技术
近来,随着现代社会中车辆数量的迅速增加,车辆之间的交通事故的数量也在迅速增加。为了减少交通事故的数量,近来在许多车辆中嵌入了前方碰撞警告(FCW)系统、车道偏离警告系统(LDWS)等。
前方碰撞警告(FCW)系统,车道偏离警告系统(LDWS)等可以接收由相机收集的图像,并且可以通过确定所接收的相机图像中的必要ROI来生成信息。
随着相机性能日益提高,处理所收集的图像可能花费更多的时间,使得可能难以实时生成必要的信息。
另外,可能根据车辆的驾驶状态将ROI设置为不必要的区域,使得可能发生不必要的图像处理,导致车辆的驾驶安全性和稳定性的降低。
为了解决上述问题,需要根据车辆的驾驶状态动态地调整ROI。
发明内容
因此,本公开的一个方面是提供一种车辆及其控制方法,该车辆及其控制方法可以基于车辆的制动信息和转向信息确定前方视野图像中的关注区域(ROI),并且可以从ROI图像获取驾驶辅助信息。
本公开的其他方面将部分地在以下描述中阐述,并且部分地会根据该描述显而易见,或者可以通过本公开的实践来习得。
根据本公开的一方面,车辆包括:图像获取部分,该图像获取部分构造成通过捕获关于车辆前方区域的图像来获取前方视野图像;转向信息获取部分,该转向信息获取部分构造成通过检测所述车辆的转向方向和转向角度来获取转向信息;制动信息获取部分,该制动信息获取部分构造成通过检测所述车辆的制动或非制动状态以及制动减速度来获取制动信息;以及控制器,该控制器构造成基于所述车辆的所述转向信息和所述制动信息中的至少一者来确定所述前方视野图像内的关注区域(ROI)。
所述控制器可以将以所述前方视野图像内的所述前方视野图像的中心点为中心的预定区域初步确定为关注区域(ROI),并且可以基于所述转向信息和所述制动信息中的至少一者调节所述关注区域(ROI)。
所述控制器可以基于所述转向信息在与所述车辆的所述转向方向相同的方向上移动所述关注区域(ROI)的位置。
所述控制器可以基于所述转向信息与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的位置。
所述控制器可以基于所述转向信息在与所述车辆的所述转向方向相同的方向上移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,因此可以减小所述关注区域(ROI)的尺寸。
所述控制器可以基于所述转向信息沿与所述车辆的所述转向方向相同的方向、与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,因此可以减小所述关注区域(ROI)的尺寸。
所述控制器可以基于所述制动信息从所述前方视野图像的中心点沿向上的方向移动所述关注区域(ROI)的位置。
所述控制器可以基于所述制动信息从所述前方视野图像的中心点沿向上的方向、与所述车辆的制动减速度成比例地移动所述关注区域(ROI)的位置。
所述控制器可以从所述关注区域(ROI)的图像获取驾驶辅助信息。
所述驾驶辅助信息可以是车道偏离信息、关于所述车辆与物体之间的距离的信息以及关于所述车辆与所述物体之间是否存在高碰撞可能性的信息中的至少一者。
根据本公开的另一方面,一种用于控制车辆的方法,包括:通过捕获关于车辆前方区域的图像来获取前方视野图像;通过检测所述车辆的转向方向和转向角度来获取转向信息;通过检测所述车辆的制动或非制动状态以及制动减速度来获取制动信息;将以所述前方视野图像内的所述前方视野图像的中心点为中心的预定区域确定为关注区域(ROI);并且基于所述车辆的所述转向信息和所述制动信息中的至少一者来调节所述前方视野图像内的关注区域(ROI)。
所述确定关注区域(ROI)可以包括:将以所述前方视野图像内的所述前方视野图像的所述中心点为中心的所述预定区域初步确定为关注区域(ROI);和基于所述转向信息和所述制动信息中的至少一者来调节所述关注区域(ROI)。
所述关注区域(ROI)的确定可以包括:基于所述转向信息沿与所述车辆的所述转向方向相同的方向移动所述关注区域(ROI)的位置。
所述关注区域(ROI)的确定可以包括:基于所述转向信息与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的位置。
所述关注区域(ROI)的确定可以包括:沿与所述车辆的所述转向方向相同的方向移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,因此减小了所述关注区域(ROI)的尺寸。
所述关注区域(ROI)的调节可以包括:基于所述转向信息沿与所述车辆的所述转向方向相同的方向与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,从而减小所述关注区域(ROI)的尺寸。
所述关注区域(ROI)的调节可以包括:基于所述制动信息从所述前方视野图像的所述中心点沿向上的方向移动所述关注区域(ROI)的位置。
所述关注区域(ROI)的调节可以包括:基于所述制动信息沿向上的方向从所述前方视野图像的所述中心点、与所述车辆的所述制动减速度成比例地移动所述关注区域(ROI)的位置。
所述方法还包括:从所述关注区域(ROI)的图像获取驾驶辅助信息。
所述驾驶辅助信息可以是车道偏离信息、关于所述车辆与物体之间的距离的信息以及关于所述车辆与所述物体之间是否存在高碰撞可能性的信息中的至少一者。
附图说明
结合附图,根据以下实施方式的描述,本公开的这些和/或其他方面将变得显而易见并且更容易理解,附图中:
图1是示出根据本公开的实施方式的车辆的外观的视图;
图2是示出根据本公开的实施方式的车辆的内部结构的视图;
图3是示出根据本公开的实施方式的车辆的框图。
图4a和图4b是根据本公开的实施方式示出用于基于转向信息调整ROI的实施例的概念图;
图5a和图5b是根据本公开的实施方式示出用于基于转向信息调整ROI的实施例的概念图;
图6a、图6b和图6c是根据本公开的实施方式示出用于基于车辆的制动信息调整ROI的实施例的概念图;
图7是示出根据本公开的实施方式的用于控制车辆的方法的流程图。
具体实施方式
现在将详细参考本公开的实施方式,其实施例在附图中示出,其中,相同的附图标记始终表示相同的元件。应当注意,本公开的说明书没有描述实施方式的所有组成元件,并且为了清楚起见,本文中将不描述本领域技术人员公知的一般事项和实施方式的冗余事项。
在本公开的整个说明书中,如果假设某个部分连接(或联接)至另一个部分,则术语“连接或联接”指的是所述的某部分直接连接(或联接)至另一个部分和/或或间接连接(或联接)至另一部分。这里,间接连接(或间接联接)可以在概念上包括通过无线通信网络的连接(或联接)。
在本公开的整个说明书中,如果假设某个部分包括某个部件,则术语“包含或包括”指的是相应的部件可以进一步包括其他部件,除非上下文另有明确表明。
除非上下文另有明确表明,否则术语“一”、“该”和其他类似术语包括单数和复数两种形式。
在本公开的整个说明书中,术语“......部分”、“......模块”、“......构件”、“......块”等指的是用于处理至少一种功能或操作的单元。例如,上述术语可以指的是至少一个硬件(例如,现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)、存储在存储器中的至少一个软件、或者由处理器处理的至少一个处理。如在说明书和所附权利要求中所使用的,术语“......部分”、“...模块”、“......构件”或“......块”可以由单个组成元件实施,或者术语“......部分”、“......模块”、“......构件”、“......块”可以包括多个组成元件。
在后面描述的各个操作中使用的标识号用于便于描述和更好地理解本公开,不描述本公开的相应操作的顺序或次序,并且除非每个操作的上下文均明确地表明特定顺序,否则可以以与本公开中所写的顺序不同的方式执行本公开的各个操作。
下文中将参考附图给出本公开的原理和本公开的实施方式。下文中将参考附图给出根据本公开的实施方式的车辆及其控制方法。
图1是示出根据本公开的实施方式的车辆100的外观的视图。图2是示出根据本公开的实施方式的车辆100的内部结构的视图。
参考图1,根据本公开的实施方式的车辆100可以包括:车轮51和52,以使车辆100从一个地方移动到另一个地方;门71,以使车辆100的室内空间与外部隔开;挡风玻璃30a,以向乘坐在车辆100中的驾驶员提供车辆100的前方视野;后窗30b,以向车辆驾驶员提供车辆100的后方视野;以及侧视镜81L和81R,以向车辆驾驶员提供车辆100的侧后视野。侧视镜12可以包括:右侧视镜81R,以向车辆驾驶员提供车辆100的右后视野;以及左侧视镜81L,以向车辆驾驶员提供车辆100的左后视野。车辆100还可以包括后视镜(也称为室内镜)32,以允许驾驶员看到车辆100的室内空间以及看到车辆100的后方区域。提供车辆100的侧面视野的侧窗(下文称为窗)30c可以布置在门71的上部。
安置在车辆100中的驱动装置60可以向前轮51或后轮52提供旋转力,以使车辆100从一个地方移动到另一个地方。
如果车辆100是前轮驱动(FWD)车辆,则驱动装置60可以向前轮51提供旋转力。如果车辆100是后轮驱动(RWD)车辆,则驱动装置60可以向后轮52提供旋转力。另选地,如果车辆100是四轮驱动(FWD)车辆,则驱动装置60可以向前轮51和后轮52提供旋转力。
驱动装置60可以包括发动机,以通过燃烧化石燃料产生旋转力,或者可以包括马达以在从冷凝器接收能源时产生旋转力。另选地,驱动装置60也可以实施成混合装置,其设置有发动机和马达并且选择性地使用发动机或马达。
此外,车辆100可以包括各种传感装置,例如,用于检测位于车辆100的周边区域中的障碍物或周边车辆的存在的接近传感器、用于检测降雨的存在或不存在以及降雨量的雨传感器、用于检测每分钟转数(RPM)值的RPM传感器、用于基于GPS信号检测车辆100的当前位置的GPS传感器、用于检测车辆100的移动状态的速度传感器。
图像获取部分210可以设置在后视镜104(室内镜)附近。用于捕获关于车辆100的前方区域的图像以及获取捕获的前方视野图像的图像获取部分210可以捕获运动图像,或者可以捕获周期性地静止图像。
尽管为了便于描述,图1和图2示例性地示出了安装至后视镜32的侧表面的图像获取部分210,但是车辆100的范围或实质不限于此。与图1和图2不同,图像获取部分210也可以安装至车辆100的外部。例如,图像获取部分210可以安装在车辆100的前表面的格栅附近,或者可以安装至车辆100的保险杠。应当注意,图像获取部分210可以安装至图像获取部分210能捕获车辆100的前方视野图像的任何地方,尤其是图像获取部分210能容易地捕获位于车辆100的前部区域中的任何物体(例如,在前的车辆或行人)的地方。
另外,如图1中所示,可以仅将一个图像获取部分210安装至车辆100,本公开的范围或实质不限于此,并且也可以将多个图像获取部分210安装至车辆100以提供更宽视野的图像。另选地,图像获取部分210可以实施成立体相机,使得图像获取部分210还可以根据需要提供三维(3D)前方视野图像。
参考图2,车辆100的室内空间可以包括驾驶员座椅72、乘客座椅73、仪表盘31、方向盘35和仪表面板33。
车辆100的室内空间可以包括:根据驾驶员的加速意图由驾驶员的脚踩下的加速器踏板41;以及根据驾驶员的制动意图被驾驶员踩下的制动踏板42。
仪表盘31可以允许车辆100的室内空间和发动机舱彼此分离,并且可以是安置有驱动车辆100所需的各种部件的面板。仪表盘31可以布置成面向驾驶员座椅72和乘客座椅73。
车辆100的每个门71均可以设置有扬声器250。虽然为了便于描述将扬声器250安装至车辆100的门71,但是对扬声器250的安置位置没有限制。
显示器260可以安置在仪表盘31的上面板。显示器260可以在其上显示图像,以便使用所显示的图像向驾驶员或乘客提供各种信息。例如,显示器260可在视觉上向驾驶员或乘客提供地图、天气、新闻、音乐、各种移动图像或静止图像以及与车辆100的状态或操作相关联的各种信息(例如,空调信息等)。
还可以使用通用导航装置来实施显示器260。根据一个实施方式,显示器260可以实施成液晶显示器(LCD)、发光二极管(LED)、等离子显示器面板(PDP)、有机发光二极管(OLED)、阴极射线管(CRT)等中的任何一种,但不限于此。
显示器260可以安置在壳体中,该壳体与仪表盘31集成为一体。如果需要,则可以仅将包含在显示器260中的显示面板设计成暴露在外面。此外,显示器260还可以安置在能够由系统设计者考虑到的各种位置。
各种装置(例如处理器、通信模块、全球定位卫星(GPS)接收模块、存储设备等)可以安置在仪表盘31中。处理器可以构造成控制嵌入车辆100中的各种电子装置,并且可以用于执行稍后描述的控制器230的功能。上述装置可以使用各种部件(例如,半导体芯片、开关、集成电路(IC)、电阻器、易失性或非易失性存储器、PCB等)来实施。
同时,中央控制台37可以包括转轮中心输入部分43或硬键中心输入部分43。中央控制台37可以布置在驾驶员座椅72和乘客座椅73之间,并且可以包括变速杆38和托盘40。
仪表盘31可以连接至布置成面向驾驶员座椅的方向盘35和仪表面板33。
方向盘35可以根据驾驶员的操纵在预定方向上旋转,并且车辆100的前轮51或后轮52可以沿方向盘35的旋转方向旋转,使得车辆100能够沿驾驶员期望的方向转向。尽管方向盘35可以形成为圆形形状以方便驾驶员,但是方向盘35的形状不限于此。
仪表面板33可以构造成向驾驶员提供车辆100的各种信息,例如车辆速度、发动机转速、剩余燃料量、发动机油温度、转弯信号指示器的闪烁或不闪烁、里程表等。仪表面板33可以使用灯、刻度标记等实施,或者也可以根据实施方式使用显示面板来实施。如果使用显示面板实施仪表面板33,则仪表面板33使用显示面板不仅可以显示上述信息,还可以显示更多种信息(例如,燃料效率、执行或不执行嵌入车辆100中的各种功能等),使得驾驶员能够容易地识别显示的信息。
图3是示出根据本公开的实施方式的车辆100的框图。下文中将参考车辆100的上述组成元件和图3的框图描述车辆100的操作。
参考图3,车辆100可以包括:图像获取部分210,以通过捕获关于车辆100的前方区域的图像来获取车辆100的前方视野图像;驾驶信息获取部分220,以获取提供有制动信息和转向信息的行驶信息;以及控制器230。控制器230可以基于前方视野图像的中心点将预定区域初步确定为关注区域(ROI),可以基于制动信息和转向信息中的至少一者调整初步确定的ROI,并且可以通过对调整后的ROI进行图像处理来获取驾驶辅助信息。
车辆100的制动信息不仅可以指示车辆100的制动或非制动,还可以指示车辆100在制动模式下的制动减速度。车辆100的转向信息可以指示转向方向和转向角度。
车辆100的驾驶辅助信息可以辅助驾驶员容易地驾驶车辆100。驾驶辅助信息可以包括指示车道偏离的发生或不发生的车道偏离信息、关于在车辆100的前方区域中存在的物体与车辆100之间的距离的信息以及关于与物体碰撞的可能性的信息中的至少一种,但不限于此。驾驶辅助信息可以包括能够辅助驾驶员容易地驾驶车辆100的所有种类的信息。
图像获取部分210可以包括用于捕获关于车辆100的前方区域的图像的相机模块,或者可以包括用于从嵌入车辆100中的前方视野相机接收图像数据的模块。
图像获取部分210可以捕获关于车辆100的前方区域的图像,并且可以获取包括能够位于车辆100的前方区域中的物体的前方视野图像,使得图像获取部分210可以将获取的前方视野图像发送至控制器230。
能够位于车辆100的前方区域中的物体可以包括在车辆100的前方区域中行驶的在前的车辆、在车辆100的前方区域中行走的行人、能够位于车辆100的前方区域中的障碍物以及车辆100的行驶道路的车道,但不限于此。在不脱离本公开的范围或实质的情况下,物体可以包括能够位于车辆100的前方的所有种类的物件。
为了识别位于车辆100的前方区域中的每个物体以及快速获取驾驶辅助信息,车辆100可以确定前方区域内的关注区域(ROI)。在这种情况下,可以根据由驾驶信息获取部分220获取的车辆驾驶信息来调整ROI。
驾驶信息获取部分220可以获取车辆100的驾驶信息,并且可以将获取的驾驶信息发送至控制器230。
由驾驶信息获取部分220获取的驾驶信息可以指示车辆100的移动状态。例如,驾驶信息可以是源数据,从该源数据能够获取车辆100的物理动量、冲量、运动方向、移动速度等。更详细地,驾驶信息可以包括车辆100的驾驶速度、驾驶加速度、驾驶角速度、转向方向、转向角度、制动或非制动状态以及制动减速度,但不限于此。在不脱离本公开的范围或实质的情况下,驾驶信息可以包括指示车辆100的移动状态的所有种类的信息。即,驾驶信息可以包括车辆100的转向信息和制动信息。
更详细地,驾驶信息获取部分220可以包括:转向信息获取部分221,以通过检测车辆100的转向方向和转向角度来获取转向信息;以及制动信息获取部分222,以通过检测车辆100的制动或非制动状态来获取制动信息。
驾驶信息获取部分220可以包括至少一个传感器模块以获取驾驶信息。更详细地,驾驶信息获取部分220可以包括:车辆速度传感器,以检测车辆100的驾驶速度;加速度传感器,以检测车辆100的加速度;加速器踏板传感器,以检测加速器踏板41的位置;角速度传感器,以检测车辆100的角速度;等。
驾驶信息获取部分220的转向信息获取部分221可以包括:检测方向盘35的旋转方向和旋转角度的方向盘传感器;检测车辆100的角速度的角速度传感器等,但不限于此。在不脱离本公开的范围或实质的情况下,转向信息获取部分221可以包括能够通过检测车辆100的转向方向和转向角度来获取转向信息的所有种类的物件。
驾驶信息获取部分220的制动信息获取部分222可以包括:制动减速度传感器,以检测车辆100的制动减速度;制动踏板传感器,以检测制动踏板42的位置;等,但不限于此。在不脱离本公开的范围或实质的情况下,制动信息获取部分222可以包括能够通过检测车辆100的制动或非制动状态以及制动减速度来获取制动信息的所有种类的物件。
如果ROI是固定的而不是根据车辆驾驶信息动态确定的,则可能不能准确地检测到物体是什么并且不能快速获取驾驶辅助信息。控制器230可以鉴于驾驶信息动态地确定ROI。更详细地,控制器230可以鉴于包含在驾驶信息中的转向信息和制动信息动态地确定ROI。在这种情况下,可以通过调整前方视野图像内的位置参数和尺寸参数中的至少一者来获取ROI。
控制器230可以从图像获取部分210接收前方视野图像,并且可以从驾驶信息获取部分220接收具有转向信息和制动信息两者的驾驶信息。控制器230可以将基于前方视野图像中的前方视野图像的中心点选择的预定区域初步确定成关注区域(ROI),并且可以使用所接收的转向信息和所接收的制动信息中的至少一者来调整初步确定的ROI。另外,控制器230可以使用转向信息和制动信息中的至少一者在所接收的前方视野图像内确定ROI。下文中将描述其详细描述。
控制器230可以通过对ROI图像执行图像处理来获取驾驶辅助信息。车辆100的驾驶辅助信息可以辅助驾驶员容易地驾驶车辆100。更详细地,控制器230可以获取驾驶辅助信息以用于使用前方碰撞警告(FCW)系统和车道偏离警告系统(LDWS)帮助驾驶员的驾驶行为。
驾驶辅助信息可以包括指示是否发生车辆100的车道偏离的车道偏离信息、在前的物体与车辆100之间的距离信息以及指示在车辆100和在前的物体之间是否存在高碰撞可能性的碰撞警告信息中的至少一者。
控制器230可以包括:至少一个存储器,其存储执行上述操作和以下操作所需的程序;以及至少一个处理器,以执行所存储的程序。如果使用多个存储器和多个处理器,则存储器或处理器可以集成到一个芯片中,或者也可以在彼此物理地间隔开。
车辆100可以包括存储装置240,以存储前方视野图像、驾驶信息、调节的ROI和获取的驾驶辅助信息。
虽然存储装置240可以实施成非易失性存储器(例如,高速缓存、只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM),闪存等)、易失性存储器(例如,随机存取存储器(RAM))以及存储介质(例如,硬盘驱动器(HDD)、CD-ROM等),但是本公开的范围或精神不限于此。
车辆100还可以包括扬声器250,以输出所获取的驾驶辅助信息,以便向驾驶员提供所获取的驾驶辅助信息。
扬声器250可以根据控制器230的控制信号输出驾驶辅助信息。更详细地,扬声器250可以基于指示车辆100的这种车道偏离发生或不发生的车道偏离信息而输出指示车辆100的车道偏离的警告声音或警告消息。扬声器250可以基于在前的物体与车辆100之间的距离输出指示距离信息的消息,并且可以基于关于与在前的物体碰撞的可能性的信息而输出指示与在前的物体碰撞的高可能性的警告声音或警告消息。
车辆100可以包括显示器260,以显示调节的ROI和获取的驾驶辅助信息,以便向驾驶员提供调节的ROI和获取的驾驶辅助信息。
显示器260可以根据控制器230的控制信号输出驾驶辅助信息。更详细地,显示器260不仅可以显示基于指示是否发生车辆100的车道偏离的车道偏离信息而通知驾驶员车道偏离的警告消息,而且还显示基于在前的物体和车辆100之间的距离指示距离信息的消息。此外,显示器260还可以显示警告消息,该警告消息基于关于车辆100与在前的物体之间是否存在高碰撞可能性的信息指示与在前的物体碰撞的高可能性。
显示器260可以根据控制器230的控制信号显示调节的ROI,并且还可以显示由图像获取部分210获取的前方视野图像。
图4a和图4b是根据本公开的实施方式示出用于基于转向信息调整ROI的实施例的概念图。
参考图4a,图像获取部分210可以通过捕获关于车辆100的前方区域的图像来获取前方视野图像400。图像获取部分210可以将获取的前方视野图像400发送至控制器230。
控制器230可以从图像获取部分210获取前方视野图像400,并且可以将所获取的前方视野图像400的预定区域初步确定为关注区域(ROI)410。可以基于前方视野图像400内的前方视野图像400的中心点将初步确定的ROI 410设置为预定区域。
初步确定的ROI 410可以形成为具有预定尺寸,通过该预定尺寸,能够识别影响车辆100的驾驶的在前的物体。例如,可以基于车辆100的当前车道确定初步确定的ROI 410的水平宽度(即,左右宽度),并且可以基于道路从显示的图像消失的道路消失点来确定初步确定的ROI 410的竖直宽度(即,上下宽度)。
参考图4b,控制器230可以基于车辆100的转向信息来调整或调节初步确定的ROI410。更详细地,控制器230可以鉴于车辆100的转向方向和转向角度来调整或调节初步确定的ROI 410。
控制器230可以基于从转向信息获取部分220接收的转向信息来确定车辆100的转向方向。更详细地,控制器210可以基于转向信息确定车辆是向左还是向右转向。下文中将参考附图描述车辆100由向右转动方向盘35的驾驶员向右转向的示例性情况。
如果车辆100的驾驶员将方向盘35向右转动,则车辆100的前轮51可以旋转为使车辆100向右转动。在这种情况下,车辆100的移动路线450将不形成为直线,而是形成为向右弯曲的曲线。
如果车辆100由操纵方向盘35的驾驶员向右转向,则需要检测位于车辆100的移动路线450中的物体的存在或不存在。因此,根据车辆100的转向方向,控制器230可以沿与车辆100的转向方向相同的方向从前方视野图像400的中心点移动ROI 410的位置,使得控制器230可以调整或调节初步确定的ROI 410。
调节的ROI 420可以包括预定区域,该预定区域形成为在车辆100沿与转向方向相同的方向从前方视野图像400的中心点移动之后具有沿车辆100的转向方向定位的物体。
控制器230可以基于从驾驶信息获取部分220接收的转向信息确定车辆100的转向角度,并且可以沿与转向方向相同的方向、与转向角度成比例地从前方视野图像400的中心点偏移初步确定的ROI 410的位置,从而调整或调节初步确定的ROI 410。
通过初步确定的ROI 410的位置调节,车辆100可以选择必要区域作为ROI,并且可以获取驾驶车辆100所需的驾驶辅助信息。
控制器230可以基于从驾驶信息获取部分220接收的转向信息来选择或确定调节的ROI 420。更详细地,控制器230可以初步不确定ROI,并且可以基于转向信息、沿与转向方向相同的方向从前方视野图像的中心点移动ROI位置,使得控制器230可以因此获取或确定调节的ROI 420。控制器230可以基于从驾驶信息获取部分220接收的转向信息确定车辆100的转向角度,并且可以沿与转向方向相同的方向、与转向角度成比例地从前方视野图像400的中心点移动ROI位置,使得控制器230可以获取或确定调节的ROI 420。
图5a和图5b是根据本公开的实施方式示出用于基于转向信息调整或调节ROI的实施例的概念图。
参考图5a,控制器230可以从图像获取部分410获取前方视野图像400,并且可以将获取的前方视野图像400的预定区域初步确定为ROI 410。可以基于前方视野图像400内的前方视野图像400的中心点将初步确定的ROI 410设置为预定区域。
初步确定的ROI 410可以形成为具有预定尺寸,通过该预定尺寸,能够识别影响车辆100的驾驶的在前的物体。例如,可以基于车辆100的当前车道确定初步确定的ROI 410的水平宽度(即,左右宽度),并且可以基于道路消失点520来确定初步确定的ROI 410的竖直宽度(即,上下宽度)。
消失点520可以表示道路从前方视野图像400消失的特定点。例如,消失点520可以表示在由图像获取部分210获取的图像上显示的道路的终点。为了确定消失点520,控制器230可以将前方视野图像400转换成canny-edge图像,并且可以使用霍夫变换获取表示直线的一个或多个分量500(下文中称为至少一个直线分量500)。控制器230可以确定单个点,在单个点处收集通过霍夫变换获取的直线分量500。另外,可以将表示图像上的消失点520的坐标的竖直值设置为图像的水平线530。但是,如图5a中所示,根据道路的弯曲程度,消失点520可以与道路实际上从前方视野图像400消失的实际消失点不同。
能够位于车辆100的向前方向上的物体可能仅出现在从消失点520向下延伸的预定范围内。更详细地,因为车辆100通常仅在道路内移动,所以在前的物体可能仅出现在在前方视野图像400上的从道路的终点或消失点向下延伸的预定范围内。
控制器230可以使用上述特征基于前方视野图像400中的消失点520来确定ROI的竖直宽度。更详细地说,如图5a中所示,控制器230可以基于前方视野图像400的中心点调整或调节ROI的竖直宽度,使得调节的ROI包括形成为从消失点520向下延伸预定距离的区域,从而控制器230可以初步确定ROI。前方视野图像400中的初步确定的ROI 410可以包括形成为包括车辆100的在前物体的预定区域。例如,前方视野图像400中的初步确定的ROI 410可以包括具有位于车辆100的前方的在前车辆540的区域。
控制器230可以调整或调节前方视野图像400中的预定图像的竖直宽度,使得预定图像不仅包括基于前方视野图像400的中心点从消失点520向上延伸第一距离的第一区域,还包括基于前方视野图像400的中心点从消失点520向下延伸第二距离的第二区域,从而导致形成初步确定的ROI。在这种情况下,具有从消失点520向上延伸的第一区域和从消失点520向下延伸的第二区域的预定图像可以允许第一区域具有比第二区域窄的宽度。即,用在第一区域中的第一距离可以短于用在第二区域中的第二距离。
参考图5b,控制器230可以基于转向信息调整或调节初步确定的ROI。更详细地,控制器230可以根据转向信息将初步确定的ROI 410调整或调节为尺寸逐渐减小。结果,控制器230可以仅执行比初步确定的ROI 410的尺寸小的最终ROI 420的图像处理,使得控制器230可以减少图像处理数据的量,并且因此可以获取有用的或有效的信息,同时使用减少量的图像处理数据执行图像处理。
控制器230可以基于从驾驶信息获取部分220接收的转向信息确定车辆100的转向方向。更详细地,控制器210可以基于转向信息确定车辆100是否已经向右或向左转动。下文中将参考附图描述车辆100的驾驶员将方向盘35向右转动使得车辆100向右转向的示例性情况。
如果车辆100的驾驶员将方向盘35向右转动,则车辆100的前轮51可以旋转以使车辆100向右转动。如图5b中所示,如果车道510形成为向右弯曲的弯曲线,则驾驶员可以将方向盘35转向右侧。
如果车辆100由操纵方向盘35的驾驶员向右转动,则初步确定的ROI 410的左侧区域中的一些区域可能不影响用于生成驾驶辅助信息的车辆100,而它们不是被图像处理的。驾驶辅助信息可以是关于能够位于车辆100的行驶路线中的物体的信息,使得在初步确定的ROI 410内位于与车辆100的转向方向相反的方向上的一些区域不需要进行图像处理的。
因此,控制器230可以以从初步确定的ROI 410排除不必要区域的方式根据转向方向调整或调节初步确定的ROI 410的尺寸,使得图像处理数据的量大大减少,从而快速获取有用的信息并减少总的图像处理时间。
更详细地,控制器230可以基于转向信息确定车辆100的转向方向,并且可以沿与转向方向相同的方向偏移初步确定的ROI 410的在与车辆100的转向方向相反方向上的边界,使得控制器230可以减小初步确定的ROI 410的尺寸,从而形成调节的ROI 420。
例如,如图5b中所示,控制器230可以基于转向信息确定车辆100是否向右转动,并且可以将初步确定的ROI 410的在与车辆100的转向方向相反的左侧方向上的边界向与车辆100的转向方向相同的右侧移动,使得控制器230可以减小初步确定的ROI 410的尺寸,从而形成调节的ROI 420。
调节的ROI 410的左侧方向上的边界可以比初步确定的ROI 410更向右侧偏移,使得可以从初步确定的ROI 410排除左侧方向上的一些区域,并且调节的ROI 420可以在尺寸上小于初步确定的ROI 410。
控制器230可以基于从驾驶信息获取部分220接收的转向信息来确定车辆100的转向角度。控制器230可以与转向角度成比例地偏移初步确定的ROI 410在与车辆100的转向方向相反方向上的边界,并且因此可以减小初步确定的ROI 410的尺寸,从而形成调节的ROI 420。
控制器230可以基于从驾驶信息获取部分220接收的转向信息来确定调节的ROI420。详细地,控制器230可以初步不确定ROI,并且可以基于转向信息减小ROI的尺寸,使得控制器230可以确定尺寸小于初步确定的ROI 410的调节的ROI 420。在调节的ROI 420中,减少的部分可以对应于属于转向方向的相反方向上的特定部分。控制器230可以基于从驾驶信息获取部分220接收的转向信息确定车辆100的转向角度,并且可以与转向角度成比例地减小ROI的尺寸,从而形成调节的ROI 420。
图6a、图6b和图6c是根据本公开的实施方式示出用于基于车辆的制动信息调整或调节ROI的实施例的概念图。
参考图6a、图6b和图6c,控制器230可以从图像获取部分210获取前方视野图像400,并且可以将获取的前方视野图像400的预定区域初步确定为ROI 410。可以将ROI 410设置为以前方视野图像400内的前方视野图像400的中心点为中心的预定范围。
参考图6a,相比在车辆100的非制动期间由图像获取部分210获取的前方视图图像400(参见图5a),在车辆100的制动期间可以在更向下的方向上捕获由车辆100的图像获取部分210获取的前方视图图像400。即,图6a中所示的前方视野图像400可以比图5a中所示的前方视野图像400具有更大的向下捕获图像。
如果驾驶员踩下制动踏板42,则可以由嵌入车辆100的轮缸中的制动模块来执行车辆100的制动。在车辆100的制动期间,车辆100的车身相对于与地面水平地布置的表面可以朝向车辆100的行驶方向倾斜。即,车辆100的车身可以以这样的方式倾斜:靠近前轮51的车身沿地面方向被引导,靠近后轮52的车身沿与地面方向相反的方向被引导。
在车辆100的制动期间,由于惯性的发生,车辆100的车身相对于与地面水平的表面朝向行驶方向倾斜,使得嵌入车辆100中的图像获取部分210也会与车辆100的车身一起倾斜。
在这种情况下,相对于与地面水平的表面沿行驶方向倾斜的图像获取部分210可以获取这样的前方视图图像400,该前方视图图像400相比在车辆100的非制动模式下捕获的图5a的前方视图图像400,是在车辆100的制动模式下沿更向下的方向捕获的。
更详细地说,如图6a中所示,在车辆100的制动模式下获取的前方视图图像400中显示的车道510、消失点520、地平线530和在前的车辆540的显示位置可能高于在车辆100的非制动模式下获取的另一前方视图图像400中显示的车道510、消失点520、地平线530和在前的车辆540的显示位置。与在车辆100的制动模式(参见图5a)下获取的另一前方视图图像400相比,在车辆100的制动模式(参见图6a)下获取的前方视图图像400中显示的车道510、消失点520、地平线530和在前的车辆540的显示在更高的位置的原因在于:在车辆100的制动模式下,图像获取部分210与车身一起倾斜,使得在车辆100的制动模式下由倾斜的图像获取部分210获取的前方视图图像400比在车辆100的非制动模式下获取的另一前方视图图像400具有更大的向下的区域。
因此,在车辆100的制动期间,前方视野图像400中的初步确定的ROI 410可以与消失点520间隔得更远,使得初步确定的ROI可能不包括提供有能够影响车辆100的驾驶的在前对象的区域。
在车辆100的制动期间,控制器230可以从前方视野图像400的中心点沿向上的方向移动初步确定的ROI 410的位置,使得控制器230可以调整或调节初步确定的ROI 410。
参考图6b,控制器230可以基于从驾驶信息获取部分220接收的制动信息确定车辆100的制动或非制动状态。
在车辆100的制动模式下,控制器230可以通过从前方视野图像400的中心点沿向上的方向移动初步确定的ROI 410的位置来调整或调节初步确定的ROI 410。
另外,控制器230可以基于从驾驶信息获取部分220接收的制动信息确定车辆100的制动减速度,可以从初步确定的ROI 410的中心点沿向上的方向、与制动减速度成比例地移动初步确定的ROI 410的位置,因此可以调节或调节ROI。
调节的ROI 420可以在比初步确定的ROI 410更向上的方向上偏移,使得调节的ROI 420可以包括提供有能够影响车辆100的驾驶的在前物体的区域。更详细地,如图6b中所示,调节的ROI 420可以以与初步确定的ROI 410不同的方式包括提供有影响车辆100的驾驶的在前车辆540的区域。
通过初步确定的ROI 410的位置调节,车辆100可以将必要区域确定为ROI,并且可以获取驾驶车辆100所需的驾驶辅助信息。
控制器230可以基于从驾驶信息获取部分220接收的制动信息来确定调节的ROI420。更详细地,控制器230可以初步不确定ROI,并且可以根据制动信息从前方视野图像400的中心点沿向上的方向移动ROI位置,从而形成调节的ROI 420。
参考图6c,控制器230可以鉴于从驾驶信息获取部分220接收的制动信息和转向信息来调整或调节初步确定的ROI 410的位置和尺寸。
参考图6c,控制器230可以基于从驾驶信息获取部分220接收的制动信息确定车辆100的制动或非制动状态,并且可以基于从驾驶信息获取部分220接收的转向信息确定车辆100的转向方向。如果已经进行车辆100的制动,则控制器230可以从前方视野图像400的中心点沿向上的方向移动初步确定的ROI 410的位置,可以沿与车辆100的转向方向相同的方向移动初步确定的ROI 410在与车辆100的转向方向相反的方向上的边界,并且可以减小初步确定的ROI 410的尺寸,从而调整或调节初步确定的ROI 410。
控制器230可以基于从驾驶信息获取部分220接收的转向信息和制动信息来确定车辆100的转向角度和制动减速度,并且可以与转向角度和制动减速度成比例地调整或调节初步确定的ROI 410的尺寸和位置。
控制器230可以根据从驾驶信息获取部分220接收的制动信息和转向信息确定车辆100的制动或非制动状态以及车辆100的转向方向。在车辆100的制动模式下,控制器230可以从前方视野图像400的中心点沿向上的方向移动初步确定的ROI 410的位置,并且可以相对于前方视野图像400的中心点,沿与转向方向相同的方向移动初步确定的ROI 410的位置,从而形成调节的ROI 420。
控制器230可以基于从驾驶信息获取部分220接收的转向信息和制动信息来确定调节的ROI 420。更详细地,控制器230可以初步不确定ROI,可以根据制动信息从前方视野图像的中心点沿向上的方向移动ROI的位置,并且可以基于转向信息减小初步确定的ROI的尺寸,从而形成调节的ROI 420。在调节的ROI 420中,减小的部分可以对应于属于转向方向的相反方向上的特定部分。
控制器230可以基于从驾驶信息获取部分220接收的转向信息和制动信息来确定调节的ROI 420。更详细地,控制器230可以初步不确定ROI,可以基于制动信息从前方视野图像的中心点沿在向上的方向移动ROI的位置,并且可以相对于前方视野图像400的中心点沿与转向方向相同的方向移动初步确定的ROI 410的位置,从而形成调节的ROI 420。
下文中将参考附图描述根据本公开的一个方面的车辆控制方法。用于上述实施方式的车辆100可以应用于该车辆控制方法。因此,图1至图6c中公开的上述内容也可以同样地应用于车辆控制方法。
图7是示出根据本公开的实施方式的用于控制车辆的方法的流程图。
参考图7,车辆100的控制器230可以接收前方视野图像400和驾驶信息(710)。更详细地,控制器230可以从图像获取部分210接收前方视野图像400,该图像获取部分210设计成通过捕获关于车辆100的前方区域的图像来获取前方视图图像400。控制器230可以接收来自驾驶信息获取部分220的驾驶信息,该驾驶信息获取部分220设计成获取具有车辆100的制动信息和转向信息这两者的驾驶信息。
车辆100的控制器230可以将以前方视野图像400内的前方视野图像400的中心点为中心的预定区域初步确定为关注区域(ROI)(720)。初步确定的ROI 410可以形成为具有预定尺寸,通过该预定尺寸能够识别影响车辆100的驾驶的在前物体。例如,可以基于车辆100的当前车道确定初步确定的ROI 410的水平宽度(即,左右宽度),并且可以基于道路从显示图像消失的道路消失点来确定初步确定的ROI 410的竖直宽度(即,上下宽度)。
车辆100的控制器230可以基于制动信息和转向信息中的至少一者来调整或调节ROI(730)。更详细地,控制器230可以基于制动信息和转向信息中的至少一者来调整或调节初步确定的ROI 410,从而形成调节的ROI 420。
控制器230可以基于转向信息确定车辆100的转向方向,并且可以相对于前方视野图像400的中心点沿与转向方向相同的方向移动初步确定的ROI 410的位置,使得能够调整或调节初步确定的ROI 410。另外,控制器230可以基于转向信息确定车辆100的转向角度,并且可以与转向角度成比例地移动初步确定的ROI 410的位置。
控制器230可以基于转向信息确定车辆100的转向方向,可以沿与转向方向相同的方向移动初步确定的ROI 410的在与车辆100的转向方向相反的方向上的边界,并且可以减小初步确定的ROI 410的尺寸,从而形成初步确定的ROI 410。此外,控制器230可以基于车辆100的转向信息确定车辆100的转向角度,并且可以与转向角度成比例地减小初步确定的ROI 410的尺寸,使得能够调整或调节初步确定的ROI 410。
控制器230可以基于制动信息确定车辆100的制动或非制动状态。在车辆100的制动模式下,控制器230可以从前方视野图像410的中心点沿向上的方向移动初步确定的ROI410的位置,使得能够调整或调节初步确定的ROI 410。控制器230可以基于制动信息确定制动减速度,并且可以与制动减速度成比例地移动初步确定的ROI 410的位置,使得能够调整或调节初步确定的ROI 410。
鉴于从驾驶信息获取部分220接收的制动信息和转向信息,控制器230可以调整或调节初步确定的ROI 410的位置和尺寸。
控制器230可以基于从驾驶信息获取部分220接收的制动信息和转向信息来确定车辆100的制动或非制动状态以及转向方向。在车辆100的制动模式下,控制器230可以从前方视野图像400的中心点沿向上的方向移动初步确定的ROI 410的位置,可以沿与转向方向相同的方向移动初步确定的ROI 410的在与转向方向相反的方向上的边界,使得能够调整或调节初步确定的ROI 410。
控制器230可以基于从驾驶信息获取部分220接收的转向信息和制动信息来确定转向角度和制动减速度,并且可以与转向角度和制动减速度成比例地调整或调节初步确定的ROI 410的尺寸和位置。
控制器230可以基于从驾驶信息获取部分220接收的制动信息和转向信息来确定车辆100的制动或非制动状态以及转向方向。在车辆100的制动模式下,控制器230可以从前方视野图像400的中心点沿向上的方向移动初步确定的ROI 410的位置,并且可以相对于前方视野图像410的中心点在与转向方向相同的方向上移动初步确定的ROI 410的位置,使得能够调整或调节初步确定的ROI。
控制器230可以初步不确定ROI,并且可以基于从驾驶信息获取部分220接收的制动信息和转向信息中的至少一者来确定调节的ROI。
更详细地,控制器230可以基于从驾驶信息获取部分220接收的转向信息来确定调节的ROI 420。更详细地,控制器230可以初步不确定ROI,并且可以基于转向信息相对于前方视野图像的中心点沿与转向方向相同的方向移动ROI的位置,从而形成调节的ROI 420。控制器230可以基于从而驾驶信息获取部分220接收的转向信息确定车辆100的转向角度,并且可以相对于前方视野图像的中心点沿与转向方向相同的方向移动ROI的位置,从而形成调节的ROI 420。
控制器230可以基于从驾驶信息获取部分220接收的转向信息来确定调节的ROI420。更详细地,控制器230可以初步不确定ROI,并且可以基于转向信息减小ROI的尺寸,从而形成调节的ROI 420。在调节的ROI 420中,减小的部分可以对应于属于转向方向的相反方向上的特定部分。控制器230可以基于从驾驶信息获取部分220接收的转向信息确定车辆100的转向角度,并且可以与转向角度成比例地减小ROI的尺寸,从而形成调节的ROI 420。
控制器230可以基于从驾驶信息获取部分220接收的制动信息来确定调节的ROI420。更详细地,控制器230可以初步不确定ROI,并且可以从前方视野图像的中心点沿向上的方向移动ROI的位置,从而形成调节的ROI 420。
控制器230可以基于从驾驶信息获取部分220接收的转向信息和制动信息来确定调节的ROI 420。更详细地,控制器230可以初步不确定ROI,可以根据制动信息从前方视野图像的中心点沿向上的方向移动ROI的位置,并且可以减小ROI的尺寸,从而形成调节的ROI420。在调节的ROI 420中,减小的部分可以对应于属于转向方向的相反方向上的特定部分。
控制器230可以基于从驾驶信息获取部分220接收的转向信息和制动信息来确定调节的ROI 420。更详细地,控制器230可以初步不确定ROI,可以根据制动信息从前方视野图像的中心点沿向上的方向移动ROI的位置,并且可以相对于前方视野图像400的中心点在与转向方向相同的方向上移动初步确定的ROI 410的位置,从而形成调节的ROI 420。
车辆100的控制器230可以通过对调节的ROI 420执行图像处理来获取驾驶辅助信息(740)。车辆100的驾驶辅助信息可以辅助驾驶员容易地驾驶车辆100。更详细地,控制器230可以获取能够使用前方碰撞警告(FCW)系统和车道偏离警告系统(LDWS)辅助驾驶员容易地驾驶车辆100的驾驶辅助信息。
驾驶辅助信息可以包括指示车道偏离的发生或不发生的车道偏离信息、关于在车辆100的前方区域中存在的在前物体与车辆100之间的距离的信息以及关于与在前物体碰撞的可能性的信息中的至少一种,但不限于此。
车辆100的控制器230可以控制显示器260或扬声器250以输出上述的驾驶辅助信息(750)。
更详细地,扬声器250可以根据控制器230的控制信号输出驾驶辅助信息。更详细地,扬声器250可以基于指示车辆100的这种车道偏离发生或不发生的车道偏离信息输出指示车辆100的车道偏离的警告声音或警告消息。扬声器250可以基于在前的物体与车辆100之间的距离输出指示距离信息的消息,并且可以基于关于与在前的物体碰撞的可能性的信息输出指示与在前的物体碰撞的高可能性的警告声音或警告消息。
显示器260可以根据控制器230的控制信号输出驾驶辅助信息。更详细地,显示器260不仅可以显示基于指示是否发生车辆100的车道偏离的车道偏离信息而通知驾驶员车道偏离的警告消息,而且还显示基于在前的物体和车辆100之间的距离指示距离信息的消息。此外,显示器260还可以显示警告消息,该警告消息基于关于车辆100与在前的物体之间是否存在高碰撞可能性的信息指示与在前的物体碰撞的高可能性。
上述实施方式可以以存储能够由计算机系统执行的命令的记录介质的形式实施。命令可以以程序代码的形式存储。当处理器执行命令时,通过命令生成程序模块,从而可以执行所公开的实施方式的操作。记录介质可以实施成计算机可读记录介质。
计算机可读记录介质包括存储计算机系统可读的数据的所有种类的记录介质。计算机可读记录介质的实施例包括只读存储器(ROM)、随机存取存储器(RAM)、磁带、磁盘、闪存、光学数据存储设备等。
根据以上描述显而易见的是,根据本公开的实施方式的车辆及其控制方法可以基于车辆的制动信息和转向信息中的至少一者调节在前方视野图像中初步确定的关注区域(ROI),可以建立有效的ROI,并且可以减少处理ROI图像所需的消耗时间。
尽管已经示出和描述了本公开的一些实施方式,但是本领域技术人员将理解,在不脱离由权利要求及其同等物限定了范围的本公开的原理和实质的情况下,可以在这些实施方式中作出改变。
相关申请的交叉援引
本申请基于《美国法典》第35卷第119节并且根据《美国法典》第35卷第119节要求2018年8月28日在韩国知识产权局提交的第10-2018-0101583号韩国专利申请,其公开内容全文以援引的方式并入本文。
Claims (18)
1.一种车辆,包括:
图像获取部分,该图像获取部分构造成通过捕获关于车辆前方区域的图像来获取前方视野图像;以及
控制器,该控制器构造成通过接收所述车辆的转向方向和转向角度来获取转向信息,通过接收所述车辆的制动或非制动状态以及制动减速度来获取制动信息,并且基于所述车辆的所述转向信息和所述制动信息中的至少一者来确定所述前方视野图像内的关注区域(ROI),
其中,所述控制器基于所述转向信息在与所述车辆的所述转向方向相同的方向上移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,从而减小所述关注区域(ROI)的尺寸。
2.根据权利要求1所述的车辆,其中,所述控制器将所述前方视野图像内的以所述前方视野图像的中心点为中心的预定区域初步确定为关注区域(ROI),并且基于所述转向信息和所述制动信息中的至少一者来调节所述关注区域(ROI)。
3.根据权利要求1所述的车辆,其中,所述控制器基于所述转向信息在与所述车辆的所述转向方向相同的方向上移动所述关注区域(ROI)的位置。
4.根据权利要求1所述的车辆,其中,所述控制器基于所述转向信息、与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的位置。
5.根据权利要求1所述的车辆,其中,所述控制器基于所述转向信息沿与所述车辆的所述转向方向相同的方向、与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,从而减小所述关注区域(ROI)的尺寸。
6.根据权利要求1所述的车辆,其中,所述控制器基于所述制动信息从所述前方视野图像的中心点沿向上的方向移动所述关注区域(ROI)的位置。
7.根据权利要求1所述的车辆,其中,所述控制器基于所述制动信息从所述前方视野图像的中心点沿向上的方向、与所述车辆的制动减速度成比例地移动所述关注区域(ROI)的位置。
8.根据权利要求1所述的车辆,其中,所述控制器从所述关注区域(ROI)的图像获取驾驶辅助信息。
9.根据权利要求8所述的车辆,其中,所述驾驶辅助信息是车道偏离信息、关于所述车辆与物体之间的距离的信息以及关于所述车辆与所述物体之间是否存在高碰撞可能性的信息中的至少一者。
10.一种用于控制车辆的方法,包括:
通过捕获关于车辆前方区域的图像来获取前方视野图像;
通过检测所述车辆的转向方向和转向角度来获取转向信息;
通过检测所述车辆的制动或非制动状态以及制动减速度来获取制动信息;
基于所述车辆的所述转向信息和所述制动信息中的至少一者来确定所述前方视野图像内的关注区域(ROI),
其中,确定所述关注区域(ROI)包括:
沿与所述车辆的所述转向方向相同的方向移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,从而减小所述关注区域(ROI)的尺寸。
11.根据权利要求10所述的方法,其中,确定所述关注区域(ROI)包括:
将所述前方视野图像内的以所述前方视野图像的中心点为中心的预定区域初步确定为关注区域(ROI);和
基于所述转向信息和所述制动信息中的至少一者来调节所述关注区域(ROI)。
12.根据权利要求10所述的方法,其中,确定所述关注区域(ROI)包括:
基于所述转向信息沿与所述车辆的所述转向方向相同的方向移动所述关注区域(ROI)的位置。
13.根据权利要求10所述的方法,其中,确定所述关注区域(ROI)包括:
基于所述转向信息、与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的位置。
14.根据权利要求10所述的方法,其中,调节所述关注区域(ROI)包括:
基于所述转向信息沿与所述车辆的所述转向方向相同的方向、与所述车辆的所述转向角度成比例地移动所述关注区域(ROI)的在与所述车辆的所述转向方向相反的方向上的边界,从而减小所述关注区域(ROI)的尺寸。
15.根据权利要求10所述的方法,其中,调节所述关注区域(ROI)包括:
基于所述制动信息从所述前方视野图像的中心点沿向上的方向移动所述关注区域(ROI)的位置。
16.根据权利要求14所述的方法,其中,调节所述关注区域(ROI)包括:
基于所述制动信息从所述前方视野图像的中心点沿向上的方向、与所述车辆的制动减速度成比例地移动所述关注区域(ROI)的位置。
17.根据权利要求10所述的方法,该方法还包括:
从所述关注区域(ROI)的图像获取驾驶辅助信息。
18.根据权利要求17所述的方法,其中,所述驾驶辅助信息是车道偏离信息、关于所述车辆与物体之间的距离的信息以及关于所述车辆与所述物体之间是否存在高碰撞可能性的信息中的至少一者。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0101583 | 2018-08-28 | ||
KR1020180101583A KR102625203B1 (ko) | 2018-08-28 | 2018-08-28 | 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110861578A CN110861578A (zh) | 2020-03-06 |
CN110861578B true CN110861578B (zh) | 2023-05-05 |
Family
ID=69642311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910170998.2A Active CN110861578B (zh) | 2018-08-28 | 2019-03-07 | 车辆及其控制方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10878266B2 (zh) |
KR (1) | KR102625203B1 (zh) |
CN (1) | CN110861578B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113415287A (zh) * | 2021-07-16 | 2021-09-21 | 恒大新能源汽车投资控股集团有限公司 | 车辆道路行驶指示方法及装置、计算机可读存储介质 |
US12077174B2 (en) * | 2022-08-24 | 2024-09-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Compensating mismatch in abnormal driving behavior detection |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3330624B2 (ja) * | 1992-01-29 | 2002-09-30 | マツダ株式会社 | 車両の障害物検出装置 |
WO2006121087A1 (ja) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | 画像処理装置、画像処理方法および画像処理プログラム |
DE102005033087A1 (de) * | 2005-07-15 | 2007-01-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Vermeidung von Auffahrunfällen |
US7972045B2 (en) * | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
JP2008276307A (ja) * | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | 動画像処理装置、動画像処理システムおよびナビゲーション装置 |
FR2947937B1 (fr) * | 2009-07-08 | 2012-03-02 | Valeo Vision Sas | Procede de determination d'une region d'interet dans une image |
US20140236386A1 (en) * | 2011-09-22 | 2014-08-21 | Toyota Jidosha Kabushiki Kaisha | Driving assistance apparatus |
US8798841B1 (en) * | 2013-03-14 | 2014-08-05 | GM Global Technology Operations LLC | System and method for improving sensor visibility of vehicle in autonomous driving mode |
DE102014209791A1 (de) * | 2014-05-22 | 2015-11-26 | Robert Bosch Gmbh | Verkehrswarnvorrichtung und Verkehrswarnverfahren zum Warnen von Verkehrsteilnehmern vor einem Gefahrenbereich |
KR102303239B1 (ko) * | 2015-01-20 | 2021-09-23 | 한국전자통신연구원 | 차량 충돌 방지 장치 및 차량 충돌 방지 방법 |
KR101714185B1 (ko) * | 2015-08-05 | 2017-03-22 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
KR101824982B1 (ko) * | 2015-10-07 | 2018-02-02 | 엘지전자 주식회사 | 차량 및 그 제어방법 |
KR101738425B1 (ko) * | 2016-02-15 | 2017-05-23 | (주)한양정보통신 | 다차선 검출을 위한 관심 영역 설정 장치 및 방법 |
JP6727971B2 (ja) * | 2016-07-19 | 2020-07-22 | 株式会社クボタ | 作業車 |
KR20180040020A (ko) * | 2016-10-11 | 2018-04-19 | 주식회사 만도 | 운전지원장치 및 운전지원방법 |
EP3360747A1 (en) * | 2017-02-13 | 2018-08-15 | Autoliv Development AB | Improvements in or relating to driver assistance systems |
KR20190035255A (ko) * | 2017-09-26 | 2019-04-03 | 삼성에스디에스 주식회사 | 영상처리를 이용하는 차량 주행 보조 방법 및 그 장치 |
US10872531B2 (en) * | 2017-09-29 | 2020-12-22 | Uber Technologies, Inc. | Image processing for vehicle collision avoidance system |
-
2018
- 2018-08-28 KR KR1020180101583A patent/KR102625203B1/ko active IP Right Grant
-
2019
- 2019-02-21 US US16/281,840 patent/US10878266B2/en active Active
- 2019-03-07 CN CN201910170998.2A patent/CN110861578B/zh active Active
- 2019-12-30 US US16/730,325 patent/US11100353B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10878266B2 (en) | 2020-12-29 |
KR102625203B1 (ko) | 2024-01-15 |
KR20200024651A (ko) | 2020-03-09 |
US20200074208A1 (en) | 2020-03-05 |
CN110861578A (zh) | 2020-03-06 |
US20200151485A1 (en) | 2020-05-14 |
US11100353B2 (en) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10384717B2 (en) | Vehicle and method for controlling the same | |
CN108162760B (zh) | 车辆和控制车辆以避免碰撞的方法 | |
US10086832B2 (en) | Vehicle and method for controlling the same | |
US10643473B2 (en) | Vehicle and method for collision avoidance assistance | |
US10576945B2 (en) | Vehicle and method for controlling the same | |
KR102309420B1 (ko) | 차량 및 그 제어방법 | |
CN108216218B (zh) | 车辆及控制其的方法 | |
CN111052733B (zh) | 周围车辆显示方法及周围车辆显示装置 | |
US20200216063A1 (en) | Vehicle and method for controlling the same | |
KR101827700B1 (ko) | 차량 및 그 제어방법 | |
KR102494864B1 (ko) | 차량 및 그 제어방법 | |
US10807604B2 (en) | Vehicle and method for controlling thereof | |
US11747815B2 (en) | Limiting function of a vehicle control device related to defective image | |
US11662725B2 (en) | Control method of determining virtual vehicle boundary and vehicle providing the control method | |
CN110861578B (zh) | 车辆及其控制方法 | |
US20180307237A1 (en) | Vehicle and method for controlling the same | |
JP7537393B2 (ja) | 制御装置、表示方法及びプログラム | |
US20200384992A1 (en) | Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium | |
WO2021251468A1 (ja) | 画像処理装置 | |
JP2022149731A (ja) | 制御装置、制御装置の動作方法及びプログラム | |
US11273831B2 (en) | Vehicle and control device for the same | |
US20230104334A1 (en) | Driver assistance apparatus and computer-readable recording medium | |
WO2019220884A1 (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Gyeonggi Do, South Korea Applicant after: Hanna Wandu Co.,Ltd. Address before: Gyeonggi Do, South Korea Applicant before: MANDO Corp. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |