CN111284501A - 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置 - Google Patents
基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置 Download PDFInfo
- Publication number
- CN111284501A CN111284501A CN201910348758.7A CN201910348758A CN111284501A CN 111284501 A CN111284501 A CN 111284501A CN 201910348758 A CN201910348758 A CN 201910348758A CN 111284501 A CN111284501 A CN 111284501A
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- vehicle
- processor
- vehicle behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001133 acceleration Effects 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 description 124
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 8
- 239000010868 animal carcass Substances 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 229920006328 Styrofoam Polymers 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920006327 polystyrene foam Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000008261 styrofoam Substances 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/02—Control of vehicle driving stability
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
- B60W2050/0031—Mathematical model of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0082—Automatic parameter input, automatic initialising or calibrating means for initialising the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/009—Priority selection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/02—Control of vehicle driving stability
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Operations Research (AREA)
Abstract
本发明涉及基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置。服务器包括处理器和存储装置,所述处理器识别从图像信息中提取的目标对象并且基于与识别出的目标对象的原模型相似的模型的每个车辆行为方案的事故率来确定每个车辆行为方案的优先级以将每个车辆行为方案的优先级发送到车辆;所述存储装置存储以下信息中的至少一者或多者:关于与目标对象相似的图像的信息、目标对象信息、每个目标对象的模型信息、车辆行为方案信息以及基于目标对象的每个车辆行为方案的优先级信息。
Description
与相关申请的交叉引用
本申请要求2018年12月7日提交的韩国专利申请No.10-2018-0156550的优先权和权益,该申请的全部内容通过引用结合于此。
技术领域
本发明涉及基于对象识别的行驶模型管理服务器、使用该服务器的车辆行驶控制装置以及基于对象识别的行驶模型管理方法。
背景技术
本部分中的陈述仅仅提供与本发明相关的背景信息,并不构成现有技术。
目前,随着汽车技术的发展,通过系统自动驱动的与自动驾驶相关的技术正在迅速发展。这种自动驾驶技术是通过这样的方式来实现的:在识别出车辆周边信息以后,控制车辆的行为,然后基于识别出的信息来建立和确定行驶策略。
然而,在识别车辆周边信息时,传统技术识别特定的对象(例如车辆、行人、自行车、卡车和摩托车)并且确定针对特定对象的车辆控制方法,从而根据确定的结果来控制车辆的行为。
也就是说,通过仅仅识别自动驾驶系统中指定的特定对象来控制车辆的行为,传统的自动驾驶系统无法在自动驾驶系统未识别出对象的情况下帮助简化车辆控制策略(停车、减速、避让等等)。因此,传统的自动驾驶系统很难根据基于对象类型的情况的风险来改变车辆的行驶策略。
发明内容
本发明的一些实施方案致力于提供一种基于对象识别的行驶模型管理服务器、使用该服务器的车辆的行驶控制装置以及基于对象识别的行驶模型管理方法,该服务器基于大数据来识别对象并且根据识别出的对象的类型和属性来确定行驶模型以使车辆控制策略多样化。
本发明概念要解决的技术问题不局限于上述问题,并且本发明所属技术领域的技术人员将从随后的描述中清晰地理解在本文中没有提及的任何其它技术问题。
根据本发明的一些实施方案,一种服务器可以包括处理器和存储装置,所述处理器识别从图像信息中提取的目标对象并且基于与识别出的目标对象的原模型相似的模型中的每个车辆行为方案的事故率来确定每个车辆行为方案的优先级以将每个车辆行为方案的优先级发送到车辆;所述存储装置存储由处理器获得的以下信息中的至少一者或多者:关于与目标对象相似的图像的信息、目标对象信息、每个目标对象的模型信息、车辆行为方案信息以及基于目标对象的每个车辆行为方案的优先级信息。
根据本发明的一些实施方案,处理器可以配置为:从车辆接收关于未识别出的目标对象的图像信息;在对图像信息中的目标对象进行划类后,对划类后的目标对象的图像调整尺寸;在关于与目标对象相似的图像的信息中搜索与调整了尺寸的目标对象的图像相似的图像,以基于已找到的相似图像的类型和属性标签信息来识别目标对象。
根据本发明的一些实施方案,处理器可以配置为:生成识别出的目标对象的目标对象ID。
根据本发明的一些实施方案,处理器可以配置为:当完成对目标对象的识别时,生成原模型,所述原模型包括目标对象的属性、车辆信息以及环境信息中的至少一者或多者。
根据本发明的一些实施方案,处理器可以配置为:将目标对象的原模型与每个目标对象的模型信息进行比较,以从针对每个目标对象的模型信息中提取与原模型相似的模型。
根据本发明的一些实施方案,处理器可以配置为:将具有小于原模型的值与裕量值的相加值的针对每个目标对象的模型提取为高相似度模型。
根据本发明的一些实施方案,处理器可以配置为:计算目标对象的原模型与针对每个目标对象的模型信息之间的相似度,以从针对每个目标对象的模型信息中提取相似度不小于参考值的模型。
根据本发明的一些实施方案,处理器可以配置为:基于关于与原模型相似的模型的每个车辆行为方案是否发生事故的信息来计算每个车辆行为方案的事故率。
根据本发明的一些实施方案,处理器可以配置为通过以下方式来计算每个车辆行为方案的事故率:将针对每个目标对象的模型中车辆根据第一车辆行为方案移动时发生事故的模型数量除以与原模型相似的模型中车辆根据第一车辆行为方案移动的模型的数量。
根据本发明的一些实施方案,处理器可以配置为:根据每个车辆行为方案的事故率按照事故率的降序来确定目标对象的车辆行为方案优先级。
根据本发明的一些实施方案,车辆行为方案可以包括关于车辆行为的加速度/减速度以及转向角的信息。
根据本发明的一些实施方案,处理器可以配置为:当从车辆接收到车辆控制结果时,更新存储装置中存储的每个目标对象的模型信息、车辆行为方案信息以及基于目标对象的每个车辆行为方案的优先级信息中的至少一者或多者。
根据本发明的一些实施方案,一种车辆的行驶控制装置可以包括处理器和存储装置,所述处理器分析感测信息和图像信息以识别目标对象,执行识别出的目标对象的车辆行为方案,当无法识别目标对象时,请求服务器来识别目标对象;所述存储装置存储以下信息中的至少一者或多者:关于用于目标对象识别的与目标对象相似的图像的信息、目标对象信息以及车辆行为的基于目标对象的每个车辆行为方案的优先级信息。
根据本发明的一些实施方案,处理器可以配置为:当从服务器接收到目标对象ID、车辆行为方案以及每个车辆行为方案的优先级信息时,更新目标对象信息、车辆行为方案信息以及基于目标对象的每个车辆行为方案的优先级信息。
根据本发明的一些实施方案,处理器可以配置为:根据从服务器接收到的每个车辆行为方案的优先级信息来控制车辆行为。
根据本发明的一些实施方案,处理器可以配置为:将执行车辆行为方案的结果发送到服务器。
根据本发明的一些实施方案,一种基于对象识别的行驶模型管理方法可以包括:识别从图像信息中提取的目标对象;提取与识别出的目标对象的原模型相似的每个模型;基于与原模型相似的每个模型中的每个车辆行为方案的事故率来确定每个车辆行为方案的优先级;并且将关于每个车辆行为方案的优先级的信息发送到车辆。
根据本发明的一些实施方案,识别目标对象可以包括:从车辆接收关于未识别出的目标对象的图像信息;在对图像信息中的目标对象进行划类后,对划类后的目标对象的图像调整尺寸;在关于与目标对象相似的图像的信息中搜索与调整了尺寸的目标对象的图像相似的图像,以基于已找到的相似图像的类型和属性标签信息来识别目标对象;生成识别出的目标对象的目标对象ID。
根据本发明的一些实施方案,提取与原模型相似的每个模型可以包括:生成原模型,所述原模型包括目标对象的属性、车辆信息以及环境信息中的至少一者或多者;并且将原模型与每个目标对象的模型信息进行比较以从每个目标对象的模型信息中提取与原模型相似的每个模型。
根据本发明的一些实施方案,确定每个车辆行为方案的优先级可以包括:基于关于与原模型相似的每个模型的每个车辆行为方案是否发生事故的信息来计算每个车辆行为方案的事故率;并且根据每个车辆行为方案的事故率按照事故率的降序来确定目标对象的车辆行为方案优先级。
通过本文提供的描述,更多的适用范围将变得明显。应当理解,这些描述和具体示例仅仅用于说明的目的,并非旨在限制本发明的范围。
附图说明
为了较好地理解本发明,现将参考所附附图来描述以示例的形式给出的本发明的各种实施方案,附图中:
图1是示出根据本发明一种实施方案的包括车辆的行驶控制装置的车辆行驶控制系统的配置的框图;
图2A是描述根据本发明一种实施方案的用于识别目标对象的方法的示意图;
图2B是示出根据本发明一种实施方案的目标对象的属性的示例的示意图;
图3是描述根据本发明一种实施方案的用于更新目标对象数据库的方法的示意图;
图4是根据本发明一种实施方案的用于建立车辆行为方案的原模型的示例性示意图;
图5是描述根据本发明一种实施方案的方法的示意图,在该方法中,服务器计算原模型与目标对象数据库中的示例之间的相似度;
图6是描述根据本发明一种实施方案的示例的示意图,在该示例中,服务器计算原模型与目标对象数据库中的示例之间的相似度;
图7是存储在根据本发明一种实施方案的服务器中的根据目标对象和属性的车辆行为方案的示例性图表;
图8是存储在根据本发明一种实施方案的服务器中的包括关于所提取的相似示例的每个车辆行为方案的事故发生的信息的示例性示意图;
图9是根据本发明一种实施方案的车辆行为方案的优先级确定方法;
图10是描述根据本发明一种实施方案的车辆行驶控制系统的车辆行驶控制方法的流程图;
图11是描述根据本发明一种实施方案的服务器的车辆行驶控制方法的流程图;
图12是描述根据本发明一种实施方案的车辆的行驶控制装置的车辆行驶控制方法的流程图;
图13示出根据本发明一种实施方案的计算系统。
本文中描述的附图仅仅用于说明的目的,并非旨在以任何方式限制本发明的范围。
具体实施方式
下面的描述在本质上只是示例性的而并非旨在限制本发明、其应用或用途。应当理解,贯穿附图的相应的附图标记指代相同或者相应的部件和特征。
下文将参考所附附图对本发明的一些实施方案进行详细描述。在附图中,将始终使用相同的附图标记来表示相同或等同的元件。另外,为了避免不必要地模糊本发明的要点,将排除对已知的特征或功能的详细描述。
在描述本发明的一些实施方案的元件时,本文中可以使用第一、第二、A、B、(a)、(b)等术语。这些术语仅用于区分一个元件与另一个元件,但不限制相应的元件,与相应元件的顺序或优先级无关。进一步地,除非另有定义,本文使用的所有术语(包括技术术语和科技术语)将被解释为本发明所属领域的通常含义。应当理解,本文使用的术语应被解释为具有与在本发明和相关领域的语境中相同的含义,并且不应被解释为具有理想化或过于正式的含义,除非本文中有明确的定义。
本发明公开这样一种配置,其在自动驾驶车辆不能识别车辆周边的目标对象时向服务器发出识别目标对象的请求并且接收针对识别出的目标对象的车辆行为方案和基于事故率的优先级信息,从而执行车辆行为控制。
下文将参照图1至图13详细描述本发明的各种实施方案。
图1是示出根据本发明一些实施方案的包括车辆的行驶控制装置的车辆行驶控制系统的配置的框图。
参照图1,根据本发明一些实施方案的车辆行驶控制系统可以通过车辆的行驶控制装置100与服务器200之间的网络互联来提高对象识别成功率从而执行车辆行驶控制。
车辆的行驶控制装置100可以基于图像信息和感测信息来识别目标对象,可以根据识别出的目标对象来搜索车辆行为方案,并且可以控制车辆。
为此,车辆的行驶控制装置100可以包括通信装置110、存储装置120以及处理器130。
通信装置110可以是利用用于通过无线或有线连接来发送并接收信号的各种电子电路实现的硬件装置;在本发明中,通信装置110可以与服务器200进行通信。
存储装置120存储对象识别数据库(关于与目标对象相似的图像的信息)、目标对象数据库(目标对象信息)以及车辆行为优先级数据库(针对每个目标对象的车辆行为方案信息)。也就是说,存储装置120可以存储由处理器130获得的或者从服务器200接收的关于与目标对象相似的图像的信息、目标对象的信息、针对每个目标对象的模型信息、车辆行为方案信息、针对每个基于目标对象的车辆行为方案的优先级信息等。关于与目标对象相似的图像的信息可以包括用于搜索与目标对象相似的图像的相似图像的大数据(参照后面的图2A的204);目标对象的信息可以包括一个列表,该列表包括针对每个目标对象ID的目标对象的属性或类型信息(参照后面的图3)。针对每个基于目标对象的车辆行为方案的优先级信息包括针对根据相应的目标对象的每个方案的优先级列表(参照后面的图9)。
存储装置120可以包括闪存型存储器、硬盘型存储器、微型存储器以及卡型存储器(例如,安全数字(SD)卡或外部数字(XD)卡)中的至少一种类型的存储介质、随机存取存储器(RAM)型存储器、静态RAM(SRAM)型存储器、只读存储器(ROM)型存储器、可编程ROM(PROM)型存储器、电可擦除PROM(EEPROM)型存储器、磁RAM(MRAM)型存储器、磁盘型存储器以及光盘型存储器。
处理器130可以与通信装置110、存储装置120等电连接,处理器130可以电控制每个组件,可以是执行软件指令的电路,并且可以执行下面描述的各种数据处理和计算。
处理器130可以分析感测信息和图像信息以执行目标对象识别,可以执行识别出的目标对象的车辆行为方案,并且可以在目标对象识别失败时向服务器200发出目标对象识别请求。
当从服务器200接收到目标对象ID、车辆行为方案以及针对每个车辆行为方案的优先级信息时,处理器130可以更新目标对象信息、车辆行为方案信息以及针对每个基于目标对象的车辆行为方案的优先级信息。
处理器130可以根据从服务器200接收到的针对每个车辆行为方案的优先级信息来控制车辆行为,并且可以将控制车辆行为的结果发送到服务器200。
尽管没有示出摄像机、雷达传感器、激光雷达传感器等,但本发明可以接收并使用来自传感器的图像信息和感测信息。此时,车辆的行驶控制装置100可以通过图像信息和感测信息获得目标对象(外部对象)的属性信息、车辆信息、环境信息等。为此,车辆的行驶控制装置100可以进一步使用超声传感器、激光扫描仪和/或角雷达、加速度传感器、横摆率传感器、扭矩测量传感器和/或车轮速度传感器等以及雷达、摄像机和激光雷达传感器。
服务器200是用于改变基于对象识别的行驶模型的装置;当从车辆的行驶控制装置100接收到关于未识别出的目标对象的图像信息和感测信息时,服务器200对图像信息中的目标对象进行划类(cluster)并调整尺寸、在服务器200中的图像数据库中搜索相似图像并且在基于所找到的相似图像的类型和属性信息对未识别出的目标对象进行识别之后生成目标对象ID。这样,服务器200将识别出的目标对象的目标对象ID存储在服务器200的目标对象数据库中并且还将所述目标对象ID发送到车辆的行驶控制装置100以在车辆的行驶控制装置100的目标对象数据库中共享目标对象ID。此外,服务器200确定针对目标对象ID的车辆行为方案的优先级,以将针对目标对象ID的车辆行为方案的优先级发送到车辆的行驶控制装置100。
为此,服务器200可以包括通信装置210、存储装置220以及处理器230。
通信装置210可以是利用用于通过无线或有线连接发送并接收信号的各种电子电路实现的硬件装置;在本发明中,通信装置210可以与车辆的行驶控制装置100进行通信。
存储装置220可以存储由处理器230获得或者从车辆的行驶控制装置100接收的关于与目标对象相似的图像的信息、目标对象的信息、每个目标对象的模型信息、车辆行为方案信息、针对每个基于目标对象的车辆行为方案的优先级信息等。也就是说,存储装置220存储目标对象数据库和车辆行为方案优先级数据库;目标对象数据库和车辆行为方案优先级数据库与车辆的行驶控制装置100的目标对象数据库和车辆行为方案优先级数据库一起更新。关于与目标对象相似的图像的信息可以包括用于搜索与目标对象相似的图像的相似图像的大数据(参见后面图2A的204);目标对象的信息可以包括一个列表,该列表包括针对每个目标对象ID的目标对象的属性或类型信息(参照后面的图3)。针对每个目标对象的模型信息可以是针对每个目标对象的示例信息并且可以包括针对每个模型(示例)的目标对象的属性、车辆信息、环境信息、是否发生事故等(参照后面的图4和图5)。车辆行为方案信息是车辆行为的信息并且包括调整加速/减速和转向角的等级的方案(参照后面的图7)。针对每个基于目标对象的车辆行为方案的优先级信息包括根据相应的目标对象的每个方案的优先级列表(参照后面的图9)。
存储装置220可以包括闪存型存储器、硬盘型存储器、微型存储器以及卡型存储器(例如,安全数字(SD)卡或外部数字(XD)卡)中的至少一种类型的存储介质、随机存取存储器(RAM)型存储器、静态RAM(SRAM)型存储器、只读存储器(ROM)型存储器、可编程ROM(PROM)型存储器、电可擦除PROM(EEPROM)型存储器、磁RAM(MRAM)型存储器、磁盘型存储器以及光盘型存储器。
处理器230可以与通信装置210、存储装置220等电连接,处理器230可以电控制每个组件,可以是执行软件指令的电路,并且可以执行下面描述的各种数据处理和计算。
处理器230可以对从图像信息中提取的目标对象进行识别,并且可以基于与识别出的目标对象的原模型相似的模型(示例)中的每个车辆行为方案的事故率来确定针对每个车辆行为方案的优先级,以将针对每个车辆行为方案的优先级发送到车辆。
处理器230可以从车辆接收关于未识别出的目标对象的图像信息,可以在对目标对象进行划类后调整图像信息中的目标对象的尺寸,可以在关于与目标对象相似的图像的信息中搜索与调整了尺寸的目标对象的图像相似的图像,可以基于所找到的相似图像的类型和属性标签信息来识别目标对象,并且可以生成识别出的目标对象的目标对象ID。
当完成目标对象的识别时,处理器230可以生成原模型,所述原模型包括目标对象的属性、车辆信息以及环境信息中的至少一者或多者。目标对象的属性可以包括尺寸、雷达反射率、移动路线、对象速度、重叠面积(车辆路线和目标对象相互重叠的范围)、与对象的距离等。车辆信息可以包括车辆速度、减速度/加速度、车道信息等,并且环境信息可以包括道路信息(道路类型等)。将参照图4详细描述原模型。
处理器230可以将目标对象的原模型与每个目标对象的模型信息进行比较,以在每个目标对象的模型信息中提取与原模型相似的每个模型。此外,处理器230可以提取具有小于原模型的值和裕度值之和的值的针对每个目标对象的模型作为高相似度的模型。进一步地,处理器230可以计算目标对象的原模型与每个目标对象的模型信息之间的相似度,以在每个目标对象的模型信息中提取相似度不小于参考值的那些模型。将参照图5和图6详细描述用于提取与原模型相似的模型的方法。
处理器230可以基于关于与原模型相似的每个模型的每个车辆行为方案是否发生事故的信息来计算每个车辆行为方案的事故率。也就是说,处理器230可以通过以下方式来计算每个车辆行为方案的事故率:将针对每个目标对象的模型中车辆根据第一车辆行为方案移动时发生事故的模型的数量除以与原模型相似的针对每个目标对象的模型中车辆根据该第一车辆行为方案移动的模型的数量。此时,车辆行为方案可以包括车辆行为的加速度/减速度和转向角信息。此时,每次车辆移动时都可以从车辆的行驶控制装置100更新关于是否发生事故的信息并且可以提前存储每个模型(示例)。将参照图7至图9描述车辆行为方案和计算每个车辆行为方案的事故率的示例。
处理器230可以根据按事故率的降序排列的车辆行为方案的事故率来确定目标对象的车辆行为方案的优先级。此外,当从车辆接收到车辆控制结果时,处理器230可以更新存储装置120中存储的每个目标对象的模型信息、车辆行为方案信息以及基于每个目标对象的车辆行为方案的优先级信息中的至少一者或多者。
这样,当出现车辆未识别出的对象影响了车辆在自动行驶期间的行进时,本发明在服务器中确定未识别出的物体的类型和属性,并且根据确定的类型和属性改变车辆的行驶模型以将改变后的行驶模型提供给车辆,从而使自动驾驶控制更安全可靠。
此外,本发明可以仅利用软件改变(例如,车辆数据向服务器的传输、通过大数据处理的对象信息分析、车辆行为方案的获得、根据车辆行为方案的行驶控制等)而不改变硬件来提高自动驾驶的稳定性。
图2A是描述根据本发明一些实施方案的用于识别目标对象的方法的示意图。图2B是示出根据本发明一些实施方案的目标对象的属性的示例的示意图。
当车辆的行驶控制装置100不能识别目标对象时,车辆的行驶控制装置100将图像信息和感测信息发送到服务器200。
图2A的“201”是图像信息;服务器200对图像信息201的目标对象202划类并调整尺寸,如“203”所示移除周围的图像信息并且仅留下目标对象204。此时,调整尺寸是一种通过将图像的尺寸调整为与服务器200的存储装置220中存储的图像的尺寸相似来比较容易地比较相似度的方法。
此后,服务器200针对调整了尺寸的目标对象203搜索服务器200的存储装置220中存储的图像,以确定是否存在与目标对象203相似的相似图像。如图2A的“204”所示,可以找到相似图像。此时,服务器200的存储装置220存储标签信息,例如目标对象的类型或属性(颜色、重量、风险等)。此时,由于搜索与目标对象相似的图像的结果204可能包括与目标对象类型不同的类型的对象,因此服务器200可以同时确定对象的例如颜色、反射率等的属性值,从而提高准确性。也就是说,服务器200可以从相似图像搜索结果“204”中过滤掉属性信息为纸张、气球或垃圾罐的图像。
图2B示出目标对象202的属性信息的示例;目标对象202的属性信息可以包括例如乙烯基、黑色、褶皱、亮度、低风险等的信息。
但是,当不能从已找到的相似图像中获得指定水平或更高水平的统计性时(例如,当同一类型的示例与所有示例的比例小于服务器200定义的比例时),则服务器200将目标对象定义为不可识别的对象;当目标对象是不可识别的对象时,服务器200可以根据预定义的方案控制车辆的行为。例如,当在全部一百万个示例中,乙烯基的比例为33%、纸张的比例为21%、气球的比例为25%、其它的比例为21%时,如果服务器200设置的比例为50%,则上述每个比例都不符合。这样,服务器200可以分析已找到的相似图像的标签信息的片段,以确定属性和目标对象。
图3是描述根据本发明一些实施方案的用于更新目标对象数据库的方法的示意图。
当服务器200基于预先存储的图像中的相似图像识别出目标对象时,服务器200可以确定目标对象的类型,可以生成目标对象ID以将目标对象ID发送到车辆的行驶控制装置100,并且可以允许更新目标对象数据库。服务器200可以从车辆的行驶控制装置100接收目标对象ID的列表,并且可以将相同的目标对象数据库与车辆的行驶控制装置100同步,以允许车辆的行驶控制装置100存储相同的目标对象数据库。
参照图3,“301”是服务器200生成新的目标对象ID的示例;“302”是服务器200向车辆的行驶控制装置100提供目标对象ID和目标对象的类型信息并且更新车辆的行驶控制装置100的存储装置中包括的目标对象数据库的示例。
图4是根据本发明一些实施方案的用于建立车辆行为方案的原模型的示例性示意图。
参照图4,原模型包括针对每个目标对象ID的目标对象的属性、车辆信息以及环境信息。
车辆的行为策略需要根据目标对象的类型和属性来改变。例如,对于动物尸体的尺寸较小的情况,当动物的尺寸不影响车辆的行为时,车辆按原样行进可能更安全;对于动物尸体较大的情况,由于动物的尺寸影响车辆的行为,因此最好避开动物尸体。然而,当试图避开动物尸体时,如果车辆无法通过车辆的周围环境避开动物尸体(当车辆同时靠近左车道和右车道等),则需要确定具有下一优先级的车辆行为。也就是说,当无法避开动物尸体时,车辆需要减速以避开动物尸体,或者在无法避开动物尸体时需要停车。此时,需要根据对象的属性来确定以哪个优先级来控制车辆。
根据本发明的一些实施方案,在图4中,识别出目标对象为聚苯乙烯泡沫塑料。服务器200将能够影响车辆的行为确定的目标对象的属性、车辆信息以及道路信息确定为原模型。此时,目标对象的属性可以包括尺寸、雷达反射率、移动路线、对象速度、重叠面积(车辆路线和目标对象相互重叠的范围)、与对象的距离等。车辆信息可以包括车辆速度、减速度/加速度、车道信息等,并且环境信息可以包括道路信息。
也就是说,事故的风险可以根据目标对象的属性或车辆信息而改变;行驶模型可以根据道路的状态而改变;避让方法可以根据道路环境而改变,这样环境信息可以包括道路信息。此时,道路信息可以用作导航的道路信息。
图5是描述根据本发明一些实施方案的方法的示意图,在该方法中,服务器计算原模型与目标对象数据库中的示例之间的相似度。图6是描述根据本发明一些实施方案的示例的示意图,在该示例中,服务器计算原模型与目标对象数据库中的示例之间的相似度。
如图5的“501”所示,服务器200可以存储包括大量示例的大数据,例如基于目标对象的类型的目标对象的属性、识别出目标对象的时间点的车辆信息、识别出目标对象的时间点的道路信息等。
服务器200通过将服务器200识别出的目标对象的原模型与图5的“501”的大数据的模型信息的片段进行比较来计算相似度。也就是说,服务器200可以通过将原模型的目标对象的属性、车辆信息以及道路信息与服务器200中存储的针对每个示例的目标对象的属性、车辆信息以及道路信息分别进行比较来计算相似度。
然后,如“502”所示,服务器200提取相似度不小于由服务器200确定的阈值“Cth”的示例。例如,阈值可以设置为“0.85”,并且阈值的范围和大小可以根据服务器200的性能进行更改。参照图5的“502”,可以理解,收集所有相似度不小于0.85的示例。
本发明可以通过搜索与目标对象的属性、当前车辆的信息以及环境信息(道路信息)相似的示例的数据来获得事故的统计性质。这样,准确地计算相似度是很重要的;用于计算相似度的方法可以通过下面将要描述的各种方式来实现。
首先,服务器200可以通过准确确定的属性值(例如车道信息或道路信息)执行主筛选,可以在确定剩余属性值中的最大值后通过将每个值除以最大值来执行归一化,并且可以基于原模型与数据库的模型(示例)之间的相关性值提取相似数据。在使用相关性的情况下,随着相似度更接近“1”,相似度可以具有正相关性并且相似度可以更高;随着相似度更接近“0”,相似度可以更低。此时,可以通过将协方差除以标准差的平方来获得相关性。
其次,参照图6,服务器200可以对原模型的每个属性值、服务器200的大数据的属性信息、服务器200的大数据的车辆信息以及服务器200的大数据的环境信息(道路信息)设置由服务器200确定的裕度值,可以仅提取每个属性值均小于裕度值的示例并且可以通过指示属性与原模型之间的差异程度的误差率来得出相似度。
图5和图6的模型(示例)可以包括方案和指示是否发生事故的信息,但没有示出方案和指示是否发生事故的信息。
图7是存储在根据本发明一些实施方案的服务器中的根据目标对象和属性的车辆行为方案的示例性图表。图8是存储在根据本发明一些实施方案的服务器中的包括关于所提取的相似示例的每个车辆行为方案的事故发生的信息的示例性示意图。
如图7所示,可以存储用于控制车辆的方法用于服务器200中的每个方案,并且车辆行为方案可以包括控制加速度/减速度和转向角的基本单位。
服务器200可以细分加速度/减速度和转向角的等级,并且可以通过使用它们的组合来得出车辆行为方案。例如,方案1可以控制车辆以使加速度/减速度为0并且转向角为向左3度。
此时,每个基本控制单位都有大小和方向性。例如,在加速度/减速度的情况下,“+”方向可以具有基于零的加速方向性;“-”方向可以具有基于零的减速方向性;随着值变大,加速/减速的程度可以变强。在转向的情况下,方向性具有基于零的左向(“-”方向)和右向(“+”方向);随着值变大,转向角可以从转向不足变为转向过度。
此时,服务器200可以基于预先存储的事故方案和事故率来针对每个方案细分基本控制单位的步骤。例如,由于当服务器200细分加速度/减速度的等级(例如0.0001个单位)时,很难根据针对每个行为方案的事故率的差异得到统计性质,因此基本控制单位的等级可以确定为具有针对每个行为方案的事故率的统计性质。
如图8所示,所提取的相似示例的每个车辆行为方案是否会发生事故也存储在服务器200中。
图9是根据本发明一些实施方案的车辆行为方案的优先级确定方法。
服务器200根据所提取的示例计算每个车辆行为方案的事故率并且将事故率较低的方案的优先级分配为较高。也就是说,处理器200可以通过以下方式来计算每个车辆行为方案的事故率:将车辆根据指定方案移动时发生事故的模型(示例)的数量除以车辆根据该指定方案移动的示例的数量。例如,当车辆根据方案1移动时,发生事故的示例的数量为10;当在所提取的相似示例中车辆根据方案1移动的示例的数量为2时,事故率可以为5。
图9的“901”是表示每个方案的事故率的图表的示例性示意图;图9的“902”是基于事故率确定优先级的图表的示例性示意图。
这样,服务器200可以根据与通过一系列过程识别出的对象的类型、对象的属性、当前车辆的状态以及外部信息相似的情况的大数据来确定能够最小化事故率的车辆的行为策略。
此外,服务器200将车辆行为方案的优先级发送到车辆的行驶控制装置100,并且车辆的行驶控制装置100根据接收到的优先级来确定车辆的行为。例如,如图9的“902”所示,当车辆不能根据优先级为第一的方案10移动时,车辆的行驶控制装置100可以根据优先级为第二的方案9来控制车辆的行为。
当根据所确定的车辆行为方案控制车辆后,车辆的行驶控制装置100将车辆控制结果发送到服务器200,并且服务器200存储针对每个方案的车辆控制结果。
在下文中,根据本发明的一些实施方案,将参照图10详细描述车辆行驶控制系统的车辆行驶控制方法。图10是描述根据本发明一些实施方案的车辆行驶控制系统的车辆行驶控制方法的流程图。
在下文中,假设图1的车辆行驶控制系统执行图10的过程。
参照图10,在步骤S101,车辆的行驶控制装置100使用从激光雷达传感器、雷达传感器、摄像机等获得的信息进行对象识别。此时,车辆的行驶控制装置100确定对象识别是否成功;在步骤S102,当未识别出对象时,车辆的行驶控制装置100将图像信息发送到服务器200。
接下来,在步骤S103,服务器200基于从车辆的行驶控制装置100接收到的图像信息来识别未识别出的目标对象以生成目标对象ID,然后,在步骤S104,服务器200将目标对象ID发送到车辆的行驶控制装置100以允许车辆的行驶控制装置100更新车辆的行驶控制装置100的对象识别数据库。如图3所示,对象识别数据库包括存储针对每个目标对象ID的目标对象的类型信息的表。也就是说,车辆的行驶控制装置100可以在现有的对象识别数据库中存储并更新通过服务器200识别的未识别出的目标对象而新生成的目标对象ID及其类型信息。
随后,在步骤S105,服务器200基于目标对象ID确定车辆行为方案;在步骤S106,服务器200将目标对象ID和车辆行为方案的优先级信息发送到车辆的行驶控制装置100。如图4所示,服务器200基于从车辆的行驶控制装置100接收到的感测信息和图像信息生成包括目标对象的属性、车辆信息以及环境信息的原模型,并且可以将原模型与存储于图5的服务器200中的大数据的模型进行比较以提取相似模型(示例)。服务器200基于具有高相似度的模型(示例)的方案以及是否发生事故来确定优先级,以将优先级信息发送到车辆的行驶控制装置100。
这样,在步骤S107,车辆的行驶控制装置100确定基于目标对象ID的车辆行为;在步骤S108,车辆的行驶控制装置100根据所确定的车辆行为来执行车辆行驶控制。
同时,即便在步骤S101中,对象识别成功,车辆的行驶控制装置100也可以执行步骤S107和步骤S108。
接下来,在步骤S109,车辆的行驶控制装置100将车辆的行驶控制结果发送到服务器200;在步骤S110,服务器200存储车辆的行驶控制结果。
在下文中,根据本发明的一些实施方案,将参照图11详细描述服务器的车辆行驶控制方法。图11是描述根据本发明一些实施方案的服务器的车辆行驶控制方法的流程图。
下面,假设图1的服务器200执行图11的过程。此外,在对图11的描述中可以理解,所描述的操作由服务器200的处理器230来控制。
参照图11,在步骤S201,当服务器200从车辆的行驶控制装置100接收到关于未识别出的目标对象的图像信息(原始数据和尺寸信息)时,在步骤S202,服务器200通过对图像信息执行目标对象划类来消除环境噪声。
接下来,在步骤S203,服务器200对划类的图像上的目标对象调整尺寸;在步骤S204,服务器200通过搜索存储在服务器200的存储装置220中的图像来确定是否存在与调整了尺寸的目标对象相似的图像。
这样,在步骤S205,服务器200分析所找到的相似图像的类型和属性标签;在步骤S206,服务器200确定目标对象ID。如图2A所示,服务器200可以仅对从车辆的行驶控制装置100接收到的图像信息中的目标对象进行划类,然后可以执行尺寸调整;如图2B所示,服务器200可以搜索存储在服务器200中的相似图像,可以分析属性标签信息并且可以确定目标对象ID。本发明的一些实施方案在图2A和图2B中示例为目标对象的是黑色乙烯基。
在步骤S207,服务器200计算原模型与存储在存储装置220中的所有示例(模型)之间的相似度。这样,在步骤S208,服务器200确定相似度是否大于参考值;在步骤S209,服务器200将相似度大于参考值的示例存储在服务器200的存储装置220中。如图4所示,当目标对象ID为ID-38(聚苯乙烯泡沫塑料)时,服务器200通过从车辆的行驶控制装置100接收到的图像信息和感测信息获得目标对象的属性、车辆信息以及环境信息,以生成原模型。服务器200将原模型与预先存储的大数据中的模型进行比较,以提取相似示例(模型)并且计算相似示例的相似度。也就是说,如图5和图6所示,服务器200可以计算作为每个相似示例而提取的每个示例的相似度,并且可以主要列出相似度不小于参考值的那些示例。如图5的“502”所示,服务器200可以在存储装置220中存储相似示例,这些示例按相似度升序列出。
随后,在步骤S210,服务器200计算所存储的示例范围内各个总体行为方案的事故率。也就是说,如图8以及图9的“901”所示,服务器200可以计算所存储的相似示例的每个总体行为方案是否发生事故或每个总体行为方案的事故率。
在步骤S211,服务器200根据事故率确定方案的优先级;在步骤S212,服务器200将目标对象ID以及车辆行为方案和优先级发送到车辆的行驶控制装置100。图9的“902”示出了按事故率降序列出的关于确定出优先级的方案的信息。
随后,在步骤S213,当服务器200从车辆的行驶控制装置100接收到根据车辆行为方案的车辆控制结果时,在步骤S214,服务器200更新目标对象数据库,例如更新事故率统计等。
在下文中,根据本发明的一些实施方案,将参照图12详细描述车辆行驶控制系统的车辆行驶控制方法。图12是描述根据本发明一些实施方案的车辆行驶控制系统的车辆行驶控制方法的流程图。
在下文中,假设图1的车辆行驶控制系统执行图12的过程。此外,在图12的描述中,应当理解,描述为由车辆的行驶控制装置100执行的操作是由车辆的行驶控制装置100的处理器130来控制的。
参照图12,在步骤S301,车辆的行驶控制装置100分析从摄像机、雷达传感器、激光雷达传感器等接收到的图像信息和感测信息;在步骤S302,车辆的行驶控制装置100执行对象识别。
当对象识别成功时,在步骤S303,车辆的行驶控制装置100搜索与目标对象ID对应的车辆行为方案,在步骤S310,车辆的行驶控制装置100根据所找到的车辆行为方案执行车辆行为控制,并且在步骤S311,车辆的行驶控制装置100将根据车辆行为方案的车辆控制结果发送到服务器200。
同时,当对象识别失败时,在步骤S304,车辆的行驶控制装置100将未识别出的对象的感测信息和图像信息发送到服务器。此时,感测信息和图像信息可以包括原始数据和尺寸信息。
这样,在步骤S305,车辆的行驶控制装置100从服务器200接收目标对象ID、车辆行为方案和优先级信息;在步骤S306,车辆的行驶控制装置100确定在现有的目标对象数据库中是否存在由服务器200识别出的目标对象;当不存在目标对象时,在步骤S307和步骤S308,车辆的行驶控制装置100利用目标对象数据库中相应的目标对象ID和类型信息来更新目标对象数据库(每个目标对象ID的属性信息)和对象识别数据库(相似图像信息)。
随后,在步骤S309,车辆的行驶控制装置100更新从服务器200接收到的车辆行为方案的优先级信息;在步骤S310,车辆的行驶控制装置100根据具有高优先级的车辆行为方案来执行车辆行为控制;在步骤S311,车辆的行驶控制装置100将根据车辆行为方案的车辆控制结果发送到服务器200。
这样,本发明可以根据目标对象的类型和属性改变行驶模型,以保证车辆在自动驾驶过程中的行驶安全。
此时,在自动驾驶过程的高级别自动驾驶中,需要提高周围对象的识别率。这样,在本发明中,服务器200可以通过与车辆的行驶控制装置100一起操作来识别车辆的行驶控制装置100不能识别的未识别出的目标对象,因此可以提高目标对象的识别率,从而提高自动驾驶系统的可靠性。
图13示出了根据本发明一些实施方案的计算系统。
参照图13,计算系统1000可以包括经由总线1200而彼此连接的至少一个处理器1100、存储器1300、用户界面输入装置1400、用户界面输出装置1500、存储装置1600以及网络接口1700。
处理器1100可以是中央处理单元(CPU)或者处理存储在存储器1300和/或存储装置1600中的指令的半导体器件。每个存储器1300和存储装置1600可以包括各种类型的易失性或非易失性存储介质。例如,存储器1300可以包括只读存储器(ROM)和随机存取存储器(RAM)。
因此,说明书中公开的本发明一些实施方案中描述的方法或者算法的步骤可以通过由处理器1100执行的硬件模块、软件模块或者硬件模块和软件模块的组合直接实现。软件模块可以设置在存储介质(即存储器1300和/或存储装置1600)上,例如RAM、闪存、ROM、可擦除和可编程ROM(EPROM)、电EPROM(EEPROM)、寄存器、硬盘、可移动磁盘或者光盘ROM(CD-ROM)。
存储介质可以联接到处理器1100。处理器1100可以从存储介质读取信息,并且可以向存储介质写入信息。可选择地,存储介质可以与处理器1100集成。处理器和存储介质可以设置在专用集成电路(ASIC)中。ASIC可以设置在用户终端中。可选择地,处理器和存储介质可以在用户终端中使用单独的组件来实现。
本发明可以基于大数据识别对象并且可以根据识别出的对象的类型和属性确定行驶模型,从而通过提高对象的识别率使车辆控制策略多样化并提高自动驾驶的稳定性。
此外,可以提供通过本发明直接或间接理解的各种效果。
对本发明的描述在本质上只是示例性的,因此,不偏离本发明主旨的变化旨在落入本发明范围之内。这种变化不应视为偏离本发明的精神和范围。
Claims (20)
1.一种服务器,其包括:
处理器,其配置为:
识别从图像信息中提取的目标对象;
基于与识别出的目标对象的原模型相似的多个模型中的每个车辆行为方案的事故率来确定每个车辆行为方案的优先级;
将每个车辆行为方案的优先级发送到车辆;
存储装置,其配置为存储以下信息中的至少一者:
关于与目标对象相似的图像的信息;
目标对象信息;
每个目标对象的模型信息;
车辆行为方案信息;
基于目标对象的每个车辆行为方案的优先级信息。
2.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
从车辆接收关于未识别出的目标对象的图像信息;
对关于未识别出的目标对象的图像信息中的目标对象进行划类之后,对目标对象的图像调整尺寸;
识别与调整了尺寸的图像或与关于未识别出的目标对象的图像信息相似的图像;
基于识别出的图像的类型和识别出的图像的属性标签信息来识别目标对象。
3.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
生成识别出的目标对象的目标对象标识符。
4.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
当识别出目标对象时,生成目标对象的原模型,所述原模型包括目标对象的属性、车辆信息或环境信息中的至少一者。
5.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
将识别出的目标对象的原模型与针对每个目标对象的模型信息进行比较;
从针对每个目标对象的模型信息中提取与目标对象的原模型相似的多个模型。
6.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
将具有小于原模型的值与裕度值的相加值的针对每个目标对象的多个模型提取为高相似度模型。
7.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
计算原模型与针对每个目标对象的模型信息之间的相似度;
从针对每个目标对象的模型信息中提取计算出的相似度大于参考值的模型。
8.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
基于与原模型相似的多个模型的每个车辆行为方案的事故发生来计算每个车辆行为方案的事故率。
9.根据权利要求1所述的服务器,其中,所述处理器配置为:
通过以下方式来计算每个车辆行为方案的事故率:将针对每个目标对象的模型中车辆基于第一车辆行为方案行驶时发生事故的模型的第一总数除以与原模型相似的模型中车辆基于第一车辆行为方案行驶的模型的第二总数。
10.根据权利要求1所述的服务器,其中,所述处理器配置为:
根据每个车辆行为方案的事故率按照事故率的降序来确定目标对象的车辆行为方案的优先级。
11.根据权利要求1所述的服务器,其中,车辆行为方案包括车辆行为的关于加速度的信息、关于减速度的信息以及关于转向角的信息。
12.根据权利要求1所述的服务器,其中,所述处理器进一步配置为:
当从车辆接收到车辆控制结果时,更新每个目标对象的模型信息、车辆行为方案信息或优先级信息中的至少一者。
13.一种车辆的行驶控制装置,所述装置包括:
处理器,其配置为:
分析感测信息和图像信息;
识别目标对象;
执行识别出的目标对象的车辆行为方案;
当无法识别出目标对象时,请求服务器来识别目标对象;
存储装置,其配置为存储以下信息中的至少一者:
关于与目标对象相似的图像的信息;
目标对象信息;
基于目标对象的每个车辆行为方案的优先级信息。
14.根据权利要求13所述的车辆的行驶控制装置,其中,所述处理器配置为:
当从服务器接收到目标对象标识符、车辆行为方案以及优先级信息时,更新目标对象信息、车辆行为方案信息以及优先级信息。
15.根据权利要求13所述的车辆的行驶控制装置,其中,所述处理器配置为:
基于优先级信息来控制车辆行为。
16.根据权利要求13所述的车辆的行驶控制装置,其中,所述处理器配置为:
将执行车辆行为方案的结果发送到服务器。
17.一种基于对象识别的行驶模型管理方法,所述方法包括:
利用处理器识别从图像信息中提取的目标对象;
利用处理器提取与识别出的目标对象的原模型相似的多个模型;
基于所述多个模型中的每个车辆行为方案的事故率,利用处理器来确定每个车辆行为方案的优先级;
利用处理器将关于每个车辆行为方案的优先级的信息发送到车辆。
18.根据权利要求17所述的方法,其中,识别目标对象包括:
利用处理器从车辆接收关于未识别出的目标对象的图像信息;
在对图像信息中的目标对象进行划类后,利用处理器对划类后的目标对象的图像调整尺寸;
利用处理器识别与调整了尺寸的图像或图像信息相似的图像;
基于识别出的图像的类型和识别出的图像的属性标签信息,利用处理器来识别目标对象;
利用处理器生成识别出的目标对象的目标对象标识符。
19.根据权利要求17所述的方法,其中,提取多个模型包括:
利用处理器生成原模型,所述原模型包括目标对象的属性、车辆信息或环境信息中的至少一者;
利用处理器将原模型与针对每个目标对象的模型信息进行比较;
利用处理器从模型信息中提取与原模型相似的多个模型。
20.根据权利要求17所述的方法,其中,确定每个车辆行为方案的优先级包括:
基于与原模型相似的多个模型的每个车辆行为方案的事故发生,利用处理器来计算每个车辆行为方案的事故率;
根据每个车辆行为方案的事故率按照事故率的降序利用处理器来确定目标对象的车辆行为方案的优先级。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180156550A KR20200075053A (ko) | 2018-12-07 | 2018-12-07 | 사물 인식 기반 주행 패턴 관리 서버, 그를 이용한 차량의 주행 제어 장치 및 그 방법 |
KR10-2018-0156550 | 2018-12-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111284501A true CN111284501A (zh) | 2020-06-16 |
Family
ID=70971924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910348758.7A Pending CN111284501A (zh) | 2018-12-07 | 2019-04-28 | 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10997437B2 (zh) |
KR (1) | KR20200075053A (zh) |
CN (1) | CN111284501A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553508A (zh) * | 2021-07-28 | 2021-10-26 | 中国第一汽车股份有限公司 | 一种路况模型生成方法、装置、存储介质及系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11077850B2 (en) * | 2019-09-06 | 2021-08-03 | Lyft, Inc. | Systems and methods for determining individualized driving behaviors of vehicles |
US11043118B1 (en) * | 2019-12-23 | 2021-06-22 | Continental Automotive Systems, Inc. | System and method for vehicle identification |
DE102020207065B3 (de) * | 2020-06-05 | 2021-02-11 | Volkswagen Aktiengesellschaft | Fahrzeug, Verfahren, Computerprogramm und Vorrichtung zum Zusammenführen von Objektinformationen über ein oder mehrere Objekte in einem Umfeld eines Fahrzeugs |
US20220245385A1 (en) * | 2021-01-29 | 2022-08-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for determining operating criteria for performing vehicular tasks |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006193098A (ja) * | 2005-01-17 | 2006-07-27 | Mazda Motor Corp | 車両の安全装置 |
KR20130091907A (ko) * | 2012-02-09 | 2013-08-20 | 한국전자통신연구원 | 차량의 자율주행 장치 및 그 방법 |
JP2015215749A (ja) * | 2014-05-09 | 2015-12-03 | 株式会社デンソー | 車両用対象物検出装置 |
US9296383B2 (en) * | 2013-06-20 | 2016-03-29 | Robert Bosch Gmbh | Collision avoidance for a motor vehicle |
CN105989727A (zh) * | 2015-03-19 | 2016-10-05 | 现代自动车株式会社 | 车辆、服务器及具有车辆和服务器的车辆监测系统 |
US20170113689A1 (en) * | 2015-10-27 | 2017-04-27 | International Business Machines Corporation | Controlling Driving Modes of Self-Driving Vehicles |
JP2017114429A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社デンソー | 運転支援装置及び運転支援方法 |
KR20170077332A (ko) * | 2015-12-28 | 2017-07-06 | 전자부품연구원 | 지능형 자율 주행 차량을 위한 우선 순위 기반의 충돌 회피 제어 방법 및 시스템 |
KR20170079373A (ko) * | 2015-12-30 | 2017-07-10 | 재단법인대구경북과학기술원 | 도로 상의 객체를 검출하기 위한 장치 및 그 방법 |
US20180061253A1 (en) * | 2016-09-01 | 2018-03-01 | Samsung Electronics Co., Ltd. | Autonomous driving method and apparatus |
US20180095457A1 (en) * | 2016-09-30 | 2018-04-05 | Lg Electronics Inc. | Control method of autonomous vehicle and server |
US20180101178A1 (en) * | 2016-10-12 | 2018-04-12 | Hyundai Motor Company | Autonomous driving control apparatus, vehicle having the same, and method for controlling the same |
KR20180067199A (ko) * | 2016-12-12 | 2018-06-20 | 현대모비스 주식회사 | 객체 인식 장치 및 방법 |
US10029696B1 (en) * | 2016-03-25 | 2018-07-24 | Allstate Insurance Company | Context-based grading |
CN108688683A (zh) * | 2017-02-23 | 2018-10-23 | 现代自动车株式会社 | 图像信息获取装置、车辆及其控制方法 |
US20180362037A1 (en) * | 2016-01-28 | 2018-12-20 | Mitsubishi Electric Corporation | Accident probability calculator, accident probability calculation method, and accident probability calculation program |
CN111527500A (zh) * | 2017-12-29 | 2020-08-11 | 美光科技公司 | 用于增强人工神经网络的分布式架构中的自学习 |
-
2018
- 2018-12-07 KR KR1020180156550A patent/KR20200075053A/ko active IP Right Grant
-
2019
- 2019-04-09 US US16/379,379 patent/US10997437B2/en active Active
- 2019-04-28 CN CN201910348758.7A patent/CN111284501A/zh active Pending
-
2021
- 2021-03-30 US US17/217,720 patent/US11699292B2/en active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006193098A (ja) * | 2005-01-17 | 2006-07-27 | Mazda Motor Corp | 車両の安全装置 |
KR20130091907A (ko) * | 2012-02-09 | 2013-08-20 | 한국전자통신연구원 | 차량의 자율주행 장치 및 그 방법 |
US9296383B2 (en) * | 2013-06-20 | 2016-03-29 | Robert Bosch Gmbh | Collision avoidance for a motor vehicle |
JP2015215749A (ja) * | 2014-05-09 | 2015-12-03 | 株式会社デンソー | 車両用対象物検出装置 |
CN105989727A (zh) * | 2015-03-19 | 2016-10-05 | 现代自动车株式会社 | 车辆、服务器及具有车辆和服务器的车辆监测系统 |
US20170113689A1 (en) * | 2015-10-27 | 2017-04-27 | International Business Machines Corporation | Controlling Driving Modes of Self-Driving Vehicles |
JP2017114429A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社デンソー | 運転支援装置及び運転支援方法 |
KR20170077332A (ko) * | 2015-12-28 | 2017-07-06 | 전자부품연구원 | 지능형 자율 주행 차량을 위한 우선 순위 기반의 충돌 회피 제어 방법 및 시스템 |
KR20170079373A (ko) * | 2015-12-30 | 2017-07-10 | 재단법인대구경북과학기술원 | 도로 상의 객체를 검출하기 위한 장치 및 그 방법 |
US20180362037A1 (en) * | 2016-01-28 | 2018-12-20 | Mitsubishi Electric Corporation | Accident probability calculator, accident probability calculation method, and accident probability calculation program |
US10029696B1 (en) * | 2016-03-25 | 2018-07-24 | Allstate Insurance Company | Context-based grading |
US20180061253A1 (en) * | 2016-09-01 | 2018-03-01 | Samsung Electronics Co., Ltd. | Autonomous driving method and apparatus |
US20180095457A1 (en) * | 2016-09-30 | 2018-04-05 | Lg Electronics Inc. | Control method of autonomous vehicle and server |
US20180101178A1 (en) * | 2016-10-12 | 2018-04-12 | Hyundai Motor Company | Autonomous driving control apparatus, vehicle having the same, and method for controlling the same |
KR20180067199A (ko) * | 2016-12-12 | 2018-06-20 | 현대모비스 주식회사 | 객체 인식 장치 및 방법 |
CN108688683A (zh) * | 2017-02-23 | 2018-10-23 | 现代自动车株式会社 | 图像信息获取装置、车辆及其控制方法 |
CN111527500A (zh) * | 2017-12-29 | 2020-08-11 | 美光科技公司 | 用于增强人工神经网络的分布式架构中的自学习 |
US20220237469A1 (en) * | 2017-12-29 | 2022-07-28 | Micron Technology, Inc. | Self-Learning in Distributed Architecture for Enhancing Artificial Neural Network |
Non-Patent Citations (1)
Title |
---|
梁广民;: "一种新的自动驾驶轨迹规划方法", 电子科技大学学报, no. 04, 31 December 2017 (2017-12-31), pages 122 - 128 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553508A (zh) * | 2021-07-28 | 2021-10-26 | 中国第一汽车股份有限公司 | 一种路况模型生成方法、装置、存储介质及系统 |
Also Published As
Publication number | Publication date |
---|---|
KR20200075053A (ko) | 2020-06-26 |
US10997437B2 (en) | 2021-05-04 |
US20210216796A1 (en) | 2021-07-15 |
US11699292B2 (en) | 2023-07-11 |
US20200184235A1 (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111284501A (zh) | 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置 | |
US9501703B2 (en) | Apparatus and method for recognizing traffic sign board | |
US10717442B2 (en) | Method and apparatus for determining a presently existing driving situation | |
US20190258249A1 (en) | Apparatus and method for controlling driving mode switch of vehicle and vehicle system | |
CN102997900A (zh) | 外界识别方法、装置以及车辆系统 | |
CN112660128B (zh) | 用于确定自动驾驶车辆的车道变更路径的设备及其方法 | |
JP2007328630A (ja) | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 | |
US20210107486A1 (en) | Apparatus for determining lane change strategy of autonomous vehicle and method thereof | |
JP2009237898A (ja) | 画像認識装置 | |
CN112912894B (zh) | 道路边界识别方法和装置 | |
US20200326721A1 (en) | Occupancy verification device and method | |
US20220343637A1 (en) | Traffic flow machine-learning modeling system and method applied to vehicles | |
Zhang et al. | A framework for turning behavior classification at intersections using 3D LIDAR | |
US20200202714A1 (en) | Systems and methods for responding to a vehicle parked on shoulder of the road | |
CN111796286A (zh) | 一种制动等级的评估方法、装置、车辆和存储介质 | |
JP2016122320A (ja) | 走行区画線認識装置 | |
CN114460598A (zh) | 一种目标识别方法、装置、设备及存储介质 | |
US11113566B2 (en) | Image processing system, method, and apparatus specifying an object included in a captured image outside a vehicle | |
US20210004016A1 (en) | U-turn control system for autonomous vehicle and method therefor | |
CN115520216A (zh) | 行车状态判断方法、装置、计算机设备和存储介质 | |
CN115171371A (zh) | 一种协作式道路交叉口通行方法及装置 | |
KR20210079180A (ko) | 차량 번호판 인식 방법 및 장치 | |
CN113581059A (zh) | 灯光调节方法及相关装置 | |
JP2011216012A (ja) | 画像認識装置 | |
CN116541715B (zh) | 目标检测方法、模型的训练方法、目标检测系统及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |