CN116963952A - 用于控制车辆的功能的电子设备及其方法 - Google Patents
用于控制车辆的功能的电子设备及其方法 Download PDFInfo
- Publication number
- CN116963952A CN116963952A CN202280018605.6A CN202280018605A CN116963952A CN 116963952 A CN116963952 A CN 116963952A CN 202280018605 A CN202280018605 A CN 202280018605A CN 116963952 A CN116963952 A CN 116963952A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- electronic device
- server
- target size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000006870 function Effects 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 182
- 230000015654 memory Effects 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 description 172
- 238000013528 artificial neural network Methods 0.000 description 56
- 238000012549 training Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 33
- 238000013473 artificial intelligence Methods 0.000 description 24
- 230000004044 response Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
- H04L1/0007—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
- H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
- H04L1/0018—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement based on latency requirement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/06—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
公开了一种电子装置,包括存储器、通信电路和处理器。处理器实现该方法,该方法包括:识别与外部服务器的通信连接的状态,基于所识别的状态,确定要发送到外部服务器的数据的目标大小,控制车辆的至少一个传感器收集数据,使得所收集的数据的总大小小于或等于所确定的目标大小,将由至少一个传感器收集的数据发送到外部服务器,以及基于所发送的数据从外部服务器接收控制命令,以及根据所接收的控制命令控制车辆的功能。
Description
技术领域
本公开涉及车辆电子设备,更具体地,涉及通过电子设备和服务器对用于自动驾驶的车辆功能的控制。
背景技术
近年来,很多注意力都集中在自动驾驶汽车及其操作上。自动车辆(如自主驾驶汽车)能够使用传感器输入、车辆功能的电子控制和复杂的处理系统来导航道路。因此,自动操作通常利用大量的数据处理。因此,操作可能涉及来自安装在车辆中的计算机设备和/或外部服务器的处理。
当利用服务器来处理自动数据,并且车辆和服务器之间的通信链路不稳定时,服务器可能不能正确地接收和处理数据。此外,在向车辆传输关键指令时可能会有延迟。
因此,为了车辆控制、通信、数据发送/接收和/或数据处理,需要确保车辆和服务器之间的稳定和强大的通信连接。
发明内容
技术问题
本公开能够提高自动驾驶系统的车辆控制的安全性和安保性,包括车辆和外部服务器之间的通信连接。
此外,本公开提高了车辆自动快速响应变化的上下文和环境条件的能力,即使当与服务器的通信连接被中断或减少时。
本公开根据车辆和服务器之间的通信状态改进了稳定自动驾驶的提供,这可以帮助驾驶员适应在车辆自动操作期间可能发生的变化和意外情况。
技术方案
根据本公开的实施例,公开了一种电子装置。电子设备安装在车辆中以控制车辆的功能,该电子装置包括:存储至少一个指令的存储器,经由通信连接与外部服务器可通信地连接的通信电路,以及可操作地耦合到存储器的处理器,其中该至少一个指令可由处理器执行以使电子装置:识别与外部服务器的通信链接的状态,基于所识别的状态,确定要发送到外部服务器的数据的目标大小,控制车辆的至少一个传感器收集数据,使得收集的数据的总大小小于或等于确定的目标大小,将由至少一个传感器收集的数据发送到外部服务器,并基于发送的数据从外部服务器接收控制命令,并根据接收的控制命令控制车辆的功能。
根据本公开的实施例,公开了一种方法。该方法用于安装在车辆中的电子装置,并且包括:识别与外部服务器的通信链接的状态,基于所识别的状态,确定要发送到外部服务器的数据的目标大小,控制车辆的至少一个传感器收集数据,使得所收集的数据的总大小小于或等于所确定的目标大小,将由至少一个传感器收集的数据传输到外部服务器,基于发送的数据从外部服务器接收控制命令,并根据接收的控制命令控制车辆的功能。
根据本公开的实施例,公开了一种电子装置。该电子装置包括:存储至少一个指令的存储器,以及可操作地耦合到该存储器的处理器,其中至少一个指令可由该处理器执行以使该电子装置:识别与服务器的通信链接的状态,基于所识别的状态,确定发送到外部服务器的数据的目标大小,从先前获得的数据中选择,具有小于或等于所确定的目标大小的总大小的先前获得的数据的子部分,用于传输到外部服务器,将所选择的子部分发送到外部服务器,并且基于所发送的数据从外部服务器接收控制命令,并且根据所接收的控制命令控制车辆的功能。
有益效果
在本公开的某些实施例中,公开了一种自动驾驶系统,其能够在车辆和外部服务器彼此可通信地链接的情况下安全控制车辆。
此外,在本公开的某些实施例中,自动车辆可以对意外的和变化的外部因素快速做出反应,即使当与服务器的通信减少或中断时。
此外,在本公开的某些实施例中,根据车辆和服务器之间的通信状态,可以更稳定地实现自动驾驶,从而提高驾驶员适应自动操作期间可能发生的情况的能力。
然而,根据本公开实施例的用于控制车辆功能的电子装置和由电子装置执行的方法可以实现的效果不限于上面提到的那些,并且上面没有提到的其他效果可以由本领域普通技术人员从下面的描述中清楚地理解。
附图说明
提供了关于各个附图的简要描述,以获得对本说明书附图的充分理解。
图1是示出根据本公开实施例的安装在车辆中的电子装置和服务器的示意图。
图2是装备有根据本公开实施例的电子装置的车辆的功能框图。
图3是示出根据本发明实施例的控制车辆的功能的方法的流程图。
图4是用于描述根据本公开实施例的确定要发送到服务器的环境数据的目标大小的方法的图。
图5是用于描述根据本公开实施例的选择用于确定目标大小的阈值时间的方法的图。
图6是示出根据本公开实施例的对应于目标大小和阈值时间的自动驾驶的稳定性水平的图。
图7是用于描述根据本公开的实施例,可以为出发点和到达点之间的路线中的每个区段预测自动驾驶的稳定性水平的图。
图8是用于描述根据本公开实施例的根据自动驾驶的预测的稳定性水平从出发点和到达点之间的各种路线当中选择推荐路线的方法的图。
图9是用于描述根据本公开实施例的根据车辆和服务器之间的通信方法确定目标大小的方法的图。
图10是用于描述根据本公开的实施例的通过考虑车辆的移动方向,从安装在车辆中的传感器当中选择要关闭的传感器的方法的图。
图11是用于描述根据本公开的实施例的通过考虑车辆的移动方向,从安装在车辆中的传感器当中选择要关闭的传感器的方法的图。
图12是示出根据本公开另一实施例的控制车辆功能的方法的流程图。
图13是用于描述根据本公开另一实施例通过考虑车辆的移动方向,从由传感器收集的环境数据当中选择要发送到服务器的环境数据的方法的图。
图14是用于描述根据本公开另一实施例通过考虑车辆的移动方向,从由传感器收集的环境数据当中选择要发送到服务器的环境数据的方法的图。
图15是用于描述在本公开的实施例中通过使用人工智能(AI)技术执行的操作的图。
图16是示出服务器和结合服务器操作的电子装置的图。
图17是根据本公开实施例的包括在电子装置中的处理器的框图。
图18是根据本公开实施例的数据学习器的框图。
图19是根据本公开实施例的数据识别器的框图。
图20是示出根据本公开实施例的电子装置和服务器通过彼此交互工作来学习和识别数据的示例的图。
最佳模式
根据本公开的实施例,公开了一种电子装置。该装置可以安装在车辆中以控制车辆的功能。该装置可以包括:存储至少一个指令的存储器;以及处理器,被配置为执行所述至少一个指令,使得所述装置:识别与服务器的通信状态,基于所识别的通信状态,确定对应于要发送到服务器的数据的目标大小,控制安装在车辆中的至少一个传感器,使得所述至少一个传感器收集总大小小于或等于所确定的目标大小的数据,将由至少一个传感器收集的数据发送到服务器,以及响应于数据的传输,根据从服务器接收的控制命令控制车辆的功能。
处理器还可以被配置为关闭至少一个传感器中的一些,使得可以收集总大小小于或等于所确定的目标大小的数据。
处理器还可以被配置为基于车辆的移动方向或车辆的位置中的至少一个,从至少一个传感器当中选择要关闭的传感器。
所述处理器还可以被配置为降低至少一个传感器的感测能力,使得可以收集总大小小于或等于所确定的目标大小的数据。
处理器还可以被配置为确定目标大小,使得从开始收集数据的时间点到执行控制命令的时间点的预期时间可以小于或等于阈值时间。
处理器还可以被配置为确定用于允许预期时间小于或等于阈值时间的分析精度,并将确定的分析精度发送到服务器,其中可以通过以确定的分析精度分析数据来生成控制命令。
处理器可以进一步被配置为根据车辆的速度或车辆的位置中的至少一个从多个候选阈值时间当中选择阈值时间。
处理器还被配置为可以通过车载输出设备输出与所确定的目标大小和阈值时间相对应的自动驾驶的稳定性水平。
处理器还可以被配置为通过输出设备输出在车辆的出发位置和到达位置之间的路线内的区段中的自动驾驶的预测稳定性水平。
处理器还可以被配置为通过考虑路线的预测稳定性水平的平均值,从车辆的出发位置和到达位置之间的路线中选择推荐路线。
处理器还可以被配置为根据对应于与服务器通信的方法的自动驾驶的稳定性水平,确定对应于要发送到服务器的数据的目标大小。
处理器还可以被配置为当存在从至少一个传感器预先获得的数据时,选择总大小小于或等于所确定的目标大小的一些数据,并且将所选择的一些数据发送到服务器。
根据本公开的另一实施例,一种由要安装在车辆中的电子装置执行的方法包括:识别与服务器的通信状态;根据所识别的通信状态,确定与要发送到服务器的数据相对应的目标大小;控制安装在车辆中的至少一个传感器,使得至少一个传感器收集总大小小于或等于所确定的目标大小的数据;将由至少一个传感器收集的数据发送到服务器;以及响应于数据的传输,根据从服务器接收的控制命令来控制车辆的功能。
该方法还可以包括关闭至少一个传感器中的一些,使得可以收集总大小小于或等于所确定的目标大小的数据。
该方法还可以包括降低至少一个传感器的感测能力,使得可以收集总大小小于或等于所确定的目标大小的数据。
目标大小的确定可以包括确定目标大小,使得从开始收集数据的时间点到执行控制命令的时间点的预期时间可以小于或等于阈值时间。
目标大小的确定可以包括根据车辆速度或车辆位置中的至少一个从多个候选阈值时间中选择阈值时间。
该方法还可以包括通过车载输出装置输出对应于所确定的目标大小和阈值时间的自动驾驶的稳定性水平。
确定目标大小的步骤可包括根据与服务器的通信方法相对应的自动驾驶的稳定性水平,确定与要发送到服务器的数据相对应的目标大小。
根据本公开的另一实施例,安装在车辆中以控制车辆功能的电子装置包括:存储至少一个指令的存储器;以及处理器,其被配置为根据至少一个指令进行操作,其中处理器还被配置为识别与服务器的通信状态,基于所识别的通信状态,确定与要发送到服务器的数据相对应的目标大小,从自安装在车辆中的至少一个传感器获得的数据中选择总大小小于或等于所确定的目标大小的一些数据,将所选择的一些数据传输到服务器,以及响应于一些数据的传输,根据从服务器接收的控制命令来控制车辆的功能。
具体实施方式
在整个公开内容中,表述“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部或其变体。
本公开可包括某些实施例和修改,并且其特定实施例在附图中示出并将在本文中详细描述。然而,应当理解,本公开不限于特定实施例,并且包括包含在本公开范围内的所有修改、等同物和替代物。
在实施例的以下描述中,当认为相关技术的详细描述可能不必要地模糊了本公开的主题时,将省略相关技术的详细描述。此外,在描述本公开的实施例的过程中使用的数字(例如,第一和第二)仅仅是用于将一个元件与另一个元件区分开的识别符号。
此外,在本文中,当一个元件被称为“连接”或“耦合”到另一个元件时,该元件可以直接连接或耦合到该另一个元件,也可以通过其间的一个或多个其他中间元件连接或耦合到该另一个元件,除非另有说明。
此外,在本文中,对于表示为“……部分(单元)”、“……模块”等的元件,两个或更多个元件可以组合成一个元件,或者对于每个细分的功能,一个元件可以分成两个或更多个元件。此外,下面描述的每个元件除了其主要功能之外,还可以执行其他元件的一些或所有功能,并且每个元件的一些主要功能可以由其他元件专门执行。
在下文中,将依次详细描述根据本公开的实施例。
根据描述汽车技术发展的架构流程,期望汽车在当前的分布式结构中具有用于每个功能的集成结构,并发展成由中央控制器控制组合域的结构。即随着技术的发展,预计未来数据将集中处理,云连接也有可能。
因为为了实现目前引人注目的自动驾驶,应当处理大量数据,所以可以利用用于处理大量数据的高性能处理器。这种处理器可以安装在车辆中;然而,随着自动驾驶系统变得更加复杂,它可能使车辆的制造变得复杂并增加其制造成本。
为了克服这些问题,可以考虑一种系统,在该系统中,车辆用于收集车辆周围的环境数据并将该环境数据发送给服务器,并且该服务器分析该环境数据并将控制命令发送给车辆。
在车辆和服务器相互链接的自动驾驶系统中,最重要的考虑因素可能是它对外部因素的响应速度。车辆和服务器之间的通信状态会极大地影响对外部因素的快速响应。因此,可能需要一种即使在车辆和服务器之间的通信状态改变的情况下也能稳定地自动驾驶车辆的方法。
此外,与现有的基于规则的系统不同,人工智能(AI)系统可以是计算机系统,它可以允许机器自己学习、确定和变得更加智能。由于人工智能系统可能具有更高的识别率,并且随着使用的增加,可以更准确地理解用户的口味,因此现有的基于规则的系统已经逐渐被基于深度学习的人工智能系统所取代。
AI技术可以包括机器学习(深度学习)和利用机器学习的元素技术。
机器学习本身可以是用于分类/学习输入数据的特征的算法技术,并且元素技术可以是使用机器学习算法的技术,例如深度学习,并且可以包括技术领域,例如语言理解、视觉理解、推理/预测、知识表示和运动控制。
语言理解可以是用于识别和应用/处理人类语言/字符的技术,并且可以包括自然语言处理、机器翻译、会话系统、问答和语音识别/合成。视觉理解可以是通过人类视觉来识别和处理对象的技术,并且可以包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解和图像改善。推理/预测可以是通过确定信息进行逻辑推理和预测的技术,并且可以包括基于知识/概率的推理、优化预测、基于偏好的规划和推荐。知识表示可以包括用于将人类经验信息自动处理成知识数据的技术,并且可以包括知识生成(数据创建和分类)和知识管理(数据利用)。运动控制可以是用于控制车辆的自动驾驶和机器人的移动的技术,并且可以包括运动控制(导航、碰撞和驾驶)和操作控制(行为控制)。
本公开的实施例涉及一种用于在自动驾驶系统中安全控制车辆的方法,在该自动驾驶系统中,车辆和服务器彼此链接,本公开的实施例还涉及一种用于执行该方法的设备,下面将参照附图对其进行详细描述。
图1是示出根据本公开实施例的安装在车辆10和服务器200中的电子装置100的图。
车辆10可以通过与服务器200的链接来执行自动驾驶。如上所述,车辆10可以将由安装在车辆10中的传感器收集的数据传输到服务器200,并且服务器200可以分析该数据并生成用于自动驾驶的控制命令。服务器200可以向车辆10发送控制命令,并且车辆10可以根据控制命令运行。
这里,由安装在车辆10中的传感器收集的数据可以是关于车辆10的周围环境的数据。例如,数据可包括指示车辆附近是否存在碰撞危险物体的数据、驾驶或移动车辆时要考虑的因素(例如,是否存在阴影区域和/或附近是否发生了事故)、和/或影响车辆驾驶的因素。在下文中,为了描述方便,例如在“数据”是关于车辆周围环境的数据的情况下,该数据将被称为“环境数据”或“感测数据”。
电子装置100可以安装在车辆10中,以支持车辆10的自动驾驶。图1示出了电子装置100安装在车辆10的车顶;然而,这仅仅是示例,电子装置100可以安装在各种位置(例如,发动机室、底盘和仪表板)。
电子装置100可以在制造车辆10的过程中安装在车辆10中,或者可以在完成车辆10的制造之后安装在车辆10中。
在车辆10和服务器200互连的自动驾驶系统中,即使在车辆10和服务器200之间的通信中断的情况下,电子装置100也可以使车辆10能够安全地自动操作。特别地,通过维持用于执行从服务器200接收的控制命令的指定时间变量,电子装置100可以最小化中断的通信状态对车辆10的自动操作的安全性的影响。
在下文中,将参照图2更详细地描述装备有电子装置100的车辆10。
图2是装备有根据本公开实施例的电子装置100的车辆10的功能框图。
参考图2,电子装置100、通信模块300和传感器400可以安装在车辆10中。
首先,传感器400可以通过感测从车辆10的外部环境生成的输入来收集环境数据。由传感器400收集的环境数据可以被发送到电子装置100。
在本公开的实施例中,传感器400可包括用于检测车辆10附近的物体的传感器、用于检测车辆10的当前位置/地点的传感器、用于获得车辆10周围环境的图像的传感器和/或用于检测车辆10的姿态的传感器。例如,传感器400可以安装在车辆10中,并且包括相机、光检测和测距传感器(LIDAR)、无线电检测和测距传感器(雷达)、全球定位系统(GPS)、加速度传感器和/或陀螺仪传感器。安装到车辆10的传感器400不限于上述示例,并且未示出的各种类型的传感器可以安装在车辆10中。一个或多个传感器400可以安装在车辆10中。
通信模块300可以包括通信电路,该通信电路能够在电子装置100和服务器200之间收发数据,同时通过通信网络30与服务器200通信。也就是说,通信模块300可以通过通信网络30将从电子装置100提供的环境数据发送到服务器200,并且可以通过通信网络30将从服务器200接收的控制命令发送到电子装置100。通信模块300可以包括网络接口卡(NIC)。
在本公开的实施例中,通信模块300可以使用各种可支持的通信方法中的任何一种与服务器200通信。各种可支持的通信方法可以包括但不限于5G毫米波通信方法、5GSUB6通信方法和长期演进(LTE)通信方法。5G毫米波通信方法和5G SUB6通信方法都可以对应于5G通信方法,但是在可用频带上可以不同。
通信模块300可以使用任何一种通信方法与服务器200通信,然后通过用另一种通信方法替换相同的通信方法来与服务器200通信。例如,当在特定区域难以使用5G毫米波通信方法时,通信模块300可以通过5G毫米波通信方法与服务器200通信,然后通过转换到LTE通信方法与服务器200通信。
当有各种通信方法可用于与服务器200通信时,通信模块300可以通过具有较高优先级的通信方法与服务器200通信。例如,当通信模块300可以通过5G毫米波通信方法和5GSUB6通信方法与服务器200通信,并且5G毫米波通信方法的优先级高于5G SUB6通信方法的优先级时,通信模块300可以使用5G毫米波通信方法与服务器200通信。
通信模块300可以向电子装置100提供关于与服务器200的通信状态的信息。关于通信状态的信息可以包括表示与服务器200的通信速率的信息。当识别通信模块300和服务器200之间的通信方法时,可以识别通信速率,因此关于通信状态的信息可以包括表示通信方法的信息。
电子装置100可以包括存储器110和处理器130。
存储器110可以存储至少一个指令,并且处理器130可以通过执行该至少一个指令来执行用于控制车辆10的功能的操作。根据本公开的实施例,上述通信模块300可以包括在电子装置100中。
通过考虑通信模块300和服务器200之间的通信状态,电子装置100可以自适应地确定将被发送到服务器200的环境数据的目标大小。当要发送到服务器200的环境数据的大小增加时,用于将环境数据从通信模块300发送到服务器200的时间增加,结果,对车辆10的变化的外部环境的快速自动响应可能变得不可能。因此,当通信模块300和服务器200之间的通信状态稳定并且带宽充足时,电子装置100可以增加环境数据的目标大小,因为更大的带宽和稳定性不会阻碍响应的快速性,并且增加的数据粒度可以有助于对车辆10的外部因素生成更准确的响应。当通信模块300和服务器200之间的通信状态遭受中断时,电子装置100可以减小环境数据的目标大小以维持传输时间,从而维持对车辆10的外部环境的变化的自动响应的一定程度的快速性。
服务器200可以分析通过通信模块300从电子装置100接收的环境数据,并生成指示如何控制车辆10的功能的控制命令。例如,基于对环境数据的分析,当服务器200确定车辆10即将右转时,服务器200可以生成表示右转的控制命令。
可以通过通信模块300从服务器200向电子装置100提供控制命令。电子装置100可以根据控制命令控制车辆10的功能。例如,电子装置100可以控制车辆10的发动机11、动力系12、制动器13、转向14或悬架15中的至少一个,以允许车辆10执行特定功能(例如,右转)。
图2示出了发动机11、动力系12、制动器13、转向装置14和悬架15由电子装置100控制;然而,这仅仅是一个示例。电子装置100可以控制安装在车辆10中的诸如空调和照明的各种设备来执行特定功能。
将参照图3更详细地描述电子装置100的操作。
图3是示出根据本公开的实施例的控制车辆10的功能的方法的流程图。
在操作S310,电子装置100可识别通信模块300和服务器200之间的通信状态。电子装置100可以从通信模块300接收关于通信状态的信息,并识别通信状态(例如,质量、稳定性、带宽等)在通信模块300和服务器200之间进行通信。
在操作S320,电子装置100可根据识别的通信状态确定将被发送到服务器200的环境数据的目标大小。例如,当通信状态指示质量超过某个质量阈值(例如,信号强度、带宽等)时,将被发送到服务器200的环境数据的目标大小可以增加。当通信状态指示质量低于特定质量阈值时,可以减小要发送到服务器200的环境数据的目标大小,以使得能够维持稳定的数据传输时间。下面将参照图4等描述电子装置100确定环境数据的目标大小的方法。
在操作S330中,电子装置100可以控制和/或配置传感器400来检测环境数据,但是以使得收集的数据的大小小于或等于在操作S320中确定的目标大小的方式。也就是说,电子装置100可以控制传感器400的操作,使得由传感器400收集的检测到的环境数据的总大小小于或等于目标大小。
例如,电子装置100可以控制传感器400,使得由传感器400收集的环境数据的总大小可以小于或等于目标大小,但是接近目标大小。
作为另一示例,电子装置100可以控制传感器400,使得由传感器400收集的环境数据的总大小可以小于或等于目标大小,并且其与目标大小的差可以小于或等于阈值。例如,当目标大小是100Mb并且阈值是10Mb时,环境数据的总大小可以是大约90Mb到大约1000Mb。
关闭安装在车辆10中的一些传感器400的感测操作或者降低安装在车辆10中的传感器400的感测能力可以被认为是控制传感器400的方法。这将在下面参照图10和图11进行描述。
在操作S340,电子装置100可将从传感器400获得的环境数据发送到服务器200。电子装置100可以转换(例如,压缩)环境数据,以使其适合于通信模块300和服务器200之间使用的通信方法。
服务器200可以通过分析从电子装置100接收的环境数据来生成用于车辆的控制命令。例如,服务器200可以检索指示在自动操作中执行车辆10的功能的控制命令。在一些示例中,可以通过将环境数据输入到用于机器学习的经过训练的神经网络中来选择或生成适当的控制命令。
在操作S350中,电子装置100可以根据从服务器200接收的控制命令来控制车辆10的功能。因此,车辆10对外部环境中发生的事件执行自动响应,这些事件由传感器检测并在必要的时间内传输到外部服务器。
如参照图3所述,电子装置100可以通过根据通信模块300和服务器200之间的通信状态自适应地确定环境数据的目标大小来保持自动驾驶的稳定性和准确性。
当环境数据的目标大小减小到小于某个阈值时,可以保持对外部因素的快速响应。然而,由于传感器数据细节的减少,自动驾驶响应的准确性可能会降低。因此,设定环境数据的目标大小可能是重要的,该环境数据的目标大小能够在车辆10的自动操作中实现快速和准确的响应。
在本公开的实施例中,当电子装置100确定收集特定大小的环境数据时,当从传感器400收集环境数据的开始时间点到执行控制命令的时间点的预期时间小于或等于阈值时间时,特定大小可以被确定为环境数据的目标大小。阈值时间可以预先确定,以便确保车辆10的快速响应。
预期时间可分为如下详细时间。
①传感器400收集环境数据的时间;②环境数据从传感器400发送到电子装置100的时间;③电子装置100转换环境数据并将其发送到通信模块300的时间;④通信模块300通过通信网络30向服务器200发送环境数据的时间;⑤服务器200分析环境数据并生成控制命令的时间;⑥服务器200通过通信网络30向通信模块300发送控制命令的时间;⑦控制命令从通信模块300发送到电子装置100的时间;以及⑧电子装置100根据控制命令控制车辆10的功能的时间。
上面列出的详细时间可以根据要发送到服务器200的环境数据的大小而变化。例如,随着环境数据的大小增加,详细时间①、详细时间②、详细时间③、详细时间④和详细时间⑤可能会增加。
特别地,因为详细时间④和⑥取决于通信模块300和服务器200之间的通信状态(特别是通信速率),所以电子装置100应该通过考虑通信状态来确定要发送给服务器200的环境数据的目标大小。
电子装置100可以预先知道在特定通信状态下收集特定大小的环境数据将花费多少时间。例如,在以5G毫米波通信方法收集100Mb环境数据的情况下,电子装置100可以预先知道从收集环境数据的开始时间点到执行控制命令的时间点将花费1秒,而在以LTE通信方法收集100Mb环境数据的情况下,从收集环境数据的开始时间点到执行控制命令的时间点将花费2秒。
根据本公开的实施例,电子装置100可以通过将关于通信状态和阈值时间的信息输入到预先存储的算法中来计算要发送到服务器200的环境数据的目标大小。
根据本公开的实施例,当通过考虑预期时间和阈值时间来确定目标大小时,电子装置100可以进一步确定服务器200的分析精度。服务器200的分析精度可能与详细时间⑤有关。因为详细时间⑤随着分析精度的增加而增加,所以电子装置100可以确定目标大小和分析精度,使得预期时间可以小于或等于阈值时间。
电子装置100可以将分析精度发送到服务器200,并且服务器200可以根据接收的分析精度来分析环境数据。例如,当分析精度为3时,服务器200可以通过预定的第一算法来分析环境数据;当分析精度为2时,服务器200可以通过复杂度低于第一算法的第二算法来分析环境数据;当分析精度为1时,服务器200可以通过复杂度低于第二算法的第三算法来分析环境数据。第一算法可包括第一神经网络,第二算法可包括层数比第一神经网络少的第二神经网络,第三算法可包括层数比第二神经网络少的第三神经网络。
图4是用于描述根据本公开实施例的确定要发送到服务器200的环境数据的目标大小的方法的图。
参照图4,在操作S410,电子装置100可确定对于具有候选大小的数据,将环境数据发送到外部服务器的预测预期时间是否小于预定阈值时间。
在操作S420,当预期时间小于阈值时间时,可确定候选大小是合适的。因此,候选大小可以被设置为环境数据的目标大小。即使当特定大小增加时,当预期时间小于阈值时间时,目标大小也可以被确定为大于特定大小的大小。也就是说,电子装置100可以将导致预期时间小于阈值时间的各种大小当中的最大大小确定为目标大小。如上所述,阈值时间是为了确保车辆10的快速响应;然而,因为快速响应可能无法确保安全性,所以将在快速响应可能的范围内收集最大大小的环境数据。
在操作S430,当预期时间大于或等于阈值时间时,可确定候选大小对于在阈值时间内发送来说太大。因此,电子装置100可通过重新执行操作S410来减小候选大小并重新评估减小的候选大小。
此外,阈值时间可以根据车辆10的当前情况而变化。例如,当车辆10以高速行驶时(例如,高于某一速度阈值),阈值时间应该短,而当车辆10以低速行驶时(例如,低于某一速度阈值),即使阈值时间长,也可能不会出现问题。
图5是根据本公开的实施例,用于描述确定用于确定目标大小的阈值时间的方法的图。
如图5所示,在一些实施例中,电子装置100可以生成多个候选阈值时间,然后电子装置100可以从各种候选阈值时间当中选择特定的阈值时间。可以通过考虑车辆10的速度和车辆10的当前位置来进行选择。例如,车辆10的当前位置可以指示车辆10是否位于预先指定为危险的区段,在这种情况下,减少候选阈值时间以确保车辆10的自动操作的更快响应。
如图5所示,当车辆10的速度为30km/h或更低并且车辆10位于风险1的区段中时,1秒可以被选择为阈值时间。
参考图5,可以看出,阈值时间随着车辆10的速度增加而减少。作为示例,当车辆10的速度为30km/h或更低并且车辆10位于风险1的区段中时,阈值时间可以是1秒,并且当车辆10的速度为31km/h或更高并且60km/h或更低并且车辆10位于风险1的区段中时,阈值时间可以是0.8秒。
同样,阈值时间可以随着车辆10的风险增加而减少。作为示例,当车辆10的速度为30km/h或更低并且车辆10位于风险1的区段中时,阈值时间可以是1秒,并且当车辆10的速度为30km/h或更低并且车辆10位于风险2的区段中时,阈值时间可以是0.8秒。
图5示出了电子装置100通过考虑车辆10的速度和车辆10的位置来选择阈值时间;然而,这仅仅是一个示例。电子装置100可以通过考虑车辆10的速度来选择阈值时间,或者可以通过考虑车辆10的位置来选择阈值时间。
根据本公开的实施例,电子装置100可以通过根据车辆10的速度或车辆10所处区域的风险中的至少一个增加或减少预设阈值时间来确定用于确定目标大小的目标时间。例如,当预设阈值时间对应于车辆10的速度为大约31公里/小时至大约60公里/小时并且风险为2的情况时,当车辆10的速度大于范围从大约31公里/小时至大约60公里/小时的速度或者风险大于2时,预设阈值时间可以减少。
此外,可以计算稳定性水平作为自动驾驶操作的稳定性(例如,安全性)的表示,其可以基于阈值时间和目标大小。较短的阈值时间值有助于车辆10更快的自动响应。此外,自动驾驶响应的准确性随着环境数据的目标大小的增加而增加(例如,由于更丰富和更详细的数据)。因此,可以通过考虑阈值时间和环境数据的目标大小来识别车辆10的自动操作的稳定性。
图6是示出根据本公开的实施例的对应于要发送到服务器200的环境数据的目标大小和阈值时间的自动驾驶的稳定性水平的图。
参照图6,可以看出,随着要发送到服务器200的环境数据的目标大小的增加,自动驾驶的估计稳定性水平可以增加,并且自动驾驶的稳定性水平随着阈值时间的减少而增加。例如,当阈值时间为大约0.1s至大约0.4s时,当环境数据的目标大小为10Mb或更小时,稳定性水平可以是2,当环境数据的目标大小为大约51Mb至大约100Mb时,稳定性水平可以是3。此外,当环境数据的目标大小为10Mb或更小时,当阈值时间为大约0.1s至大约0.4s时,稳定性水平可以是2,当阈值时间为1s时,稳定性水平可以是1。
当自动驾驶的稳定性水平被识别时,电子装置100可以通过车辆10的输出装置(例如,扬声器或显示器)输出自动驾驶的稳定性水平。自动驾驶的稳定性水平可以代表自动驾驶模式。驾驶员的干预程度可能因自动驾驶模式而异。例如,在自动驾驶的稳定性水平为3的自动驾驶模式中可能不需要驾驶员干预,而在自动驾驶的稳定性水平为2的自动驾驶模式中可能需要一些驾驶员干预(例如,握住方向盘时向前看)。在自动驾驶的稳定性水平为1的自动驾驶模式下,可以强制进行大量的用户干预(例如,能够通过在握住方向盘的同时向前看而在任何时候操作制动器)。
通过通知驾驶员当前自动驾驶操作(例如,自动驾驶模式)的估计稳定性水平,可以通知驾驶员在车辆自动操作期间可能需要或多或少的人为干预来响应外部环境中发生的事件的时间段。
图6示出了通过考虑目标大小和阈值时间来确定自动驾驶的稳定性水平;然而,这仅仅是一个示例。电子装置100可以通过考虑目标大小来考虑自动驾驶的稳定性水平,或者可以通过考虑阈值时间来考虑自动驾驶的稳定性水平。
图7是用于描述根据本公开的实施例,可以为出发点和到达点之间的路线中的每个区段预测自动驾驶的稳定性水平的图。
当通过车辆10的导航700设置出发点710和到达点730时,电子装置100可以预测出发点710和到达点730之间的总路线720中的每个区段722、724和726的多个自动驾驶稳定性水平,并输出每个区段的相应预测稳定性水平。
电子装置100可以预先获得关于在路线中的每个区段722、724和726中以何种通信状态与服务器200进行通信的信息,并且可以基于与服务器200的通信状态来预测每个区段中的自动驾驶的稳定性水平。当识别出通信状态时,根据本公开的上述实施例,电子装置100可以计算每个区段中的自动驾驶的稳定性水平。
如图7所示,电子装置100可以根据预测的稳定性水平在每个区段中不同地显示出发点710和到达点730之间的路线720。例如,稳定性水平3的区段722可以显示为绿线,稳定性水平2的区段724可以显示为橙线,稳定性水平1的区段726可以显示为红线。作为另一示例,电子装置100可以以文本显示路线的区段的预测稳定性水平。
当驾驶员沿着出发点710和到达点730之间的路线720行驶时,驾驶员可以被告知在车辆自动导航期间可能需要或多或少的人为干预来响应外部环境中发生的事件的区段。
图8是用于描述根据本公开实施例的基于自动驾驶的预测稳定性水平从出发点和到达点之间的各种路线中选择推荐路线的方法的图。
在本公开的实施例中,当存在连接出发点和到达点的各种路线时,电子装置100可以计算每个预期路线的分段的稳定性水平,计算每条路线的预测稳定性水平的平均值,然后根据计算的平均值选择推荐路线。
参照图8,当存在连接出发点和到达点的路线A和路线B时,电子装置100可以确定路线A的区段a-1、区段a-2和区段a-3中的每一个的预测稳定性水平以及路线B的区段b-1、区段b-2和区段b-3中的每一个的预测稳定性水平。
电子装置100可以计算整个路线A和整个路线b的预测稳定性水平的平均值。这些计算可以例如考虑每个区段中的驾驶时间。例如,电子装置100可以通过根据每个驾驶时间对每条路线的每个区段中的预测稳定性水平进行加权平均来计算预测稳定性水平的平均值。具体地,电子装置100可以将路线A的预测稳定性水平的平均值计算为(3*0.4)+(1*0.3)+(2*0.3),并且将路线B的平均预测稳定性水平计算为(2*0.5)+(3*0.3)+(2*0.2)。可通过将驾驶时间的总和归一化为1来计算乘以路线的每个区段的预测稳定性水平的权重。也就是说,因为路线A的总驾驶时间是100分钟,所以乘以区段a-1的预测稳定性水平3的权重可以被确定为40/100。
当路线A的平均预测稳定性水平是2.1并且路线B的平均预测稳定性水平是2.3时,由于路线B具有更高的平均预测稳定性水平,所以电子装置100可以自动选择路线B作为推荐路线。
上述选择推荐路线的方法仅仅是示例,并且当沿着每条路线行驶时,电子装置100可以通过进一步考虑通行费、总驾驶时间等来选择推荐路线。
图9是用于描述根据本公开实施例的根据车辆10和服务器200之间的通信方法(例如,通信类型)确定要发送到服务器200的环境数据的目标大小的方法的图。
电子装置100可以选择与车辆10和服务器200之间的通信方法相对应的自动驾驶的稳定性水平(即,自动驾驶模式),并且确定与所选择的自动驾驶的稳定性水平相对应的环境数据的目标大小。
在上文中,通过考虑车辆10和服务器200之间的通信状态、预期时间和阈值时间来确定目标大小和确定自动驾驶的稳定性水平;然而,根据本公开的实施例,可以根据车辆10和服务器200之间的通信方法来确定自动驾驶的稳定性水平和目标大小。
如图9所示,通信模块300和服务器200之间可用的各种通信方法、自动驾驶的各种稳定性水平以及环境数据的各种目标大小可以相互映射。例如,当通信模块300和服务器200通过5G毫米波通信方法通信时,自动驾驶的稳定性水平可被确定为3,目标大小可被确定为100Mb。此外,当通信模块300和服务器200通过5G SUB6通信方法通信时,自动驾驶的稳定性水平可以被确定为2,并且目标大小可以被确定为50Mb。
在图9所示的实施例中,可以考虑通信方法/类型以避免用于计算环境数据的目标大小的时间增加。
在下文中,将描述在确定目标大小之后电子装置100从传感器400获得环境数据的方法。
图10和图11是用于描述根据本公开的实施例通过考虑车辆10的移动方向从安装在车辆10中的传感器400中选择要关闭的传感器400的方法的图。
当确定要发送到服务器200的环境数据的目标大小时,电子装置100可以控制传感器400的功能,使得由传感器400收集的环境数据落入所确定的目标大小内。
在本公开的实施例中,电子装置100可以通过例如禁用一些传感器400来减小由传感器400收集的环境数据的总大小。当在所有传感器400都开启的状态下收集的环境数据的总大小大于要发送到服务器200的环境数据的目标大小时,这可能是有用的。
通过考虑车辆10的移动方向或车辆10的位置中的至少一个,电子装置100可以从传感器400中选择要去激活的传感器400。例如,车辆10的位置可以允许考虑到车辆的子区域、其方向性等的风险。
例如,如图10所示,当车辆10向前移动时,电子装置100可以禁用后方相机、后方激光雷达传感器、侧面激光雷达传感器和陀螺仪传感器,使得从禁用的传感器400停止环境数据收集。
此外,如图11所示,当车辆10向右转时,电子装置100可以禁用后方相机和后方激光雷达,使得环境数据不再由禁用的传感器400收集。
电子装置100可以根据车辆10的移动方向或车辆10的位置中的至少一个来预先确定应该被顺序去激活的传感器400,并且可以根据优先级来顺序去激活传感器400,使得由传感器400收集的环境数据的总大小可以小于或等于将被发送到服务器200的环境数据的目标大小。
在本公开的另一实施例中,电子装置100可以降低传感器400的感测能力,使得由传感器400收集的环境数据的大小可以小于或等于要发送到服务器200的环境数据的目标大小。例如,电子装置100可以通过降低由相机获得的图像的分辨率或者通过降低由LIDAR或雷达检测的范围(距离或面积)来降低由传感器400收集的环境数据的总大小。
电子装置100可以根据要发送到服务器200的环境数据的目标大小来自适应地确定感测能力的降低程度。例如,当要发送到服务器200的环境数据的目标大小是第一大小时,由相机获得的图像的分辨率可以被确定为UHD(3840*2160);当要发送到服务器200的环境数据的目标大小是小于第一大小的第二大小时,由相机获得的图像的分辨率可以被确定为FHD(1920*1080);并且当要发送到服务器200的环境数据的目标大小是比第二大小小的第三大小时,由相机获得的图像的分辨率可被确定为HD(1280*720)。
图12是示出根据本公开的另一实施例的控制车辆10的功能的方法的流程图。
在操作S1210,电子装置100可以识别通信模块300和服务器200之间的通信状态。电子装置100可以从通信模块300接收关于通信状态的信息,并根据接收的信息识别通信模块300和服务器200之间的通信状态。
在操作S1220,电子装置100可根据识别的通信状态确定将被发送到服务器200的环境数据的目标大小。因为上面已经描述了确定要发送到服务器200的环境数据的目标大小的方法,所以为了简明起见,将省略其冗余描述。
在操作S1230,电子装置100可以选择已经从传感器400获得的一些环境数据。当从传感器400获得的环境数据的总大小大于在操作S1220中确定的目标大小时,电子装置100可从自传感器400获得的环境数据当中选择获得的环境数据的子部分,使得子部分的总大小小于或等于目标大小。因此,电子装置100可以选择总大小小于或等于目标大小的一些环境数据,并且当数据的子部分的不同配置是可能的时,选择大小最接近目标大小的特定配置来传输到外部服务器。
图3所示的实施例涉及在从传感器400接收环境数据之前确定要发送到服务器200的环境数据的目标大小的情况;然而,当电子装置100可能不控制传感器400的功能或者已经从传感器400接收到环境数据时,图12所示的实施例可能是有用的。
当选择一些环境数据时,电子装置100可以考虑环境数据的优先级,这将在下面参照图13和图14进行描述。
在操作S1240,电子装置100可将从传感器400获得的一些环境数据发送到服务器200。电子装置100可以转换(例如,压缩)环境数据以适合于通信模块300和服务器200之间的通信方法。
服务器200可以通过分析从电子装置100接收的环境数据来生成控制命令。例如,服务器200可以通过将环境数据输入到经过训练的神经网络中来获得指示车辆10应该如何运行的控制命令。
在操作S1250中,电子装置100可以根据作为对环境数据的响应从服务器200接收的控制命令来控制车辆10的功能。
图13和图14是用于描述根据本公开的实施例,通过考虑车辆10的移动方向,从由传感器400收集的环境数据当中选择要发送到服务器200的环境数据的方法的图。
电子装置100可以根据车辆10的移动方向或车辆10的位置中的至少一个来选择从传感器400获得的一些环境数据。车辆10的位置可以代表车辆10所处区域的风险水平。
如图13所示,当车辆10向前移动时,电子装置100可以选择由前方相机、前方激光雷达、GPS和加速度传感器收集的环境数据作为发送到服务器200的环境数据。
此外,如图14所示,当车辆10右转时,电子装置100可以选择由前方相机、前方激光雷达、侧面激光雷达、GPS、加速度传感器和陀螺仪传感器收集的环境数据作为发送到服务器200的环境数据。
通过考虑车辆10的移动方向或车辆10的位置中的至少一个,电子装置100可以预设由不同传感器收集的不同环境数据集之间的优先级。此外,电子装置100可以根据预设的优先级顺序地选择要发送到服务器200的环境数据,使得选择的环境数据的总大小可以小于或等于目标大小,并且可以最接近目标大小。
此外,上面已经描述了电子装置100主动确定要发送到服务器200的环境数据的目标大小;然而,根据本公开的实施例,服务器200可以请求电子装置100减小环境数据的大小。服务器200可以向电子装置100发送服务器200要接收的环境数据的目标大小信息。可选地,服务器200可以请求电子装置100减小环境数据的大小,并且电子装置100可以根据减小请求来确定目标大小。
当服务器200请求减小环境数据的大小时,当施加到服务器200的负载大时,这可能是有用的。例如,当大量车辆10与服务器200链接地自动驾驶时,因为施加到服务器200的负载增加,所以服务器200可以通过向车辆10发送减小环境数据的大小的请求来减小要处理的负载。
在本公开的实施例中,由电子装置100(特别是由电子装置100的处理器130)执行的至少一个操作可以通过使用AI技术来执行。下面将参照图15详细描述通过使用AI技术执行的至少一个操作。
图15是用于描述通过使用AI技术执行的操作的图。
具体地,可以通过使用通过神经网络执行操作的AI技术来执行由电子装置100执行的i)确定目标大小的操作、ii)选择阈值时间的操作、iii)从传感器400中选择要关闭的传感器400的操作、或者iv)从环境数据中选择要发送到服务器200的一些环境数据的操作中的至少一个。例如,可以基于基于上述服务器200和车辆10之间的通信状态的AI来执行。
AI技术可以是通过基于神经网络的操作处理(例如,分析和/或分类)输入数据来获得期望结果的技术。
AI技术可以通过使用算法来实现。这里,用于实现AI技术的算法或一组算法可以被称为神经网络。神经网络可以接收输入数据,执行分析和/或分类操作,并输出结果数据。为了使神经网络准确地输出对应于输入数据的结果数据,需要训练神经网络。这里,“训练”可以表示训练神经网络,使得神经网络可以亲自找到并学习分析多条输入到神经网络的输入数据的方法、对多条输入数据进行分类的方法和/或从多条输入数据中提取用于生成结果数据的特征的方法。特别地,通过训练过程,神经网络可以基于训练数据优化神经网络中的权重值。然后,通过具有优化权重值的神经网络处理输入数据,可以输出期望的结果。
当存在多个隐藏层作为用于执行操作的内部层时,即,当用于执行操作的神经网络的深度增加时,神经网络可以被分类为深度神经网络。神经网络的示例可以包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机器(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)和深度Q网络。同样,神经网络可以被细分。例如,CNN神经网络可以细分为深度卷积神经网络(DCNN)或CapsNet神经网络(未示出)。
“AI模型”可以指包括至少一层的神经网络,该层接收输入数据并操作以输出期望的结果。此外,“AI模型”可以指通过神经网络、一组算法、用于执行算法(或一组算法)的处理器、用于执行算法(或一组算法)的软件、或用于执行算法(或一组算法)的硬件来执行操作以输出期望结果的算法。
i)确定目标大小的操作,ii)选择阈值时间的操作,iii)从传感器400中选择要关闭的传感器400的操作,或者iv)选择一些环境数据的操作中的至少一个可以基于AI模型来执行。
参考图15,可以通过接收训练数据来训练神经网络1510。此外,经训练的神经网络1510可以通过输入端1520接收输入数据1511(例如,通信状态信息或环境数据的目标大小信息),并且输入端1520、隐藏层1530和输出端1540可以通过分析输入数据1511和从前一层发送的数据来执行用于输出输出数据1515的操作。在图15中,示出了一个隐藏层1530;然而,这仅仅是示例,隐藏层1530可以包括多个层。
例如,神经网络1510可以学习基于通信状态信息确定要发送到服务器200的环境数据的目标大小的方法。经训练的神经网络1510可以接收通信状态信息,并确定环境数据的目标大小。
作为另一个示例,基于环境数据的目标大小信息,神经网络1510可以学习从传感器400中选择要关闭的传感器400的方法和/或选择一些环境数据的方法。经训练的神经网络1510可接收环境数据的目标大小信息,并从传感器400和/或一些环境数据中选择要关闭的传感器400。
在本公开的实施例中,可以在处理器(例如,图2的130)中实现用于执行以下操作中的至少一个的神经网络:i)确定环境数据的目标大小的操作,ii)选择阈值时间的操作,iii)从传感器400中选择要关闭的传感器400的操作,或者iv)选择一些环境数据的操作。
可选地,执行以下操作中的至少一个的神经网络可以在电子装置(未示出)或与电子装置100不同的处理器(未示出)中实现:i)确定环境数据的目标大小的操作,ii)选择阈值时间的操作,iii)从传感器400中选择要关闭的传感器400的操作,或iv)选择一些环境数据的操作。
上述通过神经网络的操作可以由服务器(未示出)执行,该服务器可以通过无线通信网络与根据本公开实施例的电子装置100通信。将参照图16描述电子装置100和服务器(未示出)之间的通信。
参考图16,服务器1600可以包括与电子装置100通信的通信模块1610和执行至少一个指令的处理器1630。服务器1600可以是图1和图2所示的服务器200。
例如,服务器1600的处理器1630可以获得关于通信状态的信息,并根据通信状态信息确定要发送到服务器200或1600的环境数据的目标大小。通信模块1610可以将环境数据的目标大小信息发送到电子装置100。
在本公开的实施例中,服务器1600可以通过参照图15描述的神经网络1510执行操作来确定环境数据的目标大小。特别地,服务器1600可以训练AI模型并存储训练的AI模型。此外,服务器1600可通过使用训练的AI模型来确定上述环境数据的目标大小。
通常,在存储器存储容量、操作处理速度、训练数据集的收集能力等方面,与服务器1600相比,电子装置100可能受到限制。因此,在服务器1600执行需要存储大量数据和大量计算的操作之后,数据和/或AI模型可以通过通信网络发送到电子装置100。然后,通过经由服务器1600接收和使用数据和/或AI模型,电子装置100可以在没有具有大容量存储器和快速操作能力的处理器的情况下快速且容易地执行操作。
在本公开的实施例中,服务器1600可以包括参照图15描述的神经网络1510。具体地,包括在服务器1600中的神经网络1510可以执行以下操作中的至少一个:i)确定环境数据的目标大小的操作,ii)选择阈值时间的操作,iii)从传感器400中选择要关闭的传感器400的操作,或者iv)选择一些环境数据的操作。
通信模块300可以通过无线通信网络1615与外部设备(例如,服务器200或1600)通信。这里,外部设备(未示出)可以包括服务器(例如,200或1600),该服务器可以执行由电子装置100执行的操作中的至少一个,或者可以发送电子装置100使用的数据。
通信模块300可以包括至少一个通信模块,例如短距离通信模块、有线通信模块、移动通信模块和/或广播接收模块。这里,通信模块300可以包括执行广播接收的调谐器和/或能够通过符合诸如使用蓝牙、无线LAN(WLAN)(WiFi)、无线宽带(WiBro)、微波接入全球互通(WiMAX)、CDMA、WCDMA、互联网、3G、4G、5G和/或毫米波(mmWave)的通信方法的通信标准的网络执行数据发送/接收的通信模块。
例如,通信模块300可以通过使用毫米波执行通信来快速发送/接收大量数据。特别地,车辆10可以通过使用毫米波快速接收大量数据并快速提供用户内容(例如,电影或音乐)和/或有益于车辆10安全的数据(例如,用于自动驾驶的数据和/或用于导航服务的数据)来增加车辆10的安全性和/或用户的便利性。
通信模块300可以通过符合诸如3G、4G和/或5G的通信标准的通信网络与位于远处的另一设备(例如,服务器200或1600)通信。这里,执行与位于长距离的另一装置的通信的通信模块300可以被称为“长距离通信模块”。
参照图16,服务器1600可以包括通信模块1610和处理器1630。此外,服务器1600还可以包括数据库(DB)1650。
通信模块1610可以包括用于允许与电子装置100通信的一个或多个元件。因为通信模块1610的详细配置对应于上述通信模块300的配置,所以为了简明起见,将省略其冗余描述。
例如,通信模块1610可以通过符合诸如互联网、3G、4G和/或5G的通信标准的通信网络与位于远距离的另一设备(例如,电子装置100)通信。
处理器1630可以控制服务器1600的整体操作。例如,处理器1630可以通过执行服务器1600的至少一个程序或至少一个指令来执行期望的操作。
DB 1650可以包括存储器(未示出)并且存储至少一个指令、程序或数据中的至少一个,用于服务器1600在存储器(未示出)中执行特定操作。此外,DB 1650可以为服务器1600存储数据,以根据神经网络执行操作。
在本公开的实施例中,服务器1600可以存储参照图15描述的神经网络1510。神经网络1510可以存储在处理器1630或DB 1650中的至少一个中。包括在服务器1600中的神经网络1510可以是已经被训练的神经网络。
在本公开的实施例中,服务器1600可以通过使用内部包括的神经网络来确定上述环境数据的目标大小,并且通过通信模块1610将确定的目标大小信息发送到电子装置100的通信模块300。
此外,服务器1600可以通过通信模块1610将训练的神经网络发送到电子装置100的通信模块300。然后,电子装置100可以获得并存储训练的神经网络,并且可以通过神经网络获得期望的输出数据。
图17是根据本公开的一些实施例的包括在电子装置100中的处理器130的框图。
参考图17,根据本公开的一些实施例的处理器130可以包括数据学习器1710和数据识别器1720。
数据学习器1710可以学习用于以下至少一个的标准:i)确定环境数据的目标大小的操作,ii)选择阈值时间的操作,iii)从传感器400中选择要关闭的传感器400的操作,或者iv)选择一些环境数据的操作。
例如,数据学习器1710可以学习关于使用哪些数据来确定环境数据的目标大小和/或如何通过使用数据来选择环境数据的目标大小的标准。
通过获得用于训练的数据并将获得的数据应用于下述的数据识别模型,数据学习器1710可以学习用于以下中的至少一个的标准:i)确定环境数据的目标大小的操作,ii)选择阈值时间的操作,iii)从传感器400中选择要关闭的传感器400的操作,或者iv)选择一些环境数据的操作。
数据识别器1720可基于数据(例如,通信状态信息)确定将被发送到服务器200或1600的环境数据的目标大小。数据识别器1720可以通过使用经训练的数据识别模型从某些数据中确定环境数据的目标大小。数据识别器1720可通过根据基于训练的预设标准获得特定数据,然后通过使用获得的数据作为输入值来使用数据识别模型,基于特定数据确定环境数据的目标大小。此外,数据识别模型通过使用所获得的数据作为输入值而输出的结果值可以用于更新数据识别模型。
数据学习器1710或数据识别器1720中的至少一个可以以至少一个硬件芯片的形式制造并安装在电子设备100上。例如,数据学习器1710或数据识别器1720中的至少一个可以以用于AI的专用硬件芯片的形式制造,或者可以作为通用处理器(例如,中央处理单元(CPU)或应用处理器)或图形处理器(例如,图形处理单元(GPU))的一部分制造,并且安装在上述电子装置100上。
数据学习器1710和数据识别器1720可以安装在一个电子装置100上,或者可以分别安装在单独的设备上。例如,数据学习器1710和数据识别器1720中的一个可以包括在电子装置100中,而另一个可以包括在服务器1600中。此外,数据学习器1710和数据识别器1720可以通过有线或无线向数据识别器1720提供由数据学习器1710生成的模型数据,或者输入到数据识别器1720的数据可以作为附加训练数据提供给数据学习器1710。
此外,数据学习器1710或数据识别器1720中的至少一个可以实现为软件模块。当数据学习器1710或数据识别器1720中的至少一个被实现为软件模块(或包括指令的程序模块)时,该软件模块可以被存储在非暂时性计算机可读记录介质中。此外,在这种情况下,至少一个软件模块可以由操作系统(OS)提供,或者可以由特定应用提供。可选地,至少一个软件模块中的一些可以由操作系统(OS)提供,而其他的可以由某个应用程序提供。
图18是根据本公开的一些实施例的数据学习器1710的框图。
参照图18,根据本公开的一些实施例的数据学习器1710可以包括数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4和模型评估器1710-5。
数据获取器1710-1可以获得用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据以及确定阈值时间当中的至少一个操作的数据。数据获取器1710-1可以获得用于学习确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的数据。
预处理器1710-2可以预处理为训练获得的数据。预处理器1710-2可以将数据预处理成预设格式,使得下面描述的模型训练器1710-4可以使用该数据来训练确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。
训练数据选择器1710-3可以从预处理的数据中选择用于训练的数据。所选择的数据可以被提供给模型训练器1710-4。训练数据选择器1710-3可根据用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的预设标准,从预处理的数据当中选择用于训练的数据。此外,训练数据选择器1710-3可以根据预设标准来选择数据,该预设标准基于下面描述的模型训练器1710-4的训练。
基于训练数据,模型训练器1710-4可以学习关于如何执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的标准。此外,模型训练器1710-4可以学习关于将哪些训练数据用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的标准。
此外,模型训练器1710-4可以使用训练数据来训练用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的数据识别模型。在这种情况下,数据识别模型可以是预先生成的模型。例如,数据识别模型可以是通过接收基本训练数据(例如,样本数据)预先生成的模型。
可以通过考虑识别模型的应用领域、训练目的或设备的计算机性能来生成数据识别模型。数据识别模型可以是例如基于神经网络的模型。例如,诸如卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)或双向递归深度神经网络(BRDNN)的模型可以用作数据识别模型;然而,本公开不限于此。
根据本公开的某些实施例,当存在多个预先生成的数据识别模型时,模型训练器1710-4可以将在输入训练数据和基本训练数据之间具有高关系的数据识别模型确定为待训练的数据识别模型。在这种情况下,可以为每种类型的数据预分类基本训练数据,并且可以为每种类型的数据预生成数据识别模型。例如,可以通过各种参考对基本训练数据进行预分类,诸如生成训练数据的地区、生成训练数据的时间、训练数据的大小、训练数据的类型、训练数据的生成者以及训练数据中的对象的类型。
此外,模型训练器1710-4可以通过使用例如包括误差反向传播或梯度下降的训练算法来训练数据识别模型。
此外,模型训练器1710-4可以例如通过使用训练数据作为输入值的监督学习来训练数据识别模型。此外,例如,模型训练器1710-4可以通过无监督学习来训练数据识别模型,用于通过自学针对环境数据的目标大小的确定、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的数据类型来找到用于执行在确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的标准。此外,例如,模型训练器1710-4可以通过使用关于根据训练确定环境数据的目标大小的结果是否正确的反馈的强化学习来训练数据识别模型。
此外,当训练数据识别模型时,模型训练器1710-4可以存储训练的数据识别模型。在这种情况下,模型训练器1710-4可以将训练的数据识别模型存储在包括数据识别器1720的电子装置100的存储器110中。可选地,模型训练器1710-4可以将训练的数据识别模型存储在通过有线或无线网络连接到电子装置100的服务器1600的存储器中。
在这种情况下,存储经训练的数据识别模型的存储器还可以存储例如与电子装置100的至少一个其他元件相关的命令或数据。此外,存储器可以存储软件和/或程序。该程序可以包括例如核、中间件、应用编程接口(API)和/或应用程序(或“应用”)。
模型评估器1710-5可以将评估数据输入到模型识别模型中,并且可以使模型训练器1710-4学习何时从评估数据输出的识别结果不满足特定标准。在这种情况下,评估数据可以是用于评估数据识别模型的预设数据。
例如,当关于评估数据的数据识别模型的识别结果中具有不准确识别结果的评估数据的数量或比率超过预设阈值时,模型评估器1710-5可以评估为不满足特定标准。例如,当特定标准被定义为2%的比率时,当数据识别模型对于总共1000条评估数据当中的超过20条评估数据输出不正确的识别结果时,模型评估器1710-5可以评估数据识别模型不合适。
此外,当存在多个训练的数据识别模型时,模型评估器1710-5可以评估每个训练的数据识别模型是否满足特定标准,并将满足特定标准的模型确定为最终的数据识别模型。在这种情况下,当存在满足特定标准的多个模型时,模型评估器1710-5可以将按照评估分数的降序预设的任何一个模型或特定数量的模型确定为最终数据识别模型。
此外,数据学习器1710中的数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4或模型评估器1710-5中的至少一个可以以至少一个硬件芯片的形式制造并安装在电子装置100上。例如,数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4或模型评估器1710-5中的至少一个可以以用于AI的专用硬件芯片的形式制造,或者可以作为通用处理器(例如,CPU或应用处理器)或图形处理器(例如,GPU)的一部分制造,并且安装在上述电子装置100上。
此外,数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4和模型评估器1710-5可以安装在一个电子装置100上,或者可以分别安装在单独的装置上。例如,数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4和模型评估器1710-5中的一些可以包括在电子装置100中,而其他的可以包括在服务器1600中。
此外,数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4或模型评估器1710-5中的至少一个可以实现为软件模块。当数据获取器1710-1、预处理器1710-2、训练数据选择器1710-3、模型训练器1710-4或模型评估器1710-5中的至少一个被实现为软件模块(或包括指令的程序模块)时,软件模块可以被存储在非暂时性计算机可读记录介质中。此外,在这种情况下,至少一个软件模块可以由操作系统(OS)提供,或者可以由特定应用提供。或者,至少一个软件模块中的一些可以由操作系统(OS)提供,而其他的可以由某个应用提供。
图19是根据本公开的一些实施例的数据识别器1720的框图。
参照图19,根据本公开的一些实施例的数据识别器1720可以包括数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4和模型更新器1720-5。
数据获取器1720-1可获得用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的数据,并且预处理器1720-2可预处理获得的数据,使得获得的数据可用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。预处理器1720-2可以将获得的数据预处理成预设格式,使得下面描述的识别结果提供器1720-4可以将获得的数据用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。
识别数据选择器1720-3可以从预处理数据中选择用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的数据。选择的数据可以被提供给识别结果提供器1720-4。识别数据选择器1720-3可根据预设标准为确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作选择一些或所有预处理数据。此外,识别数据选择器1720-3可以根据基于模型训练器1710-4的训练的预设标准来选择数据。
识别结果提供器1720-4可将选择的数据应用于数据识别模型,以执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。识别结果提供器1720-4可根据识别数据的目的来提供识别结果。识别结果提供器1720-4可通过使用由识别数据选择器1720-3选择的数据作为输入值,将选择的数据应用于数据识别模型。此外,识别结果可以由数据识别模型来确定。
模型更新器1720-5可以允许基于由识别结果提供器1720-4提供的识别结果的评估来更新数据识别模型。例如,通过向模型训练器1710-4提供由识别结果提供器1720-4提供的识别结果,模型更新器1720-5可以允许模型训练器1720-4更新数据识别模型。
此外,数据识别器1720中的数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4或模型更新器1720-5中的至少一个可以以至少一个硬件芯片的形式制造并安装在电子装置100上。例如,数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4或模型更新器1720-5中的至少一个可以以用于AI的专用硬件芯片的形式制造,或者可以作为通用处理器(例如,CPU或应用处理器)或图形处理器(例如,GPU)的一部分制造并安装在电子装置100上。
此外,数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4和模型更新器1720-5可以安装在一个电子装置100上,或者可以分别安装在单独的装置上。例如,数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4和模型更新器1720-5中的一些可以包括在电子装置100中,而其他的可以包括在服务器1600中。
此外,数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4或模型更新器1720-5中的至少一个可以实现为软件模块。当数据获取器1720-1、预处理器1720-2、识别数据选择器1720-3、识别结果提供器1720-4或模型更新器1720-5中的至少一个被实现为软件模块(或包括指令的程序模块)时,软件模块可以被存储在非暂时性计算机可读记录介质中。此外,在这种情况下,至少一个软件模块可以由操作系统(OS)提供,或者可以由特定应用提供。可选地,至少一个软件模块中的一些可以由操作系统(OS)提供,而其他的可以由某个应用提供。
图20是示出根据本公开的一些实施例的电子装置100和服务器1600通过彼此交互工作来学习和识别数据的示例的图。
参照图20,服务器1600可以学习确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的标准,并且电子装置100可以基于服务器1600的学习结果执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。
在这种情况下,服务器1600的模型训练器2710可以执行图18所示的数据学习器1710的功能。服务器1600的模型训练器2710可以通过使用数据来学习关于使用哪些数据来确定特定情况的标准以及关于如何执行环境数据的目标大小的确定、要关闭的传感器400的选择、要发送到服务器200的环境数据的选择和确定阈值时间当中的至少一个操作的标准。通过获得用于训练的数据并将获得的数据应用于数据识别模型,模型训练器2710可以学习用于确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作的标准。
此外,电子装置100的识别结果提供器1720-4可以将识别数据选择器1720-3选择的数据应用于服务器1600生成的数据识别模型,以执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。例如,识别结果提供器1720-4可将识别数据选择器1720-3选择的数据发送到服务器1600,并请求服务器1600将识别数据选择器1720-3选择的数据应用到识别模型,以执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。此外,识别结果提供器1720-4可以从服务器1600接收已经由服务器1600执行的确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据以及确定阈值时间当中的至少一个操作的结果信息。
可选地,电子装置100的识别结果提供器1720-4可以从服务器1600接收由服务器1600生成的识别模型,并使用接收的识别模型来执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。在这种情况下,电子装置100的识别结果提供器1720-4可以将识别数据选择器1720-3选择的数据应用于从服务器1600接收的数据识别模型,以执行确定环境数据的目标大小、选择要关闭的传感器400、选择要发送到服务器200的环境数据和确定阈值时间当中的至少一个操作。
此外,上述公开的实施例可以被写成可以在计算机中执行的程序,并且所写的程序可以被存储在介质中。
该介质可以是可以连续存储计算机可执行程序或临时存储它们以供执行或下载的任何介质。此外,介质可以是单个硬件单元或硬件单元组合形式的任何记录单元或存储单元,但不限于直接连接到计算机系统的介质,并且可以分布在网络上。介质的示例可以包括诸如硬盘、软盘和磁带之类的磁记录介质,诸如CD-ROM和DVD之类的光记录介质,诸如光软盘之类的磁光记录介质,以及被配置为存储程序指令的诸如ROM、RAM和闪存之类的存储介质。此外,作为介质的另一个示例,记录介质或存储介质可以由分发应用的应用商店或者由提供或分发各种其他软件的站点或服务器来管理。
尽管上面已经参照其实施例详细描述了本公开,但是本公开不限于上述实施例,并且本领域普通技术人员可以在不脱离本公开的范围的情况下对其进行各种修改和改变。
Claims (15)
1.一种用于控制车辆的功能的电子装置,包括:
存储器,存储至少一个指令;
通信电路,具有与外部服务器的通信连接;以及
处理器,可操作地耦合到所述存储器,
其中,所述至少一个指令可由处理器执行以使所述电子装置:
识别与外部服务器的所述通信连接的状态,
基于所识别的状态,确定要发送到外部服务器的数据的目标大小,
控制所述车辆的至少一个传感器以收集所述数据,使得所收集的数据的总大小小于或等于所确定的目标大小,
将由所述至少一个传感器收集的数据发送到外部服务器,以及
基于所发送的数据从外部服务器接收控制命令,并根据所接收的控制命令控制所述车辆的功能。
2.根据权利要求1所述的电子装置,其中,所述处理器还被配置为禁用所述至少一个传感器的一部分,以使所收集的数据的总大小小于或等于所确定的目标大小。
3.根据权利要求2所述的电子装置,其中,所述车辆包括多个传感器,并且
其中,所述处理器还被配置为基于所述车辆的移动方向或所述车辆的位置中的至少一个,从所述多个传感器当中选择要被禁用的特定传感器。
4.根据权利要求1所述的电子装置,其中,所述处理器还被配置为降低所述至少一个传感器的灵敏度,以使所收集的数据的总大小小于或等于所确定的目标大小。
5.根据权利要求1所述的电子装置,其中,所述目标大小被确定为使得从收集所述数据开始到控制所述功能的总时间小于或等于预定阈值时间。
6.根据权利要求5所述的电子装置,其中,所述处理器还被配置为:
确定分析精度,使得所述总时间小于或等于预定阈值时间;以及
除了所收集的数据之外,还将所确定的分析精度发送到外部服务器,
其中,所述控制命令由外部服务器至少基于以所确定的分析精度分析所收集的数据来生成。
7.根据权利要求5所述的电子装置,其中,所述处理器还被配置为基于所述车辆的速度或所述车辆的位置中的至少一个,从多个候选阈值时间当中选择所述预定阈值时间。
8.根据权利要求5所述的电子装置,其中,从外部服务器接收的所述控制命令包括用于所述车辆的自动操作的指令,并且
其中,所述处理器还被配置为至少基于所述目标大小和所述预定阈值时间来计算所述车辆的自动操作的稳定性水平,并且在所述车辆的输出设备上输出所计算的稳定性水平。
9.根据权利要求1所述的电子装置,其中,所述处理器还被配置为:
获得所述车辆从出发位置到目的地位置的导航路线;
将所述导航路线划分成区段;以及
针对所述区段计算所述车辆的自动操作的多个预测稳定性水平。
10.根据权利要求9所述的电子装置,其中,所述处理器还被配置为:
获得所述车辆从出发位置到目的地位置的多条潜在导航路线;
针对所述多条潜在导航路线中的每一条的区段计算多个预测稳定性水平;
通过对所述多条潜在导航路线中的每一条的区段的所述多个预测稳定性水平求平均来计算所述多条潜在导航路线中的每一条的平均预测稳定性水平;以及
基于具有所计算的平均预测稳定性水平当中的最高平均预测稳定性水平的特定导航路线,从所述多条潜在导航路线当中选择特定导航路线。
11.根据权利要求8所述的电子装置,其中,至少部分地基于所计算的所述车辆的自动操作的稳定性水平以及与外部服务器的通信类型来确定所述目标大小。
12.根据权利要求1所述的电子装置,其中,所述处理器还被配置为:
从先前获得的数据中选择具有总大小小于或等于所确定的目标大小的先前获得的数据的子部分,用于传输到外部服务器。
13.一种用于控制车辆的功能的电子装置的方法,所述方法包括:
识别与外部服务器的通信连接的状态;
基于所识别的状态,确定要发送到外部服务器的数据的目标大小;
控制所述车辆的至少一个传感器以收集所述数据,使得所收集的数据的总大小小于或等于所确定的目标大小;
将由所述至少一个传感器收集的数据发送到外部服务器;以及
基于所发送的数据从外部服务器接收控制命令,并且根据所接收的控制命令控制所述车辆的功能。
14.根据权利要求13所述的方法,还包括:
禁用所述至少一个传感器的一部分,以使所收集的数据的总大小小于或等于所确定的目标大小。
15.一种用于控制车辆的功能的电子装置,所述电子装置包括:
存储器,存储至少一个指令;以及
处理器,可操作地耦合到所述存储器,
其中,至少一个指令可由所述处理器执行以使所述电子装置:
识别与服务器的通信连接的状态,
基于所识别的状态,确定要发送到外部服务器的数据的目标大小,
从先前获得的数据中选择具有总大小小于或等于所确定的目标大小的先前获得的数据的子部分,用于传输到外部服务器,
将所选择的子部分传输到外部服务器,以及
基于所发送的数据从外部服务器接收控制命令,并根据所接收的控制命令控制所述车辆的功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0027429 | 2021-03-02 | ||
KR1020210027429A KR20220124313A (ko) | 2021-03-02 | 2021-03-02 | 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 |
PCT/KR2022/002796 WO2022186555A1 (ko) | 2021-03-02 | 2022-02-25 | 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116963952A true CN116963952A (zh) | 2023-10-27 |
Family
ID=83116886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280018605.6A Pending CN116963952A (zh) | 2021-03-02 | 2022-02-25 | 用于控制车辆的功能的电子设备及其方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220281465A1 (zh) |
EP (1) | EP4265499A4 (zh) |
CN (1) | CN116963952A (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160013713A (ko) * | 2014-07-28 | 2016-02-05 | 현대자동차주식회사 | 자율주행차량의 전역경로 생성장치 및 방법 |
US20210116907A1 (en) * | 2018-03-18 | 2021-04-22 | Driveu Tech Ltd. | Device, System, and Method of Autonomous Driving and Tele-Operated Vehicles |
KR102564016B1 (ko) * | 2018-05-23 | 2023-08-07 | 현대자동차주식회사 | 자율 주행 상태 알림 장치, 그를 포함한 시스템 및 그 방법 |
KR102163895B1 (ko) * | 2018-07-16 | 2020-10-12 | 엘지전자 주식회사 | 차량 제어 장치 및 그것을 포함하는 차량 |
DK180657B1 (en) * | 2018-08-02 | 2021-11-11 | Motional Ad Llc | REMOTE CONTROL OF AUTONOMIC VEHICLES |
US11340077B2 (en) * | 2019-03-28 | 2022-05-24 | Here Global B.V. | Driving condition specific sensor quality index |
JP7151662B2 (ja) * | 2019-08-09 | 2022-10-12 | トヨタ自動車株式会社 | 車両用操作システム |
JP7310524B2 (ja) * | 2019-10-11 | 2023-07-19 | トヨタ自動車株式会社 | 遠隔自動運転車両、及び車両遠隔指示システム |
-
2022
- 2022-02-25 CN CN202280018605.6A patent/CN116963952A/zh active Pending
- 2022-02-25 EP EP22763538.0A patent/EP4265499A4/en active Pending
- 2022-03-02 US US17/684,738 patent/US20220281465A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4265499A1 (en) | 2023-10-25 |
EP4265499A4 (en) | 2024-06-26 |
US20220281465A1 (en) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10994729B2 (en) | System and method for controlling lateral motion of vehicle | |
CN110562258B (zh) | 一种车辆自动换道决策的方法、车载设备和存储介质 | |
US11269329B2 (en) | Dynamic model with learning based localization correction system | |
US20180284785A1 (en) | System and Method for Controlling Motion of Vehicle in Shared Environment | |
KR20190013689A (ko) | 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크 | |
US20210191394A1 (en) | Systems and methods for presenting curated autonomy-system information of a vehicle | |
US11372417B2 (en) | Method for predicting exiting intersection of moving obstacles for autonomous driving vehicles | |
US20220237419A1 (en) | Autonomous vehicle system for performing multi-sensor, multi-resolution fusion of object type and attribute information | |
CN113165646B (zh) | 用于检测车辆周围的风险因素的电子设备及其控制方法 | |
KR102589587B1 (ko) | 자율 주행 차량용 동적 모델 평가 패키지 | |
US11780466B1 (en) | Vehicle fleet remote ride comfort tuning management system | |
EP4113393A2 (en) | Learning-based critic for tuning a motion planner of autonomous driving vehicle | |
KR20210118995A (ko) | 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치 | |
US11827247B2 (en) | Systems and methods for externally assisted self-driving | |
JP2023523350A (ja) | 乗り物に基づくデータ処理方法、データ処理装置、コンピュータ機器、及びコンピュータプログラム | |
US20240017746A1 (en) | Assessing present intentions of an actor perceived by an autonomous vehicle | |
CN116674593A (zh) | 用于自主车辆的具有异常检测的安全增强规划系统 | |
CN112446466A (zh) | 在深度神经网络中测量置信度 | |
WO2023230740A1 (zh) | 一种异常驾驶行为识别的方法、装置和交通工具 | |
US20230286539A1 (en) | Multi-objective bayesian optimization of machine learning model for autonomous vehicle operation | |
EP4265499A1 (en) | Electronic device for controlling functions of vehicle, and method thereby | |
KR20220124313A (ko) | 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 | |
US20220402522A1 (en) | Tree based behavior predictor | |
US11897506B1 (en) | Vehicle ride dynamics active comfort tuning system | |
US20240001966A1 (en) | Scenario-based training data weight tuning for autonomous driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |