CN115135526A - 用于监控车辆的车载网络的方法和装置 - Google Patents

用于监控车辆的车载网络的方法和装置 Download PDF

Info

Publication number
CN115135526A
CN115135526A CN202180014666.0A CN202180014666A CN115135526A CN 115135526 A CN115135526 A CN 115135526A CN 202180014666 A CN202180014666 A CN 202180014666A CN 115135526 A CN115135526 A CN 115135526A
Authority
CN
China
Prior art keywords
reward
energy
network
board network
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014666.0A
Other languages
English (en)
Inventor
A·海姆拉特
J·弗勒舍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN115135526A publication Critical patent/CN115135526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M10/00—Secondary cells; Manufacture thereof
    • H01M10/42—Methods or arrangements for servicing or maintenance of secondary cells or secondary half-cells
    • H01M10/48—Accumulators combined with arrangements for measuring, testing or indicating the condition of cells, e.g. the level or density of the electrolyte
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L1/00—Supplying electric power to auxiliary equipment of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/0023—Detecting, eliminating, remedying or compensating for drive train abnormalities, e.g. failures within the drive train
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L50/00—Electric propulsion with power supplied within the vehicle
    • B60L50/50—Electric propulsion with power supplied within the vehicle using propulsion power supplied by batteries or fuel cells
    • B60L50/60—Electric propulsion with power supplied within the vehicle using propulsion power supplied by batteries or fuel cells using power supplied by batteries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2260/00—Operating Modes
    • B60L2260/40—Control modes
    • B60L2260/46—Control modes by self learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/033—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for characterised by the use of electrical cells or batteries
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M2220/00—Batteries for particular applications
    • H01M2220/20—Batteries in motive systems, e.g. vehicle, ship, plane

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Chemical & Material Sciences (AREA)
  • Electrochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明涉及一种用于监控能量车载网络(100)的装置(450)，所述能量车载网络包括不同的车载网络部件(105、106、107)，并且所述能量车载网络借助机器学习的能量管理系统(101)运行。装置(450)包括参考单元(400)，该参考单元被设置成，针对能量车载网络(100)的状态(306)和针对基于所述状态(306)由能量管理系统(101)引起的动作(304)求取参考奖励(302)，该参考奖励在运行参考车载网络时会产生。此外，装置(450)包括奖励单元(410)，该奖励单元被设置成针对状态(306)和针对动作(304)来求取实际奖励(402)，该实际奖励在运行能量车载网络(100)时产生。装置(450)还包括监控单元(420)，所述监控单元被设置成，基于实际奖励(402)和基于参考奖励(302)来监控能量车载网络(100)。

Description

用于监控车辆的车载网络的方法和装置
技术领域
本发明涉及一种方法和一种相应的装置，利用所述方法和装置能够可靠地并且有效地监控车载网络的部件，尤其以便能够提前就已经预测车载网络部件的失效。
背景技术
车辆包括(能量)车载网络，通过该车载网络可以给车辆的多个用电器供应电能。车载网络典型地包括用于存储电能和用于支持车载网络电压的电蓄能器。此外，车载网络典型地包括发电机(发电机例如通过车辆的内燃机来驱动)，发电机被设置用于产生用于车载网络的电能。此外，混合动力车辆的或者电动车辆的车载网络典型地包括直流电压转换器(直流电压转换器例如通过车辆的牵引电池供电)，所述直流电压转换器被设置用于，产生或者说提供用于车载网络的电能。
车载网络能够借助于能量管理系统运行。能量管理系统在此可以被设置成，通过车载网络保护用电器的能量供应。为此目的，所述能量管理系统能够包括一个或多个调节器，所述调节器被设置用于将车载网络的一个或多个调节参量(例如车载网络电压)调节到相应的额定值上。
能量管理系统可以包括或可以是基于机器学习的能量管理系统。尤其地，能量管理系统可以包括已基于机器学习进行训练的一个或多个调节器。
车载网络的车载网络部件(例如蓄能器或发电机或直流电压转换器或用电器)的失效可能导致损害车辆运行，这尤其是在自动化行驶的车辆中会导致对安全性关键的情况。
发明内容
本文涉及的技术任务是，以有效和精确的方式预测车载网络的部件的未来的和/或面临的失效。
该任务分别通过独立权利要求来解决。尤其在从属权利要求中描述有利的实施方式。要指出的是，从属于独立权利要求的权利要求的附加特征在没有独立权利要求的特征的情况下或者仅在与独立权利要求的一部分特征的组合中可能形成独立的并且与独立权利要求的所有特征的组合无关的发明，该发明可以成为独立权利要求、分案申请或后续申请的主题。这以相同的方式适用于在说明书中描述的技术教导，所述技术教导能够形成与独立权利要求的特征无关的发明。
根据一个方面，描述了一种用于监控能量车载网络、尤其是(机动)车辆的能量车载网络的装置(在本文献中也称为诊断模块)。能量车载网络包括不同的车载网络部件，例如一个或多个电蓄能器、一个或多个用电器和/或一个或多个发电机或直流电压转换器(车载网络部件被设置成从外部在车载网络中提供电能)。
所述能量车载网络借助于基于机器学习的能量管理系统来运行，其中，能量管理系统已借助于强化学习被训练。在强化学习的范围内，可以为通过能量管理系统从能量车载网络的确定的状态出发引起的动作分别分配奖励。在此，可以基于确定的奖励函数来计算奖励，其中，所述奖励函数取决于所述车载网络的一个或多个可测量的参量、尤其是状态参量。能量管理系统可以在强化学习的范围内训练成，使得能量管理系统能够从能量车载网络的状态出发分别引起动作，通过该动作使得未来的(必要时贴现的)奖励的累加总和尽可能大，尤其是最大。
所述能量车载网络的状态可以通过一个或多个(可测量的)状态参量来描述。示例性的状态参量是：
·在车载网络中和/或在车载网络部件上的电流和/或电压；
·蓄能器的充实状态；和/或
·在发电机和/或直流电压转换器和/或用电器上的负载。
能量管理系统可以被构造成，在确定的时间点上求取关于一个或多个状态参量的测量值。然后由测量值得出能量车载网络在确定的时间点上的状态。然后基于在该确定的时间点上的状态可以求取并且引起动作。示例的动作是：
·改变(尤其是提高或降低)车载网络中和/或车载网络部件上的电流和/或电压；和/或
·改变(尤其是提高或降低)发电机上的和/或直流电压转换器上的和/或用电器上的负载。
能量管理系统可以包括(借助于强化学习)训练的神经网络，该神经网络接收所述一个或多个状态参量的测量值作为输入值，并且该神经网络提供要引起的动作作为输出值。备选地或补充地，神经网络可以被构造成，为由所述一个或多个状态参量和动作的测量值组成的对提供(借助Q学习求取的)Q值。然后可以基于用于多个不同的可能的动作的Q值来选择产生最佳的(例如最大)Q值的动作。
上述过程可以在一系列时间点上重复，以便持续地控制和/或调节能量车载网络。在此可以在每个时间点上测量相应的当前状态并且基于此求取动作(该动作例如得出相应最佳的Q值)。
能量管理系统能够已针对参考车载网络被训练，其中，所述参考车载网络能够对应于具有无故障的和/或未损坏的车载网络部件的能量车载网络。
基于机器学习的能量管理系统可以包括至少一个调节器，该调节器被构造用于，将能量车载网络的可测量的(状态)参量调节到额定值。在能量管理系统(尤其是能量管理系统的神经网络)的训练中使用的奖励或奖励函数可以取决于在参考车载网络运行时或者在能量车载网络运行时可测量参量的(被测量的)实际值与额定值的偏差。在此，实际值与额定值的偏差越小，奖励就越大。因此可以实现对能量车载网络的一个或多个状态参量的精确调整。
该装置包括参考单元，该参考单元被设置成，针对车载网络的状态并且针对基于该状态由能量管理系统引起的动作来求取参考奖励，该参考奖励在参考车载网络运行时会产生。在此，参考单元可以在机器学习的能量管理系统的训练过程的范围内已被训练，尤其是根据在机器学习的能量管理系统的训练过程的范围内针对状态和动作的不同组合得出的奖励已被训练。
因此能够提供参考单元，所述参考单元对于状态动作对显示在(具有未损坏的车载网络部件的)参考车载网络运行时会产生的奖励。参考单元可以包括至少一个(在能量管理系统的训练过程的范围内训练的)神经网络。
该装置还包括奖励单元，该奖励单元被设置用于，针对该状态和针对该动作(也就是说针对状态动作对)求取实际奖励，该实际奖励在能量车载网络运行时(实际)得出。在此，实际奖励和参考奖励能够基于相同的奖励函数来求取。
如上面已经描述的，奖励或奖励函数、尤其是实际奖励和参考奖励能够取决于车载网络的一个或多个可测量的(状态)参量。尤其地，所述奖励或者说所述奖励函数以及由此实际奖励和参考奖励能够包括用于车载网络的相应的一个或者多个可测量的(状态)参量的一个或者多个奖励分量。
所述奖励单元可以被设置用于，求取用于所述一个或多个可测量的(状态)参量的测量值，所述测量值由于在所述能量车载网络运行时所引起的动作而产生。然后可以基于针对所述一个或多个可测量的参量的测量值来求取实际奖励。以相应的方式也可以在训练能量管理系统和参考单元期间(在参考车载网络运行时)求取奖励。
该装置还包括监控单元，该监控单元被设置成用于，基于实际奖励和基于参考奖励、尤其是基于实际奖励与参考奖励的比较来监控能量车载网络。监控单元尤其是能够被设置成，基于实际奖励和基于参考奖励来确定能量车载网络的车载网络部件是否损坏。此外，所述装置可以被设置成，当确定车载网络部件损坏时，输出关于车载网络部件的指示(例如故障通知)。
在本文中描述的装置能够实现，将在能量车载网络运行时对于状态动作对产生的(实际)奖励与在相应的无故障的参考车载网络运行时对于状态动作对产生的(参考)奖励进行比较。因此能够实现对能量车载网络的有效且精确的监控。尤其地，可以由此以精确的方式预测车载网络部件的提前的和/或面临的失效。
如上所述，参考奖励和/或实际奖励可以相应包括一个或多个奖励分量。示例性的奖励分量是：与车载网络内的和/或车载网络部件上的电流和/或电压相关的奖励分量；与车载网络部件的负载和/或负荷相关的奖励分量；和/或与车载网络的蓄能器的充实状态相关的奖励分量。
通过考虑对于不同车载网络部件的不同奖励分量，能够进一步提高对所述能量车载网络的监控的准确度。尤其地，可以以精确的方式识别出确定的面临失效危险的车载网络部件。
监控单元可以被设置成，求取实际奖励与参考奖励的偏差，尤其是实际奖励的奖励分量与参考奖励的相应奖励分量的偏差。然后可以以精确的方式基于该偏差、尤其通过将该偏差与偏差阈值比较来确定，车载网络部件是否损坏。在此，偏差阈值可以通过模拟和/或通过测试已提前求取，尤其是特定于车载网络的多个不同的车载网络部件和/或相应多个不同的奖励分量已提前求取。
实际奖励和参考奖励(也就是说尤其是共同的奖励函数)可以分别包括用于确定的车载网络部件的奖励分量。监控单元能够被设置成，基于用于确定的车载网络部件的实际奖励的奖励分量与用于确定的车载网络部件的参考奖励的偏差来确定，所述确定的车载网络部件是否损坏。因此通过各个奖励分量的比较，能够以特别精确的方式识别能量车载网络的被损坏的车载网络部件(这些车载网络部件面临失效的危险)。
根据另一方面，描述一种(道路)机动车(尤其是乘用车或载重汽车或公共汽车或摩托车)，其包括在本文中所描述的装置。
根据另一方面描述一种用于监控能量车载网络的方法，所述能量车载网络包括不同的车载网络部件，并且所述能量车载网络借助机器学习的能量管理系统来运行，其中，借助于用于参考车载网络的强化学习已经训练了能量管理系统。该方法包括针对车载网络的状态并且针对基于该状态由能量管理系统引起的动作来求取参考奖励，该参考奖励在参考车载网络运行时会产生。此外，所述方法包括针对所述状态和针对所述动作来求取实际奖励，所述实际奖励在所述能量车载网络运行时产生。该方法还包括基于实际奖励和基于参考奖励、尤其是基于实际奖励与参考奖励的比较来监控能量车载网络。
根据另一方面描述了一种软件(SW)程序。该SW程序可以被设置用于在处理器上(例如在车辆的控制设备上)实施并且由此实施在本文中所描述的方法。
根据另一方面描述了一种存储介质。存储介质可以包括SW程序，该SW程序被设置成在处理器上实施并且由此实施在本文中所述的方法。
应当注意，在本文中所描述的方法、装置和系统不仅可以单独地使用，而且可以与其他在本文中所描述的方法、装置和系统组合地使用。此外，在本文中所描述的方法、装置和系统的每个方面可以以多样化的方式彼此组合。尤其是权利要求的特征可以以多样化的方式彼此组合。
附图说明
下面借助实施例更详细描述本发明。在此，在附图中：
图1a示出示例性的车载网络；
图1b示出示例性的调节回路；
图2a示出示例性的神经网络；
图2b示出示例性的神经元；
图3示出用于训练调节器的示例性装置；
图4示出用于求取车辆的车载网络的状态的示例性的装置；并且
图5示出用于求取车辆的车载网络的状态的示例性的方法的流程图。
具体实施方式
如在开头部分所阐述的那样，本文涉及对车辆的车载网络的部件的状态的可靠且精确的预测。就此而言，图1示出车载网络100的框图，该车载网络包括电蓄能器105(例如锂离子电池)、一个或多个用电器106和/或发电机107。此外，车载网络100包括能量管理系统101，该能量管理系统被设置用于，调整车载网络100的一个或多个(状态)参量，尤其是调节到相应的额定值上。车载网络100的示例性的(状态)参量是车载网络电压111，车载网络电压例如可以被调整、尤其是调节到确定的目标值上。
为了将调节参量(例如车载网络电压111)调整到(随时间变化的)额定值，可以使用调节器。图1b示出示例性的调节回路150，在该调节回路中，所述调节参量156借助于调节器153调整到额定值151上。调节器153被设置用于，基于由调节参量156和(相应当前的)额定值151形成的调节误差152(也就是说差)来求取执行参量154。车载网络100的一个或多个执行器(例如发电机107和/或一个或多个用电器106)能够根据执行参量154运行。示例性的执行参量154是(例如通过车辆的内燃机)运行发电机107的转速。在与车载网络100的特性相关的调节路径155内，由执行参量154得出调节参量156(例如车载网络100的状态参量的值)。
用于有效和灵活地调整和/或适配调节器153的可行方案是调节器153的或调节函数的借助于一个或多个神经网络的训练。图2a和图2b示出神经网络200、尤其是前馈网络的示例性部件。在所示的示例中，网络200包括两个输入神经元或者说输入节点202，其在特定的时间点t分别记录输入参量的当前值作为输入值201。所述一个或多个输入节点202是输入层211的一部分。
神经网络200还包括处于神经网络200的一个或多个隐藏层212中的神经元220。神经元220中的每个神经元可以具有先前层212、211(或其至少一部分)的神经元的单独输出值作为输入值。在神经元220中的每个神经元中进行处理，以根据输入值求取神经元220的输出值。最后的隐藏层212的神经元220的输出值可以在输出层213的输出神经元或者说输出节点220中被处理，以求取神经网络200的一个或多个输出值203。
图2b示出在神经元220内、尤其是在所述一个或多个隐藏层212和/或输出层213的神经元202内的示例性的信号处理。神经元220的输入值221通过单独的权重222进行加权，以便在求和单元223中求取输入值221的加权总和224(必要时在考虑偏置或偏移227的情况下进行该求取)。通过激活函数225，加权总和224可以映射到神经元220的输出值226上。在此可以通过激活函数225例如进行值域的限制。例如，对于神经元220，可以使用Sigmoid函数或双曲正切(tanh)函数或整流线性单元(ReLU)，例如f(x)＝max(0,x)作为激活函数225。必要时所述加权总和224的值可以以偏移227进行偏移。
因此，神经元220具有权重222和/或可能具有偏移227作为神经元参数。神经网络200的神经元220的神经元参数可以在训练阶段被训练，以使得神经网络200近似特定函数和/或对特定行为建模。
神经网络200的训练可以例如借助反向传播算法来进行。为此目的，在学习算法的第q时期的第一阶段中，可以求取在所述一个或多个输出神经元220的输出处的与神经网络200的一个或多个输入节点202处的输入值201相应的输出值203。基于输出值203可以求取优化函数或误差函数的值。在当前情况下，时序差分(TD)误差可以用作优化函数或误差函数，如下面进一步解释的那样。
在学习算法的第q时期的第二阶段进行从神经网络的输出到输入的误差或误差值的回传播，以便逐层改变神经元220的神经元参数。在此，在输出端处所求取的误差函数可以部分地根据神经网络200的每个单个神经元参数推导，以便求取用于适配单个神经元参数的量值和/或方向。该学习算法可以针对多个时期迭代地重复，直到达到预定义的收敛标准和/或中断标准。
为了训练调节器153或者被设置用于基于调节误差152来求取执行参量154的调节函数，例如可以使用所谓的(Actor-Critic)强化学习。作为另外的示例，可以使用Q学习。在Q学习的范围内，Q函数可以被训练(并且例如通过神经网络200近似)，其中，所述Q函数能够用于针对特定状态选择最佳动作。
图3示出用于训练用于(尤其是用于能量管理系统101的)调节器153的调节函数303的示例性装置300。调节函数303可以例如由神经网络200近似。备选地或补充地，调节函数303可以通过具有一个或多个调节参数的分析函数来描述。示例性的调节函数是：
yt＝π(xt)＝kxt，
其中，k是具有一个或多个调节参数的矢量，并且x是在时间点t处的状态矢量的值，其中，所述值是车载网络100的状态的一个或多个状态参量306的值。示例性的状态参量306是蓄能器105的充实状态、车载网络电压111、发电机107的负载、用电器106的负载等。
所述一个或多个状态参量306的值可以表明各个状态参量与相应额定值301的偏差。在这种情况下，值xt表示一个或多个调节误差的值。
调节函数303在(Acer-Critic)强化学习的范围中被称为“Actor”。所述调节函数303可以用于，基于所述一个或多个状态参量306的当前值来求取一个或多个执行参量或者动作参量或者动作304的当前值ut。示例性的执行参量或者动作参量或者动作304是发电机107的所要求的负载和/或通过用电器106引起的负载。
所述一个或多个执行参量或者动作参量304的当前值ut可以被用于运行要调节的系统或者说调节路径305。尤其地，车载网络100的一个或多个部件106、107可以根据所述一个或多个执行参量或动作参量304的当前值ut来运行。这引起所述一个或多个可测量的状态参量306在随后的时间点t+1处的值xt+1。
基于所述一个或多个可测量的状态参量306的当前值xt和基于所述一个或多个执行参量或动作参量304的当前值ut可以求取值函数的值。值函数在此可以相应于(未来的)奖励的贴现总和。在每个时间点t，可以根据确定的奖励函数来分配奖励r(xt，ut)。例如，奖励能够取决于
·多大程度地将蓄能器105的充实状态调整到确定的目标充实状态上；和/或
·由发电机107引起的负载多接近确定的目标负载。
奖励r(xt，ut)可以具有用于不同的调节参量和/或状态参量306的不同的奖励项或奖励分量。各个奖励分量可以被概括为奖励矢量。在确定的时间点t的奖励r(xt，ut)(即，奖励函数)的当前值302可以由单元307计算。
调节函数303可以被训练成，使得随时间贴现的奖励的总和被增加，尤其是被最大化。因为由于未知的调节路径305而不知道动作或者说执行参量304如何影响所述一个或多个(可测量的)状态参量306的值xt(也就是说调节误差的值)，所以可以将状态动作值函数308训练为“Critic”，该状态动作值函数对于由要调节的系统305(也就是说车载网络100)的状态xt和动作ut 304组成的每种组合指示在时间上贴现的奖励的总和的值Qπ(xt，ut)310。
另一方面，可以定义状态值函数，该状态值函数对于确定的状态xt指示在时间i上贴现的奖励r(xi，ui)的总和
Figure BDA0003797416710000101
其中，贴现因子γ∈[0、1]。在此，可以在值函数收敛之后假设
Vπ(xt+1)＝Qπ(xt+1，ut+1)，
其中，ut+1＝π(xt+1)，所训练的调节函数是π()303。
值函数可以随着时间迭代地训练，其中，在收敛之后应适用的是
Qπ(xt，ut)＝r(xt，ut)+γVπ(xt+1)，
只要还没有实现收敛，就可以基于上述公式来计算所谓的时序差分(TD)误差δ311(例如，在单元309中)为
δ＝r(xt，ut)+γVπ(xt+1)-Qπ(xt，ut)，
其中，TD误差δ311根据假设
Vπ(xt+1)＝Qπ(xt+1，ut+1)
可以由奖励在时间点t的值r(xt,ut)302以及由状态动作值函数308在时间点t和t+1的值Qπ(xt,ut)，Qπ(xt+1,ut+1)310计算。奖励的值302可以为此目的在单元309中提供(未示出)。TD误差δ311可以用于迭代地训练状态动作值函数308以及必要时训练调节函数303。尤其地，TD误差δ311可以被用于训练状态动作值函数308。被训练的状态动作值函数308于是可以用于训练调节函数303。
状态动作值函数308可以由神经网络200近似和/或建模，并且基于TD误差δ311被适配。在适配状态动作值函数308之后可以适配调节函数303。装置300可以被设置成，对于多个时间点t迭代地适配调节函数303和/或状态动作值函数308，直到达到收敛标准。因此能够以有效且精确的方式求取用于调节器153的调节函数303。
以相应的方式，可以针对基于机器学习的能量管理系统101的多个调节参量或者说状态参量106来训练多个调节器153。
如上面已经描述的，结合图3描述的方法仅是用于借助强化学习来训练能量管理系统101的一个示例。另外的示例是Q学习。在这种情况下，可以训练Q函数或状态动作值函数308，所述Q函数或状态动作值函数被构造成针对状态动作对提供Q值(其中，所述Q值表示例如贴现的未来奖励的总和。从当前状态出发，可以根据所训练的Q函数对于多个不同的可能的动作求取相应的Q值。然后可以选择如下动作，对于该动作产生最佳(例如最大)Q值。
图4示出装置450，所述装置能够实现监控车载网络100的不同部件105、106、107的状态，尤其是以便能够提早预测部件105、106、107的失效。装置400包括参考单元400，该参考单元被设置用于，基于车载网络100的当前状态xt 306以及基于由能量管理系统101引起的动作ut 304来求取(参考)奖励r(xt，ut)302、尤其是(参考)奖励矢量，该奖励矢量在车载网络100功能正常时会产生。参考单元400可以在能量管理系统101(的调节器153)的训练过程期间被训练。为此目的，参考单元400可以包括神经网络200。
装置450还包括奖励单元410，该奖励单元被设置成，基于车载网络100的当前状态xt 306并且基于通过能量管理系统101引起的动作ut 304来求取实际奖励r(xt，ut)402，尤其是实际奖励矢量，实际奖励在车载网络100运行时(在使用奖励函数的情况下)实际产生。
参考奖励302和实际奖励402可以在比较和/或检查单元420中互相比较。尤其是可以将参考奖励矢量的各个矢量量值与实际奖励矢量的相应矢量量值进行比较。然后基于该比较可以求取车载网络100的状态405。尤其是基于该比较可以预测车载网络100的部件105、106、107是否将在确定的即将到来的时间间隔内失效。必要时还可以识别将失效的部件105、106、107。
因此，在本文中描述了车辆中的部件105、106、107的诊断和/或失效预测，该车辆具有基于机器学习的能量管理。能量管理系统101例如可以借助反射增强的强化学习(RARL)或借助强化学习来训练。RARL例如在Heimrath等人于2019年在IEEE的2019国际计算、电子与通信工程会议论文集第62-67页发表的“用于汽车电能管理运营策略的反射增强的强化学习”中被描述。该文献的内容在此通过引用被完全纳入本文。
在此，代理、例如深度神经网络200学习在车辆车载网络100的确定的正常状态306中实施哪些动作304。动作304可以包括例如提高车载网络电压111。在实施动作304之后，车载网络100的状态306改变并且代理以奖励的形式(即以奖励302的形式)获得关于其决策(即所引起的动作304)的质量的反馈。该奖励302在能量管理系统101的学习过程中流动。车载网络100的状态可以包括多个状态参量306，例如发电机107的利用率、流入或流出蓄能器105的(归一化的)电流、蓄能器105的充实状态(尤其是充实状态SOC)、蓄能器105的温度等。
在本文中描述了一种诊断模块450，诊断模块至少部分地集成到能量管理系统101的学习过程中。在此尤其是可以在能量管理系统101的学习过程期间训练参考单元400。由此诊断模块450能够对车载网络100的部件105、106、107的故障行为和/或失效进行预测和/或量化。诊断模块450可以被构造成(借助参考单元400)预测在车载网络100中实施动作304的预期效果。此外，诊断模块450可以被构造成(在比较或者说检查单元420内)将车载网络100的预期行为与车载网络100的实际行为进行比较。
在训练具有功能性部件105、106、107的(参考)车载网络100中的能量管理系统101期间，(利用单独的神经网络200)与此并行地并且独立地训练参考单元400。在能量管理系统101的训练期间，代理从确定的状态306出发实施动作304并且为此获得奖励302。该信息用于训练参考单元400，以使参考单元400能够预测在功能性(参考)车载网络100中实施动作304的预期效果作为奖励302。
在能量管理系统101的训练之后和/或在车辆驾驶期间的使用中，参考单元400的训练也结束。在能量管理系统101的运行期间，能量管理系统101从特定的状态306出发分别选择一个动作304并且实施该动作304。然后可以基于车载网络100的实际测量的参量来求取实际测量的奖励402(在奖励单元420内)。
随后能够将(无故障的(参考)车载网络100的)由参考单元400所预测的奖励302与(车载网络100的)实际所测量的奖励402进行比较。在此，相应的奖励302、402可以具有不同的奖励分量，这些奖励分量可以分别成对地进行比较。实际测量的奖励402和预测奖励302的比较表明，能量车载网络100的一个或多个部件105、106、107是否具有与额定行为不同的实际行为。
对于奖励302、402和/或各个奖励分量的值的差，可以确定容差和/或阈值，从该容差和/或阈值探测到故障情况。容差和/或阈值可以在模拟的范围内和/或基于在车辆上的测试(例如在开发的范围内)来求取。
当基于奖励302、402的比较探测到故障时，则可以向车辆的驾驶员和/或用于维修车辆的维修组织发出指示。必要时可以促使，当识别到由于所探测到的故障(例如蓄能器105的故障)而不再能够进行自动化的行驶运行时，车辆的驾驶员手动接管车辆的驾驶。
例如奖励302、402可以是进入或离开蓄能器105的电池电流和/或发电机107的利用率的函数。例如如果奖励302、402是电池电流的函数并且如果发电机107的功能有效性状态是已知的(例如，基于专用传感器的传感器数据)，则所计算的预测奖励302与实际奖励402的偏差可以用作蓄能器105的功能有效性的定量指标。另一方面可以从奖励402、402关于发电机107的利用率的偏差推断出发电机107的功能有效性。
如果奖励302、402是电池电流和发电机利用率的函数，那么在奖励302、402内的这两个影响参量的权重可以用于解释所预测的奖励302与实际奖励402的偏差。尤其地，各个奖励分量的权重可以用于决定哪个车载网络部件105、106、107损坏。
图5示出用于监控(机动车的)能量车载网络100的示例性的(必要时计算机实施的)方法500的流程图，所述能量车载网络包括不同的车载网络部件105、106、107(例如电蓄能器105、一个或多个用电器106和/或发电机107)，并且所述能量车载网络借助机器学习的能量管理系统101来运行。能量管理系统101在此可以借助于用于参考车载网络的强化学习来训练。在此，对于能量车载网络100仅具有无故障的和/或未损坏的车载网络部件105、106、107的情况，参考车载网络能够对应于能量车载网络100。
方法500包括针对车载网络100的状态306并且针对基于状态306由能量管理系统101引起的动作304求取501参考奖励302，该参考奖励在参考车载网络运行时会产生。在此，可以使用参考单元400，该参考单元被构造成，针对状态动作对分别提供参考奖励。参考单元400可以在借助于强化学习来训练能量管理系统101时已经被一起训练。
此外，方法500包括针对状态306和针对动作304求取502实际奖励402，该实际奖励在能量车载网络100运行时产生。在此，实际奖励402可以基于用于所述能量车载网络100的一个或多个测量参量的测量值来求取。
方法500还包括基于实际奖励402和基于参考奖励302、尤其基于实际奖励402和参考奖励302的比较来监控503能量车载网络100。在此，尤其是可以基于实际奖励402和基于参考奖励302来识别损坏的车载网络部件105、106、107。
通过在本文中描述的措施能够提高(用于车辆的)能量车载网络100的舒适性和安全性。在此能够实现，预测能量车载网络100或能量车载网络100的部件105、106、107是否不再满足对车载网络100提出的要求。因此在存在车载网络100的可觉察到的损坏之前，可以提前维修或者更换被预测劣化的部件105、106、107。此外，通过所描述的措施可以为自动化行驶的车辆提供安全的能量供应。此外能够识别车载网络100的部件105、106、107中的质量波动。
本发明不限于所示的实施例。尤其要注意的是，说明书和附图仅应说明所提出的方法、装置和系统的原理。

Claims (12)

1.一种用于监控能量车载网络(100)的装置(450)，所述能量车载网络包括不同的车载网络部件(105、106、107)，并且所述能量车载网络借助机器学习的能量管理系统(101)运行；其中，已借助于用于参考车载网络的强化学习来训练所述能量管理系统(101)；其中，所述装置(450)包括：
-参考单元(400)，所述参考单元被设置成，针对所述能量车载网络(100)的状态(306)和针对基于所述状态(306)由所述能量管理系统(101)引起的动作(304)来求取参考奖励(302)，所述参考奖励在所述参考车载网络运行时会产生；
-奖励单元(410)，所述奖励单元被设置成，针对所述状态(306)和针对所述动作(304)来求取实际奖励(402)，所述实际奖励在所述能量车载网络(100)运行时产生；以及
-监控单元(420)，所述监控单元被设置成，基于所述实际奖励(402)和基于所述参考奖励(302)、尤其基于所述实际奖励(402)与所述参考奖励(302)的比较来监控所述能量车载网络(100)。
2.根据权利要求1所述的装置(450)，其中，所述参考单元(400)已在所述机器学习的能量管理系统(101)的训练过程的范围内被训练，尤其是已根据在所述机器学习的能量管理系统(101)的训练过程的范围内已针对状态(306)和动作(304)的不同组合产生的奖励(302)被训练。
3.根据前述权利要求中任一项所述的装置(450)，其中，
-所述参考奖励(302)和/或所述实际奖励(402)相应包括一个或多个奖励分量；并且
-所述一个或多个奖励分量包括：
-与所述能量车载网络(100)内的和/或车载网络部件(105、106、107)上的电流和/或电压相关的奖励分量；
-与车载网络部件(105、106、107)的负载和/或负荷相关的奖励分量；和/或
-与所述能量车载网络(100)的蓄能器(105)的充实状态相关的奖励分量。
4.根据前述权利要求中任一项所述的装置(450)，其中，所述装置(450)、尤其是所述监控单元(420)被设置成，
-求取所述实际奖励(402)与所述参考奖励(302)的偏差，尤其是所述实际奖励(402)的奖励分量与所述参考奖励(302)的相应奖励分量的偏差；并且
-基于所述偏差、尤其是通过与偏差阈值的比较来确定，车载网络部件(105、106、107)是否损坏。
5.根据权利要求4所述的装置(450)，其中，
-所述实际奖励(402)和所述参考奖励(302)分别包括用于确定的车载网络部件(105、106、107)的奖励分量；并且
-所述装置(450)、尤其是所述监控单元(420)被设置成，基于用于所述确定的车载网络部件(105、106、107)的实际奖励(402)的奖励分量与用于所述确定的车载网络部件的参考奖励(302)的奖励分量的偏差来确定，所述确定的车载网络部件(105、106、107)是否损坏。
6.根据权利要求4至5中任一项所述的装置(450)，其中，所述偏差阈值可以通过模拟和/或通过测试已提前求取，尤其是特定于所述能量车载网络(100)的多个不同的车载网络部件(105、106、107)和/或相应多个不同的奖励分量已提前进行所述求取。
7.根据前述权利要求中任一项所述的装置(450)，其中，
-所述实际奖励(402)和所述参考奖励(302)取决于所述能量车载网络(100)的一个或多个可测量的参量；
-所述实际奖励(402)和所述参考奖励(302)尤其是包括用于所述能量车载网络(100)的相应的一个或多个可测量的参量的一个或多个奖励分量；并且
-所述奖励单元(410)被设置成，
-求取用于所述一个或多个可测量的参量的测量值，所述测量值由于在所述能量车载网络(100)运行时所引起的动作(304)产生；并且
-基于用于所述一个或多个可测量的参量的测量值求取所述实际奖励(402)。
8.根据前述权利要求中任一项所述的装置(450)，其中，
-所述机器学习的能量管理系统(101)包括至少一个调节器(150)，所述调节器被构造成，将所述能量车载网络(100)的可测量的参量调节到额定值；并且
-所述实际奖励(402)和所述参考奖励(302)取决于在所述参考车载网络运行时或者在所述能量车载网络(100)运行时所述可测量的参量的实际值与所述额定值的偏差。
9.根据前述权利要求中任一项所述的装置(450)，其中，所述参考单元(400)包括至少一个神经网络(200)。
10.根据前述权利要求中任一项所述的装置(450)，其中，所述装置(450)、尤其是所述监控单元(420)被设置成，
-基于所述实际奖励(402)和基于所述参考奖励(302)来确定，车载网络部件(105、106、107)是否损坏；并且
-当确定所述车载网络部件(105、106、107)损坏时，输出关于所述车载网络部件(105、106、107)的指示。
11.根据前述权利要求中任一项所述的装置(450)，其中，所述参考车载网络相应于具有无故障的和/或未损坏的车载网络部件(105、106、107)的能量车载网络(100)。
12.一种用于监控能量车载网络(100)的方法(500)，所述能量车载网络包括不同的车载网络部件(105、106、107)，并且所述能量车载网络已经借助机器学习的能量管理系统(101)运行；其中，借助于用于参考车载网络的强化学习已训练所述能量管理系统(101)；其中，所述方法(500)包括：
-针对所述能量车载网络(100)的状态(306)和针对基于所述状态(306)由所述能量管理系统(101)引起的动作(304)来求取(501)参考奖励(302)，所述参考奖励在所述参考车载网络运行时会产生；
-针对所述状态(306)和针对所述动作(304)求取(502)实际奖励(402)，所述实际奖励在所述能量车载网络(100)运行时产生；并且
-基于所述实际奖励(402)和基于所述参考奖励(302)、尤其是基于所述实际奖励(402)与所述参考奖励(302)的比较来监控(503)所述能量车载网络(100)。
CN202180014666.0A 2020-03-13 2021-02-15 用于监控车辆的车载网络的方法和装置 Pending CN115135526A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020107003.9A DE102020107003A1 (de) 2020-03-13 2020-03-13 Verfahren und Vorrichtung zur Überwachung eines elektrischen Bordnetzes eines Fahrzeugs
DE102020107003.9 2020-03-13
PCT/EP2021/053662 WO2021180428A1 (de) 2020-03-13 2021-02-15 Verfahren und vorrichtung zur überwachung eines elektrischen bordnetzes eines fahrzeugs

Publications (1)

Publication Number Publication Date
CN115135526A true CN115135526A (zh) 2022-09-30

Family

ID=74666705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014666.0A Pending CN115135526A (zh) 2020-03-13 2021-02-15 用于监控车辆的车载网络的方法和装置

Country Status (4)

Country Link
US (1) US20230090528A1 (zh)
CN (1) CN115135526A (zh)
DE (1) DE102020107003A1 (zh)
WO (1) WO2021180428A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240016675A1 (en) * 2022-07-15 2024-01-18 Sunrise Medical (Us) Llc Neural network-based monitoring of components and subsystems for personal mobility vehicles

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004004280B4 (de) 2004-01-27 2014-06-12 Audi Ag Verfahren zur Diagnose von Batterien
DE102016220561A1 (de) * 2016-10-20 2018-04-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung von Fahrrouten für Landfahrzeuge
DE102018205797A1 (de) * 2018-04-17 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Steuerung für ein Fahrzeug, Fahrzeug und Verfahren zum Betreiben eines Energiebordnetzes eines Fahrzeugs
WO2020004974A1 (en) * 2018-06-27 2020-01-02 Lg Electronics Inc. Automatic control artificial intelligence device and method for updating control function
DE102018211575A1 (de) 2018-07-12 2020-01-16 Audi Ag Verfahren zum Betrieb eines elektrischen Bordnetzes eines Kraftfahrzeugs und Kraftfahrzeug
CN109552079B (zh) * 2019-01-28 2020-10-09 浙江大学宁波理工学院 一种基于规则与Q-learning增强学习的电动汽车复合能量管理方法
DE202019100641U1 (de) 2019-02-04 2019-02-08 Abb Schweiz Ag Trainingsgerät für KI-Module

Also Published As

Publication number Publication date
DE102020107003A1 (de) 2021-09-16
US20230090528A1 (en) 2023-03-23
WO2021180428A1 (de) 2021-09-16

Similar Documents

Publication Publication Date Title
US20190212391A1 (en) Method for monitoring a battery
Chasse et al. Supervisory control of hybrid powertrains: An experimental benchmark of offline optimization and online energy management
CN103163781B (zh) 利用健康信息状态优化系统性能
Lee et al. Online data-driven energy management of a hybrid electric vehicle using model-based Q-learning
US7558655B2 (en) Prognostic method and system for hybrid and electric vehicle components
US20140379199A1 (en) Method for aging-efficient and energy-efficient operation in particular of a motor vehicle
JP2022513149A (ja) 搭載電源網内のエネルギ蓄積器を監視する方法
US20190217867A1 (en) Method for operating an electrical system of a motor vehicle
KR102313002B1 (ko) 차량 속도 제어 장치 및 차량 속도 제어 방법
Sankavaram et al. An integrated health management process for automotive cyber-physical systems
Sankavaram et al. Fault diagnosis in hybrid electric vehicle regenerative braking system
AU2020387253A1 (en) Evaluation device, computer program, and evaluation method
Zhang et al. Fault diagnosis and fault mitigation for torque safety of drive-by-wire systems
CN115135526A (zh) 用于监控车辆的车载网络的方法和装置
JP6768152B2 (ja) 車載電源システムを動作させる方法
JPWO2020109108A5 (zh)
Chasse et al. Supervisory control of hybrid powertrains: an experimental benchmark of offline optimization and online energy management
CN114616561A (zh) 确定技术设备的系统行为与标准值范围的不允许偏差的方法
DE102020107001A1 (de) Verfahren und Vorrichtung zur Ermittlung des Zustands eines elektrischen Bordnetzes eines Fahrzeugs
Abdulkareem et al. Fault Detection and Fault Tolerant Control for Anti-lock Braking Systems) ABS) Speed Sensors by Using Neural Networks
CN116963931A (zh) 用于监控机动车的能量供给的方法
JP2022044943A (ja) 電池劣化診断システム
US20240217460A1 (en) Predicting failures of electrical loads and wiring harnesses of a vehicle
Banerjee et al. Alera: Accelerated reinforcement learning driven adaptation to electro-mechanical degradation in nonlinear control systems using encoded state space error signatures
Miyazaki An evaluation pattern generation scheme for electric components in hybrid electric vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination