CN107111716B - 评价装置、评价系统以及评价方法 - Google Patents

评价装置、评价系统以及评价方法 Download PDF

Info

Publication number
CN107111716B
CN107111716B CN201680003169.XA CN201680003169A CN107111716B CN 107111716 B CN107111716 B CN 107111716B CN 201680003169 A CN201680003169 A CN 201680003169A CN 107111716 B CN107111716 B CN 107111716B
Authority
CN
China
Prior art keywords
evaluation
bus
unit
actuator
electronic control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680003169.XA
Other languages
English (en)
Other versions
CN107111716A (zh
Inventor
中野稔久
安斋润
若林彻
南公男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016201242A external-priority patent/JP6712938B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN107111716A publication Critical patent/CN107111716A/zh
Application granted granted Critical
Publication of CN107111716B publication Critical patent/CN107111716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/567—Computer malware detection or handling, e.g. anti-virus arrangements using dedicated hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/85—Protecting input, output or interconnection devices interconnection devices, e.g. bus-connected or in-line devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2101—Auditing as a secondary aspect

Abstract

本公开涉及评价装置、评价系统以及评价方法。评价装置(101)连接于电子控制系统中多个电子控制单元进行通信所使用的总线，进行与电子控制系统的安全有关的评价，评价装置(101)具备：保持部(202)，其保持表示多个帧的内容及发送顺序的攻击步骤信息(108)；发送部(201a)，其以攻击步骤信息(108)所表示的发送顺序将多个帧发送给总线；监视部(200)，其对由多个电子控制单元中的某一个所控制的执行器部进行监视；以及评价部(206)，其基于多个帧由发送部(201a)发送给总线时的监视部(200)的监视结果，进行评价。

Description

评价装置、评价系统以及评价方法
技术领域
本公开涉及进行与车载网络系统等、电子控制单元进行通信的电子控制系统的安全(抗攻击性等)有关的评价的技术。
背景技术
近年来，汽车配置有许多电子控制单元(ECU：Electronic Control Unit)，连接ECU的车载网络例如使用由ISO11898-1规定的CAN(Controller Area Network：控制器局域网络)标准等。作为对车载网络的攻击，已知如下攻击：攻击者通过无线通信访问车内的信息终端，不正常(不正当)地改写信息终端的程序而从该信息终端向车载网络发送任意的CAN消息，违背驾驶员的意图地控制连接于车载ECU的执行器(actuator)。如果为了汽车的自动化驾驶等，而变为车载ECU自身搭载V2X(车车间通信(V2V：Vehicle to Vehicle)以及车路间通信(V2I：Vehicle to Infrastructure))等无线通信的功能的状况，那么与信息终端同样地，与V2X对应的ECU的程序也可能被不正常地改写，被利用于攻击。关于攻击对策的评价方法，目前研究尚不多，但例如非专利文献1中公开了通过对单体的车载ECU发送数据并关注其响应来找出不良现象(由编程错误造成的程序问题(bug)的混入等)的模糊测试(fuzzing)方法。
现有技术文献
非专利文献1：松本勉、小林优希、土屋游、吉田直树、森田伸义、萱岛信，“車載ECUに対するCAN経由のファジング手法”(针对车载ECU的经由CAN的模糊测试方法)，SCIS2015，2015年1月20日
发明内容
本公开的一个技术方案涉及的评价装置，其连接于电子控制系统中多个电子控制单元进行通信所使用的总线，进行与该电子控制系统的安全有关的评价，所述评价装置具备：保持部，其保持表示多个帧的内容及发送顺序的攻击步骤信息；发送部，其以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；监视部，其对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；以及评价部，其基于所述多个帧由所述发送部发送给所述总线时的所述监视部的监视结果，进行所述评价。
另外，本公开的一个技术方案涉及的评价系统，其进行与具备经由总线通信的多个电子控制单元的电子控制系统的安全有关的评价，所述评价系统具备：保持部，其保持表示多个帧的内容及发送顺序的攻击步骤信息；发送部，其以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；监视部，其对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；以及评价部，其基于所述多个帧由所述发送部发送给所述总线时的所述监视部的监视结果，进行所述评价。
另外，本公开的一个技术方案涉及的评价方法，是进行与具备经由总线通信的多个电子控制单元的电子控制系统的安全有关的评价的方法，所述评价方法包括：保持表示多个帧的内容及发送顺序的攻击步骤信息；以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；在所述多个帧被发送给所述总线时，对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；基于由所述监视得到的监视结果，进行所述评价。
根据本公开，能够对由多个ECU构成的电子控制系统的抗攻击性(施加于电子控制系统的安全对策技术是否能够适当地防御攻击等)进行评价。
附图说明
图1是表示实施方式1涉及的评价系统的概略结构的构成图。
图2是评价系统中的评价装置的构成图。
图3是评价对象的电子控制系统中的执行器ECU的构成图。
图4是评价对象的电子控制系统中的指示ECU的构成图。
图5是评价对象的电子控制系统中的安全ECU的构成图。
图6是评价对象的电子控制系统中的档位ECU的构成图。
图7是表示评价装置的保持部所保持的攻击步骤信息的一例的图。
图8是表示评价系统的工作例1的时序图。
图9是表示评价系统的工作例1的时序图。
图10是表示评价系统的工作例1的时序图。
图11是表示评价系统的工作例2的时序图。
图12是表示评价系统的工作例2的时序图。
图13是表示评价系统的工作例3的时序图。
图14是表示评价系统的工作例3的时序图。
图15是表示评价系统的工作例3的时序图。
图16是表示评价系统的工作例4的时序图。
图17是表示评价系统的工作例4的时序图。
具体实施方式
(成为本发明的基础的见解)
非专利文献1的方法即使能找出单体的车载ECU的不良现象，也并不是能将由形成车载网络的多个ECU所构成的系统(电子控制系统)作为评价对象来进行与安全(施加于评价对象的安全对策技术是否能够适当地防御攻击这一抗攻击性等)有关的评价的方法。
于是，本公开提供能够将由多个ECU构成的电子控制系统作为评价对象来进行与安全有关的评价的评价装置。另外，本公开提供能够进行与由多个ECU构成的电子控制系统的安全有关的评价的评价系统以及用于该评价的评价方法。
本公开的一个技术方案涉及的评价装置，其连接于电子控制系统中多个电子控制单元进行通信所使用的总线，进行与该电子控制系统的安全有关的评价，所述评价装置具备：保持部，其保持表示多个帧的内容及发送顺序的攻击步骤信息；发送部，其以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；监视部，其对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；以及评价部，其基于所述多个帧由所述发送部发送给所述总线时的所述监视部的监视结果，进行所述评价。监视部能够在多个帧(例如CAN消息)由发送部发送给总线时(例如刚刚发送之后、或者从即将发送之前到刚刚发送之后)，直接或间接地对执行器部进行监视。由此，能够将由多个电子控制单元(ECU)构成的电子控制系统作为评价对象，进行如对与执行器部的驱动有关的攻击的防御功能等这样的安全功能的评价。
另外，例如也可以为，所述多个电子控制单元遵循CAN协议即控制器局域网络协议经由所述总线进行通信。由此，能够评价用于在ECU间进行帧的授受的、遵循CAN的网络中的抗攻击性等。
另外，例如也可以为，所述监视部对控制指示帧被发送到所述总线这一情况进行检测来作为对于所述执行器部的所述监视，所述控制指示帧用于指示所述多个电子控制单元中的一个对所述执行器部进行控制，所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述控制指示帧被发送到所述总线上而不同。控制指示帧例如能够通过电子控制系统中所规定的帧的ID来识别。由此，能够在用于控制执行器部的帧被总线授受的情况下通过监视总线而适当地对电子控制系统进行评价。
另外，例如也可以为，所述监视部对控制信号从所述多个电子控制单元中的一个输入到所述执行器部这一情况进行检测来作为对于所述执行器部的所述监视，所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述控制信号被输入到所述执行器部而不同。用于控制执行器部的控制信号由电子控制系统规定。由此，通过攻击能够确认对执行器部的控制信号是否被传递到，因此能够进行适当的评价。
另外，例如也可以为，所述监视部对所述执行器部的工作进行检测来作为对于所述执行器部的所述监视，所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述执行器部进行了工作而不同。由此，通过攻击能够确认执行器部是否进行了工作，因此能够进行适当的评价。
另外，例如也可以为，所述执行器部具有执行器，所述监视部通过测定因所述执行器的工作而变化的物理量来检测所述执行器部的工作。由此，通过攻击能够确认实际上执行器是否进行了工作，因此能够进行适当的评价。
另外，例如也可以为，所述执行器部具有计算机，所述计算机执行模拟执行器的工作的程序，所述监视部通过观测所述计算机中的与所述程序相关的预定数据的变化来检测所述执行器部的工作。由此，能够在使用代替实际的执行器的模拟执行器的情况下对抗攻击性等进行评价。
另外，例如也可以为，所述攻击步骤信息还表示对于所述多个帧的发送间隔，所述发送部按照所述攻击步骤信息所表示的发送顺序以及发送间隔将所述多个帧发送给所述总线。由此，能够评价针对通过多个帧的发送顺序和发送间隔来确定的攻击方法的防御功能等。
另外，例如也可以为，所述评价部将表示所述电子控制系统是否具有抗攻击性的信息作为评价结果进行输出。由此，评价装置的利用者等能够知晓电子控制系统是否具有抗攻击性。
另外，例如也可以为，所述发送部对以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线的攻击模式反复进行多次，所述评价部进行所述评价以使得评价结果根据所述监视结果有无因所述攻击模式的反复进行所导致的变化而不同。由此，能够评价电子控制系统对反复进行的攻击模式的抗攻击性等。
另外，本公开的一个技术方案涉及的评价系统，其进行与具备经由总线通信的多个电子控制单元的电子控制系统的安全有关的评价，所述评价系统具备：保持部，其保持表示多个帧的内容及发送顺序的攻击步骤信息；发送部，其以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；监视部，其对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；以及评价部，其基于所述多个帧由所述发送部发送给所述总线时的所述监视部的监视结果，进行所述评价。由此，能够进行如对与由多个ECU构成的电子控制系统中的执行器部的驱动有关的攻击的防御功能等这样的安全功能的评价。
另外，本公开的一个技术方案涉及的评价方法，是进行与具备经由总线通信的多个电子控制单元的电子控制系统的安全有关的评价的方法，所述评价方法包括：保持表示多个帧的内容及发送顺序的攻击步骤信息；以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；在所述多个帧被发送给所述总线时，对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；基于由所述监视得到的监视结果，进行所述评价。由此，能够将由多个ECU构成的电子控制系统作为评价对象，进行如对与执行器部的驱动有关的攻击的防御功能等这样的安全功能的评价。
另外，例如也可以为，所述多个电子控制单元遵循CAN协议即控制器局域网络协议经由所述总线进行通信，所述评价方法进行所述评价以使得：评价结果根据在所述多个帧中的1个以上被发送给所述总线后的一定期间内，是否检测出控制指示帧被发送到所述总线而不同，所述控制指示帧用于指示所述多个电子控制单元中的一个对所述执行器部进行控制。由此，能够对遵循CAN的车载网络系统等电子控制系统进行抗攻击性等的评价。
此外，这些总括性的或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或者记录介质的任意组合来实现。
以下，参照附图，对实施方式涉及的评价系统进行说明。在此所示的实施方式均表示本公开的一具体例。因此，在以下的实施方式中示出的数值、构成要素、构成要素的配置及连接方式、步骤(工序)及步骤的顺序等仅为一例而并非限定本公开。关于以下的实施方式中的构成要素中的未记载在独立权利要求中的构成要素，是能够任意附加的构成要素。另外，各附图仅为示意图，不一定是严格图示。
(实施方式1)
以下，说明进行与车载网络系统(电子控制系统)的安全有关的评价的评价装置和评价方法、以及包括电子控制系统和评价装置的评价系统，所述车载网络系统构成为包括搭载于汽车(车辆)、经由总线进行通信的多个电子控制单元(ECU)。
[1.1评价系统10的构成]
图1是表示评价系统10的概略结构的构成图。如该图所示，评价系统10构成为包括评价装置101以及电子控制系统11。评价系统10将电子控制系统11作为评价对象，对电子控制系统11的抗攻击性(对攻击进行防御的安全对策技术是否适当地发挥着作用等)进行评价。
电子控制系统11是车载网络系统，与车辆内的控制装置、传感器、执行器(例如能够被电子控制的转向器、加速器、制动器等)、用户接口装置等各种设备连接，具备构成为包括经由车内的总线(CAN总线)进行帧的收发的多个电子控制单元(ECU)的车载网络。在电子控制系统11中，通过各ECU对帧进行授受而进行协作，例如实现作为先进驾驶支援系统(ADAS：Advanced Driver Assistance System)的功能之一的停靠(驻车)辅助功能、车道维持辅助功能、碰撞回避辅助功能等功能。
车内可以包括许多传感器、执行器、ECU等，但在此为便于说明，作为一例，如图1所示，说明电子控制系统11具备执行器ECU102、指示ECU103、安全ECU104、档位ECU105、车速ECU106以及执行器107的情况。在此，执行器107代表转向器、加速器、制动器等，执行器ECU102代表对转向器、加速器、制动器等的一个或多个进行控制的ECU。此外，各ECU以CAN总线20为通信路径并遵循CAN标准(协议)进行通信。在CAN中，作为在数据的传输中使用的帧的数据帧(也称为CAN消息)被规定为包括保存ID(消息ID)的ID域、保存数据的数据域等。
执行器ECU102通过信号线与执行器107(例如转向器、加速器、制动器等)连接，并且，也与CAN总线20连接，基于经由CAN总线20接收到的CAN消息对执行器107进行控制。
指示ECU103连接于CAN总线20，取得表示车辆的状态等的CAN消息，在一定条件下将用于控制执行器107的指示(例如转向器操作指示)作为CAN消息发送给执行器ECU102。
安全ECU104一直监视(监控)CAN总线20，例如在检测到在传输不正常的CAN消息(攻击用的CAN消息)的情况下，进行使该CAN消息无效化等应对。作为使CAN消息无效化的方法，可以使用任意的方法，例如可以通过以与不正常的CAN消息重叠的方式发送由CAN协议规定的错误帧(error frame)来进行无效化。
档位ECU105以及车速ECU106取得搭载它们的车辆的状态，并将其作为CAN消息发送给CAN总线20。档位ECU105发送表示与车辆的换档杆的档位对应的变速器的状态(停车档：P、倒车档：R、前进档：D等)的CAN消息，车速ECU106发送表示车速(车辆的速度)的CAN消息。
评价装置101是评价对电子控制系统11(评价对象)施加的安全对策技术的抗攻击性的装置。评价装置101基于所保持的攻击步骤信息108，对评价对象进行攻击(hacking：非法入侵)，进行用于观测对攻击的响应的监视(监控)，并进行与监视结果相应的评价。作为由评价装置101进行的评价的一例，例如可列举对有无针对该攻击的抵抗性(攻击或者防御的成败)的判定。作为监视，具体而言，评价装置101进行对CAN总线20所传输的帧(消息)的监视、对向执行器107的输入信号(也就是执行器ECU102的输出信号)的监视、以及对执行器107的行为(工作)本身的监视。攻击步骤信息108表示进行攻击时的步骤(应该发送的CAN消息的种类、顺序、定时、频率等)。
以下，对评价系统10的各构成要素详细进行说明。
[1.2评价装置101的构成]
图2是评价系统10中的评价装置101的构成图。
如图2所示，评价装置101构成为包括监视部200(CAN总线监视部203、信号监视部204以及执行器监视部205)、收发部201(发送部201a以及接收部201b)、保持部202、评价部206以及控制部207。
评价装置101例如是包括处理器(微处理器)、存储器等数字电路、模拟电路、通信电路、硬盘等的装置。存储器是ROM、RAM等，能够存储由处理器执行的控制程序(作为软件的计算机程序)。例如通过处理器按照控制程序(计算机程序)进行工作(各种电路的控制等)，由此评价装置101实现各种功能。此外，计算机程序是为了实现预定的功能而组合多个表示对处理器的指令的命令代码而构成的。
(1)收发部201
收发部201由通信电路等来实现。收发部201由发送部201a以及接收部201b构成。发送部201a向CAN总线20发送CAN消息(例如表示档位、车速或者转向器操作指示的数据帧等)。接收部201b接收CAN总线20所传输的CAN消息(例如指示ECU103所发送的表示转向器操作指示的数据帧等)。
(2)保持部202
保持部202由存储器、硬盘等存储介质来实现，存储有表示评价装置101为了评价评价对象的抗攻击性等而进行的攻击的步骤的攻击步骤信息108。攻击步骤信息108表示攻击用的多个帧(CAN消息)的发送顺序等。关于攻击步骤信息108的详细内容，将在后面使用图7进行说明。
(3)CAN总线监视部203
CAN总线监视部203例如由执行程序的处理器等来实现，监视在评价对象的电子控制系统11中连接有多个ECU的CAN总线20。具体而言，CAN总线监视部203经由接收部201b接收CAN消息，确认CAN消息所包含的数据的内容(payload：有效负荷数据)。例如，CAN总线监视部203对控制指示帧被发送到CAN总线20这一情况进行检测来作为对于执行器107的监视，所述控制指示帧用于指示与CAN总线20连接的执行器ECU102对执行器107进行控制。而且，CAN总线监视部203例如对指示ECU103所发送的控制指示帧(与转向器操作指示有关的数据帧)的数据域的内容(停靠辅助功能的有效/无效标志(flag)、转向器操舵角的指定等)进行确认。
(4)信号监视部204
信号监视部204观测执行器ECU102通过信号线向执行器107发送的信号(向执行器107的输入信号)，确认信号内容。信号监视部204例如由连接于执行器ECU102、执行器107或其间的信号线的通信电路、执行程序的处理器等来实现。
(5)执行器监视部205
执行器监视部205观测执行器107，确认执行器107的行为(工作)。关于对执行器107的工作的确认，如果执行器107是转向器，则指的是对旋转量的确认，如果执行器107是加速器或者制动器，则指的是对位移量等的状态、变化的有无等的确认。执行器监视部205例如由对执行器107所产生的物理现象(因执行器107的工作而变化的物理量)直接或间接地进行测定的传感器、执行程序的处理器等来实现。
(6)评价部206
评价部206由执行程序的处理器等来实现。评价部206基于由监视部200(CAN总线监视部203、信号监视部204以及执行器监视部205)中的监视而得到的确认结果，进行与电子控制系统11的安全有关的评价。具体而言，评价部206对由监视部200得到的确认结果的全部或一部分与基于攻击步骤信息108发送CAN消息时的期望值进行比较，判定攻击是否成功(例如针对攻击的防御功能是否适当地进行了工作)等。期望值是被期望为攻击结果的执行器的行为、被期望为攻击结果的向执行器107输入的控制信号、被期望为攻击结果的指示ECU103所发送的CAN消息(例如控制指示帧)等，可以预先规定。评价部206基于攻击用的CAN消息由发送部201a根据攻击步骤信息108发送给CAN总线20时(例如刚刚发送之后的一定期间、或者从即将发送之前到刚刚发送之后等)的监视部200的监视结果来进行评价。评价部206例如可以判定在攻击步骤信息108所表示的攻击用的多个帧(CAN消息)的1个以上由发送部201a发送给CAN总线20后的一定期间内，是否由CAN总线监视部203检测出控制指示帧被发送到CAN总线20上这一情况，进行评价以使得评价结果根据是否检测出控制指示帧而不同。另外，评价部206例如可以进行评价以使得：评价结果根据在攻击用的CAN消息的1个以上被发送给CAN总线20后的一定期间内，是否由信号监视部204检测出用于控制的控制信号被输入到执行器107这一情况而不同。另外，评价部206例如可以进行评价以使得：评价结果根据在攻击用的CAN消息的1个以上被发送给CAN总线20后的一定期间内，是否由执行器监视部205检测出执行器107进行了工作而不同。
(7)控制部207
控制部207由执行程序的处理器等来实现，对监视部200、收发部201、保持部202以及评价部206进行管理、控制从而实现评价装置101的功能。
[1.3执行器ECU102的构成]
图3是执行器ECU102的构成图。
如图3所示，执行器ECU102构成为包括收发部301、指示发送部302、状态取得部303、判定部304以及控制部305。
执行器ECU102是连接于CAN总线20的ECU。ECU例如是包括处理器、存储器等数字电路、模拟电路、通信电路等的装置。存储器是ROM、RAM等，能够存储由处理器执行的控制程序。例如通过处理器按照控制程序(计算机程序)进行工作(各种电路的控制等)，由此执行器ECU102实现功能。
(1)收发部301
收发部301向CAN总线20发送CAN消息，接收CAN总线20所传输的CAN消息。收发部301例如接收表示档位、车速或者转向器操作指示的CAN消息。
(2)指示发送部302
指示发送部302基于经由收发部301接收到的CAN消息，通过信号线向执行器107发送控制信号。关于控制信号，例如，对于转向器，是表示旋转角度等而指示旋转等的信号(转向器工作指示)，对于加速器或者制动器，是表示位移量(例如踩下量)等而指示工作等的信号。
(3)状态取得部303
状态取得部303经由与执行器107连接的信号线取得执行器107的状态。关于状态取得部303所取得的状态，例如，如果执行器107是转向器，则指的是旋转角度，如果执行器107是加速器或者制动器，则指的是位移量(例如踩下量)等。
(4)判定部304
判定部304基于经由收发部301接收到的CAN消息，判定是否向执行器107发送控制信号。例如，在要向作为执行器107的转向器发出进行指示的控制信号的情况下，判定部304基于经由收发部301接收到的档位、车速、转向器操作指示等信息，判定是否发出控制信号，并决定由控制信号指定的控制量(旋转角度等)。
(5)控制部305
控制部305对收发部301、指示发送部302、状态取得部303以及判定部304进行管理、控制从而实现执行器ECU102的功能。
[1.4指示ECU103的构成]
图4是指示ECU103的构成图。
如图4所示，指示ECU103构成为包括收发部401、判定部402、算出部403以及控制部404。
指示ECU103是连接于CAN总线20的ECU。通过指示ECU103的处理器按照存储于存储器的控制程序(计算机程序)进行工作，由此指示ECU103实现功能。
(1)收发部401
收发部401向CAN总线20发送CAN消息，接收CAN总线20所传输的CAN消息。收发部401例如发送表示转向器操作指示的CAN消息，接收表示档位或者车速的CAN消息。
(2)判定部402
判定部402基于经由收发部301接收到的CAN消息，判定是否向执行器ECU102发出控制指示(例如作为表示转向器操作指示的控制指示帧的CAN消息)。例如，在为了使其控制转向器而要向执行器ECU102发出控制指示的情况下，根据经由收发部401接收到的CAN消息所表示的档位、车速或者与停靠辅助功能的开始有关的信息等，判定是否发出控制指示。在此，假设表示与在电子控制系统11中停靠辅助功能的开始有关的信息的CAN消息例如是从连接于CAN总线20、具备用户接口的ECU(未图示)发送的。该ECU例如可以根据车辆的驾驶员的操作，发送表示与停靠辅助功能的开始有关的信息的CAN消息。
(3)算出部403
算出部403基于经由收发部401接收到的CAN消息，算出应该由控制指示进行指示的控制量(例如转向器的旋转角度等)。
(4)控制部404
控制部404对收发部401、判定部402以及算出部403进行管理、控制从而实现指示ECU103的功能。
[1.5安全ECU104的构成]
图5是安全ECU104的构成图。
如图5所示，安全ECU104构成为包括收发部501、CAN总线监视部502以及控制部503。
安全ECU104是连接于CAN总线20、具备应对攻击的安全功能(防御功能等)的ECU。通过安全ECU104的处理器按照存储于存储器的控制程序(计算机程序)进行工作，由此安全ECU104实现功能。
(1)收发部501
收发部501接收CAN总线20所传输的CAN消息，并受CAN总线监视部502的指示，为了使不正常的CAN消息无效化而向CAN总线20发送错误帧。收发部501例如接收表示档位、车速或者转向器操作指示的CAN消息。
(2)CAN总线监视部502
CAN总线监视部502对经由收发部501从连接有多个ECU的CAN总线20接收到的CAN消息所包含的数据的内容(有效负荷数据)进行确认。CAN总线监视部502在确认到有不正常的CAN消息(也就是说在电子控制系统11中并未遵循预先确定的规则的CAN消息)在传输的情况下，经由收发部501发送错误帧。
(3)控制部503
控制部503对收发部501以及CAN总线监视部502进行管理、控制从而实现安全ECU104的功能。
[1.6档位ECU105、车速ECU106的构成]
图6是档位ECU105的构成图。
如图6所示，档位ECU105构成为包括收发部601、状态取得部602以及控制部603。车速ECU106也具备与档位ECU105同样的构成。
档位ECU105以及车速ECU106分别是连接于CAN总线20的ECU。通过各自的ECU的处理器按照存储于存储器的控制程序(计算机程序)进行工作，由此各自的ECU实现功能。
(1)收发部601
收发部601向CAN总线20发送CAN消息，接收CAN总线20所传输的CAN消息。
(2)状态取得部602
状态取得部602从传感器等取得车辆的状态，经由收发部601发送表示其所取得的状态的CAN消息。档位ECU105中的状态取得部602取得档位，车速ECU106中的状态取得部602取得车速。
(3)控制部603
控制部603对收发部601以及状态取得部602进行管理、控制，从而实现档位ECU105或者车速ECU106的功能。
[1.7攻击步骤信息]
将评价装置101的保持部202所保持的攻击步骤信息108的一例表示在图7中。在图7的例子中，攻击步骤信息108表示评价对象功能(成为攻击对象的电子控制系统11的功能)、为了攻击而应该发送的CAN消息、该CAN消息的消息ID、该CAN消息中的数据内容(即向其他ECU通知或者指示的内容)、该CAN消息的发送间隔以及发送顺序。
图7的例子的攻击步骤信息108对于将停靠辅助功能设为攻击对象的情况表示应该：通过ID(消息ID)为0x0123、对档位进行通知的CAN消息，通知档位是“倒车档”，之后，通过ID为0x0034、对车速进行通知的CAN消息，通知车速是“6km/h”，最后，通过ID为0x0256、表示转向器操作指示的CAN消息，发送用于使转向器向右旋转15度的标志“1”以及指定转向器操舵角的“右转15度”的数据。该标志是表示停靠辅助功能有效还是无效的有效/无效标志，“1”表示有效，“0”表示并非有效(即无效)。此外，图7的例子仅为一例，攻击步骤信息108的内容可以任意确定。发送部201a以攻击步骤信息108所表示的发送顺序将多个CAN消息发送给CAN总线20。另外，攻击步骤信息108也可以是规定了多个CAN消息之间的发送间隔的消息，在该情况下，发送部201a按照攻击步骤信息108所表示的发送顺序以及发送间隔将多个CAN消息发送给CAN总线20。
此外，在电子控制系统11中，与档位、车速或者转向器操作指示(停靠辅助功能的有效/无效的状态)有关的CAN消息总是被周期性地发送到CAN总线20上。在无需操作转向器的情况(停靠辅助功能没有生效的情况)下，与转向器操作指示(停靠辅助功能的有效/无效的状态)有关的CAN消息在标志为“0”的状态下被周期性地发送，在需要操作转向器的情况(使停靠辅助功能生效的情况)下，变成标志为“1”的状态的该CAN消息(也就是表示转向器操作指示的CAN消息)被周期性地发送。
[1.8评价系统10的工作]
以下，说明在具备上述构成的评价系统10中，由评价装置101对评价对象的电子控制系统11通过按照攻击步骤信息108进行攻击(通过发送CAN消息进行的攻击)来进行评价的工作。首先，说明将去除了安全ECU104的状态(导入安全ECU104之前等)的电子控制系统11作为评价对象进行评价的工作例1以及工作例2，之后，说明将具有安全ECU104的状态(导入安全ECU104之后等)的电子控制系统11作为评价对象进行评价的工作例3以及工作例4。
[1.8.1评价系统10的工作例1]
图8～图10是表示对不具备安全ECU104的状态的电子控制系统11进行评价的评价系统10的工作(工作例1)的时序图。图8所示的时序图后接图9所示的时序图。图9所示的时序图后接图10所示的时序图。在工作例1中，表示评价装置101通过攻击来使执行器ECU102误识别的例子。在电子控制系统11中，由档位ECU105、车速ECU106或者指示ECU103周期性地发送与档位、车速以及转向器操作指示有关的各CAN消息。
档位ECU105将表示当前的档位(前进档：D)的CAN消息发送给CAN总线20(步骤S801)，执行器ECU102接收在CAN总线20中传输的该表示档位的CAN消息(步骤S802)。
评价装置101例如以使执行器ECU102中的用于定期处理CAN消息的缓存被覆盖等为目的，在CAN总线20刚刚传输了表示档位(前进档：D)的CAN消息之后，按照攻击步骤信息108将表示冒充当前档位的假的档位(倒车档：R)的CAN消息发送给CAN总线20(步骤S803)。由此，执行器ECU102接收在CAN总线20中传输的表示档位的CAN消息，误识别为当前的档位是倒车档：R(步骤S804)。
另外，车速ECU106将表示当前的车速(30km/h)的CAN消息发送给CAN总线20(步骤S805)，执行器ECU102接收在CAN总线20中传输的该表示车速的CAN消息(步骤S806)。
评价装置101在CAN总线20刚刚传输了表示车速(30km/h)的CAN消息之后，将表示冒充当前车速的假的车速(0km/h)的CAN消息发送给CAN总线20(步骤S807)。由此，执行器ECU102接收在CAN总线20中传输的表示车速的CAN消息，误识别为当前的车速是0km/h(步骤S808)。
指示ECU103将表示停靠辅助功能当前并非有效(标志：0)的CAN消息发送给CAN总线20(步骤S901)，执行器ECU102接收在CAN总线20中传输的与停靠辅助功能的有效/无效的状态有关的CAN消息(步骤S902)。
评价装置101在CAN总线20刚刚传输了表示停靠辅助功能并非有效(标志：0)的CAN消息之后，将表示停靠辅助功能当前有效(标志：1)的CAN消息发送给CAN总线20(步骤S903)。由此，执行器ECU102接收在CAN总线20中传输的该与停靠辅助功能的有效/无效的状态有关的CAN消息，误识别为停靠辅助功能当前有效(步骤S904)，发送用于基于与停靠辅助功能的有效/无效的状态有关的CAN消息(也就是，由于停靠辅助功能有效而表示转向器操作指示的CAN消息)所包含的转向器的操舵角的指定来使转向器工作的控制信号(转向器工作指示)(步骤S905)。而且，作为执行器107的转向器基于接收到的控制信号(转向器工作指示)进行工作(步骤S906)。在后面的说明中，将作为执行器107的转向器称为“执行器107(转向器)”。
评价装置101接收(监视)执行器ECU102向执行器107(转向器)发送的控制信号(转向器工作指示)(步骤S1001)。另外，评价装置101对执行器107(转向器)的行为进行确认(观测)(步骤S1002)。评价装置101通过将接收到的控制信号以及确认到的执行器107(转向器)的行为与攻击的期望值进行比较，进行对电子控制系统11的安全的评价(关于攻击的成败的判定等)(步骤S1003)。评价装置101例如在接收到的控制信号以及确认到的执行器107(转向器)的行为成为作为攻击的期望值的控制信号以及行为的情况下，判定为攻击已成功。此外，评价装置101也可以仅使用被输入给执行器107(转向器)的控制信号的监视结果和执行器107(转向器)的行为的确认结果中的一方来基于攻击的期望值进行对于攻击的成败的判定等。
评价装置101通过对按照攻击步骤信息108的攻击已成功这一情况进行确认，例如能够对之后导入电子控制系统11的安全对策技术(例如安全ECU104)的效果进行评价。
[1.8.2评价系统10的工作例2]
图11以及图12是表示对不具备安全ECU104的状态的电子控制系统11进行评价的评价系统10的工作(工作例2)的时序图。图11所示的时序图后接图12所示的时序图。在工作例2中，表示评价装置101通过攻击来使指示ECU103误识别的例子。
档位ECU105将表示当前的档位(前进档：D)的CAN消息发送给CAN总线20(步骤S1101)，指示ECU103接收在CAN总线20中传输的该表示档位的CAN消息(步骤S1102)。执行器ECU102也同样地接收在CAN总线20中传输的该表示档位的CAN消息(步骤S1103)。
评价装置101在CAN总线20刚刚传输了表示档位(前进档：D)的CAN消息之后，按照攻击步骤信息108将表示冒充当前档位的假的档位(倒车档：R)的CAN消息发送给CAN总线20(步骤S1104)。由此，指示ECU103接收在CAN总线20中传输的表示档位的CAN消息，误识别为当前的档位是倒车档：R(步骤S1105)。执行器ECU102也同样地接收在CAN总线20中传输的该表示档位的CAN消息，误识别为当前的档位是倒车档：R(步骤S1106)。
另外，车速ECU106将表示当前的车速(30km/h)的CAN消息发送给CAN总线20(步骤S1107)，指示ECU103接收在CAN总线20中传输的该表示车速的CAN消息(步骤S1108)。执行器ECU102也同样地接收在CAN总线20中传输的该表示车速的CAN消息(步骤S1109)。
评价装置101在CAN总线20刚刚传输了表示车速(30km/h)的CAN消息之后，将表示冒充当前车速的假的车速(0km/h)的CAN消息发送给CAN总线20(步骤S1110)。由此，指示ECU103接收在CAN总线20中传输的表示车速的CAN消息，误识别为当前的车速是0km/h(步骤S1111)。执行器ECU102也同样地接收在CAN总线20中传输的该表示车速的CAN消息，误识别为当前的车速是0km/h(步骤S1112)。
评价装置101将表示开始停靠辅助功能的CAN消息发送给CAN总线20(步骤S1201)，指示ECU103接收在CAN总线20中传输的该与停靠辅助功能的开始有关的CAN消息(表示开始停靠辅助功能的CAN消息)(步骤S1202)。
接下来，指示ECU103因为已经接收到的假的档位以及车速满足用于执行停靠辅助功能的一定条件，因此将表示停靠辅助功能有效(标志：1)的CAN消息(也就是表示转向器操作指示的CAN消息)发送给CAN总线20(步骤S1203)。由此，执行器ECU102接收在CAN总线20中传输的与停靠辅助功能的有效/无效的状态有关的CAN消息，误识别为停靠辅助功能当前有效(步骤S1204)，基于与停靠辅助功能的有效/无效的状态有关的CAN消息(表示转向器操作指示的CAN消息)所包含的转向器的操舵角的指定而向执行器107(转向器)发送控制信号(转向器工作指示)(步骤S1205)。然后，执行器107(转向器)基于接收到的控制信号(转向器工作指示)进行工作(步骤S1206)。
另外，评价装置101接收(监视)指示ECU103向CAN总线发送的与停靠辅助功能的有效/无效的状态有关的CAN消息(标志：1)(步骤S1207)。评价装置101通过将接收到的与停靠辅助功能的有效/无效的状态有关的CAN消息的内容与攻击的期望值进行比较，进行电子控制系统11的安全的评价(关于攻击的成败的判定等)(步骤S1208)。评价装置101例如在接收到的与停靠辅助功能的有效/无效的状态有关的CAN消息的标志成为作为攻击的期望值的标志值“1”的情况下，判定为检测出了用于控制执行器107(转向器)的控制指示帧，并判定为攻击已成功。
评价装置101通过对按照攻击步骤信息108的攻击已成功这一情况进行确认，例如能够对之后导入电子控制系统11的安全对策技术(例如安全ECU104)的效果进行评价。
[1.8.3评价系统10的工作例3]
图13～图15是表示对具备安全ECU104的状态(参照图1)的电子控制系统11进行评价的评价系统10的工作(工作例3)的时序图。图13所示的时序图后接图14所示的时序图。图14所示的时序图后接图15所示的时序图。在工作例3中，表示评价装置101通过攻击来尝试使执行器ECU102误识别的例子。
档位ECU105将表示当前的档位(前进档：D)的CAN消息发送给CAN总线20(步骤S801)，执行器ECU102接收在CAN总线20中传输的该表示档位的CAN消息(步骤S802)。
评价装置101在CAN总线20刚刚传输了表示档位(前进档：D)的CAN消息之后，按照攻击步骤信息108将表示冒充当前档位的假的档位(倒车档：R)的CAN消息发送给CAN总线20(步骤S803)。由此，执行器ECU102接收在CAN总线20中传输的表示档位的CAN消息，误识别为当前的档位是倒车档：R(步骤S804)。
另外，车速ECU106将表示当前的车速(30km/h)的CAN消息发送给CAN总线20(步骤S805)，执行器ECU102接收在CAN总线20中传输的该表示车速的CAN消息(步骤S806)。
评价装置101在CAN总线20刚刚传输了表示车速(30km/h)的CAN消息之后，将表示冒充当前车速的假的车速(0km/h)的CAN消息发送给CAN总线20(步骤S807)。由此，执行器ECU102接收在CAN总线20中传输的表示车速的CAN消息，误识别为当前的车速是0km/h(步骤S808)。
指示ECU103将表示停靠辅助功能当前并非有效(标志：0)的CAN消息发送给CAN总线20(步骤S901)，执行器ECU102接收在CAN总线20中传输的与停靠辅助功能的有效/无效的状态有关的CAN消息(步骤S902)。
评价装置101在CAN总线20刚刚传输了表示停靠辅助功能并非有效(标志：0)的CAN消息之后，将表示停靠辅助功能当前有效(标志：1)的CAN消息发送给CAN总线20(步骤S903)。对此，安全ECU104在将评价装置101在步骤S903中向CAN总线20发送的与停靠辅助功能的有效/无效的状态有关的CAN消息判定为是不正常的CAN消息的情况下，通过发送错误帧来使该CAN消息无效化(步骤S1401)。由于不受被无效化的CAN消息的影响，因此执行器ECU102不向执行器107(转向器)发送控制信号(转向器工作指示)。为此，执行器107(转向器)并不会进行工作。
评价装置101确认执行器ECU102没有向执行器107(转向器)发送控制信号(转向器工作指示)(步骤S1402)，并确认执行器107(转向器)没有进行工作(步骤S1403)，在成功确认到这些的情况下判定为防御(安全对策)已成功(也就是说攻击已失败)(步骤S1501)。此外，评价装置101也可以只要成功实现对执行器ECU102没有向执行器107(转向器)发送控制信号的确认和对执行器107(转向器)没有进行工作的确认中的一方，就判定为防御已成功等，仅使用其一方来进行对于安全的评价。
[1.8.4评价系统10的工作例4]
图16以及图17是表示对具备安全ECU104的状态(参照图1)的电子控制系统11进行评价的评价系统10的工作(工作例4)的时序图。图16所示的时序图后接图17所示的时序图。在工作例4中，表示评价装置101通过攻击来尝试使指示ECU103误识别的例子。
档位ECU105将表示当前的档位(前进档：D)的CAN消息发送给CAN总线20(步骤S1101)，指示ECU103接收在CAN总线20中传输的该表示档位的CAN消息(步骤S1102)。执行器ECU102也同样地接收在CAN总线20中传输的该表示档位的CAN消息(步骤S1103)。
评价装置101在CAN总线20刚刚传输了表示档位(前进档：D)的CAN消息之后，按照攻击步骤信息108将表示冒充当前档位的假的档位(倒车档：R)的CAN消息发送给CAN总线20(步骤S1104)。对此，安全ECU104在将评价装置101在步骤S1104中向CAN总线20发送的表示档位(倒车档：R)的CAN消息判定为是不正常的CAN消息的情况下，通过发送错误帧来使该CAN消息无效化(步骤S1601)。
另外，车速ECU106将表示当前的车速(30km/h)的CAN消息发送给CAN总线20(步骤S1107)，指示ECU103接收在CAN总线20中传输的该表示车速的CAN消息(步骤S1108)。执行器ECU102也同样地接收在CAN总线20中传输的该表示车速的CAN消息(步骤S1109)。
评价装置101在CAN总线20刚刚传输了表示车速(30km/h)的CAN消息之后，将表示冒充当前车速的假的车速(0km/h)的CAN消息发送给CAN总线20(步骤S1110)。对此，安全ECU104在将评价装置101在步骤S1110中向CAN总线20发送的表示车速(0km/h)的CAN消息判定为是不正常的CAN消息的情况下，通过发送错误帧来使该CAN消息无效化(步骤S1602)。
评价装置101将表示开始停靠辅助功能的CAN消息发送给CAN总线20(步骤S1201)，指示ECU103接收在CAN总线20中传输的该与停靠辅助功能的开始有关的CAN消息(表示开始停靠辅助功能的CAN消息)(步骤S1202)。
接下来，指示ECU103由于没有接收到假的档位以及车速，因此不满足用于执行停靠辅助功能的一定条件，所以，将表示停靠辅助功能无效(标志：0)的CAN消息(与停靠辅助功能的有效/无效的状态有关的CAN消息)发送给CAN总线20(步骤S1701)。由此，执行器ECU102接收在CAN总线20中传输的与停靠辅助功能的有效/无效的状态有关的CAN消息，识别为停靠辅助功能当前无效(步骤S1702)，不向执行器107(转向器)发送控制信号(转向器工作指示)。
评价装置101接收(监视)指示ECU103向CAN总线20发送的与停靠辅助功能的有效/无效的状态有关的CAN消息(标志：0)(步骤S1703)。评价装置101通过将接收到的与停靠辅助功能的有效/无效的状态有关的CAN消息的内容与攻击的期望值进行比较，进行电子控制系统11的安全的评价(关于攻击的成败的判定等)(步骤S1704)。评价装置101例如在接收到的与停靠辅助功能的有效/无效的状态有关的CAN消息的标志没有成为作为攻击的期望值的标志值“1”的情况下，判定为没有检测出用于控制执行器107(转向器)的控制指示帧，并判定为防御(安全对策)已成功。
(变形例)
如上所述，作为本公开涉及的技术的示例，对实施方式1进行了说明。然而，本公开涉及的技术并不限定于此，也能够适用于进行了适当的变更、替换、附加、省略等的实施方式。例如，如下的变形例也包含在本公开的一个实施方式中。
(1)在上述实施方式中，示出了评价装置101通过发送CAN消息(表示假信息的CAN消息)来攻击电子控制系统11的例子。然而，评价装置101可以使用任何方法进行攻击，也可以用除发送CAN消息以外的方法进行攻击。例如，评价装置101也可以将通过信号线与评价对象的电子控制系统11中的各种ECU连接的传感器的传感信息替换成假信息而使该ECU误识别。
(2)在上述的电子控制系统11中，假设并说明了各种ECU以及执行器是真实的(作为实物的)ECU以及执行器的情况。然而，关于作为评价系统10的评价对象的电子控制系统11中的各种ECU，也可以取代真实的ECU(例如安装在评价板上的ECU、作为产品的ECU等)，而是对该ECU进行模拟(仿真)的模拟ECU(例如，执行对该ECU的功能、行为等进行模拟的软件的计算机等)。同样地，在评价对象的电子控制系统11中，也可以取代真实的执行器(转向器、加速器、制动器等)，而具备对该执行器进行模拟的模拟执行器(例如，执行对执行器的工作进行模拟的仿真软件的计算机等)。即，评价系统10的评价对象只要是具备作为真实的执行器以及模拟执行器中的某一方的执行器部的电子控制系统即可。在执行器部是模拟执行器的情况下，可以为，执行器监视部205例如通过利用仿真软件的输出功能等并确认在仿真中使用的各种参数等来进行执行器部的观测，也可以为，信号监视部204例如通过对向该仿真软件输入的参数等进行确认等来进行执行器部的观测。即，在执行器部是模拟执行器的情况下，监视部200也可以通过在计算机中观测与仿真软件(程序)相关的预定数据(例如与因执行器的工作而变化的物理量对应的计算机的预定存储器区域的内容或者输出内容等)的变化来检测执行器部的工作。
(3)在上述实施方式中，示出了评价装置101是连接于CAN总线20的1个装置的例子，但评价装置101也可以如分离为发送装置和监视装置这样等、具备分离为多个壳体的结构，所述发送装置按照攻击步骤信息108发送供给用的CAN消息，所述监视装置对在CAN总线20中传输的CAN消息、执行器ECU102所输出的控制信号、执行器107的行为等进行监视。
(4)在上述实施方式中，作为评价系统10的评价对象，示例了具备基于CAN总线20的车载网络的电子控制系统11，但在评价系统10中评价装置101发送攻击用的消息并作为监视的对象的网络也可以不必是车载网络，另外，也可以是进行遵循CAN协议的通信的、除了CAN总线20以外的网络。例如，评价系统10也可以将除了机器人、工业设备等的网络以外的网络通信系统作为评价对象。另外，CAN协议应该被看作也包括在自动化系统内的嵌入式系统等中使用的CANOpen、或者TTCAN(Time-Triggered CAN：时间触发CAN)、CANFD(CANwith Flexible Data Rate：具有灵活数据传输率的CAN)等派生协议在内的广义含义的CAN协议。另外，也可以在评价对象的网络系统中使用CAN协议以外的通信协议，例如Ethernet(注册商标)、MOST(注册商标)、FlexRay(注册商标)、LIN(Local Interconnect Network，局域互联网)等。另外，也可以将包括组合了遵循各种协议的网络的复合性网络的系统作为评价对象，在评价装置101中，对该网络进行攻击以及监视。
(5)在上述实施方式中，示出了评价装置101进行发送表示假信息的CAN消息的攻击的例子，但除此之外，也可以通过在CAN总线20上篡改档位ECU105、车速ECU106、指示ECU103等所发送的CAN消息的内容的一部分来进行攻击。
(6)上述的评价装置101例如也可以将与车载网络系统的一部分相当的电子控制系统11作为评价对象并通过攻击来进行评价。在该情况下，为了模拟不包含于评价对象的车载网络系统的部分(构成评价环境的部分)，也可以对不包含于评价对象的车载网络发送在稳定状态下所传输的正规的CAN消息，并且对评价对象进行攻击。在该情况下，例如，也可以通过在评价对象中的安全ECU104检测到不正常的CAN消息并使其无效化的情况下，确认是否对无关的正规的消息进行了无效化，从而对评价对象进行评价。另外，在导入了除检测到不正常的CAN消息并使其无效化以外的用于应对攻击的安全功能(对CAN消息的消息认证码(MAC)赋予和/或MAC验证等)的情况下，评价装置101也可以通过确认是否为了应对攻击而对稳定状态的正规的CAN消息的收发造成了不良影响(大幅度的通信延迟等)等，从而对评价对象进行评价。
(7)评价装置101也可以基于混过了防御的不正常的CAN消息的个数和/或比例来进行如判定抗攻击性的有无等这样的评价，作为对于评价对象的安全(抗攻击性等)的评价。此外，评价装置101为了判定抗攻击性的有无，可以使用阈值，所述阈值规定关于不正常的CAN消息的个数和/或比例的上限等。该阈值既可以为能够对评价装置101任意设定，也可以为在反复实施评价的情况下能够根据评价结果等来变化(调整)。另外，评价装置101也可以估算攻击的成功率(成功的频率等)。如此，评价装置101除了攻击成败或者防御成败的择一判定之外，例如还可以评价多个防御功能各自是否进行工作或者以怎样的程度有效地发挥了作用。另外，在评价装置101中，也可以为，对发送部201a以攻击步骤信息108所表示的发送顺序将多个CAN消息发送给CAN总线20的攻击模式反复进行多次，评价部206进行评价以使得评价结果根据监视部200的监视结果有无因攻击模式的反复进行所导致的变化而不同。此外，评价装置101的评价部206中的评价结果除了由评价装置101记录于存储器等存储介质之外，可以被输出(例如评价结果的显示、表示评价结果的信息的发送等)到评价装置101的外部。例如，评价部206也可以将表示评价对象的电子控制系统是否具有抗攻击性的信息作为评价结果进行输出。
(8)将评价对象的电子控制系统11中的安全ECU104包含在内的安全功能也可以是对与检测不正常有关的日志信息(CAN消息的接收历史记录等)进行记录，在该情况下，评价装置101也可以通过对该日志信息与该评价装置101所保持的与攻击有关的期望值进行比较，进行对攻击是否成功的判定或者对攻击成功了的概率等的算出，从而进行对于安全的评价。
(9)在上述实施方式中，作为安全功能，电子控制系统11可以为具备独立的安全ECU104，但也可以为经由总线通信的多个ECU中的全部或者一部分ECU具备安全功能。另外，也可以为多个ECU分散地实现安全功能。
(10)在上述实施方式中，示出了评价装置101直接连接于评价对象的电子控制系统11中的总线的例子，但也可以有网关等中继装置介于评价装置101和评价对象之间。例如，评价装置101也可以在与网关之间实施了相互认证或者单向认证后，通过发送攻击用的CAN消息来使网关将该CAN消息转送给CAN总线20，并经由网关取得来自CAN总线20的CAN消息等，由此，对评价对象的安全(抗攻击性等)进行评价。
(11)评价装置101也可以取代通过执行器监视部205来观测执行器107，而通过监视执行器ECU102向CAN总线20发送的与执行器107的状态通知(转向器的当前的角度、加速器或制动器的位移量、发动机的转速等)有关的CAN消息，间接地确认执行器107的工作(行为)。
(12)上述实施方式中的评价装置101以及各种ECU例如是包括处理器、存储器等数字电路、模拟电路、通信电路等的装置，但也可以包括显示器、键盘、鼠标等其他的硬件构成要素。另外，也可以取代由处理器执行存储于存储器的控制程序从而以软件方式来实现功能，而通过专用的硬件(数字电路等)来实现其功能。例如，评价装置101的CAN总线监视部203、信号监视部204、执行器监视部205、收发部201、保持部202、评价部206以及控制部207的各功能块可以通过集成电路来实现。另外，例如执行器ECU102的收发部301、指示发送部302、状态取得部303、判定部304以及控制部305的各功能块可以通过集成电路来实现。另外，例如指示ECU103的收发部401、判定部402、算出部403以及控制部404的各功能块可以通过集成电路来实现。另外，例如安全ECU104的收发部501、CAN总线监视部502以及控制部503的各功能块可以通过集成电路来实现。另外，例如档位ECU105或者车速ECU106的收发部601、状态取得部602以及控制部603的各功能块可以通过集成电路来实现。
(13)上述实施方式中的构成各装置(评价装置101、各种ECU等)的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在一个芯片上集成多个构成部而制造出的超多功能LSI，具体而言，是构成为包括微处理器、ROM、RAM等的计算机系统。在所述RAM中记录有计算机程序。所述微处理器按照所述计算机程序进行工作，由此系统LSI实现其功能。另外，构成上述各装置的构成要素的各部分既可以单独地单芯片化，也可以以包括一部分或全部的方式单芯片化。另外，虽然此处设为系统LSI，但根据集成度不同，也可以称为IC、LSI、超大LSI(super LSI)，特大LSI(ultraLSI)。另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器实现。也可以在LSI制造后利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)和/或可以对LSI内部的电路单元的连接和/或设定进行重构的可重构处理器(reconfigurable processor)。再者，随着半导体技术的进步或派生的其他技术的出现，如果出现能够代替LSI的集成电路化的技术，当然也可以使用该技术进行功能块的集成化。也存在应用生物技术等的可能性。
(14)构成上述各装置的构成要素的一部分或全部也可以由能够装卸于各装置的IC卡或单体模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。微处理器按照计算机程序进行工作，由此所述IC卡或所述模块实现其功能。该IC卡或该模块可以具有防篡改性能。
(15)作为本公开的一个技术方案，例如也可以是包括图8～图17等所示例的处理步骤的全部或者一部分的评价方法。例如，评价方法是进行与具备经由CAN总线20通信的多个ECU的电子控制系统11的安全有关的评价的方法，该评价方法包括：保持表示多个帧的内容以及发送顺序的攻击步骤信息108；以攻击步骤信息108所表示的发送顺序将多个帧发送给CAN总线20(例如步骤S803、S807、S903、S1104、S1110、S1201)；在多个帧被发送给CAN总线20时，直接或间接地对由多个ECU中的某一个所控制的执行器部(例如执行器107)进行监视(例如步骤S1001、S1002、S1207)；基于由监视得到的监视结果来进行评价(例如S1003、S1208)。另外，作为本公开的一个技术方案，也可以是通过计算机实现该评价方法涉及的处理的计算机程序，还可以是通过所述计算机程序形成的数字信号。另外，作为本公开的一个技术方案，也可以将所述计算机程序或所述数字信号记录于计算机可读取的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。另外，也可以是记录在这些记录介质中的所述数字信号。另外，作为本公开的一个技术方案，也可以将所述计算机程序或所述数字信号经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等进行传输。另外，作为本公开的一个技术方案，也可以是具备微处理器和存储器的计算机系统，所述存储器记录有上述计算机程序，所述微处理器按照所述计算机程序进行工作。另外，通过将所述程序或所述数字信号记录在所述记录介质中移送，或者经由所述网络等将所述程序或所述数字信号进行移送，可以通过独立的其他的计算机系统来实施。
(16)通过将上述实施方式及上述变形例中示出的各构成要素以及功能任意地进行组合而实现的方式也包含在本公开的范围内。
产业上的可利用性
本公开能够利用于对电子控制系统实施所施加的安全对策技术是否能够适当地防御攻击等评价。
标号说明
10：评价系统
11：电子控制系统
20：CAN总线
101：评价装置
102：执行器ECU
103：指示ECU
104：安全ECU
105：档位ECU
106：车速ECU
107：执行器
108：攻击步骤信息
200：监视部
201、301、401、501、601：收发部
201a：发送部
201b：接收部
202：保持部
203、502：CAN总线监视部
204：信号监视部
205：执行器监视部
206：评价部
207、305、404、503、603：控制部
302：指示发送部
303、602：状态取得部
304、402：判定部
403：算出部。

Claims (12)

1.一种评价装置，其连接于电子控制系统中多个电子控制单元进行通信所使用的总线，进行与该电子控制系统的安全有关的评价，所述评价装置具备：
保持部，其保持表示多个帧的内容及发送顺序的攻击步骤信息；
发送部，其以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；
监视部，其对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；以及
评价部，其基于所述多个帧由所述发送部发送给所述总线时的所述监视部的监视结果，进行所述评价，
所述监视部对控制指示帧被发送到所述总线这一情况进行检测来作为对于所述执行器部的所述监视，所述控制指示帧用于指示所述多个电子控制单元中的一个对所述执行器部进行控制，
所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述控制指示帧被发送到所述总线上而不同。
2.根据权利要求1所述的评价装置，
所述多个电子控制单元遵循CAN协议即控制器局域网络协议经由所述总线进行通信。
3.根据权利要求1或2所述的评价装置，
所述监视部对控制信号从所述多个电子控制单元中的一个输入到所述执行器部这一情况进行检测来作为对于所述执行器部的所述监视，
所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述控制信号被输入到所述执行器部而不同。
4.根据权利要求1或2所述的评价装置，
所述监视部对所述执行器部的工作进行检测来作为对于所述执行器部的所述监视，
所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述执行器部进行了工作而不同。
5.根据权利要求4所述的评价装置，
所述执行器部具有执行器，
所述监视部通过测定因所述执行器的工作而变化的物理量来检测所述执行器部的工作。
6.根据权利要求4所述的评价装置，
所述执行器部具有计算机，所述计算机执行模拟执行器的工作的程序，
所述监视部通过观测所述计算机中的与所述程序相关的预定数据的变化来检测所述执行器部的工作。
7.根据权利要求1或2所述的评价装置，
所述攻击步骤信息还表示对于所述多个帧的发送间隔，
所述发送部按照所述攻击步骤信息所表示的发送顺序以及发送间隔将所述多个帧发送给所述总线。
8.根据权利要求1或2所述的评价装置，
所述评价部将表示所述电子控制系统是否具有抗攻击性的信息作为评价结果进行输出。
9.根据权利要求1或2所述的评价装置，
所述发送部对以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线的攻击模式反复进行多次，
所述评价部进行所述评价以使得：评价结果根据所述监视结果有无因所述攻击模式的反复进行所导致的变化而不同。
10.一种评价系统，其进行与具备经由总线通信的多个电子控制单元的电子控制系统的安全有关的评价，所述评价系统具备：
保持部，其保持表示多个帧的内容及发送顺序的攻击步骤信息；
发送部，其以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；
监视部，其对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；以及
评价部，其基于所述多个帧由所述发送部发送给所述总线时的所述监视部的监视结果，进行所述评价，
所述监视部对控制指示帧被发送到所述总线这一情况进行检测来作为对于所述执行器部的所述监视，所述控制指示帧用于指示所述多个电子控制单元中的一个对所述执行器部进行控制，
所述评价部进行所述评价以使得：评价结果根据在所述多个帧中的1个以上由所述发送部发送给所述总线后的一定期间内，是否由所述监视部检测出所述控制指示帧被发送到所述总线上而不同。
11.一种评价方法，是进行与具备经由总线通信的多个电子控制单元的电子控制系统的安全有关的评价的方法，所述评价方法包括：
保持表示多个帧的内容及发送顺序的攻击步骤信息；
以所述攻击步骤信息所表示的发送顺序将所述多个帧发送给所述总线；
在所述多个帧被发送给所述总线时，对由所述多个电子控制单元中的某一个所控制的执行器部进行监视；
基于由所述监视得到的监视结果，进行所述评价，
对控制指示帧被发送到所述总线这一情况进行检测来作为对于所述执行器部的所述监视，所述控制指示帧用于指示所述多个电子控制单元中的一个对所述执行器部进行控制，
进行所述评价以使得：评价结果根据在所述多个帧中的1个以上发送给所述总线后的一定期间内，是否检测出所述控制指示帧被发送到所述总线上而不同。
12.根据权利要求11所述的评价方法，
所述多个电子控制单元遵循CAN协议即控制器局域网络协议经由所述总线进行通信，
所述评价方法进行所述评价以使得：评价结果根据在所述多个帧中的1个以上被发送给所述总线后的一定期间内，是否检测出控制指示帧被发送到所述总线而不同，所述控制指示帧用于指示所述多个电子控制单元中的一个对所述执行器部进行控制。
CN201680003169.XA 2015-12-14 2016-11-16 评价装置、评价系统以及评价方法 Active CN107111716B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015243433 2015-12-14
JP2015-243433 2015-12-14
JP2016-201242 2016-10-12
JP2016201242A JP6712938B2 (ja) 2015-12-14 2016-10-12 評価装置、評価システム及び評価方法
PCT/JP2016/004892 WO2017104106A1 (ja) 2015-12-14 2016-11-16 評価装置、評価システム及び評価方法

Publications (2)

Publication Number Publication Date
CN107111716A CN107111716A (zh) 2017-08-29
CN107111716B true CN107111716B (zh) 2022-03-29

Family

ID=59056180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680003169.XA Active CN107111716B (zh) 2015-12-14 2016-11-16 评价装置、评价系统以及评价方法

Country Status (2)

Country Link
CN (1) CN107111716B (zh)
WO (1) WO2017104106A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017216096A1 (de) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines Angriffs auf ein serielles Kommunikationssystem
JP7071998B2 (ja) * 2017-12-15 2022-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車載ネットワーク異常検知システム及び車載ネットワーク異常検知方法
CN108924098A (zh) * 2018-06-14 2018-11-30 北京汽车股份有限公司 车辆以及防止车辆数据被篡改的方法和系统
WO2020090108A1 (ja) * 2018-11-02 2020-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 不正制御防止システムおよび、不正制御防止方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078836A (zh) * 2011-10-25 2013-05-01 通用汽车环球科技运作有限责任公司 车载网络中的计算机安全
CN104717201A (zh) * 2013-12-12 2015-06-17 日立汽车系统株式会社 网络装置以及网络系统
WO2015089236A1 (en) * 2013-12-13 2015-06-18 Qualcomm Incorporated Position location system architecture: filtering position fixes
JP2015114833A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 検査システム、機器情報取得装置、検査指示装置、検査実行装置、機器検査方法及びプログラム
WO2015159486A1 (ja) * 2014-04-17 2015-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車載ネットワークシステム、不正検知電子制御ユニット及び不正検知方法
CN105050868A (zh) * 2012-10-17 2015-11-11 安全堡垒有限责任公司 用于检测和防止对交通工具的攻击的设备
WO2015170526A1 (ja) * 2014-05-07 2015-11-12 日立オートモティブシステムズ株式会社 検査装置、検査システム及び検査方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200732909A (en) * 2006-02-27 2007-09-01 Dmp Electronics Inc Central processing unit capable of recording number of breakdown
CN2919369Y (zh) * 2006-05-11 2007-07-04 深圳市昭营科技有限公司 中央处理器
US9342695B2 (en) * 2012-10-02 2016-05-17 Mordecai Barkan Secured automated or semi-automated systems
CN104581705A (zh) * 2014-12-11 2015-04-29 深圳市金立通信设备有限公司 一种终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078836A (zh) * 2011-10-25 2013-05-01 通用汽车环球科技运作有限责任公司 车载网络中的计算机安全
CN105050868A (zh) * 2012-10-17 2015-11-11 安全堡垒有限责任公司 用于检测和防止对交通工具的攻击的设备
JP2015114833A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 検査システム、機器情報取得装置、検査指示装置、検査実行装置、機器検査方法及びプログラム
CN104717201A (zh) * 2013-12-12 2015-06-17 日立汽车系统株式会社 网络装置以及网络系统
WO2015089236A1 (en) * 2013-12-13 2015-06-18 Qualcomm Incorporated Position location system architecture: filtering position fixes
WO2015159486A1 (ja) * 2014-04-17 2015-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車載ネットワークシステム、不正検知電子制御ユニット及び不正検知方法
WO2015170526A1 (ja) * 2014-05-07 2015-11-12 日立オートモティブシステムズ株式会社 検査装置、検査システム及び検査方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Secure in-vehicle systems against Trojan attacks;Masaya Yoshikawa et al;《2015 IEEE/ACIS 14th International Conference on Computer and Information Science (ICIS)》;20150727;全文 *
Testing and Evaluation to Improve Data Security of Automotive Embedded Systems Master’s thesis in Computer Systems & Networks;Johannes Weschke et al;《http://publications.lib.chalmers.se/records/fulltext/219731/219731.pdf》;20150714;全文 *

Also Published As

Publication number Publication date
CN107111716A (zh) 2017-08-29
WO2017104106A1 (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
JP6712938B2 (ja) 評価装置、評価システム及び評価方法
CN107251491B (zh) 评价装置、评价系统以及评价方法
CN107111716B (zh) 评价装置、评价系统以及评价方法
EP3793141B1 (en) Anomaly sensing electronic control unit, vehicle-mounted network system, and anomaly sensing method
JP6807906B2 (ja) 車両へのコンピュータ攻撃を阻止するためのルールを生成するシステムおよび方法
US10326793B2 (en) System and method for guarding a controller area network
KR102524204B1 (ko) 차량용 네트워크의 침입 대응 장치 및 방법
CN105075186B (zh) 数据处理装置和通信系统
CN103676926A (zh) 具有随机且多次变化响应测试的安全系统和方法
US11938897B2 (en) On-vehicle device, management method, and management program
WO2018173732A1 (ja) 車載通信装置、コンピュータプログラム及びメッセージ判定方法
US20200213149A1 (en) Electronic control system, electronic control device, control method, and recording medium
US11394726B2 (en) Method and apparatus for transmitting a message sequence over a data bus and method and apparatus for detecting an attack on a message sequence thus transmitted
JP2019008618A (ja) 情報処理装置、情報処理方法及びプログラム
US11841942B2 (en) Anomaly detection device and anomaly detection method
EP3854651A1 (en) Electronic control device, electronic control method, and program
US20180276095A1 (en) Monitoring an integrity of a test dataset
CN112540555A (zh) 用于远程控制机动车的方法
CN107196897B (zh) 监视装置及通信系统
KR20230100893A (ko) 차량 생성 데이터를 기록 및 관리하는 방법 및 시스템
US20230267204A1 (en) Mitigating a vehicle software manipulation
JP7259966B2 (ja) セキュリティ装置、設定変更方法、プログラム、及び記憶媒体
JP7420285B2 (ja) 車載装置、不正検知方法及びコンピュータプログラム
WO2017125978A1 (ja) 評価装置、評価システム及び評価方法
JP2022182015A (ja) 車両の故障診断装置及び故障診断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant