CN115997193A - 信息处理装置、信息处理方法、信息处理系统和程序 - Google Patents

信息处理装置、信息处理方法、信息处理系统和程序 Download PDF

Info

Publication number
CN115997193A
CN115997193A CN202180045785.2A CN202180045785A CN115997193A CN 115997193 A CN115997193 A CN 115997193A CN 202180045785 A CN202180045785 A CN 202180045785A CN 115997193 A CN115997193 A CN 115997193A
Authority
CN
China
Prior art keywords
unit
update
vehicle
operation condition
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180045785.2A
Other languages
English (en)
Inventor
佐藤龙太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115997193A publication Critical patent/CN115997193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1433Saving, restoring, recovering or retrying at system level during software upgrading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开内容涉及使得能够快速和安全地实现软件程序(SW)的更新的信息处理装置、信息处理方法、信息处理系统和程序。SW从确认安全性的车辆组开始更新,确认经更新的SW的运行状况,如果没有异常,则也更新除确认安全性的车辆组以外的车辆组的SW。本公开内容可以应用于自动驾驶技术。

Description

信息处理装置、信息处理方法、信息处理系统和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法、信息处理系统和程序,更具体地,涉及能够快速安全地实现软件程序(SW)的更新的信息处理装置、信息处理方法、信息处理系统和程序。
背景技术
随着使用的进展,安装在硬件上的软件程序(SW)出现了各种问题,但是为了解决产生的问题而进行开发,用于更新到所开发的SW的更新SW被重复分发,并且通过更新SW对SW进行更新,从而提高便利性。
然而,在未被适当执行由更新SW进行的更新的情况下,SW的功能无法展现,并且例如有可能造成与车辆等的自动驾驶相关的SW等中的严重的事故。
因此,在不能适当地结束由更新SW进行的更新的情况下,提出了通过使与更新SW相关的功能不可用来确保安全性的技术(参见专利文献1)。
此外,还提出了通过调整可以安全地执行更新的定时来确保安全性的技术,使得可以适当地结束由更新SW进行的更新(参见专利文献2)。
引用列表
专利文献
专利文献1:日本专利申请公开特许公报第2011-081604号;
专利文献2:日本专利申请公开特许公报第2013-148957号。
发明内容
本发明要解决的问题
然而,在专利文献1的技术中,即使可以识别是否已经适当地结束了更新SW的更新,或者即使能够适当地结束更新SW,也无法识别由于更新引起的缺陷而使运行状况变得不适当的情况。
为此,由于无法识别由更新SW执行适当的更新而引起的缺陷,所以有可能无法充分确保安全性。
此外,可以想象,在充分开发更新SW直到这种缺陷完全不发生之后,再分发更新SW。然而,在这种情况下,开发更新SW需要时间,更新SW的分发被延迟,并且即使在更新之前的SW中存在缺陷,也不能通过更新实现改进,并且存在更新之前的SW不得不在低安全性状态下连续使用的可能性。
另外,在专利文献2的技术中,作为由更新SW安全地实现更新的定时,例如,在车辆等的SW的情况下,搜索车辆停止的定时,并且将该定时设置为更新定时。然而,在由车辆共享、运营商等使用的具有相对较高使用频率的车辆等中,由于停止状态的频率较低,由于能够安全更新SW的定时极少,因此难以实现更新。即使由于SW的更新延迟而导致更新之前的SW中存在缺陷,也难以通过更新来实现改进,并且有可能更新之前的SW不得不在低安全性状态下持续使用。
本公开内容是鉴于这样的情况而作出的,特别是使得能够快速和安全地实现由更新SW进行的更新。
问题的解决方案
根据本公开内容的一个方面的信息处理装置、信息处理系统和程序是包括以下单元的信息处理装置、信息处理系统和程序:更新软件程序(SW)的更新单元;以及识别由更新单元更新的SW的运行状况的运行状况识别单元。
根据本公开内容的一个方面的信息处理方法是包括更新单元和运行状况识别单元的信息处理装置的信息处理方法,其中,更新单元包括更新软件程序(SW)的步骤,运行状况识别单元包括识别经更新的SW的运行状况的步骤。
在本公开内容的一个方面中,更新软件程序(SW),并且识别经更新的SW的运行状况。
附图说明
图1是示出本公开内容的概述的图。
图2是示出本公开内容的SW管理系统的配置示例的框图。
图3是示出车辆控制系统的配置示例的框图。
图4是示出感测区域的示例的图。
图5是示出服务器的配置示例的框图。
图6是示出由图3的车辆控制系统实现的功能的功能框图。
图7是示出由图5的服务器实现的功能的功能框图。
图8是示出车辆的分组的图。
图9是示出分组处理的流程图。
图10是示出再学习处理的流程图。
图11是示出更新处理的流程图。
图12是示出更新定时设置处理(第1部分)的流程图。
图13是示出更新定时设置处理(第2部分)的流程图。
图14是示出使用组件作为处理单元的更新处理的图。
图15是示出使用帧作为处理单元的更新处理的图。
图16是示出使用块作为处理单元的更新处理的图。
图17是示出使用层作为处理单元的更新处理的图。
图18是示出每个处理单元的更新处理的流程图。
图19是示出处理单元设置处理的流程图。
图20是示出通用计算机的配置示例的图。
具体实施方式
在下文中,将参照附图详细地描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同功能配置的部件用相同的附图标记表示,并且省略冗余的描述。
在下文中,将描述用于实施本技术的模式。将按以下顺序给出描述。
1.本公开内容的概述
2.本公开内容的软件(SW)管理系统的配置示例
3.车辆控制系统的配置示例
4.服务器的配置示例
5.由图3的车辆控制系统实现的功能
6.由图4的服务器实现的功能
7.车辆的分组
8.分组处理
9.再学习处理
10.更新处理
11.更新定时设置处理(第1部分)
12.更新定时设置处理(第2部分)
13.每个处理单元的更新
14.每个处理单元的更新处理
15.由软件执行的示例
<<1.本公开内容的概述>>
本公开内容使得能够快速安全地更新软件程序(SW)。
注意,在本说明书中,将描述如下情况作为示例:SW是识别单元,该识别单元实现基于通过捕获能够自动驾驶的车辆的周边而获得的图像识别周边存在的对象的对象识别处理,以实现自动驾驶。
然而,应用于本公开内容的SW不限于实现对象识别处理的识别单元,而仅要求是可更新的SW。
此外,作为应用于本公开内容的SW的实现对象识别处理的识别单元是通过机器学习配置的。
众所周知,包括通过机器学习生成的识别单元的SW可以通过使用为学习而收集的学习数据重复进一步的机器学习(再学习)来提高识别准确度。
为此,对于诸如识别单元的SW,在执行对象识别处理的同时,收集与执行相关联的图像和识别结果的信息作为学习数据,并且通过使用收集的学习数据进行再学习来不断提高识别准确度。
因此,在以下描述中,将描述管理作为安装在车辆上的识别单元的SW的SW管理系统作为示例。
图1中的SW管理系统包括车辆M1至Mn,每个车辆包括作为识别单元的SW,以及用于管理SW的服务器Sv。
车辆M1至Mn中的每一个包括摄像装置C1至Cn和识别单元R1至Rn。
注意,车辆M1至Mn、摄像装置C1至Cn以及识别单元R1至Rn通过作为标识符的n而相互区分。然而,车辆M1至Mn、摄像装置C1至Cn和识别单元R1至Rn具有基本相同的配置。在下文中,在不特别需要区分车辆M1至Mn、摄像装置C1至Cn和识别单元R1至Rn的情况下,车辆M1至Mn、摄像装置C1至Cn和识别单元R1至Rn也被简单称为车辆M、摄像装置C和识别单元R。
摄像装置C捕获实现车辆M的自动驾驶所需的车辆M的周围环境的图像。
识别单元R基于由摄像装置C捕获的图像来执行对象识别处理,并且识别存在于车辆M周围的对象。
车辆M基于识别单元R的识别结果来实现自动驾驶。
此外,车辆M1至Mn经由网络N将通过由摄像装置C1至Cn捕获的图像与由识别单元R1至Rn实现的对象识别处理的识别结果进行组合而获得的车辆累积信息U1至Un发送到服务器Sv。
服务器Sv作为参数P累积通过将由摄像装置C1至Cn捕获的图像和由车辆M1至Mn经由网络N发送的识别单元R1至Rn的识别结果组合而获得的车辆累积信息U1至Un。
此外,服务器Sv包括识别单元R的再学习单元L。
再学习单元L通过使用包括车辆累积信息U1至Un的参数P作为用于学习的数据来再学习识别单元R,生成用于使当前识别单元R更新为经再学习的识别单元R的更新SW,经由网络N将更新SW作为分发信息D1至Dn分发给车辆M1至Mn,并且更新识别单元R1至Rn中的每一个。
这里,存在识别单元R未被更新SW适当地更新而执行不适当的对象识别处理的情况,因此,有可能无法适当地实现自动驾驶。
为此,用于更新识别单元R的更新SW需要在通过充分模拟来确认安全性之后进行分发。
然而,为了生成更新SW,使得识别单元R的更新处理处于完全状态,安全性确认的成本,特别是安全性确认所需的时间是巨大的,并且有可能延迟更新SW的分发,以及延迟识别单元R的更新。
因此,在本公开内容中,在车辆M1至Mn中,首先将更新SW分发给即使在无法通过由更新SW更新识别单元R来实现适当的操作的情况下也能确保安全性的危险较小的车辆M组,以更新识别单元R,确认更新之后的运行状况,并且在确认在充分操作时没有缺陷的情况下将更新SW分发给其他车辆M。
更具体地,例如,在识别单元R被配置成识别对象中的行人的情况下,由更新SW在其他车辆M之前更新车辆M1至Mn中在高速公路H上行驶的车辆Mm的识别单元Rm。
即,由于在高速公路H上行驶的车辆Mm在行驶期间不太可能识别到行人并且需要进行避免接触的操作,因此即使车辆Mm由于识别单元Rm的更新而无法适当地识别到行人,也不太可能发生致命的问题。
此外,由于有可能即使在高速公路H上行驶的车辆Mm识别到存在于高速公路周围的行人,因此可以确认更新之后的识别单元Rm是否正常工作。
因此,在本公开内容中,由更新SW在其他车辆M之前更新在高速公路H上行驶的车辆Mm的识别单元Rm,并且确认更新之后对行人的识别准确度。
然后,如果车辆Mm的识别单元Rm的对象识别处理没有缺陷,则将更新SW也被分发给在高速公路上行驶的车辆Mm以外的车辆M的识别单元R,并且执行更新。
此外,如果在由更新SW更新的识别单元Rm的对象识别处理中存在缺陷,则停止由更新SW对其他车辆M的识别单元R的更新,并且重复使再学习单元L再学习更新SW的处理。
结果,可以通过由更新SW更新其中确保安全性的车辆1的识别单元R来确认存在或不存在缺陷,同时抑制减少与由通过识别单元R的再学习生成的更新SW更新的识别单元R的对象识别处理相关的缺陷发生的成本。
此外,由于可以抑制与用于提高更新SW的完善性的再学习相关的时间,所以可以快速实现更新SW的分发。
此外,即使在由更新SW更新的识别单元R的对象识别处理中存在缺陷,也在确保安全性的车辆Mm中确认与由经更新的识别单元R的对象识别处理相关的缺陷,并且停止更新SW的分发。因此,车辆Mm以外的不确保安全性的车辆M的识别单元R不被有缺陷的更新SW更新,从而可以提高与由更新SW进行的更新相关的安全性。
因此,可以快速安全地实现由更新SW对车辆M的识别单元R的更新。
<<2.本公开内容的SW管理系统的配置示例>>
接下来,将参照图2描述本公开内容的SW管理系统的配置示例。
本公开内容的SW管理系统10包括车辆1-1至1-n、服务器2和网络3。注意,在不特别需要区分车辆1-1至1-n的情况下,车辆1-1至1-n被简单地称为车辆1,并且其他配置被类似地称呼。
车辆1-1至1-n具有与图1中的车辆M1至Mn对应的配置,并且是能够自动驾驶的车辆。
车辆1-1至1-n包括:摄像装置1a-1至1a-n,其捕获周围环境的图像;以及识别单元1b-1至1b-n,其基于由摄像装置1a-1至1a-n捕获的图像来识别存在于周围环境中的对象,并且基于识别单元1b-1至1b-n的识别结果来实现自动驾驶。
此外,安装在车辆1-1至1-n中的每一个上的识别单元1b-1至1b-n中的每一个是软件程序(SW),并且由从服务器2分发的更新SW重复更新。
注意,虽然摄像装置1a-1至1a-n可以不具有相同的结构,但是识别单元1b-1至1b-n是相同的,因为更新是由从服务器2分发的更新SW重复进行的。
此外,车辆1-1至1-n将通过将由摄像装置1a-1至1a-n捕获的图像和识别单元1b-1至1b-n的识别结果组合而获得的信息累积为车辆累积信息,并且经由网络3将累积信息发送给服务器2。
服务器2通过使用从车辆1-1至1-n中的每一个经由网络3发送的车辆累积信息作为学习数据,使识别单元1b进行再学习。
然后,服务器2生成经再学习的识别单元1b作为更新SW,经由网络3将更新SW分发给车辆1-1至1-n,并且更新识别单元1b-1至1b-n中的每一个。
当更新SW被分发以更新识别单元1b-1至1b-n时,在车辆1-1至1-n中,服务器2从即使由于识别单元1b的更新而在运行状况中发生缺陷也影响较小的车辆1(组)开始分发并更新更新SW。
然后,服务器2确认由更新SW更新的识别单元1b的运行状况,当运行状况中没有缺陷时,服务器2将更新SW分发给其他车辆1并且使其他车辆1进行更新。
通过该操作,在由更新SW对识别单元1b进行更新时,如果无法适当地完成更新,或者如果即使适当地执行了更新,也发生识别准确度变得比更新之前的识别单元1b的识别准确度低的缺陷时,可以在通过再学习改进缺陷之后进行更新。
另外,对于SW被首先分发至的车辆1(组),即使在由更新SW更新的识别单元1b的运行状况中存在缺陷,也仅更新了确保安全的车辆1的识别单元1b,使得可以抑制致命问题的发生。
此外,通过首先确认更新SW已被更新的车辆1中的识别单元1b的运行状况,可以确认与更新相关的缺陷的存在与否,然后将SW分发给其他车辆1,使得向在由更新SW更新的识别单元1b中发生缺陷的情况下影响较大的车辆1的分发可以在确保充分安全性之后进行分发。
因此,即使更新SW在没有被开发到可以确保完全安全的状态的情况下被分发到车辆1,也不会发生严重的问题。因此,在一定程度的完成阶段,可以将更新SW分发到确保安全性的车辆1,可以更新识别单元1b,并且可以确认存在或不存在缺陷。因此,可以实现更新SW的快速分发。
此外,由于可以在一定程度上确保更新SW的安全性的状态下将SW分发给其他车辆1,所以可以安全地实现由更新SW对识别单元1b的更新。
<<3.车辆控制系统的配置示例>>
图3是示出车辆控制系统11的配置示例的框图,该车辆控制系统11是应用了本技术的车辆1的移动装置控制系统的示例。
车辆控制系统11被设置在车辆1中,并且执行与车辆1的行驶辅助和自动驾驶相关的处理。
车辆控制系统11包括处理器21、通信单元22、地图信息累积单元23、全球导航卫星系统(GNSS)接收单元24、外部识别传感器25、车内传感器26、车辆传感器27、记录单元28、行驶辅助/自动驾驶控制单元29、驾驶员监测系统(DMS)30、人机接口(HMI)31和车辆控制单元32。
处理器21、通信单元22、地图信息累积单元23、GNSS接收单元24、外部识别传感器25、车内传感器26、车辆传感器27、记录单元28、行驶辅助/自动驾驶控制单元29、驾驶员监测系统(DMS)30、人机接口(HMI)31以及车辆控制单元32经由通信网络41彼此连接。通信网络41包括例如符合任意标准的车内通信网络、总线等,例如控制器局域网络(CAN)、本地互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)、以太网(注册商标)等。注意,车辆控制系统11的每个单元可以不经由通信网络41,而通过例如近场通信(NFC)、蓝牙(注册商标)等直接连接。
注意,在下文中,在车辆控制系统11的每个单元经由通信网络41执行通信的情况下,将省略对通信网络41的描述。例如,在处理器21与通信单元22经由通信网络41执行通信的情况下,简单描述为处理器21与通信单元22执行通信。
例如,处理器21包括各种处理器,例如中央处理单元(CPU)、微处理单元(MPU)、电子控制单元(ECU)等。处理器21控制整个车辆控制系统11。
通信单元22与车辆内部和外部的各种装置、其他车辆、服务器、基站等进行通信,并且发送和接收各种数据。作为与车辆外部的通信,例如,通信单元22从外部接收用于更新用于控制车辆控制系统11的操作的软件的程序、地图信息、交通信息、车辆1周围的信息等。例如,通信单元22向外部发送关于车辆1的信息(例如,指示车辆1的状态的数据、识别单元73的识别结果等)、车辆1周围的信息等。例如,通信单元22执行诸如eCall等与车辆紧急呼叫系统对应的通信。
注意,通信单元22的通信方法没有特别限制。此外,可以使用多种通信方法。
作为与车辆内部的通信,例如,通信单元22通过诸如无线LAN、蓝牙、NFC、无线USB(WUSB)等的通信方法与车辆内的装置执行无线通信。例如,通信单元22通过诸如通用串行总线(USB)、高清多媒体接口(HDMI,注册商标)、移动高清链接(MHL)等通信方法经由未示出的连接终端(以及电缆,如果必要的话)与车辆中的装置执行有线通信。
这里,车内装置是例如未连接到车辆中的通信网络41的装置。例如,假设由诸如驾驶员等乘员携带的移动装置或可穿戴式装置、带入车辆并临时安装的信息装置等。
例如,通信单元22经由基站或接入点通过诸如第四代移动通信系统(4G)、第五代移动通信系统(5G)、长期演进(LTE)、专用短程通信(DSRC)等无线通信方法与存在于外部网络(例如互联网、云网络或公司专用网络)上的服务器等进行通信。
例如,通信单元22使用点对点(P2P)技术与存在于自身车辆附近的终端(例如,行人或商店的终端,或机器型通信(MTC)终端)进行通信。例如,通信单元22执行V2X通信。V2X通信是例如与另一车辆的车辆对车辆通信、与路边装置等的车辆对基础设施通信、车辆对家庭的通信、与行人所拥有的终端等的车辆对行人通信等。
例如,通信单元22接收由道路交通信息通信系统(车辆信息和通信系统(VICS),注册商标)发射的电磁波,例如无线电波信标、光学信标、FM多路广播等。
地图信息累积单元23累积从外部获取的地图以及由车辆1创建的地图。例如,地图信息累积单元23累积三维高精度地图、具有比高精度地图更低准确度但覆盖广泛区域的全球地图等。
高精度地图是例如动态地图、点云地图、矢量地图(也称为高级驾驶员辅助系统(ADAS)地图)等。动态地图是例如包括动态信息、半动态信息、半静态信息和静态信息四个层的地图,并且由外部服务器等提供。点云地图是包括点云(点云数据)的地图。矢量地图是其中诸如车道、信号的位置等信息与点云地图相关联的地图。点云地图和矢量地图可以从例如外部服务器等提供,或者可以由车辆1创建作为基于雷达52、LiDAR 53等的感测结果执行与稍后描述的局部地图的匹配的地图,并且可以在地图信息累积单元23中累积。此外,在从外部服务器等提供高精度地图的情况下,例如,为了减少通信容量,从服务器等获取关于车辆1从现在开始行驶的计划路线的几百平方米的地图数据。
GNSS接收单元24从GNSS卫星接收GNSS信号,并且将该GNSS信号提供给行驶辅助/自动驾驶控制单元29。
外部识别传感器25包括用于识别车辆1的外部的状况的各种传感器,并且将来自每个传感器的传感器数据供应给车辆控制系统11的每个单元。包括在外部识别传感器25中的传感器的类型和数目是任意的。
例如,外部识别传感器25包括摄像装置51、雷达52、光检测和测距或激光成像检测和测距(LiDAR)53以及超声波传感器54。摄像装置51、雷达52、LiDAR 53和超声波传感器54的数目是任意的,并且每个传感器的感测区域的示例将在后面描述。
注意,作为摄像装置51,例如,根据需要使用任意成像方法的摄像装置,例如飞行时间(ToF)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置等。
此外,例如,外部识别传感器25包括用于检测天气、气候、亮度等的环境传感器。该环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器、照度传感器等。
此外,例如,外部识别传感器25包括用于检测车辆1周围的声音、声源的位置等的麦克风。
车内传感器26包括用于检测车辆内部的信息的各种传感器,并且将来自每个传感器的传感器数据供应给车辆控制系统11的每个单元。包括在车内传感器26中的传感器的类型和数目是任意的。
例如,车内传感器26包括摄像装置、雷达、座椅传感器、方向盘传感器、麦克风、生物识别传感器等。作为摄像装置,例如,可以使用任何成像方法的摄像装置,例如ToF摄像装置、立体摄像装置、单目摄像装置、红外摄像装置等。例如,生物识别传感器被设置在座椅、方向盘等上,并且检测诸如驾驶员等乘员的各种类型的生物识别信息。
车辆传感器27包括用于检测车辆1的状态的各种传感器,并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。包括在车辆传感器27中的传感器的类型和数目是任意的。
例如,车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和惯性测量单元(IMU)。例如,车辆传感器27包括检测方向盘的转向角的转向角传感器、偏航率传感器、检测加速踏板的操作量的加速传感器、以及检测制动踏板的操作量的制动传感器。例如,车辆传感器27包括检测发动机或马达的旋转次数的旋转传感器、检测轮胎气压的气压传感器、检测轮胎滑移率的滑移率传感器,以及检测车轮转速的车轮速度传感器。例如,车辆传感器27包括检测电池的剩余量和温度的电池传感器、以及检测外部冲击的冲击传感器。
记录单元28包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)等的磁性存储装置、半导体存储装置、光学存储装置、磁光存储装置等。记录单元28记录车辆控制系统11的每个单元所使用的各种程序、数据等。例如,记录单元28记录包括由其中运行与自动驾驶相关的应用程序的机器人操作系统(ROS)发送和接收的消息的rosbag文件。例如,记录单元28包括事件数据记录器(EDR)和用于自动驾驶的数据存储系统(DSSAD),并且记录车辆1在诸如事故等事件之前和之后的信息。
行驶辅助/自动驾驶控制单元29控制车辆1的行驶辅助和自动驾驶。例如,行驶辅助/自动驾驶控制单元29包括分析单元61、动作计划单元62和操作控制单元63。
分析单元61执行对车辆1的状况和周围环境的分析处理。分析单元61包括自身位置估计单元71、传感器融合单元72和识别单元73。
自身位置估计单元71基于来自外部识别传感器25的传感器数据以及在地图信息累积单元23中累积的高精度地图来估计车辆1的自身位置。例如,自身位置估计单元71基于来自外部识别传感器25的传感器数据来生成局部地图,并且通过将局部地图与高精度地图进行匹配来估计车辆1的自身位置。车辆1的位置基于例如后轮对轴的中心。
局部地图是例如使用诸如同步定位和测绘(SLAM)等、占用网格地图等技术创建的三维高精度地图。三维高精度地图是例如上述点云地图等地图。占用网格图是如下的地图:车辆1周围的三维或二维空间被划分为预定大小的网格,并且以网格为单位指示对象的占用状态。例如,由对象的存在或不存在或者存在概率指示对象的占用状态。例如,该局部地图还用于由识别单元73对车辆1外部的状况的检测处理和识别处理。
注意,自身位置估计单元71可以基于GNSS信号以及来自车辆传感器27的传感器数据来估计车辆1的自身位置。
传感器融合单元72执行组合多个不同类型的传感器数据(例如,从摄像装置51提供的图像数据以及从雷达52提供的传感器数据)的传感器融合处理以获得新信息。用于组合不同类型的传感器数据的方法包括整合、融合、关联等。
识别单元73执行对车辆1外部的状况的检测处理和识别处理。
例如,识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等执行对车辆1外部的状况的检测处理和识别处理。
具体地,例如,识别单元73对车辆1周围的对象执行检测处理、识别处理等。对象检测处理是例如检测对象的存在与否、大小、形状、位置、移动等的处理。对象识别处理是例如识别诸如对象的类型等属性或者识别特定对象的处理。然而,检测处理和识别处理不一定明确划分,并且可以交叠。
例如,识别单元73通过执行聚类来检测车辆1周围的对象,该聚类用于基于诸如LiDAR、雷达等传感器数据针对点云的每个聚类对点云进行分类。因此,检测车辆1周围的对象的存在与否、大小、形状和位置。
例如,识别单元73通过执行跟踪来检测车辆1周围的对象的运动,该跟踪跟随通过聚类分类的点云的聚类的运动。结果,检测车辆1周围的对象的速度和行进方向(运动矢量)。
例如,识别单元73通过对从摄像装置51提供的图像数据执行诸如语义分割等的对象识别处理来识别车辆1周围的对象的类型。
注意,作为要检测或识别的对象,例如假设车辆、人、自行车、障碍物、结构、道路、交通灯、交通标志、路标等。
例如,识别单元73基于在地图信息累积单元23中累积的地图、自身位置的估计结果以及车辆1周围的对象的识别结果,执行车辆1周围的交通规则的识别处理。通过该处理,例如,识别信号的位置和状态、交通标志和路标的内容、交通规则的内容、可行驶车道等。
例如,识别单元73执行对车辆1周围环境的识别处理。作为要识别的周围环境,例如,假设天气、温度、湿度、亮度、路面的状态等。
动作计划单元62创建车辆1的动作计划。例如,动作计划单元62通过执行对路线计划和路线跟从的处理来创建动作计划。
注意,路线计划(全局路径计划)是计划从起点到目标的大致路线的处理。该路线计划被称为轨迹计划,并且包括轨迹生成(局部路径计划)的处理,该处理使得能够考虑车辆1在由路线计划所计划的路线中的运动特性而在车辆1的附近安全而顺利地行驶。
路线跟从是计划用于在计划时间内安全准确地行驶由路线计划所计划的路线的操作的处理。例如,计算车辆1的目标速度和目标角速度。
操作控制单元63控制车辆1的操作,以实现由动作计划单元62创建的动作计划。
例如,操作控制单元63控制转向控制单元81、制动控制单元82和驱动控制单元83以执行加速/减速控制和方向控制,使得车辆1在通过轨迹计划计算的轨迹上行驶。例如,操作控制单元63为了实现例如碰撞避免或冲击减轻、跟从行驶、车辆速度保存行驶、自身车辆的碰撞警告、自身车辆的车道偏离警告等的ADAS的功能而执行协同控制。例如,操作控制单元63为了其中车辆自动行驶而不取决于驾驶员的操作的自动驾驶等目的而执行协同控制。
DMS 30基于来自车内传感器26的传感器数据、输入到HMI 31的输入数据等,执行驾驶员认证处理、驾驶员状态识别处理等。作为要识别的驾驶员的状态,假设例如身体状况、清醒程度、注意力集中程度、疲劳程度、视线方向、醉酒程度、驾驶操作、姿态等。
注意,DMS 30可以执行除驾驶员以外的乘员的认证处理和乘员的状态的识别处理。此外,例如,DMS 30可以基于来自车内传感器26的传感器数据来执行对车辆内部的状况的识别处理。作为要识别的车辆内部的状况,假设例如温度、湿度、亮度、气味等。
HMI 31用于输入各种数据、指令等,基于输入的数据、指令等来生成输入信号,并且将输入信号提供给车辆控制系统11的每个单元。例如,HMI 31包括:诸如触摸板、按钮、麦克风、开关、操纵杆等操作装置;可以通过诸如语音、手势等人工操作以外的方法输入的操作装置等。注意,HMI 31可以是例如使用红外线或其他无线电波的远程控制装置,或者诸如移动装置、可穿戴式装置等与车辆控制系统11的操作兼容的外部连接装置。
此外,HMI 31执行输出控制,以控制乘员或车辆外部的视觉信息、听觉信息和触觉信息的生成和输出、输出内容、输出时间、输出方法等。视觉信息是例如由图像或灯光指示的信息,如操作画面、车辆1的状态显示、警告显示、指示车辆1周围的状况的监视器图像等。听觉信息是例如由声音指示的信息,如指导、警告声、警告消息等。触觉信息是例如通过力、振动、运动等给予乘员的触觉的信息。
作为输出视觉信息的装置,例如假设有显示装置、投影仪、导航装置、仪表板、摄像监测系统(CMS)、电子镜、灯等。显示装置可以是例如在乘员的视野中显示视觉信息的装置,例如平视显示器、透射式显示器、具有增强现实(AR)功能的可穿戴式装置等装置,此外还有具有普通显示器的装置。
作为输出听觉信息的装置,例如,假设有音频扬声器、头戴式耳机、入耳式耳机等。
作为输出触觉信息的装置,例如假设有使用触觉技术等技术的触觉元件。该触觉元件例如被设置在方向盘、座椅等上。
车辆控制单元32控制车辆1的每个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85和喇叭控制单元86。
转向控制单元81检测和控制车辆1的转向系统的状态等。转向系统包括例如包括方向盘等的转向机构、电动助力转向器等。转向控制单元81包括例如控制转向系统的ECU等控制单元、驱动转向系统的致动器等。
制动控制单元82检测和控制车辆1的制动系统的状态等。制动系统包括例如包括制动踏板的制动机构、防抱死制动系统(ABS)等。制动控制单元82包括例如控制制动系统的ECU等控制单元、驱动制动系统的致动器等。
驱动控制单元83检测和控制车辆1的驱动系统的状态等。驱动系统包括例如:用于生成驱动力的驱动力生成装置,例如加速器踏板、内燃机、驱动马达等;用于将驱动力传递给车轮的驱动力传递机构等。驱动控制单元83包括例如:控制驱动系统的控制单元,例如ECU等;驱动驱动系统的致动器等。
车身系统控制单元84检测和控制车辆1的车身系统的状态等情况。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、空调器、安全气囊、安全带、换挡杆等。车身系统控制单元84包括例如控制车身系统的控制单元如ECU等、驱动车身系统的致动器等。
灯控制单元85检测和控制车辆1的各种灯等的状态。作为要控制的灯,例如,假设有前灯、后灯、雾灯、转向灯、刹车灯、投影、保险杠的显示等。灯控制单元85包括控制灯的ECU等控制单元、驱动灯的致动器等。
喇叭控制单元86检测和控制车辆1的汽车喇叭的状态等。喇叭控制单元86包括例如控制汽车喇叭的ECU等控制单元、驱动汽车喇叭的致动器等。
图4是示出由图3中的外部识别传感器25的摄像装置51、雷达52、LiDAR 53和超声波传感器54的感测区域的示例的图。
感测区域101F和感测区域101B示出了超声波传感器54的感测区域的示例。感测区域101F覆盖车辆1的前端的周边。感测区域101B覆盖车辆1的后端的周边。
感测区域101F和感测区域101B中的感测结果用于例如车辆1的停车辅助等。
感测区域102F至102B示出了雷达52的短距离或中等距离的感测区域的示例。感测区域102F覆盖比车辆1前方的感测区域101F更远的位置。感测区域102B覆盖比车辆1后方的感测区域101B更远的位置。感测区域102L覆盖车辆1的左侧表面的后方周边。感测区域102R覆盖车辆1的右侧表面的后方周边。
感测区域102F中的感测结果用于例如检测车辆1前方的车辆、行人等。感测区域102B中的感测结果用于例如车辆1后方的防撞功能等。感测区域102L和感测区域102R中的感应结果用于例如检测车辆1侧面的盲点中的对象等。
感测区域103F至103B示出了摄像装置51的感测区域的示例。感测区域103F覆盖比车辆1前方的感测区域102F更远的位置。感测区域103B覆盖比车辆1后方的感测区域102B更远的位置。感测区域103L覆盖车辆1的左侧表面的周边。感测区域103R覆盖车辆1的右侧表面的周边。
感测区域103F中的感测结果用于例如识别交通灯或交通标志、车道偏离预防辅助系统等。感测区域103B中的感测结果用于例如停车辅助、环视系统等。感测区域103L和感测区域103R中的感测结果用于例如环视系统等系统。
感测区域104示出了LiDAR 53的感测区域的示例。感测区域104覆盖比车辆1前方的感测区域103F更远的位置。同时,感测区域104在左右方向上的范围比感测区域103F窄。
感测区域104中的感测结果用于例如紧急制动、避免碰撞、行人检测等。
感测区域105示出了长距离雷达52的感测区域的示例。感测区域105覆盖比车辆1前方的感测区域104更远的位置。同时,感测区域105在左右方向上的范围比感测区域104更窄。
感测区域105中的感测结果用于例如自适应巡航控制(ACC)等。
注意,每个传感器的感测区域可以具有除图4中的配置外的各种配置。具体地,超声波传感器54还可以感测车辆1的侧面,或者LiDAR 53可以感知车辆1的后方。
注意,图3中的摄像装置51和识别单元73具有与图2中的摄像装置1a和识别单元1b对应的配置。
<<4.服务器的配置示例>>
接下来,将参照图5描述服务器2的配置示例。
服务器2包括处理器111、输入单元112、输出单元113、存储单元114、通信单元115、驱动器116和可移动存储介质117,并且经由总线118相互连接,并且可以发送和接收数据和程序。
处理器111控制服务器2的整个操作。此外,处理器111管理作为SW的识别单元73的更新。此外,处理器111识别作为SW的识别单元73的运行状况,并且将运行状况发送到服务器2。
输入单元112包括诸如键盘、鼠标等输入装置,用户使用该输入装置输入操作命令,并且向处理器111提供各种输入信号。
输出单元113由处理器111控制,并且将所提供的操作画面和处理结果的图像输出到包括液晶显示器(LCD)、有机电致发光(EL)等显示装置上以进行显示。
存储单元114包括硬盘驱动器(HDD)、固态驱动器(SSD)、半导体存储器等,由处理器111控制,并且写入或读取包括内容数据的各种数据和程序。
通信单元115由处理器111控制,并且经由由局域网(LAN)等代表的通信网络以有线(或无线(未示出))方式向各种装置发送各种数据和程序以及从各种装置接收各种数据和程序。
驱动器116从可移动存储介质117读取数据以及向可移动存储介质117写入数据,所述可移动存储介质117例如磁盘(包括软盘)、光盘(包括光盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光盘(包括迷你光盘(MD))、半导体存储器等。
<<5.由图3的车辆控制系统实现的功能>>
接下来,将参照图6的功能框图来描述由图3的车辆1实现的功能。
车辆1的处理器21实现诸如控制单元201、运行状况识别单元202、运行状况报告单元203和更新单元204的功能。
控制单元201控制车辆控制系统11的整个操作,并且输出各种控制信号。
此外,控制单元201基于由识别单元73基于由摄像装置51捕获的图像的对象识别结果,向车辆控制单元32输出用于控制车辆1的各种操作的控制信号。
此外,控制单元201控制运行状况识别单元202的操作以识别识别单元73的运行状况。
此外,当由服务器2请求用于对车辆1进行分组的车辆信息时,控制单元201控制通信单元22以发送车辆信息。注意,对车辆1进行分组所需的车辆信息将在后面描述服务器2的配置时描述。
运行状况识别单元202基于由摄像装置51捕获的图像以及与由摄像装置51捕获的图像对应的识别单元73的对象识别结果来识别识别单元73的运行状况。
更具体地,例如,除了由摄像装置51捕获的图像以及基于由摄像装置51捕获的图像的识别单元73的对象识别结果之外,运行状况识别单元202还基于地图信息累积单元23的地图信息以及基于来自GNSS接收单元24和外部识别传感器25的信号的位置信息,指定可以从与当前位置信息对应的地图信息中识别的对象,通过与对象识别结果的比较,确定识别单元73是否适当地工作,将确定结果识别为运行状况,并且输出至运行状况报告单元203。
例如,运行状况识别单元202从地图信息中读取基于GNSS接收单元24的GNSS信号和外部识别传感器25的信号而指定的位置以及基于车辆1在指定位置处的方向而存在于摄像装置51的视角内的对象的信息,将该信息与识别单元73的识别结果进行比较,并且将该比较结果识别为运行状况。
即,在例如从基于GNSS信号指定的位置处的地图信息中读取作为存在于附近的对象的特定标志、特定建筑物等的情况下,如果当时识别单元73的识别结果与从地图信息中读取的特定标志、特定建筑物等相匹配,则运行状况识别单元202确定运行状况适当,而如果识别结果与从地图信息中读出的特定标志、特定建筑物等不匹配,则确定运行状况不适当。
要与识别结果进行比较的对象可以是从地图信息中指定的对象,例如特定标志、特定建筑物等,或者可以是用于确认识别单元73的运行状况的专用标记等。
此外,要与识别结果进行比较的对象可以是与从位置、时间区间等预期发生的现象一起被识别的对象,并且可以是例如从位置、时间区间等预期发生的交通堵塞中的车辆、行人等。在这种情况下,是否可以识别到车辆或行人正在移动也可以用于确定识别单元73的运行状况。
此外,要与识别结果进行比较的对象可以是使用V2X通信或车辆1的接近进行操作的敏感信号、停车场的门栏等。在这种情况下,敏感信号是否随着车辆1的接近而从红色变为绿色或者诸如门栏的打开或关闭的操作变化是否被识别为识别结果也可以用于确定运行状况。
此外,运行状况识别单元202可以备份更新之前的识别单元73,将更新之前的识别单元73的识别率与更新之后的识别单元73的识别率进行比较,并且将比较结果视为运行状况。在这种情况下,当更新之后的识别单元73的识别率不低于更新之前的识别单元73的识别率并且没有劣化时,可以认为已经执行了适当的更新,反之,当识别率降低并且有劣化时,可以认为执行了不适当的更新。
运行状况报告单元203基于从运行状况识别单元202提供的运行状况信息,确定是否有必要向服务器2报告,并且在确定有必要向服务器2报告时,控制通信单元22将由摄像装置51捕获的图像和识别结果一起发送到服务器2。
例如,当运行状况不适当时,运行状况报告单元203将由摄像装置51捕获的图像和识别结果一起报告给服务器2。
注意,例如,当运行状况适当时,运行状况报告单元203可以将由摄像装置51捕获的图像和识别结果一起报告给服务器2。
此外,例如,运行状况报告单元203可以无论运行状况是否适当都将运行状况与由摄像装置51捕获的图像和识别结果一起报告给服务器2。
更新单元204控制通信单元22从服务器2更新识别单元73,接收更新SW,根据需要开发信息等,从而将识别单元73更新为由服务器2再学习的状态。
<<6.由图4的服务器实现的功能>>
接下来,将参照图7的功能框图来描述由图4的服务器2实现的功能。
服务器2的处理器111实现作为车辆信息收集单元231、分组单元232、分发顺序决定单元233、分发状态确认单元234、分发计划单元235、分发单元236、再学习单元237和更新SW发布单元238的功能。
车辆信息收集单元231控制通信单元115以请求用于对车辆1进行分组的车辆信息,收集车辆信息,并且将收集的车辆信息输出到分组单元232。
这里,车辆信息是稍后将描述的分组单元232对车辆1进行分组所需的各种信息,并且是例如诸如车辆类型、位置信息、外部识别传感器25的检测历史和包括过去行驶的路线等的行驶历史、总行驶距离、与车辆1的当前位置信息对应的天气信息等信息。
分组单元232基于从车辆1中的每一个收集到的车辆信息对车辆1-1至1-n进行分组,并且将分组结果输出到分发顺序决定单元233。
这里执行的分组是将车辆1-1至1-n分组成至少两组或更多组,以便设置在用于更新识别单元73的更新SW被分发时的顺序。
在更新识别单元73时,从即使处于无法执行适当操作的状态下也不处于危险状态、安全可能性高、确保安全的车辆1的组到安全性较低的组,顺序地执行更新SW的分发。
注意,后面将参照图8详细描述分组。
基于从分组单元232提供的分组结果,分发顺序决定单元233决定从具有高安全可能性(确保安全)的组顺序地分发更新SW的顺序,并且相对于所决定的分组结果向分发计划单元235输出关于分发顺序的信息。
分发状态确认单元234控制通信单元115以确认指示更新SW被分发到车辆1的哪个组的分发状态,并且向分发计划单元235输出所确认的分发状态信息。
此外,分发状态确认单元234控制通信单元115以确认作为分发状态的、指示由所分发的更新SW更新的识别单元73的对象识别处理是否适当的信息,该信息从车辆1发送,并且该信息被输出到分发计划单元235。
分发计划单元235根据从分发顺序决定单元233提供的关于分发顺序的信息以及从分发状态确认单元234提供的关于分发状态的信息来计划分发更新SW的顺序和定时,并且将该顺序和定时作为分发计划输出到分发单元236。
再学习单元237累积构成用作包括从车辆1提供的由摄像装置51捕获的图像以及识别单元73的对象识别结果的再学习数据的参数的车辆累积信息,通过使用累积的作为再学习数据的车辆累积信息来再学习对应的识别单元73,生成作为再学习结果的更新SW,并且将更新SW输出到更新SW发布单元238。
更新SW发布单元238通过模拟确认通过由再学习单元237对识别单元73的再学习生成的更新SW所更新的识别单元73的操作,确定是否可以分发该更新SW,并且将可分发的更新SW输出到分发单元236。
分发单元236控制通信单元115,以根据从分发计划单元235提供的分发计划将从更新SW发布单元238提供的更新SW分发到车辆1,并且使识别单元73被更新。
<<7.车辆的分组>>
接下来,将参照图8描述车辆1-1至1-n的分组。
由分组单元232进行的车辆1-1至1-n的分组是如下处理:对车辆组进行分组,以确认由被要分发的更新SW实际更新识别单元73的情况的状态。
因此,例如,车辆1-1至1-n理想地如图8所示进行分组。
即,在图8中,车辆1-1至1-n按从上到下的顺序被分组为组G1至组Gx。
这里,组G1包括车辆1-1至1-n中的车辆1-11至1-X,组G2包括车辆1-1至1-n中的车辆1-21至1-Y,并且组Gx包括车辆1-1至1-n中的车辆1-31至1-Z。
此外,在图8中的组G1至Gx中,通过由更新SW更新识别单元73而发生某种缺陷的情况下的风险被假设为在图中的上部较小而在下部较大。
换言之,即使在通过由更新SW来更新识别单元73而发生某种缺陷的情况下,最安全的组是组G1,次安全的组是组G2,最危险的组是组Gx。
为此,在如图8所示的在组G1至组Gx中执行分组的情况下,分发顺序决定单元233决定更新SW的分发顺序为组G1、组G2、...、组Gx组。
因此,分组单元232对在通过由更新SW在车辆1-1至1-n中更新识别单元73而发生某种缺陷的情况下的风险进行评分,并且根据分数进行分组。
在下文中,在通过由更新SW更新识别单元73而发生某种缺陷的情况下发生的风险被称为更新风险。
即,分组是根据更新风险将车辆1-1至1-n分为多个组。
因此,在图8中,描述了被分为三个或更多个组的示例,但理想的是,如果获得至少两个组,即包括确保完全安全并且可能以预定的准确度随机获得更新风险的影响的多个车辆1的组以及其他组,则认为可以获得预定的效果。
即,首先将更新SW分发给包括确保完全安全并且可能以预定的准确度随机获得更新风险的影响的多个车辆1的第一组,并且确认在使用由更新SW更新的识别单元73的识别结果行驶时是否存在缺陷。
然后,当确认第一组中没有缺陷时,也将更新SW分发给其余组。
此外,在通过分组将车辆1-1至1-n分为三个或更多个组的情况下,从顶部的组开始顺序地分发更新SW,并且当确认没有缺陷时,顺序地将更新SW分发到更新风险的较上方的组。
在被分成三个或更多组的情况下,在由更新SW更新的识别单元73的运行状况在更新SW被到目前为止紧之前被分发到的组中的车辆1中得到充分验证的状态下,更新SW被分发到更新SW最后被分发到的组。因此,在更新SW随后被分发到的组中的车辆1可以更安全地更新识别单元73。
例如,分组单元232可以认为,根据车辆1-1至1-n的位置信息和每个区域中的事故数目或每个区域中的汽车数目,在每个区域中的事故的数目或汽车数目越大,遇到事故的更新风险就越大。
在这种情况下,分组单元232可以将分数设置成使得针对每个区域,事故数目或汽车数目越多的区域中的车辆1的分数越低,根据以这种方式设置的分数来设置排名,并且从顶部开始设置组G1至Gx。
此外,分组单元232可以根据每个车辆1的位置信息和每个区域的当前位置的天气,对存在于对象识别的识别准确度有可能劣化的区域(例如天气为暴风雨的区域)中的车辆1设置较低的分数,反之,对存在于识别准确度被认为较少劣化的区域(例如天气良好的区域)中的车辆1设置较高的分数,并且对车辆1进行分组。
此外,分组单元232可以执行分组,使得例如根据来自每个车辆1的运行历史等的行驶距离,行驶距离越小,遇到事故的概率越低,并且更新风险越低,从而分数设置得越高,反之,行驶距离越大,遇到事故的概率越高,并且更新风险越高,从而分数设置得越高。
此外,分组单元232可以从每个车辆1的运行历史(外部识别传感器25的感测结果)等获取加速/减速的趋势、速度范围和要使用的道路等的驾驶情况,并且可以执行分组,使得例如当加速/减速的变化大时,速度范围是高速度范围,或者在具有高事故发生频率的道路的使用频率高时,认为更新风险高,则分数被设置为低,反之,当加速/减速的变化小,速度范围是低速度范围,或者具有高事故发生频率的道路的使用频率低时,认为更新风险低,则分数被设置为高。
此外,根据车辆1的车辆类型,例如,分组单元232可以将已知喜欢慢速行驶的购买者群体购买多于预定数目的车辆的车辆类型、具有小于预定尺寸的尺寸的车辆类型、具有高于预定行驶性能的行驶性能的车辆类型、配备有多于预定数目的安全装置的车辆类型、为商业目的而行驶且已知不会鲁莽行驶的商业车辆视为具有低更新风险,并且将分数设置为高以执行分组。
相反,分组单元232可以将已知喜欢慢速行驶的购买者群体购买少于预定数目的车辆的车辆类型、具有大于预定尺寸的尺寸的车辆类型、不具有高于预定行驶性能的行驶性能的车辆类型、没有配备超过预定数目的安全装置的车辆类型、与商业车辆相比可能鲁莽行驶的私人汽车等视为具有高更新风险,并且将分数设置为低以执行分组。
此外,分组单元232可以在考虑到上述要素的情况下通过分数的组合对车辆1进行分组。
对于分组,分组单元232首先针对车辆1设置分数,然后获得排名,并且从顶部设置具有预定数目的划分的组。
这时,属于每组的车辆1的数目可能不相等。例如,属于较高组的车辆1的数目可能较小,而属于较低组的车辆1的数目可能较大。此外,属于每个组的车辆1的数目可能不是固定的,例如,可以确定属于每个组的分数的宽度,并且可以根据该分数来设置组。
然而,属于更新SW首先被分发至的组的车辆1的数目越小,更新风险的影响就越小,并且更新风险的确认就越容易。
此外,由于可以根据安全水平执行分组,因此可以基于其他标准来执行分组。例如,由于用于出行即服务(MaaS)的车辆、在有限区域内行驶的车辆等安全性高,所以可以从这些组开始分发更新SW,并且可以在确认安全性之后将更新SW分发给一般车辆。
此外,在乘用车与公共汽车等相比的情况下,公共汽车比乘用车有更大数目的乘员,并且在发生事故的情况下具有更大的影响。因此,可以从乘用车开始分发更新SW,并且可以在确认安全之后分发到公共汽车等。
此外,对于自动驾驶,由于与3级和4级相比,在2级的情况下驾驶员介入了驾驶,所以认为即使在识别单元73的更新中存在缺陷,也可以处理该缺陷。因此,可以从2级的车辆1开始分发更新,并且可以在确认安全之后顺序地分发到3级和4级的车辆。
<<8.分组处理>>
接下来,将参照图9的流程图来描述分组处理。
在步骤S11中,车辆信息收集单元231控制通信单元115以请求来自车辆1-1至1-n的车辆信息。
在步骤S31中,控制单元201控制通信单元22以确定是否已从服务器2请求车辆信息,并且重复类似的处理,直到被请求。
在步骤S31中从服务器2请求车辆信息的情况下,在步骤S32中,控制单元201控制通信单元22向服务器2发送用于对车辆1进行分组所需的车辆信息,例如,车辆类型、基于GNSS信号的位置信息、外部识别传感器25的检测历史以及包括过去行驶的路线等的行驶历史、总行驶距离、与车辆1的当前位置信息对应的天气信息等。
在步骤S33中,控制单元201确定是否已指示结束处理,在未指示结束处理的情况下,处理返回到步骤S31。
即,重复步骤S31至S33的处理,直到结束处理。
然后,在步骤S33中,当指示结束处理时,处理结束。
同时,当通过步骤S32中的处理将车辆信息发送到服务器2时,服务器2的车辆信息收集单元231控制通信单元115获取并收集在步骤S12中从车辆1发送的车辆信息。
此时,车辆信息收集单元231可以例如连续收集与用于单独识别车辆1的信息相关联的车辆1的每一条车辆信息作为数据库。
注意,在此,将在如下假设下给出描述:通过步骤S12和S32的处理将车辆1-1至1-n的所有车辆信息存储到数据库中,但可能仅一些车辆1被编译到数据库中。
在步骤S13中,分组单元232将车辆信息收集单元231中存储在数据库中的车辆1-1至1-n中的任何未处理的车辆1设置为处理目标车辆。
在步骤S14中,分组单元232基于处理目标车辆的车辆信息,设置实现分组的分数。
即,分组单元232基于车辆信息来设置每个车辆1的分数,使得在更新风险(通过由更新SW更新识别单元73而发生缺陷的情况下的风险)较小时设置较高的分数。
在步骤S15中,确定是否存在未设置分组所需的分数的未处理的车辆1,在存在未处理的车辆1的情况下,处理返回到步骤S13。
即,重复步骤S13至步骤15的处理,直到对车辆信息收集单元231中的数据库中存储有车辆信息的所有车辆1设置了分组所需的分数。
然后,在步骤S15中,在确定对于车辆信息存储在车辆信息收集单元231中的数据库中的所有车辆1设置了用于分组的分数并且不存在未设置分组所需的分数的未处理车辆1的情况下,处理进行到步骤S16。
在步骤S16中,分组单元232基于获得的分数来获得车辆1-1至1-n的排名(进行排序)。
在步骤S17中,分组单元232设置组的数目。注意,组的数目可以被设置为固定值,或者可以动态地设置。
在步骤S18中,分组单元232对车辆1-1至1-n进行分组,使得基于根据分数的排名而具有设定数目的组,并且将结果输出到分发顺序决定单元233。
在步骤S19中,分发顺序决定单元233根据从分组单元232提供的组的分数以组为单位来决定分发顺序。
在步骤S20中,车辆信息收集单元231确定是否已指示结束处理,在未指示结束处理的情况下,处理进行到步骤S21。
在步骤S21中,车辆信息收集单元231确定是否已经经过了预定时间,并且重复类似的处理,直到经过了预定时间。
然后,在步骤S21中确定已经经过了预定时间的情况下,处理返回到步骤S11,并且重复后续处理。
即,每次经过了预定时间,则从每个车辆1获取车辆信息,并且重复基于车辆信息来进行分组,其中,基于诸如车辆1的车辆类型等固定信息以及车辆1周围的诸如位置信息、天气等变化信息进行的分组在实时变化的同时被连续设置。
然后,在步骤S20中,当指示结束处理时,处理结束。
即,通过上述处理,在服务器2中,基于包括车辆1的固定信息和变化信息在内的车辆信息,重复进行分组,并且重复以车辆1的组为单位设置更新SW的分发顺序的处理。
结果,根据更新SW的更新风险对车辆1进行分组,并且针对车辆1的每个组设置更新SW的分发顺序。
<<9.再学习处理>>
接下来,将参照图10的流程图描述识别单元73的再学习处理。
在步骤S51中,车辆1的识别单元73基于由摄像装置51捕获的图像识别对象,并且将对象识别结果与图像一起输出到控制单元201。
在步骤S52中,控制单元201基于对象识别结果控制车辆控制单元32以控制车辆1的运行。例如,在基于对象识别结果识别到行驶的前方有行人的情况下,控制单元201向车辆控制单元32提供控制信号以执行控制,从而执行避免与行人接触的操作。
在步骤S53中,控制单元201控制通信单元22将识别单元73的对象识别结果和摄像装置51当时的图像一起累积为车辆累积信息,并且将累积的信息发送到服务器2。此时,例如,控制单元201可以向服务器2发送用于识别车辆1的标识符和其他车辆信息。
在步骤S71中,服务器2的再学习单元237控制通信单元115,以确定在其中组合了识别单元73的对象识别结果和当时的摄像装置51的图像的车辆累积信息是否已经被发送。
在步骤S71中确定未发送其中组合了识别单元73的对象识别结果和当时的摄像装置51的图像的车辆累积信息的情况下,处理进行到步骤S75。
同时,在步骤S71中确定已经发送了其中组合了识别单元73的对象识别结果和当时的摄像装置51的图像的车辆累积信息的情况下,处理进行到步骤S72。
在步骤S72中,再学习单元237将所发送的识别单元73的对象识别结果和当时的摄像装置51的图像一起接收并累积为用于再学习的车辆累积信息。
此时,在发送了用于识别车辆1的标识符或其他车辆累积信息的情况下,再学习单元237将标识符和其他车辆累积信息一起接收并累积。
注意,在此,将在假设通过步骤S71和S72的处理从所有车辆1接收和累积了用于再学习的车辆累积信息的情况下进行描述,但是车辆累积信息可以部分地提供。
在步骤S73中,再学习单元237通过使用所累积的用于再学习的车辆累积信息对识别单元73进行再学习,并且向更新SW发布单元238提供再学习结果。
在步骤S74中,更新SW发布单元238使用经再学习的识别单元73执行模拟以验证识别准确度。
在步骤S75中,再学习单元237确定是否已指示结束处理,在未指示结束处理的情况下,处理返回到步骤S71,并且重复后续处理。
即,从车辆1收集包括识别单元73的识别结果和图像的用于再学习的车辆累积信息,重复再学习,并且重复通过模拟获得经过再学习的识别单元73的识别准确度的处理,直到指示结束处理。
然后,在步骤S75中,当指示处理结束时,处理结束。
通过上述处理,从车辆1收集包括识别单元73的识别结果和图像的用于再学习的车辆累积信息,重复再学习,并且可以重复通过模拟获得经过再学习的识别单元73的识别准确度的处理。
<<10.更新处理>>
接下来,将参照图11的流程图来描述更新处理。
在步骤S91中,更新SW发布单元238基于由上述再学习处理获得的经再学习的识别单元73是否处于要分发的状态,确定是否分发更新SW并设置存在更新,并且重复类似的处理,直到确定存在更新。
例如,在经再学习的识别单元73的识别准确度比再学习前的识别单元73的识别准确度提高了预定比率的情况下,更新SW发布单元238可以确定其处于要更新的状态。
在步骤S91中,在更新SW发布单元238确定其处于要由经再学习的识别单元73更新的状态的情况下,处理进行到步骤S92。
在步骤S92中,分发计划单元235将用于识别经分组的组的标识符的计数器i初始化为1。
在步骤S93中,分发计划单元235获取由分发顺序决定单元233决定的以组为单位的分发顺序的信息中属于组i的车辆1的车辆信息。
例如,在计数器i=1的第一处理的情况下,即使在参照图8描述的属于更新SW首先被分发到的组G1的识别单元73的更新中存在缺陷,也获取确保安全性的车辆1的组的车辆信息。
在步骤S94中,分发计划单元235将属于组i的车辆1中的未处理的车辆1设置为处理目标车辆。
在步骤S95中,分发计划单元235执行分发定时设置处理,并且设置更新SW对处理目标车辆的识别单元73的更新定时。
在通过分发更新SW来更新识别单元73时,由于被更新的识别单元73的操作被停止,所以将车辆1的移动被停止的定时或者不需要与更新相关的识别单元73的识别处理的定时被设置为分发更新SW的定时。
注意,后面将参照图12和图13的流程图来描述分发定时设置处理的细节。
在步骤S96中,分发计划单元235确定在属于组i的车辆1中是否存在未设置分发定时的未处理车辆1,并且在存在未处理车辆1的情况下,处理返回到步骤S94。
即,重复步骤S94至S96的处理,直到设置了属于组i的所有车辆1的分发定时。
然后,在步骤S96中确定已经针对属于组i的所有车辆1设置了分发定时的情况下,处理进行到步骤S97。
即,在该时间点处,属于组i的车辆1的所有分发定时被计划,由此,更新SW的分发计划完成。
在步骤S97中,分发计划单元235基于分发计划来确定属于组i的任何车辆1的分发定时是否已经到来。
在步骤S97中基于分发计划确定属于组i的任何车辆1的分发定时已经到来的情况下,处理进行到步骤S98。注意,在步骤S97中,在不是属于组i的车辆1的任何分发定时的情况下,处理进行到步骤S103。
在步骤S98中,分发计划单元235控制分发单元236获取从更新SW发布单元238提供的更新SW以更新通过再学习生成的识别单元73,并且使通信单元115在分发定时处将更新SW分发给车辆1。
此时,分发状态确认单元234控制通信单元115获取作为分发状态的更新SW的分发版本以及要成为分发目的地的车辆1的信息。
在步骤S121中,车辆1的更新单元204控制通信单元22以确定是否从服务器2发送更新SW。
在分发定时处属于组i的车辆1的情况下,在步骤S121中确定从服务器2发送更新SW,并且处理进行到步骤S122。
在步骤S122中,更新单元204停止与识别单元73的对象识别处理相关的操作或者在控制单元201中基于识别单元73的识别结果的操作控制中的至少一个。
在步骤S123中,更新单元204控制通信单元22以获取发送的更新SW并且更新识别单元73。此时,在执行更新SW的更新之前,更新单元204保存更新之前的识别单元73以进行备份。
在步骤S124中,更新单元204试验性地对识别单元73进行运行,确认运行状况,并且确认更新SW的更新已经适当地完成。
这里,在由更新SW进行的更新未完成的情况下,更新单元204重复由更新SW进行的更新,直到更新适当地完成,并且以适当的状态完成更新。
在该时间点处,在不能适当地完成更新的情况下,更新单元204结束更新处理,并且再次运行作为备份保存的更新之前的识别单元73。
在步骤S125中,在由更新SW进行的更新完成后,识别单元73基于由摄像装置51捕获的图像来识别对象,并且将识别结果输出到运行状况识别单元202。
在步骤S126中,运行状况识别单元202获取由摄像装置51捕获的图像以及与由摄像装置51捕获的图像对应的识别单元73的对象识别结果。
在步骤S127中,运行状况识别单元202基于获取的对象识别结果来确定识别单元73的运行状况是否适当,并且将该确定结果与对象识别结果和图像相关联地输出到运行状况报告单元203。
即,例如,除了由摄像装置51捕获的图像以及基于由摄像装置51捕获的图像的识别单元73的对象识别结果,运行状况识别单元202还基于地图信息累积单元23的地图信息以及基于来自GNSS接收单元24和外部识别传感器25的信号的位置信息,指定可以从与当前位置信息对应的地图信息中识别的对象,并且通过与对象识别结果进行比较,确定识别单元73是否在适当地运行。
在步骤S128中,运行状况报告单元203确定是否需要报告运行状况。即,报告运行状况的必要性是例如运行状况不适当的情况。然而,报告运行状况的必要性可以是需要运行状况的任何情况,无论运行状况是否适当。
在步骤S128中确定需要报告运行状况的情况下,处理进行到步骤S129。
在步骤S129中,运行状况报告单元203控制通信单元22向服务器2报告运行状况。
注意,在步骤S128中确定不需要报告运行状况的情况下,跳过步骤S129的处理。
在步骤S130中,运行状况识别单元202确定更新之后的识别单元73的运行状况的确定是否充分,并且在确定该确定不充分的情况下,处理返回到步骤S124。
即,重复步骤S125至S130的处理,直到确定对更新之后的识别单元73的运行状况的确定是充分的。
注意,关于更新之后的识别单元73的运行状况的确定是否充分的确定可以通过例如确定运行状况是否已经被识别预定次数或更多次数来进行。
在步骤S130中确定更新之后的识别单元73的运行状况的确定是充分的情况下,处理进行到步骤S131。
在步骤S131中,更新单元204确定由更新SW对识别单元73的更新是否适当。
即,由于是在紧之前的处理中确定了更新之后的识别单元73的运行状况的确定是充分的之后的定时,因此更新单元204可以基于例如运行状况被识别为不适当的次数相对于运行状况识别单元202识别运行状况的预定次数的比率是否高于预定的比率来确定由更新SW对识别单元73的更新是否适当。
在步骤S131中确定由更新SW对识别单元73的更新是适当的情况下,处理进行到步骤S132。
在步骤S132中,更新单元204恢复与更新之后的识别单元73的对象识别处理相关的操作,以及在控制单元201中基于更新之后的识别单元73的识别结果的操作控制。此时,更新单元204丢弃保存的用于备份的更新之前的识别单元73。
在步骤S131中确定由更新SW对识别单元73的更新不适当的情况下,处理进行到步骤S133。
在步骤S133中,更新单元204将操作返回到保存的用于备份的更新之前的识别单元73的状态,并且恢复与更新之前的识别单元73的对象识别处理相关的操作以及控制单元201中的基于更新之前的识别单元73的识别结果的操作控制。即,在这种情况下,不对识别单元73进行更新,并且继续进行更新之前的状态的操作。
即,在这种情况下,由于通过更新SW对识别单元73的更新不适当,因此认为更新之后的识别单元73的识别结果的可靠性低。为此,如果执行基于更新之后的识别单元73的识别结果的处理,就有可能执行基于错误检测的错误处理,并且导致危险的操作。因此,将操作返回到基于更新之前的识别单元73的识别结果的操作。
此外,在确定由更新SW对识别单元73进行的更新不适当的情况下,可以不进行步骤S133的处理,而是成为在控制单元201中不进行基于由更新SW的更新之后的识别单元73的识别结果的处理的状态。
此时,由于通过更新SW对识别单元73的更新处于不适当的状态,并且基于识别结果的操作控制的可靠性低,因此可以允许作为用户的驾驶员识别到使用识别单元73的识别结果的自动驾驶等操作被停止。
在步骤S134中,确定是否已指示结束处理,并且在未指示结束处理的情况下,处理返回到步骤S121。
即,当重复步骤S121至S134的处理,并且分发更新SW,直到指示处理结束,重复识别单元73的操作的停止、识别单元73的更新以及对识别单元73的运行状况的识别,并且根据需要重复向服务器2报告运行状况的处理。
同时,在步骤S99中,服务器2的分发状态确认单元234控制通信单元115以确定是否存在来自任何一个车辆1的由更新SW更新的识别单元73的运行状况的报告,并且在存在运行状况的报告的情况下,处理进行到步骤S100。注意,在步骤S99中不存在来自任何车辆1的由更新SW更新的识别单元73的运行状况的报告的情况下,处理进行到步骤S103。
在步骤S100中,分发状态确认单元234获取由报告的更新SW更新的识别单元73的运行状况的信息。
在步骤S101中,分发状态确认单元234汇总由报告的更新SW更新的识别单元73的运行状况的信息。更具体地,分发状态确认单元234汇总例如由更新SW更新的识别单元73的识别处理被认为不适当的比率。
在步骤S102中,分发状态确认单元234基于汇总的结果,确定更新SW对识别单元73的更新是否不适当。
更具体地,例如,分发状态确认单元234根据由更新SW更新的识别单元73的识别处理被视为不适当的比率是否高于预定比率来确定由更新SW对识别单元73的更新是否不适当。
在步骤S102中未确定由更新SW对识别单元73的更新是不适当的情况下,处理继续进行到步骤S103。
在步骤S103中,分发状态确认单元234确定是否分发更新SW并且更新在组i的所有车辆1中的识别单元73。
在步骤S103中,在没有分发更新SW并且没有更新组i中的所有车辆1中的识别单元73的情况下,处理返回到步骤S97。
即,重复步骤S97至S103的处理,直到分发更新SW并且在组i中的所有车辆1中更新识别单元73。
然后,在步骤S103中,在确定分发更新SW并且在组i中的所有车辆1中更新识别单元73的情况下,处理进行到步骤S104。
在步骤S104中,分发计划单元235将计数器i递增1。
在步骤S105中,分发计划单元235确定计数器i是否大于作为组的数目的最大值,并且对所有组的更新处理已经完成。
在步骤S105中,在确定计数器i等于或小于作为组的数目的最大值并且对所有组的更新处理未完成的情况下,处理返回到步骤S93,并且重复后续处理。
即,在更新的识别单元73存在缺陷的情况下,从安全性高的组中的每个车辆1开始按顺序重复以组为单位分发更新SW并且更新识别单元73的处理,并且重复步骤S93至S105的处理,直到针对所有组中的车辆1由更新SW更新了识别单元73。
然后,在步骤S105中,在确定计数器i大于作为组的数目的最大值并且对所有组的处理已经完成的情况下,处理进行到步骤S106。
在步骤S106中,确定是否已指示结束处理,并且在未指示结束处理的情况下,处理返回到步骤S91,并且重复后续处理。
然后,在步骤S106中指示了处理的结束的情况下,处理结束。
此外,在步骤S102中,在确定由更新SW对识别单元73的更新是不适当的情况下,处理进行到步骤S107。
在步骤S107中,由于已经确认在由当前的更新SW对识别单元73的更新中发生了缺陷,所以分发状态确认单元234通知分发计划单元235停止更新SW的后续分发。
结果,分发计划单元235丢弃分发计划并且停止组i的更新SW的后续分发。
根据上述处理,当认为识别单元73需要由通过再学习得到的更新SW进行更新时,针对每组车辆1,从具有较低更新风险的组开始按顺序分发更新SW,并且确认运行状况。当基于运行状况认为更新之后的识别单元73的识别处理适当时,可以将更新SW顺序并逐步分发给具有较高更新风险的组的车辆1,以更新识别单元73。
因此,由于识别单元73的更新SW的分发是从具有较低更新风险的车辆1的组开始顺序执行的,因此即使从更新之后的识别单元73的运行状况中识别到缺陷,也可以在抑制因错误识别而发生致命问题的同时安全地更新识别单元73。
另外,即使在未执行完全的再学习的状态下,由更新SW从具有较低的更新风险的车辆1开始按顺序更新识别单元73,并且在确认运行状况的同时,可以将更新SW的分发逐渐扩展到具有较高的更新风险的组的车辆1。因此,可以减少与再学习相关的时间成本,并且可以快速地分发更新SW。
因此,可以通过更新SW等快速、安全地更新诸如识别单元73的SW。
<<11.更新定时设置处理(第1部分)>>
接下来,将参照图12的流程图来描述图11的更新定时设置处理(第1部分)。
在步骤S151中,分发计划单元235读取由分发顺序决定单元233决定的分发顺序的信息中包括的车辆1的车辆信息,并且读取处理目标车辆的工作记录。这里的工作记录是例如车辆1的每日工作时间区间等。
在步骤S152中,分发计划单元235基于读取的处理目标车辆的工作记录,估计处理目标车辆停止的时间区间。
在步骤S153中,分发计划单元235将处理目标车辆停止的时间区间中的处理目标车辆最有可能停止的定时作为分发定时。
即,根据上述处理,可以将即使识别单元73随着更新进入不能工作的状态,根据工作记录识别单元73最有可能停止的安全定时设置为更新SW对识别单元73的更新定时。
注意,除此之外,还可以设置车辆有可能处于停止状态的时间区间,如夜晚等。
<<12.更新定时设置处理(第2部分)>>
接下来,将参照图13的流程图来描述图11的更新定时设置处理(第2部分)。
在上面,已经描述了示例,其中将根据工作记录车辆1最可能停止的定时设置为更新定时。然而,由于用于汽车共享等的车辆1的用户不同,因此有可能根据工作记录难以估计车辆1停止的定时,并且无法适当地设置更新时间。此外,在用于送货等的车辆1的情况下,有可能停止定时本来就很少。
因此,通过将不太可能识别到识别单元73的识别目标的定时设置为更新定时,可以将即使识别单元73在更新处理期间不工作,影响也较小的定时设置为更新定时。
例如,当识别单元73的识别目标仅为行人并且要识别到行人时,例如当控制单元201控制操作以避免与行人接触时,例如在高速公路等上行驶期间不会识别行人,因此,不需要进行避免与行人接触的操作。
因此,基于工作记录或行驶路线计划,可以将估计将由识别单元73识别的识别目标不会被检测到并且即使识别单元73的识别功能被停止也没有问题的定时设置为更新定时。
因此,在更新定时设置处理(第2部分)中,将描述这样的处理:在识别单元73的识别目标仅为行人的情况下,将识别单元73基于行驶路线计划在诸如公路等上检测到行人的可能性低并且即使识别单元73的识别功能停止也没有问题的定时设置为更新定时。
在步骤S171中,分发计划单元235获取由动作计划单元62计划的驾驶路线的信息。
在步骤S172中,分发计划单元235基于获取的驾驶路线的信息来估计要在驾驶路线上识别的数据的变化。
即,例如,在识别目标为行人的情况下,当处理目标车辆在计划的驾驶路线上移动时,分发计划单元235基于由摄像装置51捕获的图像,估计驾驶路线上的(有很大可能性)不存在由识别单元73识别为行人的数据的位置。
在步骤S173中,分发计划单元235基于关于在估计的驾驶路线上要识别的数据的变化的信息,指定驾驶路线上的(有很大可能性)不存在要识别的数据的区间。
即,在识别目标为行人的情况下,分发计划单元235指定在计划的驾驶路线上的(有很大可能性)不存在行人的数据的区间。在计划的行驶路线上,不存在行人数据的区间是例如在高速公路、汽车专用道路等上。
在步骤S174中,分发计划单元235将车辆经过在估计的驾驶路线上的(有很大可能性)不存在要识别的数据的区间的定时设置为更新定时。
即,在这种情况下,将车辆经过计划的驾驶路线上的(有很大可能性)不存在行人的数据的区间的定时(例如,车辆在高速公路等上行驶的定时)设置为更新定时。
通过以这种方式设置更新定时,当识别单元73通过更新SW进行更新时是不识别行人的定时,由于在更新期间车辆是在高速公路上行驶,所以即使停止基于识别单元73的识别结果的操作,即,即使停止识别行人的功能,也不会发生由于诸如识别行人的错误识别导致故障的状态。因此,可以安全地实现识别单元73的更新。
注意,关于基于由后置摄像装置捕获的图像来执行对象识别处理的识别单元73的更新,只要是向前行驶的定时,即使停止了对象识别处理也没有问题,因此,可以在向前行驶期间设置更新定时。
此外,在上述描述中,已经描述了服务器2设置更新定时的示例,但是更新定时可以由车辆1设置。
即,在这种情况下,车辆1的更新单元204基于运行状况来执行参照图12和图13的流程图描述的更新定时设置处理,并且例如在参照图9的流程图描述的分组处理中的步骤S31与S32之间设置更新定时。然后,在步骤S32的处理中,控制单元201控制通信单元22将更新定时的信息包括在车辆信息中,并且将该信息发送到服务器2。
此外,在参照图11的流程图描述的更新处理中,由于在分组处理中已经在车辆1侧设置了更新定时,所以跳过步骤S94至S96的处理,在车辆1侧设置的更新定时处从服务器2分发更新SW。
<<13.每个处理单元的更新>>
<<组件单元中的更新>>
在上述描述中,关于识别单元73的更新,已经描述了识别单元73操作被停止并且由更新SW更新识别单元的示例。然而,在执行识别处理的操作期间,识别单元73可以由更新SW更新。
由识别单元73进行的识别处理以组件为单位按照时间序列来处理。组件指示例如对每个识别目标的识别处理,并且例如针对每个识别目标(例如识别铁道口、识别信号和识别行人)进行设置。因此,在由识别单元73进行的对象识别处理中,可以认为以具有不同识别目标的组件为单位的对象识别处理是按时间序列顺序执行的。
即,例如,如图14所示,将考虑按时间序列执行组件C1和C2的情况。在图14中,组件C1的处理在时间t11至t15处执行,而组件C2的处理在时间t15至t19处执行。
此外,每个组件的处理是以由摄像装置51捕获的图像的帧为单位执行的。
即,在图14中的组件C1的处理中,示出在时间t11至t12处执行帧F1的处理,在时间t12至t13处执行帧F2的处理,在时间t13至t14处执行帧F3的处理,以及在时间t14至t15处执行帧F4的处理。
此外,在图14中的单元C2的处理中,示出在时间t15至t16处执行帧F5的处理,在时间t16至t17处执行帧F6的处理,在时间t17至t18处执行帧F7的处理,以及在时间t18至t19处执行帧F8的处理。
注意,在图14中,在每个组件C1和C2中示出了对四个帧的处理的示例,但是可以执行对其他数量的帧的处理,或者每个组件的帧数可能不相同。
在组件C1是用于识别铁路道口的对象识别处理的情况下,例如,当车辆在高速公路上行驶时,没有铁路道口,并且没有铁路道口被检测为识别结果。因此,组件C1的对象识别处理基本上是不必要的。
为此,即使组件C1的识别结果的准确性极度降低,也不会发生由于识别结果而导致的故障。
因此,对于识别铁路道口的组件C1,只要车辆在没有铁路道口的高速公路上行驶,则即使在不停止组件C1的对象识别处理的操作(或者基于识别单元73的识别结果的控制单元201的操作控制)的情况下执行更新SW对识别单元73的更新处理也没有问题。
为此,在未识别到识别目标(识别的可能性极低)的定时处,可以在不停止识别单元73的运行的情况下,由更新SW以组件为单位更新识别单元73。
<帧之间的更新>
此外,在每一帧中,成像处理、传送处理和识别处理以时间序列执行。
即,例如,在图15所示的帧F1和F2中,在时间t11至t31处由摄像装置51执行成像处理,在时间t31至t32处由摄像装置51执行成像数据的传送处理,并且在时间t32至t33处由识别单元73执行识别处理。
此外,在帧F2中,在时间t12至t34处由摄像装置51执行成像处理,在时间t34至t35处由摄像装置51执行成像数据的传送处理,并且在时间t35至t36处由识别单元73执行识别处理。
为此,在识别处理的序列中,由于在没有实际执行由识别单元73进行的识别处理的定时处基本停止操作,所以即使由更新SW更新识别单元73,也不会影响基于识别结果的操作控制。
因此,如图15所示,由于从帧F1的识别单元73的识别处理结束的时间t33的定时到帧F2的识别单元73的识别处理开始的时间t35的定时的时段T11内不执行识别单元73的处理,所以该时段是可以执行更新的定时。
如上所述,在继续进行识别处理的序列的同时,可以设置更新定时,使得在识别单元73不实际工作的帧之间的定时处由更新SW对识别单元73进行更新。
<处理块单元中的更新>
此外,由于由识别单元73进行的识别处理包括多个处理块,所以可以由更新SW在没有以处理块为单位执行处理的块之间的定时处进行更新。
即,例如,如图16所示,在由识别单元73对帧F1的识别处理包括处理块B1至B4的情况下,在时间t32至t51处执行处理块B1的处理,在时间t52至t53处执行处理块B2的处理,在时间t54至t55处执行处理块B3的处理,并且在时间t56至t33处执行处理块B4的处理。
此外,在由识别单元73进行的帧F2的识别处理中,在时间t35至t57处执行处理块B1的处理,在时间t58至t59处执行处理块B2的处理,在时间t60至t61处执行处理块B3的处理,以及在时间t62至t36处执行处理块B4的处理。
在这种情况下,由于在从帧F1的处理块B1的处理结束的时间t51到帧F2的处理块B1的处理开始时的时段T31内不执行处理块B1的处理,所以处理块B1的操作基本上被停止,因此,该时段是可以执行更新的定时。
如上所述,在继续进行识别处理的序列的同时,可以在识别单元73不实际工作的处理块之间的定时处,由更新SW以处理块为单位对识别单元73进行更新。
<以层为单位的更新>
在构成识别单元73的识别处理的处理块中的每一个由神经网络构成的情况下,可以以处理块中的特定层为单位执行更新。
即,如图17所示,在处理块B1至B4中的每一个由例如包括层L1至Lx的神经网络构成的情况下,考虑处理块B1的更新。
在这种情况下,在处理块B1的情况下,如图17所示,可以在类似于处理块之间的可更新定时的时段T31中的第一定时处以层为单位对处理块B1的层Lx进行更新,此后,可以在类似的定时处以诸如层Lx-1、Lx-2、……、L1的层为单位顺序地更新。注意,尽管图17示出了其中更新SW的更新是以一个层为单位执行的示例,但是更新SW的更新可以以多个层为单位执行。
在由神经网络构成的处理块的情况下,更新SW的更新可以进一步以层中的通道为单位执行。在这种情况下,更新可以以一个通道为单位或者以多个通道为单位执行。
此外,在这种情况下,由于更新是以层为单位或者以通道为单位执行的,所以具有不同版本的层或通道可以在同一处理块中混合。
<<14.每个处理单元的更新处理>>
接下来,将参照图18的流程图来描述应用示例中每个处理单元的更新处理。
注意,图18的流程图中的步骤S201至S204、S206、S207和S209至S217以及步骤S234至S240和S242的处理与图11的流程图中的步骤S91至S94、S96、S97和S99至S107以及步骤S125至S131和S134的处理类似,因此省略其描述。
即,在步骤S204中,当第i组的车辆1中的未处理车辆被设置为处理目标车辆时,在步骤S205中,分发计划单元235执行处理单元设置处理,通过处理目标车辆的更新SW设置更新识别单元73的更新单元,并且根据该更新单元设置更新定时。
<处理单元决定处理>
这里,将参照图19的流程图来描述处理单元决定处理。
在步骤S271中,分发计划单元235确定处理是否是由其中更新SW更新的处理单元是通道单元的更新处理。
在步骤S271中,在处理是其中由更新SW更新的处理单元是通道单元的更新处理的情况下,处理进行到步骤S272。
在步骤S272中,当处理单元是通道单元时,分发计划单元235设置更新定时。
在步骤S271中,在处理不是其中由更新SW更新的处理单元是通道单元的更新处理的情况下,处理进行到步骤S273。
在步骤S273中,分发计划单元235确定处理是否为其中由更新SW更新的处理单元是层单元的更新处理。
在步骤S273中,在处理是其中由更新SW更新的处理单元为层单元的更新处理的情况下,处理进行到步骤S274。
在步骤S274中,如参照图17所述,当处理单元是层单元时,分发计划单元235设置更新定时。
在步骤S273中,在处理不是其中由更新SW更新的处理单元是层单元的更新处理的情况下,处理进行到步骤S275。
在步骤S275中,分发计划单元235确定处理是否是其中由更新SW更新的处理单元是块单元的更新处理。
在步骤S275中,在处理是其中由更新SW更新的处理单元是块单元的更新处理的情况下,处理进行到步骤S276。
在步骤S276中,分发计划单元235在处理单元是块单元时设置更新定时,如参照图16所述。
在步骤S275中,在处理不是其中由更新SW更新的处理单元是块单元的更新处理的情况下,处理进行到步骤S277。
在步骤S277中,分发计划单元235确定处理是否是其中由更新SW更新的处理单元是帧之间的更新处理。
在步骤S277中,在处理是其中由更新SW更新的处理单元是帧单元的更新处理的情况下,处理进行到步骤S278。
在步骤S278中,分发计划单元235在处理单元在帧之间时设置更新定时,如参照图15所述。
在步骤S277中,在处理不是其中由更新SW更新的处理单元在帧之间的更新处理的情况下,处理进行到步骤S279。
在步骤S279中,分发计划单元235确定处理是否是其中由更新SW更新的处理单元是组件单元的更新处理。
在步骤S279中,在处理是其中由更新SW更新的处理单元是组件单元的更新处理的情况下,处理进行到步骤S280。
在步骤S280中,分发计划单元235在处理单元是组件单元时设置更新定时,如参照图14所述。
在步骤S279中,在处理不是其中由更新SW更新的处理单元是组件单元的更新处理的情况下,处理进行到步骤S281。
由于在步骤S281中的处理不是在通道单元、层单元、块单元、帧之间和组件单元中的任何处理单元中的更新,所以处理是假设以整个识别单元73为单位停止识别单元73的状态的处理。因此,分发计划单元235通过执行类似于图11的流程图中的步骤S99的更新定时设置处理来设置更新定时。
在此,描述返回到图18的流程图。
然后,在步骤S207中执行由针对每个处理单元设置的更新SW的更新处理的定时处,在步骤S208的处理中,将用于执行每个处理单元中的识别单元73的更新的更新SW发送到车辆1。
当在步骤S231中确定更新SW被发送时,在步骤S232中,更新单元204控制通信单元22以获取与发送的处理单元对应的更新SW,并且更新识别单元73。此时,在通过更新SW进行更新之前,更新单元204保存更新之前的识别单元73以进行备份。
注意,在图18的更新处理中,与图11的更新处理中的步骤S122的处理一样,与识别单元73的对象识别处理相关的操作以及在控制单元201中基于识别单元73的识别结果的操作控制二者都没有停止,并且继续进行操作。
在步骤S233中,更新单元204确认识别单元73已被可靠地更新。
此时,例如,在以组件为单位、在帧之间、以块为单位、以层为单位或以通道为单位执行更新处理的情况下,更新单元204可以将更新之前的识别单元73的识别结果与更新之后的识别单元73的识别结果进行比较,以确定是否存在预定或更高水平的变化,从而确定是否已适当地执行更新。
此外,当识别到更新之后的识别单元73的运行状况时,根据需要将运行状况发送到服务器2,并且确定对运行状况的确定是充分的,处理进行到步骤S240。
在步骤S240中,更新单元204确定由更新SW对识别单元73的更新是否适当。
在步骤S240中确定由更新SW对识别单元73的更新不适当的情况下,处理进行到步骤S241。
在步骤S241中,更新单元204将操作返回到为备份而保存的更新之前的识别单元73的状态,并且使与更新之前的识别单元73的对象识别处理相关的操作和控制单元201中基于更新之前的识别单元73的识别结果的操作控制回到更新之前的状态。即,在这种情况下,识别单元73不被更新,并且继续进行更新之前的状态的操作。
即,在这种情况下,由于通过更新SW对识别单元73的更新不适当,所以认为更新之后的识别单元73的识别结果的可靠性低。为此,如果执行基于更新之后的识别单元73的识别结果的处理,就有可能执行基于错误检测的错误处理,并且导致危险的操作。因此,将操作返回到基于更新之前的识别单元73的识别结果的操作。
此外,在确定由更新SW对识别单元73进行的更新不适当的情况下,可以不进行步骤S241的处理,而是处于在控制单元201中不执行基于由更新SW进行的更新之后的识别单元73的识别结果的处理的状态。
同时,在步骤S240中确定由更新SW对识别单元73的更新适当的情况下,跳过步骤S241的处理。
即,由于识别单元73的操作在没有被停止的情况下被更新,并且更新被适当地执行,所以操作继续保存原样。
通过上述一系列的处理,可以在针对每个处理单元设置的定时下执行由更新SW进行的识别单元73的更新处理,从而识别单元73中的对象识别处理的操作可以在不被停止的情况下适当地更新。
注意,在上述描述中,已经参照图11的流程图描述了在识别单元73中的对象识别处理被停止的状态下由更新SW实现更新处理的更新处理(在下文中,也称为非操作更新处理),并且参照图18的流程图描述了在识别单元73中的对象识别处理被停止的状态下由更新SW实现更新处理的更新处理(在下文中,也称为操作更新处理)。
关于非操作更新处理和操作更新处理,一般认为非操作更新处理更安全,但是操作更新处理几乎可以在任何时候更新。因此,可以将非操作更新处理和操作更新处理进行切换。
例如,非操作更新处理可以在开始分发更新SW之后的预定时段内执行,而操作更新处理可以在预定时段内无法执行更新的情况下执行。
此外,例如,可以设置根据由更新SW对识别单元73的更新内容来指示紧急性或优先性的分数,并且在紧急性或优先性低于预定分数的更新的情况下可以执行非操作更新处理,并且在紧急性或优先性高于预定分数的更新的情况下可以执行操作更新处理。
此外,指示紧急性或优先性的分数可以根据自动驾驶计划等而改变。例如,可以通过将指示与自动驾驶计划中未安排使用的功能相关的识别单元73的更新处理的紧急性或优先级的分数设置得较低来执行非操作更新处理,并且可以通过将指示与自动驾驶计划中安排使用的功能相关的识别单元73的更新处理的紧急性或优先级的分数设置得较高来执行操作更新处理。
此外,随着在自动驾驶计划中制定的计划的改变,例如,可以通过改变设置使得指示与根据自动驾驶计划的改变而不安排使用的功能相关的识别单元73的更新处理的紧急性或优先性的分数变低来执行非操作更新处理,并且可以通过改变设置使得指示与根据自动驾驶计划的改变而安排使用的功能相关的识别单元73的更新处理的紧急性或优先性的分数变高来执行操作更新处理。
注意,以上已经描述如下示例:被管理的软件程序(SW)是执行对象识别处理并且识别对象的识别单元73。然而,只要SW是通过机器学习等生成的,SW就可以执行其他处理。例如,SW可以是执行通过机器学习形成的路线搜索的SW或者执行电池管理的SW。
<<15.由软件执行的示例>>
同时,上述一系列处理可以由硬件执行,但是也可以由软件执行。在该一系列处理由软件执行的情况下,将构成该软件的程序从记录介质安装到并入专用硬件中的计算机或者例如能够通过安装各种程序执行各种功能的通用计算机等。
图20示出了通用计算机的配置示例。该个人计算机包括中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
输入/输出接口1005与输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接,输入单元1006包括输入装置,如键盘、鼠标等,用户通过该输入装置输入操作命令,输出单元1007将处理操作画面的图像或处理结果输出到显示装置,存储单元1008包括存储程序或各种数据的硬盘驱动器等,通信单元1009包括经由由互联网代表的网络执行通信处理的局域网(LAN)适配器等。此外,还连接有从可移动存储介质1011读取数据或者向可移动存储介质1011写入数据的驱动器1010,可移动存储介质1011例如为磁盘(包括软盘)、光盘(包括光盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光盘(包括迷你光盘(MD))、半导体存储器等。
CPU 1001根据存储在ROM 1002中的程序或者从安装在存储单元1008中并且从存储单元1008加载到RAM 1003的可移动存储介质1011如磁盘、光盘、磁光盘、半导体存储器等读取的程序执行各种处理。RAM1003还适当地存储CPU 1001执行各种处理所需的数据等。
在如上所述配置的计算机中,例如,CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中并且执行该程序,由此执行上述一系列处理。
例如,由计算机(CPU 1001)执行的程序可以通过记录在作为封装介质等的可移动存储介质1011中提供。此外,该程序可以经由有线或无线传输介质例如局域网、互联网或数字卫星广播提供。
在计算机中,程序可以经由输入/输出接口1005通过将可移动存储介质1011附接到驱动器1010来安装在存储单元1008中。此外,程序可以由通信单元1009经由有线或无线传输介质接收并安装在存储单元1008中。此外,程序可以预先安装在ROM 1002或存储单元1008中。
注意,由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列执行处理的程序,或者可以是并行地或者在必要的定时处例如在被调用时执行处理的程序。
注意,图20中的CPU 1001实现了图3中的处理器21和图5中的处理器111的功能。
此外,在本说明书中,系统是指多个组件(装置、模块(部件)等)的集合,并且是否所有的组件都在同一个壳体中并不重要。因此,容纳在单独的壳体中并且经由网络连接的多个装置以及其中多个模块被容纳在一个壳体中的一个装置都是系统。
注意,本公开内容的实施方式不限于上述的实施方式,并且在不脱离本公开内容的要点的情况下,可以进行各种修改。
例如,本公开内容可以具有其中由多个设备经由网络协作地共享和处理一个功能的云计算的配置。
此外,上述流程图中描述的每个步骤可以由一个装置执行,或者可以由多个装置共享和执行。
此外,在一个步骤中包括多个处理的情况下,包括在一个步骤中的多个处理可以由一个设备执行,或者可以由多个设备共享并执行。
注意,本公开内容还可以具有以下配置。
<1>一种信息处理装置,包括:
更新单元,其更新软件程序(SW);以及
运行状况识别单元,其识别由所述更新单元更新的所述SW的运行状况。
<2>根据<1>所述的信息处理装置,
其中,所述SW通过机器学习来形成,并且
所述更新单元使用更新SW来更新所述SW,所述更新SW用于将所述SW更新为通过所述机器学习再学习的所述SW。
<3>根据<2>所述的信息处理装置,
其中,所述更新单元在更新所述SW时,在对更新之前的所述SW进行备份之后,使用所述更新SW来更新所述SW,并且
所述运行状况识别单元通过将由所述更新单元更新的所述SW的处理结果与在所述更新之前备份的SW的处理结果进行比较来识别经更新的所述SW的运行状况。
<4>根据<1>至<3>中任一项所述的信息处理装置,
其中,所述SW是通过机器学习来形成,并且用作基于图像来执行对象识别处理的对象识别单元的SW。
<5>根据<4>所述的信息处理装置,
其中,所述运行状况识别单元通过将由所述更新单元更新的用作所述对象识别单元的所述SW的对象识别结果与基于当前位置信息存在于周围的对象的信息进行比较来识别经更新的所述SW的运行状况。
<6>根据<5>所述的信息处理装置,还包括:
控制单元,其基于所述SW的对象识别结果来控制操作,
其中,所述控制单元基于所述运行状况,停止基于经更新的用作所述对象识别单元的所述SW的对象识别结果对所述操作的控制。
<7>根据<6>所述的信息处理装置,
其中,所述控制单元基于所述运行状况,基于在更新之前的用作所述对象识别单元的所述SW的对象识别结果来控制所述操作。
<8>根据<6>所述的信息处理装置,
其中,所述更新单元获取从服务器分发的用于更新所述SW的更新SW,并且基于所述更新SW来更新所述SW,
所述信息处理装置还包括:
运行状况识别结果发送单元,其将作为由所述运行状况识别单元对运行状况的识别结果的运行状况识别结果发送到所述服务器。
<9>根据<8>所述的信息处理装置,
其中,在由所述更新SW未适当地更新所述SW的情况下,当基于根据所述SW的处理结果由所述控制单元控制的操作的安全性对所述更新SW被分发到的所述信息处理装置进行分组时,从最安全的组的所述信息处理装置开始以组为单位顺序地逐步分发所述更新SW。
<10>根据<9>所述的信息处理装置,
其中,所述服务器基于用作所述对象识别单元的SW的对象识别结果来估计不需要由所述控制单元对操作的控制的定时,并且生成分发计划,在所述分发计划中,不需要由所述控制单元对操作的控制的定时被设置为分发所述更新SW的定时。
<11>根据<9>所述的信息处理装置,
其中,以基于所述安全性分组的所述组为单位来生成分发计划,在所述分发计划中,基于用作所述对象识别单元的所述SW的对象识别结果而不需要由所述控制单元对操作的控制的定时被设置为分发所述更新SW的定时。
<12>根据<10>所述的信息处理装置,
其中,将作为用作所述对象识别单元的所述SW的对象识别结果而未识别出预定对象的定时估计为基于用作所述对象识别单元的所述SW的对象识别结果而不需要由所述控制单元对操作的控制的定时,并且生成分发计划,在所述分发计划中,所估计的不需要由所述控制单元对操作的控制的定时被设置为分发所述更新SW的定时。
<13>根据<12>所述的信息处理装置,
其中,所述控制单元基于所述对象识别结果来控制车辆的自动驾驶,并且
生成分发计划,在所述分发计划中,在计划所述车辆的行驶的路线上,所述车辆在作为所述对象识别结果而未识别出所述预定对象的路线上行驶的定时被设置为分发所述更新SW的定时。
<14>根据<8>所述的信息处理装置,
其中,所述服务器基于从所述运行状况识别结果发送单元发送来的所述运行状况识别结果,停止向所述信息处理装置分发所述SW。
<15>根据<14>所述的信息处理装置,
其中,所述服务器基于从所述运行状况识别结果发送单元发送来的所述运行状况识别结果,在基于经更新的所述SW的对象识别准确度低于基于更新之前的所述SW的对象识别准确度的情况下,停止向所述信息处理装置分发所述SW。
<16>根据<8>所述的信息处理装置,
其中,所述运行状况识别结果发送单元将所述图像和对应的对象识别结果与所述运行状况识别结果一起发送到所述服务器,所述运行状况识别结果是由所述运行状况识别单元对所述运行状况的识别结果,并且
所述服务器基于所述图像和对应的对象识别结果来再学习所述SW,并且生成用于将所述SW更新到经再学习的状态的所述更新SW。
<17>根据<16>所述的信息处理装置,
其中,所述服务器基于所述图像和对应的对象识别结果,在经再学习的所述SW达到预定识别准确度时,分发用于将所述SW更新到经再学习的状态的所述更新SW。
<18>一种信息处理装置的信息处理方法,所述信息处理装置包括:
更新单元;以及
运行状况识别单元,
所述信息处理方法包括以下步骤:
由所述更新单元更新软件程序(SW);以及
由所述运行状况识别单元识别经更新的所述SW的运行状况。
<19>一种程序,用于使计算机用作:
更新单元,其更新软件程序(SW);以及
运行状况识别单元,其识别由所述更新单元更新的SW的运行状况。
<20>一种信息处理系统,包括:
更新单元,其更新软件程序(SW);以及
运行状况识别单元,其识别由所述更新单元更新的SW的运行状况。
附图标记列表
1车辆,2服务器,21处理器,22通信单元,23地图信息累积单元,24GNSS接收单元,25外部识别传感器,32车辆控制单,51摄像装置,73识别单元,201控制单元,202运行状况识别单元,203运行状况报告单元,204更新单元,231车辆信息收集单元,232分组单元,233分发顺序决定单元,234分发状态确认单元,235分发计划单元,236分发单元,237再学习单元,238更新SW发布单元。

Claims (20)

1.一种信息处理装置,包括:
更新单元,其更新软件程序(SW);以及
运行状况识别单元,其识别由所述更新单元更新的所述SW的运行状况。
2.根据权利要求1所述的信息处理装置,
其中,所述SW通过机器学习来形成,并且
所述更新单元使用更新SW来更新所述SW,所述更新SW用于将所述SW更新为通过所述机器学习再学习的所述SW。
3.根据权利要求2所述的信息处理装置,
其中,所述更新单元在更新所述SW时,在对更新之前的所述SW进行备份之后,使用所述更新SW来更新所述SW,并且
所述运行状况识别单元通过将由所述更新单元更新的所述SW的处理结果与在所述更新之前备份的SW的处理结果进行比较来识别经更新的所述SW的运行状况。
4.根据权利要求1所述的信息处理装置,
其中,所述SW是通过机器学习来形成,并且用作基于图像来执行对象识别处理的对象识别单元的SW。
5.根据权利要求4所述的信息处理装置,
其中,所述运行状况识别单元通过将由所述更新单元更新的用作所述对象识别单元的所述SW的对象识别结果与基于当前位置信息存在于周围的对象的信息进行比较来识别经更新的所述SW的运行状况。
6.根据权利要求5所述的信息处理装置,还包括:
控制单元,其基于所述SW的对象识别结果来控制操作,
其中,所述控制单元基于所述运行状况,停止基于经更新的用作所述对象识别单元的所述SW的对象识别结果对所述操作的控制。
7.根据权利要求6所述的信息处理装置,
其中,所述控制单元基于所述运行状况,基于在更新之前的用作所述对象识别单元的所述SW的对象识别结果来控制所述操作。
8.根据权利要求6所述的信息处理装置,
其中,所述更新单元获取从服务器分发的用于更新所述SW的更新SW,并且基于所述更新SW来更新所述SW,
所述信息处理装置还包括:
运行状况识别结果发送单元,其将作为由所述运行状况识别单元对运行状况的识别结果的运行状况识别结果发送到所述服务器。
9.根据权利要求8所述的信息处理装置,
其中,在由所述更新SW未适当地更新所述SW的情况下,当基于根据所述SW的处理结果由所述控制单元控制的操作的安全性对所述更新SW被分发到的所述信息处理装置进行分组时,从最安全的组的所述信息处理装置开始以组为单位顺序地逐步分发所述更新SW。
10.根据权利要求9所述的信息处理装置,
其中,生成分发计划,在所述分发计划中,基于用作所述对象识别单元的所述SW的对象识别结果而不需要由所述控制单元对操作的控制的定时被设置为分发所述更新SW的定时。
11.根据权利要求9所述的信息处理装置,
其中,以基于所述安全性分组的所述组为单位来生成分发计划,在所述分发计划中,基于用作所述对象识别单元的所述SW的对象识别结果而不需要由所述控制单元对操作的控制的定时被设置为分发所述更新SW的定时。
12.根据权利要求10所述的信息处理装置,
其中,将作为用作所述对象识别单元的所述SW的对象识别结果而未识别出预定对象的定时估计为基于用作所述对象识别单元的所述SW的对象识别结果而不需要由所述控制单元对操作的控制的定时,并且生成分发计划,在所述分发计划中,所估计的不需要由所述控制单元对操作的控制的定时被设置为分发所述更新SW的定时。
13.根据权利要求12所述的信息处理装置,
其中,所述控制单元基于所述对象识别结果来控制车辆的自动驾驶,并且
生成分发计划,在所述分发计划中,在计划所述车辆的行驶的路线上,所述车辆在作为所述对象识别结果而未识别出所述预定对象的路线上行驶的定时被设置为分发所述更新SW的定时。
14.根据权利要求8所述的信息处理装置,
其中,所述服务器基于从所述运行状况识别结果发送单元发送来的所述运行状况识别结果,停止向所述信息处理装置分发所述SW。
15.根据权利要求14所述的信息处理装置,
其中,所述服务器基于从所述运行状况识别结果发送单元发送来的所述运行状况识别结果,在基于经更新的所述SW的对象识别准确度低于基于更新之前的所述SW的对象识别准确度的情况下,停止向所述信息处理装置分发所述SW。
16.根据权利要求8所述的信息处理装置,
其中,所述运行状况识别结果发送单元将所述图像和对应的对象识别结果与所述运行状况识别结果一起发送到所述服务器,所述运行状况识别结果是由所述运行状况识别单元对运行状况的识别结果,并且
所述服务器基于所述图像和对应的对象识别结果来再学习所述SW,并且生成用于将所述SW更新到经再学习的状态的所述更新SW。
17.根据权利要求16所述的信息处理装置,
其中,所述服务器基于所述图像和对应的对象识别结果,在经再学习的所述SW达到预定识别准确度时,分发用于将所述SW更新到经再学习的状态的所述更新SW。
18.一种信息处理装置的信息处理方法,所述信息处理装置包括:
更新单元;以及
运行状况识别单元,
所述信息处理方法包括以下步骤:
由所述更新单元更新软件程序(SW);以及
由所述运行状况识别单元识别经更新的所述SW的运行状况。
19.一种程序,用于使计算机用作:
更新单元,其更新软件程序(SW);以及
运行状况识别单元,其识别由所述更新单元更新的SW的运行状况。
20.一种信息处理系统,包括:
更新单元,其更新软件程序(SW);以及
运行状况识别单元,其识别由所述更新单元更新的SW的运行状况。
CN202180045785.2A 2020-07-03 2021-06-21 信息处理装置、信息处理方法、信息处理系统和程序 Pending CN115997193A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020115427 2020-07-03
JP2020-115427 2020-07-03
PCT/JP2021/023308 WO2022004446A1 (ja) 2020-07-03 2021-06-21 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム

Publications (1)

Publication Number Publication Date
CN115997193A true CN115997193A (zh) 2023-04-21

Family

ID=79316126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180045785.2A Pending CN115997193A (zh) 2020-07-03 2021-06-21 信息处理装置、信息处理方法、信息处理系统和程序

Country Status (4)

Country Link
US (1) US20230244471A1 (zh)
EP (1) EP4177733A4 (zh)
CN (1) CN115997193A (zh)
WO (1) WO2022004446A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5218366B2 (ja) 2009-10-07 2013-06-26 トヨタ自動車株式会社 車両用プログラム更新装置
JP5834935B2 (ja) 2012-01-17 2015-12-24 トヨタ自動車株式会社 安全制御装置及び安全制御方法
JP2014092878A (ja) * 2012-11-01 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 分類モデル更新支援装置及び方法及びプログラム
JP2018005894A (ja) * 2016-06-23 2018-01-11 住友電気工業株式会社 プログラム配信システム、サーバ、プログラム配信方法、およびコンピュータプログラム
US20210116930A1 (en) * 2018-02-28 2021-04-22 Sony Corporation Information processing apparatus, information processing method, program, and mobile object
JP7130984B2 (ja) * 2018-03-01 2022-09-06 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム
JP6900007B2 (ja) * 2018-03-29 2021-07-07 Kddi株式会社 配信装置
JP7169637B2 (ja) * 2018-10-11 2022-11-11 みこらった株式会社 移動装置及び移動装置用プログラム
WO2020095545A1 (ja) * 2018-11-05 2020-05-14 日本電気株式会社 物体認識システム、認識装置、物体認識方法および物体認識プログラム
KR102287460B1 (ko) * 2019-08-16 2021-08-10 엘지전자 주식회사 인공지능 무빙 에이전트

Also Published As

Publication number Publication date
US20230244471A1 (en) 2023-08-03
EP4177733A4 (en) 2023-11-22
WO2022004446A1 (ja) 2022-01-06
EP4177733A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
CN115668285A (zh) 信息处理装置、信息处理方法、信息处理系统及程序
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
EP4177733A1 (en) Information processing device, information processing method, information processing system, and program
EP4177734A1 (en) Information processing device, information processing method, information processing system, and program
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
US20230206596A1 (en) Information processing device, information processing method, and program
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
US20230418586A1 (en) Information processing device, information processing method, and information processing system
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
US20230410486A1 (en) Information processing apparatus, information processing method, and program
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2022024493A (ja) 情報処理装置と情報処理方法およびプログラム
CN117651981A (zh) 信息处理装置、信息处理方法以及程序
CN117980846A (zh) 移动控制系统、移动控制方法、移动控制设备和信息处理设备
CN116670006A (zh) 信息处理设备、信息处理方法、程序、移动设备和信息处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination