CN116964591A - 信息处理装置、信息处理系统、信息处理方法和记录介质 - Google Patents

Abstract

作为根据本发明的信息处理装置的一个示例的边缘装置(20)包括发送单元，该发送单元将与用于处理从生成神经网络的服务器装置(10)供应的神经网络的能力相关的信息发送至服务器装置(10)。处理能力信息包括神经网络容量信息、用于擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息中的至少一种类型的信息。

Description

信息处理装置、信息处理系统、信息处理方法和记录介质

技术领域

本公开涉及信息处理装置、信息处理系统、信息处理方法和记录介质。

背景技术

在深度学习中，开发了以下方式的技术。即，如在一次即成技术中，一旦大规模神经网络被学习，就可以从中提取多个学习的小型神经网络。这种技术可即时生成适合于具有不同能力的边缘人工智能(AI)装置的学习的神经网络。

注意，在开发一次即成技术之前，人类需要为每一个边缘AI装置设计神经网络，并且使每一个神经网络从开始就学习。另一方面，在一次即成技术中，人类不需要设计神经网络，并且不需要使神经网络从开始就学习的时间。

引用列表

专利文献

专利文献1：日本公开第2020-123830号

专利文献2：日本公开第2018-73024号

发明内容

技术问题

在上述一次即成技术中，尽管可以即时生成学习的神经网络，但不清楚要将多大规模的神经网络发送至边缘AI装置以最大程度地提取边缘AI装置的能力。由此，向边缘AI装置发送规模不足的神经网络，难以充分发挥边缘AI装置等的装置性能。

因此，本公开提出了能够充分发挥装置性能的信息处理装置、信息处理系统、信息处理方法以及记录介质。

问题的解决方案

根据本公开的实施方式的信息处理装置包括：发送部，将与用于处理从服务器装置供应的神经网络的处理能力相关的信息发送至生成神经网络的服务器装置。

根据本公开的实施方式的信息处理装置包括：接收部，接收与用于处理神经网络的边缘装置的处理能力相关的信息；生成部，基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络；以及发送部，将所生成的神经网络发送至边缘装置。

根据本公开的实施方式的信息处理系统包括：边缘装置，发送与用于处理神经网络的处理能力相关的信息；以及服务器装置，接收与处理能力相关的信息，基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络，并将所生成的神经网络发送至边缘装置。

根据本公开的实施方式的信息处理方法包括：发送与用于处理神经网络的处理能力相关的信息，发送由边缘装置执行；以及接收与处理能力相关的信息，基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络，以及将所生成的神经网络发送至边缘装置，接收、生成和发送由服务器装置执行。

根据本公开的实施方式的计算机可读记录介质记录用于使计算机执行以下的程序：将与用于处理神经网络的处理能力相关的信息发送至生成神经网络的服务器装置。

根据本公开的实施方式的计算机可读记录介质记录用于使计算机执行以下的程序：接收与处理神经网络的边缘装置的处理能力相关的信息；基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络；以及将所生成的神经网络发送至所述边缘装置。

附图说明

图1是示出根据第一实施方式的信息处理系统的示意性配置的示例的示图。

图2是示出根据第一实施方式的服务器装置的示意性配置的示例的示图。

图3是示出根据第一实施方式的边缘装置的示意性配置的示例的示图。

图4是用于描述根据第一实施方式的NICE标准的“SetSceneMode”的示图。

图5是用于描述根据第一实施方式的NICE标准的“SetSceneData”的示图。

图6是示出根据第一实施方式的处理流程的示例的流程图。

图7是示出根据第一实施方式的服务器装置的处理流程的示例的流程图。

图8是示出根据第一实施方式的边缘装置的处理流程的示例的流程图。

图9是示出根据第二实施方式的处理流程的示例的流程图。

图10是示出根据第二实施方式的处理流程的变形例的流程图。

图11是示出根据第三实施方式的处理流程的示例的流程图。

图12是示出根据第四实施方式的处理流程的示例的流程图。

图13是示出根据第五实施方式的处理流程的示例的流程图。

图14是示出车辆控制系统的示意性配置的示例的框图。

图15是辅助说明车外信息检测部和成像部的安装位置的示例的示图。

具体实施方式

在下文中，将基于附图详细地描述本公开的实施方式。应注意，根据本公开的装置、系统、方法、记录介质等不受这些实施方式的限制。另外，在以下的各个实施方式中，对基本相同的部分标注相同的附图标记，省略重复的说明。

可以独立执行以下描述的一个或多个实施方式(包括示例和变形例)中的每一个。另一方面，以下描述的多个实施方式中的至少一部分可适当地与其他实施方式中的至少一部分组合。该多个实施方式可以包括彼此不同的新颖特征。由此，多个实施方式可有助于解决彼此不同的目标或问题，并且可表现出彼此不同的效果。

本公开将按照下列项的顺序进行描述。

1.第一实施方式

1-1.信息处理系统的示意性配置的示例

1-2.服务器装置的示意性配置的示例

1-3.边缘装置的示意性配置的示例

1-4.装置之间的通信标准的示例

1-5.处理流程的示例

1-6.服务器装置的处理流程的示例

1-7.边缘装置的处理流程的示例

1-8.作用/效果

2.第二实施方式

2-1.处理流程的示例

2-2.处理流程的变形例

2-3.作用/效果

3.第三实施方式

3-1.处理流程的示例

3-2.作用/效果

4.第四实施方式

4-1.处理流程的示例

4-2.作用/效果

5.第五实施方式

5-1.处理流程的示例

5-2.作用/效果

6.其他实施方式

7.应用例

8.附录

<1.第一实施方式>

<1-1.信息处理系统的示意性配置的示例>

将参考图1描述根据第一实施方式的信息处理系统1的示意性配置的示例。图1是示出根据第一实施方式的信息处理系统1的示意性配置的示例的示图。

如图1所示，信息处理系统1包括服务器装置10和多个边缘装置20。服务器装置10和各个边缘装置20通过有线和无线的双方或者一方的通信网络30以能够通信的方式连接。作为通信网络30，例如，可以使用互联网、家庭网络、局域网(LAN)、卫星通信网络等。服务器装置10和边缘装置20分别与信息处理装置相对应。

服务器装置10从各个边缘装置20接收各种信息，向各个边缘装置20发送各种信息。另外，服务器装置10生成并发送适合于各个边缘装置20的神经网络。服务器装置10例如是计算机装置，可以由中央处理单元(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)等硬件来实现。

边缘装置20获得其中安装有边缘装置20的周围环境的感测数据(诸如图像、声音等)，并对所获得的感测数据执行各种处理。另外，边缘装置20将处理结果的数据发送至诸如服务器装置10等外部装置。要注意的是，虽然在图1的示例中边缘装置20的数量为三个，但是该数量不受限制并且可以是一个或多个。

这种边缘装置20例如通过具有人工智能(AI)功能的边缘AI装置来实现。作为边缘AI装置，可以使用具有AI功能的诸如相机和麦克风的边缘AI装置。相机的示例包括移动终端的相机、行车记录仪的相机、以及网络相机。在使用该相机的情况下，感测数据是图像。

例如，相机安装在由用户携带的智能电话上，安装在诸如汽车的移动主体上，或者作为监控相机安装在家中、商店中等。诸如相机的成像装置收集来自放置在外围的被摄体的光并且在成像表面上形成光学图像，并且通过将在成像表面上形成的光学图像转换成电图像信号来获得图像。注意，除了汽车之外，移动体的示例包括摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人(移动机器人)、建筑机械、农业机械(牵引车)等。

<1-2.服务器装置的示意性配置的示例>

将参考图2描述根据第一实施方式的服务器装置10的示意性配置的示例。图2是示出根据第一实施方式的服务器装置10的示意性配置的示例的示图。

服务器装置10具有控制部11、输入输出接口(I/F)12、输入部13、显示部14、声音输出部15、存储部16、通信部17以及驱动器18。控制部11相当于生成部，通信部24相当于发送部和接收部。

控制部11包括CPU 11a、ROM 11b、RAM 11c和非易失性存储器部11d。CPU 11a、ROM11b、RAM 11c和非易失性存储器部11d经由总线11e彼此连接。输入/输出接口12也连接至总线11e。

CPU 11a根据存储在ROM 11b、非易失性存储器部11d(诸如电可擦可编程只读存储器(EEP-ROM))等中的程序或从存储部16加载到RAM 11c的程序执行各种处理。此外，RAM11c适当地存储CPU 11a执行各种处理所需的数据等。

例如，控制部11通过使用一次即成(once-for-all)技术生成具有适合于边缘装置20的性能(处理能力)的规模的神经网络。然后，控制部11通过通信部17将所生成的神经网络发送至边缘装置20。注意，与深度学习相关的一次即成技术是能够在大规模神经网络学习一次时从大规模神经网络中提取多个学习的小型神经网络(子集神经网络)的技术。

输入/输出接口12连接有包含操作者和操作装置的输入部13。例如，作为输入部13，使用诸如键盘、鼠标、按键、拨号盘、触摸面板、触摸板以及遥控器的各种操作者和操作装置。通过输入部13检测用户的操作，并且通过CPU 11a解释与输入操作对应的信号。

此外，诸如液晶显示器(LCD)或有机电致发光(EL)面板的显示部14和诸如扬声器的声音输出部15整体或单独连接至输入/输出接口12。

显示部14是执行各种显示的显示装置，并且包括例如设置在服务器装置10的外壳中的显示装置、连接至服务器装置10的单独的显示装置等。显示部14根据来自CPU 11a的指令在显示屏幕上显示用于各种图像处理的图像、要处理的移动图像等。此外，基于来自CPU11a的指令，显示部14显示各种操作菜单、图标、消息等，即，执行作为图形用户界面(GUI)的显示。

此外，例如，存储部16(诸如固态存储器，诸如硬盘驱动器(HDD)或固态驱动器(SSD))和通信部17(诸如调制解调器)连接至输入/输出接口12。

通信部17经由诸如因特网的传输路径执行通信处理、与各种装置的有线/无线通信、通过总线通信的通信等。

此外，驱动器18在必要时被连接至输入/输出接口12上。诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质18a适当地安装在驱动器18上。

驱动器18可从可移除记录介质18a读取数据文件，诸如图像文件、各种计算机程序等。读取的数据文件被存储在存储部16中，包含在该数据文件中的图像和声音通过显示部14和声音输出部15输出。此外，根据需要，将从可移除记录介质18a读取的计算机程序等安装在存储部16中。

在这样的服务器装置10中，例如，根据本实施方式的处理软件可经由通信部17的网络通信或经由可移除记录介质18a安装。可替换地，软件可以预先存储在ROM 11b、存储部16等中。

另外，诸如控制部11的各个功能部也可以由上述硬件和软件的双方或者一方构成。这些配置没有特别限制。例如，当CPU或微处理单元(MPU)等计算机通过使用RAM等作为工作区来执行预先存储在ROM中的程序时，可实现上述各个功能部。而且，例如，每一个功能部可由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路实现。另外，服务器装置10也可以通过例如云计算来实现。

<1-3.边缘装置的示意性配置的示例>

将参考图3示出根据第一实施方式的边缘装置20的示意性配置的示例。图3是示出根据第一实施方式的边缘装置20的示意性配置的示例的示图。

边缘装置20包括传感器部21、处理部22、存储部23以及通信部24。处理部22相当于处理部和测量部，通信部24相当于发送部和接收部。

传感器部21获得感测数据，并将所获得的感测数据输出至处理部22。例如，在边缘装置20是成像装置的情况下，传感器部21具有对从被摄体发射的光进行会聚的摄像透镜、变焦透镜等成像光学系统、诸如电荷耦合装置(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器等成像元件。

此外，传感器部21可被配置为具有被摄体识别功能。例如，在包括识别成像对象的类型的功能作为被摄体识别功能的情况下，传感器部21可输出表示识别结果的信息作为感测数据。例如，传感器部21输出指示被识别的对象的类型的文本数据作为感测数据。可替换地，作为被摄体识别功能，可以包括对指定对象的数量进行计数的功能或者对处于特定状态的人的数量(例如，讲话的人的数量等)进行计数的功能。在这种情况下，指示对象的数量和人的数量的文本数据可被输出为感测数据。

此外，除了成像装置之外，传感器部21可以包括飞行时间(ToF)传感器作为深度传感器(测距传感器)。ToF传感器可通过直接或间接测量来自被摄体的反射光的返回时间，来获得诸如ToF传感器和被摄体之间的距离和不均匀性的形状信息(深度信息/图像)。

此外，传感器部21可以包括诸如红外(IR)相机或全球导航卫星系统(GNSS)传感器的定位传感器、温度传感器、声音收集装置(麦克风)、气压传感器、湿度传感器、风向/风速传感器、阳光传感器、降水量传感器、水位传感器、地震强度传感器(检测地震的地震强度的传感器)等。只要能够从周围环境(感测环境)获得感测数据，不特别限制传感器部21。另外，传感器部21既可以固定设置在边缘装置20上，也可以相对于边缘装置20可拆卸地设置。

处理部22包括例如诸如CPU或图形处理单元(GPU)的处理电路和包括ROM、RAM等的微型计算机。处理部22例如通过基于存储在ROM等存储装置中的程序执行处理，作为执行边缘装置20的整体控制的控制部而发挥功能。另外，处理部22具有处理由传感器部21获得的感测数据并生成分布数据的功能。

例如，当通过通信部24从服务器装置10接收到神经网络时，处理部22处理该神经网络。此时，处理部22测量神经网络的处理时间(处理速度)。然后，处理部22将所测量的神经网络的处理时间(处理时间信息)通过通信部24发送至服务器装置10。

存储部23存储用于处理部22执行各种处理的程序和信息以及通过该处理获得的信息。例如，存储部23可以用于临时存储从传感器部21输出的信息，诸如感测数据。应注意，存储部23通过例如诸如固态驱动器(SSD)或硬盘驱动器(HDD)的存储装置来实现。

通信部24可以向和从诸如服务器装置10的外部装置发送和接收数据。通信部24例如是具有发送和接收数据的功能的通信接口。

另外，诸如处理部22等各个功能部也可以由上述的硬件和软件双方或者一方构成。这些配置没有特别限制。例如，当CPU或MPU等计算机通过使用RAM等作为工作区来执行预先存储在ROM中的程序时，可实现上述各个功能部。另外，各个功能部例如也可以由ASIC或FPGA等集成电路来实现。

<1-4.装置之间的通信标准的示例>

将参考图4描述根据第一实施方式的装置之间的通信标准的示例，即NICE(network of intelligence camera ecosystem)标准(智能相机生态系统的网络)。图4是用于描述根据第一实施方式的NICE标准的“SetSceneMode”的示图。图5是用于描述根据第一实施方式的NICE标准的“SetSceneData”的示图。

与服务器装置10和各个边缘装置20的通信基于各种通信标准中的任一种来进行，并且例如基于NICE标准(例如，参见NICE数据管线规范v1.0.1)来进行。NICE标准与一次即成技术兼容。NICE规范中的通信命令的示例包括“GetCapabilities”、“SetSceneMode”、“SetSceneMark”和“SetSceneData”。

“GetCapabilities”是用于查询装置的能力的应用编程接口(API)。这里，能力是诸如是否能够拍摄移动图像或静止图像、格式是JPEG还是H.264、以及支持哪种SceneMode的信息。

“SetSceneMode”是设置SceneMode的API。SceneMode的示例包括诸如人检测和运动体检测的场景模式。具体地，如图4所示，存在“1.面部，2.人，3.对象标签，4.动物，5.文本/标签/QR码，6.车辆，7.定制”作为SceneMode。

例如，可以通过指定“1.面部”来设置检测人的脸部的场景模式(人的脸部的检测是触发)。可以通过指定“4.动物”来设置检测动物(动物的检测是触发)的场景模式。

“SetSceneMark”是在SetSceneMode中设置的触发被打开的情况下在那时发送信息的API。例如，在将SetSceneMode设置为人检测的情况下，发送诸如人出现时的缩略图和时间戳的元信息。即，指示在SceneMode中指定的内容出现的信息(诸如节点、缩略图、图像、时间戳等)作为SceneMark被发送。

“SetSceneData”类似于SetSceneMark。虽然SceneMark是元信息，但SceneData是数据本身。具体地，作为SceneData，有“1.RGB图像/视频片段数据，2.IR图像/视频片段数据，3.RGBIR图像/视频片段数据，4.深度图，5.立体图像数据(RGB、RGBIR或IR)，6.音频，7.温度，8.湿度，9.一氧化碳，和10.被动红外”如图5所示。

具体地，作为NICE标准，上述NICE数据管线规范v1.0.1(10.8.2.JSON对象)规定当传感器装置发送感测数据(“SceneData”)时满足预定条件的发送数据的格式。具体地，在该格式中，规定发送作为感测数据中的实际数据部分的“SceneData”和作为“SceneData”的附加数据部分的数据(包括指示“SceneData”的类型(种类)的“SceneDataType”的信息)并且被称为“SceneMark”。

<1-5.处理流程的示例>

将参考图6描述根据第一实施方式的处理流程的示例。图6是描述根据第一实施方式的处理流程的示例的流程图。

如图6所示，服务器装置10通过GetCapabilities向边缘装置20发送边缘信息请求(步骤S1)。响应于该边缘信息请求，边缘装置20通过GetCapabilities向服务器装置10通知边缘信息(步骤S2)。

边缘信息是与边缘装置20的处理能力(边缘自身的处理能力)相关的信息。边缘信息包括“神经网络的容量信息”、“擅长的CNN的滤波器尺寸信息(卷积神经网络的滤波器尺寸信息)”、“HW架构类型信息(硬件架构类型信息)”、“芯片信息”、“装置型号信息”中的全部或者至少一个。

“神经网络的容量信息”是例如指示可用于AI处理的容量的信息，诸如可用于参数的存储器尺寸或可用于特征图的存储器尺寸。通过查看这个容量，有可能理解该神经网络的哪个规模可以由该边缘装置20处理。

“擅长的CNN滤波器尺寸信息”是例如指示CNN滤波器尺寸具有良好计算效率的信息。服务器装置10可使用滤波器尺寸作为边缘装置20如何选择CNN滤波器尺寸的参考。例如，在边缘装置20包括单指令/多数据(SIMD)运算符的情况下，根据并行性，存在具有良好操作效率的CNN滤波器尺寸。

“HW架构类型信息”是例如指示HW在HW架构中是否具有强存储器传输速率控制或者HW几乎不具有存储器传输速率控制的程度的信息。可以理解，当发送浅网络时处理更快，因为具有强存储器传输速率控制的网络在处理深神经网络时不好。

“芯片信息”例如是表示作为处理芯片的边缘芯片的型号等的信息。服务器装置10能够从边缘芯片信息掌握边缘芯片的处理能力。芯片信息还包括人工智能芯片信息(AI芯片信息)。AI芯片信息例如是表示作为具有边缘AI功能的处理芯片的边缘AI芯片的型号等的信息。服务器装置10能够从边缘AI芯片信息掌握边缘AI芯片的处理能力。

“装置型号信息”例如是表示边缘装置20的型号(边缘设备的型号)等的信息。服务器装置10能够根据边缘装置20的型号信息来掌握边缘装置20的处理能力。

这五个信息中的至少一个或多个被返回至服务器装置10，服务器装置10使用该信息作为神经网络何时通过一次即成技术生成的参考信息。由此，服务器装置10能够适当地选择并生成能够发挥边缘装置20的能力的神经网络。

服务器装置10根据边缘信息，以一次即成技术生成适合于边缘装置20的处理能力的神经网络，将生成的神经网络(神经网络的设置)以SetSceneMode发送至边缘装置20(步骤S3)。

边缘装置20基于从服务器装置10发送的模式设置(神经网络的设置)对神经网络进行一次处理，并测量神经网络的处理时间(处理速度)(步骤S4)。边缘装置20将所测量的处理时间测量结果通知给服务器装置10(步骤S5)。

另外，测量处理时间的处理时间测量程序既可以预先内置在边缘装置20中，也可以附加程序的形式与SetSceneMode的神经网络信息一起发送。此外，处理时间测量程序可以通过另一命令作为附加程序被发送。

服务器装置10看到从边缘装置20通知的处理时间信息，在处理时间达到目标值的情况下，进入检测结果的坐标信息(SetSceneMark)的待机状态。

边缘装置20重复基于场景模式的检测处理，直到检测到检测目标为止(步骤S6)，并且当检测到检测目标时，例如通过SetSceneMark将检测结果的坐标信息(诸如屏幕上的坐标信息)通知给服务器装置10(步骤S7)。接着，边缘装置20再次重复基于场景模式的检测处理，直到检测到检测对象为止(步骤S8)，并且在检测到检测对象时，例如通过SetSceneMark将检测结果的坐标信息通知给服务器装置10(步骤S9)。

根据这样的处理，边缘装置20将“神经网络的容量信息”、“擅长的CNN的滤波器尺寸信息”、“HW架构类型信息”、“芯片信息”和“装置型号信息”中的全部或至少一个作为边缘信息传递到服务器装置10，进一步测量从服务器装置10提供的神经网络的处理时间，并将该处理时间传递到服务器装置10。由此，服务器装置10能够发送能够使边缘装置20的处理性能最大化的神经网络，能够将处理时间(处理速度)设置为满意的值。另外，服务器装置10也能够生成并重发神经网络直到处理时间达到满意值(目标值)，因此能够更可靠地设置处理时间的满意值。

<1-6.服务器装置的处理流程的示例>

将参考图7描述根据第一实施方式的服务器装置10的处理流程的示例。图7是描述根据第一实施方式的服务器装置10的处理流程的示例的流程图。

如图7所示，服务器装置10从边缘装置20获得边缘信息(步骤S11)。此时，服务器装置10通过发送接收GetCapability命令(GetCapabilities)，从边缘装置20获得边缘信息。

服务器装置10根据所获得的边缘信息，使用一次即成技术生成适合于边缘装置20的处理能力的神经网络(神经网络的设置)，并将该神经网络发送至边缘装置20(步骤S12)。此时，服务器装置10通过SetSceneMode命令将神经网络发送至边缘装置20。

接着，服务器装置10从边缘装置20接收处理时间信息(步骤S13)，确定处理时间信息中包含的处理时间是否满足条件(步骤S14)。例如，服务器装置10确定处理时间是否达到目标值(规定值以下)，在处理时间达到目标值的情况下，确定为处理时间满足条件，在处理时间未达到目标值的情况下，确定为处理时间不满足条件。

在确定为处理时间满足条件的情况下(步骤S14中的是)，服务器装置10执行接收检测结果的处理例程(步骤S16)。另一方面，在确定处理时间不满足该条件的情况下(步骤S14中的否)，改变一次即成子集神经网络的生成条件(子集生成条件)(步骤S15)，并且处理返回至步骤S12。在步骤S12中，根据子集生成条件，生成具有适合于边缘装置20的处理能力的规模的神经网络，并将该神经网络再次发送至边缘装置20。

<1-7.边缘装置的处理流程的示例>

将参考图8描述根据第一实施方式的边缘装置20的处理流程的示例。图8是示出根据第一实施方式的边缘装置20的处理流程的示例的流程图。

如图8所示，边缘装置20确定是否接收到GetCapability命令(步骤S21)。在确定为接收到GetCapability命令的情况下(步骤S21中的是)，将边缘信息返回至服务器装置10(步骤S22)，并且处理返回至步骤S21。另一方面，在确定未接收到GetCapability命令的情况下(步骤S21中的否)，确定是否接收到SetSceneMode命令(步骤S23)。

在确定为接收到SetSceneMode命令的情况下(步骤S23中的是)，边缘装置20接收包含在SetSceneMode命令中的神经网络信息(步骤S24)，将该神经网络转换成可处理的格式，并部署该神经网络(步骤S25)。然后，边缘装置20进行一次神经网络的处理，测量其处理时间(步骤S26)，将处理时间信息返回至服务器装置10(步骤S27)，并将处理返回至步骤S21。

另一方面，在确定没有接收到SetSceneMode命令的情况下(步骤S23中的否)，确定是否正在检测操作模式(步骤S28)。在确定未检测到操作模式的情况下，处理返回至步骤S21。另一方面，在确定为正在检测操作模式的情况下，进行检测处理(步骤S29)，响应于该检测将检测结果返回至服务器装置10(步骤S30)，并且处理返回至步骤S21。

应注意，因为在上述步骤S25中描述了“将神经网络转换成可被处理的格式并且部署神经网络”，所以可以通过边缘装置20以需要转换的格式发送神经网络。然而，神经网络可以不需要边缘装置20的转换的格式发送。在后一种情况下，可以在没有转换的情况下执行部署。

<1-8.作用/效果>

如上所述，根据第一实施方式，边缘装置20的通信部24向生成神经网络的服务器装置10发送与用于处理从服务器装置10提供的神经网络的处理能力相关的信息。由此，服务器装置10能够基于边缘装置20的处理能力生成适合于边缘装置20的处理能力的神经网络。由此，服务器装置10能够向边缘装置20发送适当规模的神经网络，因此能够充分地发挥边缘装置20的装置性能。

此外，与处理能力相关的信息可以包括神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息中的至少一个。由此，服务器装置10能够根据上述信息中的至少一条来迅速生成针对边缘装置20具有适当规模的神经网络，由此能够控制生成神经网络的处理时间。

此外，与处理能力相关的信息可以包括神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息的全部。结果，服务器装置10可根据上述所有信息安全地生成相对于边缘装置20的适当规模的神经网络。由此，能够充分可靠地发挥边缘装置20的装置性能。

此外，边缘装置20的通信部24可通过NICE标准中的GetCapability来发送与处理能力相关的信息。结果，能够适当地执行装置之间的发送和接收。

此外，在边缘装置20中，通信部24可接收由服务器装置10基于与边缘装置20的处理能力相关的信息生成的神经网络，处理部22可处理该神经网络并测量该神经网络的处理时间，并且通信部24可将测量的处理时间发送至服务器装置10。结果，由于服务器装置10能够掌握边缘装置20所进行的神经网络的处理时间，因此能够可靠地生成适合于边缘装置20的处理能力的神经网络。由此，能够充分可靠地发挥边缘装置20的装置性能。

此外，边缘装置20的通信部24可接收由服务器装置10再次生成的神经网络。结果，由于边缘装置20处理更适当的神经网络，因此可以充分且可靠地发挥边缘装置20的装置性能。

另外，在服务器装置10中，通信部17接收与边缘装置20的处理能力相关的信息来对神经网络进行处理，控制部11根据接收到的处理能力的信息，生成适合于边缘装置20的神经网络，通信部17将生成的神经网络发送至边缘装置20。由此，服务器装置10能够基于边缘装置20的处理能力生成适合于边缘装置20的处理能力的神经网络。由此，服务器装置10能够向边缘装置20发送适当规模的神经网络，因此能够充分地发挥边缘装置20的装置性能。

另外，服务器装置10的通信部17也可以接收NICE标准中的GetCapability发送的、与边缘装置20的处理能力相关的信息。结果，能够适当地执行装置之间的发送和接收。

此外，服务器装置10的通信部17可接收由边缘装置20测量的神经网络的处理时间。结果，由于服务器装置10能够掌握边缘装置20所进行的神经网络的处理时间，因此能够可靠地生成适合于边缘装置20的处理能力的神经网络。

另外，在服务器装置10中，控制部11也可以在边缘装置20所进行的神经网络的处理时间比目标值长的情况下，改变神经网络的生成条件并再次生成适合于边缘装置20的神经网络，通信部17可以将再次生成的神经网络发送至边缘装置20。结果，由于边缘装置20处理更适当的神经网络，因此可以充分且可靠地发挥边缘装置20的装置性能。

另外，在服务器装置10中，控制部11也可以重复改变神经网络的生成条件并生成适合于边缘装置20的神经网络，直到处理时间达到目标值以下为止，通信部17可以在每次生成时将再次生成的神经网络发送至边缘装置20。结果，由于边缘装置20处理更适当的神经网络，因此可以充分且可靠地发挥边缘装置20的装置性能。

<2.第二实施方式>

<2-1.处理流程的示例>

将参考图9描述根据第二实施方式的处理流程的示例。图9是示出根据第二实施方式的处理流程的示例的流程图。要注意的是，在图9的实施方式中，检测结果的检测处理和坐标信息通知与第一实施方式的检测处理和坐标信息通知相似(见图6)，并且将省略其描述。

如图9所示，服务器装置10独立地测量由服务器本身发送的神经网络的性能(步骤S41)。在所测量的性能较差的情况下，执行额外学习(步骤S42)。接着，服务器装置10将额外学习结果的参数发送至边缘装置20，以预定的定时(例如一天后)进行更新(步骤S43)。应注意，测量检测速率并且基于检测速率确定神经网络的性能是好还是差。即，在检测速率未达到目标值的情况下，确定性能差。

边缘装置20基于从服务器装置10发送的模式设置(神经网络的参数的重置)处理神经网络一次，并测量神经网络的处理时间(处理速度)(步骤S44)。边缘装置20将所测量的处理时间通知给服务器装置10(步骤S45)。

这里，在一次即成技术中，可以生成学习的子集神经网络。然而，当执行额外学习时，性能较高。由此，服务器装置10独立地测量由边缘装置20发送的神经网络的性能，在性能不满意的情况下执行额外学习，随后将结果的参数发送至边缘装置20，并执行更新。由此，能够提高边缘装置20的检测性能。

另外，在额外学习等学习中，服务器装置10也可以基于边缘装置20的检测结果等检测信息(图像信息、声音信息等)进行学习。例如，除了检测结果的坐标信息之外，边缘装置20还向服务器装置10通知图像信息作为检测信息。该情况下，服务器装置10也可以基于从边缘装置20通知的图像信息，进行额外学习。

注意，虽然在第二实施方式中描述了在SetSceneMode中执行参数更新，但是可以通过NICE标准未定义的通信来执行更新，或者可以通过定义专用通信来执行更新。

<2-2.处理流程的变形例>

将参考图10描述根据第二实施方式的处理流程的变形例。图10是示出根据第二实施方式的处理流程的变形例的流程图。要注意的是，在图10的示例中，描述与图9的不同。

如图10所示，例如，在意识到神经网络的性能差的情况下，边缘装置20通过来自边缘装置20一侧的通信向服务器装置10发送额外学习请求(步骤S51)。响应于此，服务器装置10执行额外学习。其他处理类似于图9的处理。应注意，测量检测速率并且基于检测速率确定神经网络的性能是好还是差。即，在检测速率未达到目标值的情况下，确定性能差。

以这种方式，可以从边缘装置20一侧产生额外学习的触发。对于边缘装置20正在进行检测处理并且边缘装置20可以确定检测速率非常差的情况，可以应用。在这种情况下，边缘装置20可以测量检测速率，并且可以确定神经网络是好还是坏的。

应注意，尽管在图10的示例中将额外学习请求从边缘装置20发送至服务器装置10，但是可通过从服务器装置10一侧通过轮询看到边缘装置20的状态，并且可理解的是，存在额外学习请求。

此外，当服务器装置10发现即使执行额外学习也没有获得足够的准确度时，处理可返回至开始并从神经网络选择中再次执行。可选地，在期望执行神经网络重选的情况下，边缘装置20可执行指示该效果的通信，并且服务器装置10可从神经网络重选中再次执行处理。

<2-3.作用/效果>

如上所述，根据第二实施方式(包括变形例)，可以获得类似于第一实施方式的效果。即，即使如第二实施方式那样配置，也能够充分地发挥边缘装置20的装置性能。另外，能够提高边缘装置20的检测性能。或者，在本变形例中，能够从边缘装置20一侧生成额外学习的触发。

此外，服务器装置10的控制部11可额外学习适合于边缘装置20的神经网络，并且边缘装置20的通信部24可接收通过服务器装置10的额外学习生成的神经网络。结果，由于边缘装置20处理更适当的神经网络，因此可以充分且可靠地发挥边缘装置20的装置性能。

<3.第三实施方式>

<3-1.处理流程的示例>

将参考图11描述根据第三实施方式的处理流程的示例。图11是描述根据第三实施方式的处理流程的示例的流程图。在图11的实施方式中，将描述与图6的不同之处。

如图11中所示，服务器装置10将处理时间测量结果的获得请求发送至边缘装置20(步骤S61)。响应于此，边缘装置20将所测量的处理时间测量结果(处理时间信息)通知给服务器装置10(步骤S5)。

即，在第一实施方式中，从边缘装置20向服务器装置10发送处理时间测量结果的通知。但是，在第二实施方式中，也可以从服务器装置10发出请求，获得处理时间的测量结果。

<3-2.作用/效果>

如上所述，根据第三实施方式，可以获得类似于第一实施方式的效果。即，即使如第三实施方式那样配置，也能够充分地发挥边缘装置20的装置性能。另外，可以从服务器装置10发出请求，并且可以获得处理时间测量结果。

<4.第四实施方式>

<4-1.处理流程的示例>

将参考图12描述根据第四实施方式的处理流程的示例。图12是示出根据第四实施方式的处理流程的示例的流程图。在图12的示例中，将描述与图6的不同之处。

如图12所示，边缘装置20响应边缘信息请求，通过GetCapability将边缘信息(芯片信息)从边缘装置20返回至服务器装置10(步骤S2)。服务器装置10通过使用诸如转换器或构建器的处理部基于芯片信息找到具有满意的处理时间的子集神经网络，并且将其模式设置(神经网络的设置)发送至边缘装置20(步骤S3)。

这里，诸如转换器或构建器的处理部由控制部11实现。由于处理部详细地掌握了边缘装置20的移动，因此能够分析性地计算处理神经网络的时间。另外，在第四实施方式中，边缘装置20的处理部22也可以不起到测量部的作用。

服务器装置10基于芯片信息通过使用诸如转换器的处理部或针对芯片的神经网络的构建器来获得服务器装置10一侧的处理时间(处理速度)。例如，在期望的神经网络通过转换器或构建器的时间点，可确定是否达到神经网络的容量。

以此方式，服务器装置10可使由一次即成技术创建的子集神经网络通过处理部(诸如转换器或构建器)，并且可掌握是否达到容量以及处理速度有多快。在服务器装置10中，找到具有满意的处理时间的子集神经网络并将其发送至边缘装置20。处理时间是否满意是基于处理时间来确定的。即，在处理时间达到目标值以下的情况下，判断为处理时间良好。

此外，边缘装置20也可以返回AI芯片信息(AI芯片型号等)作为芯片信息(芯片型号等)。在这种情况下，包括转换器、构建器等的控制部11基于AI芯片信息生成具有满意的处理时间的子集神经网络。另外，也可以代替芯片信息而返回装置型号信息(边缘装置20的型号等)。这是因为，在已知装置型号信息的情况下，能够理解所有的芯片信息等。

此外，在服务器装置10不包括诸如转换器或构建器的处理部的情况下，服务器装置10可经由通信网络30从外部获得与转换器或构建器的处理功能类似的处理功能(诸如程序等)，并产生具有满意的处理时间的子集神经网络。此外，服务器装置10可从外部直接找到具有满意的处理时间的子集神经网络。

<4-2.作用/效果>

如上所述，根据第四实施方式，可以获得与第一实施方式类似的效果。即，即使如第四实施方式那样配置，也能够充分地发挥边缘装置20的装置性能。此外，可在服务器装置10一侧生成满意的子集神经网络。

另外，服务器装置10的控制部11也可以通过边缘装置20计算神经网络的处理时间。由此，服务器装置10能够预测边缘装置20所进行的神经网络的处理时间，将更适当的神经网络提供给边缘装置20，由此能够充分地且可靠地发挥边缘装置20的装置性能。

<5.第五实施方式>

<5-1.处理流程的示例>

将参考图13描述根据第五实施方式的处理流程的示例。图13是描述根据第五实施方式的处理流程的示例的流程图。在图13的示例中，将描述与图6的不同之处。

如图13所示，边缘装置20向服务器装置10请求时间测量程序(步骤S71)。服务器装置10响应于时间测量程序的请求，将时间测量程序发送至边缘装置20(步骤S72)。

边缘装置20基于从服务器装置10发送的模式设置(神经网络的设置)处理神经网络一次，并基于时间测量程序测量神经网络的处理时间(处理速度)(步骤S4)。

<5-2.作用/效果>

如上所述，根据第五实施方式，可以获得类似于第一实施方式的效果。即，即使如第五实施方式那样配置，也能够充分地发挥边缘装置20的装置性能。此外，即使在边缘装置20没有时间测量程序的情况下，边缘装置20也可以从服务器装置10获得时间测量程序并测量神经网络的处理时间。

<6.其他实施方式>

根据上述实施方式(或变形例)的处理可以不同于上述实施方式的形式(变形例)执行。例如，在上述实施方式中描述的各条处理中，可以手动执行被描述为自动执行的处理的全部或部分，或者可以通过已知方法自动执行被描述为手动执行的处理的全部或部分。另外，除非另外指明，否则可以任意改变上述文档或附图中描述的处理过程、特定名称和包括各种数据或参数的信息。例如，在各个图中描绘的各种信息不限于所描绘的信息。

此外，所描绘的装置中的每一个部件是功能性概念，并且不需要以所描绘的方式被物理地配置。即，每一个装置的分配/集成的具体形式不限于在附图中描绘的，并且其全部或部分可根据各种负载和使用条件在功能上或物理上分配/集成在任意单元中。

而且，上述实施方式(或变形例)可在处理内容彼此不冲突的范围内任意组合。此外，在本说明书中描述的效果仅是示例而不是限制，并且可以存在另一效果。

另外，处理时间测量结果的通知例如只进行一次。但是，也可以周期性地(例如每隔一天等)进行通知，也可以在处理时间产生变化的情况下进行通知。

<7.应用例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可实现为安装在任何类型的移动体(诸如，汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人、工程机械以及农业机器(牵引车))上的装置。

图14是描绘作为可应用根据本公开的实施方式的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图14所描述的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)等。

每一个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制目标装置。每一个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元执行通信；以及通信I/F，用于通过有线通信或无线电通信与车内和车外的装置、传感器等进行通信。图14所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其他控制单元类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作用于产生车辆的驱动力的驱动力产生装置(诸如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器和用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮的转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号进行运算处理，对内燃机、驱动电动机、电动动力转向装置、制动装置等进行控制。

车身系统控制单元7200根据各种程序来控制设置于车身的各种装置的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、后备灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下，从移动装置发射的无线电波作为钥匙或者各种开关的信号的替代物可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为用于驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300供应关于电池温度、电池输出电压、电池中剩余电荷量等的信息。电池控制单元7300使用这些信号执行算术运算处理，并且执行用于调节二次电池7310的温度的控制或控制提供给电池装置等的冷却装置。

车外信息检测单元7400检测包含车辆控制系统7000的车外的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。例如，车外信息检测部7420包括用于检测当前大气条件或天气条件的环境传感器和用于检测在包括车辆控制系统7000的车辆的外围的其他车辆、障碍物、行人等的外围信息检测传感器中的至少一个。

例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器、以及检测降雪的雪传感器中的至少一个。外围信息检测传感器可以是超声波传感器、雷达装置以及LIDAR装置(光检测和测距装置，或者激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个可被设置为独立的传感器或装置，或者可被设置为其中多个传感器或装置被集成的装置。

图15描绘了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部中的挡风玻璃的上部的位置中的至少一个处。设置在车辆内部的前鼻的成像部7910和设置在挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。设置于侧视镜的成像部7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。设置在车辆内部内的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图15描述了各个成像部7910、7912、7914和7916的成像范围的示例。成像范围a表示设置到前鼻的成像部7910的成像范围。成像范围b和c分别表示设置到侧视镜的成像部7912和7914的成像范围。成像范围d表示设置到后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，能够获得从上方观看的车辆7900的鸟瞰图像。

设置于车辆7900的前方、后方、侧方、角落和车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928、7930例如也可以是超声波传感器或雷达装置。设置于车辆7900的前鼻、后保险杠、车辆7900的后门、车内的挡风玻璃的上部的车外信息检测部7920、7926、7930例如也可以是LIDAR装置。这些车外信息检测部7920至7930主要用于检测前方车、行人、障碍物等。

返回图14，将继续描述。车外信息检测单元7400使成像部7410拍摄车外的图像，接收成像图像数据。另外，车外信息检测单元7400从与车外信息检测部单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置、LIDAR装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并且接收接收到的反射波的信息。车外信息检测单元7400基于接收到的信息，可以进行对人类、车辆、障碍物、标志、路面上的文字等对象进行检测的处理、或者与对象之间的距离进行检测的处理。另外，车外信息检测单元7400也可以基于接收到的信息进行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的对象的距离。

另外，车外信息检测单元7400可以基于接收到的图像数据来进行对人类、车辆、障碍物、标志、路面上的文字等进行识别的图像识别处理或者检测距其距离的处理。车外信息检测单元7400可以将所接收的图像数据进行诸如失真校正、对准等的处理，并且将通过多个不同的成像部7410成像的图像数据组合以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由成像部7410拍摄到的图像数据来进行视点变换处理，该成像部7410包括互不相同的成像部。

车内信息检测单元7500检测关于车辆内部的信息。例如，车内信息检测单元7500与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅上的乘员或保持方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否打瞌睡。车内信息检测单元7500可以使通过收集声音获得的音频信号经受诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由触摸面板、按钮、麦克风、开关、杆等能够由乘员进行输入操作的装置实现。集成控制单元7600可以被供应有对通过麦克风输入的语音的语音识别而获得的数据。输入部7800可以例如是使用红外线或其他无线电波的远程控制装置，或者支持车辆控制系统7000的操作的外部连接装置，诸如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。替代地，可以输入通过检测乘员穿戴的可穿戴装置的移动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，该输入控制电路等基于乘员等使用上述输入部7800输入的信息来生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘员等通过操作输入部7800，向车辆控制系统7000输入各种数据或者指示处理操作。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可以通过诸如硬盘驱动器(HDD)等的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。

通用通信I/F 7620是被广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM(注册商标))、全球微波接入互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、LTE-高级(LTE-A)等，或者诸如无线LAN(也称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等的另一无线通信协议。例如，通用通信I/F 7620可以经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 7620可以使用对等(P2P)技术连接至存在于车辆附近的终端(该终端例如是驾驶员的终端、行人或商店、或机器型通信(MTC)终端)。

专用通信I/F 7630是支持开发用于在车辆中使用的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，例如，如车辆环境中的无线接入(WAVE)(其是作为下层的电气和电子工程师协会(IEEE)802.11p和作为上层的IEEE 1609的组合)、专用短程通信(DSRC)、或蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为包括以下各项中的一项或多项的概念：车辆与车辆(车辆到车辆)之间的通信、道路与车辆(车辆到基础设施)之间的通信、车辆与家庭(车辆到家庭)之间的通信、以及行人与车辆(车辆到行人)之间的通信。

定位部7640例如通过从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话之类的终端获得位置信息。

例如，信标接收部7650接收从安装在道路等上的无线电站发射的无线电波或电磁波，并且由此获得有关当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以被包括在上述专用通信I/F 7630中。

车载装置I/F 7660是调解微型计算机7610和车辆内存在的各种车载装置7760之间的连接的通信接口。车载装置I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。此外，车载装置I/F7660可以经由未在图中示出的连接端子(以及线缆，如果必要的话)通过通用串行总线(USB)、高清多媒体接口(HDMI(注册商标))、移动高清链路(MHL)等建立有线连接。车载装置7760可以例如包括乘员拥有的移动装置和可穿戴装置以及被携带或附接至车辆的信息装置中的至少一个。车载装置7760还可以包括搜索到任意目的地的路径的导航装置。车载装置I/F 7660与这些车载装置7760交换控制信号或数据信号。

车载网络I/F 7680是对微型计算机7610与通信网络7010的通信进行中介的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车载装置I/F 7660以及车载网络I/F 7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆与车道的偏离的警告等。另外，微型计算机7610可通过基于所获得的关于车辆周围环境的信息控制驱动力产生装置、转向机构、制动装置等，来执行意图用于自动驾驶的协作控制，其使车辆自动行驶而不取决于驾驶员的操作等。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息来生成车辆和诸如周围结构、人等的对象之间的三维距离信息，并且生成包括关于车辆的当前位置的周围的信息的局部地图信息。此外，微型计算机7610可基于获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等的危险，并产生警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送至输出装置，该输出装置能够视觉或听觉地将信息通知给车辆的乘员或车辆外部。在图14的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出装置。例如，显示部7720可以包括板载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出装置可以是不同于这些装置，并且可以是诸如耳机的另一装置、诸如由乘员等佩戴的眼镜型显示器的可佩戴装置、投影仪、灯等。在输出装置是显示装置的情况下，显示装置以各种形式(诸如文本、图像、表格、图形等)可视地显示通过由微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。此外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等组成的音频信号转换成模拟信号，并且在听觉上输出模拟信号。

顺便提及，在图14所描述的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。可替代地，每一个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一控制单元。另外，由以上描述中的控制单元之一执行的功能的部分或全部可以被分配给另一控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定算术处理。类似地，连接至控制单元中的一个的传感器或装置可以连接至另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

另外，用于实现上述各个实施方式(包含变形例)所描述的边缘装置20的各个功能的计算机程序能够搭载于任何控制单元等。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络分布，而不使用记录介质。

在上述车辆控制系统7000中，各个实施方式(包括变形例)中描述的边缘装置20可应用于图14所示的应用例的集成控制单元7600。例如，边缘装置20的处理部22、存储部23等可以由集成控制单元7600的微型计算机7610或存储部7690来实现。此外，在各个实施方式中描述的边缘装置20能够应用于图14所示的应用例的成像部7410和车外信息检测部7420，诸如成像部7910、7912、7914、7916、7918、图15所示的应用例的车外信息检测部7920至7930等。通过使用在每一个实施方式中描述的边缘装置20，在车辆控制系统7000中也可以充分地发挥装置性能。

此外，在各个实施方式(包括变形例)中描述的边缘装置20的至少一些部件可以在图14所示的应用例的集成控制单元7600的模块(诸如包括一个管芯的集成电路模块)中实现。可替换地，在每一个实施方式中描述的边缘装置20的一部分可以由图14中描述的车辆控制系统7000的多个控制单元实现。

<8.附录>

应注意，本技术还可具有以下配置。

(1)

一种信息处理装置，包括：发送部，将与用于处理从服务器装置供应的神经网络的处理能力相关的信息发送至生成神经网络的服务器装置。

(2)

根据(1)的信息处理装置，其中

与处理能力相关的信息包括神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息中的至少一种。

(3)

根据(1)的信息处理装置，其中

与处理能力相关的信息包括全部的神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息。

(4)

根据(1)至(3)中任一项的信息处理装置，其中

发送部由智能相机生态系统的网络NICE标准中的GetCapability发送与处理能力相关的信息。

(5)

根据(1)至(4)中任一项的信息处理装置，还包括：

接收部，接收由服务器装置基于与处理能力相关的信息生成的神经网络，

处理部，处理所接收的神经网络，以及

测量部，测量神经网络的处理时间，其中，

发送部将处理时间发送至服务器装置。

(6)

根据(5)的信息处理装置，其中

接收部接收由服务器装置再次生成的神经网络。

(7)

根据(5)的信息处理装置，其中

接收部接收由服务器装置通过额外学习生成的神经网络。

(8)

一种信息处理装置，包括：

接收部，接收与用于处理神经网络的边缘装置的处理能力相关的信息；

生成部，基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络；以及

发送部，将所生成的神经网络发送至边缘装置。

(9)

根据(8)的信息处理装置，其中

与处理能力相关的信息包括神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息中的至少一种。

(10)

根据(8)的信息处理装置，其中

与处理能力相关的信息包括全部的神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息。

(11)

根据(8)至(10)中任一项的信息处理装置，其中

接收部接收与处理能力相关、并由智能相机生态系统的网络NICE标准中的GetCapability发送的信息。

(12)

根据(8)至(11)中任一项的信息处理装置，其中

接收部接收由边缘装置测量的神经网络的处理时间。

(13)

根据(8)至(12)中任一项的信息处理装置，其中

在边缘装置对神经网络的处理时间比目标值长的情况下，生成部改变神经网络的生成条件并再次生成适合于边缘装置的神经网络，并且

发送部将再次生成的神经网络发送至边缘装置。

(14)

根据(13)的信息处理装置，其中

生成部重复改变神经网络的生成条件并生成适合于边缘装置的神经网络，直到处理时间变得等于或短于目标值。

(15)

根据(8)至(14)中任一项的信息处理装置，其中

生成部额外地学习适合于边缘装置的神经网络。

(16)

根据(8)至(15)中任一项的信息处理装置，还包括：

处理部，计算适合于边缘装置的神经网络的处理时间。

(17)

一种信息处理系统，包括：

边缘装置，发送与用于处理神经网络的处理能力相关的信息；以及

服务器装置，接收与处理能力相关的信息，基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络，并将所生成的神经网络发送至边缘装置。

(18)

一种信息处理方法，包括：

发送与用于处理神经网络的处理能力相关的信息，发送由边缘装置执行；以及

接收与处理能力相关的信息，基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络，并将所生成的神经网络发送至边缘装置，接收、生成和发送由服务器装置执行。

(19)

一种计算机可读记录介质，记录用于使计算机执行以下的程序：

将与用于处理神经网络的处理能力相关的信息发送至生成神经网络的服务器装置。

(20)

一种计算机可读记录介质，记录用于使计算机执行以下的程序：

接收与处理神经网络的边缘装置的处理能力相关的信息；

基于所接收的与处理能力相关的信息生成适合于边缘装置的神经网络；以及

将所生成的神经网络发送至边缘装置。

(21)

一种信息处理系统，包括根据(1)至(16)中任一项的信息处理装置。

(22)

一种信息处理方法，使用根据(1)至(16)中任一项的信息处理装置。

(23)

一种计算机可读记录介质，记录用于使计算机用作根据(1)至(16)中任一项的信息处理装置的程序。

参考标号列表

1 信息处理系统

10 服务器装置

11 控制部

11a CPU

11b ROM

11c RAM

11d 非易失性存储器部

11e 总线

12 输入/输出接口

13 输入部

14 显示部

15 声音输出部

16 存储部

17 通信部

18 驱动器

18a 可移除记录介质

20 边缘装置

21 传感器部

22 处理部

23 存储部

24 通信部

30 通信网络

Claims (20)

1.一种信息处理装置，包括：发送部，将与用于处理从服务器装置供应的神经网络的处理能力相关的信息发送至生成所述神经网络的所述服务器装置。

2.根据权利要求1所述的信息处理装置，其中，

与所述处理能力相关的所述信息包括所述神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息中的至少一种。

3.根据权利要求1所述的信息处理装置，其中，

与所述处理能力相关的所述信息包括全部的所述神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息。

4.根据权利要求1所述的信息处理装置，其中，

所述发送部由智能相机生态系统的网络NICE标准中的GetCapability发送与所述处理能力相关的所述信息。

5.根据权利要求1所述的信息处理装置，还包括：

接收部，接收由所述服务器装置基于与所述处理能力相关的所述信息生成的所述神经网络，

处理部，处理所接收的神经网络，以及

测量部，测量所述神经网络的处理时间，其中，

所述发送部将所述处理时间发送至所述服务器装置。

6.根据权利要求5所述的信息处理装置，其中，

所述接收部接收由所述服务器装置再次生成的所述神经网络。

7.根据权利要求5所述的信息处理装置，其中，

所述接收部接收由所述服务器装置通过额外学习生成的所述神经网络。

8.一种信息处理装置，包括：

接收部，接收与用于处理神经网络的边缘装置的处理能力相关的信息；

生成部，基于所接收的与所述处理能力相关的信息生成适合于所述边缘装置的所述神经网络；以及

发送部，将所生成的神经网络发送至所述边缘装置。

9.根据权利要求8所述的信息处理装置，其中，

与所述处理能力相关的所述信息包括所述神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息中的至少一种。

10.根据权利要求8所述的信息处理装置，其中，

与所述处理能力相关的所述信息包括全部的所述神经网络的容量信息、擅长的卷积神经网络的滤波器尺寸信息、硬件架构类型信息、芯片信息以及装置型号信息。

11.根据权利要求8所述的信息处理装置，其中，

所述接收部接收与所述处理能力相关、并由智能相机生态系统的网络NICE标准中的GetCapability发送的信息。

12.根据权利要求8所述的信息处理装置，其中，

所述接收部接收由所述边缘装置测量的所述神经网络的处理时间。

13.根据权利要求8所述的信息处理装置，其中，

在所述边缘装置对所述神经网络的处理时间比目标值长的情况下，所述生成部改变所述神经网络的生成条件并再次生成适合于所述边缘装置的所述神经网络，并且

所述发送部将再次生成的所述神经网络发送至所述边缘装置。

14.根据权利要求13所述的信息处理装置，其中，

所述生成部重复改变所述神经网络的生成条件并生成适合于所述边缘装置的所述神经网络，直到所述处理时间变得等于或短于所述目标值。

15.根据权利要求8所述的信息处理装置，其中，

所述生成部额外地学习适合于所述边缘装置的所述神经网络。

16.根据权利要求8所述的信息处理装置，还包括：

处理部，计算适合于所述边缘装置的所述神经网络的处理时间。

17.一种信息处理系统，包括：

边缘装置，发送与用于处理神经网络的处理能力相关的信息；以及

服务器装置，接收与所述处理能力相关的所述信息，基于所接收的与所述处理能力相关的信息生成适合于所述边缘装置的所述神经网络，并将所生成的神经网络发送至所述边缘装置。

18.一种信息处理方法，包括：

发送与用于处理神经网络的处理能力相关的信息，发送由边缘装置执行；以及

接收与所述处理能力相关的所述信息，基于所接收的与所述处理能力相关的信息生成适合于所述边缘装置的所述神经网络，并将所生成的神经网络发送至所述边缘装置，接收、生成和发送由服务器装置执行。

19.一种计算机可读记录介质，记录用于使计算机执行以下的程序：

将与用于处理神经网络的处理能力相关的信息发送至生成所述神经网络的服务器装置。

20.一种计算机可读记录介质，记录用于使计算机执行以下的程序：

接收与处理神经网络的边缘装置的处理能力相关的信息；

基于所接收的与所述处理能力相关的信息生成适合于所述边缘装置的所述神经网络；以及

将所生成的神经网络发送至所述边缘装置。