CN113711179A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN113711179A
CN113711179A CN202080026554.2A CN202080026554A CN113711179A CN 113711179 A CN113711179 A CN 113711179A CN 202080026554 A CN202080026554 A CN 202080026554A CN 113711179 A CN113711179 A CN 113711179A
Authority
CN
China
Prior art keywords
processing
multitask
information processing
similarity
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080026554.2A
Other languages
English (en)
Inventor
何信莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113711179A publication Critical patent/CN113711179A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/44—Encoding
    • G06F8/443—Optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及使得能够容易地构建多任务处理结构的信息处理设备、信息处理方法和程序。通过组合现有的单任务结构，构造用于多任务处理结构的原型结构，控制目标装置的操作，在单任务结构之间共享、耦接或解耦相似的处理模块和包含多个处理模块的块或在相似的处理模块和块之间共享参数进行优化，从而完成多任务结构。本公开可以应用于使用神经网络的多任务的编程。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序，并且更具体地，涉及使得能够容易地构建多任务结构的信息处理设备、信息处理方法和程序。
背景技术
用于同时解决诸如物体识别、人识别、路径规划和运动规划等多个任务的处理被称为多任务。
因此，可以说人在实现多任务处理的同时一直在进行操作。
在构建具有用于使诸如机器人的设备实现多任务的多任务结构的程序时，可以简单地实现具有其中对具有所需单任务结构的程序执行并行处理的配置的构造。
然而，在通过简单地对多条单任务执行并行处理来实施多任务的情况下，可以在多条单任务中单独执行相同或类似的处理，并且即使仅执行一次处理就足够了，也可能通过执行并行处理而不必要地重复相同的处理，并且处理负担可能增加。
因此，近年来，已经提出了一种用于构建使用神经网络来实现单任务的处理结构的技术(参见非专利文献1)。
引用列表
非专利文献
非专利文献1：Learning Transferable Architectures for Scalable ImageRecognition
发明内容
本发明要解决的问题：
然而，即使在非专利文献1的搜索单任务的结构中处理量也是巨大的，但是当应用类似的结构搜索来实现多任务时，期望的是学习数据的收集、标记、学习、评价等变得更加困难。
如上所述，与用于构建单任务结构的工时简单地乘以单任务的类型的数量的情况相比，用于构建多任务结构的工时是巨大的，并且构建需要大量时间。
本公开是鉴于这种情况而做出的，并且特别地，使得能够容易地构建多任务结构。
解决问题的方案
根据本公开的一个方面的信息处理设备是包含优化单元的信息处理设备，该优化单元基于控制目标装置的操作的多任务结构的结构来优化多任务结构。
根据本公开的一个方面的信息处理方法和程序对应于信息处理设备。
在本公开的一个方面中，基于控制目标装置的操作的多任务结构的结构来优化多任务结构。
附图说明
图1是用于说明通过单任务结构的并列处理实现的多任务结构的示图。
图2是用于说明在执行类似处理的处理模块之间共享参数的示例的示图。
图3是用于说明在处理模块和执行类似处理的块之间共享参数的示例的示图。
图4是用于说明在单任务结构之间共享用于执行类似处理的处理模块的示例的示图。
图5是用于说明本公开的信息系统的配置示例的示图。
图6是用于说明图5的信息处理系统的多任务执行处理的流程图。
图7是用于说明图5中的多任务结构生成单元的配置示例的示图。
图8是用于说明图7的结构搜索单元的配置示例的示图。
图9是说明原型结构搜索处理的流程图。
图10是用于说明图9中的输入相似度和输出相似度比较结构搜索处理的流程图。
图11是用于说明多个处理模块的并列处理的示例的示图。
图12是用于说明图9中的参数相似度比较结构搜索处理的流程图。
图13是说明应用例1的原型结构搜索处理的流程图。
图14是用于说明应用例2的多任务执行处理的流程图。
图15是用于说明应用例3的多任务执行处理的流程图。
图16是用于说明通用个人计算机的配置示例的示图。
具体实施方式
下面将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，对具有基本相同的功能配置的构成元件赋予相同的附图标记，并且省略多余的说明。
在下文中，将描述用于实施本技术的实施例。将按以下顺序给出说明。
1.本公开的概述
2.本公开的实施例
3.应用例1
4.应用例2
5.应用例3
6.软件执行示例
<<1.本公开的概述>>
本公开使得能够容易地构建多任务结构。
首先，将描述本公开的概述。
如图1所示，将描述移动物体R设置为目标装置的情况，移动物体R包含机器人等，该机器人包含三种类型的传感器J1至J3，包含人传感器、麦克风、照明传感器、距离测量传感器等的传感器J1，包含同时定位和地图绘制(SLAM)摄像机的传感器J2，以及包含红绿蓝(RGB)摄像机、飞行时间(ToF)传感器等的传感器J3。
此外，如图1所示，将考虑其中通过神经网络构建多任务结构、将该多任务结构提供给包含移动物体R的目标装置并且通过移动物体R实现多任务的情况，在该多任务结构中，同时执行物体识别、地图构建、路径规划和运动控制的三种类型的现有单任务T1至T3。
注意，在下文中，神经网络也简称为NN。
在图1中，用于实现物体识别处理的单任务T1的处理结构包含例如与NN中的层相对应的处理模块M1至M3。
这里，处理模块M1基于传感器J3的感测结果执行预定的处理，并将执行结果输出到处理模块M2。
处理模块M2基于处理模块M1的处理结果执行预定的处理，并将处理结果输出至处理模块M3。
处理模块M3基于处理模块M2的处理结果执行预定的处理，并将处理结果作为物体识别结果输出。
如上所述，与物体识别相关的单任务T1的处理结构包含处理模块M1至M3，并且通过单任务T1实现基于传感器J3的感测结果的物体识别。
此外，用于实现地图构建的单任务T2的处理结构包含例如与NN中的层相对应的处理模块M11至M14。
在此，处理模块M11基于传感器J2、J3的感测结果执行预定的处理，并将执行结果输出到处理模块Ml2、Ml3。
处理模块M12基于处理模块M11的处理结果执行预定的处理，并将处理结果输出至处理模块M13。
处理模块M13基于处理模块M11、M12的处理结果执行预定的处理，并将处理结果输出至处理模块M14。
处理模块M14基于处理模块M13的处理结果执行预定的处理，并将处理结果作为地图构建结果输出。
如上所述，与地图构建相关的单任务T2的处理结构包含处理模块M11至M14，并且通过单任务T2基于传感器J2、J3的感测结果来实现地图构建。
类似地，用于实现路径规划(移动路径规划)和运动控制的单任务T3的处理结构包含例如与NN中的层相对应的处理模块M21至M26。
这里，处理模块M21基于传感器Jl和J3的感测结果执行预定的处理，并将执行结果输出到处理模块M22、M25。
处理模块M22基于处理模块M21的处理结果执行预定的处理，并将处理结果输出至处理模块M23。
处理模块M23基于处理模块M22的处理结果执行预定的处理，并将处理结果输出至处理模块M24。
处理模块M25基于处理模块M21的处理结果执行预定的处理，并将处理结果输出至处理模块M26。
处理模块M26基于处理模块M25的处理结果执行预定的处理，并将处理结果输出至处理模块M24。
处理模块M24基于处理模块M23、M26的处理结果执行预定的处理，并输出处理结果作为路径规划和运动控制结果。
如上所述，与路径规划和运动控制相关的单任务T3的处理结构包含处理模块M21至M26，由单任务T3基于传感器J1、J3的感测结果执行路径规划和运动控制。
对图1中现有硬件使用的单任务T1到T3执行并列处理，实现多任务化。
然而，由于单任务T1至T3由不同的现有硬件使用，所以未执行所包含的处理模块之间的优化。
因此，例如，当在处理模块M1至M3、M11至M14和M21至M26中存在执行类似处理的处理模块或包含执行类似处理的多个处理模块的块的情况下，存在由于重复重叠处理而发生存储器复制的不必要开销或处理时间增加的可能性。
因此，在本公开中，使用现有的单任务结构来构建多任务结构的原型结构，搜索原型结构，分析处理模块的结构和处理模块的块，并且通过共享处理模块和块、共享与在NN中使用的超参数相对应的参数、将处理模块和块耦接或解耦等来优化要进行重叠处理的处理模块和块，并且可以容易地构建高效的多任务结构。
即，更具体地，例如，在图1中的单任务T1中的处理模块M2和单任务T2中的处理模块M12是执行类似处理或相同处理的处理模块的情况下，如图2所示，处理模块M12被视为处理模块M2，并且要使用的参数HP1由处理模块M2、M12(M2)共享。
此外，在图1的单任务T1中的处理模块M3和单任务T2中的处理模块M14是执行类似处理或相同处理的处理模块的情况下，如图2所示，处理模块M14被视为处理模块M3，并且要使用的参数HP2由处理模块M3、M14(M3)共享。
通过在其他相似处理模块之间共享该参数，可以减少存储器复制的不必要开销并减少存储器自身的消耗，并且可以通过减少存储器的使用频率来减少处理时间。
此外，例如，在图1的单任务T1中的处理模块M2和包含在单任务T2中的处理模块M11至M13的块彼此相似或是执行相同处理的处理模块和块的情况下，如图3所示，处理模块M11至M13被耦接以被视为处理模块M2’，并且共享要使用的参数HP11。
此外，在图1的单任务T1中的处理模块M3和单任务T2中的处理模块M14是执行类似处理或相同处理的处理模块的情况下，如图3所示，处理模块M14被视为处理模块M3，并且要使用的参数HP12由处理模块M3、M14(M3)共享。
如上所述，在存在实现与包含多个处理模块的块的处理相似或相同的处理模块的情况下，块中包含的多个处理模块被耦接并被视为一个处理模块，此外，在实现相似处理的处理模块之间共享参数。
因此，可以减少存储器复制的不必要的开销并减少存储器自身的消耗，并且，可以通过减少存储器的使用频率来减少处理时间。
此外，例如，在图1中的单任务T1中的处理模块M2和单任务T2中的处理模块M12是执行相同处理的处理模块的情况下，如图4所示，处理模块M2与处理模块M12共享，并且在处理模块M13中，原样使用(输入)处理模块M2的输出结果。
此外，在图1的单任务T2中的处理模块M13和单任务T3中的处理模块M22是执行相同处理的处理模块的情况下，如图4所示，处理模块M13与处理模块M22共享，并且在处理模块M23中，处理模块M13的输出结果被原样使用(输入)。
在存在实现上述相同处理的处理模块的情况下，实现相同处理的处理模块被共享和使用，并且共享的处理模块的处理结果被原样用于后续处理。
因此，可以减少存储器复制的不必要的开销并减少存储器自身的消耗，并且，可以通过共享处理模块来减少处理时间。
如上所述，在本公开中，在构建多任务结构时，形成其中现有单任务结构经历并列处理的原型结构，在原型结构中的单任务结构中包含的处理模块中搜索相同或相似的处理模块，并且搜索到的相同或相似的处理模块共享参数，或者共享处理模块，或者处理模块被耦接或解耦。
即，在本公开中，生成原型结构，该原型结构是多个单任务结构仅经受并列处理的结构，并且基于原型结构的搜索结果来优化包含在原型结构中的多个单任务结构中的处理模块，从而可以容易地构建多任务结构。
<<2.本公开的实施例>>
接下来，将参考图5描述本公开的信息处理系统的配置示例。
图5中的信息处理系统包含多任务结构生成单元11以及目标装置12，该多任务结构生成单元11包含个人计算机(PC)。
多任务结构生成单元11构建包含神经网络(NN)的多任务结构，用于实现要由诸如机器人或包含各种传感器的移动物体的目标装置12执行的多任务，多任务结构生成单元11将多任务结构提供给目标装置12，并且实现多任务。
更具体地，多任务结构生成单元11获取在要由目标装置12实现的多任务中所包含的单独的单任务结构，并且构建简单地经历并列处理的多任务结构的原型结构。然后，多任务结构生成单元11搜索在原型结构中包含的多个单任务之间的相同或相似的处理模块。
在此，处理模块具有与NN中的输入层、隐藏层、输出层等各层相对应的配置，是对要执行的程序进行说明的模块。
然后，多任务结构生成单元11通过在多个单任务结构之间共享参数或处理模块或者耦接或解耦处理模块来优化包含在原型结构中的单任务结构之间的相同或类似的处理模块或块，如参照图2至图4所描述的，并且将结构重建为多任务结构。
此时，如果需要，多任务结构生成单元11使用学习数据重新学习重建的多任务结构，并且更新在多任务结构中包含的处理模块中使用的参数。
目标装置12例如是诸如机器人或移动物体的装置，其包含各种传感器和摄像机，诸如人传感器、麦克风、照明传感器、距离测量传感器、SLAM摄像机、RGB摄像机和ToF传感器。
目标装置12获取NN作为用于实施从多任务结构生成单元11提供的多任务的多任务结构，并基于各种传感器和摄像机的检测结果来实现多任务。
<多任务执行处理>
接下来，将参考图6的流程图来描述用于使图5的信息处理系统中的目标装置12实现多任务的多任务执行处理。
在步骤S11中，用户从传感器或摄像机请求一次拍摄或几次拍摄的学习数据，该传感器或摄像机具有与设置在目标装置12中的各种传感器或摄像机的性能相当的性能。
在步骤S21中，具有与目标装置12中设置的各种传感器或摄像机的性能相当的性能的传感器或摄像机向使用者返回一次拍摄或几次拍摄的学习数据。
这里，一次拍摄或几次拍摄的学习数据是机器学习等所需的一次或几次的学习数据。
注意，学习数据可以是比一次拍摄或几次拍摄次数更多的学习数据。然而，通过使用一次拍摄或几次拍摄，可以获得这样的参数(系数)，该参数(系数)可以实现不是高度准确的但是可以经得起实际使用的多任务，同时减少与学习相关的处理负荷和处理时间。
在步骤S12中，用户获取从具有与设置在目标装置12中的各种传感器或摄像机的性能相当的性能的传感器或摄像机提供的一次拍摄或几次拍摄的学习数据。
注意，可以向目标装置12直接请求一次拍摄或几次拍摄的学习数据。
在这种情况下，在步骤S40中，目标装置12将与自身设置的传感器、摄像机等有关的一次拍摄或几次拍摄的学习数据返回给用户。
注意，这里，将在假定通过步骤S21的处理从与目标装置12分离设置的目标装置12等效的传感器或摄像机提供一次拍摄或几次拍摄的学习数据的情况下给出描述。
在步骤S13中，用户将获取的一次拍摄或几次拍摄的学习数据提供给包含PC的多任务结构生成单元11。
在步骤S31中，多任务结构生成单元11获取一次拍摄或几次拍摄的学习数据。
在步骤S32中，多任务结构生成单元11构建多任务结构的原型结构作为用于实现要在目标装置12上执行的多任务的多任务结构，该原型结构简单地对现有的单任务结构执行并列处理。
然而，如参考图1所描述的，通过步骤S32中的处理而构建的多任务结构的原型结构是包含处理模块等的重叠的结构，并且存在处理负荷大和处理时间长的可能性，使得原型结构不是优化的多任务结构。
在步骤S33中，参考图9的流程图，多任务结构产生单元11执行如后面描述的原型结构搜索处理，搜索相似的处理模块，并且通过诸如参数共享，处理模块共享，以及耦接或解耦处理模块的处理来优化包含原型结构的多任务结构，从而实现更高的处理效率并构建多任务结构。
在步骤S34中，多任务结构生成单元11将完成后的多任务结构提供给目标装置12。
在步骤S41中，目标装置12获取从多任务结构生成单元11提供的多任务结构，并执行多任务。
通过上述处理，构建处于优化状态的多任务结构，从而由目标装置12实现最优的多任务。
结果，可以减少存储器的开销和处理负荷，并且共享处理模块和块的参数以及共享处理模块和块本身，由此优化多任务结构，使得可以减少处理负荷和提高处理速度。
<多任务结构生成单元的配置示例>
接下来，将参考图7的框图来描述包含PC的多任务结构生成单元11的配置示例。
更具体地，多任务结构生成单元11包含控制单元31、输入单元32、输出单元33、存储单元34、通信单元35、驱动器36和可移动存储介质37，它们经由总线38彼此电连接。
控制单元31包含处理器和存储器，并且控制多任务结构产生单元11的整个操作。
此外，控制单元31包含结构搜索单元51，执行如下所述的原型结构搜索处理，并且构建用于使目标装置12使用现有的单任务结构执行多任务的多任务结构。
注意，稍后将参考图8描述结构搜索单元51的细节。
输入单元32包含键盘、操作按钮等，接收用户的操作输入，并将操作输入输出到控制单元31。
输出单元33包含显示图像的显示单元，例如，包含液晶显示器(LCD)、有机电致发光(EL)等的显示器，以及包含输出声音的扬声器的声音输出单元，并根据需要输出图像和声音。
存储单元34由控制单元31控制，包含硬盘驱动器(HDD)、固态驱动器(SSD)、半导体存储器等，并写入或读取各种数据和程序。
此外，如参考图6所描述的，存储单元34存储由设置在目标装置12中的传感器或摄像机，或与设置在目标装置12中的传感器或摄像机具有等效性能的传感器或摄像机，或用于现有硬件的单任务结构(对应的NN)的一次拍摄或几次拍摄的学习数据。
通信单元35由控制单元31控制，以有线(或无线(未示出))方式经由由局域网(LAN)等表示的通信网络与目标装置12通信，并且发送和接收(NN对应于)所生成的多任务结构。
驱动器36对诸如磁盘(包含软盘)、光盘(包含压缩盘-只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD))或半导体存储器的可移动存储介质37读取和写入数据。
<结构搜索单元的配置示例>
接下来，将参考图8描述结构搜索单元51的配置示例。
结构搜索单元51包含单任务结构获取单元71、相似度比较单元72、耦接和解耦单元73、模拟单元74、准确度检查单元75、分数计算单元76、分数确定单元77、学习确定单元78、学习单元79、多任务结构存储单元80和多任务结构输出单元81。
单任务结构获取单元71根据目标装置12要执行的多任务，从例如存储单元34读取必要的现有单任务结构(对应于NN)，并构建多任务结构的原型结构。
即，例如，如参考图1所描述的，在构建(NN包括)包含物体识别、地图构建、路径规划和运动控制三种类型的任务的多任务结构的情况下，读取图1中的现有单任务T1至T3，并且构建如图1中所示的多任务结构的原型结构。
在这种情况下，多任务结构的原型结构中包含的多个单任务结构的每一个可以包含执行相同或相似处理的处理模块或块，存在重复重叠处理或包含诸如重复读取相同参数的处理浪费的情况，并且多任务结构不是完整的(优化的)多任务结构。
相似度比较单元72比较包含在多任务结构的原型结构中的单任务处理结构中的处理模块或包含多个处理模块的块的相似度，确定相似度是否高于预定阈值，并且在相似度高于预定阈值的情况下，将结果输出到耦接和解耦单元73，以便优化多任务处理。
这里，有两种类型的相似度：输入输出相似度，其是以处理模块或块为单位时输入输出数据的相似度；以及参数相似度，其是在以处理模块或块为单位时使用的NN中的超参数所对应的参数的相似度。
相似度比较单元72确定对于处理模块或块，输入输出相似度以及参数相似度中的每一个是否存在相似度。
注意，在相似度低于预定阈值并且不相似的情况下，相似度比较单元72不能优化多任务，并且因此将处理模块或块作为完成的处理模块存储在多任务结构存储单元80中。
耦接和解耦单元73设置成在单任务NN之间具有高输入输出相似度或参数相似度的块中共享处理模块或参数，或者共享处理模块或块本身，并且如果需要，耦接或解耦处理模块或块以优化作为原型结构的多任务结构，从而构建完整的新的多任务结构。
然后，耦接和解耦单元73将优化的和新构建的多任务结构输出到模拟单元74。
即，如参照图2所述，在处理模块M2和处理模块M12彼此类似的情况下，耦接和解耦单元73设置处理模块M2和处理模块M12要共享的参数。
此外，如参考图3所描述的，当处理模块M2和包含处理模块M11至M13的块之间的输入输出相似度和参数相似度是相似的时，耦接和解耦单元73将处理模块M11至M13耦接以构建处理模块M2’，并设置要与处理模块M2共享的参数。
此外，如参考图4所描述的，在处理模块M2、M12之间的输入输出相似度和参数相似度相似的情况下，耦接和解耦单元73在处理模块M12的后续阶段共享处理模块以将处理模块M2的输出结果输入到处理模块M13，并且重新排列连接配置。
当通过新构建的优化多任务结构(包含NN)操作目标装置12时，模拟单元74执行模拟，并将模拟处理结果输出到准确度检查单元75。
准确度检查单元75从新构建的多任务结构的模拟处理结果中检查新构建的优化的多任务结构的处理准确度，并将检查的处理准确度的信息输出到分数计算单元76。
分数计算单元76基于模拟处理结果的处理准确度来计算与新构建的优化多任务结构的处理准确度相关的分数，并将该分数输出到分数确定单元77。
分数确定单元77将与(NN包含)新构建的优化的多任务结构的处理准确度相关的分数与预定阈值进行比较，以确定新构建的多任务结构是否可用，并将可用的多任务结构与分数一起输出到学习确定单元78。
学习确定单元78确定是否需要重新学习被视为可用的多任务结构的新构建的优化的多任务结构。
例如，在与处理准确度相关的分数高于能够使用的预定阈值但是不足的处理准确度的情况下，认为需要重新学习以提高处理准确度，并且将确定结果输出到学习单元79。
此外，例如，在与处理准确度相关的分数是足够的处理准确度的情况下，不需要为了提高处理准确度而重新学习，因此，将确定结果输出到学习单元79，并且将新构建的可用多任务结构和分数彼此关联地输出到多任务结构存储单元80。
学习单元79使得新构建的优化的多任务结构基于学习数据被学习，更新由各种处理模块使用的参数，并且将更新的参数存储在多任务结构存储单元80中。
如上所述，在多任务结构存储单元80中，具有高于预定阈值的输入输出相似度或参数相似度的相似处理模块或块根据需要被共享，参数被共享，或者通过耦接或解耦来进行重新配置，从而，新构建的优化的多任务结构与分数一起被存储。
换句话说，在多任务结构存储单元80中，新构建的优化的多任务结构与分数一起被存储，在该优化的多任务结构中，共享处理模块和块、共享参数、通过耦接或解耦而重新配置的处理模块的连接样式等是各种不同的。
多任务结构输出单元81向目标装置12输出在多任务结构存储单元80中存储的各种不同的新构建的多任务结构之中具有最高分数的优化的新构建的多任务结构，并且使得目标装置12执行多任务。
<原型结构搜索处理>
接下来，将参考图9的流程图描述原型结构搜索处理。
在步骤S111中，结构搜索单元51执行输入输出相似度比较结构搜索处理，搜索在多任务的原型结构中包含的单任务结构之间具有高输入输出相似度的处理模块或块，并且基于搜索结果优化和构建新的多任务结构。然后，结构搜索单元51存储所构建的多任务结构和作为处理准确度的评价的分数。
注意，稍后将参考图10的流程图详细描述输入输出相似度比较结构搜索处理。
在步骤S112中，结构搜索单元51执行参数相似度比较结构搜索处理，搜索在多任务的原型结构中包含的单任务结构之间具有高参数相似度的处理模块或块，并基于搜索结果优化和构建新的多任务结构。然后，结构搜索单元51存储所构建的多任务结构和作为处理准确度的评价的分数。
注意，稍后将参考图12的流程图详细描述参数相似度比较结构搜索处理。
通过上述处理，基于输入输出相似度和参数相似度新构建多任务结构，并将新构建的多任务结构与分数一起存储。
在如上所述配置的多任务结构中，选择具有最高分数的结构，并且由目标装置执行多任务。
注意，尽管上面已经描述了在执行输入输出相似度比较结构搜索处理之后执行参数相似度比较结构搜索处理的示例，但是可以交换处理的顺序。另外，在上述说明中，说明了执行输入输出相似度比较结构搜索处理和参数相似度比较结构搜索处理的示例。然而，可以仅执行输入输出相似度比较结构搜索处理和参数相似度比较结构搜索处理中的一个。
<输入输出相似度比较结构搜索处理>
接下来，将参考图10的流程图描述输入输出相似度比较结构搜索处理。
在步骤S131中，单任务结构获取单元71根据目标装置12要执行的多任务，从例如存储单元34读取必要的现有单任务结构，并构建多任务结构的原型结构。
在步骤S132中，相似度比较单元72将多任务结构的原型结构中所包含的单任务结构中所包含的处理模块或包含多个处理模块的块之间的组合中的未处理组合设置为处理目标组合。
在步骤S133中，相似度比较单元72计算作为处理目标组合的处理模块之间或包含多个处理模块的块之间的组合的输入输出相似度。
在步骤S134中，相似度比较单元72确定输入输出相似度是否高于预定阈值。
在步骤S134中，在输入输出相似度高于预定阈值的情况下，相似度比较单元72将输入输出相似度输出到耦接和解耦单元73，以便优化多任务。
在步骤S135中，耦接和解耦单元73根据需要耦接或解耦处理模块或块，以在具有高输入输出相似度的单任务结构之间共享处理模块或块，从而构建新的多任务结构。
然后，耦接和解耦单元73将新构建的多任务结构输出到模拟单元74。
即，如参照图2至图4所述，耦接和解耦单元73根据需要耦接或解耦处理模块或块，以便共享具有高输入输出相似度的处理模块或块。
此外，例如，如图11所示，处理模块可以被耦接或解耦，使得在时间序列中处理的数据可以被有效地并列处理。
即，图11示出了其中并列处理由四个处理模块实现的处理结构，并列处理包含对数据D1至D4(在图中以不同样式分开显示)的处理a至处理d。
通过这种处理结构，可以实现四个处理模块的四个时钟周期的并列处理。
换言之，在时钟周期0中，将多条数据D1至D4设置为等待指令。
然后，每个时钟周期，数据D1至D4通过处理a至处理d顺序经历并列处理。
即，在作为下一个定时的时钟周期1中，将数据D2至D4设置为等待指令，并对数据D1执行处理a。
在时钟周期2，数据D3、D4被设置为等待指令，对数据D1执行处理b，对数据D2执行处理a，并且执行并列处理。
在时钟周期3，将数据D4设置为等待指令，对数据D1执行处理c，对数据D2执行处理b，对数据D3执行处理a，并执行并列处理。
在时钟周期4，对数据D1执行处理d，对数据D2执行处理c，对数据D3执行处理b，对数据D4执行处理a，并执行并列处理。
在时钟周期5，将数据D1设置为完成指令，对数据D2执行处理d，对数据D3执行处理c，对数据D4执行处理b，并执行并列处理。
在时钟周期6，将数据D1、D2设置为完成指令，对数据D3执行处理d，对数据D4执行处理c，并执行并列处理。
在时钟周期7，将数据D1至D3设置为完成指令，对数据D4执行处理d，并执行并列处理。
在时钟周期8，将多条数据D1至D4设置为完成指令。
这里，例如，在处理a是读取处理，处理b是解码处理，处理c是执行处理，处理d是写回处理的情况下，可以基于目标装置12的硬件配置和存储带宽在时钟周期0至8中对多条数据D1至D4执行并列处理。
此外，处理模块可以通过硬件处理能力耦接或解耦。即，根据硬件的性能或处理能力，在处理a花费处理b至d的处理时间的两倍的情况下，处理a的处理模块可以被解耦成两个以等于处理b至d的处理时间，并且所有处理模块的处理时间可以均等。
在步骤S136中，模拟单元74在目标装置12在以计算能力和存储带宽操作的情况下通过新构建的多任务结构执行模拟，并将模拟处理结果输出到准确度检查单元75。
在步骤S137中，准确度检查单元75根据新构建的多任务结构的模拟处理结果来计算新构建的多任务结构的处理准确度，并将计算出的处理准确度的信息输出到分数计算单元76。
在步骤S138中，分数计算单元76基于模拟处理结果的处理准确度来计算与新构建的多任务结构的处理准确度相关的分数，并将该分数输出到分数确定单元77。
在步骤S139中，分数确定单元77通过将与新构建的多任务结构的处理准确度相关的分数与预定阈值进行比较，来确定新构建的多任务结构是否被优化。
在与处理准确度相关的分数高于预定阈值并且在步骤S139中认为新构建的多任务结构被优化的情况下，分数确定单元77将多任务结构与分数一起输出到学习确定单元78。
在步骤S140中，学习确定单元78确定是否需要重新学习认为是优化的多任务结构的新构建的多任务结构。
在步骤S140中，例如，在与新构建的多任务结构的处理准确度有关的分数被认为被优化为高于预定的分数，但是处理准确度不足的情况下，学习确定单元78认为需要重新学习以便提高处理准确度，并且将新构建的多任务结构输出到学习单元79。
在步骤S141中，学习单元79基于学习数据对新构建的多任务结构进行重新学习。
在步骤S142中，学习单元79重新配置和更新由各个处理模块使用的参数以及重新学习。
然后，在步骤S143中，学习单元79将重新配置的多任务结构与分数相关联地存储在多任务结构存储单元80中。
在步骤S144中，相似度比较单元72确定在多任务结构的原型结构中包含的单任务结构中包含的处理模块或包含多个处理模块的块之间的组合中是否存在未处理的组合，并且在存在未处理的组合的情况下，处理返回到步骤S132。
即，重复步骤S132至S144的处理，直到对包含在多任务结构的原型结构中的单任务结构中的处理模块之间或包含多个处理模块的块之间的所有组合执行基于输入输出相似度的优化处理。
然后，在步骤S144中，在认为已经针对多任务结构的原型结构中所包含的单任务结构中所包含的处理模块之间或包含多个处理模块的块之间的所有组合执行了优化处理的情况下，处理结束。
此外，在步骤S134中认为输入输出相似度低于预定阈值并且不存在相似度的情况下，或者在步骤S139中认为与处理准确度相关的分数低于预定阈值并且新构建的多任务结构未被优化的情况下，处理进行到步骤S144。即，在这种情况下，基本上不执行优化处理。
此外，在步骤S140中，在不需要重新学习的情况下，学习确定单元78将重新配置的多任务结构与分数相关联地存储在多任务结构存储单元80中。
通过上述处理，如上所述，在多任务结构存储单元80中，通过根据需要共享处理模块或块、共享参数、或者耦接或解耦，重新配置具有高于预定阈值的输入输出相似度的相似的处理模块或块，并且由此，将该结构作为新构建的优化的多任务结构与分数一起存储。
换句话说，在多任务结构存储单元80中，将新构建的优化的多任务结构与分数一起存储，该优化的多任务结构包含通过共享执行相似或相同处理的处理模块或块、共享参数、或者耦接或解耦而重新配置的处理模块或块。
即，当构建新的多任务结构时，基于现有的单任务生成多任务结构的原型结构。此外，根据单任务结构之间的处理模块和块的输入输出相似度搜索相似的处理模块和块，共享参数，共享处理模块和块，耦接或解耦处理模块和块以进行优化，并且构建新的多任务结构并与分数一起存储。
<参数相似度比较结构搜索处理>
接下来，将参考图12的流程图描述参数相似度比较结构搜索处理。注意，图12的流程图中的步骤S161、S162和S166至S174的处理类似于图11的流程图中的步骤S131、S132和S136至S144的处理，因此省略其描述。
即，通过步骤S161和S162的处理，根据目标装置12要执行的多任务，从例如存储单元34读取必要的现有单任务结构，并且构建多任务结构的原型结构。然后，将包含在多任务结构的原型结构中包含的单任务结构中的处理模块之间或包含多个处理模块的块之间的组合中的未处理组合设置为处理目标组合。
然后，在步骤S163中，相似度比较单元72计算作为处理目标组合的处理模块之间或者包含多个处理模块的块之间的组合的参数相似度。
在步骤S164中，相似度比较单元72确定参数相似度是否高于预定阈值。
在步骤S164中，在参数相似度高于预定阈值的情况下，相似度比较单元72将参数相似度输出到耦接和解耦单元73，以便优化多任务。
在步骤S165中，耦接和解耦单元73根据需要耦接或解耦处理模块或块，以在单任务结构之间共享具有高参数相似度的处理模块或块中的参数，从而构建新的多任务结构。
然后，耦接和解耦单元73将新构建的多任务结构输出到模拟单元74。
然后，通过步骤S166至S174的处理，如上所述，通过耦接或解耦的重新配置来优化结构，使得由具有高于预定阈值的参数相似度的相似处理模块或块共享参数，并且构建新的多任务结构并将其与分数一起存储在多任务结构存储单元80中。
换言之，在多任务结构存储单元80中，通过耦接或解耦来重新配置和优化处理模块和块，使得处理模块和块共享参数，并且将新构建的多任务结构与分数一起存储。
多任务结构输出单元81向目标装置12输出在新构建的多任务结构之中高于预定分数的新构建的多任务结构以执行多任务，该高于预定分数的新构建的多任务结构是通过耦接或解耦重新配置处理模块和块而被优化，以使得处理模块和块被共享或者参数被共享，新构建的多任务结构存储在多任务结构存储单元80中。
即，当构建新的多任务结构时，基于现有的单任务生成多任务结构的原型结构。并且根据在单任务结构之间处理模块与块的输入输出相似度或参数相似度寻找相似的处理模块与块，共享参数，共享处理模块与块，处理模块与块耦接或解耦以进行优化，构建新的优化多任务结构并与分数一起存储。
然后，通过参考图6描述的步骤S34中的处理，多任务结构输出单元81将优化的多任务结构中具有比预定分数高的分数的NN输出到目标装置12。因此，目标装置12可实现由具有优化的多任务结构的NN优化的多任务。
注意，在以上描述中，描述了当优化的多任务结构与分数一起存储和输出时，将高于预定分数的多任务结构输出到目标装置12的示例。然而，可以仅存储具有高分的多任务结构，并且可以将所存储的多任务结构输出到目标装置12。
通过如上所述的处理，例如，在通过新开发的具有改进性能的目标装置12实现多任务处理的情况下，通过使用现有设备中使用的单任务结构，可以根据具有改进性能的目标装置12的性能和功能，通过使用学习数据重新学习来共享、耦接和解耦处理模块和块、共享参数或重置参数，并且可以容易地开发作为多任务结构的NN。
此外，在以上描述中，已经描述了这样的示例，在该示例中，根据目标多任务，首先，通过组合现有的单任务结构来配置多任务结构的原型结构，并且基于包含在单任务结构中的处理模块和块的输入输出相似度和参数相似度来共享、耦接和解耦接相似的处理模块和块，由相似的处理模块和块共享参数，或者通过使用学习数据重新学习来重置参数。
然而，在现有的多任务结构被重新用于新的目标装置12的情况下，现有的多任务结构被视为多任务结构的原型结构，并且通过以与根据新的目标装置12的性能和功能的上述方式相似的方式被优化，现有的多任务结构可以被优化并且被重新用于新的目标装置12，并且开发成本可以被降低。
<<3.应用例1>>
<搜索效率提高的原型结构搜索处理>
在以上描述中，已经描述了这样的示例，在该示例中，将多任务结构的原型结构中包含的单任务结构的所有处理模块之间的组合或者包含多个处理模块的块之间的组合设置为要处理的组合，并且搜索具有高于预定阈值的输入输出相似度或参数相似度的组合。
然而，在多任务结构的原型结构中包含的一些单任务结构包含与其他单任务结构具有低相似度的处理模块和块。
因此，在多任务结构的原型结构中包含的单任务结构中，可以通过统计处理从处理目标中排除包含与其他单任务结构具有低相似度的那些处理模块或块，并且可以执行原型结构搜索处理。
通过以上处理，在原型结构所包含的单任务结构中，排除了包含输入输出相似度或参数相似度低的处理模块或块的单任务结构，从而能够实现仅对包含输入输出相似度或参数相似度高的处理模块或块的单任务结构进行原型结构搜索处理，能够提高原型结构搜索处理的搜索效率。
接下来，将参考图13的流程图来描述具有提高的搜索效率的原型结构搜索处理。注意，图13的流程图中的步骤S208、S209的处理与参照图9的流程图描述的步骤S111、S112的处理类似，因此将省略其描述。
在步骤S201中，单任务结构获取单元71根据要由目标装置12执行的多任务，从例如存储单元34读取必要的现有单任务结构，并构建多任务结构的原型结构。
在步骤S202中，相似度比较单元72将多任务结构的原型结构中所包含的单任务结构中所包含的处理模块之间的或包含多个处理模块的块之间的组合中的未处理组合设置为处理目标组合。
在步骤S203中，相似度比较单元72计算作为处理目标组合的处理模块之间或包含多个处理模块的块之间的组合的输入输出相似度。
在步骤S204中，相似度比较单元72将输入输出相似度与预定阈值进行比较。
在步骤S205中，相似度比较单元72存储输入输出相似度与预定阈值之间的比较结果。
在步骤S206中，相似度比较单元72确定在多任务结构的原型结构中包含的单任务结构中包含的处理模块之间或包含多个处理模块的块之间的组合中是否存在未处理的组合。
在步骤S206中，在确定多任务结构的原型结构所包含的单任务结构所包含的处理模块之间或包含多个处理模块的块之间的组合中存在未处理的组合的情况下，返回步骤S202。
即，将包含在多任务结构的原型结构中的单任务结构中所包含的处理模块之间或包含多个处理模块的块之间的所有组合的输入输出相似度与阈值进行比较，并且在确定没有未处理的组合的情况下，处理进行到步骤S207。
在步骤S207中，相似度比较单元72统计地处理多任务结构的原型结构中所包含的单任务结构中所包含的处理模块之间或包含多个处理模块的块之间的组合中的输入输出相似度与预定阈值之间的比较结果。然后，相似度比较单元72在原型结构搜索处理中从处理目标排除具有低输入输出相似度的另一单任务结构和处理模块或包含块的单任务结构。
然后，在步骤S208和S209中，执行输入输出相似度比较结构搜索处理和参数相似度比较结构搜索处理。
作为该处理的结果，在多任务结构的原型结构中包含的单任务结构中，将处理模块间或包含多个处理模块的模块间的输入输出相似度低的单任务结构从其他单任务结构中排除，通过参数的共享、处理模块或模块的共享、处理模块间或包含多个处理模块的模块间的耦接或解耦，优化处理，从而能够提高原型结构搜索处理的搜索处理效率。
注意，在参照图13的流程图描述的原型结构搜索处理中，已经描述了从原型结构搜索处理的处理目标中排除包含具有低输入输出相似度的处理模块和块的单任务结构的示例。然而，可以从原型结构搜索处理的目标中排除与另一单任务结构在处理模块或块之间具有低参数相似度的单任务结构。此外，可从原型结构搜索处理的目标中排除具有低输入相似度相似度以及低参数相似度两者的单任务结构。
<<4.应用例2>>
在上面，如参考图6所述，已经描述了这样的示例，在该示例中，由原型结构搜索处理找到的多任务结构由包含PC的多任务结构生成单元11提供到目标装置12，该PC使用对应于目标装置12的传感器或从目标装置12获取的学习数据，以实现多任务。
然而，如图14的流程图所示，目标装置12可以独立地实现多任务。
在这种情况下，目标装置12用作多任务结构产生单元11。
即，在步骤S231中，目标装置12获取(读取)具有与包含在目标装置12中的各种传感器相对应的配置的传感器的一次拍摄或几次拍摄的学习数据。
在步骤S232中，用作多任务结构生成单元11的目标装置12通过组合多任务结构所需的单任务结构来构建多任务结构的原型结构。
在步骤S233中，用作多任务结构产生单元11的目标装置12执行已经参考图9的流程图描述的原型结构搜索处理，搜索相似的处理模块，并且通过诸如参数共享、处理模块共享、以及耦接或解耦处理模块的处理来优化多任务结构，由此实现更高的处理效率，并且构建完整的多任务结构。
通过上述处理，可以仅由用作多任务结构生成单元11的目标装置12来生成多任务结构。
因此，例如，在目标装置12中构建在地球上操作所需的多任务结构作为现有多任务结构的情况下，目标装置12可以通过上述处理来本身重构多任务结构。
因此，例如，当目标装置12识别出目标装置12已经到达月球表面时，可以通过获取在月球表面上操作所必需的学习数据、重新学习多任务结构、以及更新参数来重建适合于月球表面的多任务结构。
由此，目标装置12可以在适应当前环境的同时，实时地重复自主地重构当前环境中的最优多任务结构，并且可以在适应各种环境的同时实现多任务。
<<5.应用例3>>
在上文中，如参考图14所描述的，已经描述了这样的示例，其中，通过使用目标装置12自身的传感器的学习数据来执行原型结构搜索处理并通过优化的多任务结构来实现多任务，目标装置12用作多任务结构生成单元11。
然而，如图15的流程图所示，云计算机可用作多任务结构生成单元11以实现多任务。
即，在步骤S251中，目标装置12获取具有与包含在目标装置12中的各种传感器相对应的配置的传感器的一次拍摄或几次拍摄的学习数据。
在步骤S252中，目标装置12将具有与包含在目标装置12中的各种传感器相对应的配置的传感器的一次拍摄或几次拍摄的学习数据发送到云计算机101。
在步骤S271中，用作多任务结构生成单元11的云计算机101获取一次拍摄或几次拍摄的学习数据。
在步骤S272中，用作多任务结构生成单元11的云计算机101组合多任务结构所需的单任务结构，以构建多任务结构的原型结构。
在步骤S273中，用作多任务结构生成单元11的云计算机101执行已经参照图9的流程图描述的原型结构搜索处理、搜索相似的处理模块，并且通过诸如参数共享、处理模块共享、以及耦接或解耦处理模块的处理来优化多任务结构，由此实现更高的处理效率，并且构建完整的多任务结构。
在步骤S274中，用作多任务结构产生单元11的云计算机101将完整的多任务结构提供给目标装置12。
在步骤S253中，目标装置12获取从用作多任务结构生成单元11的云计算机101提供的多任务结构，并执行多任务。
在步骤S254中，目标装置12获取从用作多任务结构生成单元11的云计算机101提供的多任务结构，并执行多任务。
通过上述处理，通过云计算机101进行原型结构搜索处理来构建优化状态的多任务结构，从而实现目标装置12的高效多任务。
因此，能够减少存储器的开销并减少处理负荷，并且能够通过共享处理模块的参数和处理模块本身来减少处理负荷并增加处理速度。
此外，目标装置12可以通过与云计算机101通信来实现基于多任务结构的多任务。
结果，可以容易地构建包含优化的处理模块和块的多任务结构。
<<6.软件执行示例>>
图16图示了通用计算机的配置示例。该个人计算机具有内置的中央处理单元(CPU)1001。输入和输出接口1005经由总线1004连接到CPU1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
输入和输出接口1005与包含输入设备的输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接，输入设备用于由用户输入操作命令，诸如键盘或鼠标，输出单元1007将处理操作画面的图像或处理结果输出到显示设备，存储单元1008包含用于存储程序和各种数据的硬盘驱动器等，通信单元1009包含局域网(LAN)适配器等并且经由以因特网为代表的网络执行通信处理。此外，输入和输出接口1005与驱动器1010连接，该驱动器对诸如磁盘(包含软盘)、光盘(包含压缩盘-只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD))或半导体存储器的可移动存储介质1011读取和写入数据。
CPU 1001从存储在ROM 1002或可移动存储介质1011中的程序中读出，可移动存储介质例如磁盘、光盘、磁光盘或半导体存储器，安装在存储单元1008中，并根据从存储单元1008加载到RAM 1003中的程序执行各种处理。此外，RAM 1003还适当地存储CPU 1001执行各种处理所需的数据等。
在如上所述配置的计算机中，例如，CPU 1001经由输入和输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中，并执行该程序，从而执行上述一系列处理。
计算机(CPU 1001)执行的程序例如可以通过记录在作为封装介质等的可移动存储介质1011上来提供。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机中，通过将可移动存储介质1011安装到驱动器1010，可以经由输入和输出接口1005在存储单元1008中安装程序。此外，该程序可以由通信单元1009经由有线或无线传输介质接收并安装在存储单元1008中。另外，程序可以预先安装在ROM 1002或存储单元1008中。
注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行或在必要的定时(诸如当进行调用时)处理的程序。
注意，图16中的CPU 1001实现图7中的控制单元31的功能。
此外，在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件是否在同一壳体中无关紧要。因此，容纳在单独的壳体中且经由网络连接的多个装置和其中多个模块容纳在一个壳体中的一个装置都是系统。
注意，本公开的实施例不限于上述实施例，并且在不脱离本公开的要旨的情况下，各种修改是可能的。
例如，在本公开中，可以采用云计算的配置，其中一个功能经由网络由多个装置共享，并且被协同处理。
此外，在上述流程图中描述的每个步骤可以由一个装置执行或者由多个装置共享。
此外，在一个步骤中包含多个处理的情况下，该一个步骤中包含的多个处理可以由一个装置执行或者由多个装置共享和执行。
注意，本公开可以采用以下配置。
<1>一种信息处理设备，包含：
优化单元，基于控制目标装置的操作的多任务结构的结构来优化多任务结构。
<2>根据<1>的信息处理设备，
其中，多任务结构包含多个现有的单任务结构。
<3>根据<2>的信息处理设备，
其中，每个单任务结构包含处理模块或包含多个处理模块的块，以及
优化单元使用单任务结构之间具有相似度的处理模块或块来优化多任务结构。
<4>根据<3>的信息处理设备，
其中，优化单元通过使用单任务结构之间具有指示相似度高于预定值的相似度的处理模块或块来优化多任务结构。
<5>根据<4>的信息处理设备，
其中，优化单元通过使用单任务结构之间具有指示输入输出数据的相似度高的输入输出相似度的处理模块或块来优化多任务结构。
<6>根据<4>的信息处理设备，
其中，优化单元通过使用单任务结构之间具有指示所使用的参数的相似度高于预定值的参数相似度的处理模块或块来优化多任务结构。
<7>根据<3>的信息处理设备，
其中，优化单元通过共享单任务结构之间具有指示相似度高于预定值的相似度的处理模块或块来优化多任务结构。
<8>根据<7>的信息处理设备，
其中，优化单元通过耦接或解耦单任务结构之间具有高于预定值的相似度的处理模块或块来优化多任务结构，以共享处理模块或块。
<9>根据<8>的信息处理设备，
其中，优化单元通过耦接或解耦单任务结构之间具有高于预定值的相似度的处理模块或块来优化多任务结构，以根据包含在目标装置中的硬件的性能和功能来共享处理模块或块。
<10>根据<3>的信息处理设备，
其中，优化单元通过共享单任务结构之间具有指示相似度高于预定值的相似度的处理模块或块中使用的参数来优化多任务结构。
<11>根据<1>至<10>中任一项的信息处理设备，还包含：
模拟单元，在由优化单元优化的多任务结构由目标装置操作的情况下执行模拟；
分数计算单元，计算表示通过模拟基于多任务结构实现的多任务的处理准确度的分数；以及
再学习单元，该再学习单元基于该分数来再学习该优化的多任务结构。
<12>根据<11>的信息处理设备，
其中，再学习单元通过使用学习数据再学习，来更新优化的多任务结构中所包含的处理模块和包含多个处理模块的块的参数中的至少一个。
<13>根据<12>的信息处理设备，
其中，学习数据是根据设置在目标装置中的传感器和摄像机的性能和功能的数据。
<14>根据<13>的信息处理设备，
其中，处理模块和块基于从传感器提供的感测结果、从摄像机提供的图像和处理模块或块的处理结果中的至少一个执行预定的处理，并输出处理结果。
<15>根据<14>的信息处理设备，
其中，多任务结构是使用控制目标装置的操作的神经网络的程序。
<16>根据<15>的信息处理设备，
其中，处理模块和块中的每一个是使用神经网络的程序中的层和块。
<17>根据<1>至<16>中任一项的信息处理设备，
其中，信息处理设备是目标装置。
<18>根据<1>至<16>中任一项的信息处理设备，
其中，信息处理设备是云计算机。
<19>一种信息处理方法，包含：
基于控制目标装置的操作的多任务结构的结构来优化多任务结构的优化处理。
<20>一种使计算机用作以下的程序
优化单元，基于控制目标装置的操作的多任务结构的结构来优化多任务结构。
参考符号列表
11 多任务结构产生单元
12 目标装置
31 控制单元
32 输入单元
33 输出单元
34 存储单元
35 通信单元
36 驱动器
37 可移动存储介质
51 结构搜索单元
71 单任务结构获取单元
72 相似度比较单元
73 耦接和解耦单元
74 模拟单元
75 准确度检查单元
76 分数计算单元
77 分数确定单元
78 学习确定单元
79 学习单元
80 多任务结构存储单元
81 多任务结构输出单元。

Claims (20)

1.一种信息处理设备，包括：
优化单元，基于控制目标装置的操作的多任务结构的结构来优化所述多任务结构。
2.根据权利要求1所述的信息处理设备，
其中，所述多任务结构包含多个现有的单任务结构。
3.根据权利要求2所述的信息处理设备，
其中，每个所述单任务结构包括处理模块或包含多个处理模块的块，以及
所述优化单元使用所述单任务结构之间具有相似度的所述处理模块或所述块来优化所述多任务结构。
4.根据权利要求3所述的信息处理设备，
其中，所述优化单元通过使用所述单任务结构之间具有指示相似程度高于预定值的相似度的所述处理模块或所述块来优化所述多任务结构。
5.根据权利要求4所述的信息处理设备，
其中，所述优化单元通过使用所述单任务结构之间具有指示输入输出数据的相似程度高的输入输出相似度的所述处理模块或所述块来优化所述多任务结构。
6.根据权利要求4所述的信息处理设备，
其中，所述优化单元通过使用所述单任务结构之间具有指示所使用的参数的相似程度高于预定值的参数相似度的所述处理模块或所述块来优化所述多任务结构。
7.根据权利要求3所述的信息处理设备，
其中，所述优化单元通过共享所述单任务结构之间具有指示相似程度高于预定值的相似度的所述处理模块或所述块来优化所述多任务结构。
8.根据权利要求7所述的信息处理设备，
其中，所述优化单元通过将所述单任务结构之间具有高于所述预定值的相似度的所述处理模块或所述块耦接或解耦以共享所述处理模块或所述块，来优化所述多任务结构，。
9.根据权利要求8所述的信息处理设备，
其中，所述优化单元通过根据所述目标装置中包括的硬件的性能和功能耦接或解耦所述多任务结构之间具有高于所述预定值的相似度的所述处理模块或所述块以共享所述处理模块或所述块，来优化所述多任务结构。
10.根据权利要求3所述的信息处理设备，
其中，所述优化单元通过共享所述单任务结构之间具有指示相似程度高于预定值的相似度的所述处理模块或所述块中使用的参数，来优化所述多任务结构。
11.根据权利要求1所述的信息处理设备，进一步包括：
模拟单元，在由所述优化单元优化的所述多任务结构由所述目标装置操作的情况下执行模拟；
分数计算单元，计算表示通过所述模拟基于所述多任务结构实现的多任务的处理准确度的分数；以及
再学习单元，基于所述分数来再学习优化的多任务结构。
12.根据权利要求11所述的信息处理设备，
其中，所述再学习单元通过使用学习数据再学习来更新所述优化的多任务结构中包括的所述处理模块和包含多个所述处理模块的块中的至少一个的参数。
13.根据权利要求12所述的信息处理设备，
其中，所述学习数据是根据设置在所述目标装置中的传感器和摄像机的性能和功能的数据。
14.根据权利要求13所述的信息处理设备，
其中，所述处理模块和所述块基于从所述传感器提供的感测结果、从所述摄像机提供的图像和所述处理模块或所述块的处理结果中的至少一者执行预定的处理，并输出处理结果。
15.根据权利要求14所述的信息处理设备，
其中，所述多任务结构是使用控制所述目标装置的操作的神经网络的程序。
16.根据权利要求15所述的信息处理设备，
其中，所述处理模块和所述块中的每一者是使用所述神经网络的程序中的层和块。
17.根据权利要求1所述的信息处理设备，
其中，所述信息处理设备是所述目标装置。
18.根据权利要求1所述的信息处理设备，
其中，所述信息处理设备是云计算机。
19.一种信息处理方法，包括
基于控制目标装置的操作的多任务结构的结构来优化所述多任务结构的优化处理。
20.一种使计算机用作优化单元的程序，所述优化单元基于控制目标装置的操作的多任务结构的结构来优化所述多任务结构。
CN202080026554.2A 2019-04-09 2020-03-26 信息处理设备、信息处理方法和程序 Withdrawn CN113711179A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019074221 2019-04-09
JP2019-074221 2019-04-09
PCT/JP2020/013571 WO2020209078A1 (ja) 2019-04-09 2020-03-26 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN113711179A true CN113711179A (zh) 2021-11-26

Family

ID=72751667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026554.2A Withdrawn CN113711179A (zh) 2019-04-09 2020-03-26 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20220197691A1 (zh)
EP (1) EP3955109B1 (zh)
CN (1) CN113711179A (zh)
WO (1) WO2020209078A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195246A (ja) * 1990-09-28 1992-07-15 Olympus Optical Co Ltd 最適化装置
JPH05197705A (ja) * 1991-07-09 1993-08-06 Fujitsu Ltd ニューラルネットワークの学習システム
JP6164639B2 (ja) * 2013-05-23 2017-07-19 国立研究開発法人情報通信研究機構 ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム
US10255523B2 (en) * 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
JP6750854B2 (ja) * 2016-05-25 2020-09-02 キヤノン株式会社 情報処理装置および情報処理方法
EP3474192A1 (en) * 2017-10-19 2019-04-24 Koninklijke Philips N.V. Classifying data
US11315015B2 (en) * 2018-06-08 2022-04-26 Technip France Continuous learning of simulation trained deep neural network model
US11615208B2 (en) * 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
EP3759626A4 (en) * 2018-08-30 2021-10-27 Hewlett-Packard Development Company, L.P. SIMILARITY ANALYSIS OF SHARED CONTENT

Also Published As

Publication number Publication date
US20220197691A1 (en) 2022-06-23
EP3955109A1 (en) 2022-02-16
WO2020209078A1 (ja) 2020-10-15
EP3955109A4 (en) 2022-06-01
EP3955109B1 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
Zhang et al. Linked dynamic graph cnn: Learning through point cloud by linking hierarchical features
CN112434462B (zh) 一种模型的获取方法及设备
WO2022068623A1 (zh) 一种模型训练方法及相关设备
US20220036232A1 (en) Technology for optimizing artificial intelligence pipelines
WO2023164933A1 (zh) 一种建筑物建模方法以及相关装置
US20200167660A1 (en) Automated heuristic deep learning-based modelling
US20240330130A1 (en) Graph machine learning for case similarity
WO2024125466A1 (zh) 神经网络的训练方法和预测蛋白质结构的方法
Wu et al. Learning and planning with a semantic model
CN114974409A (zh) 一种基于零样本学习的针对新发现靶点的药物虚拟筛选系统
EP4097604A1 (en) Training of differentiable renderer and neural network for query of 3d model database
Lichtenstein et al. Deep eikonal solvers
Iqbal et al. Efficient training of transfer mapping in physics-infused machine learning models of UAV acoustic field
CN111260074B (zh) 一种超参数确定的方法、相关装置、设备及存储介质
Li et al. Remote object navigation for service robots using hierarchical knowledge graph in human-centered environments
US20230237337A1 (en) Large model emulation by knowledge distillation based nas
Thoudoju Detection of aircraft, vehicles and ships in aerial and satellite imagery using evolutionary deep learning
KR102561799B1 (ko) 디바이스에서 딥러닝 모델의 레이턴시를 예측하는 방법 및 시스템
CN113711179A (zh) 信息处理设备、信息处理方法和程序
KR102601276B1 (ko) 유전자와 질병 연관 후보 탐색을 위한 깊은 gcn과 얕은 gcn의 혼합 모델 기계 학습을 위한 방법 및 장치
EP4348507A1 (en) Scaling deep graph learning in distributed setting
Chen et al. Underwater target detection and embedded deployment based on lightweight YOLO_GN
Wang et al. A novel parallel learning algorithm for pattern classification
US20240249182A1 (en) Generation and deployment of context-specific machine learning models
US20240177034A1 (en) Simulating quantum computing circuits using kronecker factorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211126

WW01 Invention patent application withdrawn after publication