CN111198765B - 运算资源分配和管理方法及代理服务器 - Google Patents

Abstract

本发明涉及一种运算资源分配和管理方法及代理服务器。所述方法包括：与远端的运算请求端和运算服务端建立通信连接，生成运算管理记录，运算管理记录至少包括运算请求端的运算请求单元和运算服务端的运算服务单元的身份信息；接收来自运算请求单元的运算任务；根据运算任务和运算管理记录分配运算任务给运算服务端的运算服务单元，并根据分配结果得到分配信息；发送所述分配信息给发送所述运算任务的运算请求单元；接收运算服务单元发送的对应于所述运算任务的任务进度信息；及根据所述任务进度信息更新所述运算管理记录。本案能够高效地利用运算服务端的运算设备，节约能源及提高运算设备的资源利用率。

Description

运算资源分配和管理方法及代理服务器

技术领域

本发明涉及工业运算数据处理领域，尤其涉及一种运算资源分配和管理方法及代理服务器。

背景技术

产品加工后需要进行外观质量或几何形状等检测。现有技术中可由光学、影像运算请求端进行图像取像检测并经由自动光学检测(Automatic optical inspection, AOI)软件或人工智能模型检测出产品的外观质量是否达到标准。然而，随着运算请求端需求的日益增加，会造成运算设备的数量、能源及成本的消耗及运算设备的资源利用率的降低。

发明内容

鉴于以上内容，有必要提供一种运算资源分配和管理方法及代理服务器，使其高效地利用运算服务端的运算设备，从而节约能源及提高运算设备的资源利用率。

本申请第一方面提供一种运算资源分配和管理方法，用以管理远端的运算任务，包括：

与远端的运算请求端和运算服务端建立通信连接，所述运算请求端包括至少二个运算请求单元，所述运算服务端包括至少二个运算服务单元；

生成运算管理记录，所述运算管理记录至少包括所述运算请求单元和所述运算服务单元的身份信息；

接收来自运算请求单元的运算任务；

根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个所述运算服务单元，并根据分配结果得到分配信息；

发送所述分配信息给发送所述运算任务的运算请求单元；

接收所述一或多个所述运算服务单元发送的对应于所述运算任务的任务进度信息；及

根据所述任务进度信息更新所述运算管理记录。

优选地，所述根据所述运算任务需求和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个所述运算服务单元的步骤包括：

确定所述运算任务对应的运算请求单元；

根据所述运算管理记录判断所述运算任务对应的任务规范；及

根据所述任务规范选择运算能力和服务状态匹配的运算服务单元。

优选地，所述接收对应于所述运算任务的任务进度信息的步骤还包括：

从一或多个所述运算服务单元接收所述运算任务的运算结果；及

从所述运算请求单元接收所述运算任务的服务确认信息。

优选地，所述根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个运算服务单元还包括：

判断所述运算服务单元的连接状态是否为第一连接状态；

当所述运算服务单元的连接状态不是第一连接状态时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元；

确认所述运算服务单元的连接状态更新为第一连接状态；

分配所述运算任务给所述运算服务单元；及

发送更新的分配信息给第一运算请求单元。

优选地，所述根据所述连接状态更新所述运算管理记录的步骤还包括：

判断所述运算服务单元的服务状态是否为第一连接状态；及

当所述运算服务单元的服务状态不是第一连接状态时，发送状态更新请求使所述运算服务单元进入第二连接状态。

本申请第二方面提供一种代理服务器，所述电子设备包括处理器和电连接于所述处理器且存储有计算机可读程序的存储器，所述处理器用于执行所述存储器中存储的计算可读机程序时实现上述述运算资源分配和管理方法。

本发明根据所述运算任务和所述运算管理记录分配运算任务给所述运算服务端的其中一或多个所述运算服务单元，并根据分配结果得到分配信息；从而高效地利用运算服务端的运算设备，实现节约能源及提高运算设备的资源利用率。

附图说明

图1为本发明一实施方式中运算资源分配和管理方法的应用环境图。

图2为本发明一实施方式中运算请求端的硬件结构图。

图3为本发明一实施方式中代理服务器的硬件结构图。

图4为本发明一实施方式中检测与运算管理单元的功能模块图。

图5为本发明一实施方式中运算服务端的硬件结构图。

图6为本发明一实施方式中运算资源分配和管理系统的功能模块图。

图7为本发明一实施方式中运算资源分配和管理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当一个元件被称为“电连接”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“电连接”另一个元件，它可以是接触连接，例如，可以是导线连接的方式，也可以是非接触式连接，例如，可以是非接触式耦合的方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参考图1，所示为本发明一实施方式中运算资源分配和管理方法的应用环境图，所述方法应用在运算请求端1、代理服务器2及运算服务端3中。运算请求端1与代理服务器2通信连接，及代理服务器2与运算服务端3通信连接。代理服务器2接收运算请求端1发送的运算任务及运算服务端3发送的运算能力信息分配运算资源及运算模式，及控制运算服务端3按照运算资源及运算模式对运算请求端1的运算任务进行服务。本实施方式中，运算请求端1可以为用于检测产品或零部件的外观运算请求端，代理服务器2为单机电脑、工作站、单个服务器或云平台服务器，运算服务端3为工作站、单个服务器或云平台服务器。

请参考图2，所示为本发明一实施方式中运算请求端1的硬件结构图。运算请求端1包括第一通信单元11、存储器12、处理器13及至少两个运算请求单元14。第一通信单元11用于与代理服务器2及运算服务端3通信连接。本实施方式中，第一通信单元11可以为WIFI通信模块或3G/4G/5G通信模块。本实施方式中，运算请求单元14用于向代理服务器2发送运算任务。本实施方式中，处理器13可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器13可以是微处理器或者是任何常规的处理器等，处理器13也可以是运算请求端1的控制中心，利用各种接口和线路连接整个运算请求端1的各个部分。本实施方式中，存储器12用于存储数据及/或软件代码。存储器12可以为运算请求端1中的内部存储单元，例如运算请求端1中的硬盘或内存。在另一实施方式中，存储器12也可以为运算请求端1中的外部存储设备，例如运算请求端1上配备的插接式硬盘，智能存储卡（SmartMedia Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。

请参考图3，所示为本发明一实施方式中代理服务器2的硬件结构图。代理服务器2包括第二通信单元201、存储单元202、处理单元21及检测与运算管理单元22、检测及运算任务待处理管理单元24、检测及运算任务完成管理单元25。第二通信单元201用于与运算请求端1及运算服务端3通信连接。本实施方式中，第二通信单元201可以为WIFI通信模块或3G/4G/5G通信模块。本实施方式中，处理单元21可以是中央处理模块，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理单元21可以是微处理器或者是任何常规的处理器等，处理单元21还可以是代理服务器2的控制中心，利用各种接口和线路连接整个代理商服务器2的各个部分。本实施方式中，存储单元202用于存储数据及/或软件代码。存储单元202可以为代理商服务器2中的内部存储单元，例如代理商服务器2中的硬盘或内存。在另一实施方式中，存储单元202也可以为代理商服务器2中的外部存储设备，例如代理商服务器2上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等。

本实施方式中，检测与运算管理单元22支持热插入(Hot plug)功能，能够有效的管理增加或减少运算请求端1及/或运算服务端3，并无须重新设定或重新启动代理服务器2，并且在服务增加或减少时会根据运算请求端1的运算任务与运算服务端3的运算能力信息重新进行资源与效率适化的处理。请参考图4，所示为本发明一实施方式中检测与运算管理单元22的功能模块图。本实施方式中，检测与运算管理单元22包括任务生成器221、第一设备监测任务容器222、第二设备监测任务容器223、第三设备监测任务容器224、事件处理器225、运行状态记录器226、设备状态收集与发送器227及运算资源接收器228。

本实施方式中，任务生成器221用于当代理服务器2与运算请求端1或运算服务端3建立新连接时，根据运算请求端1或运算服务端3的设备信息生成对应的监测任务或运算管理记录，并将生成的监测任务或运算管理记录放入对应的设备监测任务容器中及写入运行状态记录器226。第一设备监测任务容器222用于对运算请求端1进行持续每秒发送心跳包确认运算请求端1的网络连接状态，并接收运算请求端1回复的运行状态。本实施方式中，运算请求端1回复的运行状态包括运行中、等待、异常。第二设备监测任务容器223用于对运算服务端3进行持续每秒发送心跳包确认运算服务端3的网络连接状态，并接收运算服务端3回复的运行状态。本实施方式中，运算服务端3回复的运行状态包括运行中、等待、异常。本实施方式中，第三设备监测任务容器224用于对休眠中的运算服务端3保持与代理服务器2的连接信息进行记录，且当需要唤醒休眠的运算服务端3时可发送唤醒命令给休眠的运算服务端3以启动运算服务端3，并从第三设备监测任务容器224中解除加入的运算服务端3，使运算服务端3进入第二设备监测任务容器223。事件处理器225用于当运算请求端1或运算服务端3出现连接断开、心跳无响应、网络故障断线的脱机状态时，将运算请求端1或运算服务端3对应的事件从对应的监测任务容器中移除，并将脱机状态写入运行状态记录器226中。本实施方式中，运行状态记录器226用于记录运算请求端1或运算服务端3出现的连接断开、心跳无响应、网络故障断线等脱机状态，以方便工作人员检查确认运算请求端1或运算服务端3的异常状态。设备状态收集与发送器227用于每秒收集在第一设备监测任务容器222、第二设备监测任务容器223、第三设备监测任务容器224内的运算请求端1或运算服务端3的列表清单及运算请求端1或运算服务端3的运行状态。本实施方式中，运算请求端1的列表清单包括运算请求单元列表。运算服务端3的列表清单包括运算服务单元列表，和运算任务列表。

本实施方式中，当首次运行时，运行状态记录器226会将运算请求端1或运算服务端3的列表清单与运行状态发送给处理单元21，之后当列表清单与运行状态有变动时（如连接断开、心跳无响应、网络故障断线等），发送运算请求端1或运算服务端3的新的列表清单与运行状态给处理单元21。运算资源接收器228用于接收来自处理单元21发送的动态分配运算资源及效能适化信息，并当检测运算需求超过110%时及检测到存在休眠中的运算服务装置时，由第三设备监测任务容器224唤醒所述运算服务装置。

请参考图5，所示为本发明一实施方式中运算服务端3的硬件结构图。运算服务端3包括第三通信单元31、存储单元32、处理单元33及至少两个运算服务单元34。第三通信单元31用于与运算请求端1及代理服务器2通信连接。本实施方式中，第三通信单元31可以为WIFI通信模块或3G/4G/5G通信模块。本实施方式中，运算服务单元34用于接收代理服务器2分配的运算任务。本实施方式中，处理单元33可以是中央处理模块，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理单元33可以是微处理器或者是任何常规的处理器等。本实施方式中，存储单元32用于存储数据及/或软件代码。存储单元32可以为运算服务端3中的内部存储单元，例如运算服务端3中的硬盘或内存。在另一实施方式中，存储单元32也可以为运算服务端3中的外部存储设备，例如运算服务端3上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等。

请参考图6，所示为本发明一实施方式中运算资源分配和管理系统100的功能模块图。本实施方式中，运算资源分配和管理系统100包括一个或多个模块，一个或者多个模块运行在代理服务器2中。本实施方式中，运算资源分配和管理系统100包括第一通信模块501、第二通信模块502、记录生成模块503、第一接收模块504、分配模块505、发送模块506、第二接收模块507、更新模块508及监测模块509。本实施方式中，第一通信模块501、第二通信模块502、记录生成模块503、第一接收模块504、分配模块505、发送模块506、第二接收模块507、更新模块508存储在代理服务器2的存储单元202中，并被处理单元21调用执行。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述软件在运算资源分配和管理系统100中的执行过程。在其他实施方式中，第一通信模块501、第二通信模块502、记录生成模块503、第一接收模块504、分配模块505、发送模块506、第二接收模块507、更新模块508及监测模块509为内嵌或固化在代理服务器2中的程序段或代码。

第一通信模块501用于控制代理服务器2与远端的运算请求端1通信连接。

本实施方式中，第一通信模块501控制代理服务器2接收运算请求端1的运算请求单元14发送的包含第一验证信息的第一请求连接命令；检测第一请求连接命令中的第一验证信息与存储在代理服务器2中的第一预设验证信息是否一致；当第一请求连接命令中的第一验证信息与第一预设验证信息一致时控制代理服务器2与运算请求端1连接。本实施方式中，运算请求端1根据配置在运算请求端1中的配置文档发送包含第一验证信息的第一请求连接命令给代理服务器2，其中第一验证信息为验证码，验证码由字母与数字组成。本实施方式中，运算请求端1提供一个验证界面（图中未示）供用户设定第一请求连接命令的验证码。

本实施方式中，当第一请求连接命令中的第一验证信息与第一预设验证信息不一致时，运算请求端1再次发送第一请求连接命令给代理服务器2，及第一通信模块501判断第一验证信息与第一预设验证信息不一致的发生次数；当第一验证信息与第一预设验证信息不一致的发生次数超过第一预设次数时停止运算请求端1与代理服务器2的连接。本实施方式中，所第一预设次数可以根据实际需要进行设置。例如，第一预设次数可以为5次。

第二通信模块502用于控制代理服务器2与远端的运算服务端3通信连接。

本实施方式中，第二通信模块502接收运算服务端3的运算服务单元34发送的包含第二验证信息的第二请求连接命令；代理服务器2检测第二请求连接命令中的第二验证信息与存储在代理服务器2中的第二预设验证信息是否一致；若第二验证信息与第二预设验证信息一致时控制代理服务器2与运算服务端3连接。本实施方式中，运算服务端3根据配置在运算服务端3中的配置文档发送包含第二验证信息的第二请求连接命令给代理服务器2，其中，第二验证信息为验证码，验证码由字母与数字组成。

本实施方式中，当第二请求连接命令中的第二验证信息与第二预设验证信息不一致时，运算服务端3再次发送第二请求连接命令给代理服务器2，及第二通信模块502判断第二验证信息与第二预设验证信息不一致的发生次数；当第二验证信息与第二预设验证信息不一致的发生次数超过第二预设次数时停止运算请求端1与代理服务器2的连接。本实施方式中，第二预设次数可以根据实际需要进行设置。例如，所述第二预设次数可以为10次。

记录生成模块503用于生成运算管理记录，运算管理记录至少包括运算请求单元14和运算服务单元34的身份信息。

第一接收模块504用于接收运算请求端1发送的运算任务运算服务端。

本实施方式中，第一接收模块504将运算任务传输至代理服务器2中的检测与运算管理单元22进行存储与管理。

本实施方式中，当运算请求端1与代理服务器2连接后，运算请求端1获取所述运算任务并将所述运算任务通过运算请求单元14发送给代理服务器2进行管理。本实施方式中，所述运算任务包括，但不限于待检测图像、运算模型、运算设备的需求等级。

本实施方式中，代理服务器2接收到运算请求端1发送的运算任务后传送至检测与运算管理单元22中。检测与运算管理单元22每秒更新所述运算任务存入运算请求单元列表中。

分配模块505根据所述运算任务和所述运算管理记录分配运算任务给所述运算服务端的其中一或多个运算服务单元34，并根据分配结果得到分配信息。

本实施方式中，分配模块505根据所述运算管理记录确认可执行任务的一或多个运算服务单元34，及分配所述运算任务给可执行任务的运算服务单元34。在具体实施方式中，分配模块505分配所述运算任务给无任务执行中的运算服务单元34。

本实施方式中，所述运算管理记录至少还包括对应于各运算请求单元14的任务数据信息和任务规范信息，和对应于各运算服务单元34的运算能力信息和服务状态信息。本实施方式中，分配模块505确定所述运算任务对应的运算请求单元14；根据所述运算管理记录判断所述运算任务对应的任务规范；及根据所述任务规范选择运算能力和服务状态匹配的运算服务单元34。本实施方式中，当运算服务端3与代理服务器2连接后，运算服务端3将所述运算能力及服务状态发送给代理服务器2进行管理。本实施方式中，所述运算能力包括运算服务端3所能计算的模型项目、模型计算速率。本实施方式中，第一接收模块504还用于接收所述运算能力和服务状态并将接收的所述运算能力和服务状态传输至所述代理服务器中的检测与运算管理单元22进行存储与管理。检测与运算管理单元22每秒更新所述运算能力及服务状态并存入运算服务单元列表中，并根据所述运算任务、所述运算能力及服务状态进行效能优化任务匹配运算得到匹配的运算服务单元34。

本实施方式中，分配模块505根据所述运算任务和所述任务规范判断所述运算任务的运算复杂度；及根据运算复杂度和运算能力判断所述运算任务的任务执行模式。本实施方式中，所述运算复杂度包括运算任务完成的循环时间（Cycle Time，CT）、运算请求端1与运算服务端3的匹配方式、任务优先级、运算请求单元14的数量、任务结果精确度。

本实施方式中，分配模块505根据运算复杂度和运算能力将单台运算服务端3与单台运算请求端1进行匹配；控制运算服务端3为与运算服务端3相匹配的运算请求端1进行运算服务；判断单台运算服务端3的计算时间是否满足所述运算任务的CT；当单台运算服务端3的计算时间满足所述运算任务的CT时采用全运算模式，其中所述全运算模式是指将运算请求端1中的全部检测数据进行100%的运算；当运算服务端3的计算时间没有满足所述运算任务的CT时采用重点计算模式，其中所述重点计算模式是指对运算请求端1中的70%的高级别检测数据进行运算。

在一实施方式中，分配模块505根据运算复杂度和运算能力将两台以上运算服务端3与单台运算请求端1进行匹配；控制与运算请求端1相匹配的所有运算服务端3为运算请求端1进行运算服务；判断单台运算服务端3的计算时间是否满足所述运算任务的CT；当单台运算服务端3的计算时间满足所述运算任务的CT时采用全运算模式进行一对二分散运算，其中所述采用全运算模式进行一对二分散运算是指将运算请求端1中的全部检测数据划分为两组，每一组数据通过一个运算服务端3进行100%的运算；否则采用重点计算模式进行一对二分散运算，其中采用重点计算模式进行一对二分散运算是指将运算请求端1中的全部检测数据划分为两组，每一组数据通过一个运算服务端3对该组中的70%的高级别检测数据进行运算。

在一实施方式中，分配模块505根据运算复杂度和运算能力将两台以上运算请求端1与单台运算服务端3进行匹配；控制运算服务端3为与运算服务端3相匹配的所有运算请求端1进行运算服务；判断运算服务端3的计算时间是否满足所述运算任务的CT；当运算服务端3的计算时间满足所述运算任务的CT时根据优先级顺序分别采用全运算模式对所有与运算服务端3相匹配的运算请求端1进行运算服务；当运算服务端3的计算时间没有满足所述运算任务的CT时根据优先级顺序分别采用重点计算模式对所有与运算服务端3相匹配的运算请求端1进行运算服务。

本实施方式中，分配模块505检测运算请求端1的数量大于运算服务端3的数量时不进行效能优化计算；当检测运算请求端1的数量小于运算服务端3的数量且所有运算请求端1的运算需求量小于所有运算服务端3的计算量时不进行效能优化计算。

发送模块506发送所述分配信息给发送所述运算任务的运算请求单元14。

本实施方式中，发送模块506还用于发送所述运算服务的分配信息给所述运算服务单元34。

第二接收模块507接收所述一或多个所述运算服务单元34发送的对应于所述运算任务的任务进度信息。本实施方式中，所述第二接收模块507从一或多个所述运算服务单元34接收所述运算任务的运算结果；及从运算请求单元14接收所述运算任务的服务确认信息。本实施方式中，所述从运算请求单元14接收所述运算任务的服务确认信息的步骤还包括：从一或多个所述运算服务单元34接收服务完成信息；发送所述服务完成信息给运算请求单元14；及接收运算请求单元14发送的运算任务的服务确认信息。

更新模块508根据所述任务进度信息更新所述运算管理记录。

监测模块509用于监测运算服务端3的运算服务单元34的连接状态。更新模块508根据所述连接状态更新所述运算管理记录。本实施方式中，更新模块508判断所述连接状态为第一连接状态的运算服务单元34的运算能力是否满足所述运算任务需求；当所述第一连接状态的运算服务单元34不满足所述运算任务时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元34；确认所述连接状态为第二连接状态的运算服务单元34的连接状态更新为第一连接状态；及分配所述运算任务给状态更新后的运算服务单元34。本实施方式中，所述第一连接状态为所述运算服务单元34与代理服务器2连接且未休眠的状态，所述第二连接状态为所述运算服务单元34与代理服务器2连接且休眠的状态。

在具体实施方式中，更新模块508判断所述运算服务单元34的连接状态是否为第一连接状态；当所述运算服务单元的连接状态不是第一连接状态时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元34；确认所述运算服务单元34的连接状态更新为第一连接状态；及分配所述运算任务给所述运算服务单元34。本实施方式中，所述第一连接状态为所述运算服务单元34与代理服务器2连接的状态，所述第一连接状态为所述运算服务单元34与代理服务器2断开连接的状态。

在一实施方式中，更新模块508判断所述运算服务单元的服务状态是否为第一连接状态；当所述运算服务单元34的服务状态不是第一连接状态时，发送状态更新请求使所述运算服务单元进入第二连接状态。在具体实施方式中，更新模块508判断所述运算服务单元34不处于第一服务状态是否超过预设时间阈值；及在所述运算服务单元34不处于第一服务状态超过预设时间阈值时发送状态更新请求使所述运算服务单元进入第二连接状态。本实施方式中，所述第一连接状态为所述运算服务单元34与代理服务器2连接且未休眠的状态，所述第二连接状态为所述运算服务单元34与代理服务器2连接且休眠的状态。

请参考图7，所示为本发明一实施方式中运算资源分配和管理方法的流程图。根据不同需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略或合并。所述方法包括如下步骤。

步骤S701，与远端的运算请求端1通信连接。

本实施方式中，代理服务器2接收运算请求端1的运算请求单元14发送的包含第一验证信息的第一请求连接命令；检测所述第一请求连接命令中的第一验证信息与存储在代理服务器2中的第一预设验证信息是否一致；当所述第一请求连接命令中的第一验证信息与所述第一预设验证信息一致时控制代理服务器2与运算请求端1连接。本实施方式中，运算请求端1根据配置在运算请求端1中的配置文档发送包含第一验证信息的第一请求连接命令给代理服务器2，其中所述第一验证信息为验证码，所述验证码由字母与数字组成。本实施方式中，运算请求端1提供一个验证界面供用户设定所述第一请求连接命令的验证码。

本实施方式中，当所述第一请求连接命令中的第一验证信息与所述第一预设验证信息不一致时，运算请求端1再次发送第一请求连接命令给代理服务器2，及代理服务器2判断所述第一验证信息与所述第一预设验证信息不一致的发生次数；当所述第一验证信息与所述第一预设验证信息不一致的发生次数超过第一预设次数时停止运算请求端1与代理服务器2的连接。本实施方式中，所述第一预设次数可以根据实际需要进行设置。例如，所述第一预设次数可以为5次。

步骤S702，与远端的运算服务端3通信连接。

本实施方式中，代理服务器2与运算服务端3通信连接包括：代理服务器2接收运算服务端3的运算服务单元34发送的包含第二验证信息的第二请求连接命令；代理服务器2检测所述第二请求连接命令中的第二验证信息与存储在代理服务器2中的第二预设验证信息是否一致；若所述第二验证信息与所述第二预设验证信息一致时控制代理服务器2与运算服务端3连接。本实施方式中，运算服务端3根据配置在运算服务端3中的配置文档发送包含第二验证信息的第二请求连接命令给代理服务器2，其中，所述第二验证信息为验证码，所述验证码由字母与数字组成。

本实施方式中，当所述第二请求连接命令中的第二验证信息与所述第二预设验证信息不一致时，运算服务端3再次发送第二请求连接命令给代理服务器2，及代理服务器2判断所述第二验证信息与所述第二预设验证信息不一致的发生次数；当所述第二验证信息与所述第二预设验证信息不一致的发生次数超过第二预设次数时停止运算请求端1与代理服务器2的连接。本实施方式中，所述第二预设次数可以根据实际需要进行设置。例如，所述第二预设次数可以为10次。

步骤S703，生成运算管理记录，所述运算管理记录至少包括运算请求单元14和所述运算服务单元34的身份信息。

步骤S704，接收运算请求端1发送的运算任务。

本实施方式中，代理服务器2将所述运算任务传输至代理服务器2中的检测与运算管理单元22进行存储与管理。

本实施方式中，当运算请求端1与代理服务器2连接后，运算请求端1获取所述运算任务并将所述运算任务通过运算请求单元14发送给代理服务器2进行管理，并将运算任务记录在检测与运算管理单元22的运算任务列表中。本实施方式中，所述运算任务包括，但不限于待检测图像、运算模型、运算设备的需求等级。

本实施方式中，代理服务器2接收到运算请求端1发送的运算任务后传送至检测与运算管理单元22中。检测与运算管理单元22每秒更新所述运算任务存入运算请求单元列表中。

步骤S705，根据所述运算任务和所述运算管理记录分配运算任务给所述运算服务端的其中一或多个运算服务单元34，并根据分配结果得到分配信息。

本实施方式中，所述根据所述运算任务和所述运算管理记录分配运算任务给所述运算服务端的其中一或多个运算服务单元34包括：根据所述运算管理记录确认可执行任务的一或多个运算服务单元34，及分配所述运算任务给可执行任务的运算服务单元34。在具体实施方式中，所述分配所述运算任务给可执行任务的运算服务单元34的步骤还包括：分配所述运算任务给无任务执行中的运算服务单元34。

本实施方式中，所述运算管理记录至少还包括对应于各运算请求单元14的任务数据信息和任务规范信息，和对应于各运算服务单元34的运算能力信息和服务状态信息。本实施方式中，所述根据所述运算任务需求和所述运算管理记录分配所述运算任务给运算服务端3的其中一或多个运算服务单元34，并根据分配结果得到分配信息包括：确定所述运算任务对应的运算请求单元14；根据所述运算管理记录判断所述运算任务对应的任务规范；及根据所述任务规范选择运算能力和服务状态匹配的运算服务单元34。本实施方式中，当运算服务端3与代理服务器2连接后，运算服务端3将所述运算能力及服务状态发送给代理服务器2进行管理。本实施方式中，所述运算能力包括运算服务端3所能计算的模型项目、模型计算速率。本实施方式中，代理服务器2还用于接收所述运算能力和服务状态并将接收的所述运算能力和服务状态传输至代理服务器2中的检测与运算管理单元22进行存储与管理。检测与运算管理单元22每秒更新所述运算能力及服务状态并存入运算服务单元列表中，并根据所述运算任务、所述运算能力及服务状态进行效能优化任务匹配运算得到匹配的运算服务单元34。

本实施方式中，当运算服务端3与运算请求端1连接后，运算请求端1将所述任务数据信息和所述任务规范信息发送给代理服务器2进行管理。代理服务器2用于接收所述任务数据信息和所述任务规范信息并将接收的所述任务数据信息和所述任务规范信息传输至代理服务器2中的检测与运算管理单元22进行存储与管理。检测与运算管理单元22每秒更新所述任务数据信息和所述任务规范信息并存入运算请求单元列表中。所述根据所述任务规范选择运算能力和服务状态匹配的运算服务单元34包括：根据所述运算任务和所述任务规范判断所述运算任务的运算复杂度；及根据运算复杂度和运算能力判断所述运算任务的任务执行模式。本实施方式中，所述运算复杂度包括运算任务完成的循环时间（CycleTime，CT）、运算请求端1与运算服务端3的匹配方式、任务优先级、运算请求单元14的数量、任务结果精确度。

本实施方式中，所述根据运算复杂度和运算能力判断所述运算任务的任务执行模式包括：根据运算复杂度和运算能力将单台运算服务端3与单台运算请求端1进行匹配；控制运算服务端3为与运算服务端3相匹配的运算请求端1进行运算服务；判断单台运算服务端3的计算时间是否满足所述运算任务的CT；当单台运算服务端3的计算时间满足所述运算任务的CT时采用全运算模式，其中所述全运算模式是指将运算请求端1中的全部检测数据进行100%的运算；当运算服务端3的计算时间没有满足所述运算任务的CT时采用重点计算模式，其中所述重点计算模式是指对运算请求端1中的70%的高级别检测数据进行运算。

在一实施方式中，所述根据运算复杂度和运算能力判断所述运算任务的任务执行模式包括：根据运算复杂度和运算能力将两台以上运算服务端3与单台运算请求端1进行匹配；控制与运算请求端1相匹配的所有运算服务端3为运算请求端1进行运算服务；判断单台运算服务端3的计算时间是否满足所述运算任务的CT；当单台运算服务端3的计算时间满足所述运算任务的CT时采用全运算模式进行一对二分散运算，其中所述采用全运算模式进行一对二分散运算是指将运算请求端1中的全部检测数据划分为两组，每一组数据通过一个运算服务端3进行100%的运算；否则采用重点计算模式进行一对二分散运算，其中采用重点计算模式进行一对二分散运算是指将运算请求端1中的全部检测数据划分为两组，每一组数据通过一个运算服务端3对该组中的70%的高级别检测数据进行运算。

在一实施方式中，所述根据运算复杂度和运算能力判断所述运算任务的任务执行模式包括：根据运算复杂度和运算能力将两台以上运算请求端1与单台运算服务端3进行匹配；控制运算服务端3为与运算服务端3相匹配的所有运算请求端1进行运算服务；判断运算服务端3的计算时间是否满足所述运算任务的CT；当运算服务端3的计算时间满足所述运算任务的CT时根据优先级顺序分别采用全运算模式对所有与运算服务端3相匹配的运算请求端1进行运算服务；当运算服务端3的计算时间没有满足所述运算任务的CT时根据优先级顺序分别采用重点计算模式对所有与运算服务端3相匹配的运算请求端1进行运算服务。

本实施方式中，所述根据运算复杂度和运算能力判断所述运算任务的任务执行模式包括：检测运算请求端1的数量大于运算服务端3的数量时不进行效能优化计算；当检测运算请求端1的数量小于运算服务端3的数量且所有运算请求端1的运算需求量小于所有运算服务端3的计算量时不进行效能优化计算。

步骤S706，发送所述分配信息给发送所述运算任务的运算请求单元14。

本实施方式中，所述发送所述分配信息给发送所述运算任务的运算请求单元14还包括：发送所述运算服务的分配信息给所述运算服务单元34。

步骤S707，接收所述一或多个所述运算服务单元34发送的对应于所述运算任务的任务进度信息。本实施方式中，所述接收所述一或多个所述运算服务单元34发送的对应于所述运算任务的任务进度信息包括：从一或多个所述运算服务单元34接收所述运算任务的运算结果；及从运算请求单元14接收所述运算任务的服务确认信息。本实施方式中，所述从运算请求单元14接收所述运算任务的服务确认信息的步骤还包括：从一或多个所述运算服务单元34接收服务完成信息；发送所述服务完成信息给运算请求单元14；及接收运算请求单元14发送的运算任务的服务确认信息。

步骤S708，根据所述任务进度信息更新所述运算管理记录。

本实施方式中，所述方法还包括：监测运算服务端3的运算服务单元34的连接状态。代理服务器2根据所述连接状态更新所述运算管理记录。本实施方式中，所述根据所述运算任务和所述运算管理记录分配所述运算任务给运算服务端3的其中一或多个运算服务单元34的步骤还包括：判断所述连接状态为第一连接状态的运算服务单元34的运算能力是否满足所述运算任务需求；当所述第一连接状态的运算服务单元34不满足所述运算任务时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元34；确认所述连接状态为第二连接状态的运算服务单元34的连接状态更新为第一连接状态；及分配所述运算任务给状态更新后的运算服务单元34。本实施方式中，所述第一连接状态为所述运算服务单元34与代理服务器2连接且未休眠的状态，所述第二连接状态为所述运算服务单元34与代理服务器2连接且休眠的状态。

在一实施方式中，所述根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个运算服务单元包括：判断所述运算服务单元34的连接状态是否为第一连接状态；当所述运算服务单元的连接状态不是第一连接状态时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元34；确认所述运算服务单元34的连接状态更新为第一连接状态；及分配所述运算任务给所述运算服务单元34。本实施方式中，所述第一连接状态为所述运算服务单元34与代理服务器2连接的状态，所述第二连接状态为所述运算服务单元34与代理服务器2断开连接的状态。

在一实施方式中，所述根据所述连接状态更新所述运算管理记录还包括：判断所述运算服务单元的服务状态是否为第一连接状态；当所述运算服务单元34的服务状态不是第一连接状态时，发送状态更新请求使所述运算服务单元进入第二连接状态。所述发送状态更新请求使所述运算服务单元进入第二连接状态的还包括：判断所述运算服务单元34不处于第一服务状态是否超过预设时间阈值；及在所述运算服务单元34不处于第一服务状态超过预设时间阈值时发送状态更新请求使所述运算服务单元进入第二连接状态。本实施方式中，所述第一连接状态为所述运算服务单元34与代理服务器2连接且未休眠的状态，所述第二连接状态为所述运算服务单元34与代理服务器2连接且休眠的状态。

本实施方式中，所述运算任务包括检测图像及所述待检测图像中的瑕疵预选区域的坐标位置信息。本实施方式中，运算请求端1根据运算请求端1产生的检测图像及所述待检测图像中的瑕疵预选区域的坐标位置信息后产生第一运算任务，并将所述第一运算任务发送给代理服务器2的检测及运算任务待处理管理单元24。代理服务器2的检测及运算任务待处理管理单元24根据所述第一运算任务向运算服务端3的运算任务待处理管理单元确认运算任务列表中是否有与所述第一运算任务相同的重复项目及是否提供运算服务单元列表，其中所述运算服务单元列表中包括可提供运算服务的运算装置信息。其中，运算服务端3的运算能力信息包括所述运算服务单元列表中提供运算服务的运算装置信息。检测及运算任务待处理管理单元24接收到所述运算任务待处理管理单元回复的无重复项目及提供运算服务单元列表的确认结果后根据所述待检测图像、所述待检测图像中的瑕疵预选区域的坐标位置信息、所述运算服务单元列表利用动态分配运算资源及效能优化的规则确定出运算服务单元信息作为所述运算资源，并将所述运算服务单元信息发送给运算请求端1。运算请求端1接收到所述运算服务单元信息后将所述待检测图像、所述待检测图像中的瑕疵预选区域的坐标位置信息及所述运算服务单元信息发送给运算服务端3。本实施方式中，运算请求端1还用于将所述待检测图像、所述待检测图像中的瑕疵预选区域的坐标位置信息及所述运算服务单元信息发送给代理服务器2中的检测及运算任务完成管理单元25以确保所述待检测图像及所述待检测图像中的瑕疵预选区域的坐标位置信息已进行发送动作。所述运算服务端3接收到运算请求端1发送的所述待检测图像、所述待检测图像中的瑕疵预选区域的坐标位置信息及所述运算服务单元信息后发出一接收完成信息给检测及运算任务完成管理单元25以确保所述待检测图像中的瑕疵预选区域的坐标位置信息已进行接收动作。

所述运算服务端3还用于根据所述运算服务单元信息调用与所述运算服务单元信息对应的运算服务单元对所述待检测图像与所述待检测图像中的瑕疵预选区域的坐标位置信息进行运算处理得到运算处理结果；将运算完成信息发送给代理服务器2的检测及运算任务完成管理单元24。所述检测及运算任务完成管理单元24将所述运算完成信息发送给运算请求端1。运算请求端1根据所述运算完成信息等待运算服务端3的通知接收运算服务端3发送的运算处理结果。运算服务端3将所述运算处理结果发送给运算请求端1。当运算请求端1接收到运算服务端3发送的运算处理结果时将接收完成信息发送给所述检测及运算任务完成管理单元24以确保所述运算处理结果由运算服务端3发送给运算请求端1。

本实施方式中，运算请求端1与代理服务器2之间的数据传送、代理服务器2与运算服务端3之间的数据传输、运算请求端1与运算服务端3之间的数据传输通过数据加密的方式传输。

本实施方式中，代理服务器2还用于接收新增的运算请求端1根据配置在运算请求端1中的配置文档发送的包含第一验证信息的第一请求连接命令；检测所述第一请求连接命令中的第一验证信息与存储在代理服务器2的检测服务连接授权单元（图中未示）中的第一预设验证信息是否一致；当所述第一请求连接命令中的第一验证信息与所述第一预设验证信息一致时控制代理服务器2与运算请求端1连接；及根据运算请求端1的设备信息生成对应的监测任务，并将生成的任务放入第一设备监测任务容器222中。

本实施方式中，代理服务器2还用于接收新增的运算服务端3根据配置在运算服务端3中的配置文档发送的包含第二验证信息的第二请求连接命令；检测所述第二请求连接命令中的第二验证信息与存储在代理服务器2的运算服务连接授权单元中的第二预设验证信息是否一致；当所述第二请求连接命令中的第二验证信息与所述第二预设验证信息一致时控制代理服务器2与运算服务端3连接；及根据运算服务端3的设备信息生成对应的监测任务，并将生成的任务放入第二设备监测任务容器223中。

代理服务器2还用于通过第一设备监测任务容器222接收运算请求端1回复的关机状态信息。本实施方式中，第一设备监测任务容器222向运算请求端1持续每秒发送心跳包以确认运算请求端1的网络连接状态，并接收运算请求端1回复的关机状态信息。代理服务器2控制代理服务器2的运行状态记录器226记录运算请求端1的关机状态信息；控制设备状态收集与发送器227根据运算请求端1的关机状态信息从运算请求端1的列表清单中移除运算请求端1以对运算请求端1的列表清单进行更新得到更新后的运算请求端1的列表清单；根据更新后的所述列表清单中的运算请求端1的运算任务与运算服务端3的运算能力信息重新进行资源与效率适化的处理。

代理服务器2还用于通过第二设备监测任务容器223侦测到运算服务端3没有反馈状态信息时，例如，第二设备监测任务容器223向运算服务端3持续每秒发送心跳包以确认运算服务端3反馈的网络连接状态，并能够接收运算服务端3回复的状态信息。代理服务器2控制运行状态记录器226记录运算服务端3反馈的状态信息，控制设备状态收集与发送器227根据运算服务端3反馈的状态信息从运算服务端3的列表清单中移除运算服务端3以对运算服务端3的列表清单进行更新。代理服务器2根据运算请求端1的运算任务及更新后的所述列表清单中的运算服务端3的运算能力信息重新进行资源与效率适化的处理。

本实施方式中，当运算服务端3在预设时间范围内没有任务时，运算服务端3向代理服务器2发送休眠通知并进入休眠。代理服务器2还用于通过第三设备监测任务容器224侦测运算服务端3发送的休眠通知，根据所述休眠通知删除与运算服务端3对应的第二设备监测任务容器223，新增一个与运算服务端3对应的第三设备监测任务容器224，并将新增的第三设备监测任务容器224记录在运行状态记录器226中；将运行状态记录器226中的休眠的运算服务端3作为待唤醒的运算服务端3；根据确定出的待唤醒的运算服务端3唤醒所述待唤醒的运算服务端3，将与所述待唤醒的运算服务端3对应的第三设备监测任务容器224移除，并新增与所述待唤醒的运算服务端3对应的第二设备监测任务容器223。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (16)

1.一种运算资源分配和管理方法，用以管理远端的运算任务，所述方法包括：

与远端的运算请求端和运算服务端建立通信连接，所述运算请求端包括至少二个运算请求单元，所述运算服务端包括至少二个运算服务单元；

生成运算管理记录，所述运算管理记录至少包括所述运算请求单元和所述运算服务单元的身份信息；

接收来自运算请求单元的运算任务；

根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个所述运算服务单元，并根据分配结果得到分配信息，所述根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个所述运算服务单元包括：确定所述运算任务对应的运算请求单元；根据所述运算管理记录判断所述运算任务对应的任务规范；根据所述运算任务和所述任务规范判断所述运算任务的运算复杂度；根据运算复杂度和运算能力判断所述运算任务的任务执行模式；其中，所述根据运算复杂度和运算能力判断所述运算任务的任务执行模式包括：根据运算复杂度和运算能力将单台运算服务端与单台运算请求端进行匹配；判断单台运算服务端的计算时间是否满足所述运算任务的运算任务完成的循环时间；当单台运算服务端的计算时间满足所述运算任务的运算任务完成的循环时间时采用全运算模式；当运算服务端的计算时间没有满足所述运算任务的运算任务完成的循环时间时采用重点计算模式，其中所述全运算模式是指将所述运算请求端中的全部检测数据进行100%的运算，所述重点计算模式是指将所述运算请求端中的部分检测数据进行运算；

发送所述分配信息给发送所述运算任务的运算请求单元；

接收所述一或多个所述运算服务单元发送的对应于所述运算任务的任务进度信息；及

根据所述任务进度信息更新所述运算管理记录。

2.如权利要求1所述的运算资源分配和管理方法，所述与远端的运算请求端和运算服务端建立通信连接包括：

接收来自所述运算请求单元和/或运算服务单元的请求连接命令，所述请求连接命令包含第一验证信息；

检测所述验证信息与预设验证信息是否一致；及

当所述验证信息与所述预设验证信息一致时，与所述运算请求单元和/或运算服务单元建立连接。

3.如权利要求1所述的运算资源分配和管理方法，所述运算管理记录至少还包括对应于各运算请求单元的任务数据信息和任务规范信息，和对应于各运算服务单元的运算能力信息和服务状态信息。

4.如权利要求3所述的运算资源分配和管理方法，所述运算管理记录包括运算请求单元列表，所述运算请求单元列表记录有所述运算请求单元的身份信息、所述任务数据信息和所述任务规范信息，运算服务单元列表，所述运算服务单元列表记录有所述运算服务单元的身份信息、所述运算能力信息和所述服务状态信息，和运算任务列表，所述运算任务列表记录有所述运算任务。

5.如权利要求1所述的运算资源分配和管理方法，所述运算复杂度包括至少下列一者：运算任务完成的循环时间、所述运算请求端与所述运算服务端的匹配方式、任务优先级、所述运算请求单元的数量、任务结果精确度。

6. 如权利要求1所述的运算资源分配和管理方法，所述根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个运算服务单元的步骤还包括：

根据所述运算管理记录确认可执行任务的一或多个运算服务单元；及

分配所述运算任务给可执行任务的运算服务单元。

7.如权利要求6所述的运算资源分配和管理方法，所述分配所述运算任务给可执行任务的运算服务单元的步骤还包括：

分配所述运算任务给无任务执行中的运算服务单元。

8.如权利要求1所述的运算资源分配和管理方法，所述发送所述分配信息给发送所述运算任务的运算请求单元的步骤还包括：

发送所述运算任务的分配信息给所述运算服务单元。

9. 如权利要求1所述的运算资源分配和管理方法，所述接收对应于所述运算任务的任务进度信息的步骤还包括：

从一或多个所述运算服务单元接收所述运算任务的运算结果；及

从所述运算请求单元接收所述运算任务的服务确认信息。

10.如权利要求9所述的运算资源分配和管理方法，所述从所述运算请求单元接收所述运算任务的服务确认信息的步骤还包括：

从一或多个所述运算服务单元接收服务完成信息；

发送所述服务完成信息给所述运算请求单元；及

接收所述运算请求单元发送的运算任务的服务确认信息。

11. 如权利要求1所述的运算资源分配和管理方法，所述方法还包括：

监测所述运算服务端的运算服务单元的连接状态和服务状态；及

根据所述连接状态和服务状态更新所述运算管理记录。

12.如权利要求11所述的运算资源分配和管理方法，所述根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个运算服务单元还包括：

判断所述连接状态为第一连接状态的运算服务单元的运算能力是否满足所述运算任务；

当所述第一连接状态的运算服务单元不满足所述运算任务时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元；

确认所述连接状态为第二连接状态的运算服务单元的连接状态更新为第一连接状态；及

分配所述运算任务给状态更新后的运算服务单元。

13.如权利要求11所述的运算资源分配和管理方法，所述根据所述运算任务和所述运算管理记录分配所述运算任务给所述运算服务端的其中一或多个运算服务单元还包括：

判断所述运算服务单元的连接状态是否为第一连接状态；

当所述运算服务单元的连接状态不是第一连接状态时，发送状态更新请求给所述连接状态为第二连接状态的运算服务单元；

确认所述运算服务单元的连接状态更新为第一连接状态；

分配所述运算任务给所述运算服务单元；及

发送更新的分配信息给第一运算请求单元。

14. 如权利要求11所述的运算资源分配和管理方法，所述根据所述连接状态更新所述运算管理记录的步骤还包括：

判断所述运算服务单元的服务状态是否为第一连接状态；及

当所述运算服务单元的服务状态不是第一连接状态时，发送状态更新请求使所述运算服务单元进入第二连接状态。

15. 如权利要求14所述的运算资源分配和管理方法，所述发送状态更新请求使所述运算服务单元进入第二连接状态的步骤还包括：

判断所述运算服务单元不处于第一服务状态是否超过预设时间阈值；及

在所述运算服务单元不处于第一服务状态超过预设时间阈值时发送状态更新请求使所述运算服务单元进入第二连接状态。

16.一种代理服务器，所述代理服务器包括处理器和电连接于所述处理器且存储有计算机可读程序的存储器，所述处理器用于执行所述存储器中存储的计算机可读程序时实现如权利要求1-15中任一项所述运算资源分配和管理方法。