CN116128705A - 算子模型、图像处理方法、图像处理装置以及存储介质 - Google Patents

Abstract

本申请公开了一种算子模型、图像处理方法、图像处理装置以及存储介质，该算子模型包括通用执行库组件与功能模型；通用执行库组件用于获取初始数据，并向功能模型输入与初始数据对应的初始特征参数，其中，初始特征参数由初始数据根据标准化模板转换；功能模型用于按照对应的功能类型对初始特征参数进行处理以获得最终特征参数。通过上述算子模型对图像进行处理时，本申请能够利用算子模型实现输入与输出的数据参数之间类型统一，不同算子模型之间的数据参数可以通用复用，减少由于数据之间转换造成的时间及人力上的浪费。

Description

算子模型、图像处理方法、图像处理装置以及存储介质

技术领域

本申请涉及算法处理领域，特别是涉及一种算子模型、图像处理方法、图像处理装置以及存储介质。

背景技术

随着计算机技术的不断发展，人工智能技术作为计算机技术的一个分支也在不断进步发展，并逐渐渗透在人们的日常生活中。人工智能技术是为了使原本单纯由程序控制的机器变为能够像人类一样工作，操作和反应的智能机器。因此，在越来越多的应用程序中，采用人工智能算法模型来实现复杂的功能，将应用程序转变为计算机控制的机器人或设计完全按照人类思维方式思考和反应的软件。

在一应用场景中，根据业务需求，一个应用程序中采用的算法应用方案中可以包括若干个算子，每个算子负责一种或几种相近功能的处理，因此存在每个算子中的输入与输出参数之间存在差异，需要开发与每个算子负责的业务对应的组件的问题，导致开发人员的工作量增加。

发明内容

本申请主要解决的技术问题是如何使每个算子输入与输出的参数统一，对此，本申请提供一种算子模型、图像处理方法、图像处理装置以及存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种算子模型，该模型包括：通用执行库组件与功能模型；通用执行库组件用于获取初始数据，并向功能模型输入与初始数据对应的初始特征参数，其中，初始特征参数由初始数据根据标准化模板转换；功能模型用于按照对应的功能类型对初始特征参数进行处理以获得最终特征参数。

其中，通用执行库组件用于基于功能模型的功能类型将初始数据转换为对应的初始特征参数。

其中，标准化模板包括功能特征、特征、特征值和/或值；其中，每个特征值包括若干值与特征值对应的功能类型；每个特征包括若干特征值；每个功能特征包括若干特征与功能特征对应的功能类型；初始数据包括若干功能特征；初始特征参数为初始数据根据标准化模板转换的特征值。

其中，初始特征参数与最终特征参数的数据类型可以为整型、字符型、字符串型、浮点型。

其中，最终特征参数中包括功能标识，功能标识用于表示最终特征参数实现的功能。

其中，初始数据可以为其他算子模型输出的最终特征参数，或者预设数据结构的图像信息。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理方法，该方法包括：获取待处理图像；通过使用一个或多个上述算子模型对待处理图像进行处理以获得最终特征参数；对最终特征参数进行特征翻译得到图像处理结果。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理装置，该图像处理装置包括处理器和存储器，存储器与处理器耦接，存储器存储有程序数据，处理器用于执行程序数据以实现如上述的图像处理方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储有程序数据，程序数据在被执行时，用于实现上述的图像处理方法。

本申请的有益效果是：区别于现有技术的情况，本发明提供的算子模型用于实现图像处理方法，算子模型包括通用执行库组件与功能模型；通用执行库组件用于获取初始数据，并向功能模型输入与初始数据对应的初始特征参数，其中，初始特征参数由初始数据根据标准化模板转换；功能模型用于按照对应的功能类型对初始特征参数进行处理以获得最终特征参数。通过上述算子模型，与常规的算子模型相比，本申请提供的算子模型通过使用通用执行库组件将初始数据转换为特征参数，再利用功能模型对特征参数进行处理获得想要的特征参数，使得输入与输出的参数类型一致。负责不同功能类型的不同算子模型之间的输出和输入参数互相通用，不需要对每个算子模型的输出进行转换再输入别的算子模型之中，减少了相关开发人员的工作量。相比于常规的算子模型，本申请中的算子模型可以根据不同的业务需求进行部署，通用执行库组件能够适配满足所有业务需求的功能模型，减少不同算子模型之间输出参数的匹配过程，降低业务处理出错的概率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1是本申请提供的算子模型一实施例的结构示意图。

图2是本申请提供的算子模型中应用的标准化模板的结构示意图；

图3是本申请提供的图像处理方法一实施例的流程示意图；

图4是本申请提供的图像处理装置应用于工人着装规范检查的流程示意图；

图5是本申请提供的图像处理装置第一实施例的结构示意图；

图6是本申请提供的图像处理装置第二实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供的算子模型主要应用于基于算法以实现的业务处理方案之中，算子模型主要包括一个通用执行库组件和用于实现业务功能的功能模型，整个业务处理方案可以根据业务处理的需求由一个或多个算子模型构成。每个业务处理方案可以有不同的功能，例如，可以用于网络风险分析、交易风险分析，也可以用于图像分析、语音分析，还可以用于智能决策，在此不做限定。

算法模型是为了求解给定的问题而经过充分设计的计算过程和数学模型，它作为人工智能的基础，将机器向人类过渡，在各种业务的应用场景如网络安全、图像处理、风险管控、智能决策等中都广泛使用。

本申请中涉及的算子模型以及与其对应的功能模型的种类可以不受限制，

参阅图1，图1是本申请提供的算子模型一实施例的结构示意图。

具体地，算子模型10包括通用执行库组件11和功能模型12。

具体地，通用执行库组件11获取初始数据，并向功能模型12输入与初始数据对应的初始特征参数，其中，初始特征参数由初始数据根据标准化模板转换。

具体地，初始数据可以根据算子模型所要处理的业务而有不同的类型，例如，在图像处理中初始数据可以为原始图像或视频等可视化帧，在风险管控中初始数据可以为相关的金融数据，在语音分析中初始数据可以为原始音频等，在此不做限定。

具体地，通用执行库组件11可以基于功能模型12的功能类型将初始数据转换为对应的初始特征参数。例如，在检查识别图像指定区域的工人着装情况的算子模型中，通用执行库组件11获取的初始数据包括图像中的指定区域信息，通用执行库组件11需要将该指定区域信息转换为功能模型12可以识别的位置特征，即初始特征参数。

具体地，初始特征参数为初始数据根据标准化模板转换的特征值。

参阅图2，图2为本申请提供的算子模型中应用的标准化模板的结构示意图。

具体地，标准化模板包括功能特征、特征、特征值和/或值；其中，每个特征值包括若干值与特征值对应的功能类型及值的数量；每个特征包括若干特征值及特征值的数量；每个功能特征包括若干特征与功能特征对应的功能类型及特征的数量；初始输入/输出的数据包括若干功能特征及功能特征的数量。

例如，在工人着装规范检查的业务处理方案中，功能特征可以为工人着装特征，工人着装特征包括工人位置特征、工服特征、口罩特征三个特征。工人位置特征对应的功能类型为描述工人的位置，工人位置包括工人在图像中的坐标，作为对应的特征值，特征值包括四个数据作为特征值的取值。

具体地，初始数据可以为其他算子模型输出的最终特征参数，或者预设数据结构的图像信息。每个算子模型不仅可以接收与业务要求相关且不耦合的初始数据，例如在机器视觉的智能处理方案中可以为一种或几种描述图像信息的数据结构，包括图像的宽度、高度和深度等，也可以是由其他算子模型输出的最终特征参数。

例如，在工人着装规范检查的业务处理方案中，可以包括三个算子模型，工人检测算子模型、工服识别算子模型和口罩识别算子模型。输入的初始数据为含有工人的图像，通用执行库组件11将含有工人的图像转换为图像参数作为初始特征参数，输入工人检测算子模型中，工人检测算子模型将图像参数转换为工人位置特征，再作为初始数据输入工服识别算子模型和口罩识别算子模型中进行后续的处理。

本申请中的算子模型通过使用通用执行库组件将输入与输出数据统一为特征参数，可以让每个算子模型之间得到的特征参数能够互相使用而不受数据参数之间存在差异的影响。在同一业务处理方案中，不同算子模型之间只需要使用同一通用执行库组件，且对应的功能模型输入与输出的也是统一的特征参数，仅仅是功能类型上存在差异。算子模型减少了开发人员的工作量，且对于与业务处理方案对应的业务处理系统的维护，减少了需要维护的组件，提高了维护效率。

具体地，功能模型12按照对应的功能类型对初始特征参数进行处理以获得最终特征参数。

具体地，初始特征参数和最终特征参数的数据类型可以为短整型、整型、长整型、字符型、单精度浮点型、双精度浮点型、字符串型等基本数据类型。

例如，在工人着装规范检查的业务处理方案中，可以包括三个算子模型，工人检测算子模型、工服识别算子模型和口罩识别算子模型。输入的初始数据为含有工人的图像，通用执行库组件11将含有工人的图像转换为图像参数作为初始特征参数，输入对应的功能模型12，不同的功能模型12根据对应的业务功能类型将图像参数转换为工人的位置特征、工服特征和口罩特征。

其中，位置特征可以用工人在图像中的矩形框坐标表示，即可以用四个整型数据来表示位置特征，前两个数据表示矩形框左上角点坐标，后两个表示矩形框右下角坐标；工服特征可以用两个整型数据来表示，第一个整形数据为非0时，可以表示该工人穿着工服，否则则代表没有穿着工服，第二个整形数据的取值可以表示工服的类型，如取值为1时为工人穿着红色的工服，取值为2时工人穿着蓝色的工服等；口罩特征可以用一个布尔型数据表示，当该数据取值为真时，代表该工人戴了口罩，当该数据取值为假时，代表该工人没有戴口罩。

具体地，初始特征参数和最终特征参数可以为一种或几种不同且与业务没有耦合的数据类型，且输出的最终特征参数的数量可以大于一。当输出了多个最终特征参数时，还需要输出其对应的数量，以供后续的算子模型能够准确对特征参数识别。

例如，在工人着装规范检查的业务处理方案中，可能检测到多个工人，每个工人对应一个位置特征，工人检测算子模型将输出多个工人位置特征以及对应的数量，以便在输入后续的工服识别算子模型和口罩识别算子模型过程中，每个工人都能获取到对应的工服特征和位置特征。

具体地，最终特征参数中包括功能标识，功能标识用于表示最终特征参数实现的功能。例如，当上述例子中通过口罩识别算子模型得到口罩特征的取值为真后，还会在特征值中加入功能标识，以表示此特征值用于表示工人是否佩戴口罩。

可选地，功能标识还可以用于在将前一个算子模型输出的最终特征参数作为后一个算子模型输入的初始特征参数时，保证后一个算子模型能够准确识别输入的特征参数为自己想要的特征参数。当一个算子模型输出了多个特征参数时，后面的算子模型可以对每个特征参数的功能标识进行检验，以确定是否为自己需要的特征参数。例如，在工人着装规范检查特征翻译时，同时存在三种特征值，工人的位置特征、工服特征和口罩特征。如果输出时不需要工人的位置特征，仅需要工服和口罩的位置特征，后一算子模型即可根据功能标识对输出的特征参数进行筛选。

参阅图3，图3为本申请提供的图像处理方法一实施例的流程示意图。

步骤31：获取待处理图像。

具体地，图像处理装置根据用户的需求获取待处理图像。待处理图像可以包括若干图片或一段含有若干帧的视频，在此不做限定。

步骤32：通过使用一个或多个上述的算子模型对待处理图像进行处理以获得最终特征参数。

具体地，图像处理装置中可以根据图像处理的需求使用一个或多个上述的算子模型对待处理图像进行处理，得到每个算子模型输出的最终特征参数。例如，在对工人着装规范检查的业务处理方案中，可以使用三个算子模型，工人检测算子模型、工服识别算子模型和口罩识别算子模型对包含有工人的图像或者视频帧进行处理，得到工人坐标、工服属性和口罩属性三个最终特征参数。

步骤33：对最终特征参数进行特征翻译得到图像处理结果。

具体地，图像处理装置可以使用特征值含义字典对最终特征参数进行特征翻译得到属性类型；根据属性类型得到图像处理结果。

具体地，特征值含义字典包括每个特征参数对应的属性类型，可以通过特征值含义字典将每个代表特征的数字翻译为对应的带有实际含义的属性类型。

例如，位置特征可以用工人在图像中的矩形框坐标表示，即可以用四个整型数据来表示位置特征，前两个数据表示矩形框左上角点坐标，后两个表示矩形框右下角坐标；工服特征可以用两个整型数据来表示，第一个整形数据为非0时，可以表示该工人穿着工服，否则则代表没有穿着工服，第二个整形数据的取值可以表示工服的类型，如取值为1时为工人穿着红色的工服，取值为2时工人穿着蓝色的工服等；口罩特征可以用一个布尔型数据表示，当该数据取值为真时，代表该工人戴了口罩，当该数据取值为假时，代表该工人没有戴口罩。

具体地，图像处理装置需要对经过算子模型处理所得的最终特征参数进行翻译之后才能得到最终的图像处理结果。由于整个图像处理装置采用统一的输入与输出的数据结构即特征参数，可以让一个通用执行库组件能在图像处理装置中的所有算子模型中使用，通用执行库组件只需要负责数据的输入与输出，而并不需要考虑输入与输出数据之间的差异，减少了开发人员与维护人员的工作量，提高了图像处理的效率。

下面以图4为例，说明在一实际应用场景中使用图像处理装置对图像进行处理的过程。参阅图4，图4为本申请提供的图像处理装置应用于工人着装规范检查的流程示意图。

具体地，图像处理装置内包括三个算子模型：工人检测算子、工服识别算子与口罩识别算子。每个算子模型都包含一个通用执行库组件和与算子模型对应的功能模型，用于实现相应的功能。

图像处理装置在获取与工人相关的图像或者视频帧后，将图像或者视频帧传入工人检测算子之中。工人检测算子中的通用执行库组件将含有工人的图像转换为图像参数作为初始特征参数，发送给工人检测模型。工人检测模型根据对应的功能特征将图像参数转换为工人的位置特征，由四个整型数据来表示，如(1,20,12,5)，其中前两个数据表示矩形框左上角点坐标(1,20)，后两个表示矩形框右下角坐标(12,5)。工人检测模型将位置特征返回给工人检测算子中的通用执行库组件，若存在多个工人的位置特征，则还会返回位置特征的数量。

工人检测算子中的通用执行库组件分别将工人的位置特征发送给工服识别算子与口罩识别算子，两个算子模型同时对位置特征进行处理。工服识别算子中的通用执行库组件收到位置特征后，将位置特征发送给工服识别模型，由工服识别模型对位置特征进行转换，得到工人的工服特征。工服特征可以用两个整型数据来表示，如(1,2)，其中第一个整形数据为非0时，可以表示该工人穿着工服，否则则代表没有穿着工服，第二个整形数据的取值可以表示工服的类型，如取值为1时为工人穿着红色的工服，取值为2时工人穿着蓝色的工服等。

口罩识别算子中的通用执行库组件收到位置特征后，将位置特征发送给口罩识别模型，由口罩识别模型对位置特征进行转换，得到工人的口罩特征。口罩特征可以用一个布尔型数据表示，当该数据取值为真时，代表该工人戴了口罩，当该数据取值为假时，代表该工人没有戴口罩。

工人的工服特征和口罩特征由其相应的算子模型中的通用执行库组件发送给图像处理装置中的特征翻译模块，以使用特征值含义字典对得到的位置特征、工服特征和口罩特征进行翻译。特征值含义字典中为每个功能类型对应的特征参数提供翻译为具体的特征的解读方式，以供对应的处理人员能够根据解读结果获得图像处理的结果。

区别于现有技术的情况，本发明提供的算子模型用于实现图像处理方法，算子模型包括通用执行库组件与功能模型；通用执行库组件用于获取初始数据，并向功能模型输入与初始数据对应的初始特征参数，其中，初始特征参数由初始数据根据标准化模板转换；功能模型用于按照对应的功能类型对初始特征参数进行处理以获得最终特征参数。通过上述算子模型，与常规的算子模型相比，本申请提供的算子模型通过使用通用执行库组件将初始数据转换为特征参数，再利用功能模型对特征参数进行处理获得想要的特征参数，使得输入与输出的参数类型一致。负责不同功能类型的不同算子模型之间的输出和输入参数互相通用，不需要对每个算子模型的输出进行转换再输入别的算子模型之中，减少了相关开发人员的工作量。相比于常规的算子模型，本申请中的算子模型可以根据不同的业务需求进行部署，通用执行库组件能够适配满足所有业务需求的功能模型，减少不同算子模型之间输出参数的匹配过程，降低业务处理出错的概率。

上述实施例的方法，可以利用一图像处理装置来实现，下面结合图5进行描述，图5是本申请提供的图像处理装置第一实施例的结构示意图。

如图5所示，本申请实施例的图像处理装置50包括获取模块51、处理模块52和翻译模块53。

其中，获取模块51，用于获取待处理图像。

处理模块52，用于通过使用一个或多个算子模型对待处理图像进行处理以获得最终特征参数，其中使用的算子模型为上述图1至图3所描述的算子模型。

翻译模块53，用于对最终特征参数进行特征翻译得到图像处理结果。

上述实施例的方法，可以利用一图像处理装置来实现，下面结合图6，图6是本申请提供的图像处理装置第二实施例的结构示意图，该图像处理装置60包括存储器61和处理器62，存储器61用于存储程序数据，处理器62用于执行程序数据以实现如下的方法：

获取待处理图像；通过使用一个或多个算子模型对待处理图像进行处理以获得最终特征参数；对最终特征参数进行特征翻译得到图像处理结果。

参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质70存储有程序数据71，程序数据71在被处理器执行时，用于实现如下的方法：

获取待处理图像；通过使用一个或多个算子模型对待处理图像进行处理以获得最终特征参数；对最终特征参数进行特征翻译得到图像处理结果。

本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种算子模型，其特征在于，所述算子模型包括：通用执行库组件与功能模型；

所述通用执行库组件用于获取初始数据，并向所述功能模型输入经过筛选且与所述初始数据对应的初始特征参数，其中，所述初始特征参数由所述初始数据根据标准化模板转换；

所述功能模型用于按照对应的功能类型对所述初始特征参数进行处理以获得最终特征参数。

2.根据权利要求1所述的算子模型，其特征在于，

所述通用执行库组件用于基于所述功能模型的功能类型将所述初始数据转换为对应的所述初始特征参数。

3.根据权利要求2所述的算子模型，其特征在于，

所述标准化模板包括功能特征、特征、特征值和/或值；

其中，每个所述特征值包括若干所述值与所述特征值对应的功能类型；

每个所述特征包括若干所述特征值；

每个所述功能特征包括若干所述特征与所述功能特征对应的功能类型；

所述初始数据包括若干所述功能特征；

所述初始特征参数为所述初始数据根据所述标准化模板转换的所述特征值。

4.根据权利要求3所述的算子模型，其特征在于，

所述初始特征参数与所述最终特征参数的数据类型可以为整型、字符型、字符串型、浮点型。

5.根据权利要求1所述的算子模型，其特征在于，

所述最终特征参数中包括功能标识，所述功能标识用于表示所述最终特征参数实现的功能。

6.根据权利要求1所述的算子模型，其特征在于，

所述初始数据可以为其他所述算子模型输出的所述最终特征参数，或者预设数据结构的图像信息。

7.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取待处理图像；

通过使用一个或多个如权利要求1至6任意一项所述的算子模型对所述待处理图像进行处理以获得最终特征参数；

对所述最终特征参数进行特征翻译得到图像处理结果。

8.根据权利要求7所述的图像处理方法，其特征在于，

所述对所述最终特征参数进行翻译得到图像处理结果，包括：

使用特征值含义字典对所述最终特征参数进行特征翻译得到属性类型；

根据所述属性类型得到所述图像处理结果。

9.一种图像处理装置，其特征在于，所述图像处理装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以使用如权利要求1至6任意一项所述的算子模型，实现如权利要求7至8任一项所述的图像处理方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以使用如权利要求1至6任意一项所述的算子模型，实现如权利要求7至8任一项所述的图像处理方法。

Images