CN114840700A - 结合rpa和ai实现ia的图像检索方法、装置及电子设备 - Google Patents

Abstract

本公开提出一种结合RPA和AI实现IA的图像检索方法、装置及电子设备，该方法包括：基于机器人流程自动化RPA技术获取初始图像，其中，初始图像具有图像描述信息，基于人工智能AI技术从初始图像中截取初始区域图像，根据图像描述信息处理初始区域图像，得到目标区域图像，根据目标区域图像，检索目标内容。通过本公开，能够利用RPA结合人工智能AI实现图像检索的智能自动化IA，能够在图像检索之前及时地对图像进行预处理，以去除图像中的干扰信息，有效提升所得目标区域图像在检索过程中的针对性，有效降低干扰信息对检索过程的影响，从而有效提升图像检索效率和图像检索结果的准确性。

Description

结合RPA和AI实现IA的图像检索方法、装置及电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种结合RPA(Robotic ProcessAutomation，机器人流程自动化)和AI(Artificial Intelligence，人工智能)实现IA(Intelligent Automation，智能自动化)的图像检索方法、装置及电子设备。

背景技术

机器人流程自动化(Robotic Process Automation)简称RPA，是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。

人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

智能自动化(Intelligent Automation，IA)是一系列从机器人流程自动化到人工智能的技术总称，将RPA与光学字符识别(Optical Character Recognition，OCR)、智能字符识别(Intelligent Character Recognition，ICR)、流程挖掘(Process Mining)、深度学习(Deep Learning，DL)、机器学习(Machine Learning，ML)、自然语言处理(NaturalLanguage Processing，NLP)、语音识别(Automatic Speech Recognition，ASR)、语音合成(Text To Speech，TTS)、计算机视觉(Computer Vision，CV)等多种AI技术相结合，以创建能够思考、学习及自适应的端到端的业务流程，涵盖从流程发现、流程自动化，到通过自动而持续的数据收集、理解数据的含义，使用数据来管理和优化业务流程的整个历程。

相关技术中，当原始图像中主体部分占比较小时，采用人工标注对图像向量算法进行训练，或者，采用图像元信息的混合检索模式，以进行图像检索，导致图像检索的处理方式较为复杂，需要耗费较高的人工成本，且无法有效地保障图像检索效果。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种结合RPA和AI实现IA的图像检索方法、装置、电子设备及存储介质，能够利用RPA结合人工智能AI实现图像检索的智能自动化IA，能够在图像检索之前及时地对图像进行预处理，以去除图像中的干扰信息，有效提升所得目标区域图像在检索过程中的针对性，有效降低干扰信息对检索过程的影响，从而有效提升图像检索效率和图像检索结果的准确性。

本公开第一方面实施例提出的结合RPA和AI实现IA的图像检索方法，包括：基于机器人流程自动化RPA技术获取初始图像，其中，初始图像具有图像描述信息；基于人工智能AI技术从初始图像中截取初始区域图像；根据图像描述信息处理初始区域图像，得到目标区域图像；根据目标区域图像，检索目标内容。

在一种实施方式中，基于人工智能AI技术从初始图像中截取初始区域图像，包括：调用自然语言处理NLP服务，以识别初始图像中的主体信息；根据主体信息，确定主体对应于初始图像中的位置描述信息；从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像。

在一种实施方式中，在基于机器人流程自动化RPA技术获取初始图像之后，还包括：确定初始图像的图像尺度信息；和/或确定初始图像的像素特征信息；和/或确定针对初始图像指定的处理参数信息；将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息。

在一种实施方式中，图像描述信息包括：图像尺度信息；其中，根据图像描述信息处理初始区域图像，得到目标区域图像，包括：根据图像尺度信息对初始区域图像进行扩大处理；将扩大处理后的图像作为目标区域图像。

在一种实施方式中，图像描述信息包括：像素特征信息；其中，根据图像描述信息处理初始区域图像，得到目标区域图像，包括：获取初始图像区域中的区域像素；从像素特征信息中解析区域像素的区域像素特征；对初始图像区域中各个区域像素的区域像素特征进行增强处理，得到目标区域图像。

在一种实施方式中，图像描述信息包括：图像尺度信息和像素特征信息；其中，根据图像描述信息处理初始区域图像，得到目标区域图像，包括：根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，其中，待填充区域图像包括：待填充像素；从像素特征信息中解析待填充像素的第一像素特征；从像素特征信息中解析其他区域图像中区域像素的第二像素特征，其中，初始区域图像和其他区域图像共同构成初始图像；根据第一像素特征和第二像素特征，生成填充像素特征；根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像。

在一种实施方式中，图像描述信息包括：处理参数信息；其中，根据图像描述信息处理初始区域图像，得到目标区域图像，包括：根据处理参数信息处理初始区域图像，得到目标区域图像。

在一种实施方式中，根据目标区域图像，检索目标内容，包括：确定目标区域图像的语义表征信息；根据语义表征信息，检索目标内容。

在一种实施方式中，确定目标区域图像的语义表征信息，包括：从目标区域图像识别出目标物体轮廓；根据目标物体轮廓，确定物体轮廓信息；处理物体轮廓信息，得到轮廓向量表征；将轮廓向量表征作为语义表征信息。

在一种实施方式中，根据语义表征信息，检索目标内容，包括：确定与语义表征信息对应的候选相似度层级，其中，候选相似度层级属于预先构建的图状数据结构，候选相似度层级，是其相应所表征内容与初始图像之间的相似程度所属的层级；将图状数据结构中候选相似度层级所表征内容作为目标内容。

本公开第二方面实施例提出的结合RPA和AI实现IA的图像检索装置，包括：获取模块，用于基于机器人流程自动化RPA技术获取初始图像，其中，初始图像具有图像描述信息；第一处理模块，用于基于人工智能AI技术从初始图像中截取初始区域图像；第二处理模块，用于根据图像描述信息处理初始区域图像，得到目标区域图像；检索模块，用于根据目标区域图像，检索目标内容。

在一种实施方式中，第一处理模块，具体用于：调用自然语言处理NLP服务，以识别初始图像中的主体信息；根据主体信息，确定主体对应于初始图像中的位置描述信息；从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像。

在一种实施方式中，装置，还包括：确定模块，用于确定初始图像的图像尺度信息；和/或确定初始图像的像素特征信息；和/或确定针对初始图像指定的处理参数信息；并将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息。

在一种实施方式中，图像描述信息包括：图像尺度信息；其中，第二处理模块，具体用于：根据图像尺度信息对初始区域图像进行扩大处理；将扩大处理后的图像作为目标区域图像。

在一种实施方式中，图像描述信息包括：像素特征信息；其中，第二处理模块，还用于：获取初始图像区域中的区域像素；从像素特征信息中解析区域像素的区域像素特征；对初始图像区域中各个区域像素的区域像素特征进行增强处理，得到目标区域图像。

在一种实施方式中，图像描述信息包括：图像尺度信息和像素特征信息；其中，第二处理模块，还用于：根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，其中，待填充区域图像包括：待填充像素；从像素特征信息中解析待填充像素的第一像素特征；从像素特征信息中解析其他区域图像中区域像素的第二像素特征，其中，初始区域图像和其他区域图像共同构成初始图像；根据第一像素特征和第二像素特征，生成填充像素特征；根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像。

在一种实施方式中，图像描述信息包括：处理参数信息；其中，第二处理模块，还用于：根据处理参数信息处理初始区域图像，得到目标区域图像。

在一种实施方式中，检索模块，包括：确定子模块，用于确定目标区域图像的语义表征信息；检索子模块，用于根据语义表征信息，检索目标内容。

在一种实施方式中，确定子模块，具体用于：从目标区域图像识别出目标物体轮廓；根据目标物体轮廓，确定物体轮廓信息；处理物体轮廓信息，得到轮廓向量表征；将轮廓向量表征作为语义表征信息。

在一种实施方式中，检索子模块，具体用于：确定与语义表征信息对应的候选相似度层级，其中，候选相似度层级属于预先构建的图状数据结构，候选相似度层级，是其相应所表征内容与初始图像之间的相似程度所属的层级；将图状数据结构中候选相似度层级所表征内容作为目标内容。

本公开第三方面实施例提出的电子设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行本公开第一方面实施例提出的结合RPA和AI实现IA的图像检索方法。

本公开第四方面实施例提出的计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现本公开第一方面实施例提出的结合RPA和AI实现IA的图像检索方法。

上述技术方案中的优点或有益效果至少包括：通过基于机器人流程自动化RPA技术获取初始图像，基于人工智能AI技术从初始图像中截取初始区域图像，根据图像描述信息处理初始区域图像，得到目标区域图像，根据目标区域图像，检索目标内容，能够利用RPA结合人工智能AI实现图像检索的智能自动化IA，能够在图像检索之前及时地对图像进行预处理，以去除图像中的干扰信息，有效提升所得目标区域图像在检索过程中的针对性，有效降低干扰信息对检索过程的影响，从而有效提升图像检索效率和图像检索结果的准确性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本公开进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开的一些实施方式，而不应将其视为是对本公开范围的限制。

图1是本公开一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图；

图2是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图；

图3是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图；

图4是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图；

图5是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图；

图6是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图

图7是本公开一实施例提出的结合RPA和AI实现IA的图像检索装置的结构示意图；

图8是本公开另一实施例提出的结合RPA和AI实现IA的图像检索装置的结构示意图；

图9示出根据本公开一实施例的电子设备的结构框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。

在本公开的描述中，术语“多个”指两个或两个以上。

在本公开的描述中，术语“机器人流程自动化(Robotic Process Automation，RPA)”，是指通过机器人应用软件在计算机上按照规则自动执行流程任务。

在本公开的描述中，术语“人工智能(Artificial Intelligence，AI)”，是指研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

在本公开的描述中，术语“智能自动化(Intelligent Automation，IA)”，是指一系列从机器人流程自动化到人工智能的技术总称，将RPA与光学字符识别(OpticalCharacter Recognition，OCR)、智能字符识别(Intelligent Character Recognition，ICR)、流程挖掘(Process Mining)、深度学习(Deep Learning，DL)、机器学习(MachineLearning，ML)、自然语言处理(Natural Language Processing，NLP)、语音识别(AutomaticSpeech Recognition，ASR)、语音合成(Text To Speech，TTS)、计算机视觉(ComputerVision，CV)等多种AI技术相结合，以创建能够思考、学习及自适应的端到端的业务流程，涵盖从流程发现、流程自动化，到通过自动而持续的数据收集、理解数据的含义，使用数据来管理和优化业务流程的整个历程。

在本公开的描述中，术语“初始图像”，是指待对其进行检索处理的图像，该初始图像例如可以为交通监控装置拍摄的汽车图像，或者可以为任意种类的包含检索对象的图像，对此不作限制。

在本公开的描述中，术语“图像描述信息”，是指对初始图像的一个或多个相关特征进行描述的数据信息，该图像描述信息，可以用于对图像进行多维度的特征描述，而特征例如，尺度特征、像素特征等，该图像描述信息，可以具体例如为初始图像的图像尺度信息、和/或像素特征信息、和/或处理参数信息等，对此不做限制。

在本公开的描述中，术语“初始区域图像”，是指采用基于人工智能AI技术从初始图像中所截取得到的部分图像，该初始区域图像中可以包括目标区域图像。

在本公开的描述中，术语“目标区域图像”，是指以图像描述信息作为参考依据，对初始区域图像进行处理，所得到的图像。

在本公开的描述中，术语“目标内容”，是指在该图像检索过程中，以目标区域图像作为检索参考依据，对其进行检索得到的内容，该目标内容可以例如为检索得到的图片、对检索到图片进行描述的文本、音视频等，对此不做限制。

在本公开的描述中，术语“主体”，是指初始图像中所包含的主要描述对象，例如人物肖像图中的人物、汽车展示图中的汽车等，对此不做限制。

在本公开的描述中，术语“主体信息”，是指初始图像中所包含的检索对象的相关信息，例如检索对象在初始图像中的位置信息、面积信息等，对此不做限制。

在本公开的描述中，术语“位置描述信息”，可以被用于描述主体在初始图像中所处位置的相关信息，例如主体在初始图像中的分布情况以及所占比例等，对此不做限制。

在本公开的描述中，术语“图像尺度信息”，可以是指被用于描述初始图像尺度的相关信息，例如初始图像的尺寸、面积等，对此不做限制。

在本公开的描述中，术语“像素特征信息”，可以被用于描述初始图像中所包含像素的特征信息，例如像素的数量、颜色等，对此不做限制。

在本公开的描述中，术语“处理参数信息”，可以是指预先针对初始图像所指定的扩充倍数、填充颜色、亮度、色调、饱和度以及锐化程度等，对此不做限制。

在本公开的描述中，术语“区域像素”，是指初始图像区域中一个或多个图像区域对应的像素。

在本公开的描述中，术语“区域像素特征”，是指基于像素特征信息所获取的区域像素的相关特征，例如区域像素的数量、颜色等。

在本公开的描述中，术语“待填充区域图像”，是指基于图像尺度信息对初始区域图像进行扩大处理所得到的图像。

在本公开的描述中，术语“待填充像素”，是指待填充区域图像中需要进行填充的像素。

在本公开的描述中，术语“第一像素特征”，是指基于像素特征信息所获取的待填充像素的相关特征。

在本公开的描述中，术语“第二像素特征”，是指基于像素特征信息所获取的其他区域图像中区域像素的相关特征。

在本公开的描述中，术语“填充像素特征”，是指基于第一像素特征和第二像素特征所获取的像素特征，该填充像素特征，可以被用于作为待填充区域图像进行填充处理的参考依据。

在本公开的描述中，术语“语义表征信息”，可以被用于表征目标区域图像相关特征的信息。例如目标区域图像可以具备颜色特征，轮廓特征，线性特征、中心特征、对角性特征、纹理特征、局部特征以及形状特征等图像特征，对此不做限制。而语义表征信息，可以是指表征上述一个或多个图像特征的信息。

在本公开的描述中，术语“目标物体轮廓”，是指目标区域图像中所包含的检索目标物体的轮廓，例如人物图像中的人体轮廓、汽车图像中的汽车轮廓灯，对此不做限制。

在本公开的描述中，术语“物体轮廓信息”，是指基于目标物体轮廓所获取的相关信息。

在本公开的描述中，术语“轮廓向量表征”，是指可以表征物体轮廓信息，且映射于向量空间中的向量表征，该向量表征，可以是采用将特征映射于向量空间的方式得到的特征，例如轮廓特征。

在本公开的描述中，术语“候选相似度层级”，是指语义表征信息所表征内容与初始图像之间的相似程度在图状数据结构中所属的层级。

在本公开的描述中，术语“图状数据结构”，是指预先在向量检索库中以向量距离作为划分依据而建立的数据结构，图状数据结构，可以被用于在图像检索过程中以向量距离作为参考依据寻找候选相似度层级，以缩小检索范围。

智能自动化平台能够实现RPA、智能文档处理(Intelligent DocumentProcessing，IDP)、对话式AI(Conversational AI，CoAI)、流程挖掘(Process Mining)等多项能力的无缝集成，具有“业务理解”、“流程创建”、“随处运行”、“集中管控”、“人机协同”这五大类功能，为企业实现业务流程端到端的智能自动化，代替人工的操作，进一步提高业务效率，加速数字化转型。

智能文档处理(IDP)是智能自动化平台的核心能力之一。智能文档处理(Intelligent Document Processing，IDP)是基于光学字符识别(Optical CharacterRecognition，OCR)、计算机视觉(Computer Vision，CV)、自然语言处理(Natural LanguageProcessing，NLP)、知识图谱(Knowledge Graph，KG)等AI技术，对各类文档进行识别、分类、要素提取、校验、比对、纠错等处理，帮助企业实现文档处理工作的智能化和自动化的新一代自动化技术。

参照下面的描述和附图，将清楚本公开的实施例的这些和其他方面。在这些描述和附图中，具体公开了本公开的实施例中的一些特定实施方式，来表示实施本公开的实施例的原理的一些方式，但是应当理解，本公开的实施例的范围不受此限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述根据本公开实施例的结合RPA和AI实现IA的图像检索方法。

图1是本公开一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图。

本实施例以结合RPA和AI实现IA的图像检索方法被配置为结合RPA和AI实现IA的图像检索装置中来举例说明，本实施例中结合RPA和AI实现IA的图像检索方法可以被配置在结合RPA和AI实现IA的图像检索装置中，结合RPA和AI实现IA的图像检索装置可以设置在服务器中，或者也可以设置在电子设备中，本公开实施例对此不作限制。

本实施例以结合RPA和AI实现IA的图像检索方法被配置在电子设备中为例。其中，电子设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备。

需要说明的是，本公开实施例的执行主体，在硬件上可以例如为服务器或者电子设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者电子设备中的相关的后台服务，对此不作限制。

另外，本公开实施例中的“检索”，是指结合机器人流程自动化RPA和人工智能AI实现智能自动化IA的图像检索的过程，也即是说，该图像检索的过程是一个全流程自动化的图像检索的过程，并且该图像检索的过程还与人工智能AI相结合，实现自动化地进行自然语言处理(Natural Language Processing，NLP)领域中的图像检索。

本公开可以具体应用于人工智能AI的自然语言处理(Natural LanguageProcessing，NLP)领域，自然语言处理(Natural Language Processing，NLP)，即计算机科学，人工智能，语言学关注计算机和人类(自然)语言之间的相互作用的领域。

举例而言，本公开实施例中基于该全流程自动化的图像检索过程，可以实现全流程自动化地执行基于机器人流程自动化RPA技术获取初始图像，基于人工智能AI技术从初始图像中截取初始区域图像，根据图像描述信息处理初始区域图像，得到目标区域图像，根据目标区域图像，检索目标内容。

如图1所示，该结合RPA和AI实现IA的图像检索方法，包括：

S101：基于机器人流程自动化RPA技术获取初始图像，其中，初始图像具有图像描述信息。

其中，机器人流程自动化(Robotic Process Automation，RPA)，是指通过机器人应用软件在计算机上按照规则自动执行流程任务。

其中，初始图像，是指待对其进行检索处理的图像，该初始图像例如可以为交通监控装置拍摄的汽车图像，或者可以为任意种类的包含检索对象的图像，对此不作限制。

也即是说，本公开实施例中的一种应用场景可以具体例如为，采用机器人流程自动化RPA获取交通监控装置所拍摄的汽车图像，将该汽车图像作为初始图像，而后可以对获取的初始图像进行结合RPA和AI实现IA的图像检索，以确定该初始图像中的汽车信息，或者，本公开实施例描述的结合RPA和AI实现IA的图像检索方法，也可以应用于其他任意可能的图像检索场景中，对此不做限制。

其中，图像描述信息，是指对初始图像的一个或多个相关特征进行描述的数据信息，该图像描述信息，可以用于对图像进行多维度的特征描述，而特征例如，尺度特征、像素特征等，该图像描述信息，可以具体例如为初始图像的图像尺度信息、和/或像素特征信息、和/或处理参数信息等，对此不做限制。

本公开实施例中，在基于机器人流程自动化RPA技术获取初始图像时，可以预先配置应用程序数据接口，由RPA机器人按照预先设定好的软件操作流程，经由该应用程序数据接口接收用户与机器人进行交互的图像信息，并将获取的用户与机器人进行交互的图像信息作为初始图像。

另一些实施例中，也可以采用第三方图像收集装置，并预先建立本公开实施例的执行主体与该第三方图像收集装置的通信链接，基于机器人流程自动化RPA获取第三方图像收集装置所收集的图像，将其作为初始图像，或者，也可以采用其他任意可能的基于机器人流程自动化RPA的方式获取初始图像，对此不做限制。

S102：基于人工智能AI技术从初始图像中截取初始区域图像。

其中，人工智能(Artificial Intelligence，AI)，是指研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

其中，初始区域图像，是指基于人工智能AI技术从初始图像中所截取得到的部分图像，该初始区域图像中可以包括目标区域图像。

本公开实施例在基于机器人流程自动化RPA技术获取初始图像之后，可以基于人工智能AI技术从初始图像中截取初始区域图像。

本公开实施例中，在基于人工智能AI技术从初始图像中截取初始区域图像时，可以是采用人工智能AI识别初始图像中主体图像的边界信息，而后基于该边界信息从初始图像中截取初始区域图像。

另一些实施例中，也可以采用预训练的抠图模型对初始图像进行截取处理，以得到初始区域图像，或者，也可以采用其他任意可能的基于人工智能AI的方法从初始图像中截取初始区域图像，对此不做限制。

S103：根据图像描述信息处理初始区域图像，得到目标区域图像。

其中，目标区域图像，是指以图像描述信息作为参考依据，对初始区域图像进行处理，所得到的图像。

本公开实施例中，在根据图像描述信息处理初始区域图像，得到目标区域图像时，可以将图像描述信息和初始区域图像输入至预训练的图像处理模型中，以得到目标区域图像，并传输至本公开实施例的执行主体，或者，也可以采用其他任意可能的方法，如数学、工程学的方法，根据图像描述信息处理初始区域图像，得到目标区域图像，对此不做限制。

S104：根据目标区域图像，检索目标内容。

由此，本公开实施例可以有效结合RPA和AI实现图像检索过程的智能自动化(Intelligent Automation，IA)，从而有效提升图像检索的自动化程度，降低人工成本。

其中，目标内容，是指在该图像检索过程中，以目标区域图像作为检索参考依据，对其进行检索得到的内容，该目标内容可以例如为检索得到的图片、对检索到图片进行描述的文本、音视频等，对此不做限制。

本公开实施例中可以预先获取图像检索库，该图像检索库中可以包含上述目标内容，以实现根据目标区域图像，对图像检索库中相似图像的检索。

本公开实施例在上述根据图像描述信息处理初始区域图像，得到目标区域图像之后，可以根据目标区域图像，检索目标内容。

本公开实施例中，根据目标区域图像，检索目标内容时，可以确定目标区域图像的分类特征信息，而后基于该分类特征信息检索目标内容。

另一些实施例中，可以预先训练一个检索学习模型，该检索学习模型可以执行对目标区域图像的特征分析，并依据所得特征分析结果对图像检索库进行检索操作，或者，也可以采用其他任意可能方式根据目标区域图像，检索目标内容，对此不做限制。

本实施例中，通过基于机器人流程自动化RPA技术获取初始图像，基于人工智能AI技术从初始图像中截取初始区域图像，根据图像描述信息处理初始区域图像，得到目标区域图像，根据目标区域图像，检索目标内容，能够利用RPA结合人工智能AI实现图像检索的智能自动化IA，能够在图像检索之前及时地对图像进行预处理，以去除图像中的干扰信息，有效提升所得目标区域图像在检索过程中的针对性，有效降低干扰信息对检索过程的影响，从而有效提升图像检索效率和图像检索结果的准确性。

图2是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图。

如图2所示，该结合RPA和AI实现IA的图像检索方法，包括：

S201：基于机器人流程自动化RPA技术获取初始图像。

S201的描述说明可以示例参见上述实施例，在此不再赘述。

S202：确定初始图像的图像尺度信息。

其中，图像尺度信息，可以是指被用于描述初始图像尺度的相关信息，例如初始图像的尺寸、面积等，对此不做限制。

本公开实施例在基于机器人流程自动化RPA技术获取初始图像之后，可以确定初始图像的图像尺度信息，可以利用预训练的图像尺度算法模型对初始图像进行算法分析，以得到预训练的图像尺度算法模型所输出的尺度信息，并将预训练的图像尺度算法模型所输出的尺度信息作为初始图像的图像尺度信息，所得图像尺度信息可以从尺度维度有效表征初始图像的特征信息。

S203：确定初始图像的像素特征信息。

其中，像素特征信息，可以被用于描述初始图像中所包含像素的特征信息，例如像素的数量、色调等，对此不做限制。

本公开实施例在基于机器人流程自动化RPA技术获取初始图像之后，还可以确定初始图像的像素特征信息，可以使用卷积神经网络对初始图像进行特征分析处理，以得到卷积神经网络输出的像素特征信息作为初始图像的像素特征信息，所得像素特征信息可以从像素特征的维度有效表征初始图像的特征信息。

S204：确定针对初始图像指定的处理参数信息。

其中，处理参数信息，可以是指预先针对初始图像所指定的扩充倍数、填充颜色、亮度、色调、饱和度以及锐化程度等信息，对此不做限制。

本公开实施例中在基于机器人流程自动化RPA技术获取初始图像之后，还可以确定针对初始图像指定的处理参数信息，该处理参数信息可以是依据于用户配置指令进行配置，或者，也可以是预先确定目标区域图像的模板信息，而后基于该模板信息与初始图像进行分析对比，根据所得对比结果以确定适用于该初始图像的处理参数信息，对此不做限制。

S205：将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息。

本公开实施例中在基于机器人流程自动化RPA技术获取初始图像之后，可以获取初始图像的图像尺度信息、和/或像素特征信息、和/或处理参数信息，并将其中的一个或多个作为图像描述信息，所得图像描述信息可以作为后续初始区域图像处理过程的参考依据。

本实施例中，通过确定初始图像的图像尺度信息，和/或确定初始图像的像素特征信息，和/或确定针对初始图像指定的处理参数信息，并将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息，由此，使所得图像描述信息可以从多个特征维度表征初始图像的相关信息，能够使该图像描述信息适用于不同的图像预处理场景，当基于图像描述信息处理初始区域图像时，能够实现多维度的有效处理，有效提升所得目标区域图像在图像检索过程的参考价值，从而有效提升该图像检索过程的灵活性。

S206：调用自然语言处理NLP服务，以识别初始图像中的主体信息。

其中，自然语言处理(Natural Language Processing，NLP)服务，是以语言为对象，利用计算机技术来分析、理解和处理自然语言，即把计算机作为语言研究的强大工具，在计算机的支持下对语言信息进行定量化的研究，并提供可供人与计算机之间能共同使用的语言描写服务。

其中，主体，是指初始图像中所包含的主要描述对象，例如人物肖像图中的人物、汽车展示图中的汽车等，对此不做限制。

其中，主体信息，是指初始图像中所包含的检索对象的相关信息，例如检索对象在初始图像中的位置信息、面积信息等，对此不做限制。

本公开实施例中在将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息之后，可以调用自然语言处理NLP服务，以识别初始图像中的主体信息，可以采用图像主体检测算法检测初始图像中的主体信息，或者，也可以通过人机协同的方式对图像主体进行标注，以得到初始图像中的主体信息，从而减少标注成本，对此不做限制。

S207：根据主体信息，确定主体对应于初始图像中的位置描述信息。

其中，位置描述信息，是指可以被用于描述主体在初始图像中所处位置的相关信息，例如主体在初始图像中的分布情况以及所占比例等，对此不做限制。

本公开实施例中在调用自然语言处理NLP服务，以识别初始图像中的主体信息之后，可以根据该主体信息，确定主体对应于初始图像中的位置描述信息，所得位置描述信息可以为后续从初始图像中截取与位置描述信息对应的区域图像提供可靠的参考依据。

S208：从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像。

其中，初始区域图像，是指采用基于人工智能AI技术从初始图像中所截取得到的部分图像，该初始区域图像中可以包括目标区域图像。

本公开实施例在根据主体信息，确定主体对应于初始图像中的位置描述信息之后，可以从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像，可以根据位置描述信息在初始图像中进行标注，而后根据标注信息进行裁剪，以得到初始区域图像。

本实施例中，通过调用自然语言处理NLP服务，以识别初始图像中的主体信息，根据主体信息，确定主体对应于初始图像中的位置描述信息，从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像，由于初始图像中可能包含主体信息之外的干扰信息，且该干扰信息可能会影响检索过程的效率和准确性，当调用自然语言处理NLP服务，以识别初始图像中的主体信息，并根据主体信息确定主体对应于初始图像中的位置描述信息，可以使所得位置描述信息能够有效表征主体在初始图像中的位置信息，而后从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像，可以有效减少所得初始区域图像中的干扰信息，从而提升所得初始区域图像对主体信息的表征准确性。

S209：根据图像描述信息处理初始区域图像，得到目标区域图像。

S209的描述说明可以示例参见上述实施例，在此不再赘述。

S210：确定目标区域图像的语义表征信息。

其中，语义表征信息，是指可以被用于表征目标区域图像相关特征的信息。例如目标区域图像可以具备颜色特征、轮廓特征、线性特征、中心特征、对角性特征、纹理特征、局部特征以及形状特征等图像特征，对此不做限制。而语义表征信息，可以是指表征上述一个或多个图像特征的信息。

本公开实施例中确定目标区域图像的语义表征信息，可以是预先训练针对目标区域图像的特征提取器，而后将目标区域图像输入至该特征提取器中，以得到一个或多个维度的特征向量表征信息，并将所得一个或多个维度的特征向量表征信息作为目标区域图像的语义表征信息，或者，也可以采用其他任意可能的方法确定目标区域图像的语义表征信息，对此不做限制。

可选地，一些实施例中，确定目标区域图像的语义表征信息，可以是从目标区域图像识别出目标物体轮廓，根据目标物体轮廓，确定物体轮廓信息，处理物体轮廓信息，得到轮廓向量表征，将轮廓向量表征作为语义表征信息，由于物体轮廓可以有效表征物体的特征信息，当基于目标物体轮廓确定物体轮廓信息，并对物体轮廓信息进行处理以得到轮廓向量表征，可以有效提升轮廓向量表征的表征效果，而后将轮廓向量表征作为语义表征信息，可以有效提升所得语义表征信息在图像检索过程中的适用性。

其中，目标物体轮廓，是指目标区域图像中所包含的检索目标物体的轮廓，例如人物图像中的人体轮廓、汽车图像中的汽车轮廓灯，对此不做限制。

其中，物体轮廓信息，是指基于目标物体轮廓所获取的相关信息。

其中，轮廓向量表征，是指可以表征物体轮廓信息，且映射于向量空间中的向量表征，该向量表征，可以是采用将特征映射于向量空间的方式得到的特征，例如轮廓特征。

本公开实施例中，获取轮廓向量表征，可以是对目标区域图像采取降维、白化、池化等操作，提取目标区域图像中主体的轮廓特征，并将其映射于向量空间中，以得到轮廓向量表征。

本公开实施例中，在确定目标区域图像的语义表征信息时，可以采用视觉神经网络从目标区域图像识别出目标物体轮廓，根据目标物体轮廓，确定物体轮廓信息，经由处理物体轮廓信息，以得到轮廓向量表征，将轮廓向量表征作为语义表征信息。

S211：根据语义表征信息，检索目标内容。

本公开实施例中，在上述确定目标区域图像的语义表征信息之后，可以根据语义表征信息，检索目标内容，可以语义表征信息作为参考依据，在图像检索库中检索符合上述语义表征信息的图片，以得到目标内容。

可选地，一些实施例中，根据语义表征信息，检索目标内容，可以是确定与语义表征信息对应的候选相似度层级，其中，候选相似度层级属于预先构建的图状数据结构，候选相似度层级，是其相应所表征内容与初始图像之间的相似程度所属的层级，而后将图状数据结构中候选相似度层级所表征内容作为目标内容，由于检索库中可能存在大量数据，当确定与语义表征信息对应的候选相似度层级，并将图状数据结构中候选相似度层级所表征内容作为目标内容，可以较大程度地降低检索过程的计算成本，并有效提升检索效率。

其中，候选相似度层级，是指语义表征信息所表征内容与初始图像之间的相似程度在图状数据结构中所属的层级。

其中，图状数据结构，是指预先在向量检索库中以向量距离作为划分依据而建立的数据结构，图状数据结构，可以被用于在图像检索过程中以向量距离作为参考依据寻找候选相似度层级，以缩小检索范围。

本公开实施例中，在根据语义表征信息，检索目标内容时，可以确定与语义表征信息对应的候选相似度层级，其中，候选相似度层级属于预先构建的图状数据结构，候选相似度层级，是其相应所表征内容与初始图像之间的相似程度所属的层级，而后将图状数据结构中候选相似度层级所表征内容作为目标内容。

本实施例中，通过确定目标区域图像的语义表征信息，并根据语义表征信息，检索目标内容，由于语义表征信息可以有效表征目标区域图像的相关特征，当基于语义表征信息检索目标内容，可以有效提升检索过程的针对性和目标性，能够有效提升检索结果的可靠性。

本实施例中，通过确定初始图像的图像尺度信息，和/或确定初始图像的像素特征信息，和/或确定针对初始图像指定的处理参数信息，并将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息，由此，使所得图像描述信息可以从多个特征维度表征初始图像的相关信息，能够使该图像描述信息适用于不同的图像预处理场景，当基于图像描述信息处理初始区域图像时，能够实现多维度的有效处理，有效提升所得目标区域图像在图像检索过程的参考价值，从而有效提升该图像检索过程的灵活性。通过调用自然语言处理NLP服务，以识别初始图像中的主体信息，根据主体信息，确定主体对应于初始图像中的位置描述信息，从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像，由于初始图像中可能包含主体信息之外的干扰信息，且该干扰信息可能会影响检索过程的效率和准确性，当调用自然语言处理NLP服务，以识别初始图像中的主体信息，并根据主体信息确定主体对应于初始图像中的位置描述信息，可以使所得位置描述信息能够有效表征主体在初始图像中的位置信息，而后从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像，可以有效减少所得初始区域图像中的干扰信息，从而提升所得初始区域图像对主体信息的表征准确性。通过确定目标区域图像的语义表征信息，并根据语义表征信息，检索目标内容，由于语义表征信息可以有效表征目标区域图像的相关特征，当基于语义表征信息检索目标内容，可以有效提升检索过程的针对性和目标性，能够有效提升检索结果的可靠性。由于物体轮廓可以有效表征物体的特征信息，当基于目标物体轮廓确定物体轮廓信息，并对物体轮廓信息进行处理以得到轮廓向量表征，可以有效提升轮廓向量表征的表征效果，而后将轮廓向量表征作为语义表征信息，可以有效提升所得语义表征信息在图像检索过程中的适用性。由于检索库中可能存在大量数据，当确定与语义表征信息对应的候选相似度层级，并将图状数据结构中候选相似度层级所表征内容作为目标内容，可以较大程度地降低检索过程的计算成本，并有效提升检索效率。

图3是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图。

如图3所示，该结合RPA和AI实现IA的图像检索方法，包括：

S301：基于机器人流程自动化RPA技术获取初始图像。

S302：确定初始图像的图像尺度信息。

S303：将图像尺度信息作为图像描述信息。

S304：基于人工智能AI技术从初始图像中截取初始区域图像。

S301-S304的描述说明可以示例参见上述实施例，在此不再赘述。

S305：根据图像尺度信息对初始区域图像进行扩大处理。

本公开实施例中，在确定初始图像的图像尺度信息，并基于人工智能AI技术从初始图像中截取初始区域图像之后，可以根据图像尺度信息对初始区域图像进行扩大处理，使处理后所得到图像的尺度等于初始图像的尺度或其他任意适用于该图像检索过程的尺度，对此不做限制。

S306：将扩大处理后的图像作为目标区域图像。

本公开实施例中，在根据图像尺度信息对初始区域图像进行扩大处理之后，可以将扩大处理后的图像作为目标区域图像。

本实施例中，将图像尺度信息作为图像描述信息，通过根据图像尺度信息对初始区域图像进行扩大处理，将扩大处理后的图像作为目标区域图像，由于基于人工智能AI技术从初始图像中所截取得到的初始区域图像的尺度可能较低，当根据图像尺度信息对初始区域图像进行扩大处理，并将扩大处理后的图像作为目标区域图像，可以有效避免初始区域图像尺度过低而影响检索效果，能够有效提升所得目标区域图像作为检索依据的可靠性。

S307：根据目标区域图像，检索目标内容。

S307的描述说明可以示例参见上述实施例，在此不再赘述。

本实施例中，通过根据图像尺度信息对初始区域图像进行扩大处理，将扩大处理后的图像作为目标区域图像，由于基于人工智能AI技术从初始图像中所截取得到的初始区域图像的尺度可能较低，当根据图像尺度信息对初始区域图像进行扩大处理，并将扩大处理后的图像作为目标区域图像，可以有效避免初始区域图像尺度过低而影响检索效果，能够有效提升所得目标区域图像作为检索依据的可靠性。

图4是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图。

如图4所示，该结合RPA和AI实现IA的图像检索方法，包括：

S401：基于机器人流程自动化RPA技术获取初始图像。

S402：确定初始图像的像素特征信息。

S403：将像素特征信息作为图像描述信息。

S404：基于人工智能AI技术从初始图像中截取初始区域图像。

S401-S404的描述说明可以示例参见上述实施例，在此不再赘述。

S405：获取初始图像区域中的区域像素。

其中，区域像素，是指初始图像中一个或多个图像区域对应的像素。

本公开实施例中，在确定初始图像的像素特征信息，并基于人工智能AI技术从初始图像中截取初始区域图像之后，可以获取初始图像区域中的区域像素。

S406：从像素特征信息中解析区域像素的区域像素特征。

其中，区域像素特征，是指基于像素特征信息所获取的区域像素的相关特征，例如区域像素的数量、颜色等。

本公开实施例中，在获取初始图像区域中的区域像素之后，可以基于上述像素特征信息和区域像素进行匹配处理，以解析获取区域像素的区域像素特征。

S407：对初始图像区域中各个区域像素的区域像素特征进行增强处理，得到目标区域图像。

本公开实施例中，在从像素特征信息中解析区域像素的区域像素特征之后，可以对初始图像区域中各个区域像素的区域像素特征进行增强处理，以提升各个区域像素的区域像素特征的辨识度，得到目标区域图像。

本实施例中，将像素特征信息作为图像描述信息，通过获取初始图像区域中的区域像素，从像素特征信息中解析区域像素的区域像素特征，对初始图像区域中各个区域像素的区域像素特征进行增强处理，得到目标区域图像，由于区域像素特征的强度可能会影响图像检索效果，当对初始图像区域中各个区域像素的区域像素特征进行增强处理，可以有效提升所得目标区域图像对主体图像的表征能力，从而提升图像检索过程的针对性和准确性。

S408：根据目标区域图像，检索目标内容。

S408的描述说明可以示例参见上述实施例，在此不再赘述。

本实施例中，通过获取初始图像区域中的区域像素，从像素特征信息中解析区域像素的区域像素特征，对初始图像区域中各个区域像素的区域像素特征进行增强处理，得到目标区域图像，由于区域像素特征的强度可能会影响图像检索效果，当对初始图像区域中各个区域像素的区域像素特征进行增强处理，可以有效提升所得目标区域图像对主体图像的表征能力，从而提升图像检索过程的针对性和准确性。

图5是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图。

如图5所示，该结合RPA和AI实现IA的图像检索方法，包括：

S501：基于机器人流程自动化RPA技术获取初始图像。

S502：确定初始图像的图像尺度信息。

S503：确定初始图像的像素特征信息。

S504：将图像尺度信息和像素特征信息作为图像描述信息。

S505：基于人工智能AI技术从初始图像中截取初始区域图像。

S501-S505的描述说明可以示例参见上述实施例，在此不再赘述。

S506：根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，其中，待填充区域图像包括：待填充像素。

其中，待填充区域图像，是指基于图像尺度信息对初始区域图像进行扩大处理所得到的图像。

其中，待填充像素，是指待填充区域图像中需要进行填充的像素。

本公开实施例中，在将图像尺度信息和像素特征信息作为图像描述信息，并基于人工智能AI技术从初始图像中截取初始区域图像之后，可以根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，可以根据图像尺度信息对初始区域图像进行扩大处理，将初始区域图像的尺度调整为初始图像的尺度或其他任意适用于该图像检索过程的尺度数值，并将扩大处理后的初始区域图像作为待填充区域图像。

S507：从像素特征信息中解析待填充像素的第一像素特征。

其中，第一像素特征，是指基于像素特征信息所获取的待填充像素的相关特征。

本公开实施例中，在根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像之后，可以从像素特征信息中解析待填充像素的第一像素特征，可以基于像素特征信息结合待填充像素进行匹配处理，并将像素特征信息中与待填充像素匹配的特征信息作为第一像素特征。

S508：从像素特征信息中解析其他区域图像中区域像素的第二像素特征，其中，初始区域图像和其他区域图像共同构成初始图像。

其中，第二像素特征，是指基于像素特征信息所获取的其他区域图像中区域像素的相关特征。

本公开实施例中，在从像素特征信息中解析待填充像素的第一像素特征之后，可以从像素特征信息中解析其他区域图像中区域像素的第二像素特征，可以基于像素特征信息结合其他区域图像中区域像素进行匹配处理，并将像素特征信息中与其他区域图像中区域像素匹配的特征信息作为第二像素特征。

S509：根据第一像素特征和第二像素特征，生成填充像素特征。

其中，填充像素特征，是指基于第一像素特征和第二像素特征所获取的像素特征，该填充像素特征，可以被用于作为待填充区域图像进行填充处理的参考依据。

本公开实施例中，在从像素特征信息中解析待填充像素的第一像素特征，从像素特征信息中解析其他区域图像中区域像素的第二像素特征之后，可以根据第一像素特征和第二像素特征，生成填充像素特征，可以利用预训练的机器学习模型对第一像素特征和第二像素特征进行解析处理，以生成填充像素特征。

S510：根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像。

本公开实施例在根据第一像素特征和第二像素特征，生成填充像素特征之后，可以根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像，可以根据填充像素特征确定待填充像素，而后基于该待填充像素对对待填充区域图像进行填充处理，以得到目标区域图像。

本实施例中，将图像尺度信息和像素特征信息作为图像描述信息，通过根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，从像素特征信息中解析待填充像素的第一像素特征，从像素特征信息中解析其他区域图像中区域像素的第二像素特征，根据第一像素特征和第二像素特征，生成填充像素特征，根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像，由此，可以在保证所得待填充区域图像的尺寸符合正常图像尺寸的同时，结合第一像素特征和第二像素特征对其进行填充处理，避免因为扩大处理而影响该图像的表征性，从而可以较大程度地提升所得目标区域图像的表征效果。

S511：根据目标区域图像，检索目标内容。

S511的描述说明可以示例参见上述实施例，在此不再赘述。

本实施例中，通过根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，从像素特征信息中解析待填充像素的第一像素特征，从像素特征信息中解析其他区域图像中区域像素的第二像素特征，根据第一像素特征和第二像素特征，生成填充像素特征，根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像，由此，可以在保证所得待填充区域图像的尺寸符合正常图像尺寸的同时，结合第一像素特征和第二像素特征对其进行填充处理，避免因为扩大处理而影响该图像的表征性，从而可以较大程度地提升所得目标区域图像的表征效果。

图6是本公开另一实施例提出的结合RPA和AI实现IA的图像检索方法的流程示意图。

如图6所示，该结合RPA和AI实现IA的图像检索方法，包括：

S601：基于机器人流程自动化RPA技术获取初始图像。

S602：确定针对初始图像指定的处理参数信息。

S603：将处理参数信息作为图像描述信息。

S604：基于人工智能AI技术从初始图像中截取初始区域图像。

S601-S604的描述说明可以示例参见上述实施例，在此不再赘述。

S605：根据处理参数信息处理初始区域图像，得到目标区域图像。

其中，处理参数信息，是指指预先针对初始图像所指定的扩充倍数、填充颜色、亮度、色调、饱和度以及锐化程度等，对此不做限制。

本公开实施例中，在将处理参数信息作为图像描述信息，并基于人工智能AI技术从初始图像中截取初始区域图像之后，可以根据处理参数信息处理初始区域图像，得到目标区域图像，可以预先确定针对初始图像的处理参数信息(如指定的扩充倍数、填充颜色、亮度、色调、饱和度以及锐化程度等)，而后基于该处理参数信息对初始区域图像的各项对应参数进行调整，以得到目标区域图像。

本实施例这种，将处理参数信息作为图像描述信息，通过根据处理参数信息处理初始区域图像，得到目标区域图像，由于处理参数信息可以根据用户配置指令进行对应配置，当基于处理参数信息处理初始区域图像，可以实现根据应用场景对初始区域图像进行灵活处理，以得到适用于图像检索过程的目标区域图像，从而有效提升该初始区域图像处理过程的灵活性。

S606：根据目标区域图像，检索目标内容。

S606的描述说明可以示例参见上述实施例，在此不再赘述。

本实施例中，通过根据处理参数信息处理初始区域图像，得到目标区域图像，由于处理参数信息可以根据用户配置指令进行对应配置，当基于处理参数信息处理初始区域图像，可以实现根据应用场景对初始区域图像进行灵活处理，以得到适用于图像检索过程的目标区域图像，从而有效提升该初始区域图像处理过程的灵活性。

图7是本公开一实施例提出的结合RPA和AI实现IA的图像检索装置的结构示意图。

如图7所示，该结合RPA和AI实现IA的图像检索装置70，应用于自然语言处理NLP领域，包括：

获取模块701，用于基于机器人流程自动化RPA技术获取初始图像，其中，初始图像具有图像描述信息；

第一处理模块702，用于基于人工智能AI技术从初始图像中截取初始区域图像；

第二处理模块703，用于根据图像描述信息处理初始区域图像，得到目标区域图像；

检索模块704，用于根据目标区域图像，检索目标内容。

在本公开的一些实施例中，第一处理模块702，具体用于：

调用自然语言处理NLP服务，以识别初始图像中的主体信息；

根据主体信息，确定主体对应于初始图像中的位置描述信息；

从初始图像中截取与位置描述信息对应的区域图像作为初始区域图像。

在本公开的一些实施例中，如图8所示，图8是本公开另一实施例提出的结合RPA和AI实现IA的图像检索装置的结构示意图，还包括：

确定模块705，用于确定初始图像的图像尺度信息；和/或确定初始图像的像素特征信息；和/或确定针对初始图像指定的处理参数信息；并将图像尺度信息、和/或像素特征信息、和/或处理参数信息作为图像描述信息。

在本公开的一些实施例中，图像描述信息包括：图像尺度信息；

其中，第二处理模块703，具体用于：

根据图像尺度信息对初始区域图像进行扩大处理；

将扩大处理后的图像作为目标区域图像。

在本公开的一些实施例中，图像描述信息包括：像素特征信息；

其中，第二处理模块703，还用于：

获取初始图像区域中的区域像素；

从像素特征信息中解析区域像素的区域像素特征；

对初始图像区域中各个区域像素的区域像素特征进行增强处理，得到目标区域图像。

在本公开的一些实施例中，图像描述信息包括：图像尺度信息和像素特征信息；

其中，第二处理模块703，还用于：

根据图像尺度信息对初始区域图像进行扩大处理，得到待填充区域图像，其中，待填充区域图像包括：待填充像素；

从像素特征信息中解析待填充像素的第一像素特征；

从像素特征信息中解析其他区域图像中区域像素的第二像素特征，其中，初始区域图像和其他区域图像共同构成初始图像；

根据第一像素特征和第二像素特征，生成填充像素特征；

根据填充像素特征对待填充区域图像进行填充处理，得到目标区域图像。

在本公开的一些实施例中，图像描述信息包括：处理参数信息；

其中，第二处理模块703，还用于：

根据处理参数信息处理初始区域图像，得到目标区域图像。

在本公开的一些实施例中，检索模块704，包括：

确定子模块7041，用于确定目标区域图像的语义表征信息；

检索子模块7042，用于根据语义表征信息，检索目标内容。

在本公开的一些实施例中，确定子模块7041，具体用于：

从目标区域图像识别出目标物体轮廓；

根据目标物体轮廓，确定物体轮廓信息；

处理物体轮廓信息，得到轮廓向量表征；

将轮廓向量表征作为语义表征信息。

在本公开的一些实施例中，检索子模块7042，具体用于：

确定与语义表征信息对应的候选相似度层级，其中，候选相似度层级属于预先构建的图状数据结构，候选相似度层级，是其相应所表征内容与初始图像之间的相似程度所属的层级；

将图状数据结构中候选相似度层级所表征内容作为目标内容。

与上述图1至图6实施例提供的结合RPA和AI实现IA的图像检索方法相对应，本公开还提供一种结合RPA和AI实现IA的图像检索装置，由于本公开实施例提供的结合RPA和AI实现IA的图像检索装置与上述图1至图6实施例提供的结合RPA和AI实现IA的图像检索方法相对应，因此在结合RPA和AI实现IA的图像检索方法的实施方式也适用于本公开实施例提供的结合RPA和AI实现IA的图像检索装置，在本公开实施例中不再详细描述。

本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

本实施例中，通过基于机器人流程自动化RPA技术获取初始图像，基于人工智能AI技术从初始图像中截取初始区域图像，根据图像描述信息处理初始区域图像，得到目标区域图像，根据目标区域图像，检索目标内容，能够利用RPA结合人工智能AI实现图像检索的智能自动化IA，能够在图像检索之前及时地对图像进行预处理，以去除图像中的干扰信息，有效提升所得目标区域图像在检索过程中的针对性，有效降低干扰信息对检索过程的影响，从而有效提升图像检索效率和图像检索结果的准确性。

为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的结合RPA和AI实现IA的图像检索方法。

图9示出根据本公开一实施例的电子设备的结构框图。如图9所示，该电子设备90包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的结合RPA和AI实现IA的图像检索方法。存储器910和处理器920的数量可以为一个或多个。

该电子设备90还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本公开实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本公开实施例中提供的方法。

本公开实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本公开实施例提供的方法。

本公开实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本公开的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种结合RPA和AI实现IA的图像检索方法，其特征在于，包括：

基于机器人流程自动化RPA技术获取初始图像，其中，所述初始图像具有图像描述信息；

基于人工智能AI技术从所述初始图像中截取初始区域图像；

根据所述图像描述信息处理所述初始区域图像，得到目标区域图像；

根据所述目标区域图像，检索目标内容。

2.如权利要求1所述的方法，其特征在于，所述基于人工智能AI技术从所述初始图像中截取初始区域图像，包括：

调用自然语言处理NLP服务，以识别所述初始图像中的主体信息；

根据所述主体信息，确定主体对应于所述初始图像中的位置描述信息；

从所述初始图像中截取与所述位置描述信息对应的区域图像作为所述初始区域图像。

3.如权利要求1所述的方法，其特征在于，在所述基于机器人流程自动化RPA技术获取初始图像之后，还包括：

确定所述初始图像的图像尺度信息；和/或

确定所述初始图像的像素特征信息；和/或

确定针对所述初始图像指定的处理参数信息；

将所述图像尺度信息、和/或所述像素特征信息、和/或所述处理参数信息作为所述图像描述信息。

4.如权利要求3所述的方法，其特征在于，所述图像描述信息包括：所述图像尺度信息；

其中，所述根据所述图像描述信息处理所述初始区域图像，得到目标区域图像，包括：

根据所述图像尺度信息对所述初始区域图像进行扩大处理；

将扩大处理后的图像作为所述目标区域图像。

5.如权利要求3所述的方法，其特征在于，所述图像描述信息包括：所述像素特征信息；

其中，所述根据所述图像描述信息处理所述初始区域图像，得到目标区域图像，包括：

获取所述初始图像区域中的区域像素；

从所述像素特征信息中解析所述区域像素的区域像素特征；

对所述初始图像区域中各个所述区域像素的区域像素特征进行增强处理，得到所述目标区域图像。

6.如权利要求3所述的方法，其特征在于，所述图像描述信息包括：所述图像尺度信息和所述像素特征信息；

其中，所述根据所述图像描述信息处理所述初始区域图像，得到目标区域图像，包括：

根据所述图像尺度信息对所述初始区域图像进行扩大处理，得到待填充区域图像，其中，所述待填充区域图像包括：待填充像素；

从所述像素特征信息中解析所述待填充像素的第一像素特征；

从所述像素特征信息中解析其他区域图像中区域像素的第二像素特征，其中，所述初始区域图像和所述其他区域图像共同构成所述初始图像；

根据所述第一像素特征和所述第二像素特征，生成填充像素特征；

根据所述填充像素特征对所述待填充区域图像进行填充处理，得到所述目标区域图像。

7.如权利要求3所述的方法，其特征在于，所述图像描述信息包括：所述处理参数信息；

其中，所述根据所述图像描述信息处理所述初始区域图像，得到目标区域图像，包括：

根据所述处理参数信息处理所述初始区域图像，得到所述目标区域图像。

8.如权利要求1所述的方法，其特征在于，所述根据所述目标区域图像，检索目标内容，包括：

确定所述目标区域图像的语义表征信息；

根据所述语义表征信息，检索所述目标内容。

9.如权利要求8所述的方法，其特征在于，所述确定所述目标区域图像的语义表征信息，包括：

从所述目标区域图像识别出目标物体轮廓；

根据所述目标物体轮廓，确定物体轮廓信息；

处理所述物体轮廓信息，得到轮廓向量表征；

将所述轮廓向量表征作为所述语义表征信息。

10.如权利要求8所述的方法，其特征在于，所述根据所述语义表征信息，检索目标内容，包括：

确定与所述语义表征信息对应的候选相似度层级，其中，所述候选相似度层级属于预先构建的图状数据结构，所述候选相似度层级，是其相应所表征内容与所述初始图像之间的相似程度所属的层级；

将所述图状数据结构中所述候选相似度层级所表征内容作为所述目标内容。

11.一种结合RPA和AI实现IA的图像检索装置，其特征在于，包括：

获取模块，用于基于机器人流程自动化RPA技术获取初始图像，其中，所述初始图像具有图像描述信息；

第一处理模块，用于基于人工智能AI技术从所述初始图像中截取初始区域图像；

第二处理模块，用于根据所述图像描述信息处理所述初始区域图像，得到目标区域图像；

检索模块，用于根据所述目标区域图像，检索目标内容。

12.如权利要求11所述的装置，其特征在于，所述第一处理模块，具体用于：

调用自然语言处理NLP服务，以识别所述初始图像中的主体信息；

根据所述主体信息，确定主体对应于所述初始图像中的位置描述信息；

从所述初始图像中截取与所述位置描述信息对应的区域图像作为所述初始区域图像。

13.如权利要求11所述的装置，其特征在于，还包括：

确定模块，用于确定所述初始图像的图像尺度信息；和/或确定所述初始图像的像素特征信息；和/或确定针对所述初始图像指定的处理参数信息；并将所述图像尺度信息、和/或所述像素特征信息、和/或所述处理参数信息作为所述图像描述信息。

14.如权利要求13所述的装置，其特征在于，所述图像描述信息包括：所述图像尺度信息；

其中，所述第二处理模块，具体用于：

根据所述图像尺度信息对所述初始区域图像进行扩大处理；

将扩大处理后的图像作为所述目标区域图像。

15.如权利要求13所述的装置，其特征在于，所述图像描述信息包括：所述像素特征信息；

其中，所述第二处理模块，还用于：

获取所述初始图像区域中的区域像素；

从所述像素特征信息中解析所述区域像素的区域像素特征；

对所述初始图像区域中各个所述区域像素的区域像素特征进行增强处理，得到所述目标区域图像。

16.如权利要求13所述的装置，其特征在于，所述图像描述信息包括：所述图像尺度信息和所述像素特征信息；

其中，所述第二处理模块，还用于：

根据所述图像尺度信息对所述初始区域图像进行扩大处理，得到待填充区域图像，其中，所述待填充区域图像包括：待填充像素；

从所述像素特征信息中解析所述待填充像素的第一像素特征；

从所述像素特征信息中解析其他区域图像中区域像素的第二像素特征，其中，所述初始区域图像和所述其他区域图像共同构成所述初始图像；

根据所述第一像素特征和所述第二像素特征，生成填充像素特征；

根据所述填充像素特征对所述待填充区域图像进行填充处理，得到所述目标区域图像。

17.如权利要求13所述的装置，其特征在于，所述图像描述信息包括：所述处理参数信息；

其中，所述第二处理模块，还用于：

根据所述处理参数信息处理所述初始区域图像，得到所述目标区域图像。

18.如权利要求11所述的装置，其特征在于，所述检索模块，包括：

确定子模块，用于确定所述目标区域图像的语义表征信息；

检索子模块，用于根据所述语义表征信息，检索所述目标内容。

19.一种电子设备，其特征在于，包括：

至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-10任一项所述的结合RPA和AI实现IA的图像检索方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-10任一项所述的结合RPA和AI实现IA的图像检索方法。

Images