CN116343013A - 图像处理加速方法、装置、计算机设备和存储介质 - Google Patents

图像处理加速方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116343013A
CN116343013A CN202211668737.1A CN202211668737A CN116343013A CN 116343013 A CN116343013 A CN 116343013A CN 202211668737 A CN202211668737 A CN 202211668737A CN 116343013 A CN116343013 A CN 116343013A
Authority
CN
China
Prior art keywords
network layer
time delay
network
layer
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211668737.1A
Other languages
English (en)
Inventor
郑子彬
池浩鑫
林昊
蔡倬
赵山河
邬稳
梁万山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Merchants Union Consumer Finance Co Ltd
Sun Yat Sen University
Original Assignee
Merchants Union Consumer Finance Co Ltd
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Merchants Union Consumer Finance Co Ltd, Sun Yat Sen University filed Critical Merchants Union Consumer Finance Co Ltd
Priority to CN202211668737.1A priority Critical patent/CN116343013A/zh
Publication of CN116343013A publication Critical patent/CN116343013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种图像处理加速方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延；基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延；融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延；基于各个网络层分别对应的总时延，从各个网络层中确定目标层。采用本方法能够提高图像处理效率。

Description

图像处理加速方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉领域，特别是涉及一种图像处理加速方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着深度学习在计算机视觉领域的不断发展，出现了文本识别技术，文本识别技术通过特征提取网络提取图像特征信息，基于图像特征信息确定图像中的文本信息。
然而，在传统的图像处理方法中，由于图像处理的精度的不断提高，导致计算量越来越大，使得图像处理的效率降低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像处理效率的图像处理加速方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种图像处理加速方法。所述方法包括：
获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽；
将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延；
基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延；
融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延；
基于各个网络层分别对应的总时延，从各个网络层中确定目标层；目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理。
本申请还提供了一种图像处理加速装置。所述装置包括：
网络层信息获取模块，用于获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽；
处理时延确定模块，用于将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延；
上传时延确定模块，用于基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延；
总时延确定模块，用于融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延；
目标层确定模块，用于基于各个网络层分别对应的总时延，从各个网络层中确定目标层；目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像处理加速方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理加速方法的步骤。
一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述图像处理加速方法的步骤。
上述图像处理加速方法、装置、计算机设备、存储介质和计算机程序产品，通过获取图像处理网络中不同网络层类型分别对应的终端回归模型和服务器端回归模型，将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。预测终端时延能够反映当网络层在终端进行数据处理时，网络层对输入数据进行处理得到输出数据的过程预计所需的时间，预测服务器端时延能够反映当网络层在服务器中进行数据处理时，网络层对输入数据进行处理得到输出数据的过程预计所需的时间。再基于各个网络层分别对应的输出尺寸和目标带宽，计算所述各个网络层分别对应的上传时延，上传时延是指网络层的输出数据上传至服务器所需的时间。融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延，进而得到各个网络层分别对应的总时延。总时延能够反映图像处理网络对输入数据进行处理得到输出数据的过程所需的时间。基于各个网络层分别对应的总时延，从各个网络层中确定目标层，目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理，能够使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间降到最低，大大提高图像处理网络的处理效率。
附图说明
图1为一个实施例中图像处理加速方法的应用环境图；
图2为一个实施例中图像处理加速方法的流程示意图；
图3为一个实施例中训练回归模型的流程示意图；
图4为一个实施例中基于补充优化指标确定目标层的流程示意图；
图5为一个实施例中图像文本识别的流程示意图；
图6为一个实施例中图像文本检测的流程示意图；
图7为一个实施例中加速图像处理的流程示意图；
图8为一个实施例中图像处理加速装置的结构框图
图9为另一个实施例中图像处理加速装置的结构框图；
图10为一个实施例中计算机设备的内部结构图；
图11为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像处理加速方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
终端和服务器均可单独用于执行本申请实施例中提供的图像处理加速方法。
例如，终端获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽。终端将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。终端基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延。终端融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延。终端基于各个网络层分别对应的总时延，从各个网络层中确定目标层。目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理。
终端和服务器也可协同用于执行本申请实施例中提供的图像处理加速方法。
例如，终端向服务器发送针对图像处理网络的图像处理加速请求，服务器响应于图像处理加速请求，获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽。服务器将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。服务器基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延。服务器融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延。服务器基于各个网络层分别对应的总时延，从各个网络层中确定目标层。目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理。服务器将目标层标识发送至终端。
在一个实施例中，如图2所示，提供了一种图像处理加速方法，以该方法应用于计算机设备为例进行说明，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。图像处理加速方法包括以下步骤：
步骤S202，获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽。
其中，图像处理网络是指对图像信息进行数据处理的网络，图像处理网络包括多个依次连接的网络层。网络层类型是指基于网络层对应的数据处理方法，对各个网络层进行分类得到的网络层类型，包括但不限于卷积层、全连接层、池化层、激活层等中的至少一者。
终端回归模型是指用于预测网络层对应的终端时延的模型，模型的输入数据是网络层对应的输入尺寸和输出尺寸，输出数据是网络层对应的预测终端时延。服务器端回归模型是指用于预测网络层对应的服务器端时延的模型，模型的输入数据是网络层对应的输入尺寸和输出尺寸，输出数据是网络层对应的预测服务器端时延。
输出尺寸是指输入数据所占存储空间大小。输入尺寸是指输出数据所占存储空间大小。
目标带宽是指图像处理网络的运行时段对应的带宽。
示例性地，为了提高图像数据处理的效率，计算机设备在确定了需要提高图像处理效率的图像处理网络之后，确定图像处理网络中包含的各个网络层类型，并获取各个网络层类型分别对应的终端回归模型和服务器端回归模型，各个网络层分别对应的输出尺寸和输入尺寸，以及目标带宽。基于此计算机设备可以确定各个网络层分别对应的预测终端时延、预测服务器端时延和上传时延，并得到各个网络层分别对应的总时延，基于各个总时延从各个网络层中确定目标层。
步骤S204，将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。
其中，终端时延是指当网络层在终端进行数据处理时，网络层对输入数据进行处理得到输出数据的过程所需的时间。预测终端时延是指通过终端回归模型预测的网络层对应的终端时延。服务器端时延是指当网络层在服务器中进行数据处理时，网络层对输入数据进行处理得到输出数据的过程所需的时间。预测服务器端时延是指通过服务器端回归模型预测的网络层对应的服务器端时延。
示例性地，计算机设备将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和预测服务器端回归模型，得到该网络层对应的预测终端时延和预测服务器端时延。基于相同的方法，得到其他各个网络层分别对应的预测终端时延和预测服务器端时延，进而得到各个网络层分别对应的预测终端时延和预测服务器端时延。
步骤S206，基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延。
其中，上传时延是指网络层的输出数据上传至服务器所需的时间。
示例性地，计算机设备将同一网络层对应的输出尺寸和目标带宽的比值作为该网络层对应的上传时延，基于相同的方法，得到其他各个网络层分别对应的上传时延，进而得到各个网络层对应的上传时延。
步骤S208，融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延。
其中，当前网络层是指图像处理网络中的任意一个网络层。前向网络层是指连接在当前网络层之前的网络层。后向网络层是指连接在当前网络层之后的网络层。总时延是指当当前网络层和当前网络层对应的各个前向网络层在终端进行数据处理，当前网络层对应的各个后向网络层在服务器中进行数据处理时，由各个网络层分别对应的处理时延和当前网络层对应的上传时延组成的总时延，用于表征图像处理网络对输入数据进行处理得到输出数据的过程所需的时间。
示例性地，计算机设备将各个网络层中的任意一个网络层作为当前网络层，融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延以及当前网络层对应的上传时延，得到当前网络层对应的总时延。基于相同的方法，得到各个网络层分别对应的总时延。
在一个实施例中，计算机设备将当前网络层对应的各个前向网络层划分成多个前向网络层组，将当前网络层对应的各个后向网络层划分成多个后向网络层组。例如，当当前网络层为对应的各个前向网络层分别为A1-A2-A3-A4-A5-A6-A7-A8-A9，各个后向网络层分别为B1-B2-B3-B4-B5-B6时，将各个前向网络层划分为三个前向网络层组，分别为A1-A2-A3、A4-A5-A6和A7-A8-A9，将各个后向网络层划分为两个个后向网络层组，分别为B1-B2-B3和B4-B5-B6。将网络层组中任意一个网络层对应的时延作为网络层组对应的时延，得到各个前向网络层组分别对应的预测终端时延，各个后向网络层组分别对应的预测服务器端时延。融合各个前向网络层组分别对应的预测终端时延、当前网络层对应的预测终端时延、各个后向网络层组分别对应的预测服务器端时延以及当前网络层对应的上传时延，得到当前网络层对应的总时延。
步骤S210，基于各个网络层分别对应的总时延，从各个网络层中确定目标层；目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理。
其中，目标层是指用于对图像处理网络中的各个网络层进行划分的网络层，得到在终端进行数据处理的各个网络层，和在服务器中进行数据处理的各个网络层，能够使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间降到最低。
示例性地，计算机设备对比各个网络层分别对应的总时延的数值大小，得到相应的对比结果，基于对比结果，在各个网络层中确定目标层。
在一个实施例中，可以通过以下公式确定图像处理网络中的目标层：
Figure BDA0004015575250000081
其中，n为图像处理网络中网络层的个数，p*为图像处理网络中的目标层，LDi为第i个网络层对应的预测终端时延，LUp为第p个网络层对应的上传时延，LSi为第i个网络层对应的预测服务器端时延。
上述图像处理加速方法中，通过获取图像处理网络中不同网络层类型分别对应的终端回归模型和服务器端回归模型，将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。预测终端时延能够反映当网络层在终端进行数据处理时，网络层对输入数据进行处理得到输出数据的过程预计所需的时间，预测服务器端时延能够反映当网络层在服务器中进行数据处理时，网络层对输入数据进行处理得到输出数据的过程预计所需的时间。再基于各个网络层分别对应的输出尺寸和目标带宽，计算所述各个网络层分别对应的上传时延，上传时延是指网络层的输出数据上传至服务器所需的时间。融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延，进而得到各个网络层分别对应的总时延。总时延能够反映图像处理网络对输入数据进行处理得到输出数据的过程所需的时间。基于各个网络层分别对应的总时延，从各个网络层中确定目标层，目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理，能够使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间降到最低，大大提高图像处理网络的处理效率。
在一个实施例中，基于各个网络层分别对应的总时延，从各个网络层中确定目标层，包括：
将各个总时延中的最小值对应的网络层作为目标层。
示例性地，计算机设备对比各个网络层分别对应的总时延，将各个总时延中的最小值对应的网络层作为目标层。
上述实施例中，将总时延中的最小值对应的网络层作为目标层，能够使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间降到最低，大大提高图像处理网络的处理效率。
在一个实施例中，如图3所示，图像处理加速方法还包括：
步骤S302，获取属于候选网络层类型的多个网络层在终端进行数据处理对应的实际终端时延、在服务器端进行数据处理对应的实际服务器端时延。
步骤S304，基于属于候选网络层类型的各个网络层分别对应的输出尺寸、输入尺寸和实际终端时延，对候选网络层类型对应的第一初始回归模型进行模型训练，得到候选网络层类型对应的终端回归模型。
步骤S306，基于属于候选网络层类型的各个网络层分别对应的输出尺寸、输入尺寸和实际服务器端时延，对候选网络层类型对应的第二初始回归模型进行模型训练，得到候选网络层类型对应的服务器端回归模型。
其中，候选网络层类型是指任意一个网络层类型。实际终端时延是指网络层在终端进行数据处理，实际产生的终端时延。实际服务器端时延是指网络层在服务器中进行数据处理，实际产生的服务器时延。第一初始回归模型是指待训练的终端回归模型。第二初始回归模型是指待训练的服务器端回归模型。
示例性地，计算机设备将各个网络层类型中的任意一个网络层类型作为候选网络层类型，获取图像处理网络中属于候选网络层类型的各个网络层在终端进行数据处理时对应的实际终端时延、在服务器端进行数据处理时对应的实际服务器端时延。将属于候选网络层类型的各个网络层分别对应的输出尺寸和输入尺寸作为训练样本，将各个网络层分别对应的实际终端时延作为样本标签，对候选网络层类型对应的第一初始回归模型进行模型训练，得到候选网络层对应的终端回归模型。将属于候选网络层类型的各个网络层分别对应的输出尺寸和输入尺寸作为训练样本，将各个网络层分别对应的实际服务器端时延作为样本标签，对候选网络层类型对应的第二初始回归模型进行模型训练，得到候选网络层对应的服务器端回归模型。基于相同的方法，得到各个网络层类型分别对应的终端回归模型和服务器端回归模型。
上述实施例中，通过获取属于候选网络层类型的多个网络层分别在终端进行数据处理对应的实际终端时延、在服务器端进行数据处理对应的实际服务器端时延，基于属于候选网络层类型的各个网络层分别对应的输入尺寸、输出尺寸、实际终端时延训练对应的第一初始回归模型得到候选网络层类型对应的终端回归模型，基于属于候选网络层类型的各个网络层分别对应的输入尺寸、输出尺寸、实际服务器端时延训练对应的第二初始回归模型得到候选网络层类型对应的服务器端回归模型。基于各个网络层类型分别对应的终端回归模型和服务器端回归模型，能够预测图像处理网络中的网络层在终端运行时对应的预测终端时延，和在服务器端运行对应的预测服务器端时延，基于各个网络层分别对应的预测终端时延和预测服务器端时延，能够确定各个网络层对应的总时延，基于各个网络层对应的总时延确定目标层，能够使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间降到最低，大大提高图像处理网络的处理效率。
在一个实施例中，获取目标带宽，包括：
获取预计运行时段；将预计运行时段输入带宽预测模型，得到目标带宽；其中，带宽预测模型是基于历史带宽序列训练得到的，历史带宽序列包括多个历史运行时段和各个历史运行时段分别对应的历史带宽。
其中，预计运行时段是指预计图像处理网络将对图像信息进行数据处理的时间段。带宽预测模型是指用于预测预计运行时段对应的带宽的模型，模型的输入数据是运行时段对应的时段信息，输出数据是运行时段对应的预测带宽。历史带宽序列是指包括多个历史运行时段和各个历史运行时段分别对应的历史带宽的序列，用于训练带宽预测模型。历史运行时段是指图像处理网络对应的在当前时间之前的运行时段，运行时段的长度通常为一个运行周期，例如可以将图像处理网络的运行周期设置为30s。历史带宽是指历史运行时段对应的带宽。
示例性地，计算机设备获取图像处理网络对应的预计运行时段和带宽预测模型，将预计运行时段输入带宽预测模型得到预计运行时段对应的目标带宽。
在一个实施例中，计算机设备获取图像处理网络对应的各个历史带宽序列，将历史带宽序列中的各个历史运行时段作为训练样本，将各个历史运行时段分别对应的历史带宽作为样本标签，对待训练的带宽预测模型进行模型训练，得到带宽预测模型。
上述实施例中，通过带宽预测模型，能够预测预计运行时段对应的目标带宽，基于目标带宽能够确定图像处理网络中各个网络层分别对应的上传时延，使得计算机设备能够根据不同时段分别对应的目标带宽，即不同运行周期分别对应的目标带宽，动态确定图像处理网络中的目标层，保证图像处理网络在不同运行周期都能够保持较高的处理效率。
在一个实施例中，如图4所示，图像处理加速方法还包括：
步骤S402，获取图像处理网络对应的至少一个补充优化指标。
步骤S404，计算当前网络层在各个补充优化指标上对应的补充消耗，基于当前网络层对应的各个补充消耗和总时延，得到当前网络层对应的总消耗。
步骤S406，基于各个网络层分别对应的总消耗，从各个网络层中确定目标层。
其中，补充优化指标是指图像处理网络对应的除总时延之外的，其他的优化指标，例如，补充优化指标可以为图像处理网络对应的能量消耗(即电量消耗)、成本消耗等。补充消耗是指将当前网络层作为候选的目标层时，图像处理网络在对应的补充优化指标方面对应的消耗值。总消耗是指基于网络层对应的各个补充消耗和总时延，确定的网络层对应的总消耗，用于表征将该网络层作为候选的目标层时，图像处理网络在各个补充优化指标和处理时延等方面对应的综合消耗值，能够反映图像处理网络此时的整体性能。
示例性地，计算机设备获取图像处理网络对应的至少一个补充优化指标，将各个网络层中的任意一个网络层作为当前网络层，确定当前网络层在各个补充优化指标上分别对应的补充消耗，例如，当补充优化指标为能量消耗时，获取当网络层和当前网络层对应的各个前向网络层分别在终端进行数据处理时，当前网络层和各个前向网络层分别对应的终端能量消耗，获取当前网络层对应的各个后向网络层分别在服务器中进行数据处理时，各个后向网络层分别对应的服务器端能量消耗，获取将当前网络层的输出数据上传至服务器所需的上传能量消耗。融合当前网络层的各个前向网络层分别对应的终端能量消耗、当前网络层对应的终端能量消耗、当前网络层的各个后向网络层分别对应的服务器端能量消耗以及当前网络层对应的上传能量消耗，得到当前网络层在补充优化指标为能量消耗时对应的补充消耗。基于相同的方法，得到当前网络层在其他各个补充优化指标上分别对应的补充消耗。
融合当前网络层对应的各个补充消耗和总时延，得到当前网络层对应的总消耗。基于相同的方法，得到各个网络层分别对应的总消耗。对比各个网络层分别对应的总消耗，将各个总消耗中的最小值对应的网络层作为目标层。
在一个实施例中，在基于当前网络层对应的各个补充消耗和总时延，得到当前网络层对应的总消耗时，可以给总时延和各个不同补充优化指标赋予不同的权重，基于总时延和各个补充消耗分别对应的权重，融合当前网络层对应的总时延和各个补充消耗，得到当前网络层对应的总消耗。
上述实施例中，基于图像处理网络对应的各个补充优化指标，确定当前网络层对应的各个补充消耗，基于当前网络层对应的各个补充消耗和总时延，确定当前网络层对应的总消耗，进而得到各个网络层分别对应的总消耗，将各个总消耗中的最小值对应的网络层作为目标层，能够大大提高图像处理网络的整体性能。
在一个实施例中，图像处理加速方法还包括：
获取图像文本识别模型；基于图像文本识别模型中的各个子网络分别对应的计算量，从各个子网络中确定目标网络；将目标网络作为图像处理网络。
其中，图像文本识别模型是指用于识别图像中的文本信息的模型，包含多个依次连接的子网络。子网络是指图像文本识别模型中的部分图像信息处理网络。目标网络是指在各个子网络中确定的作为图像处理网络的子网络。
示例性地，计算机设备获取图像文本识别模型，确定图像文本识别模型中各个子网络分别对应的计算量，基于各个子网络分别对应的计算量，确定各个子网络中计算密集型的子网络为目标网络，将各个目标网络分别作为图像处理网络，确定各个目标网络中分别对应的目标层，提高各个目标网络进行图像处理的效率，进而提高图像文本识别模型进行图像处理的效率。
上述实施例中，将图像文本识别模型中计算密集型的子网络作为目标网络，确定各个目标网络分别对应的目标层，能够有针对性地提高图像文本识别模型中计算密集型的子网络的数据处理效率，使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间大大减少，有效提高图像处理网络的处理效率。
在一个具体的实施例中，本申请的图像处理加速方法可以应用在图像文本识别模型中，如图5所示，图像文本识别技术包括图像预处理、文本检测定位、文本识别和文本输出等步骤，而对于图像文本识别模型，模型中的CTPN(Connectionist Text ProposalNetwork，连接文本建议网络)网络为计算密集型网络，CTPN网络为文本检测网络，用于从图片中确定文字信息所在的图片区域，如图6所示，CTPN网络的推理流程包括图像特征提取、滑动窗口处理、BiLSTM(Bi-directional Long Short-Term Memory，双向长短期记忆神经网络)处理和输出预测框等步骤。因此，本实施例以加速文本检测网络为例，阐述计算机设备如何加速图像处理。图像处理加速方法包括以下步骤：
1、确定预测时延
计算机设备将图像文本识别模型中的文本检测网络作为目标网络，对目标网络进行文本加速处理。计算机设备获取文本检测网络对应的配置文件和目标带宽，配置文件中包含文本检测网络中各个网络层类型分别对应的终端回归模型和云服务器端回归模型、文本检测网络中各个网络层分别对应的输出尺寸和输入尺寸。
将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和云服务器端回归模型，得到各个网络层分别对应的终端推理时延和云服务器端推理时延。计算同一网络层对应的输出尺寸和目标带宽之间的比值，得到各个网络层分别对应的上传时延。
2、确定总时延
计算机设备将各个网络层中的任意一个网络层作为当前网络层，融合当前网络层的各个前向网络层分别对应的终端推理时延、当前网络层对应的终端推理时延、当前网络层的各个后向网络层分别对应的云服务器端推理时延以及当前网络层对应的上传时延，得到当前网络层对应的总时延。基于相同的方法，得到各个网络层分别对应的总时延。
计算机设备可以通过以下公式计算当前网络层对应的总时延：
L＝Ldevice+Lcloud+Lupload
其中，L为当前网络层对应的总时延，Ldevice为即当前网络层的各个前向网络层分别对应的终端推理时延之和，Lcloud为当前网络层的各个后向网络层分别对应的云服务器端推理时延，Lupload为当前网络层对应的上传时延。
3、确定目标层
计算机设备基于各个网络层分别对应的总时延，从各个网络层中确定目标层，目标层对应的总时延为各个网络层分别对应的总时延中的最小值，即minimize(Ldevice+Lcloud+Lupload)。如图7所示，目标层的各个前向网络层均在终端进行推理，将目标层的输出数据上传至云端后，目标层的各个后向网络层均在云端进行推理，最终由云端返回推理结果。
上述实施例中，结合云服务算力丰富以及终端靠近数据的特定，自适应带宽保持高效的图像文本识别，每次得到的目标层是动态自适应的，充分考虑了终端的算力和云服务器的算力与带宽，能够始终保持有竞争力的推理时延。可见，当带宽较大时，将在文本检测中较早的阶段将中间结果上传至云服务器，由云服务器完成网络剩下的推理，并返回结果，当带宽较小时，会选择在终端中执行较多的推理，甚至完全在本地推理后，才将中间结果上传至云服务器中进行后续处理，达到了模型自适应时延的高效推理，同时，用户原始图像数据保留在终端设备中，上传至云服务器的仅是模型中间结果，保护了数据的隐私安全性。此外，用户无需频繁根据终端设备匹配算力符合的CNN(Convolutional NeuralNetwork，卷积神经网络)，增强了模型的适配性。同时，在现实场景中，网络带宽随着时间的变化而变化，目标带宽为后续带宽的预测值，基于统计学模型或机器学习模型来预测带宽值，能够有助于确定动态场景下的模型最优切分点(即目标层)，最大化加速模型推理过程。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理加速方法的图像处理加速装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理加速装置实施例中的具体限定可以参见上文中对于图像处理加速方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种图像处理加速装置，包括：网络层信息获取模块802、处理时延确定模块804、上传时延确定模块806、总时延确定模块808和目标层确定模块810，其中：
网络层信息获取模块802，用于获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽。
处理时延确定模块804，用于将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。
上传时延确定模块806，用于基于各个网络层分别对应的输出尺寸和目标带宽，计算各个网络层分别对应的上传时延。
总时延确定模块808，融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延。
目标层确定模块810，基于各个网络层分别对应的总时延，从各个网络层中确定目标层；目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理。
上述图像处理加速装置，通过获取图像处理网络中不同网络层类型分别对应的终端回归模型和服务器端回归模型，将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到各个网络层分别对应的预测终端时延和预测服务器端时延。预测终端时延能够反映当网络层在终端进行数据处理时，网络层对输入数据进行处理得到输出数据的过程预计所需的时间，预测服务器端时延能够反映当网络层在服务器中进行数据处理时，网络层对输入数据进行处理得到输出数据的过程预计所需的时间。再基于各个网络层分别对应的输出尺寸和目标带宽，计算所述各个网络层分别对应的上传时延，上传时延是指网络层的输出数据上传至服务器所需的时间。融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延，进而得到各个网络层分别对应的总时延。总时延能够反映图像处理网络对输入数据进行处理得到输出数据的过程所需的时间。基于各个网络层分别对应的总时延，从各个网络层中确定目标层，目标层和目标层对应的各个前向网络层用于在终端进行数据处理，目标层对应的各个后向网络层用于在服务器中进行数据处理，能够使得图像处理网络对输入数据进行处理得到输出数据的过程所需的时间降到最低，大大提高图像处理网络的处理效率。
在一个实施例中，网络层信息获取模块802还用于：
获取预计运行时段；将所述预计运行时段输入带宽预测模型，得到目标带宽；其中，所述带宽预测模型是基于历史带宽序列训练得到的，所述历史带宽序列包括多个历史运行时段和各个历史运行时段分别对应的历史带宽。
在一个实施例中，目标层确定模块810还用于：
将各个总时延中的最小值对应的网络层作为目标层。
在一个实施例中，目标层确定模块810还用于：
获取所述图像处理网络对应的至少一个补充优化指标；计算当前网络层在各个补充优化指标上对应的补充消耗，基于所述当前网络层对应的各个补充消耗和总时延，得到所述当前网络层对应的总消耗；基于所述各个网络层分别对应的总消耗，从所述各个网络层中确定目标层。
在一个实施例中，如图9所示，图像处理加速装置还包括：
回归模型训练模块902，用于获取属于候选网络层类型的多个网络层在终端进行数据处理对应的实际终端时延、在服务器端进行数据处理对应的实际服务器端时延；基于属于所述候选网络层类型的各个网络层分别对应的输出尺寸、输入尺寸和实际终端时延，对所述候选网络层类型对应的第一初始回归模型进行模型训练，得到所述候选网络层类型对应的终端回归模型；基于属于所述候选网络层类型的各个网络层分别对应的输出尺寸、输入尺寸和实际服务器端时延，对所述候选网络层类型对应的第二初始回归模型进行模型训练，得到所述候选网络层类型对应的服务器端回归模型。
在一个实施例中，如图9所示，图像处理加速装置还包括：
目标网络确定模块904，用于获取图像文本识别模型；基于所述图像文本识别模型中的各个子网络分别对应的计算量，从所述各个子网络中确定目标网络；将所述目标网络作为所述图像处理网络。
上述图像处理加速装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预测终端时延、预测服务器端时延、总时延等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理加速方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理加速方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10、11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理加速方法，其特征在于，所述方法包括：
获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及所述图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽；
将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到所述各个网络层分别对应的预测终端时延和预测服务器端时延；
基于所述各个网络层分别对应的输出尺寸和所述目标带宽，计算所述各个网络层分别对应的上传时延；
融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延；
基于所述各个网络层分别对应的总时延，从所述各个网络层中确定目标层；所述目标层和所述目标层对应的各个前向网络层用于在终端进行数据处理，所述目标层对应的各个后向网络层用于在服务器中进行数据处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述各个网络层分别对应的总时延，从各个网络层中确定目标层，包括：
将各个总时延中的最小值对应的网络层作为目标层。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取属于候选网络层类型的多个网络层在终端进行数据处理对应的实际终端时延、在服务器端进行数据处理对应的实际服务器端时延；
基于属于所述候选网络层类型的各个网络层分别对应的输出尺寸、输入尺寸和实际终端时延，对所述候选网络层类型对应的第一初始回归模型进行模型训练，得到所述候选网络层类型对应的终端回归模型；
基于属于所述候选网络层类型的各个网络层分别对应的输出尺寸、输入尺寸和实际服务器端时延，对所述候选网络层类型对应的第二初始回归模型进行模型训练，得到所述候选网络层类型对应的服务器端回归模型。
4.根据权利要求1所述的方法，其特征在于，所述获取目标带宽，包括：
获取预计运行时段；
将所述预计运行时段输入带宽预测模型，得到目标带宽；
其中，所述带宽预测模型是基于历史带宽序列训练得到的，所述历史带宽序列包括多个历史运行时段和各个历史运行时段分别对应的历史带宽。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述图像处理网络对应的至少一个补充优化指标；
计算当前网络层在各个补充优化指标上对应的补充消耗，基于所述当前网络层对应的各个补充消耗和总时延，得到所述当前网络层对应的总消耗；
基于所述各个网络层分别对应的总消耗，从所述各个网络层中确定目标层。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取图像文本识别模型；
基于所述图像文本识别模型中的各个子网络分别对应的计算量，从所述各个子网络中确定目标网络；
将所述目标网络作为所述图像处理网络。
7.一种图像处理加速装置，其特征在于，所述装置包括：
网络层信息获取模块，用于获取图像处理网络中各个网络层类型分别对应的终端回归模型和服务器端回归模型、以及所述图像处理网络中各个网络层分别对应的输出尺寸和输入尺寸，获取目标带宽；
处理时延确定模块，用于将同一网络层对应的输出尺寸和输入尺寸分别输入对应的终端回归模型和服务器端回归模型，得到所述各个网络层分别对应的预测终端时延和预测服务器端时延；
上传时延确定模块，用于基于所述各个网络层分别对应的输出尺寸和所述目标带宽，计算所述各个网络层分别对应的上传时延；
总时延确定模块，用于融合当前网络层的各个前向网络层分别对应的预测终端时延、当前网络层对应的预测终端时延、当前网络层的各个后向网络层分别对应的预测服务器端时延、以及当前网络层对应的上传时延，得到当前网络层对应的总时延；
目标层确定模块，用于基于所述各个网络层分别对应的总时延，从所述各个网络层中确定目标层；所述目标层和所述目标层对应的各个前向网络层用于在终端进行数据处理，所述目标层对应的各个后向网络层用于在服务器中进行数据处理。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211668737.1A 2022-12-24 2022-12-24 图像处理加速方法、装置、计算机设备和存储介质 Pending CN116343013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211668737.1A CN116343013A (zh) 2022-12-24 2022-12-24 图像处理加速方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211668737.1A CN116343013A (zh) 2022-12-24 2022-12-24 图像处理加速方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116343013A true CN116343013A (zh) 2023-06-27

Family

ID=86893628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211668737.1A Pending CN116343013A (zh) 2022-12-24 2022-12-24 图像处理加速方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116343013A (zh)

Similar Documents

Publication Publication Date Title
CN112101169B (zh) 基于注意力机制的道路图像目标检测方法及相关设备
CN112382099B (zh) 交通路况预测方法、装置、电子设备及存储介质
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
WO2021218037A1 (zh) 目标检测方法、装置、计算机设备和存储介质
CN113221983A (zh) 迁移学习模型的训练方法及装置、图像处理方法及装置
CN116258923A (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN116343013A (zh) 图像处理加速方法、装置、计算机设备和存储介质
CN117223005A (zh) 加速器、计算机系统和方法
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN115601550B (zh) 模型确定方法、装置、计算机设备及计算机可读存储介质
Ghebriout et al. Harmonic-NAS: Hardware-Aware Multimodal Neural Architecture Search on Resource-constrained Devices
CN111667028A (zh) 一种可靠负样本确定方法和相关装置
CN116894802B (zh) 图像增强方法、装置、计算机设备和存储介质
CN117938951B (zh) 信息推送方法、装置、计算机设备和存储介质
CN116866419A (zh) 信息推送方法、装置、计算机设备和存储介质
CN117390098A (zh) 数据分析方法、装置、计算机设备和存储介质
CN116881122A (zh) 测试案例生成方法、装置、设备、存储介质和程序产品
CN116881543A (zh) 金融资源对象推荐方法、装置、设备、存储介质和产品
CN115630973A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN115130539A (zh) 分类模型训练、数据分类方法、装置和计算机设备
CN116597293A (zh) 多模态场景识别方法、装置、计算机设备和存储介质
CN116230022A (zh) 音频的转换方法、装置、计算机设备和存储介质
CN117648579A (zh) 数据信息与事件信息的匹配方法、装置和计算机设备
CN117152428A (zh) 模型训练方法、装置、计算机设备及计算机可读存储介质
CN117975473A (zh) 票据文本检测模型训练及检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Zhaolian Consumer Finance Co.,Ltd.

Applicant after: SUN YAT-SEN University

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: MERCHANTS UNION CONSUMER FINANCE Co.,Ltd.

Country or region before: China

Applicant before: SUN YAT-SEN University

CB02 Change of applicant information