CN111385598A - 云端装置、终端装置及影像分类方法 - Google Patents

云端装置、终端装置及影像分类方法 Download PDF

Info

Publication number
CN111385598A
CN111385598A CN201811639424.7A CN201811639424A CN111385598A CN 111385598 A CN111385598 A CN 111385598A CN 201811639424 A CN201811639424 A CN 201811639424A CN 111385598 A CN111385598 A CN 111385598A
Authority
CN
China
Prior art keywords
image
terminal device
result
instruction
cloud device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811639424.7A
Other languages
English (en)
Inventor
林忠亿
郭锦斌
陈怡桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN201811639424.7A priority Critical patent/CN111385598A/zh
Priority to US16/260,414 priority patent/US10733481B2/en
Publication of CN111385598A publication Critical patent/CN111385598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种终端装置，用于对影像进行分类，终端装置与云端装置进行通信。终端装置包括处理器，适于实现各指令；及存储设备，存储设备中存储有一影像分类模型，影像分类模型包括第一部分的运算与第二部分的运算，存储设备还适于存储多条指令，所述指令适于由处理器加载并执行以下步骤：读取一待分类的影像；将影像分类的指令发送至云端装置；当指令包括影像时，接收云端装置发出的中间运算结果；执行第二部分的运算，得到影像的分类结果；当指令包括中间运算结果时，在指令发送后，接收云端装置发出的影像的分类结果。本发明还提出一种云端装置及影像分类方法。

Description

云端装置、终端装置及影像分类方法
技术领域
本发明涉及影像分类领域，尤其涉及一种用于影像分类的云端装置、终端装置及影像分类方法。
背景技术
近年来随着深度学习技术的发展，深度学习方法在影像识别、分类、分割等方面取得了巨大突破。深度学习的动作分为训练(training)与推论(inference)。训练为使用大量数据来对AI模型做训练，训练后得到可用AI模型。推论为将未知的数据输入AI模型以得到判断结果。
目前，通常将AI模型放在云端(cloud)装置上，客户端(client)将影像上传至云端装置，云端装置通过AI模型得到该影像的分类结果，再将分类结果回传给客户端。然而，在这种方法中云端装置需要负担全部的运算工作，当多个客户端同时请求云端装置进行运算时，影像分类的效率将受到影像。
发明内容
有鉴于此，有必要提出一种云端装置、终端装置及影像分类方法，以解决上述问题。
本发明的第一方面提出一种终端装置，用于对影像进行分类，所述终端装置包括通信单元，所述终端装置通过所述通信单元与云端装置进行通信，所述终端装置包括：处理器，适于实现各指令；及存储设备，所述存储设备中存储有一影像分类模型，所述影像分类模型包括第一部分的运算与第二部分的运算，所述存储设备还适于存储多条指令，所述指令适于由所述处理器加载并执行以下步骤：读取一待分类的影像；将影像分类的指令发送至所述云端装置，所述指令包括所述影像或一中间运算结果；当所述指令包括所述影像时，接收所述云端装置发出的执行第一部分的运算后得到的中间运算结果；执行第二部分的运算，得到所述影像的分类结果；当所述指令包括所述中间运算结果时，所述步骤还包括：在所述指令发送后，接收所述云端装置发出的执行第二部分的运算后得到的影像的分类结果。
本发明的第二方面提出一种云端装置，用于对影像进行分类，所述云端装置包括通信单元，所述云端装置通过所述通信单元与终端装置进行通信，所述云端装置包括：处理器，适于实现各指令；及存储设备，所述存储设备中存储有一影像分类模型，所述影像分类模型包括第一部分的运算与第二部分的运算，所述存储设备还适于存储多条指令，所述指令适于由所述处理器加载并执行以下步骤：接收所述终端装置发出的影像分类的指令；判断所述指令是否包括执行所述第一部分的运算得到的中间运算结果；当判断所述指令包括所述中间运算结果时，执行所述第二部分的运算，得到影像的分类结果；将所述影像的分类结果发送至所述终端装置；当判断所述指令不包括所述中间运算结果时，执行所述第一部分的运算，得到中间运算结果；将所述中间运算结果发送至所述终端装置。
本发明的第三方面提出一种影像分类方法，应用于终端装置与云端装置中，所述终端装置与所述云端装置中分别存储有一影像分类模型，所述影像分类模型包括第一部分的运算与第二部分的运算，所述影像分类方法包括以下步骤：所述终端装置读取一待分类的影像；所述终端装置将影像分类的指令发送至所述云端装置；所述云端装置判断所述指令中是否包括执行所述第一部分的运算得到的中间运算结果；当所述云端装置判断所述指令中包括所述中间运算结果时，所述云端装置执行所述第二部分的运算，得到影像的分类结果，并将所述影像的分类结果发送至终端装置；当所述云端装置判断所述指令中不包括所述中间运算结果时，所述云端装置执行所述第一部分的运算，得到中间运算结果，并将所述中间运算结果发送至终端装置；所述终端装置执行所述第二部分的运算，得到所述影像的分类结果。
上述终端装置能够负担影像分类模型中的部分运算，所述终端装置与所述云端装置相互配合，共同完成影像分类模型的运算，减轻了所述云端装置的运算负担，提升了影像分类的效率。并且，上述中间运算结果的网络传输量小于影像的网络传输量，提升了数据传输的效率，进一步提升了影像分类的效率。
附图说明
图1为本发明一实施方式中终端装置与云端装置的网络环境示意图。
图2为本发明一实施方式中终端装置的模块示意图。
图3为本发明一实施方式中云端装置的模块示意图。
图4为本发明一实施方式中的影像分类方法的流程图。
主要元件符号说明
Figure BDA0001930830160000031
Figure BDA0001930830160000041
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在限制本发明。
本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，为本发明一较佳实施方式中终端装置10与云端装置20的网络环境示意图。所述云端装置20与至少一所述终端装置10进行通信连接。
所述终端装置10至少包括第一处理器11、第一存储器12、第一通信单元13、显示单元14及输入单元15，所述第一存储器12、所述第一通信单元13、所述显示单元14及所述输入单元15分别与所述第一处理器11电性连接。在本实施方式中，所述第一处理器11、第一存储器12、第一通信单元13、显示单元14及输入单元15可集成到同一设备上。所述终端装置10可以为一台或多台移动终端或计算机。
所述第一处理器11可以是中央处理器(Central Processing Unit,CPU)、微处理器或其他数据处理芯片等，适于实现各指令。
所述第一存储器12存储终端装置10中的各类数据，例如程序代码等，并在终端装置10的运行过程中实现高速、自动地完成程序或数据的存取。
所述第一存储器12还存储有一影像分类模型。所述影像分类模型为类神经网络结构。较佳地，所述影像分类模型为卷积神经网络(Convolutional Neural Networks，CNN)模型。在本实施方式中，所述影像分类模型为VGG(Visual Geometry Group)模型。可以理解，在其他实施方式中，所述影像分类模型也可为其他类型的CNN模型。
所述VGG模型包括第一部分的运算和第二部分的运算。所述第一部分的运算包括多个卷积(Convolution)运算，所述第二部分的运算包括三个全连接(Fully Connected,FC)运算。卷积运算用于取得影像的高阶特征，该高阶特征以多个数值表示。
所述第一存储器12可为硬盘、软盘、U盘、随机存取存储设备等。
在至少一实施方式中，所述第一存储器12可以是内部存储系统，例如闪存，随机读取存储设备RAM，可读取的存储设备ROM。
在至少一实施方式中，所述第一存储器12还可以是一个存储系统，例如影碟，存储卡，或者数据存储媒介。所述第一存储器12还包括不稳定或者稳定的存储设备。
所述第一通信单元13可以通过有线或无线的通信方式与所述云端装置20进行通信。
所述显示单元14包括至少一个显示屏。
所述输入单元15用于供使用者输入各种指令或信息，所述指令包括影像分类的指令。所述输入单元15可包括，但不限于，键盘、鼠标、触摸屏等。
所述云端装置20至少包括第二处理器21、第二存储器22及第二通信单元23，所述第二存储器22、所述第二通信单元23分别与所述第二处理器21电性连接。在本实施方式中，所述云端装置20可以包括一台或多台计算机服务器。
所述第二处理器21可以是CPU、微处理器或其他数据处理芯片等，适于实现各指令。
所述第二存储器22存储云端装置20中的各类数据，例如程序代码等，并在云端装置20的运行过程中实现高速、自动地完成程序或数据的存取。
所述第二存储器22中还存储有一影像分类模型。较佳地，所述影像分类模型与所述第一存储器12中存储的影像分类模型相同。
所述第二存储器22可为硬盘、软盘、U盘、随机存取存储设备等。
在至少一实施方式中，所述第二存储器22可以是内部存储系统，例如闪存，随机读取存储设备RAM，可读取的存储设备ROM。
在至少一实施方式中，所述第二存储器22还可以是一个存储系统，例如影碟，存储卡，或者数据存储媒介。所述第二存储器22还包括不稳定或者稳定的存储设备。
所述第二通信单元23用于与至少一个终端装置10中的第一通信单元13进行通信，以使云端装置20与所述至少一个终端装置10通信连接。
请同时参阅图1与图2，图2为本发明一实施方式中终端控制系统1的模块示意图。所述终端控制系统1应用于所述终端装置10上。所述终端控制系统1包括由多个程序代码段组成的功能模块。所述终端控制系统1中的各个程序段的程序代码可以存储于所述第一存储器12中，并由所述第一处理器11所执行，以实现上述终端控制系统1的功能。所述终端控制系统1至少包括影像读取模块101、第一判断模块102、第一运算模块103、第一信息收发模块104和显示控制模块105。
所述影像读取模块101用于读取待分类的影像。所述影像可为存储于第一存储器12中的影像，例如图像。
所述第一判断模块102用于判断终端装置10是否需要做影像分类模型中第一部分的运算。在至少一实施方式中，所述第一判断模块102可依据使用者通过输入单元15输入的影像分类的指令，判断所述终端装置10是否需要做影像分类模型中第一部分的运算。
所述第一运算模块103用于执行影像分类模型中第一部分的运算，以得到中间运算结果；或执行影像分类模型中第二部分的运算，以得到影像分类的结果。
所述第一信息收发模块104用于通过第一通信单元13收发各种信息，包括影像分类的指令、中间运算结果等。所述影像分类的指令包括所述影像或中间运算结果。
所述显示控制模块105用于控制显示单元14显示第一处理器11的处理结果，例如影像的分类结果。
请同时参阅图1与图3，图3为本发明一实施方式中云端控制系统2的模块示意图。所述云端控制系统2应用于所述云端装置20上。所述云端控制系统2包括由多个程序代码段组成的功能模块。所述云端控制系统2中的各个程序段的程序代码可以存储于所述第二存储器22中，并由所述第二处理器21所执行，以实现上述云端控制系统2的功能。所述云端控制系统2至少包括第二判断模块201、第二运算模块202和第二信息收发模块203。
所述第二判断模块201用于接收到的影像分类的指令中是否包括中间运算结果。
所述第二判断模块201还用于判断所述影像分类的指令中是否包括仅执行第一部分运算的要求。
所述第二运算模块202用于执行影像分类模型中第一部分的运算，以得到中间运算结果；或执行影像分类模型中第二部分的运算，以得到影像分类的结果；或先后执行第一部分的运算和第二部分的运算。
所述第二信息收发模块203用于向终端装置10发送各种信息，包括中间运算结果、影像的分类结果等。
请参照图4，图4为本发明一实施方式中影像分类方法的流程图。所述影像分类方法仅是一种示例，因为有很多种实施所述方法的方式。接下来要描述的影像分类方法能够被图2、图3所示的模块所执行。图4中每一个图块代表的一个或者多个步骤，方法或者子流程等由示例方法所执行。示例方法由步骤S401开始。
步骤S401，终端装置10读取一待分类的影像。
具体地，终端装置10的影像读取模块101读取待分类的影像。
步骤S402，终端装置10判断是否需要做第一部分的运算。
具体地，终端装置10的第一判断模块102依据用户输入的指令判断是否需要做影像分类模型中第一部分的运算。若为是，则进入步骤S403；若为否，则进入步骤S404。
较佳地，所述影像分类模型为VGG模型，包括第一部分的运算和第二部分的运算。所述第一部分的运算包括多个卷积运算，所述第二部分的运算包括三个全连接运算。
步骤S403，终端装置10执行第一部分的运算，得到一中间计算结果。
具体地，终端装置10的第一运算模块103执行影像分类模型中第一部分的运算，得到一中间计算结果。所述中间运算结果以数值表示。
步骤S404，终端装置10将影像分类的指令发送至云端装置20。
具体地，所述第一信息收发模块104将所述影像分类的指令通过第一通信单元13发送至云端装置20。
所述指令包括所述影像或执行影像分类模型中第一部分的运算得到的中间运算结果。步骤S405，云端装置20判断所述指令中是否包括中间运算结果。
具体地，所述云端装置20的第二判断模块201判断所述指令中是否包括所述中间运算结果。若为是，则进入步骤S406；若为否，则进入步骤S407。
步骤S406，云端装置20执行第二部分的运算，得到影像的分类结果，并将影像分类结果发送至终端装置10。
具体地，云端装置20的第二运算模块202基于所述中间运算结果，执行影像分类模型中第二部分的运算，得到影像的分类结果，所述第二信息收发模块203将所述影像的分类结果通过第二通信单元23发送至终端装置10。
步骤S407，云端装置20判断所述指令中是否包括仅执行第一部分运算的要求。
具体地，当所述指令中不包括所述中间运算结果时，即所述指令中包括所述影像，则云端装置20的第二判断模块201进一步判断所述指令中是否包括仅执行第一部分运算的要求。若为否，则进入步骤S408；若为是，则进入步骤S409。
步骤S408，所述云端装置20执行第一部分及第二部分的运算，得到影像的分类结果，并将影像分类结果发送至终端装置10。
具体地，所述第二运算模块202执行影像分类模型中第一部分及第二部分的运算，得到影像的分类结果，所述第二信息收发模块203将所述影像的分类结果通过第二通信单元发送至终端装置10。
步骤S409，所述云端装置20执行第一部分的运算，得到中间运算结果，并将中间运算结果发送至终端装置10。
具体地，当指令中包括仅执行第一部分运算的要求时，所述云端装置20的第二运算模块202执行影像分类模型中第一部分的运算，得到中间运算结果，所述第二信息收发模块203将所述中间运算结果发送至终端装置10。
步骤S410，所述终端装置10执行第二部分的运算，得到影像的分类结果。
具体地，所述终端装置10的第一运算模块103执行影像分类模型中第二部分的运算，得到影像的分类结果。
可以理解，在步骤S406、S408及S410之后，还可包括步骤：所述终端装置10的显示控制模块105控制显示单元14显示所述影像的分类结果。
可以理解，在其他实施方式中，所述步骤S407、S408可以取消，在步骤S405的判断结果为否时，直接进入步骤S409。
可以理解，在其他实施方式中，若终端装置10均需执行第一部分的运算，所述步骤S402可以取消。
上述终端装置10能够负担影像分类模型中的部分运算，终端装置10与所述云端装置20相互配合，共同完成影像分类模型的运算，减轻了云端装置20的运算负担，提升了影像分类的效率。并且，上述中间运算结果包括多个数值，可以压缩后再由终端装置10传输到云端装置20，中间运算结果的网络传输量小于影像的网络传输量，提升了数据传输的效率，进一步提升影像分类的效率。
尽管对本发明的优选实施方式进行了说明和描述，但是本领域的技术人员将领悟到，可以作出各种不同的变化和改进，这些都不超出本发明的真正范围。因此期望，本发明并不局限于所公开的作为实现本发明所设想的最佳模式的具体实施方式，本发明包括的所有实施方式都有所附权利要求书的保护范围内。

Claims (10)

1.一种终端装置，用于对影像进行分类，其特征在于：所述终端装置包括通信单元，所述终端装置通过所述通信单元与云端装置进行通信，所述终端装置包括：
处理器，适于实现各指令；及
存储设备，所述存储设备中存储有一影像分类模型，所述影像分类模型包括第一部分的运算与第二部分的运算，所述存储设备还适于存储多条指令，所述指令适于由所述处理器加载并执行以下步骤：
读取一待分类的影像；
将影像分类的指令发送至所述云端装置，所述指令包括所述影像或一中间运算结果；
当所述指令包括所述影像时，接收所述云端装置发出的执行第一部分的运算后得到的中间运算结果；
执行第二部分的运算，得到所述影像的分类结果；
当所述指令包括所述中间运算结果时，所述步骤还包括：
在所述指令发送后，接收所述云端装置发出的执行第二部分的运算后得到的影像的分类结果。
2.如权利要求1所述的终端装置，其特征在于，所述影像分类模型为VGG模型，所述第一部分的运算包括多个卷积运算，所述第二部分的运算包括三个全连接运算。
3.如权利要求1所述的终端装置，其特征在于，所述终端装置还包括一显示单元，所述显示单元与所述处理器电性连接，所述指令还适于由所述处理器加载并执行以下步骤：控制显示单元显示所述影像的分类结果。
4.如权利要求1所述的终端装置，其特征在于，在读取待分类的影像之后，所述指令还适于由所述处理器加载并执行以下步骤：
判断是否需要做第一部分的运算；
在判断需要做第一部分的运算时，执行所述第一部分的运算，得到所述中间运算结果。
5.一种云端装置，用于对影像进行分类，其特征在于：所述云端装置包括通信单元，所述云端装置通过所述通信单元与终端装置进行通信，所述云端装置包括：
处理器，适于实现各指令；及
存储设备，所述存储设备中存储有一影像分类模型，所述影像分类模型包括第一部分的运算与第二部分的运算，所述存储设备还适于存储多条指令，所述指令适于由所述处理器加载并执行以下步骤：
接收所述终端装置发出的影像分类的指令；
判断所述指令是否包括执行所述第一部分的运算得到的中间运算结果；
当判断所述指令包括所述中间运算结果时，执行所述第二部分的运算，得到影像的分类结果；
将所述影像的分类结果发送至所述终端装置；
当判断所述指令不包括所述中间运算结果时，执行所述第一部分的运算，得到中间运算结果；
将所述中间运算结果发送至所述终端装置。
6.如权利要求5所述的云端装置，其特征在于，所述影像分类模型为VGG模型，所述第一部分的运算包括多个卷积运算，所述第二部分的运算包括三个全连接运算。
7.如权利要求5所述的云端装置，其特征在于，在判断所述指令不包括所述中间运算结果之后，所述指令还适于由所述处理器加载并执行以下步骤：
判断所述指令中是否包括仅执行第一部分的运算的要求；
当所述指令不包括仅执行第一部分的运算的要求时，执行所述第一部分的运算和所述第二部分的运算，得到所述影像的分类结果。
8.一种影像分类方法，应用于终端装置与云端装置中，所述终端装置与所述云端装置中分别存储有一影像分类模型，所述影像分类模型包括第一部分的运算与第二部分的运算，所述影像分类方法包括以下步骤：
所述终端装置读取一待分类的影像；
所述终端装置将影像分类的指令发送至所述云端装置；
所述云端装置判断所述指令中是否包括执行所述第一部分的运算得到的中间运算结果；
当所述云端装置判断所述指令中包括所述中间运算结果时，所述云端装置执行所述第二部分的运算，得到影像的分类结果，并将所述影像的分类结果发送至终端装置；
当所述云端装置判断所述指令中不包括所述中间运算结果时，所述云端装置执行所述第一部分的运算，得到中间运算结果，并将所述中间运算结果发送至终端装置；
所述终端装置执行所述第二部分的运算，得到所述影像的分类结果。
9.如权利要求8所述的影像分类方法，其特征在于，所述影像分类模型为VGG模型，所述第一部分的运算包括多个卷积运算，所述第二部分的运算包括三个全连接运算。
10.如权利要求8所述的影像分类方法，其特征在于，当所述云端装置判断所述指令中不包括所述中间运算结果时，所述方法还包括步骤：
所述云端装置判断所述指令中是否包括仅执行所述第一部分的运算的要求；
当所述云端装置判断所述指令中不包括仅执行所述第一部分的运算的要求时，所述云端装置执行所述第一部分的运算和所述第二部分的运算，得到所述影像分类结果，并将所述影像的分类结果发送至所述终端装置。
CN201811639424.7A 2018-12-29 2018-12-29 云端装置、终端装置及影像分类方法 Pending CN111385598A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811639424.7A CN111385598A (zh) 2018-12-29 2018-12-29 云端装置、终端装置及影像分类方法
US16/260,414 US10733481B2 (en) 2018-12-29 2019-01-29 Cloud device, terminal device, and method for classifying images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811639424.7A CN111385598A (zh) 2018-12-29 2018-12-29 云端装置、终端装置及影像分类方法

Publications (1)

Publication Number Publication Date
CN111385598A true CN111385598A (zh) 2020-07-07

Family

ID=71123998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811639424.7A Pending CN111385598A (zh) 2018-12-29 2018-12-29 云端装置、终端装置及影像分类方法

Country Status (2)

Country Link
US (1) US10733481B2 (zh)
CN (1) CN111385598A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200089957A (ko) * 2019-01-18 2020-07-28 삼성전자주식회사 전자 장치 및 이의 제어 방법
US20220044101A1 (en) * 2020-08-06 2022-02-10 Micron Technology, Inc. Collaborative sensor data processing by deep learning accelerators with integrated random access memory
US11720417B2 (en) * 2020-08-06 2023-08-08 Micron Technology, Inc. Distributed inferencing using deep learning accelerators with integrated random access memory
US11941503B2 (en) * 2020-11-11 2024-03-26 EchoNous, Inc. Performing inference using an adaptive, hybrid local/remote technique

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120205440A1 (en) * 2009-10-14 2012-08-16 Nec Corporation Data collection system, mobile terminal, sticker, and data collection method
CN103208014A (zh) * 2012-01-13 2013-07-17 施亿民 影像辨识系统及其操作方法
TWI512661B (zh) * 2014-06-06 2015-12-11 Tseng Hsian Lin 廢水診斷系統、廢水診斷裝置與廢水資料處理方法
CN106161556A (zh) * 2015-04-20 2016-11-23 中兴通讯股份有限公司 一种终端的控制方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN107967166A (zh) * 2017-10-18 2018-04-27 东莞理工学院 一种云环境下遥感图像处理服务流实现方法
CN108255605A (zh) * 2017-12-29 2018-07-06 北京邮电大学 一种基于神经网络的图像识别协同计算方法及系统
CN108475214A (zh) * 2016-03-28 2018-08-31 谷歌有限责任公司 自适应人工神经网络选择技术

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053449B2 (en) * 2011-02-22 2015-06-09 Theatrolabs, Inc. Using structured communications to quantify social skills
CN103186649A (zh) 2011-12-31 2013-07-03 由田信息技术(上海)有限公司 影像分析之云端处理系统
EP3488381B1 (en) * 2016-07-21 2024-02-28 Siemens Healthineers AG Method and system for artificial intelligence based medical image segmentation
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
US20180300338A1 (en) * 2017-04-13 2018-10-18 Sas Institute Inc. Distributed high-cardinality data transformation system
US10838941B2 (en) * 2017-06-14 2020-11-17 Salesforce.Com, Inc. Automated image-based record creation and related database systems
US20190021649A1 (en) * 2017-07-24 2019-01-24 Mike Van Snellenberg Device for non-invasive detection of skin problems associated with diabetes mellitus
US10796202B2 (en) * 2017-09-21 2020-10-06 VIMOC Technologies, Inc. System and method for building an edge CNN system for the internet of things
US20190114531A1 (en) * 2017-10-13 2019-04-18 Cambia Health Solutions, Inc. Differential equations network
US20190180244A1 (en) * 2017-12-09 2019-06-13 Romella Janene El Kharzazi System and Method for Applying Artificial Intelligence and Highly Distributed Storage Systems to Human Resources Information Management
US10685235B2 (en) * 2017-12-28 2020-06-16 Microsoft Technology Licensing, Llc Querying video data with reduced latency and cost
US10580137B2 (en) * 2018-01-30 2020-03-03 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
US10878569B2 (en) * 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
CN110321999B (zh) * 2018-03-30 2021-10-01 赛灵思电子科技(北京)有限公司 神经网络计算图优化方法
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
US10706275B2 (en) * 2018-05-02 2020-07-07 Informed, Inc. System and method for stipulation collection using a short message service (SMS) and mobile device cameras with real-time analysis of documents
US11256548B2 (en) * 2018-05-03 2022-02-22 LGS Innovations LLC Systems and methods for cloud computing data processing
US10769261B2 (en) * 2018-05-09 2020-09-08 Futurewei Technologies, Inc. User image verification
US10558761B2 (en) * 2018-07-05 2020-02-11 Disney Enterprises, Inc. Alignment of video and textual sequences for metadata analysis
US10936914B2 (en) * 2018-07-31 2021-03-02 International Business Machines Corporation Convolutional neural network with augmentation features
US11010308B2 (en) * 2018-08-10 2021-05-18 Lg Electronics Inc. Optimizing data partitioning and replacement strategy for convolutional neural networks
US20200104721A1 (en) * 2018-09-27 2020-04-02 Scopemedia Inc. Neural network image search
US10650564B1 (en) * 2019-04-21 2020-05-12 XRSpace CO., LTD. Method of generating 3D facial model for an avatar and related device
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
US10426442B1 (en) * 2019-06-14 2019-10-01 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120205440A1 (en) * 2009-10-14 2012-08-16 Nec Corporation Data collection system, mobile terminal, sticker, and data collection method
CN103208014A (zh) * 2012-01-13 2013-07-17 施亿民 影像辨识系统及其操作方法
TWI512661B (zh) * 2014-06-06 2015-12-11 Tseng Hsian Lin 廢水診斷系統、廢水診斷裝置與廢水資料處理方法
CN106161556A (zh) * 2015-04-20 2016-11-23 中兴通讯股份有限公司 一种终端的控制方法及装置
CN108475214A (zh) * 2016-03-28 2018-08-31 谷歌有限责任公司 自适应人工神经网络选择技术
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN107967166A (zh) * 2017-10-18 2018-04-27 东莞理工学院 一种云环境下遥感图像处理服务流实现方法
CN108255605A (zh) * 2017-12-29 2018-07-06 北京邮电大学 一种基于神经网络的图像识别协同计算方法及系统

Also Published As

Publication number Publication date
US20200210754A1 (en) 2020-07-02
US10733481B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111385598A (zh) 云端装置、终端装置及影像分类方法
CN112948951B (zh) 建筑模型创建方法与装置、处理服务器
WO2023207487A1 (zh) 一种电路走线确定方法及相关设备
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN111222647A (zh) 联邦学习系统优化方法、装置、设备及存储介质
CN111209423A (zh) 一种基于电子相册的图像管理方法、装置以及存储介质
CN109661671B (zh) 使用边界位图对图像分类的改善
CN109657892A (zh) 基于数据分析的机器行为识别方法、装置、设备和介质
WO2021051562A1 (zh) 人脸特征点定位方法、装置、计算设备和存储介质
CN114926832A (zh) 特征提取模型训练、材质贴图处理方法、装置及电子设备
CN111460909A (zh) 基于视觉的货位管理方法和装置
CN114612531A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112559078B (zh) 一种移动边缘计算服务器分级卸载任务方法及系统
US8913838B2 (en) Visual information processing allocation between a mobile device and a network
CN114528893A (zh) 机器学习模型训练方法、电子设备及存储介质
TWI706378B (zh) 雲端裝置、終端裝置及影像分類方法
CN113537169B (zh) 手势识别方法、设备、存储介质和计算机程序产品
CN110796200B (zh) 数据分类方法、终端、装置及存储介质
CN110457393B (zh) 信息共享方法及相关产品
CN113158801A (zh) 用于训练人脸识别模型以及识别人脸的方法以及相关装置
CN113194292A (zh) 智能设备的协调管理方法、装置、设备及存储介质
CN114237861A (zh) 一种数据处理方法及其设备
CN114548355A (zh) Cnn训练方法、电子设备和计算机可读存储介质
CN116720645B (zh) 一种任务分配方法、分配设备及任务分配系统
CN113139579B (zh) 一种基于图像特征自适应卷积网络的图像分类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200707

RJ01 Rejection of invention patent application after publication