CN112633512A - 基于神经网络的数据处理装置、方法及可读存储介质 - Google Patents

基于神经网络的数据处理装置、方法及可读存储介质 Download PDF

Info

Publication number
CN112633512A
CN112633512A CN201910907524.1A CN201910907524A CN112633512A CN 112633512 A CN112633512 A CN 112633512A CN 201910907524 A CN201910907524 A CN 201910907524A CN 112633512 A CN112633512 A CN 112633512A
Authority
CN
China
Prior art keywords
data
detection model
accuracy
cleaning
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910907524.1A
Other languages
English (en)
Inventor
林子甄
蔡东佐
孙国钦
郭锦斌
李宛真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN201910907524.1A priority Critical patent/CN112633512A/zh
Priority to US16/826,437 priority patent/US20210089886A1/en
Publication of CN112633512A publication Critical patent/CN112633512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于神经网络的数据处理方法，包括：将样本数据划分为训练集及测试集；利用训练集训练预设神经网络得到第一检测模型；利用测试集对第一检测模型进行验证得到第一准确率；对训练集及测试集进行清洗；利用清洗后的训练集对经过微调处理的第一检测模型进行训练得到第二检测模型；利用清洗后的测试集对第二检测模型进行验证得到第二准确率；若第一准确率大于第二准确率，则选定第一检测模型为最终模型，否则选定第二检测模型为最终模型，以通过该最终模型对待测数据进行检测。本发明还提供一种数据处理装置及计算机可读存储介质。上述基于神经网络的数据处理装置、方法及计算机可读存储介质，可提高模型的准确率，使得数据处理更高效、准确。

Description

基于神经网络的数据处理装置、方法及可读存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的数据处理装置、方法及计算机可读存储介质。
背景技术
随着大数据时代各行业对数据分析需求的持续增加，机器学习技术得到充足的发展，已被广泛应用于各种生活情境中。在一实际情境中，通过找到样本与标签间的关联性可设计并训练出合适的模型，但是收集到的样本可能会因为环境、样本本身客观缺陷或是人为等因素影响样本在训练时的训练效果，同时也会影响模型的精准度。
发明内容
有鉴于此，有必要提供一种基于神经网络的数据处理装置、方法及计算机可读存储介质，其可提高模型的准确率，使得数据处理高效、准确。
本发明一实施方式提供一种基于神经网络的数据处理方法，包括：将样本数据划分为训练集及测试集；利用所述训练集训练预设神经网络，以训练得到第一检测模型；利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率；根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗；对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型；利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率；判断所述第一准确率是否大于所述第二准确率；若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型；若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型；及将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。
优选地，所述预设神经网络为卷积神经网络，所述训练集的数据量大于所述测试集的数据量。
优选地，所述根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗的步骤包括：
获取用户从数据清洗库中选定的数据清洗方式；及
基于所述选定的数据清洗方式对所述训练集及所述测试集进行清洗；
其中，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式为一种数据清洗方式或多种数据清洗方式的组合。
优选地，所述数据清洗库包括多个数据清洗单元，每一所述数据清洗单元对应一种数据类型，所述方法还包括：
获取所述样本数据的数据类型；及
根据所述样本数据的数据类型输出所述数据清洗单元的选用建议。
优选地，所述对所述第一检测模型进行预设方式的微调的步骤包括：
根据预设调整规则对所述第一检测模型的模型参数进行调整。
优选地，所述模型参数为隐藏层的层数和/或隐藏层的神经元数。
优选地，所述方法还包括：
获取所述样本数据的数据类型；
根据所述样本数据的数据类型获取历史清洗记录中所选用的数据清洗方式；及
推送历史清洗记录中被选用次数排名前预设位的数据清洗方式为建议的数据清洗方式。
优选地，所述样本数据为多个图片样本，所述数据清洗方式包括以下的一种或者多种的组合：图片特征提取、去背景处理、去噪处理、平滑处理。
本发明一实施方式提供一种基于神经网络的数据处理装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现上述基于神经网络的数据处理方法的步骤。
本发明一实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述的基于神经网络的数据处理方法的步骤。
与现有技术相比，上述基于神经网络的数据处理装置、方法及计算机可读存储介质，支持用户自主选择数据清洗方式，且可根据样本数据类型进行数据清洗方式推荐，可降低对专业人员的技术经验与对应用场景的熟悉度的依赖，且可提高模型的准确率，进而使得数据处理更高效、准确。
附图说明
图1是本发明一实施方式的数据处理装置的功能模块图。
图2是本发明一实施方式的数据处理程序的功能模块图。
图3是本发明一实施方式的数据处理方法的流程图。
主要元件符号说明
Figure BDA0002213715320000031
Figure BDA0002213715320000041
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
请参阅图1，为本发明数据处理装置较佳实施例的示意图。
数据处理装置100可以包括存储器10、处理器20以及存储在所述存储器10中并可在所述处理器20上运行的数据处理程序30。所述处理器20执行所述数据处理程序30时实现数据处理方法实施例中的步骤，例如图3所示的步骤S300～S318。或者，所述处理器20执行所述数据处理程序30时实现图2中各模块的功能，例如模块101～110。
所述数据处理程序30可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器10中，并由所述处理器20执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述数据处理程序30在所述数据处理装置100中的执行过程。例如，所述数据处理程序30可以被分割成图2中的划分模块101、第一训练模块102、第一验证模块103、清洗模块104、推荐模块105、第二训练模块106、第二验证模块107、判断模块108、选定模块109及输入模块110。各模块具体功能参见下图2中各模块的功能。
本领域技术人员可以理解，所述示意图仅是数据处理装置100的示例，并不构成对数据处理装置100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据处理装置100还可以包括输入输出设备、通信模块、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器20也可以是任何常规的处理器等，所述处理器20可以利用各种接口和总线连接数据处理装置100的各个部分。
所述存储器10可用于存储所述数据处理程序30和/或模块，所述处理器20通过运行或执行存储在所述存储器10内的计算机程序和/或模块，以及调用存储在存储器10内的数据，实现所述数据处理装置100的各种功能。所述存储器10可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
图2为本发明数据处理程序较佳实施例的功能模块图。
参阅图2所示，数据处理程序30可以包括划分模块101、第一训练模块102、第一验证模块103、清洗模块104、推荐模块105、第二训练模块106、第二验证模块107、判断模块108、选定模块109及输入模块110。在一实施方式中，上述模块可以为存储于所述存储器10中且可被所述处理器20调用执行的可程序化软件指令。可以理解的是，在其他实施方式中，上述模块也可为固化于所述处理器20中的程序指令或固件(firmware)。
划分模块101用于将样本数据划分为训练集及测试集。
在一实施方式中，所述样本数据可以根据实际需求进行选定。比如，当模型是进行人脸识别时，所述样本数据可以是多张人脸图像，当模型是进行目标物检测时，所述样本数据可以是包含有所述目标物的多张图片。所述划分模块101按照预设比例将样本数据划分为训练集及测试集，所述训练集的数据量优选大于所述测试集的数据量，所述训练集用于进行模型训练，所述测试集用于检验模型的性能。比如，所述划分模块101将80％的样本数据划分为训练集，将20％的样本数据划分为测试集。所述训练集和所述测试集的数据均从所述样本数据中随机抽取出来的。
第一训练模块102用于利用所述训练集训练预设神经网络，以训练得到第一检测模型。
在一实施方式中，所述预设神经网络可以是预先建立的卷积神经网络、深度神经网络等。所述第一训练模块102可以利用所述训练集的数据训练所述预设神经网络的模型参数，以训练得到第一检测模型。所述第一检测模型为经过训练集训练后的神经网络模型。
第一验证模块103用于利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率。
在一实施方式中，当第一训练模块102训练得到第一检测模型后，所述第一验证模块103可利用所述测试集的数据对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率。具体地，每一测试集的数据输入至所述第一检测模型可以对应得到一输出结果，第一验证模块103通过对所有测试集得到的输出结果的正确性进行统计，可以得到所述第一准确率。
清洗模块104用于根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗。
在一实施方式中，所述当前设定的数据清洗方式可以是用户选定或确认的数据清洗方式，所述数据处理装置100优选包括一数据清洗库，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式优选为一种数据清洗方式或多种数据清洗方式的组合。比如，所述清洗模块104获取用户从数据清洗库中选定的数据清洗方式，再基于用户选定的数据清洗方式对所述训练集及所述测试集进行清洗。所述数据清洗可以是指对所述样本数据进行预设方式处理。比如，所述样本数据为多个图片样本，所述数据清洗方式可以包括以下的一种或者多种的处理方式组合：图片特征提取(边缘检测)、去背景处理、去噪处理、平滑处理等。
在一实施方式中，所述数据清洗库包括多个数据清洗单元，每一所述数据清洗单元对应一种数据类型，每一所述数据清洗单元包含有对该种数据类型的多种数据清洗方式。所述推荐模块105用于获取所述样本数据的数据类型，并根据所述样本数据的数据类型输出所述数据清洗单元的选用建议。所述样本数据可以预先添加有类型标签，所述推荐模块105可以通过获取样本数据的类型标签来输出对应的数据清洗单元的选用建议，所述选用建议可以通过提示框的形式输出或者当获取到样本数据的数据类型时，为推荐的数据清洗单元添加推荐标签。举例而言，某一样本数据的数据类型为图片数据，则所述推荐模块105可以推荐对图片进行处理的数据清洗单元，某一样本数据的数据类型为文本数据，则所述推荐模块105可以推荐对文本数据进行处理的数据清洗单元。
在一实施方式中，所述推荐模块105还用于根据所述样本数据的数据类型获取历史清洗记录中所选用的数据清洗方式，推送历史清洗记录中被选用次数排名前预设位的数据清洗方式为建议的数据清洗方式。比如，所述样本数据为图片数据，所述推荐模块105获取历史清洗记录中所选用的图片清洗方式的选用记录，所述推荐模块105再推送被选用次数排名前五的数据清洗方式为建议的数据清洗方式，供用户进行选定。
第二训练模块106用于对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型。
在一实施方式中，第二训练模块106对所述第一检测模型进行预设方式的微调可以是根据预设调整规则对所述第一检测模型的模型参数进行调整。所述模型参数优选为隐藏层的层数和/或隐藏层的神经元数。第二训练模块106利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型。比如，第二训练模块106对所述第一检测模型进行预设方式的微调可以是去掉最后一个全连接层。
第二验证模块107用于利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率。
在一实施方式中，经过清洗处理后的每一测试集的数据输入至所述第二检测模型可以对应得到一输出结果，第二验证模块107通过对测试集得到的输出结果的正确性进行统计，可以得到所述第二准确率。
判断模块108用于判断所述第一准确率是否大于所述第二准确率。
在一实施方式中，当统计得到所述第一准确率与所述第二准确率后，判断模块108可以通过比较所述第一准确率与所述第二准确率的大小，来判断所述第一准确率是否大于所述第二准确率。
选定模块109用于在所述第一准确率大于所述第二准确率时，选定所述第一检测模型为最终检测模型，及用于在所述第一准确率不大于所述第二准确率时，选定所述第二检测模型为所述最终检测模型。
在一实施方式中，当所述第一准确率大于所述第二准确率时，表明所述第一检测模型的效果好于所述第二检测模型，模型训练适合采用原始数据进行训练，选定模块109选定所述第一检测模型为最终检测模型。当所述第一准确率不大于所述第二准确率时，表明所述第二检测模型的效果好于所述第一检测模型，模型训练适合采用经过当前清洗方式进行清洗的数据进行训练，选定模块109选定所述第二检测模型为最终检测模型。
输入模块110用于将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。
在一实施方式中，当模型训练完成后，即可利用训练好的模型对待测数据进行检测。输入模块110可以将待测数据输入至所述最终检测模型，所述最终检测模型的输出为所述待测数据的检测结果。比如，待测数据位当前拍摄得到的人脸图像，输入模块110将当前拍摄得到的人脸图像输入至所述最终检测模型，所述最终检测模型可输出当前拍摄得到的人脸图像的人脸识别结果。
图3为本发明一实施方式中数据处理方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S300，将样本数据划分为训练集及测试集。
在一实施方式中，所述样本数据可以按照预设比例被划分为训练集及测试集，所述训练集的数据量优选大于所述测试集的数据量，所述训练集用于进行模型训练，所述测试集用于检验模型的性能。比如，80％的样本数据被划分为训练集，20％的样本数据被划分为测试集。所述训练集和所述测试集的数据均从所述样本数据中随机抽取出来的。所述样本数据可以根据实际需求进行选定。比如，当模型是进行人脸识别时，所述样本数据可以是多张人脸图像，当模型是进行目标物检测时，所述样本数据可以是包含有所述目标物的多张图片。
步骤S302，利用所述训练集训练预设神经网络，以训练得到第一检测模型。
在一实施方式中，所述预设神经网络可以是预先建立的卷积神经网络、深度神经网络等。当划分得到训练集后，可以利用所述训练集的数据训练所述预设神经网络的模型参数，以训练得到第一检测模型。所述第一检测模型为经过训练集训练后的神经网络模型。
步骤S304，利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率。
在一实施方式中，当训练得到第一检测模型后，可以利用所述测试集的数据对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率。具体地，每一测试集的数据输入至所述第一检测模型可以对应得到一输出结果，通过对所有测试集得到的输出结果的正确性进行统计，可以得到所述第一准确率。
步骤S306，根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗。
在一实施方式中，所述当前设定的数据清洗方式可以是用户选定或确认的数据清洗方式，所述数据处理装置100优选包括一数据清洗库，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式优选为一种数据清洗方式或多种数据清洗方式的组合。比如，可以通过获取用户从数据清洗库中选定的数据清洗方式，再基于用户选定的数据清洗方式对所述训练集及所述测试集进行清洗。所述数据清洗可以是指对所述样本数据进行预设方式处理。比如，所述样本数据为多个图片样本，所述数据清洗方式可以包括以下的一种或者多种的处理方式组合：图片特征提取(边缘检测)、去背景处理、去噪处理、平滑处理等。
在一实施方式中，所述数据清洗库包括多个数据清洗单元，每一所述数据清洗单元对应一种数据类型，每一所述数据清洗单元包含有对该种数据类型的多种数据清洗方式。在进行数据清洗前，可以通过获取所述样本数据的数据类型，再根据所述样本数据的数据类型输出所述数据清洗单元的选用建议。所述样本数据可以预先添加有类型标签，通过获取样本数据的类型标签来输出对应的数据清洗单元的选用建议，所述选用建议可以通过提示框的形式输出或者当获取到样本数据的数据类型时，为推荐的数据清洗单元添加推荐标签。举例而言，某一样本数据的数据类型为图片数据，则可以推荐对图片进行处理的数据清洗单元，某一样本数据的数据类型为文本数据，则可以推荐对文本数据进行处理的数据清洗单元。
在一实施方式中，还可以根据所述样本数据的数据类型获取历史清洗记录中所选用的数据清洗方式，推送历史清洗记录中被选用次数排名前预设位的数据清洗方式为建议的数据清洗方式。比如，所述样本数据为图片数据，可以通过获取历史清洗记录中所选用的图片清洗方式的选用记录，再推送被选用次数排名前五的数据清洗方式为建议的数据清洗方式，供用户进行选定。
步骤S308，对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型。
在一实施方式中，对所述第一检测模型进行预设方式的微调可以是根据预设调整规则对所述第一检测模型的模型参数进行调整。所述模型参数优选为隐藏层的层数和/或隐藏层的神经元数。当模型微调后，可以利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型。比如，对所述第一检测模型进行预设方式的微调可以是去掉最后一个全连接层。
步骤S310，利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率。
在一实施方式中，经过清洗处理后的每一测试集的数据输入至所述第二检测模型可以对应得到一输出结果，同样可以通过对测试集得到的输出结果的正确性进行统计，得到所述第二准确率。
步骤S312，判断所述第一准确率是否大于所述第二准确率。
在一实施方式中，当统计得到所述第一准确率与所述第二准确率后，可以通过比较所述第一准确率与所述第二准确率的大小，来判断所述第一准确率是否大于所述第二准确率。
步骤S314，若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型。
在一实施方式中，当所述第一准确率大于所述第二准确率时，表明所述第一检测模型的效果好于所述第二检测模型，模型训练适合采用原始数据进行训练，可以选定所述第一检测模型为最终检测模型。
步骤S316，若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型。
在一实施方式中，当所述第一准确率不大于所述第二准确率时，表明所述第二检测模型的效果好于所述第一检测模型，模型训练适合采用经过当前清洗方式进行清洗的数据进行训练，可以选定所述第二检测模型为最终检测模型。
步骤S318，将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。
在一实施方式中，当模型训练完成后，即可利用训练好的模型对待测数据进行检测。具体地，可以将待测数据输入至所述最终检测模型，所述最终检测模型的输出为所述待测数据的检测结果。比如，待测数据位当前拍摄得到的人脸图像，可以将当前拍摄得到的人脸图像输入至所述最终检测模型，所述最终检测模型可输出当前拍摄得到的人脸图像的人脸识别结果。
上述基于神经网络的数据处理装置、方法及计算机可读存储介质，支持用户自主选择数据清洗方式，且可根据样本数据类型进行数据清洗方式推荐，可降低对专业人员的技术经验与对应用场景的熟悉度的依赖，且可提高模型的准确率，进而使得数据处理更高效、准确。
对本领域的技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明所公开的范围。

Claims (10)

1.一种基于神经网络的数据处理方法，其特征在于，所述方法包括：
将样本数据划分为训练集及测试集；
利用所述训练集训练预设神经网络，以训练得到第一检测模型；
利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率；
根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗；
对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型；
利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率；
判断所述第一准确率是否大于所述第二准确率；
若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型；
若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型；及
将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。
2.如权利要求1所述的方法，其特征在于，所述预设神经网络为卷积神经网络，所述训练集的数据量大于所述测试集的数据量。
3.如权利要求1所述的方法，其特征在于，所述根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗的步骤包括：
获取用户从数据清洗库中选定的数据清洗方式；及
基于所述选定的数据清洗方式对所述训练集及所述测试集进行清洗；
其中，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式为一种数据清洗方式或多种数据清洗方式的组合。
4.如权利要求3所述的方法，其特征在于，所述数据清洗库包括多个数据清洗单元，每一所述数据清洗单元对应一种数据类型，所述方法还包括：
获取所述样本数据的数据类型；及
根据所述样本数据的数据类型输出所述数据清洗单元的选用建议。
5.如权利要求1所述的方法，其特征在于，所述对所述第一检测模型进行预设方式的微调的步骤包括：
根据预设调整规则对所述第一检测模型的模型参数进行调整。
6.如权利要求5所述的方法，其特征在于，所述模型参数为隐藏层的层数和/或隐藏层的神经元数。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述样本数据的数据类型；
根据所述样本数据的数据类型获取历史清洗记录中所选用的数据清洗方式；及
推送历史清洗记录中被选用次数排名前预设位的数据清洗方式为建议的数据清洗方式。
8.如权利要求1所述的方法，其特征在于，所述样本数据为多个图片样本，所述数据清洗方式包括以下的一种或者多种的组合：图片特征提取、去背景处理、去噪处理、平滑处理。
9.一种基于神经网络的数据处理装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8任一项所述的基于神经网络的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现如权利要求1-8任一项所述的基于神经网络的数据处理方法的步骤。
CN201910907524.1A 2019-09-24 2019-09-24 基于神经网络的数据处理装置、方法及可读存储介质 Pending CN112633512A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910907524.1A CN112633512A (zh) 2019-09-24 2019-09-24 基于神经网络的数据处理装置、方法及可读存储介质
US16/826,437 US20210089886A1 (en) 2019-09-24 2020-03-23 Method for processing data based on neural networks trained by different methods and device applying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910907524.1A CN112633512A (zh) 2019-09-24 2019-09-24 基于神经网络的数据处理装置、方法及可读存储介质

Publications (1)

Publication Number Publication Date
CN112633512A true CN112633512A (zh) 2021-04-09

Family

ID=74882152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910907524.1A Pending CN112633512A (zh) 2019-09-24 2019-09-24 基于神经网络的数据处理装置、方法及可读存储介质

Country Status (2)

Country Link
US (1) US20210089886A1 (zh)
CN (1) CN112633512A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341883A (zh) * 2021-08-05 2021-09-03 山东豪泉软件技术有限公司 一种用于机床加工工时预测的方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239581A (zh) * 2017-07-07 2017-10-10 小草数语（北京）科技有限公司 数据清洗方法及装置
CN108875821A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 分类模型的训练方法和装置、移动终端、可读存储介质
CN109033274A (zh) * 2018-07-10 2018-12-18 中国银行股份有限公司 一种数据清洗方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239581A (zh) * 2017-07-07 2017-10-10 小草数语（北京）科技有限公司 数据清洗方法及装置
CN108875821A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 分类模型的训练方法和装置、移动终端、可读存储介质
CN109033274A (zh) * 2018-07-10 2018-12-18 中国银行股份有限公司 一种数据清洗方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENG LI ET AL.: "CleanML: A Benchmark for Joint Data Cleaning and Machine Learning" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341883A (zh) * 2021-08-05 2021-09-03 山东豪泉软件技术有限公司 一种用于机床加工工时预测的方法及设备
CN113341883B (zh) * 2021-08-05 2021-11-09 山东豪泉软件技术有限公司 一种用于机床加工工时预测的方法及设备

Also Published As

Publication number Publication date
US20210089886A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN107403424B (zh) 一种基于图像的车辆定损方法、装置及电子设备
CN109815991B (zh) 机器学习模型的训练方法、装置、电子设备及存储介质
CN107358596B (zh) 一种基于图像的车辆定损方法、装置、电子设备及系统
CN110008080B (zh) 基于时间序列的业务指标异常检测方法、装置和电子设备
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN106934376A (zh) 一种图像识别方法、装置及移动终端
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
CN108805180B (zh) 目标对象的检测方法及装置
CN110705573A (zh) 一种目标检测模型的自动建模方法及装置
CN109063611A (zh) 一种基于视频语义的人脸识别结果处理方法和装置
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
CN111598827A (zh) 外观瑕疵检测方法、电子装置及存储介质
CN113240673B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN115424053B (zh) 小样本图像识别方法、装置、设备及存储介质
CN110990523A (zh) 一种法律文书的确定方法及系统
CN111652145A (zh) 一种公式检测的方法、装置、电子设备和存储介质
CN112633512A (zh) 基于神经网络的数据处理装置、方法及可读存储介质
CN111401438B (zh) 图像分拣方法、装置及系统
TWI738066B (zh) 基於神經網路之資料處理裝置、方法及電腦可讀取存儲介質
CN111091022A (zh) 机器视觉的效能评估方法与系统
CN111709951B (zh) 目标检测网络训练方法及系统及网络及装置及介质
CN114820755A (zh) 一种深度图估计方法及系统
CN112825145B (zh) 人体朝向检测方法、装置、电子设备和计算机存储介质
US20210067683A1 (en) Flat surface detection in photographs
CN112036312A (zh) 质检场景识别方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210409