CN111950727B - 图像数据的神经网络训练和测试方法及设备 - Google Patents

Abstract

本发明的目的是提供一种图像数据的神经网络训练方法和测试及设备，本发明使用YUV图像格式数据进行神经网络的离线学习和在线测试，送入到神经网络中的图像亮度信息或者图像色彩信息，是正交化最好的亮度信息和色彩信息。本发明直接使用YUV格式的视频数据全部分量数据训练神经网络，可以比用RGB格式训练神经网络节省图像格式转换时间。当神经网络处理的对象是网络摄像头抓取的图像数据或者是视频流数据时，本发明能够避免图像格式转换带来的额外计算量，提高时间效率。本发明能够保证在RGB格式下训练的神经网络精度，同时提高算法的整体效率。

Description

图像数据的神经网络训练和测试方法及设备

技术领域

本发明涉及计算机领域，尤其涉及一种视频流数据的神经网络训练和测试方法及设备。

背景技术

类似Faster-RCNN、YOLO、SSD等经典的神经网络，训练和测试过程中使用的图像数据都是RGB格式的。当将这些神经网络应用到摄像头数据或者视频流数据时，需要先将数据从YUV格式转换到RGB格式，这使得该过程不仅耗费计算资源，同时也增加了时间成本。

发明内容

本发明的一个目的是提供一种图像数据的神经网络训练方法和测试及设备。

根据本发明的一个方面，提供了一种图像数据的神经网络训练和测试方法，该方法包括：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

进一步的，上述方法中，将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型，包括：

判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联，

若与YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集输入三通道的神经网络进行训练，得到训练完成的第二神经网络模型。

进一步的，上述方法中，判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联之后，还包括：

若不与YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集中的Y分量信息输入一通道的神经网络进行训练，得到训练完成的第一神经网络模型。

进一步的，上述方法中，将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果，包括：

判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联，

若关联，则将所述待测试的YUV格式的视频数据输入所述训练完成的第二神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

若不关联，则将所述待测试的YUV格式的视频数据中的Y分量信息输入所述训练完成的第一神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

进一步的，上述方法中，获取YUV格式的视频数据集，包括：

获取RGB格式的视频数据集；

将所述RGB格式的视频数据集转化为YUV格式的视频数据集。

进一步的，上述方法中，将所述RGB格式的视频数据集转化为YUV格式的视频数据集，包括：

判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联，

若关联，将所述RGB格式的视频数据集转化为YUV格式的视频数据集；

若不关联，将所述RGB格式的视频数据集转化为仅含有Y分量信息的视频数据集。

根据本发明的另一方面，还提供一种图像数据的神经网络训练和测试设备，其中，该设备包括：

第一装置，用于获取YUV格式的视频数据集；

第二装置，用于将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

第三装置，用于获取待测试的YUV格式的视频数据；

第四装置，用于将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

与现有技术相比，本发明使用YUV图像格式数据进行神经网络的离线学习和在线测试，送入到神经网络中的图像亮度信息或者图像色彩信息，是正交化最好的亮度信息和色彩信息。本发明直接使用YUV格式的视频数据全部分量数据训练神经网络，可以比用RGB格式训练神经网络节省图像格式转换时间。当神经网络处理的对象是网络摄像头抓取的图像数据或者是视频流数据时，本发明能够避免图像格式转换带来的额外计算量，提高时间效率。本发明能够保证在RGB格式下训练的神经网络精度，同时提高算法的整体效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一实施例的图像数据的神经网络训练和测试方法的流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

如图1所示，本发明提供一种图像数据的神经网络训练和测试方法，所述方法包括：

步骤S1，获取YUV格式的视频数据集；

在此，可以首先通过摄像头抓取YUV格式的视频数据集如视频图像或者视频流，对抓取的视频数据不做任何的格式转化，节省格式转换所耗费的时间；

步骤S2，将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

在此，可以采用离线学习的方式将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

所述神经网络可以是Faster-RCNN、YOLO、SSD；

步骤S3，获取待测试的YUV格式的视频数据；

步骤S4，将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

在此，一张图像为RGB格式时，占用的存储空间比YUV格式要大；其次，图像的信息对RGB三个分量的值很敏感，三个分量中任意一个分量的值发生变化都可能会导致图像的信息发生比较大的改变。

可以采用在线测试的方式对训练完成的神经网络模型进行测试。

本发明使用YUV图像格式数据进行神经网络的离线学习和在线测试，送入到神经网络中的图像亮度信息或者图像色彩信息，是正交化最好的亮度信息和色彩信息。本发明直接使用YUV格式的视频数据全部分量数据训练神经网络，可以比用RGB格式训练神经网络节省图像格式转换时间。当神经网络处理的对象是网络摄像头抓取的图像数据或者是视频流数据时，本发明能够避免图像格式转换带来的额外计算量，提高时间效率。本发明能够保证在RGB格式下训练的神经网络精度，同时提高算法的整体效率。

如图1所示，本发明的图像数据的神经网络训练和测试方法一实施例中，步骤S2，将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型，包括：

步骤S21，判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联，

步骤S22，若与YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集输入三通道的神经网络进行训练，得到训练完成的第二神经网络模型。

在此，利用神经网络识别手写数字时不需要使用数字的颜色信息(UV信息)，而利用神经网络识别花的种类时就需要使用花的颜色信息(UV信息)，所以，离线学习阶段可以根据算法是否需要使用到图像的颜色信息(UV信息)，来选择YUV分量中Y分量数据或者全部分量数据。

如图1所示，如果算法需要用到视频图像的颜色信息，使用YUV的全部分量数据训练输入为3通道的神经网络2。

另外，也可以不考虑算法是否使用到图像的颜色信息，直接使用YUV的全部分量数据训练一样的神经网络2，这样至少比用RGB格式训练神经网络节省图像格式转换时间。

如图1所示，本发明的图像数据的神经网络训练和测试方法一实施例中，步骤S21，判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联之后，还包括：

步骤S22，若不与YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集中的Y分量信息输入一通道的神经网络进行训练，得到训练完成的第一神经网络模型。

在此，当神经网络只对图像中的轮廓、外形等非颜色信息分析时，RGB格式的图像不仅信息量冗余，同时也增加了神经网络的计算量。

如图1所示，如果算法使用不到视频图像中的颜色信息，则提取视频图像中的Y分量，使用Y分量训练输入为一通道的神经网络1，这样不仅避免了格式转换而且减小了神经网络的计算量。

如图1所示，本发明的图像数据的神经网络训练和测试方法一实施例中，步骤S4，将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果，包括：

判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联，

若关联，将所述待测试的YUV格式的视频数据输入所述训练完成的第二神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

若不关联，将所述待测试的YUV格式的视频数据中的Y分量信息输入所述训练完成的第一神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

在此，如图1所示，在线测试阶段，如果是用Y分量训练的第一神经网络模型，则输入YUV的Y分量到第一神经网络模型中进行前向计算，得到识别结果，例如数字是几等；如果是用YUV的全部分量训练的第二神经网络模型，则输入YUV的全部分量到神经网络模型中进行前向计算，得到识别结果，例如花朵所属类别等。

本发明的图像数据的神经网络训练和测试方法一实施例中，步骤S1，获取YUV格式的视频数据集，包括：

步骤S11，获取RGB格式的视频数据集；

步骤S12，将所述RGB格式的视频数据集转化为YUV格式的视频数据集。

在此，目前所有使用RGB格式存储的图像数据集，都可以将其转为YUV格式的图像数据集。由于YUV格式和RGB格式的变换关系是一种简单的线性变换关系，对于拥有强大非线性学习能力的神经网络来说，这种线性变化是比较容易而且会被快速学习的，所以使用转换后的YUV图像进行网络的离线训练和在线测试时，测试结果不会比使用RGB格式训练的神经网络的测试结果要差，同时YUV格式的图像数据最接近人类的视觉系统，反映事物的信息比RGB要更准确，这样就会使得网络学习起来跟容易一些；其次，YUV图像格式能够很好地将图像的亮度信息和色彩信息正交化。

本发明的图像数据的神经网络训练和测试方法一实施例中，步骤S12，将所述RGB格式的视频数据集转化为YUV格式的视频数据集，包括：

判断神经网络模型的识别结果是否与YUV格式的视频数据的UV分量信息关联，

若关联，将所述RGB格式的视频数据集转化为YUV格式的视频数据集；

若不关联，将所述RGB格式的视频数据集转化为仅含有Y分量信息的视频数据集。

在此，如果神经网络不需要使用RGB格式图像中的颜色信息时，可以只使用转换后的YUV图像中的Y分量进行神经网络的训练，这样可以减小神经网络的计算量。

根据本发明的另一方面，还提供一种图像数据的神经网络训练和测试设备，其中，该设备包括：

第一装置，用于获取YUV格式的视频数据集；

第二装置，用于将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

第三装置，用于获取待测试的YUV格式的视频数据；

第四装置，用于将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (7)

1.一种图像数据的神经网络训练和测试方法，其中，该方法包括：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型，包括：

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息，

若需要使用YUV格式的视频数据的UV分量信息，则将所述YUV格式的视频数据集输入三通道的神经网络进行训练，得到训练完成的第二神经网络模型；

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息之后，还包括：

若不需要使用YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集中的Y分量信息输入一通道的神经网络进行训练，得到训练完成的第一神经网络模型。

2.根据权利要求1所述的方法，其中，将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果，包括：

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息，

若需要使用，则将所述待测试的YUV格式的视频数据输入所述训练完成的第二神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

若不需要使用，则将所述待测试的YUV格式的视频数据中的Y分量信息输入所述训练完成的第一神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果。

3.根据权利要求1所述的方法，其中，获取YUV格式的视频数据集，包括：

获取RGB格式的视频数据集；

将所述RGB格式的视频数据集转化为YUV格式的视频数据集。

4.根据权利要求3所述的方法，其中，将所述RGB格式的视频数据集转化为YUV格式的视频数据集，包括：

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息，

若需要使用，将所述RGB格式的视频数据集转化为YUV格式的视频数据集；

若不需要使用，将所述RGB格式的视频数据集转化为仅含有Y分量信息的视频数据集。

5.一种图像数据的神经网络训练和测试设备，其中，该设备包括：

第一装置，用于获取YUV格式的视频数据集；

第二装置，用于将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

第三装置，用于获取待测试的YUV格式的视频数据；

第四装置，用于将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

所述第二装置，用于判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息，若需要使用YUV格式的视频数据的UV分量信息，则将所述YUV格式的视频数据集输入三通道的神经网络进行训练，得到训练完成的第二神经网络模型；若不需要使用YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集中的Y分量信息输入一通道的神经网络进行训练，得到训练完成的第一神经网络模型。

6.一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型，包括：

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息，

若需要使用YUV格式的视频数据的UV分量信息，则将所述YUV格式的视频数据集输入三通道的神经网络进行训练，得到训练完成的第二神经网络模型；

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息之后，还包括：

若不需要使用YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集中的Y分量信息输入一通道的神经网络进行训练，得到训练完成的第一神经网络模型。

7.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

获取YUV格式的视频数据集；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型；

获取待测试的YUV格式的视频数据；

将所述待测试的YUV格式的视频数据输入所述训练完成的神经网络模型，得到所述待测试的YUV格式的视频数据的识别结果；

将所述YUV格式的视频数据集输入神经网络进行训练，得到训练完成的神经网络模型，包括：

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息，

若需要使用YUV格式的视频数据的UV分量信息，则将所述YUV格式的视频数据集输入三通道的神经网络进行训练，得到训练完成的第二神经网络模型；

判断神经网络模型的识别结果是否需要使用YUV格式的视频数据的UV分量信息之后，还包括：

若不需要使用YUV格式的视频数据的UV分量信息关联，则将所述YUV格式的视频数据集中的Y分量信息输入一通道的神经网络进行训练，得到训练完成的第一神经网络模型。

Images