CN112307970A - 训练数据获取方法、装置、电子设备及存储介质 - Google Patents
训练数据获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112307970A CN112307970A CN202011195510.0A CN202011195510A CN112307970A CN 112307970 A CN112307970 A CN 112307970A CN 202011195510 A CN202011195510 A CN 202011195510A CN 112307970 A CN112307970 A CN 112307970A
- Authority
- CN
- China
- Prior art keywords
- determining
- signal indicating
- image
- indicator
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 57
- 230000015654 memory Effects 0.000 claims description 21
- 238000009825 accumulation Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000011664 signaling Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了训练数据获取方法、装置、电子设备及存储介质，涉及大数据、智能交通领域。具体实现方案为：获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯；确定所述信号指示组件中所述指示灯的灰度图像，并基于所述灰度图像确定出所述指示灯的亮度特征；至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态；从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧作为训练数据。如此，实现自动化获取训练数据的目标，同时，丰富了训练数据所涵盖的范围。
Description
技术领域
本申请涉及数据处理领域，尤其涉及大数据、智能交通领域。
背景技术
在颜色识别模型(比如，用于对红绿灯的灯色进行识别的模型)的训练过程中，需要先采集红绿灯数据，然后将采集的红绿灯数据作为训练数据来对颜色识别模型进行训练。而实际应用中，训练数据所涵盖的范围在很大程度上决定了颜色识别模型的准确率。因此，如何丰富训练数据所涵盖的范围成为提升颜色识别模型的识别效果的主要因素之一。
发明内容
本申请提供了一种训练数据获取方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种训练数据获取方法，包括：
获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯；
确定所述信号指示组件中所述指示灯的灰度图像，并基于所述灰度图像确定出所述指示灯的亮度特征；
至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态；
从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧以作为训练数据。
根据本申请的另一方面，提供了一种训练数据获取装置，包括：
视频帧获取单元，用于获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯；
灰度图像处理单元，用于确定所述信号指示组件中所述指示灯的灰度图像；
亮度特征处理单元，用于基于所述灰度图像确定出所述指示灯的亮度特征；
工作状态确定单元，用于至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态；
训练数据确定单元，用于从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧以作为训练数据。
根据本申请的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的方法。
根据本申请的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行以上所述的方法。
根据本申请的再一方面，提供了一种路侧设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行，以使所述一个或多个处理器实现以上所述的方法。
根据本申请的技术实现了自动化获取训练数据的目标，同时，丰富了训练数据所涵盖的范围。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例训练数据获取方法的实现流程示意图；
图2是根据本申请实施例训练数据获取方法在一具体示例中实现流程示意图；
图3是根据本申请实施例训练数据获取装置的结构示意图；
图4是用来实现本申请实施例的训练数据获取方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请方案提供一种训练数据获取方法，具体地，图1是根据本申请实施例训练数据获取方法的实现流程示意图，如图1所示，该方法包括：
步骤S101：获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯。
步骤S102：确定所述信号指示组件中所述指示灯的灰度图像，并基于所述灰度图像确定出所述指示灯的亮度特征。
步骤S103：至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态。
步骤S104：从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧以作为训练数据。
这样，由于本申请方案能够基于视频帧中指示灯的灰度图像确定出指示灯的亮度特征，进而确定出信号指示组件的工作状态，如此，来得到工作状态满足预设条件的视频帧，以自动化确定出训练数据，所以，一方面能够节约人力成本，另一方面，丰富了训练数据的所涵盖的范围，为提升待训练模型的准确率奠定了基础。
而且，由于本申请方案能够自动化执行，无需人工干预，所以，能够提升获取训练数据的效率，节约时间成本，为节约模型训练的训练成本、提升模型训练效率奠定了基础。
本申请方案的执行主体可以是各种路侧设备，例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，也可以是与路侧计算设备连接的服务器设备，或是与路侧感知设备直接相连的服务器设备等。
实际场景中，本申请方案所述的视频数据可以为路侧感知场景下设置于路边的图像采集设备所采集到的视频，该图像采集设备用于采集信号指示组件的工作状态。
在一具体应用中，所述信号指示组件可以具体为红绿灯，本示例所述的红绿灯包括红灯、黄灯和绿灯，相应地，所述指示灯可以具体为红灯、黄灯、或绿灯，也就是说，所述信号指示组件至少包含有红灯、黄灯以及绿灯三类指示灯。
在本申请方案的一具体示例中，在得到训练数据后，基于所述训练数据对颜色识别模型进行训练，得到训练完成后的颜色识别模型，其中，训练完成后的所述颜色识别模型能够对待识别视频帧所展示的信号指示组件中指示灯的颜色进行识别。如此，来提升颜色识别模型的训练效率，而且，由于基于本申请方案得到的训练数据的数据范围、维度丰富，所以，能够在不增加人工标注量的基础上，提升颜色识别模型的识别准确率，为后续工程化应用，丰富应用场景，以及提升模型使用价值奠定了基础。
在本申请方案的一具体示例中，以上步骤S102中确定所述信号指示组件中所述指示灯的灰度图像，可以具体包括：确定所述信号指示组件在所述视频帧中所在位置区域；基于所述位置区域，确定出所述信号指示组件中所述指示灯的灰度图像。这样，将视频帧中展示有信号指示组件的区域进行后续处理，如此，一方面，能够为精准确定出信号指示组件的工作状态奠定基础，另一方面，也为提升训练数据的训练价值、提升模型训练的准确率奠定基础。
在本申请方案的一具体示例中，可以采用如下方式来确定信号指示组件的工作状态，具体地，包括：将不同所述指示灯的灰度图像进行差分处理，得到差分图像；确定所述差分图像的特征值；基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示组件的工作状态。
也就是说，在确定信号指示组件的工作状态的过程中，不仅要参考指示灯的亮度特征，还要参考差分图像的特征值，如此，来为高效地、精准地确定出信号指示组件的工作状态奠定基础。
举例来说，以红绿灯为例，此时，在得到红灯、绿灯和黄灯各自对应的灰度图像后，将不同颜色的灯之间的灰度图像做差分处理，得到差分图像，比如，针对红灯、绿灯和黄灯而言，对两两对应的灰度图像做差分处理，得到三个差分图像，进而得到三个差分图像的特征值，即三个特征值。进一步地，若三个特征值均小于某一个预设阈值，则当前三个灯的灯色在灰度图像上是一致的，此时，进一步基于所述指示灯的亮度特征，即可确定出三个灯均处于开启状态，或者三个灯均处于关闭状态。如此，来得到所述信号指示组件的工作状态。
在本申请方案的一具体示例中，基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，可以至少确定出所述信号指示组件处于下述两种工作状态中，具体地：
第一种情况：基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第一目标状态，其中，所述第一目标状态下所有所述指示灯均处于开启状态或者均处于关闭状态，所述第一目标状态满足所述预设条件。进而将该第一目标状态的视频帧作为训练数据。如此，来丰富训练数据的所涵盖的范围，为提升待训练模型的准确率奠定了基础。
继续以红绿灯为例，若三个特征值均小于某一个预设阈值，则当前三个灯的灯色在灰度图像上是一致的，此时，进一步基于所述指示灯的亮度特征，来确定出三个灯均处于开启状态，或者三个灯均处于关闭状态，这里，该三个灯均处于开启状态或者三个灯均处于关闭状态对应于第一目标状态，此时，将该第一目标状态对应的视频帧作为训练数据。
第二种情况：基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第二目标状态，其中，所述第二目标状态下至少两个所述指示灯处于开启状态，所述第二目标状态满足所述预设条件。进而将该第二目标状态的视频帧作为训练数据。如此，来丰富训练数据的所涵盖的范围，为提升待训练模型的准确率奠定了基础。
继续以红绿灯为例，若三个特征值中存在一个特征值大于某一个预设阈值，此时，进一步基于所述指示灯的亮度特征来确定信号指示灯的工作状态，比如，若只有一个灯的亮度特征(平均亮度)大于亮度阈值，则认为当前为正常的灯色，比如为红灯亮起，其他灯关闭灯情况；否则，认为存在两种灯同时亮起的情况，即对应第二目标状态，此时，将第二目标状态对应的视频帧作为训练数据。
在本申请方案的一具体示例中，可以采用如下方法来确定所述差分图像的特征值，具体地，包括：基于所述差分图像中像素点的像素值与像素阈值的比较结果，对所述差分图像中的像素点进行处理，得到像素点处理后的差分图像；比如，将差分图像中高于像素阈值的像素点的像素值设置为255(经验值)，低于像素阈值的像素点的像素值设置为0(经验值)；随后，至少将像素点处理后的所述差分图像中所有像素点的像素值进行归一化处理后，得到针对所述差分图像的特征值。如此，来为精准确定出信号指示组件的工作状态奠定基础，同时，也为提升训练数据的训练价值、提升模型训练的准确率奠定基础。
在本申请方案的一具体示例中，还可以采用如下方式来得到所述差分图像的特征值，具体地：确定所述信号指示组件在所述视频帧中所在位置区域的面积；进而将像素点处理后的所述差分图像(比如将差分图像中高于像素阈值的像素点的像素值设置为255，低于像素阈值的像素点的像素值设置为0)中所有像素点的像素值进行累加处理；基于累加处理后的总像素值与所述面积的比值，得到针对所述差分图像的特征值。比如，直接将比值作为该差分图像的特征值，如此，来为精准确定出信号指示组件的工作状态奠定基础，同时，也为提升训练数据的训练价值、提升模型训练的准确率奠定基础。
这样，由于本申请方案能够基于视频帧中指示灯的灰度图像确定出指示灯的亮度特征，进而确定出信号指示组件的工作状态，如此，来得到工作状态满足预设条件的视频帧，以自动化确定出训练数据，所以，一方面能够节约人力成本，另一方面，丰富了训练数据的所涵盖的范围，为提升待训练模型的准确率奠定了基础。
而且，由于本申请方案能够自动化执行，无需人工干预，所以，能够提升获取训练数据的效率，节约时间成本，为节约模型训练的训练成本、提升模型训练效率奠定了基础。
以下结合具体示例，对本申请方案做进一步详细说明，具体地，本示例中可通过如下模块来具体获取应用于智能交通领域中的训练数据，比如，该训练数据具体为包含有红绿灯组件(对应以上所述的信号指示组件)中三色灯的视频帧，该视频帧中显示有三色灯的亮灯状态(也即工作状态)。
所述模块分别为：
灯相互差分计算模块：
确定视频数据的视频帧中红灯、绿灯和黄灯中每个灯在视频帧中的位置区域，并得到所在位置区域的灰度图像，这里，该灰度图像类似于RGB(红R、绿G、蓝B)图像，可通过同时处理对应三色灯的三个通道来得到，比如对三个通道求和或取均值，得到红灯、绿灯和黄灯各自对应的灰度图像。随后，将不同颜色的灯之间的灰度图像做差分处理，得到差分图像，比如，针对红灯、绿灯和黄灯而言，对两两对应的灰度图像做差分处理，得到三个差分图像。对各差分图像的像素点进行处理，比如将差分图像中高于像素阈值的像素点值设置为255，低于像素阈值的像素点值设置为0，并对重新设置后的像素点进行求和，得到针对该差分图像的总像素值，最后，进行归一化处理，即将针对该差分图像的总像素值除以该视频帧中所有灯所在区域的面积后，得到针对该差分图像进行归一化处理后的特征值。
灯色一致性检验模块：
对于上述得到的三个差分图像中各自对应的特征值而言，若三个特征值均小于某一个预设阈值，则当前三个灯的灯色在灰度图像上是一致的，此时，可以认为三个灯均处于开启状态，或者三个灯均处于关闭状态；否则，三个灯的灯色在灰度图像上是不一致的，此时，可以认为存在一个灯处于开启状态，另外两个灯处于关闭状态，或者一个灯处于关闭状态，另外两个灯处于开启状态。
实际应用中，可以基于实际场景的实际需求来选取对应的视频帧作为训练数据，比如，在颜色识别模型的训练过程中常常缺少无颜色灯或未知灯色的样本，此时，可以将上述三个特征值均小于某一个预设阈值的视频帧作为训练数据，如此，来增加训练数据所涵盖的范围，以及增加训练数据的数量，如此，来为提升颜色识别模型的识别准确率奠定基础。
这里，实际场景中，在绿灯闪烁、黄灯闪烁、红灯闪烁的过程中，会存在短暂的无任何颜色灯亮起的情况，该情况下，则会存在无颜色灯的情况；还会出现三个灯同时亮起的情况，此时，可称为未知灯色情况，比如信号灯故障，所以，将该类无颜色灯或未知灯色对应的数据来作为训练数据，对模型训练具有一定的应用价值。
灯平均亮度计算模块：
计算每个灯的平均亮度。这里，已知每个灯在视频帧所在位置区域，基于视频帧中该位置区域的灰度图像即可得到该灯的平均亮度。基于平均亮度即可选取出实际场景中所需要的视频帧来作为训练数据。
具体地，如图2所示，步骤如下：
步骤201：使用灯相互差分计算模块，获取视频帧中多个灯之间的差分结果，即基于以上所述的步骤得到三个差分图像各自对应的特征值。随后，利用灯色一致性检验模块对得到的三个特征值进行灯色一致性检验，若灯色一致性检验通过，即三个特征值均小于某一个预设阈值，则认为通过，执行步骤202；否则，执行步骤203。
步骤202：利用灯平均亮度计算模块计算视频帧中三个灯的平均亮度，若三个灯的平均亮度均小于一个第一亮度阈值，则认为视频帧中三个灯均处于关闭状态，即为无颜色灯，将无颜色灯保存以作为训练数据。若三个灯的平均亮度均大于一个第二亮度阈值，则视频帧中三个灯同时亮起的未知灯色情况，将未知灯色保存以作为训练数据。若为其他情况，则不作处理。
步骤203：利用灯平均亮度计算模块计算视频帧中三个灯的平均亮度，若只有一个灯的平均亮度大于第二亮度阈值，则认为当前为正常的灯色，比如为红灯亮起，其他灯关闭灯情况；否则，认为存在两种灯同时亮起的情况，保存为未知灯色，以作为训练数据。实际场景中，当红绿灯进行灯色切换，此时，在短暂时间内，存在两种灯色同时点亮的情况，该情况也可称为未知灯色。例如黄灯转变为红灯时，会出现黄灯与红灯同时亮起的情况。
对于视频数据而言，按照上述方式逐个视频帧进行处理，即可得到未知灯色的训练数据，以及无颜色灯的训练数据，该训练数据无需人工标注，节约了人力成本。
这样，通过本申请方案能够自动确定出未知灯色、无颜色灯的视频帧，进而来丰富训练数据的数据范围以及数据维度，增加针对未知灯色、无颜色灯的识别的准确率，进而为丰富颜色识别模型的应用场景，提升应用价值奠定了基础。
本申请方案提供一种训练数据获取装置，具体地，如图3所示，包括：
视频帧获取单元301，用于获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯；
灰度图像处理单元302，用于确定所述信号指示组件中所述指示灯的灰度图像；
亮度特征处理单元303，用于基于所述灰度图像确定出所述指示灯的亮度特征；
工作状态确定单元304，用于至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态；
训练数据确定单元305，用于从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧以作为训练数据。
在本申请方案的一具体示例中，还包括：
模型训练单元，用于基于所述训练数据对颜色识别模型进行训练，得到训练完成后的颜色识别模型，其中，训练完成后的所述颜色识别模型能够对待识别视频帧所展示的信号指示组件中指示灯的颜色进行识别。
在本申请方案的一具体示例中，所述灰度图像处理单元，包括：
位置确定子单元，用于确定所述信号指示组件在所述视频帧中所在位置区域；
灰度图像确定子单元，用于基于所述位置区域，确定出所述信号指示组件中所述指示灯的灰度图像。
在本申请方案的一具体示例中，还包括：差分图像处理单元和特征值确定单元；其中，
所述差分图像处理单元，用于将不同所述指示灯的灰度图像进行差分处理，得到差分图像；
所述特征值确定单元，用于确定所述差分图像的特征值；
所述工作状态确定单元，还用于基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示组件的工作状态。
在本申请方案的一具体示例中，所述工作状态确定单元，还用于：基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第一目标状态，其中，所述第一目标状态下所有所述指示灯均处于开启状态或者均处于关闭状态，所述第一目标状态满足所述预设条件。
在本申请方案的一具体示例中，所述工作状态确定单元，还用于：基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第二目标状态，其中，所述第二目标状态下至少两个所述指示灯处于开启状态，所述第二目标状态满足所述预设条件。
在本申请方案的一具体示例中，所述特征值确定单元，包括：
像素点处理子单元，用于基于所述差分图像中像素点的像素值与像素阈值的比较结果，对所述差分图像中的像素点进行处理，得到像素点处理后的差分图像；
特征值确定子单元，用于至少将像素点处理后的所述差分图像中所有像素点的像素值进行归一化处理后，得到针对所述差分图像的特征值。
在本申请方案的一具体示例中，还包括：面积确定单元；其中，
所述面积确定单元，用于确定所述信号指示组件在所述视频帧中所在位置区域的面积；
所述特征值确定子单元，还用于将像素点处理后的所述差分图像中所有像素点的像素值进行累加处理；基于累加处理后的总像素值与所述面积的比值，得到针对所述差分图像的特征值。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的训练数据获取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器402、存储器401，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器402为例。
存储器401即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的训练数据获取方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的训练数据获取方法。
存储器401作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的训练数据获取方法对应的程序指令/模块(例如，附图3所示的视频帧获取单元301、灰度图像处理单元302、亮度特征处理单元303、工作状态确定单元304和训练数据确定单元305，以及图3中未示出的模型训练单元、差分图像处理单元、特征值确定单元和面积确定单元)。处理器402通过运行存储在存储器401中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的训练数据获取方法。
存储器401可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据训练数据获取方法的电子设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器401可选包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至训练数据获取方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
训练数据获取方法的电子设备还可以包括：输入装置403和输出装置404。处理器402、存储器401、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与训练数据获取方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
本申请方案提供一种路侧设备，所述设备包括：
一个或多个处理器；以及存储装置，用于存储一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行，以使所述一个或多个处理器实现以上所述的方法。这里，需要说明的是，所述路侧设备中所包含的处理器的与以上所述的电子设备中的处理器类似，同理，所述存储装置与对应与以上所述的电子设备中的存储器类似，这里不再赘述。
在一具体场景中，本申请方案应用于智能交通车路协同系统中，具体地，在一种系统框架中，该智能交通车路协同系统包括路侧设备，所述路侧设备包括路侧感知设备和路侧计算设备，所述路侧感知设备(例如路侧相机，获取交通灯图像)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，所述路侧感知设备自身包括计算功能，此时，路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；以上所述的服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
根据本申请实施例的技术方案，由于本申请方案能够基于视频帧中指示灯的灰度图像确定出指示灯的亮度特征，进而确定出信号指示组件的工作状态，如此，来得到工作状态满足预设条件的视频帧，以自动化确定出训练数据，所以，一方面能够节约人力成本，另一方面，丰富了训练数据的所涵盖的范围，为提升待训练模型的准确率奠定了基础。
而且，由于本申请方案能够自动化执行，无需人工干预，所以，能够提升获取训练数据的效率，节约时间成本，为节约模型训练的训练成本、提升模型训练效率奠定了基础。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (19)
1.一种训练数据获取方法，包括：
获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯；
确定所述信号指示组件中所述指示灯的灰度图像，并基于所述灰度图像确定出所述指示灯的亮度特征；
至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态；
从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧以作为训练数据。
2.根据权利要求1所述的方法，还包括：
基于所述训练数据对颜色识别模型进行训练，得到训练完成后的颜色识别模型，其中，训练完成后的所述颜色识别模型能够对待识别视频帧所展示的信号指示组件中指示灯的颜色进行识别。
3.根据权利要求1或2所述的方法，其中，所述确定所述信号指示组件中所述指示灯的灰度图像，包括：
确定所述信号指示组件在所述视频帧中所在位置区域；
基于所述位置区域，确定出所述信号指示组件中所述指示灯的灰度图像。
4.根据权利要求1所述的方法，还包括：
将不同所述指示灯的灰度图像进行差分处理，得到差分图像；
确定所述差分图像的特征值；
其中，所述至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态，包括：
基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示组件的工作状态。
5.根据权利要求4所述的方法，所述基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示组件的工作状态，包括：
基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第一目标状态，其中，所述第一目标状态下所有所述指示灯均处于开启状态或者均处于关闭状态，所述第一目标状态满足所述预设条件。
6.根据权利要求4所述的方法，所述基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示组件的工作状态，包括：
基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第二目标状态，其中，所述第二目标状态下至少两个所述指示灯处于开启状态，所述第二目标状态满足所述预设条件。
7.根据权利要求4或5或6所述的方法，其中，所述确定所述差分图像的特征值，包括：
基于所述差分图像中像素点的像素值与像素阈值的比较结果，对所述差分图像中的像素点进行处理，得到像素点处理后的差分图像；
至少将像素点处理后的所述差分图像中所有像素点的像素值进行归一化处理后，得到针对所述差分图像的特征值。
8.根据权利要求7所述的方法，还包括：
确定所述信号指示组件在所述视频帧中所在位置区域的面积；
其中，所述至少将像素点处理后的所述差分图像中所有像素点的像素值进行归一化处理后，得到针对所述差分图像的特征值，包括：
将像素点处理后的所述差分图像中所有像素点的像素值进行累加处理；
基于累加处理后的总像素值与所述面积的比值，得到针对所述差分图像的特征值。
9.一种训练数据获取装置，包括：
视频帧获取单元，用于获取视频帧，其中，所述视频帧为从视频数据中选取出的，并展示有信号指示组件，所述信号指示组件中包含有至少两个指示灯；
灰度图像处理单元，用于确定所述信号指示组件中所述指示灯的灰度图像；
亮度特征处理单元，用于基于所述灰度图像确定出所述指示灯的亮度特征；
工作状态确定单元，用于至少基于所述信号指示组件中所述指示灯的亮度特征确定出所述信号指示组件的工作状态；
训练数据确定单元，用于从所述视频数据中选取出所述信号指示组件的工作状态满足预设条件的视频帧以作为训练数据。
10.根据权利要求9所述的装置，还包括：
模型训练单元，用于基于所述训练数据对颜色识别模型进行训练，得到训练完成后的颜色识别模型，其中，训练完成后的所述颜色识别模型能够对待识别视频帧所展示的信号指示组件中指示灯的颜色进行识别。
11.根据权利要求9或10所述的装置，其中，所述灰度图像处理单元，包括：
位置确定子单元，用于确定所述信号指示组件在所述视频帧中所在位置区域；
灰度图像确定子单元，用于基于所述位置区域，确定出所述信号指示组件中所述指示灯的灰度图像。
12.根据权利要求9所述的装置，还包括：差分图像处理单元和特征值确定单元；其中，
所述差分图像处理单元，用于将不同所述指示灯的灰度图像进行差分处理，得到差分图像；
所述特征值确定单元，用于确定所述差分图像的特征值；
所述工作状态确定单元，还用于基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示组件的工作状态。
13.根据权利要求12所述的装置，其中，所述工作状态确定单元，还用于：基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第一目标状态，其中，所述第一目标状态下所有所述指示灯均处于开启状态或者均处于关闭状态，所述第一目标状态满足所述预设条件。
14.根据权利要求12所述的装置，其中，所述工作状态确定单元，还用于：基于所述信号指示组件中所述指示灯的亮度特征，以及所述差分图像的特征值，确定出所述信号指示灯处于第二目标状态，其中，所述第二目标状态下至少两个所述指示灯处于开启状态，所述第二目标状态满足所述预设条件。
15.根据权利要求12或13或14所述的装置，其中，所述特征值确定单元，包括：
像素点处理子单元，用于基于所述差分图像中像素点的像素值与像素阈值的比较结果，对所述差分图像中的像素点进行处理，得到像素点处理后的差分图像；
特征值确定子单元，用于至少将像素点处理后的所述差分图像中所有像素点的像素值进行归一化处理后，得到针对所述差分图像的特征值。
16.根据权利要求15所述的装置，还包括：面积确定单元；其中，
所述面积确定单元，用于确定所述信号指示组件在所述视频帧中所在位置区域的面积；
所述特征值确定子单元，还用于将像素点处理后的所述差分图像中所有像素点的像素值进行累加处理；基于累加处理后的总像素值与所述面积的比值，得到针对所述差分图像的特征值。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
19.一种路侧设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行，以使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011195510.0A CN112307970B (zh) | 2020-10-30 | 2020-10-30 | 训练数据获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011195510.0A CN112307970B (zh) | 2020-10-30 | 2020-10-30 | 训练数据获取方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112307970A true CN112307970A (zh) | 2021-02-02 |
| CN112307970B CN112307970B (zh) | 2024-04-12 |
Family
ID=74334111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011195510.0A Active CN112307970B (zh) | 2020-10-30 | 2020-10-30 | 训练数据获取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112307970B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129375A (zh) * | 2021-04-21 | 2021-07-16 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419663A (zh) * | 2008-06-05 | 2009-04-29 | 华中科技大学 | 电力设备故障指示器指示灯状态实时监测识别方法 |
| CN103020613A (zh) * | 2013-01-07 | 2013-04-03 | 信帧电子技术（北京）有限公司 | 一种基于视频的信号灯识别方法及装置 |
| CN104036288A (zh) * | 2014-05-30 | 2014-09-10 | 宁波海视智能系统有限公司 | 一种基于视频的车型分类方法 |
| CN104050827A (zh) * | 2014-06-06 | 2014-09-17 | 北京航空航天大学 | 一种基于视觉的交通信号灯自动检测识别方法 |
| CN104574960A (zh) * | 2014-12-25 | 2015-04-29 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
| WO2016203616A1 (ja) * | 2015-06-18 | 2016-12-22 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
| WO2016205951A1 (en) * | 2015-06-25 | 2016-12-29 | Appropolis Inc. | A system and a method for tracking mobile objects using cameras and tag devices |
| CN110910665A (zh) * | 2019-11-06 | 2020-03-24 | 北京百度网讯科技有限公司 | 信号灯控制方法、装置以及计算机设备 |
-
2020
- 2020-10-30 CN CN202011195510.0A patent/CN112307970B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419663A (zh) * | 2008-06-05 | 2009-04-29 | 华中科技大学 | 电力设备故障指示器指示灯状态实时监测识别方法 |
| CN103020613A (zh) * | 2013-01-07 | 2013-04-03 | 信帧电子技术（北京）有限公司 | 一种基于视频的信号灯识别方法及装置 |
| CN104036288A (zh) * | 2014-05-30 | 2014-09-10 | 宁波海视智能系统有限公司 | 一种基于视频的车型分类方法 |
| CN104050827A (zh) * | 2014-06-06 | 2014-09-17 | 北京航空航天大学 | 一种基于视觉的交通信号灯自动检测识别方法 |
| CN104574960A (zh) * | 2014-12-25 | 2015-04-29 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
| WO2016203616A1 (ja) * | 2015-06-18 | 2016-12-22 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
| WO2016205951A1 (en) * | 2015-06-25 | 2016-12-29 | Appropolis Inc. | A system and a method for tracking mobile objects using cameras and tag devices |
| CN110910665A (zh) * | 2019-11-06 | 2020-03-24 | 北京百度网讯科技有限公司 | 信号灯控制方法、装置以及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄战华 等: "基于视频图像的指示灯状态监测识别技术研究", 《传感技术学报》, vol. 23, no. 04, pages 543 - 547 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129375A (zh) * | 2021-04-21 | 2021-07-16 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN113129375B (zh) * | 2021-04-21 | 2023-12-01 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112307970B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11694461B2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
| CN110910665B (zh) | 信号灯控制方法、装置以及计算机设备 | |
| CN113593262A (zh) | 交通信号控制方法、装置、计算机设备和存储介质 | |
| CN110738164B (zh) | 零件异常检测方法、模型训练方法及装置 | |
| CN111582030A (zh) | 红绿灯的识别方法、装置、电子设备和计算机存储介质 | |
| CN112528926A (zh) | 检测信号灯图像异常的方法、装置、设备及存储介质 | |
| CN113221878A (zh) | 应用于信号灯检测的检测框调整方法、装置及路侧设备 | |
| CN112634631A (zh) | 交通信号灯的控制方法、装置、系统以及电子设备 | |
| CN111627241A (zh) | 用于生成车辆排队信息的方法和装置 | |
| CN112528795A (zh) | 信号灯的灯色识别方法、装置及路侧设备 | |
| CN112307970B (zh) | 训练数据获取方法、装置、电子设备及存储介质 | |
| CN113469109B (zh) | 交通灯识别结果处理方法、装置、路侧设备及云控平台 | |
| US20220332191A1 (en) | Control method and apparatus, device and storage medium | |
| CN112785714A (zh) | 点云实例标注方法及装置、电子设备和介质 | |
| CN111950345A (zh) | 摄像头的识别方法、装置、电子设备和存储介质 | |
| CN113361303B (zh) | 临时交通标志牌识别方法、装置及设备 | |
| CN112270532B (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
| CN111415614A (zh) | 一种显示屏屏幕调试处理方法和装置 | |
| CN112699754A (zh) | 信号灯识别方法、装置、设备以及存储介质 | |
| CN112508127A (zh) | 数据标注方法及装置、电子设备、介质和产品 | |
| CN115410173B (zh) | 多模态融合的高精地图要素识别方法、装置、设备及介质 | |
| CN112396668B (zh) | 识别信号灯中异常灯色的方法、装置、路侧设备 | |
| US20220309763A1 (en) | Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system | |
| CN111553283B (zh) | 用于生成模型的方法及装置 | |
| CN111680547B (zh) | 交通倒计时牌的识别方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211014 Address after: 100176 Room 101, 1st floor, building 1, yard 7, Ruihe West 2nd Road, economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |