CN111681199A - 检测图像有效性的方法及装置 - Google Patents

Abstract

公开了一种检测图像有效性的方法及装置，包括：接收图像的行图像信息，所述行图像信息中含有校验信息；根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及，根据所述图像中的错误行，确定所述图像的有效性。本申请能够快速、高效且准确的检测传输到硬件中的图像的有效性，从而更高效、更可靠地提升硬件利用图像做出正确决策的速度，以适应实际应用的需求。

Description

检测图像有效性的方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种检测图像有效性的方法及装置。

背景技术

计算机视觉领域中，硬件(例如，计算机或类似设备)通过从图像中提取信息来做出决策。如果传输到硬件中的图像存在问题，例如缺少有效信息、包含错误信息等，将会影响硬件决策的正确性和有效性。

因此，期望提供一种图像有效性的检测方法及装置，以快速、高效且准确的检测传输到硬件中的图像的有效性，以便硬件能够迅速、高效、准确地做出正确有效的决策。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种检测图像有效性的方法及装置。

根据本申请的一个方面，提供了一种检测图像有效性的方法，包括：

接收图像的行图像信息，所述行图像信息中含有校验信息；

根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

根据所述图像中的错误行，确定所述图像的有效性。

根据本申请的一个方面，提供了一种电子设备，包括：一个或多个处理器；以及，存储器，存储有计算机指令，所述计算机指令在被所述处理器运行时使所述处理器执行根据上述检测图像有效性的方法。

根据本申请的一个方面，提供了一种检测图像有效性的装置，包括：接收单元，配置为接收图像的行图像信息，所述行图像信息中含有校验信息；错误行确定单元，配置为根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及，图像确定单元，配置为根据所述图像中的错误行，确定所述图像的有效性。

根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上述检测图像有效性的方法。

通过本申请实施例的方法和/或装置，通过含有校验信息的行图像信息确定图像的有效性，能够快速、高效且准确的检测传输到硬件中的图像的有效性，从而更高效、更可靠地提升硬件利用图像做出正确决策的速度，以适应实际应用的需求。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的系统的示例性结构图。

图2是本申请所适用的系统的示例性硬件架构图。

图3是本申请一示例性实施例提供的检测图像有效性的方法的流程示意图。

图4～图7是本申请一示例性实施例提供的包含校验信息的行图像信息的示例性结构图。

图8是本申请一示例性实施例提供的确定至少一个预定位置的示例性流程图。

图9～图10是本申请一示例性实施例提供的用于存放校验信息和行数据的寄存器的排列示例图。

图11是本申请一示例性实施例提供的根据图像的错误行确定单帧图像有效性的示例性流程图。

图12是本申请一示例性实施例提供的确定持续图像有效性的示例性流程图。

图13是本申请一示例性实施例提供的检测图像有效性的装置的结构示意图。

图14是本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上文所述，计算机视觉领域中，图像的有效性将影响硬件利用图像做出决策的正确性和有效性。

以智能驾驶为例，智能驾驶是机器帮助人进行驾驶以及在特殊情况下完全取代人驾驶的技术。具体应用中，装载于交通工具上的智能驾驶系统通过从实时采集的图像中提取信息来做出辅助驾驶或完全取代人驾驶的决策。如果实时采集的图像存在问题，例如，这些图像缺少有效信息或包含错误信息等，智能驾驶系统将无法迅速高效地做出正确有效的决策，从而降低智能驾驶的安全性，影响智能驾驶系统的功能安全等级。

上述智能驾驶系统可通过软件、硬件或两者的结合来实现。例如，该智能驾驶系统可通过片上系统(Soc)来实现，该片上系统可通过车载网络(例如，CAN)与交通工具中的车载系统通信。

可见，计算机视觉领域中，如何快速高效准确地检测图像的有效性对于硬件迅速高效地做出正确有效的决策至关重要。

发明人又发现，尽管在其他领域可能存在图像有效性的检测方法，但这些检测方法响应时间较长且准确性不高。计算机视觉领域的诸多应用场景(例如，智能驾驶)中，硬件需要迅速高效地响应随机出现的各类状况。以自动驾驶为例，时速为60Km/h的车辆在50ms内将开出1m的距离，如果延迟能够控制在1ms以内，汽车在该延迟时间内仅会开出1.6cm的距离，其安全性将大大增加。可见，类似的应用场景中，硬件需要在较短的延迟时间内接收到图像并基于该图像中的有效信息做出决策，其功能安全等级才可满足实际应用的需求。因此，计算机视觉领域的应用场景中要求硬件快速、高效且准确地确认图像的有效性，其他领域可能存在的图像有效性检测方法并不能适用于计算机视觉领域。

针对上述技术问题，本申请实施例的发明构思是提供一种检测图像有效性的方法、装置、电子设备以及计算机可读存储介质，接收图像的行图像信息，该行图像信息中含有校验信息，根据行图像信息中的校验信息确定图像中的错误行，根据图像中的错误行确定图像的有效性。本申请实施例通过含有校验信息的行图像信息来确定图像的有效性，可以快速、高效且准确的检测传输到硬件中的图像的有效性，从而更高效、更可靠地提升硬件利用图像做出正确决策的速度，进而在不增加系统复杂度、冗余度、成本的同时提升了功能安全等级，以满足实际应用的需求。

本申请实施例可应用于各类应用场景中。具体来说，本申请实施例可应用于计算机视觉领域的任何应用中(例如，智能驾驶)。

示例性系统

图1示出了本申请实施例适用的示例性系统10的结构，包括：至少一个生成行图像信息的装置101和检测图像有效性的装置102。其中，装置101与装置102之间可直接通信。装置101可以通过任何有线、无线等可用的通信方式与装置102进行通信。需要说明的是，图1中仅示出了一个装置101，但实际应用中，该示例性系统可以包括多个装置101，具体视应用场景的需求。

本申请实施例中，生成行图像信息的装置101可以是任何具备图像传输功能的装置。例如，该生成行图像信息的装置101可以包括但不限于图像采集装置、图像处理装置等。其中，图像采集装置可以包括但不限于摄像头、图像传感器、成像器件等。图像处理装置可以包括但不限于图像信号处理器(ISP，Image Signal Processor)或类似的其他器件。

本申请实施例中，检测图像有效性的装置102可以是任何具备图像有效性检测功能的装置。例如，该检测图像有效性的装置102可以是但不限于图像处理装置等。具体应用中，装置102可通过具备图像处理功能的一个或多个处理器、系统级芯片(SoC)等来实现。

上述示例性系统10中，装置101与装置102可以集成于同一电子设备中，装置101可通过具有图像采集功能的传感器或其他类似的器件来实现，装置102可以通过电子设备中的处理器来实现。至少一些实施例中，该电子设备可以是下文的电子设备140。

上述示例性系统10中，装置101和装置102可以独立部署。例如，装置101可通过具有图像采集功能的任何类型的电子设备来实现，例如，摄像头、相机等，装置102可以通过任何具有图像处理功能的电子设备来实现，该电子设备可以为(但不限于)移动终端、便携式终端、个人计算机、服务器计算机、多处理器系统、基于微处理器的系统、可穿戴电子设备等。至少一些实施例中，该装置102可通过下文的电子设备140来实现。

图2示出了上述示例性系统10的一示例性硬件架构。图2的示例中，摄像头相当于上文的装置101，控制器相当于上文的装置102，摄像头与控制器通过POC线缆或以太网供电(Power over Ethernet，POE)线缆连接。

图2的示例中，摄像头中可以包括镜头(lens)、传感器(sensor)、图像传输器件(例如，串行器或以太网传输接口等)、图像信号处理器件(ISP，Image Signal Processing)，镜头(lens)和传感器(sensor)用于采集图像，图像传输器件用于向控制器传送图像，连接在传感器与图像传输器件之间的ISP可根据应用场景的需求选择性的配置。

图2的示例中，控制器中可以包括图像传输器件(例如，解串器或以太网传输接口等)、ISP、现场可编程门阵列(FPGA，Field－Programmable Gate Array)和系统级芯片(SoC)，图像传输器件用于接收来自摄像头的图像信息，ISP和FPGA可根据具体应用场景的需求选择性的配置，系统级芯片可用于实现下文的示例性方法300。

需要说明的是，图2的示例中，摄像头和控制器中分别可以包含存储器等部件，这些部件在图2中未示出。除此之外，图2的示例中，摄像头和控制器中还可包含其他部件，对其具体结构，本申请实施例不予限制。

示例性方法

图3是本申请实施例的检测图像有效性的示例性方法300，该示例性方法300可通过上文的装置102来执行。一个示例中，该示例性方法300可通过下文的电子设备140来实现。

如图3所示，示例性方法300可以包括如下步骤：

步骤310，接收图像的行图像信息，行图像信息中含有校验信息；

步骤320，根据行图像信息中的校验信息，确定图像中的错误行；

步骤330，根据图像中的错误行，确定图像的有效性。

发明人发现，如果一幅图像与其校验信息分离，硬件将无法快速、高效且准确的确认该幅图像的有效性。也就是说，图像与校验信息分离的情况下，硬件要花费更多时间才能确认这些图像是否有效，如果应用于计算机视觉领域中这将增大硬件接收图像和利用图像做出决策行为的延迟，以智能驾驶的应用场景为例，延迟增大将大幅降低智能驾驶的安全性，从而造成相关应用的功能安全等级无法满足实际应用的需求。

本申请实施例中，通过含有校验信息的行图像信息来确认图像的有效性，校验信息叠加在图像中且每行图像都具有校验信息，这样，硬件在接收到一行图像时即可基于其中的校验信息确认该行图像是否错误，在接收到一幅图像时(甚至在图像传输的过程中)即可迅速、高效且准确地确认该图像的有效性，从而高效且可靠地提升硬件基于图像的有效信息做出正确决策的速度，进而在不增加系统复杂度、冗余度、硬件成本的同时可减小延迟，提升相关应用(例如，智能驾驶)的功能安全等级，以满足实际应用的需求。

本申请实施例中，行图像信息包含校验信息和行数据，行数据包含一行图像中各个像素点的内容。在未叠加校验信息时，行数据包含一行图像中所有像素点的内容。如果校验信息是加在行数据之前或之后，那么行图像信息中的行数据仍将包含一行图像中所有像素点的内容，如果校验信息是通过替换行数据中的部分数据而嵌入在行数据中，那么行图像信息中的行数据将只包含一行图像中部分像素点的内容。

本申请实施例中，校验信息可以位于行数据之前或之后，或者校验信息通过替换行数据中的至少一个预定位置处的数据而嵌入在行数据中。这样，本申请实施例可以根据实际应用的情况将校验信息叠加在一行图像的合理位置上，从而确保在每行图像中叠加校验信息后图像的质量仍可满足要求。

一个示例中，如图4所示，校验信息可以位于行数据之前的z个字节中。这种实现方式不会更改图像的原始信息，可确保图像质量完全不受影响，但要求生成行图像信息的装置中具有可存放校验信息的空闲寄存器，且该空闲寄存器与用于存放行数据的寄存器可一并读取。

一个示例中，如图5所示，校验信息可以位于行数据之后的y个字节中。这种实现方式不会更改图像的原始信息，可确保图像质量完全不受影响，但要求生成行图像信息的装置中具有可存放校验信息的空闲寄存器，且该空闲寄存器与用于存放行数据的寄存器可一并读取。

一个示例中，如图6所示，校验信息可以通过替换行数据中的x个像素的内容而嵌入在行数据中。其中，x个像素彼此相邻。尽管该实现方式会更改图像的原始信息，但可在图像质量仍可满足要求的前提下减少对寄存器的需求，适用于生成行图像信息的装置存储空间有限(例如，寄存器不足)的情况。

一个示例中，如图7所示，校验信息可以通过替换行数据中的a+b+c个像素的内容而嵌入在行数据中，其中，a个像素、b个像素和c个像素分散在行数据的各个不同位置。尽管该实现方式会更改图像的原始信息，但可在图像质量仍可满足要求的前提下减少对寄存器的需求，适用于生成行图像信息的装置存储空间有限(例如，寄存器不足)的情况。

上述示例中，x、y、z、a、b、c可预先确定，z和y取决于校验信息的大小，x、a、b、c与校验信息的大小、图像质量要求等因素相关。具体应用中，x、y、z、a、b、c的取值可以是固定数值、也可以是变量。至少一些实施例中，可以根据具体应用场景的不同、图像质量要求的不同、基于图像的有效信息做出决策的图像处理算法的不同来选择性的配置不同的取值。

需要说明的是，上述图4～图7仅为示例，本申请实施例包含上述示例的任意结合。例如，校验信息中的一部分可以通过替换行数据中的至少一个预定位置处的数据而嵌入在行数据中，另一部分可以追加在行数据之后。再例如，校验信息中的一部分可以通过替换行数据中的至少一个预定位置处的数据而嵌入在行数据中，另一部分可以追加在行数据之前。

至少一些实施例中，上述示例性方法300还可以包括：确定至少一个预定位置，并且将至少一个预定位置提供给生成图像的行图像信息的装置。一个示例中，可以由检测图像有效性的装置来确定上述的至少一个预定位置，并将该至少一个预定位置通知给生成行图像信息的装置。一个示例中，可通过其他装置或设备来确定上述的至少一个预定位置，这些装置或设备可以是任何具有相应处理能力的处理器或电子设备，这些装置或设备在确定上述至少一个预定位置之后，可以将该至少一个预定位置一并提供给检测图像有效性的装置和生成行图像信息的装置。

本申请实施例中，预定位置可以通过像素点的标识信息来表示，该像素点的标识信息可以唯一标识行数据中的一个数据。至少一些实施例中，该像素点的标识信息可以包括但不限于像素点内容的存储地址、像素点的坐标信息(例如，像素点在图像中的行标识和列标识等)等。除此之外，上述预定位置还可以通过其他方式来表示，对于预定位置的具体表示方式本申请实施例不予限制。

本申请实施例中，检测图像有效性的装置可采用任何可用的方法来确定上述的至少一个预定位置，只需要满足使用校验信息替换这些预定位置处的数据后图像的质量仍可满足要求即可。

至少一些实施例中，如图8所示，确定至少一个预定位置的示例性流程可以包括如下步骤：

步骤801，用校验信息替换标准图像的行数据中的至少一个候选位置处的数据，以生成标准图像的行图像信息；

步骤802，验证标准图像的图像质量是否满足预定的图像质量要求；

步骤803，在标准图像的图像质量满足预定的图像质量要求时，确定至少一个候选位置为所述至少一个预定位置，结束当前流程。

步骤804，在标准图像的图像质量不满足预定的图像质量要求时，调整至少一个候选位置，并返回步骤801重新执行，如此迭代，直到找到合适的至少一个预定位置使得标准图像的图像质量满足预定的图像质量要求。

具体应用中，可以使用标准图像源中至少一幅标准图像来完成图8的处理，以准确确定上述的至少一个预定位置。

本申请实施例中，可以采用任何可用的图像质量评价方法来实现步骤802的验证过程。至少一些实施例中，可以利用无参考图像质量评价方法确定叠加校验信息后的标准图像的清晰度、噪声等多个图像质量指标，再将该多个图像质量指标与预先设定的多个图像质量指标阈值进行比较，进而确定叠加校验信息后标准图像的图像质量是否满足预定的图像质量要求。其中，图像质量指标阈值可以采用行业内的统一标准(比如，国家标准中规定的标准参考值)，也可通过基于图像的有效信息做出决策所采用的图像处理算法来确定，还可以基于利用图像做出决策的硬件的要求来确定，更可以基于具体应用场景的要求来确定。

一个示例中，可以通过估算均值、标准差、平均梯度中至少之一或其结合来对标准图像进行模糊度估计，进而确定表征该标准图像清晰度的图像质量指标。

一个示例中，可以利用诸如基于分块方差估计的、基于低通滤波的、基于小波高频系数的、基于其他变换域技术等的各种噪声估计方法来确定表征该标准图像噪声的图像质量指标。

至少一些实施例中，步骤804中调整候选位置的具体实现方式可以有多种。至少一个实施例中，可以通过人为调整的方式来调整候选位置，例如，人为向检测图像有效性的装置输入下一组候选位置等方式。至少一个实施例中，可以通过预先配置预定策略到检测图像有效性的装置中，由检测图像有效性的装置按照该预定策略来自动调整上述候选位置。这里，该预定策略可以人为配置，预定策略的具体内容可基于具体应用场景的需求、经验值、基于图像的有效信息做出决策的图像处理算法等来确定。

需要说明的是，图8仅为示例，并非用于限制本申请实施例，具体应用中，确定上述至少一个预定位置还可通过其他方式来实现，对其具体实现方式，本申请实施例不予限制。

本申请实施例中，可以由生成行图像信息的装置生成校验信息，并通过在行图像中叠加校验信息来生成行图像信息。

至少一些实施例中，生成行图像信息的装置可以基于预定校验算法来生成校验信息。每个行图像信息中包含的校验信息可以相同、也可以不同，取决于使用何种校验算法。一个示例中，可以采用预定校验算法利用行数据来计算得到校验信息。一个示例中，校验信息可以为固定值，该固定值可通过预定校验算法计算得到。这里，预定校验算法的具体技术细节将下文详细说明。

至少一些实施例中，生成行图像信息的装置可以通过在一行数据中第一个数据之前或最后一个数据之后添加校验信息来生成行图像信息，也可以通过使用校验信息替换一行数据中至少一个预定位置处的数据来生成行图像信息。具体采用何种方式，可根据生成行图像信息的装置中寄存器的数量来选择。

至少一个实施例中，生成行图像信息的装置可以根据一幅图像的行、列等信息将一幅图像的各个行数据存储在寄存器中，一个行数据中的各个数据占用的寄存器地址连续，可一并读取。生成行图像信息的装置生成某一行数据的校验信息后，将该校验信息写入对应上述至少一个预定位置(例如，图6中的x个像素点；再例如，图7中的a个像素点、b个像素点和c个像素点)的寄存器中或写入与该行数据使用的寄存器相邻的空闲寄存器中。需要时，生成行图像信息的装置从寄存器中一并读取上述行数据及其校验信息即可获得相应的行图像信息。如此，便通过在行图像中叠加校验信息生成了行图像信息。

图9示出了生成行图像信息的装置中用于存放校验信息和行数据的寄存器的排列示例，其中，一个方框表示一个寄存器，CRC表示校验信息，一个data表示一个像素点的内容即一个行数据中的一个数据，图9的示例中两行寄存器可连续读取。图9的示例中，用于存放校验信息的空闲寄存器在存放行数据的多个寄存器之后，由此得到的行图像信息中校验信息将位于行数据中最后一个数据(即行图像中最后一个像素点的内容)之后，形成的行图像信息结构如上文图5所示。

图10示出了生成行图像信息的装置中用于存放校验信息和行数据的寄存器的排列示例，其中，一个方框表示一个寄存器，CRC表示校验信息，一个data表示一个像素点的内容即一个行数据中的一个数据，图10的示例中两行寄存器可连续读取。图10的示例中，通过将校验信息覆盖对应x个预定位置的x个寄存器中的数据来将校验信息存放在这x个寄存器中，由此得到的行图像信息中校验信息通过替换行数据中的x个预定位置处的数据而嵌入在行数据中，形成的行图像信息结构如上文图6所示。

至少一些实施例中，步骤320的示例性流程可以包括如下步骤：

步骤a1，基于预定校验算法，校验每个所述行图像信息中的校验信息是否合法；

步骤a2，在校验信息不合法时，确定所述行图像信息对应的行图像(也可称为图像行)为错误行。

至少一个实施例中，上述预定校验算法可以由生成行图像信息的装置与检测图像有效性的装置协商来定，这样，生成行图像信息的装置可使用该预定校验算法来生成校验信息，而检测图像有效性的装置也可以使用同样的预定校验算法来完成上述步骤a1中的校验。除此之外，上述预定校验算法也可以通过人为配置等其他方式在生成行图像信息的装置与检测图像有效性的装置中预先设定，对其具体配置方式，本申请实施例不予限制。

具体应用中，上述预定校验算法包括但不限于：错误校验和校正(ECC)(也可称为错误校正编码)校验、MD5校验、哈希值校验、奇偶校验、循环冗余校验码(CRC，CyclicRedundancy Check)校验、纵向冗余校验(LRC，Longitudinal Redundancy Check)、格雷码校验、累加和校验、异或校验等。可以理解，任何未列出的其他数据校验算法均可适用于本申请实施例。

至少一个实施例中，在步骤a2确定一行图像是错误行后，还可以使用该行图像的信息(例如，行标识)来标记相应图像，该标记用于指示相应图像中是否包含错误行以及错误行是哪些，标记之后可以存储相应图像到存储器中，以便执行步骤330中的处理。

本申请实施例中，步骤330中可以包括但不限于：根据单帧图像中的错误行，确定单帧图像是否有效；和/或，根据持续图像中各帧图像的错误行来确定该持续图像是否有效。由此，不仅可根据需要确定传输到硬件的单帧图像是否可用，而且还可根据需要来确定传输到硬件的持续图像是否可用，进而适应计算机视觉领域中各种具体应用场景中的需求，以满足实际应用的需求。

至少一些实施例中，对于单帧图像来说，可以通过验证单帧图像中错误行是否影响了该单帧图像中的有效信息(例如，导致有效信息遗漏或错误)，如果错误行影响了单帧图像的有效信息即表明错误行实质上影响了该单帧图像的有效性。举例来说，在单帧图像中包含有错误行的情况下，可以先预测该单帧图像是否可能出现目标，再实际检测该单帧图像中是否出现了目标，如果预测单帧图像中可能出现目标而在该单帧图像中未检测到目标的特征则说明该错误行影响了单帧图像中的有效信息。除此之外，还可采用其他方式，对于确定单帧图像有效性的具体方式，本申请实施例不予限制。

至少一些实施例中，对于持续图像来说，可以由持续图像中各帧图像的错误行确定该持续图像中哪些图像帧无效，再基于这些无效的图像帧在该持续图像中的占比来确定该持续图像是否有效。除此之外，还可采用其他方式，对于确定持续图像有效性的具体方式，本申请实施例不予限制。

至少一些实施例中，如图11所示，步骤330的示例性流程可以包括如下步骤：

步骤1101，在当前帧图像中包含错误行时，基于先前帧图像中目标的特征预测当前帧图像是否包含目标的特征；

替换地，本步骤中可以基于先前帧图像与后续帧图像中目标的特征来预测当前帧图像中是否包含目标的特征，此方式预测结果更为准确。需要说明的是，先前帧图像可以包括但不限于当前帧图像的前N帧图像，N为不小于1的整数。类似的，后续帧图像可以包括但不限于当前帧图像的后M帧图像，M为不小于1的整数。这里，N和M的具体取值可预先设定，例如，可取为经验值。

本步骤中，预测的具体方式不限。比如，可以基于前N帧图像中目标的特征估算目标的移动速度和位置，进而由此确定目前是否可能将出现在当前帧图像中以及当前帧图像中将可能会包含目标的哪些特征等。

步骤1102，检测当前帧图像中是否包含目标的特征；

本步骤中，检测的具体方式不限。例如，可以基于神经网络的方法来检测当前帧图像中是否包含哪些特征以及是否包含目标的特征等。

步骤1103，当预测当前帧图像包含目标的特征且当前帧图像中没有检测到所述目标的特征时，确定当前帧图像为无效图像帧。

至少一个实施例中，上述示例性流程中还可以包括：步骤1104，当预测当前帧图像包含目标的特征且当前帧图像中检测到目标的特征时，确定当前帧图像为有效图像帧。

一个示例中，确定当前帧图像的有效性之后，还可以对当前帧图像进行标记，通过标记来指示当前帧图像是无效图像帧还是有效图像帧，以便执行例如确定持续图像有效性等的处理。

实际应用中，上述目标可以是车辆、人、动物等任何可能会出现图像中并可能需要跟踪的对象。

本申请实施例中，上述示例性流程通过预测和检测的结合，准确地确定了错误行是否影响到当前帧图像的有效性。当然，上述示例性流程仅为示例，步骤330中确定图像有效性的具体方式不限于上述方式。

至少一些实施例中，步骤330的示例性流程可以包括如下步骤：

步骤c1，确定所述目标从出现到消失的持续图像中无效图像帧的占比；

步骤c2，判断无效图像帧的占比是否达到预定阈值；

步骤c3，在无效图像帧的占比达到所述预定阈值时，确定所述持续图像无效。

至少一个实施例中，上述示例性流程中还可以包括：步骤c4，在无效图像帧的占比未达到预定阈值时，确定持续图像有效。

需要说明的是，持续图像是指目标从出现到消失的多帧连续图像。例如，目标是车辆A时，持续图像可以包括车辆A第一次出现的图像帧S1到车辆A消失的图像帧S2的前一图像帧之间的所有图像帧。

上述示例性流程中，预定阈值可以是固定值，也可以是满足预定函数关系的变量。预定阈值的取值可随时调整，以便适应不同硬件、不同应用场景以及不同的图像处理算法的需求。一个示例中，预定阈值可以取为经验值。举例来说，智能驾驶应用中，可以将预定阈值设置为10％，如果当前目标的无效图像帧在其持续图像的占比低于10％，则该持续图像有效，如果当前目标的无效图像帧在其持续图像的占比不低于10％，则该持续图像无效。

本申请实施例中，在确定持续图像无效之后，还可以将该持续图像丢弃，即将目标从出现到消失的所有图像帧都丢弃。一个示例中，还可以向上文生成行图像信息的装置或采集该持续图像的装置发送提醒消息，以便重新收集该目标的持续图像。一个示例中，还可以发出提醒信号，以提示用户(例如，使用智能驾驶应用的驾驶员)注意。可以理解，在确定持续图像无效之后还可以对其执行其他处理，对此，本申请实施例不作限制。

本申请实施例中，在确定持续图像有效之后，还可以将该持续图像提供给做出决策的装置，以便做出决策的装置利用该持续图像追踪目标以做出决策。或者，可以将该持续图像保存在存储器(例如，片外存储器或内存)中，以便检测图像有效性的装置可以利用该持续图像追踪目标并做出决策。可以理解，在确定持续图像有效之后还可以对其执行其他处理，对此，本申请实施例不作限制。

一个示例中，图12示出了确定持续图像有效性的具体流程。如图12所示，确定一帧图像有效性的示例性流程可以包括如下步骤：

步骤1201，确定目标从出现到消失的持续图像的帧数。

步骤1202，确定持续图像中无效图像帧的帧数。

本步骤中，可根据图像帧的标记来确定持续图像中哪些图像帧是无效图像帧，进而得到无效图像帧的帧数。关于标记，可参考上文步骤1106和步骤1105，不再赘述。

步骤1203，计算目标从出现到消失的持续图像中无效图像帧的占比。

步骤1204，判断无效图像帧的占比是否达到了预定阈值，如果无效图像帧的占比达到了预定阈值则继续步骤1205，如果无效图像帧的占比未达到预定阈值则继续步骤1206。

步骤1205，确定持续图像无效，丢弃该持续图像。

步骤1206，确定持续图像有效，保存该持续图像，以便利用该持续图像中的信息(例如，目标的特征)做出决策。

需要说明的是，图12仅为示例，并非用于限制本申请实施例。具体应用中，根据图像中的错误行确定图像有效性的具体实现方式还可包括其它，对此，本申请实施例不予限制。

示例性装置

图13示出了本申请实施例的检测图像有效性的示例性装置130的结构，该示例性装置130可通过软件、硬件或两者的结合来实现。具体应用中，该示例性装置130可通过上文的装置102来实现。一个示例中，该示例性装置130可设置于下文的电子设备140中或通过该电子设备140来实现。

如图13所示，本申请实施例的检测图像有效性的示例性装置130可以包括：接收单元131、错误行确定单元132和图像确定单元133；其中，

接收单元131，配置为接收图像的行图像信息，所述行图像信息中含有校验信息；

错误行确定单元132，配置为根据所述行图像信息中的校验信息，确定所述图像中的错误行；

图像确定单元133，配置为根据所述图像中的错误行，确定所述图像的有效性。

至少一些实施例中，行图像信息还包括所述图像的行数据，校验信息可以位于所述行数据之前或之后，或者校验信息可以通过替换所述行数据中的至少一个预定位置处的数据而嵌入在行数据中。

至少一些实施例中，上述示例性装置130还可以包括：位置确定单元，配置为确定所述至少一个预定位置，并且将所述至少一个预定位置提供给生成所述图像的行图像信息的装置。

至少一个实施例中，上述位置确定单元，可以包括：

替换模块，配置为用校验信息替换标准图像的行数据中的至少一个候选位置处的数据，以生成所述标准图像的行图像信息；

图像质量验证模块，配置为验证所述标准图像的图像质量是否满足预定的图像质量要求；

第一确定模块，配置为在所述标准图像的图像质量满足预定的图像质量要求时，确定所述至少一个候选位置为所述至少一个预定位置；以及

调整模块，配置为在所述标准图像的图像质量不满足预定的图像质量要求时，调整所述至少一个候选位置。

至少一些实施例中，错误行确定单元132，可以包括：校验模块，配置为基于预定校验算法，校验每个所述行图像信息中的校验信息是否合法；以及，第二确定模块，配置为在所述校验模块校验的结果是校验信息不合法时，确定所述行图像信息对应的行图像为错误行。

至少一些实施例中，图像确定单元133中可以包括帧图像子单元，配置为确定图像帧的有效性。至少一个实施例中，该帧图像子单元可配置为在当前帧图像中包含错误行时，基于先前帧图像中目标的特征预测当前帧图像是否包含所述目标的特征；检测当前帧图像中是否包含所述目标的特征；以及，当预测当前帧图像包含所述目标的特征且当前帧图像中没有检测到所述目标的特征时，确定当前帧图像为无效图像帧。

至少一些实施例中，图像确定单元133中还可以包括持续图像子单元，配置为确定持续图像的有效性。至少一个实施例中，该持续图像子单元可配置为确定所述目标从出现到消失的持续图像中无效图像帧的占比；判断所述无效图像帧的占比是否达到预定阈值；以及，在所述无效图像帧的占比达到所述预定阈值时，确定所述持续图像无效。

本申请实施例中，示例性装置130通过含有校验信息的行图像信息来确认图像的有效性，校验信息叠加在图像中且每行图像都具有校验信息，这样，示例性装置130在接收到一行图像时即可基于其中的校验信息确认该行图像是否错误，在接收到一幅图像时(甚至在图像传输的过程中)即可迅速、高效且准确地确认该图像的有效性，从而高效且可靠地提升硬件基于图像的有效信息做出正确决策的速度，进而在不增加系统复杂度、冗余度、硬件成本的同时可减小延迟，提升相关应用(例如，智能驾驶)的功能安全等级，以满足实际应用的需求。

示例性电子设备

图14示出了本申请实施例中示例性电子设备140的结构。

如图14所示，本申请的电子设备140可以包括：一个或多个处理器141和用于存储所述处理器可执行指令的存储器142，处理器141用于执行上文“示例性方法”中所述检测图像有效性的方法的步骤。

处理器141可以是CPU、GPU等支持图像处理的处理器，或者具有图像处理能力的其他形式的处理单元，并且可以控制电子设备140中的其他组件以执行期望的功能。

存储器142可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器141可以运行所述程序指令，以实现上文所述的本申请的各个实施例的检测图像有效性的方法以及/或者其他期望的功能。

一个示例中，电子设备140还可以包括：输入装置143和输出装置144，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。该输入装置143还可以包括例如键盘、鼠标等等。该输出装置144可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

一个示例中，电子设备140还可以包括：图像传输器件145(例如，解串器或以太网传输接口等)、图像信号处理器件(ISP)146等。

当然，为了简化，图14中仅示出了该电子设备140中的部分组件，省略了诸如输入/输出接口等的组件。除此之外，根据具体应用情况，电子设备140还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的检测图像有效性的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的检测图像有效性的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种检测图像有效性的方法，包括：

接收图像的行图像信息，所述行图像信息中含有校验信息；

根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

根据所述图像中的错误行，确定所述图像的有效性。

2.根据权利要求1所述的方法，其中，所述行图像信息还包括所述图像的行数据，所述校验信息位于所述行数据之前或之后，或者所述校验信息通过替换所述行数据中的至少一个预定位置处的数据而嵌入在所述行数据中。

3.根据权利要求2所述的方法，还包括：

确定所述至少一个预定位置，并且将所述至少一个预定位置提供给生成所述图像的行图像信息的装置。

4.根据权利要求3所述的方法，其中，确定所述至少一个预定位置，包括：

用校验信息替换标准图像的行数据中的至少一个候选位置处的数据，以生成所述标准图像的行图像信息；

验证所述标准图像的图像质量是否满足预定的图像质量要求；

在所述标准图像的图像质量满足预定的图像质量要求时，确定所述至少一个候选位置为所述至少一个预定位置；以及

在所述标准图像的图像质量不满足预定的图像质量要求时，调整所述至少一个候选位置。

5.根据权利要求1所述的方法，其中，根据所述行图像信息中的校验信息，确定所述图像中的错误行，包括：

基于预定校验算法，校验每个所述行图像信息中的校验信息是否合法；以及

在校验信息不合法时，确定所述行图像信息对应的行图像为错误行。

6.根据权利要求1所述的方法，其中，根据所述图像中的错误行，确定所述图像的有效性，包括：

在当前帧图像中包含错误行时，基于先前帧图像中目标的特征预测当前帧图像是否包含所述目标的特征；

检测当前帧图像中是否包含所述目标的特征；以及

当预测当前帧图像包含所述目标的特征且当前帧图像中没有检测到所述目标的特征时，确定当前帧图像为无效图像帧。

7.根据权利要求6所述的方法，其中，根据所述图像中的错误行，确定所述图像的有效性，还包括：

确定所述目标从出现到消失的持续图像中无效图像帧的占比；

判断所述无效图像帧的占比是否达到预定阈值；

在所述无效图像帧的占比达到所述预定阈值时，确定所述持续图像无效。

8.一种电子设备，包括：

一个或多个处理器；以及

存储器，存储有计算机指令，所述计算机指令在被所述处理器运行时使所述处理器执行根据权利要求1至7中任一项所述的方法。

9.一种检测图像有效性的装置，包括：

接收单元，配置为接收图像的行图像信息，所述行图像信息中含有校验信息；

错误行确定单元，配置为根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

图像确定单元，配置为根据所述图像中的错误行，确定所述图像的有效性。

10.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至7中任一项所述检测图像有效性的方法。

Images