CN114125429A - 图像检测装置、无人驾驶系统以及无人驾驶车辆 - Google Patents

Abstract

本申请公开了图像检测装置、无人驾驶系统以及无人驾驶车辆。该图像检测装置基于FPGA的逻辑资源实现，图像检测装置包括：第一接口传输电路，用于接收图像传感器输入的图像；图像处理电路，连接第一接口传输电路，用于对图像进行质量检测，以得到质量检测结果；第二接口传输电路，连接图像处理电路，用于将图像以及对应的质量检测结果发送给图像处理装置，以使图像处理装置基于质量检测结果对图像进行处理。通过上述方式，能够减少图像处理装置进行图像质量检测的操作，降低图像处理装置对图像处理的时间开销，减轻了图像处理装置的负荷，提高无人驾驶系统的实时性能。

Description

图像检测装置、无人驾驶系统以及无人驾驶车辆

技术领域

本申请涉及无人驾驶技术领域，特别涉及图像检测装置、无人驾驶系统以及无人驾驶车辆。

背景技术

在无人驾驶系统方面，需要各种图像采集器进行图像采集，以根据采集的图像得到相应的场景信息。但是在图像获取、编码、传输的过程中都可能受到干扰，使得图像质量下降，甚至可能导致图像信息的丢失。

相关技术中基于主控制设备如PC(Personal Computer，个人计算机)，实现的，体积大、成本高、功耗大，应用也因此受到了限制。

发明内容

为了解决上述问题，本申请提供图像检测装置、无人驾驶系统以及无人驾驶车辆，能够减少图像处理装置进行图像质量检测的操作，降低图像处理装置对图像处理的时间开销，减轻了图像处理装置的负荷，提高无人驾驶系统的实时性能。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像检测装置，该图像检测装置基于FPGA的逻辑资源实现，图像检测装置包括：第一接口传输电路，用于接收图像传感器输入的图像；图像处理电路，连接第一接口传输电路，用于对图像进行质量检测，以得到质量检测结果；第二接口传输电路，连接图像处理电路，用于将图像以及对应的质量检测结果发送给图像处理装置，以使图像处理装置基于质量检测结果对图像进行处理。

其中，第一接口传输电路包括：第一接口转换单元，用于接收图像传感器输入的图像，并对图像进行编码；解码单元，与第一接口转换单元连接，用于对编码后的图像进行解码；处理单元，与解码单元连接，用于对解码后的图像进行调度。

其中，第一接口传输电路还包括：缓存单元，与处理单元连接，用于存储处理单元调度的解码后的图像；以及响应处理单元的调度，向处理单元输出对应的图像。

其中，第一接口传输电路还包括：第二接口转换单元，与处理单元和存储器连接，用于将处理单元调度的图像进行接口协议转换，输入至存储器中。

其中，图像检测装置包括：读写控制电路，读写控制电路连接第一接口传输电路、存储器和图像处理电路，用于将第一接口传输电路接收的图像写入存储器中，以及从存储器中读取目标图像并发送至图像处理电路。

其中，图像处理电路包括：图像调度单元，与第一接口传输电路连接，用于基于调度指令获取目标图像；图像处理单元，与图像调度单元连接，用于对目标图像进行质量检测，以得到质量检测结果。

其中，图像调度单元包括：解析单元，用于接收调度指令，并对调度指令进行解析；调度单元，与解析单元连接，用于接收解析后的调度指令，基于调度指令获取目标图像。

其中，第二接口传输电路为PCIE接口，第一接口传输电路为MIPI接口。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种无人驾驶系统，该无人驾驶系统包括：图像传感器，用于采集图像；图像检测装置，连接图像传感器，用于对图像进行质量检测，以得到质量检测结果；其中，图像检测装置是如上述技术方案提供的图像检测装置；图像处理装置，连接图像检测装置，用于根据对应的质量检测结果对图像进行处理以得到处理结果，并根据处理结果对车辆进行相应的控制。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种无人驾驶车辆，该无人驾驶车辆包括如上述技术方案提供的无人驾驶系统。

本申请实施例的有益效果是：区别于现有技术，本申请提供的图像检测装置，该图像检测装置基于FPGA的逻辑资源实现，图像检测装置包括：第一接口传输电路，用于接收图像传感器输入的图像；图像处理电路，连接第一接口传输电路，用于对图像进行质量检测，以得到质量检测结果；第二接口传输电路，连接图像处理电路，用于将图像以及对应的质量检测结果发送给图像处理装置，以使图像处理装置基于质量检测结果对图像进行处理。通过上述方式，利用基于FPGA的逻辑资源实现的图像检测装置对图像传感器输入的图像进行质量检测，做到在图像传感器的汇聚处就保证图像的质量，减少图像处理装置进行图像质量检测的操作，降低图像处理装置对图像处理的时间开销，减轻了图像处理装置的负荷，提高无人驾驶系统的实时性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的图像检测装置第一实施例的结构示意图；

图2是本申请提供的图像处理电路的工作流程示意图；

图3是本申请提供的第一接口传输电路一实施例的结构示意图；

图4是本申请提供的第一接口传输电路另一实施例的结构示意图；

图5是本申请提供的第一接口传输电路另一实施例的结构示意图；

图6是本申请提供的图像检测装置第二实施例的结构示意图；

图7是本申请提供的图像处理电路一实施例的结构示意图；

图8是本申请提供的图像调度单元一实施例的结构示意图；

图9是本申请提供的无人驾驶系统一实施例的结构示意图；

图10是本申请提供的无人驾驶车辆一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1是本申请提供的图像检测装置第一实施例的结构示意图。该图像检测装置基于FPGA的逻辑资源实现。该图像检测装置100包括：第一接口传输电路10、图像处理电路20和第二接口传输电路30。

其中，第一接口传输电路10用于接收图像传感器输入的图像。

第一接口传输电路10可以具有多个接口单元，每一接口单元被配置为与一图像传感器连接，以接收图像传感器输入的图像。

图像处理电路20连接第一接口传输电路10，用于对图像进行质量检测，以得到质量检测结果。

图像传感器由于各种原因，可能造成图像传感器输入的图像有问题，如遮挡、起雾、图像传感器硬件问题等造成图像质量问题。因此，需要对图像传感器采集的图像进行质量检测。

如，利用图像处理电路20构造一个深度学习模型，利用深度学习模型对图像进行质量检测，以得到质量检测结果。

在一应用场景中，参阅图2，对图像处理电路20的质量检测流程进行说明：

将图像输入至图像处理电路20，图像处理电路20利用其构造的深度学习模型进行处理，输出该图像对应的置信度。根据置信度确定质量检测结果。其中，若置信度小于预设值，则认为该图像质量不满足要求，得到对应的质量检测结果。若置信度大于或等于预设值，则认为该图像质量满足要求，得到对应的质量检测结果。在一些实施例中，可以对质量结果进行编号，如，用1表示图像质量满足要求，0表示图像质量不满足要求。

其中，深度学习模型是基于训练样本预先训练的。

第二接口传输电路30连接图像处理电路20，用于将图像以及对应的质量检测结果发送给图像处理装置，以使图像处理装置基于质量检测结果对图像进行处理。

图像处理装置在质量检测结果为图像质量不满足要求时，可以直接删除该图像。

图像处理装置在质量检测结果为图像质量满足要求时，可以对该图像进行识别，以识别出图像中的对象。如图像中的树木、行人、建筑等。其中，图像处理装置在对图像进行处理时，可以采用图像分割图像识别的方式，对图像中的对象进行处理。

在本实施例中，通过利用基于FPGA的逻辑资源实现的图像检测装置100对图像传感器输入的图像进行质量检测，做到在图像传感器的汇聚处就保证图像的质量，减少图像处理装置进行图像质量检测的操作，降低图像处理装置对图像处理的时间开销，减轻了图像处理装置的负荷。

参阅图3，第一接口传输电路10包括：第一接口转换单元11、解码单元12和处理单元13。

其中，第一接口转换单元11用于接收图像传感器输入的图像，并对图像进行编码。

图像传感器和图像检测装置100的数据格式存在不同，则需要利用第一接口转换单元按照预设格式对输入的图像进行编码。如将图像转换为8bit数据。

解码单元12与第一接口转换单元11连接，用于对编码后的图像进行解码。

处理单元13与解码单元12连接，用于对解码后的图像进行调度。如，第一接口转换单元11具有多个接口，则可以连接多个图像传感器，则存在同时输入多个图像，则处理单元13可以对多个图像进行调度。

参阅图4，第一接口传输电路10包括：第一接口转换单元11、解码单元12、处理单元13和缓存单元14。其中，缓存单元14与处理单元13连接，用于存储处理单元13调度的解码后的图像；以及响应处理单元13的调度，向处理单元输出对应的图像。

在一些实施例中，缓存单元14可以是FIFO(First Input First Output，先进先出)存储器，或者静态随机存取存储器。

如，第一接口转换单元11具有多个接口，则可以连接多个图像传感器，则存在同时输入多个图像，则利用缓存单元14将多个图像进行缓存，提升图像处理效率。通过缓存单元14缓存图像，能够使第一接口转换单元11和处理单元13独立工作，提升图像处理效率。

参阅图5，第一接口传输电路10包括：第一接口转换单元11、解码单元12、处理单元13、缓存单元14和第二接口转换单元15。

其中，第二接口转换单元15与处理单元13和存储器40连接，用于将处理单元13调度的图像进行接口协议转换，输入至存储器40中。

存储器40可以是DDR内存，也可以是其他类型的存储器，如DRAM、MRAM等。

参阅图6，图6是本申请提供的图像检测装置第二实施例的结构示意。该图像检测装置100包括：第一接口电路10、图像处理电路20、第二接口传输电路30和读写控制电路50。

读写控制电路50连接第一接口传输电路10、存储器40和图像处理电路20，用于将第一接口传输电路10接收的图像写入存储器40中，以及从存储器40中读取目标图像并发送至图像处理电路20。

图像处理电路20能够根据具体需要控制读写控制电路50，使读写控制电路50从存储器40中读取目标图像。

参阅图7，图像处理电路20包括图像调度单元21和图像处理单元22。其中，图像调度单元21与第一接口传输电路10连接，用于基于调度指令获取目标图像。图像处理单元22与图像调度单元21连接，用于对目标图像进行质量检测，以得到质量检测结果。

图像调度单元21能够接收外部信号，基于外部信号控制读写控制电路50，使读写控制电路50从存储器40中读取目标图像。

如，图像调度单元21可以控制读写控制电路50按照顺序。等间隔时间的方式从存储器40中读取目标图像。

图像处理单元22则可以按照上述实施例中质量检测方式，对目标图像进行质量检测，以得到质量检测结果。

参阅图8，图像调度单元21包括：解析单元211和调度单元212。

解析单元211用于接收调度指令，并对调度指令进行解析。

调度单元212与解析单元211连接，用于接收解析后的调度指令，基于调度指令获取目标图像。

在上述任一实施例中，第二接口传输电路30为PCIE(peripheral componentinterconnect express，高速串行计算机扩展总线标准)接口，第一接口传输电路10为MIPI(Mobile Industry Processor Interface，移动产业处理器接口)。其中，第一接口传输电路10为MIPI接口时，上述实施例中的第一接口转换单元11为MIPI Phy，如可以是C-Phy，M-Phy或D-Phy。解码单元12则利用MIPI CSI协议解码。

参阅图9，图9是本申请提供的无人驾驶系统一实施例的结构示意图。该无人驾驶系统1000包括：图像检测装置100、图像传感器200和图像处理装置300。

其中，图像传感器200用于采集图像。在本实施例中，图像传感器200的数量可以是多个，设置于无人驾驶车辆的相应部位。

图像检测装置100连接图像传感器200用于对图像进行质量检测，以得到质量检测结果；其中，图像检测装置100可以是如上述任一实施例中的图像检测装置100。

图像处理装置300连接图像检测装置100，用于根据对应的质量检测结果对图像进行处理以得到处理结果，并根据处理结果对车辆进行相应的控制。

在本实施例中，通过利用基于FPGA的逻辑资源实现的图像检测装置100对图像传感器200输入的图像进行质量检测，做到在图像传感器200的汇聚处就保证图像的质量，减少图像处理装置300进行图像质量检测的操作，降低图像处理装置300对图像处理的时间开销，减轻了图像处理装置的负荷，提高无人驾驶系统1000的实时性能。

参阅图10，图10是本申请提供的无人驾驶车辆一实施例的结构示意图。该无人驾驶车辆2000包括无人驾驶系统1000。该无人驾驶系统1000如上述任一实施例的无人驾驶系统1000。

在本实施例中，通过利用基于FPGA的逻辑资源实现的图像检测装置100对图像传感器200输入的图像进行质量检测，做到在图像传感器200的汇聚处就保证图像的质量，减少图像处理装置300进行图像质量检测的操作，降低图像处理装置300对图像处理的时间开销，减轻了图像处理装置的负荷，提高无人驾驶系统1000的实时性能。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述电路或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像检测装置，其特征在于，所述图像检测装置基于FPGA的逻辑资源实现，所述图像检测装置包括：

第一接口传输电路，用于接收图像传感器输入的图像；

图像处理电路，连接所述第一接口传输电路，用于对所述图像进行质量检测，以得到质量检测结果；

第二接口传输电路，连接所述图像处理电路，用于将所述图像以及对应的所述质量检测结果发送给图像处理装置，以使所述图像处理装置基于所述质量检测结果对所述图像进行处理。

2.根据权利要求1所述的图像检测装置，其特征在于，所述第一接口传输电路包括：

第一接口转换单元，用于接收所述图像传感器输入的所述图像，并对所述图像进行编码；

解码单元，与所述第一接口转换单元连接，用于对编码后的所述图像进行解码；

处理单元，与所述解码单元连接，用于对解码后的图像进行调度。

3.根据权利要求2所述的图像检测装置，其特征在于，所述第一接口传输电路还包括：

缓存单元，与所述处理单元连接，用于存储所述处理单元调度的解码后的图像；以及响应所述处理单元的调度，向所述处理单元输出对应的所述图像。

4.根据权利要求2所述的图像检测装置，其特征在于，所述第一接口传输电路还包括：

第二接口转换单元，与所述处理单元和存储器连接，用于将处理单元调度的图像进行接口协议转换，输入至所述存储器中。

5.根据权利要求1所述的图像检测装置，其特征在于，所述图像检测装置包括：

读写控制电路，所述读写控制电路连接所述第一接口传输电路、存储器和所述图像处理电路，用于将所述第一接口传输电路接收的所述图像写入所述存储器中，以及从所述存储器中读取目标图像并发送至所述图像处理电路。

6.根据权利要求1所述的图像检测装置，其特征在于，所述图像处理电路包括：

图像调度单元，与所述第一接口传输电路连接，用于基于调度指令获取目标图像；

图像处理单元，与所述图像调度单元连接，用于对所述目标图像进行质量检测，以得到质量检测结果。

7.根据权利要求6所述的图像检测装置，其特征在于，所述图像调度单元包括：

解析单元，用于接收所述调度指令，并对所述调度指令进行解析；

调度单元，与所述解析单元连接，用于接收解析后的所述调度指令，基于所述调度指令获取所述目标图像。

8.根据权利要求1所述的图像检测装置，其特征在于，所述第二接口传输电路为PCIE接口，所述第一接口传输电路为MIPI接口。

9.一种无人驾驶系统，其特征在于，所述无人驾驶系统包括：

图像传感器，用于采集图像；

图像检测装置，连接所述图像传感器，用于对所述图像进行质量检测，以得到质量检测结果；其中，所述图像检测装置是如权利要求1-8任一项所述的图像检测装置；

图像处理装置，连接所述图像检测装置，用于根据对应的质量检测结果对所述图像进行处理以得到处理结果，并根据所述处理结果对车辆进行相应的控制。

10.一种无人驾驶车辆，其特征在于，所述无人驾驶车辆包括如权利要求9所述的无人驾驶系统。

Images