CN110503644B - 基于移动平台的缺陷检测实现方法、缺陷检测方法及相关设备 - Google Patents

Abstract

本申请提供的一种基于移动平台的缺陷检测实现方法、缺陷检测方法及相关设备，其中实现方法包括：获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型；通过交叉编译，将第一缺陷检测算法模型编译为与目标移动平台对应的第二缺陷检测算法模型；将第二缺陷检测算法模型移植到目标移动平台，以便于目标移动平台调用第二缺陷检测算法模型中的函数接口用于进行缺陷检测。基于本申请提供的方法，通过在移动平台上实现PC平台的缺陷检测，并通过移动平台设备轻便的特点，解决了现有的缺陷检测系统设备占地空间大，难以做到灵活部署的技术问题。

Description

基于移动平台的缺陷检测实现方法、缺陷检测方法及相关 设备

技术领域

本申请涉及深度学习技术领域，尤其涉及一种基于移动平台的缺陷检测实现方法及缺陷检测系统。

背景技术

产品缺陷检测是制造业的重要环节之一，随着信息化的快速发展，产品缺陷检测从原来的人工检测发展到了如今的机器检测，使得如今的制造业的制造水平也得到更进一步地发展。

现有的缺陷检测系统通常为基于深度学习缺陷检测系统，但是，目前的缺陷检测系统都是基于PC端架构的，在实际应用中PC架构的缺陷检测系统设备占地空间大，且部署完成后难以再次改变部署位置，无法做到灵活部署。

发明内容

本申请提供了一种基于移动平台的缺陷检测实现方法、缺陷检测方法及相关设备，用于解决现有的缺陷检测系统设备占地空间大，难以做到灵活部署的技术问题。

有鉴于此，本申请第一方面提供了一种基于移动平台的缺陷检测实现方法，包括：

获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将所述初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，其中，所述预置目标框架具体为目标移动平台支持的深度学习框架；

通过交叉编译，将所述第一缺陷检测算法模型编译为与所述目标移动平台对应的第二缺陷检测算法模型；

将所述第二缺陷检测算法模型移植到所述目标移动平台，以便于所述目标移动平台调用所述第二缺陷检测算法模型中的函数接口用于进行缺陷检测。

可选地，所述预置目标框架具体包括：TVM框架和NCNN框架。

可选地，所述方法还包括：

获取第三缺陷检测算法模型，并将所述第三缺陷检测算法模型转换为与所述目标框架对应的第四缺陷检测算法模型，所述第三缺陷检测算法模型为所述初始缺陷检测算法模型更新后得到的缺陷检测算法模型；

通过交叉编译，将所述第四缺陷检测算法模型编译为与所述目标移动平台对应的第五缺陷检测算法模型；

将存储在所述目标移动平台中的所述第二缺陷检测算法模型替换为所述第五缺陷检测算法模型。

本申请第二方面提供了一种缺陷检测方法，应用于通过本申请第一方面所述的方法得到移动设备，包括：

通过所述移动设备的摄像头，获取检测物的检测图像；

通过存储在所述移动设备中的缺陷检测算法模型对所述检测图像进行图像分析，以获取检测结果，所述检测结果包括：缺陷类型、缺陷坐标以及缺陷分值；

通过移动设备的显示屏，显示所述检测结果。

本申请第三方面提供了一种基于移动平台的缺陷检测实现装置，包括：

PC端算法模型获取单元，用于获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将所述初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，其中，所述预置目标框架具体为目标移动平台支持的深度学习框架；

交叉编译单元，用于通过交叉编译，将所述第一缺陷检测算法模型编译为与所述目标移动平台对应的第二缺陷检测算法模型；

算法模型移植单元，用于将所述第二缺陷检测算法模型移植到所述目标移动平台，以便于所述目标移动平台调用所述第二缺陷检测算法模型中的函数接口用于进行缺陷检测。

可选地，所述预置目标框架具体包括：TVM框架和NCNN框架。

可选地，所述装置还包括：

算法模型更新单元，用于获取第三缺陷检测算法模型，并将所述第三缺陷检测算法模型转换为与所述目标框架对应的第四缺陷检测算法模型，所述第三缺陷检测算法模型为所述初始缺陷检测算法模型更新后得到的缺陷检测算法模型；通过交叉编译，将所述第四缺陷检测算法模型编译为与所述目标移动平台对应的第五缺陷检测算法模型；将存储在所述目标移动平台中的所述第二缺陷检测算法模型替换为所述第五缺陷检测算法模型。

本申请第四方面提供了一种移动设备，包括：

摄像头单元，用于获取检测物的检测图像；

缺陷检测单元，用于通过存储在所述移动设备中的缺陷检测算法模型对所述检测图像进行图像分析，以获取检测结果，所述检测结果包括：缺陷类型、缺陷坐标以及缺陷分值；

显示屏单元，用于显示所述检测结果。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的一种基于移动平台的缺陷检测实现方法，包括：获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，其中，预置目标框架具体为目标移动平台支持的深度学习框架；通过交叉编译，将第一缺陷检测算法模型编译为与目标移动平台对应的第二缺陷检测算法模型；将第二缺陷检测算法模型移植到目标移动平台，以便于目标移动平台调用第二缺陷检测算法模型中的函数接口用于进行缺陷检测。

基于本申请提供的方法，通过将原本基于PC架构的缺陷检测系统得深度学习框架编译成移动端所支持的深度学习框架，通过在移动平台上实现PC平台的缺陷检测，并通过移动平台设备轻便的特点，解决了现有的缺陷检测系统设备占地空间大，难以做到灵活部署的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的一种基于移动平台的缺陷检测实现方法的第一个实施例的流程示意图；

图2为本申请提供的一种基于移动平台的缺陷检测实现方法的第二个实施例的流程示意图；

图3为本申请提供的一种缺陷检测方法的流程示意图；

图4为本申请提供的一种基于移动平台的缺陷检测实现装置的结构示意图；

图5为本申请提供的一种移动终端的结构示意图；

图6为本申请提供的一种基于移动平台的缺陷检测实现方法的交叉编译示意图。

具体实施方式

本申请实施例提供了一种基于移动平台的缺陷检测实现方法、缺陷检测方法及相关设备，用于解决现有的缺陷检测系统设备占地空间大，难以做到灵活部署的技术问题。

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参阅图1和图6，本申请实施例提供了一种基于移动平台的缺陷检测实现方法，包括：

步骤101、获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型。

其中，目标框架具体为目标移动平台支持的深度学习框架。

需要说明的是，在实施本申请的实施例时，可以先获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，然后基于这个第一缺陷检测算法模型执行后续步骤。

步骤102、通过交叉编译，将第一缺陷检测算法模型编译为与目标移动平台对应的第二缺陷检测算法模型。

需要说明的是，基于在步骤101中获取到的第一缺陷检测算法模型，通过交叉编译，将第一缺陷检测算法模型编译为与目标移动平台对应的第二缺陷检测算法模型。

由于PC端的缺陷识别系统不管是windows还是linux运用的c++或者python语言都无法直接移植到以java语言为基础的Android移动端运行。故需要运用交叉编译的技术，将这些算法打包编译成Android端可运行的动态库。首先是将算法依赖的深度学习框架Target版本(针对移动端)如TVM或者NCNN和图像处理基础的OPENCV打包成动态库，以.so的形式放入Android端供缺陷系统调用。编译过程需要针对移动端的具体设备来调整我们编译的目标框架，假设目标平台为RK3399的ARM板子，其CPU就是属于armeabi-v7a，故编译时需在Android.mk配置项目中设定目标平台为armeabi-v7a。交叉编译的流程优选采用的是NDK(Native Develop Kit)交叉编译工具，NDK就是Google为了提供给开发者一个在Java中调用C/C++代码的一个工作。NDK本身其实就是一个交叉工作链，包含了Android上的一些库文件，然后一般情况，是用NDK工具把C/C++编译为.so文件，然后在Java中调用。编译流程在linux上进行，因为虽然Android开发语言是Java，不过Android是基于Linux的。配置好NDK环境后，用Android.mk和Application.mk来配置需要的主程序、头文件以及需要依赖的框架动态库(如TVM、NCNN、OPENCV)。最终在生成的libs文件夹中提取到编译好的算法模块供之后在Android端调用。

更进一步地，本实施例的预置目标框架可以采用TVM、NCNN或OPENCV，但出于执行效果的考虑可以优先选择NCNN框架或TVM框架，运用这些框架能够更好地针对移动端的深度学习运用进行针对性优化，提高其性能调用达到提高速度，使深度学习网络在移动设备上的运行效果不输于在PC端上运行的效果

步骤103、将第二缺陷检测算法模型移植到目标移动平台。

接着，将通过步骤102获取到的第二缺陷检测算法模型移植到目标移动平台，以便于目标移动平台可以通过调用第二缺陷检测算法模型中的函数接口用于进行缺陷检测。

以上为本申请提供的一种基于移动平台的缺陷检测实现方法的第一个实施例的详细说明，下面为本申请提供的一种基于移动平台的缺陷检测实现方法的第二个实施例的详细说明。

请参阅图2和图6，本申请第一个实施例提供了一种基于移动平台的缺陷检测实现方法的基础上，还包括：

步骤104、获取第三缺陷检测算法模型，并将第三缺陷检测算法模型转换为与目标框架对应的第四缺陷检测算法模型，第三缺陷检测算法模型为初始缺陷检测算法模型更新后得到的缺陷检测算法模型；

步骤105、通过交叉编译，将第四缺陷检测算法模型编译为与目标移动平台对应的第五缺陷检测算法模型；

步骤106、将存储在目标移动平台中的第二缺陷检测算法模型替换为第五缺陷检测算法模型。

需要说明的是，当出现新的目标检测方法时，只需要用PC端框架训练出更新过的缺陷检测模型，即第三缺陷检测算法模型，将该第三缺陷检测算法模型转换为移动端的Target版本的模型，即第四缺陷检测算法模型，再通过交叉编译，将第四缺陷检测算法模型编译为与目标移动平台对应的第五缺陷检测算法模型，最后用第五缺陷检测算法模型替换原来的第二缺陷检测算法模型来完成缺陷检测系统的更新迭代。

本实施例基于上述提供的方法，通过将原本基于PC架构的缺陷检测系统得深度学习框架编译成移动端所支持的深度学习框架，通过在移动平台上实现PC平台的缺陷检测，并通过移动平台设备轻便的特点，解决了现有的缺陷检测系统设备占地空间大，难以做到灵活部署的技术问题。

以上为本申请提供的一种基于移动平台的缺陷检测实现方法的第二个实施例的详细说明，下面为本申请提供的一种缺陷检测方法的第一个实施例的详细说明。

请参阅图3、本申请实施例提供了一种缺陷检测方法，应用于通过本申请第一个或第二个实施例的方法得到移动设备，包括：

步骤201、通过移动设备的摄像头，获取检测物的检测图像；

步骤202、通过存储在移动设备中的缺陷检测算法模型对检测图像进行图像分析，以获取检测结果，检测结果包括：缺陷类型、缺陷坐标以及缺陷分值；

步骤203、通过移动设备的显示屏，显示检测结果。

需要说明的是，本实施例为基于通过实施例一和实施例二得到的移动设备进行的缺陷检测方法，包括：读取摄像头拍摄的图片；将其传输给已加载的检测模型；得到模型的输出结果，将其转换成图像中是否有缺陷的标志、缺陷BoundingBox(定位缺陷的矩形框)的坐标以及得分最高缺陷的种类及其得分；再将这些输出数据通过JNI(Java NativeInterface的缩写，它提供了实现Java和其他语言的通信(主要是C&C++)的方法)接口传输给Java应用层，以便通过移动设备的显示屏，显示检测结果。

以上为本申请提供的一种缺陷检测方法的第一个实施例的详细说明，下面为本申请提供的一种基于移动平台的缺陷检测实现装置的详细说明。

请参阅图4，本申请实施例提供了一种基于移动平台的缺陷检测实现装置，包括：

PC端算法模型获取单元301，用于获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，其中，目标框架具体为目标移动平台支持的深度学习框架；

交叉编译单元302，用于通过交叉编译，将第一缺陷检测算法模型编译为与目标移动平台对应的第二缺陷检测算法模型；

算法模型移植单元303，用于将第二缺陷检测算法模型移植到目标移动平台，以便于目标移动平台调用第二缺陷检测算法模型中的函数接口用于进行缺陷检测。

进一步地，预置目标框架具体包括：TVM框架和NCNN框架。

进一步地，装置还包括：

算法模型更新单元304，用于获取第三缺陷检测算法模型，并将第三缺陷检测算法模型转换为与目标框架对应的第四缺陷检测算法模型，第三缺陷检测算法模型为初始缺陷检测算法模型更新后得到的缺陷检测算法模型；通过交叉编译，将第四缺陷检测算法模型编译为与目标移动平台对应的第五缺陷检测算法模型；将存储在目标移动平台中的第二缺陷检测算法模型替换为第五缺陷检测算法模型。

此外，请参阅图5，本申请实施例提供了一种移动设备，包括：

摄像头单元401，用于获取检测物的检测图像；

缺陷检测单元402，用于通过存储在移动设备中的缺陷检测算法模型对检测图像进行图像分析，以获取检测结果，检测结果包括：缺陷类型、缺陷坐标以及缺陷分值；

显示屏单元403，用于显示检测结果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (4)

1.一种基于移动平台的缺陷检测实现方法，其特征在于，包括：

获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将所述初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，其中，所述目标框架具体为目标移动平台支持的深度学习框架；

通过交叉编译，将所述第一缺陷检测算法模型编译为与所述目标移动平台对应的第二缺陷检测算法模型，其中，所述目标移动平台为以java语言为基础的Android移动端平台；

将所述第二缺陷检测算法模型移植到所述目标移动平台，以便于所述目标移动平台调用所述第二缺陷检测算法模型中的函数接口用于进行缺陷检测；

所述目标框架具体包括：TVM框架和NCNN框架；

获取第三缺陷检测算法模型，并将所述第三缺陷检测算法模型转换为与所述目标框架对应的第四缺陷检测算法模型，所述第三缺陷检测算法模型为所述初始缺陷检测算法模型更新后得到的缺陷检测算法模型；

通过交叉编译，将所述第四缺陷检测算法模型编译为与所述目标移动平台对应的第五缺陷检测算法模型；

将存储在所述目标移动平台中的所述第二缺陷检测算法模型替换为所述第五缺陷检测算法模型。

2.一种缺陷检测方法，应用于通过权利要求1所述的方法得到移动设备，其特征在于，包括：

通过所述移动设备的摄像头，获取检测物的检测图像；

通过存储在所述移动设备中的缺陷检测算法模型对所述检测图像进行图像分析，以获取检测结果，所述检测结果包括：缺陷类型、缺陷坐标以及缺陷分值；

通过移动设备的显示屏，显示所述检测结果。

3.一种基于移动平台的缺陷检测实现装置，其特征在于，包括：

PC端算法模型获取单元，用于获取基于PC架构的深度学习框架构建的初始缺陷检测算法模型，并将所述初始缺陷检测算法模型转换为预置的目标框架对应的第一缺陷检测算法模型，其中，所述目标框架具体为目标移动平台支持的深度学习框架；

交叉编译单元，用于通过交叉编译，将所述第一缺陷检测算法模型编译为与所述目标移动平台对应的第二缺陷检测算法模型，其中，所述目标移动平台为以java语言为基础的Android移动端平台；

算法模型移植单元，用于将所述第二缺陷检测算法模型移植到所述目标移动平台，以便于所述目标移动平台调用所述第二缺陷检测算法模型中的函数接口用于进行缺陷检测；

所述目标框架具体包括：TVM框架和NCNN框架；

所述装置还包括：

算法模型更新单元，用于获取第三缺陷检测算法模型，并将所述第三缺陷检测算法模型转换为与所述目标框架对应的第四缺陷检测算法模型，所述第三缺陷检测算法模型为所述初始缺陷检测算法模型更新后得到的缺陷检测算法模型；通过交叉编译，将所述第四缺陷检测算法模型编译为与所述目标移动平台对应的第五缺陷检测算法模型；将存储在所述目标移动平台中的所述第二缺陷检测算法模型替换为所述第五缺陷检测算法模型。

4.一种移动设备，用于实现如权利要求2所述的一种缺陷检测方法，其特征在于，包括：

摄像头单元，用于获取检测物的检测图像；

缺陷检测单元，用于通过存储在所述移动设备中的缺陷检测算法模型对所述检测图像进行图像分析，以获取检测结果，所述检测结果包括：缺陷类型、缺陷坐标以及缺陷分值；

显示屏单元，用于显示所述检测结果。