CN113901934A - 一种大输液包装产品的智能视觉检测方法、系统及装置 - Google Patents

Abstract

本说明书实施例提供一种大输液包装产品的智能视觉检测方法，包括：获取图像采集设备得到的待检测图像；基于识别模型确认待检测图像中是否存在待检测目标，以及提取待检测目标图像；所述待检测目标为大输液产品；基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。可以实现自动识别产品是否合格。

Description

一种大输液包装产品的智能视觉检测方法、系统及装置

技术领域

本说明书涉及图像识别技术领域，特别涉及一种大输液包装产品的智能视觉检测方法、系统及装置和存储介质。

背景技术

大容量注射液俗称大输液(Large Volume Parenteral，LVP)，通常是指容量大于等于50ml并直接由静脉滴注输入体内的液体灭菌制剂，按其临床用途，大输液大致可分为5类:体液平衡用输液、营养用输液、血容量扩张用输液、治疗用药物输液和透析造影类。

从临床应用以来，输液产品包装容器经历了3代变化，在我国输液市场上存在的包材主要有玻瓶、塑瓶、非PVC软袋和直立式软袋四种形式。非PVC软袋输液包装技术安全、有效，符合药用和环保要求，是大输液包装技术主要发展方向。医疗设备制造企业中，需要对生产的输液产品包装容器进行质检，以便筛选出不合格产品。

因此，需要一种更加快捷、高效且准确的大输液包装产品的检测方法。

发明内容

本说明书实施例之一提供一种大输液包装产品的智能视觉检测方法，包括：获取图像采集设备得到的待检测图像；基于识别模型确认待检测图像中是否存在待检测目标，以及提取待检测目标图像；所述待检测目标为大输液产品；基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。

本说明书实施例之一提供一种大输液包装产品的智能视觉检测系统，包括：获取模块，用于获取图像采集设备得到的待检测图像；识别模块，用于基于识别模型确认待检测图像中是否存在待检测目标，以及提取待检测目标图像；所述待检测目标为大输液产品；检测模块，用于基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。

本说明书实施例之一提供一种大输液包装产品的智能视觉检测装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述装置实现所述大输液包装产品的智能视觉检测方法对应的操作。

本说明书实施例之一提供一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行所述大输液包装产品的智能视觉检测方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的大输液包装产品的智能视觉检测系统的应用场景图；

图2是根据本说明书一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图；

图3是根据本说明书一些实施例所示的可以在其上实现一个或以上终端的示例性移动设备的示例性硬件和/或软件组件的示意图；

图4是根据本说明书一些实施例所示的大输液包装产品的智能视觉检测系统的模块构成示意图；

图5是根据本说明书一些实施例所示的大输液包装产品的智能视觉检测方法的示例性流程图；

图6是根据本说明书一些实施例所示的识别模型的训练的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的大输液包装产品的智能视觉检测系统的应用场景图100。如图1所示，大输液包装产品的智能视觉检测系统可以包括服务器110、图像采集设备120、终端设备130、网络140和存储设备150。

服务器110是指具有计算能力的系统，在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络140访问存储在用户终端130和/或存储设备150中的信息和/或数据。又例如，服务器110可以直接连接到用户终端130和/或存储设备150以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以在具有本申请中图2所示的一个或多个组件的计算设备200上实现。

在一些实施例中，服务器110可以包括处理引擎112。处理引擎112可以处理与大输液包装产品160的信息和/或数据。例如，处理引擎112可以对获取到的大输液包装产品的图像进行自动识别与判断，并得出该产品是否为合格产品的预估结果。在一些实施例中，处理引擎112可以包括一个或以上处理引擎(例如，单核处理引擎或多核处理器)。仅作为示例，处理引擎112可以包括一个或以上硬件处理器，例如中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任何组合。

图像采集设备120是指用于采集图像的装置。图像采集设备120可以是摄像机120-1、照相机120-2、摄像头120-3等中的任意一种或多种。在一些实施例中，图像采集设备120可以采集图片、视频等中的一种或多种。例如，图像采集设备120可以采集大输液包装产品160在生产线上的生产中的视频或照片。

在一些实施例中，用户终端130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3、台式计算机130-4等或其任意组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任何组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能配饰等或其任意组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、台式机等，或任何它们的组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleGlass^TM、RiftCon^TM、Fragments^TM、GearVR^TM等。

在一些实施例中，用户终端130可以是被配置为可采集大输液包装产品160的信息和/或数据的移动终端。用户终端130可以经由用户接口向处理引擎112或安装在用户终端130中的处理器发送和/或接收大输液包装产品160的信息和/或数据。例如，用户终端130可以经由用户接口将由安装在用户终端130捕获的大输液包装产品160的视频或图片发送到安装在用户终端130中的处理引擎112或处理器。用户界面可以是在用户终端130上实现的用于识别大输液包装产品160的应用程序的形式。在用户终端130上实现的用户界面可以促进用户与处理引擎112之间的通信。例如，用户可以经由用户界面输入和/或导入需要识别的图像数据。处理引擎112可以经由用户界面接收输入的图像数据。又例如，用户可以经由在用户终端130上实现的用户界面输入对大输液包装产品160进行识别的请求。在一些实施例中，响应于识别请求，用户终端130可以基于由安装在本申请中其他地方所述的用户终端130中的图像采集装置，经由用户终端130的处理器直接处理大输液包装产品160的图像数据。在一些实施例中，响应于识别请求，用户终端130可以将识别请求发送到处理引擎112，用于基于由图像采集设备120或安装在本申请的其他地方的图像采集装置来确定采集大输液包装产品160的图像数据。在一些实施例中，用户界面可以促进呈现或显示从处理引擎112接收的与大输液包装产品160识别有关的信息和/或数据。例如，信息和/或数据可以包括指示大输液包装产品160的识别结果等。在一些实施例中，信息和/或数据可以被进一步配置为使用户终端130向用户显示结果。

网络140可以促进信息和/或数据的交换。在一些实施例中，应用场景100中的一个或以上组件(例如，服务器110、用户终端130、存储设备150和图像采集设备120)可以将信息和/或数据通过网络140发送到应用场景100中的其他组件。例如，处理引擎112可以经由网络140向用户终端130发送识别结果。在一些实施例中，网络140可以是有线网络或无线网络等或其任意组合。仅作为示例，网络140可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、因特网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共电话交换网(PSTN)、Bluetooth TM网络、ZigBee网络、近场通信(NFC)网络或类似内容，或其任意组合。在一些实施例中，网络140可以包括一个或以上网络接入点。例如，网络140可以包括诸如基站和/或互联网交换点120-1、120-2，…之类的有线或无线网络接入点，应用场景100的一个或以上组件可以通过有线或无线网络接入点连接到网络140，以交换数据和/或信息。

存储设备150可以存储数据和/或指令。在一些实施例中，存储设备150可以存储从信息源150获得的数据。存储设备150可以存储处理引擎112可以执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备150可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，所述存储设备150可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备150可以连接到网络140以与应用场景100中的一个或以上组件(例如，服务器110、用户终端130)通信。应用场景100中的一个或多个组件可以经由网络140访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接到应用场景100中的一个或以上组件或与之通信(例如，服务器110、用户终端130)。在一些实施例中，存储设备150可以是服务器110的一部分。

大输液包装产品160是指用于实现大输液包装的产品，本申请中的大输液包装产品160主要是指聚丙烯(PP)输液袋，在实际应用中，也可以将本方案的原理应用于其他大输液包装(如玻璃瓶,塑料瓶,非聚氯乙烯(PVC)输液袋等)甚至其他产品的识别上。在一些实施例中，大输液包装产品160可以有多种不同的形式或设计(如160-1、160-2、160-3)，基于本方案可以实现不同设计的大输液包装产品160的智能识别与检测。

图2是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。

处理器210(例如，逻辑电路)可以执行计算机指令(例如，程序代码)并根据本文描述的技术执行处理引擎112的功能。在一些实施例中，处理器210可以被配置为处理与应用场景100的一个或以上组件有关的数据和/或信息。处理器210还可以将识别的信息或判定结果发送到服务器110。在一些实施例中，处理器210可以向相关联的用户终端130发送通知。

在一些实施例中，处理器210可以在其中包括接口电路210-a和处理电路210-b。接口电路可以被配置为从总线(图2中未示出)接收电信号，其中电信号对结构化数据和/或指令进行编码以供处理电路进行处理。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码成电信号。然后，接口电路可以经由总线从处理电路发送电信号。

计算机指令可以包括例如例程、程序、对象、组件、数据结构、过程、模块和功能，其执行本文描述的特定功能。例如，处理器210可以处理与从用户终端130、存储设备140和/或应用场景100的任何其他组件获得的大输液包装产品相关的信息。在一些实施例中，处理器210可以包括一个或以上硬件处理器、诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)，能够执行一个或以上功能的任何电路或处理器等，或其任意组合。

仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应注意，本申请中的计算设备200还可以包括多个处理器，因此，如本申请中所述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或分开地执行。例如，如果在本申请中，计算设备200的处理器同时执行步骤A和步骤B，则应当理解，步骤A和步骤B也可以由计算设备200中的两个或以上不同处理器联合或分别执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B)。

存储器220可以存储从用户终端130、存储设备150和/或应用场景100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量内存装置、可移动内存装置、易失性读写内存器、只读内存器(ROM)等或其任何组合。例如，大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储设备可以包括闪存内存、软盘、光盘、存储卡、zip磁盘、磁带等。易失性读写内存可以包括随机存取内存(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等。在一些实施例中，存储器220可以存储一个或以上程序和/或指令以执行本申请中描述的示例性方法。例如，存储器220可以存储用于处理引擎112的用于确定大输液包装产品的程序。

I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O230可以使用户能够与处理引擎112进行交互。在一些实施例中，I/O230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等、或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等，或其任意组合。

通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理引擎112与用户终端130、信息源150或存储设备140之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其他通信连接，和/或这些连接的任意组合。有线连接可以包括例如电缆、光缆、电话线等，或其任意组合。无线连接可以包括例如BluetoothTM链路、Wi-FiTM链路、WiMaxTM链路、WLAN链路、ZigBee链路、移动网络链路(例如，3G、4G、5G)等，或其任意组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，例如RS232、RS485等。

图3是根据本申请的一些实施例所示的可以在其上实现用户终端的示例性移动设备的示例性硬件和/或软件组件的示意图。在一些实施例中，图3所示的移动设备300可以由用户使用。用户可以是医药制造系统的管理人员、生产员工、质检人员或医疗采购监控人员等。

如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，可将移动操作系统370(例如，iOS TM、Android TM、WindowsPhone TM)和一个或以上应用380从存储器390加载到内存360中，以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理引擎112接收和渲染与图像处理有关的信息或其他信息。可以通过I/O350实现与信息流的用户交互，并通过网络120将其提供给处理引擎112和/或应用场景100的其他组件。

为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。

本领域普通技术人员将理解，当应用场景100的元件执行时，该元件可以通过电信号和/或电磁信号来执行。例如，当处理引擎112处理诸如做出确定或识别信息的任务时，处理引擎112可以操作其处理器中的逻辑电路来处理该任务。当处理引擎112向用户终端130发送数据(例如，目标大输液包装产品的当前预估信息)时，处理引擎112的处理器可以生成对数据进行编码的电信号。处理引擎112的处理器然后可以将电信号发送到输出端口。如果用户终端130通过有线网络与处理引擎112通信，则输出端口可以物理地连接至电缆，该电缆可以进一步将电信号传输至服务器110的输入端口。如果用户终端130通过无线网络与处理引擎112通信，则处理引擎112的输出端口可以是一个或以上天线，其可以将电信号转换为电磁信号。在诸如用户终端130和/或服务器110之类的电子设备中，当其处理器处理指令，发出指令和/或执行动作时，该指令和/或动作是通过电信号进行的。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以向存储介质的读/写设备发送电信号，该读/写设备可以在存储介质中读取或写入结构化数据。该结构数据可以通过电子设备的总线，以电信号的形式传输至处理器。在此，电信号可以指的是电信号、一系列电信号和/或一个或以上离散的电信号。

图4是根据本说明书一些实施例所示的大输液包装产品的智能视觉检测系统的模块图。系统200可以由服务器110(如处理设备120)实现。

如图4所示，系统200可以包括获取模块410和识别模块420、检测模块430及训练模块440。

获取模块410可以用于获取图像采集设备得到的待检测图像；在一些实施例中，获取模块410进一步用于基于以下步骤获得所述待检测图像：通过图像采集设备获取生产线上所述待检测目标的图像作为第一候选图像；对所述第一候选图像进行校正得到所述待检测图像。关于图像校正等说明参见说明书其他部分内容，此处不再赘述。

识别模块420可以用于基于识别模型确认待检测图像中是否存在待检测目标，以及提取待检测目标图像；在一些实施例中，所述待检测目标为大输液产品；在一些实施例中，待检测目标也可以更换为其他需要监控识别的产品，例如输液袋包装箱等。

检测模块430可以用于基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。

训练模块440可以用于训练所述识别模型，所述识别模型的训练包括第一训练过程和第二训练过程；应用于所述第一训练过程的第一训练样本包括变形度符合预设条件的图像；应用于所述第二训练过程的第二训练样本包括变形度与所述第一候选图像相接近的图像。关于训练的具体说明参见图6部分的相关内容。

应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，识别模块420、检测模块430可以整合在一个模块中。又例如，各个模块可以共用一个存储设备，各个模块也可以分别具有各自的存储设备。诸如此类的变形，均在本申请的保护范围之内。

图5是根据本说明书一些实施例所示的大输液包装产品的智能视觉检测方法的示例性流程图。如图5所示，流程500包括以下步骤。

步骤510，获取图像采集设备得到的待检测图像。在一些实施例中，步骤510可以由获取模块410执行。

待检测图像是指采集到的包含大输液包装产品160的视频或图片，在一些实施例中，获取模块410可以拍摄生产线上的视频，视频中包含多帧图像，视频中的图像中可以包含大输液包装产品160，通过抽取各帧图像即可获得大输液包装产品160的图像作为待检测图像。

步骤520，基于识别模型确认待检测图像中是否存在待检测目标，及提取待检测目标图像。在一些实施例中，步骤520可以由识别模块420执行。

在一些实施例中，识别模块420可以处理从摄像头和/或存储设备获得的数据和/或信息。在一些实施例中，识别模块420可以通过网络从获取模块410获取待检测图像，确定该待检测图像中的是否存在待检测目标。若存在待检测目标，识别模块420可以进一步提取待检测目标图像。例如，识别模块420通过对视频中的图像进行处理，确定图像中不包含待检测目标，则确定不存储图像，也不根据图像提取待检测目标图像。

在一些实施例中，识别模型可以通过多种方式确定待检测图像中的至少一个待检测目标。例如，识别模型可以从待检测图像确定背景图像，并基于背景图像确定该图像的前景图像，进一步基于前景图像确定所述至少一个待检测目标。

识别模型是指用于识别待检测图像中是否包括待检测目标的处理模块。

在一些实施例中，识别模型为机器学习模型。例如，卷积神经网络模型(CNN)，或者其他可以进行物体识别的模型。

识别模型的输入包括待检测图像。待检测图像可以是拍摄的生产线视频的视频帧也可以是拍摄的生产线图片。

在一些实施例中，识别模型的输入还可以包括待检测图像对应的待检测目标在其他帧中的识别结果、识别结果的置信度、待检测目标在不同帧之间的位置关系等信息。更多的特征有利于识别模型更有效地识别。例如，当一个待检测目标可能为产线上的大输液包装产品160时，如果其在不同帧间的移动速度过快，则该目标是大输液包装产品160的可能性就应该相对较低。

在一些实施例中，识别模型的输出包括对于待检测图像中待检测目标的分类结果。例如，分类结果可以是包含待检测目标或不包含待检测目标。

在一些实施例中，若待检测图像中包含待检测目标，识别模型还可以基于识别结果进一步输出待检测目标在图像中的位置信息，以便基于待检测目标的位置信息对图像进行剪裁，以提取待检测图像中的待检测目标图像。

在一些实施例中，识别模型的参数可以通过训练获得。训练模块可以基于训练样本训练初始识别模型，以得到识别模型。训练样本包括多个样本图像，样本图像可以包含待检测目标，也可以不包含待检测目标。样本图像可以包含一个待检测目标或多个待检测目标。当识别模型输出包括分类结果时，训练样本的标签为样本图像的待检测目标类型，若样本图像不包含对应类型时，则标签为“目标无法识别”。当识别模型输出还包括待检测目标位置信息时，训练样本的标签还可以包括样本图像中每个待检测目标分别对应的位置信息。

步骤530，基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。在一些实施例中，步骤530可以由检测模块430执行。

在一些实施例中，检测模型可以通过多种方式确定待检测目标图像中的至少一个目标框。例如，检测模型可以从所述待检测目标图像中确定目标框，并基于目标框的标准位置或图像内容确定目标框是否正确，并基于多个目标框的识别结果确定整个大输液包装产品160是否为合格产品。在一些实施例中，检测模型还可以输出识别框，识别框用于标识所述目标框中的目标。

目标框的是指图像中准备进行识别处理的区域。目标框可以是矩形，也可以是其他形状。在一帧图像中可以包括一个或者多个目标框。在一帧图像中也可以不包括目标框，这时可以跳过后续步骤不进行处理。

检测模型是指用于识别目标框中的内容或目标框的位置是否与预设内容或位置是否一致的处理模块。

在一些实施例中，检测模型为机器学习模型。例如，卷积神经网络模型(CNN)，或者其他可以进行物体识别的模型。

检测模型的输入包括待检测目标图像。待检测目标图像可以是图像在目标框中的部分，也可以是对这部分进行了额外处理后形成的。

在一些实施例中，检测模型的输入还可以包括目标框对应的内容或位置信息。

在一些实施例中，检测模型的输出包括对于目标框的识别结果，例如，内容与预设内容一致或不一致，目标框位置与预设位置一致或不一致等。

通过将大输液包装产品160的各个标识或印刷内容划分为多个目标框，并给予检测模型对目标框分别进行识别与检测，得到各个目标框的检测结果，并基于各个目标框的识别结果即可确定整个大输液包装产品160的质量。

图6所示为本说明书一些实施例所示的识别模型的训练的示例性流程图。

在一些实施例中，所述图像采集设备为鱼眼相机。

如图6所示，识别模型632的训练包括第一训练过程610和第二训练过程620，第一识别模型612经第一训练过程410的训练，得到第二识别模型622，第二识别模型622经第二训练过程620的训练，得到最终的识别模型632，识别模型632可以实现基于对图像信息631的处理，输出图像中对应的目标识别信息633。

在一些实施例中，第一训练过程610是指基于第一训练样本611训练第一识别模型612，以得到第二识别模型622的过程，经第一训练过程610的训练，可以完成第一识别模型612对无畸变或变形度较小的图像中的大输液包装产品特征的学习。

第一训练样本611是用于训练第一识别模型612的样本。在一些实施例中，第一训练样本611包含第一样本图片及第一标签，第一标签代表第一样本图片中的大输液包装产品识别信息。在一些实施例中，第一样本图片为变形度符合预设条件的图像。例如，第一样本图片可以是单目、多目相机所拍图片.

变形度是指图像的形变程度。例如，图像中物体的扭曲程度。又例如，图像中的伪影大小。在对产线上的大输液包装产品进行拍摄时，其获取到的图像一般都存在或多或少的变形。

在一些实施例中，变形度符合预设条件的图像是指变形度小于预设阈值(第一阈值)的图像。例如，图像扭曲程度在5度内的图像可以被认为是变形度符合预设条件的图像。

在一些实施例中，第二训练过程620是指基于第二训练样本621训练第二识别模型622，以得到识别模型632的过程。第二训练过程620可以完成第二识别模型622对经过校正分割处理的图像中的大输液包装产品特征的学习，例如，对经修正和分割处理后的鱼眼图像中的大输液包装产品特征的学习。

第二训练样本621是用于训练第一识别模型622的样本。在一些实施例中，第二训练样本621包含第二样本图片及第二标签，第二标签代表第二样本图片中的大输液包装产品识别信息；在一些实施例中，第二样本图片可以通过对第二训练图片进行修正处理获取。在一些实施例中，第二训练图片是指存在畸变的图像，例如，由鱼眼相机采集的图像。

在一些实施例中，第二样本图片可以通过对第二训练图片进行修正处理得到。例如，若采用的图像采集设备为鱼眼相机，则第二样本图片可以采用对鱼眼图像进行修正处理后得到，鱼眼图像可以直接通过拍摄获取也可以通过处理正常图像得到。第二标签可以采用人工标注获取或其他方式获取。

关于图像的修正可以采用现有技术中任何可行的图像修正技术实现。

将识别模型的训练分为两阶段，其中，两个训练过程中的训练样本分别采用几乎无畸变的图像以及对畸变进行修正处理后的图像，可以分别实现模型对标准场景下的大输液包装产品特征学习以及修正后图像中的大输液包装产品特征学习，且一方面可以减少训练中对于变形图像的需求，从而更容易获得足够的训练数据对模型进行训练，另一方面可以显著提升识别的准确度，同时还减少了模型计算耗时，降低了计算要求。

本说明书实施例还提供了一种大输液包装产品的智能视觉检测装置，包括处理器以及存储器；所述存储器用于存储计算机指令；所述处理器用于执行所述计算机指令中的至少部分指令以实现如前述的所述大输液包装产品的智能视觉检测对应的操作。

本说明书实施例还提供了一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如前述的所述大输液包装产品的智能视觉检测对应的操作。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种大输液包装产品的智能视觉检测方法，其特征在于，包括：

获取图像采集设备得到的待检测图像；

基于识别模型确认待检测图像中是否存在待检测目标，以及提取待检测目标图像；所述待检测目标为大输液产品；

基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。

2.根据权利要求1所述的一种大输液包装产品的智能视觉检测方法，其特征在于，所述获取图像采集设备得到的待检测图像包括：

通过图像采集设备获取生产线上所述待检测目标的图像作为第一候选图像；

对所述第一候选图像进行校正得到所述待检测图像。

3.根据权利要求2所述的一种大输液包装产品的智能视觉检测方法，其特征在于，所述识别模型的训练包括第一训练过程和第二训练过程；

应用于所述第一训练过程的第一训练样本包括变形度符合预设条件的图像；

应用于所述第二训练过程的第二训练样本包括变形度与所述第一候选图像相接近的图像。

4.根据权利要求1至3中任一所述的一种大输液包装产品的智能视觉检测方法，其特征在于，所述图像采集设备为鱼眼相机。

5.一种大输液包装产品的智能视觉检测系统，其特征在于，包括：

获取模块，用于获取图像采集设备得到的待检测图像；

识别模块，用于基于识别模型确认待检测图像中是否存在待检测目标，以及提取待检测目标图像；所述待检测目标为大输液产品；

检测模块，用于基于检测模型处理所述待检测目标图像，确认所述待检测目标图像中的待检测目标是否为合格产品并输出检测结果。

6.根据权利要求5所述的一种大输液包装产品的智能视觉检测系统，其特征在于，所述获取模块进一步用于基于以下步骤获得所述待检测图像：

通过图像采集设备获取生产线上所述待检测目标的图像作为第一候选图像；

对所述第一候选图像进行校正得到所述待检测图像。

7.根据权利要求6所述的一种大输液包装产品的智能视觉检测系统，其特征在于，还包括训练模块，所述训练模块用于训练所述识别模型，所述识别模型的训练包括第一训练过程和第二训练过程；

应用于所述第一训练过程的第一训练样本包括变形度符合预设条件的图像；

应用于所述第二训练过程的第二训练样本包括变形度与所述第一候选图像相接近的图像。

8.根据权利要求5-6中任一所述的一种大输液包装产品的智能视觉检测系统，其特征在于，所述图像采集设备为鱼眼相机。

9.一种大输液包装产品的智能视觉检测装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，其特征在于，所述指令被所述处理器执行时，导致所述装置实现如权利要求1至4中任一项所述大输液包装产品的智能视觉检测方法对应的操作。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如权利要求1至4中任意一项所述大输液包装产品的智能视觉检测方法。

Images