CN111914583B - 图形码的识别方法、装置以及设备 - Google Patents

Abstract

本申请提供一种图形码的识别方法、装置以及设备。该方法通过接收图像采集设备发送的图像数据，该图像数据中包含待识别的图形码，并根据从图像采集设备中获取的第一网络Web应用程序，对图像数据进行识别，该第一Web应用程序不需要在浏览器的内核中进行安装即可运行。实现了在终端设备中的浏览器不支持安装插件时，对图像数据中的图形码进行识别并得到图形码信息，使图形码的识别不受到终端设备条件的限制，提高了识别图形码的便利性。

Description

图形码的识别方法、装置以及设备

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种图形码的识别方法、装置以及设备。

背景技术

随着机器视觉领域的不断发展，尤其在工业领域，对图形码进行高效、准确的识别是行业内重要的应用。

目前，主要通过在终端设备中安装用于识别图形码的读码客户端，通过读码客户端对采集的图形码进行识别。

然而，未安装客户端的终端设备则无法对采集的图形码进行识别，使图形码的识别受到应用环境的限制。

发明内容

本申请提供一种图形码的识别方法、装置以及设备，能够对图形码进行准确、及时的识别。

第一方面，本申请实施例提供一种图形码的识别方法，应用于终端设备，所述终端设备中运行有浏览器，包括：

接收图像采集设备发送的图像数据，所述图像数据中包含待识别的图形码；

根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息；其中，所述第一Web应用程序是从所述图像采集设备中获取的，不安装于所述浏览器的内核即可运行的程序。

第二方面，本申请实施例提供一种图形码的识别方法，应用于服务器，包括：

接收终端设备通过Web应用程序发送的图像数据，所述Web应用程序包括第一Web应用程序和第二Web应用程序，所述第一Web应用程序为不安装于浏览器的内核即可运行的程序，所述第二Web应用程序安装于所述浏览器的内核；

将所述图像数据输入预设的图形码识别模型，得到图形码信息，所述图像数据中包含待识别的图形码；

将所述图形码信息发送至所述Web应用程序。

第三方面，本申请实施例提供一种图形码的识别方法，应用于图像采集设备，包括：

接收浏览器发送的第一获取请求；

向所述浏览器发送预设的第一网络Web应用程序，使所述浏览器通过运行所述第一Web应用程序对所述图像采集设备发送的图像数据进行识别；

其中，所述第一Web应用程序为不安装于所述浏览器的内核即可运行的程序，所述图像数据中包含待识别的图形码。

第四方面，本申请实施例提供一种终端设备，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面所述的图形码的识别方法。

第五方面，本申请实施例提供一种服务器，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第二方面所述的图形码的识别方法。

第六方面，本申请实施例提供一种图像采集设备，包括：摄像头、存储器和处理器；

所述摄像头用于采集图像数据，所述图像数据中包含待识别的图形码；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第三方面所述的图形码的识别方法。

第七方面，本申请实施例提供一种图形码的识别系统，包括：至少一个图像采集设备、终端设备和服务器；

所述至少一个图像采集设备分别与所述终端设备通过有线或者无线的方式连接；所述终端设备与所述服务器通过有线或者无线的方式连接；

所述至少一个图像采集设备分别向所述终端设备发送采集的图像数据，所述图像数据中包含待识别的图形码；

所述终端设备根据所述终端设备中安装的浏览器是否支持安装插件以及每个图像采集设备中预先设置的Web应用程序，分别从每个图像采集设备中获取第一Web应用程序或第二Web应用程序；所述第一Web应用程序为不安装于浏览器的内核即可运行的程序，所述第二Web应用程序为能够安装于所述浏览器的内核的程序；

所述终端设备通过运行从每个图像采集设备获取的第一Web应用程序或第二Web应用程序，分别将对应的图像数据发送至所述服务器；

所述服务器将所述图像数据输入预设的图形码识别模型，得到对应的图形码信息，并将所述图形码信息发送给所述终端设备。

本申请实施例，通过终端设备接收图像采集设备发送的图像数据，并根据从图像采集设备中获取的第一Web应用程序，对图像数据进行识别，该第一Web应用程序不需要在浏览器的内核中进行安装即可运行。实现了在终端设备中的浏览器不支持安装插件时，对图像数据中的图形码进行识别并得到图形码信息，使图形码的识别不受到终端设备条件的限制，提高了识别图形码的便利性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种图形码的识别方法的交互流程示意图；

图3为本申请实施例提供的一种图形码的识别方法的交互流程示意图；

图4为本申请实施例提供的一种图形码的识别方法的交互流程示意图；

图5为本申请实施例提供的一种图像采集设备的架构示意图；

图6为本申请实施例提供的一种浏览器中第二Web应用程序的架构示意图；

图7为本申请实施例提供的一种浏览器中第一Web应用程序的架构示意图；

图8为本申请实施例提供的一种读码客户端的结构示意图；

图9为本申请实施例提供的一种终端设备的结构示意图；

图10为本申请实施例提供的一种终端设备的结构示意图；

图11为本申请实施例提供的一种服务器的结构示意图；

图12为本申请实施例提供的一种服务器的结构示意图；

图13为本申请实施例提供的一种图像采集设备的结构示意图；

图14为本申请一实施例提供的终端设备的硬件结构示意图；

图15为本申请一实施例提供的服务器的硬件结构示意图；

图16为本申请一实施例提供的终端设备的硬件结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在制造、物流、销售以及库房管理等诸多领域，均需要通过图形码对产品进行识别、录入或者管控，这里的图形码指符合任一编码规则的图形码，例如一维图形码(也称作条形码)、二维图形码等，那么如何能对大量的图形码进行高效、准确的识别变得尤为重要。

目前，常通过安装于终端设备的读码客户端对采集到的图像数据进行识别，也称作解码，得到图形码信息，即可通过图形码信息获取产品的相关信息。然而，不具备读码客户端的终端设备则无法进行图形码的识别，例如，在终端设备中安装的读码客户端异常无法使用，或者因网络异常，无法下载读码客户端时，就不能进行图形码的识别。本申请实施例应用于上述场景中，通过终端设备中的浏览器从图像采集设备(例如工业相机)中获取用于识别图形码的网络Web应用程序，并根据该Web应用程序，对图形码进行识别，使对图形码的识别不受限于终端设备是否预先安装了读码客户端，提高了图形码的识别便利性。

通过以下几个实施例进行具体说明。

图1为本申请实施例提供的一种应用场景示意图，如图1所示，图形码的识别系统100至少包括图像采集设备101和终端设备102，图像采集设备101与终端设备102通过无线或者有线方式连接实现通信。

其中，图像采集设备101可以是任一具备图像采集能力的终端设备，例如相机(包括数字相机、模拟相机)、单反相机、摄像机、扫描仪、手机、电脑、平板电脑、智能可穿戴设备、智能摄像头等。图像采集设备101对待识别的图形码进行图像采集，得到含有图形码的图像数据，并将图像数据发送至终端设备102，使终端设备102对图像数据进行识别，得到图形码信息。

示例性的，终端设备102接收图像采集设备发送的图像数据，并根据Web应用程序或者预先安装的读码客户端，对图像数据进行识别，得到图形码信息。示例性的，终端设备102中预先安装有浏览器，该浏览器可以是任一用来检索、展示以及传递Web信息资源的应用程序。可选的，Web应用程序包括不安装于浏览器内核即可运行的第一Web应用程序，或者安装于浏览器内核中的进行运行的第二Web应用程序。

示例性的，若终端设备102根据Web应用程序，对图像数据进行识别，则可以从图像采集设备101中获取该Web应用程序。

在一种具体的实现方式中，图形码的识别系统100还包括服务器103，终端设备102将接收到的图像数据发送给服务器103，使服务器103对图像数据进行识别，得到图形码信息。服务器103将识别得到的图形码信息发送至终端设备102，终端设备102可以通过显示器对接收到的图形码信息进行显示。服务器103还可以将识别得到图形码数据发送至数据库进行存储；或者发送至其他外部设备，使外部设备使用该图形码信息，例如发送给分拣系统，分拣系统根据图形码信息将对应的产品进行分类。

应理解，在图像采集设备101向终端设备102发送图像数据、或者终端设备102向服务器103发送图像数据时，可通过根据实际应用场景的不同选择适合的图像传输协议进行图像数据的传输，示例性的，该图像传输协议包括但不限于千兆以太网GigE协议，通用串行总线(Universal Serial Bus，USB)协议，针对机器视觉应用领域的串行通信协议(Camerlink协议)，非对称的高速点对点串行通信数字接口标准(CoalXPress，CXP)协议等。在图像采集设备101与终端设备102进行通信，使终端设备102从图像采集设备101中获取Web应用程序时，可通过消息传输协议进行消息或者代码数据的传输，例如USB协议等。

本申请实施例对图像采集设备101的数量不做限制，可以为一个、两个或者多个。

在一种具体的实现方式中，当图像采集设备101的数量多于一个时，每个图像采集设备101分别与终端设备102连接，且每个图像采集设备101分别将各自采集的图像数据发送给终端设备102。

终端设备102根据终端设备中安装的浏览器是否支持安装插件以及每个图像采集设备101中预先设置的Web应用程序，分别从每个图像采集设备101中获取第一Web应用程序或第二Web应用程序。例如，终端设备102中安装的浏览器支持安装插件，且图像采集设备101中预先设置有第二Web应用程序，则终端设备102从该图像采集设备101中获取第二Web应用程序；再例如，终端设备102中安装的浏览器支持安装插件，但是图像采集设备101中仅预先设置有第一Web应用程序，则终端设备102从该图像采集设备101中获取第一Web应用程序；类似的，若终端设备102中安装的浏览器不支持安装插件，且图像采集设备101中预先设置有第一Web应用程序，则终端设备102从该图像采集设备101中获取第一Web应用程序；若终端设备102中安装的浏览器不支持安装插件，且图像采集设备101中仅设置有第二Web应用程序，则无法获取对应的Web应用程序。

终端设备102通过运行从每个图像采集设备获取的Web应用程序或者运行预先安装在终端设备102中的读码客户端，对每个图像数据进行识别，得到每个图像数据对应的图形码信息。

或者，终端设备102在接收到每个图像采集设备101发送的图像数据后，通过运行从每个图像采集设备获取的Web应用程序或者运行预先安装在终端设备102中的读码客户端，分别将对应的图像数据发送至服务器103。服务器103将图像数据输入预设的图形码识别模型，得到对应的图形码信息，并将图形码信息发送给终端设备102。

下面通过几个实施例对本申请提供的图形码的识别方法进行说明。

为了使未安装读码客户端的终端设备也能快速、便捷的对包含图形码的图像数据进行识别。本申请实施例提供一种图形码的识别方法，通过接收图像采集设备发送的图像数据，并根据Web应用程序，对图像数据进行识别，得到图形码信息。

应理解，图像采集设备发送的图像数据中包含待识别的图形码，示例性的，图像采集设备对图形码进行图像采集，以获取包含图形码的图像数据，该图像数据可以是任一格式的图像数据，当图像采集设备为工业相机时，该图像数据可以是贝尔bayer格式的图像数据，应理解，bayer格式的图像数据为工业相机内部的原始图像数据，其后缀名为.raw，并可根据需要转换为其他格式的图像数据，例如后缀名为.jpeg的联合图像专家组(JointPhotographic Experts Group，JPEG)格式的图像数据。

图2为本申请实施例提供的一种图形码的识别方法的交互流程示意图。目前，为了提高浏览器使用的安全性，设置为禁止在浏览器中安装插件，本申请实施例针对禁止安装插件的浏览器，通过不安装插件的方式，运行Web应用程序对带有图形码的图像数据进行识别。结合图2所示，本实施例至少包括以下过程：

S104：发送图像数据。

在本步骤中，图像采集设备向终端设备发送图像数据，相应的，终端设备接收图像采集设备发送的图像数据。示例性的，终端设备可通过浏览器与图像采集设备的Web服务器进行通信，接收图像采集设备发送的图像数据。该图像数据可以是单帧图像数据、或者可以是图像数据流中的任一帧图像数据，本方案对此不做要求。

S105-1：根据第一Web应用程序，对图像数据进行识别，得到图形码信息。

其中，第一Web应用程序是从图像采集设备中获取的，不需要安装于浏览器的内核即可运行的程序，当浏览器不支持安装插件时，可通过运行第一Web应用程序，对图像数据进行识别。示例性的，第一Web应用程序可以是一段无插件模块的代码，例如使用(JavaScript，JS)开发的代码段。

在一种具体的实现方式中，第一Web应用程序包括多个不同功能的JavaScript模块(下文简称JS模块)，多个不同功能的JS模块至少包括：协议交互模块、图像数据获取模块、图像数据处理模块、图像数据发送模块中的部分模块或者全部模块。示例性的，JS模块还可以根据实际应用场景，设置有图像渲染模块、数据存储模块、抓图模块等。

示例性的，接收图像采集设备发送的图像数据，包括：通过第一Web应用程序的图像数据获取模块接收所述图像采集设备发送的图像数据。

示例性的，在接收图像采集设备发送的图像数据之前，还包括：通过第一Web应用程序的协议交互模块与图像采集设备建立通信连接，使图像采集设备可以向终端设备发送图像数据。

在一种实现方式中，通过运行该第一Web应用程序，可直接对图像数据进行识别，例如运行第一Web应用程序，通过第一Web应用程序中的图像处理模块将图像数据输入任一算法或者通过预先训练的图形码识别模型，得到图形码信息，示例性的，对图像数据进行图形码识别的算法或者图形码识别模型可设置于第一Web应用程序中，或者预先设置于终端设备中通过第一Web应用程序进行调用；在另一种实现方式中，通过运行该第一Web应用程序，通过图像数据发送模块将接收到的图像数据发送至服务器，使服务器对图像数据进行识别，并接收服务器返回的图形码信息。

示例性的，在将图像数据发送至服务器之前，可通过第一Web应用程序先对图像数据进行压缩处理，压缩得到例如JPEG等格式的压缩数据。

本申请实施例通过终端设备接收图像采集设备发送的图像数据，并根据从图像采集设备中获取的第一Web应用程序，对图像数据进行识别，该第一Web应用程序不需要在浏览器的内核中进行安装即可运行。实现了在终端设备中的浏览器不支持安装插件时，对图像数据中的图形码进行识别并得到图形码信息，使图形码的识别不受到终端设备条件的限制，提高了识别图形码的便利性。

在上述实施例的基础上，本申请实施例中，终端设备在通过第一Web应用程序对接收到的图像数据进行识别之前，应先与图像采集设备进行通信，获取第一Web应用程序。

结合图2所示，在一种具体的实现方式中，获取图像采集设备中预设的第一Web应用程序，包括：

S102：发送第一获取请求。

示例性的，当图像采集设备与终端设备连接后，图像采集设备中的Web服务器通过http服务与终端设备的浏览器进行交互，例如以输入IP地址和端口的形式进行报文通信。

在本步骤中，终端设备或者终端设备中的浏览器向图像采集设备发送第一获取请求，该第一获取请求用于请求图像采集设备发送第一Web应用程序。

S103-1：发送预设的第一Web应用程序。

图像采集设备在接收到第一获取请求后，向终端设备的浏览器发送第一Web应用程序。该第一Web应用程序是预先设置于图像采集设备中的。示例性的，终端设备接收到第一Web应用程序后，将第一Web应用程序存储至浏览器的脚本库中，并通过浏览器运行脚本库中的该第一Web应用程序，实现对图像数据的识别。

应理解，本申请对于图2中步骤S104与步骤S101、步骤S102-1和步骤S103-1的先后顺序不做限定，即终端设备可以先获取图像采集设备中的第一Web应用程序，也可以先获取图像数据。

应理解，无论浏览器是否支持安装插件，均可通过在浏览器中运行第一Web应用程序对接收到的图像数据进行识别，然而，本申请实施例为了提高图形码识别的稳定性，以及提高图形码的识别效率，对于支持安装插件的浏览器，可通过安装浏览器插件来实现图形码的识别。本申请实施例为了兼容支持安装插件的浏览器和不支持安装插件的浏览器，提供如下图3所示的具体实现方式。

图3为本申请实施例提供的一种图形码的识别方法的交互流程示意图。

S101：确定浏览器是否支持安装插件。

终端设备中的浏览器根据自身的属性或者设置，确定是否支持安装插件。

示例性的，若浏览器不支持安装插件，则通过与图像采集设备进行通信，获取图像采集设备中预设的第一Web应用程序；若浏览器支持安装插件，则通过与图像采集设备进行通信，获取图像采集设备中预设的第二Web应用程序。如上述实施例中所说明的，第一Web应用程序不需要安装在浏览器的内核中即可运行实现相应的功能，而第二Web应用程序则需要在浏览器的内核中进行安装后再运行，一般来说，第二Web应用程序在浏览器的内核中安装后，将驻留在该浏览器中。

S102-1：若浏览器不支持安装插件，则发送第一获取请求。

在浏览器不支持安装插件时，向图像采集设备发送第一获取请求。

S103-1：发送预设的第一Web应用程序。

S104：发送图像数据。

S105-1：根据第一Web应用程序，对图像数据进行识别，得到图形码信息。

上述步骤S102-1至S105-1与图2所示实施例中的步骤S102至S105-1类似，此处不再赘述。

S102-2：若浏览器支持安装插件，则发送第二获取请求。

在本步骤中，终端设备或者终端设备中的浏览器向图像采集设备发送第二获取请求，该第二获取请求用于请求图像采集设备发送第二Web应用程序。

S103-2：发送预设的第二Web应用程序。

图像采集设备在接收到第二获取请求后，向终端设备的浏览器发送第二Web应用程序。该第二Web应用程序是预先设置于图像采集设备中的。

应理解，本申请对于图3中步骤S104与步骤S101、步骤S102-2和步骤S103-2的先后顺序不做限定，即终端设备可以先获取图像采集设备中的第一Web应用程序，也可以先获取图像数据。

示例性的，浏览器接收到第二Web应用程序后，对第二Web应用程序进行安装。

S104：发送图像数据。

S105-2：根据第二Web应用程序，对图像数据进行识别，得到图形码信息。

示例性的，通过运行该第二Web应用程序，可直接对图像数据进行识别，得到图形码信息，或者，通过运行该第二Web应用程序，将接收到的图像数据发送至服务器，使服务器对图像数据进行识别，并接收服务器返回的图形码信息。

在一种具体的实现方式中，若浏览器支持安装插件，则优先选择获取第二Web应用程序，仅在浏览器不支持安装插件时，获取第一Web应用程序。

本申请实施例，对于不支持安装插件的浏览器，可通过获取第一Web应用程序，并运行第一Web应用程序，实现对图形码的识别；并且，对于支持安装插件的浏览器，则获取第二Web应用程序，安装并运行第二Web应用程序，实现对图形码的识别。应理解，安装于浏览器内核中的第二Web应用程序相较于第一Web应用程序具有更好的稳定性，以及更快的运行速度。本实施例实现了对支持安装插件和不支持安装插件的两种浏览器的兼容，并在使用能够安装插件的浏览器时，提高图形码的识别效率。

如上述任一实施例的说明，终端设备可通过运行第一Web应用程序、或者运行第二Web应用程序，实现读码客户端的功能，对图像数据进行识别。然而，考虑到在实际应用场景中，终端设备的中央处理器(central processing unit，CPU)处理能力以及内存大小可能无法满足识别过程中的运算速度的要求，可以将对图像数据发送至服务器，使服务器对图像数据中的图形码进行识别。

图4为本申请实施例提供的一种图形码的识别方法的交互流程示意图。如图4所示，若浏览器不支持安装插件，则在步骤S104之后，该方法还包括：

S106-1：通过第一Web应用程序，发送图像数据。

浏览器通过第一Web应用程序，将图像数据发送至服务器。

示例性的，可将图像数据进行压缩后发送至服务器，例如，将图像数据进行转码，转换为JPEG等格式的压缩数据。

S107：将图像数据输入预设的图形码识别模型，得到图形码信息。

服务器可通过任意算法对图像数据进行识别，得到图形码信息；或者，可将图像数据输入预设的图形码识别模型，得到图形码信息。该图形码识别模型为经过预先训练的深度网络模型。

S108-1：将图形码信息发送至第一Web应用程序。

服务器将识别得到的图形码信息发送至第一Web应用程序。示例性的，第一Web应用程序接收到图形码信息后可通过浏览器对图形码信息进行显示。进一步地，服务器或者终端设备可将识别得到的图形码信息发送至外部设备进行显示或者使用，例如发送至分拣设备，分拣设备根据图形码信息，将对应的图形码以及图形码对应的产品进行分类，或者，将图形码信息发送至数据库，对图形码信息中的多维数据进行存储，例如重量、产地等信息。

结合图4所示，若浏览器支持安装插件，则在步骤S104之后，该方法还包括：

S106-2：通过第二Web应用程序，发送图像数据。

与步骤S106-1类似的，浏览器通过第二Web应用程序，将图像数据发送至服务器。

示例性的，可将图像数据进行压缩后发送至服务器，例如，将图像数据压缩为JPEG等格式的压缩数据。

S107：将图像数据输入预设的图形码识别模型，得到图形码信息。

S108-2：将图形码信息发送至第二Web应用程序。

与步骤S108-2类似的，服务器将识别得到的图形码信息发送至第二Web应用程序。示例性的，第二Web应用程序接收到图形码信息后可通过浏览器对图形码信息进行显示。进一步地，服务器或者终端设备可将识别得到的图形码信息发送至外部设备进行显示或者使用，例如发送至分拣设备，分拣设备根据图形码信息，将对应的图形码以及图形码对应的产品进行分类，或者，将图形码信息发送至数据库，对图形码信息中的多维数据进行存储

在图4所示实施例的基础上，为了不断提高图形码识别模型的准确度。本申请实施例在使用图形码识别模型进行图形码识别的过程中，对图形码识别模型进行迭代训练，在图形码识别模型的识别正确率达到预设值时，将原图形码识别模型更新为训练后的图形码识别模型。

示例性的，图形码识别模型的训练过程可在上述实施例中的服务器中进行，或者在独立的服务器中进行。假设模型训练过程在模型训练服务器中进行，那么服务器接收到图像数据之后，通过图形码识别模型进行图形码识别的同时，将图像数据发送至与之连接的模型训练服务器中，模型训练服务器根据图像数据得到优化数据，在模型训练服务器中设置有该图形码识别模型，将得到的优化数据依次输入模型训练服务器中的图形码识别模型，进行迭代训练。示例性的，模型训练服务器对图形码识别模型以无监督学习方式进行模型的优化训练时，优化数据仅包括图像数据，模型训练服务器将接收到的图像数据依次输入图形码识别模型，经过迭代训练优化图形码识别模型的参数，并在训练次数达到预设次数时，得到训练后的图形码识别模型；模型训练服务器也可以对图形码识别模型以有监督学习方式进行模型的优化训练，此时，模型训练服务器对接收到的每个图像数据设置标签，得到优化数据，示例性的，该标签可通过与模型训练服务器连接的外部设备对图像数据进行识别得到，该外部设备应具备更准确的识别能力，或者可通过人工识别得到图像数据对应的标签，应理解，优化数据包括图像数据以及与图像数据对应的标签，模型训练服务器将优化数据依次输入图形码识别模型，并在每次训练后根据图像数据的识别结果和对应的标签，确定图形码识别模型的正确率，在正确率达到预设值时，得到图形码识别模型，或者在模型训练服务器将优化数据依次输入图形码识别模型后，根据损失函数、图像数据的识别结果以及对应的标签，计算损失函数值，在损失函数值收敛至预设值时，得到训练后的图形码识别模型，将服务器中的图形码识别模型更新为模型训练服务器中的训练后的图形码识别模型，即在下一次接收到图像数据时，通过更新后的图形码识别模型进行识别，得到对应的条形码信息。

在上述任一实施例的基础上，通过第一Web应用程序或者第二Web应用程序所实现的任一过程，均可通过安装于终端设备中的读码客户端完成，该读码客户端可以为预先安装在终端设备中的用于图形码识别的应用程序。

图5为本申请实施例提供的一种图像采集设备的架构示意图。如图5所示，以工业相机为例，图像采集设备的架构主要分为应用层(包括能力集、相机服务、相机协议)、硬件抽象层、驱动层和硬件层。驱动层涉及到工业相机的通用协议，如GigE协议，USB协议，针对机器视觉应用领域的Camerlink，CXP协议等。这些协议都有特定的驱动用于支撑硬件抽象层，硬件抽象层类似于把相关的协议提供相应的接口用于数据的传递或者消息的流转。对于工业相机，需要定义相应的能力集，是否是支持图形码的相机，同时需要定义是否支持无插件或有插件的浏览器对接。相机服务主要包括能力集定义的功能，如何提供服务，如web服务等。相机协议主要是硬件抽象层的接口协议，用于传递工业相关的图像数据。

图6为本申请实施例提供的一种浏览器中第二Web应用程序的架构示意图。如图6所示，包括界面设计(User Interface Design，UI)层、控制层、功能模块以及用于图形码识别的读码算法。主要定义了浏览器的插件系统，可以基于ocx等特定技术来实现相应的插件。本质上和客户端软件功能相同，但是该客户端依赖于浏览器，在输入相机网际互连协议(Internet Protocol，IP)地址的情况下，相机把出厂前写入的插件系统(包括第二Web应用程序)通过协议发送到终端设备进行自动安装。

图7为本申请实施例提供的一种浏览器中第一Web应用程序的架构示意图。如图7所示，主要定义了浏览器的无插件系统，本质上和读码客户端功能相同，但第一Web应用程序依赖于浏览器，在输入相机IP地址的情况下，相机把出厂前写入的插件系统(包括第一Web应用程序)通过协议发送到浏览器，相应的功能模块被包装成多个JS模块，在浏览器中进行运行。

图8为本申请实施例提供的一种读码客户端的结构示意图。如图8所示，读码客户端可以是与图像采集设备配套的安装包，用户根据实际的硬件环境选用不同平台的读码客户端。读码客户端的主要架构包含UI层，控制层，功能模块，读码算法，算法模型，以及根据实际需要可选的转码模块，转码模块用于对图像数据进行转码，实现对图像数据的压缩。

图9为本申请实施例提供的一种终端设备的结构示意图，如图9所示，该终端设备10包括：

接收模块11，用于接收图像采集设备发送的图像数据，所述图像数据中包含待识别的图形码；

识别模块12，根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息；其中，所述第一Web应用程序是从所述图像采集设备中获取的，不安装于所述浏览器的内核即可运行的程序。

本实施例提供的一种终端设备10包括接收模块11和识别模块12，通过接收图像采集设备发送的图像数据，并根据从图像采集设备中获取的第一Web应用程序，对图像数据进行识别，该第一Web应用程序不需要在浏览器的内核中进行安装即可运行。实现了在终端设备中的浏览器不支持安装插件时，对图像数据中的图形码进行识别并得到图形码信息，使图形码的识别不受到终端设备条件的限制，提高了识别图形码的便利性。

在一种可能的设计中，所述第一Web应用程序包括多个不同功能的JavaScript模块；

所述多个不同功能的JavaScript模块包括：协议交互模块、图像数据获取模块、图像数据处理模块、图像数据发送模块中的部分模块或者全部模块；

所述接收图像采集设备发送的图像数据，包括：

通过所述第一Web应用程序的所述图像数据获取模块接收所述图像采集设备发送的图像数据；

在所述接收图像采集设备发送的图像数据之前，还包括：

通过所述第一Web应用程序的所述协议交互模块与所述图像采集设备建立通信连接。

在一种可能的设计中，识别模块12具体用于：

运行所述第一Web应用程序，并通过所述第一Web应用程序的图像数据处理模块对所述图像数据进行识别，得到所述图形码信息；

或者，

运行所述第一Web应用程序，通过所述第一Web应用程序的图像数据发送模块将所述图像数据发送至服务器；接收所述服务器发送的所述图形码信息。

图10为本申请实施例提供的一种终端设备的结构示意图，如图10所示，该终端设备10还包括：

处理模块13，用于通过所述第一Web应用程序的图像数据处理模块对所述图像数据进行压缩处理。

在一种可能的设计中，处理模块13还用于：

确定所述浏览器是否支持安装插件；

当所述浏览器不支持安装插件时，通过所述浏览器获取所述图像采集设备中预设的第一Web应用程序，并将获取的第一Web应用程序存储于浏览器的脚本库中；

所述根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息，包括：

当所述浏览器不支持安装插件时，通过所述浏览器运行脚本库中的第一Web应用程序，对所述图像数据进行识别，得到所述图形码信息。

在一种可能的设计中，处理模块12还用于：

当所述浏览器支持安装插件时，通过所述浏览器获取所述图像采集设备中预设的第二Web应用程序；在所述浏览器的内核中安装所述第二Web应用程序；通过所述浏览器运行所述第二Web应用程序，对所述图像数据进行识别，得到所述图形码信息。

上述实施例提供的终端设备，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图11为本申请实施例提供的一种服务器的结构示意图，如图11所示，该服务器20包括：

接收模块21，用于接收终端设备通过第一Web应用程序发送的图像数据，所述第一Web应用程序为不安装于浏览器的内核即可运行的程序；

识别模块22，用于将所述图像数据输入预设的图形码识别模型，得到图形码信息，所述图像数据中包含待识别的图形码；

发送模块23，用于将所述图形码信息发送至所述第一Web应用程序。

图12为本申请实施例提供的一种服务器的结构示意图，如图12所示，该服务器20还包括：

训练模块24，用于根据多个优化数据，对所述图形码识别模型进行迭代训练，以优化图形码识别模型的参数，所述优化数据中包括图形码；

更新模块25，用于在所述图形码识别模型的识别正确率达到预设值时或者训练次数达到预设次数时，得到训练后的图形码识别模型，所述训练后的图形码识别模型用于对下一次接收的图像数据进行识别，得到对应的条形码信息。

上述实施例提供的服务器，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图13为本申请实施例提供的一种图像采集设备的结构示意图，如图13所示，该图像采集设备30还包括：

接收模块31，用于接收浏览器发送的第一获取请求；

发送模块32，用于向所述浏览器发送预设的第一Web应用程序，使所述浏览器通过运行所述第一Web应用程序对所述图像采集设备发送的图像数据进行识别；

其中，所述第一Web应用程序为不安装于所述浏览器的内核即可运行的程序，所述图像数据中包含待识别的图形码。

在一种可能的实现方式中，所述第一Web应用程序包括多个不同功能的JavaScript模块；

所述多个不同功能的JavaScript模块包括：协议交互模块、图像数据获取模块、图像数据处理模块、图像渲染模块、图像数据发送模块中的部分模块或者全部模块。

在一种可能的实现方式中，接收模块31还用于接收所述浏览器发送的第二获取请求；

发送模块32还用于向所述浏览器发送预设的第二Web应用程序，使所述浏览器通过运行所述第二Web应用程序对所述图像采集设备发送的图像数据进行识别，所述第二Web应用程序安装于所述浏览器的内核。

上述实施例提供的图像采集设备，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例还提供一种终端设备，参见图14，本申请实施例仅以图14为例进行说明，并不表示本申请仅限于此。

图14为本申请一实施例提供的终端设备的硬件结构示意图。如图14所示，通常，终端设备600可以为电脑、笔记本、平板、一体机、智能电视等，包括有：处理器601和存储器602；可选的，还可以包括总线603.其中，总线603用于实现各元件之间的连接。

所述处理器601执行所述存储器602存储的计算机执行指令，使得所述处理器601执行前述任一项实施例提供的图形码的识别方法。

在一些实施例中，终端设备600还可选包括有：通信接口604、外围设备接口605和至少一个外围设备。处理器601、存储器602和外围设备接口605之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口605相连。具体地，外围设备包括：显示屏606。

外围设备接口605可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

通信接口604可通过至少一种通信协议与通信网络以及其他终端设备或者服务器进行通信。该至少一种通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。

显示屏606用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏606是触摸显示屏时，显示屏606还具有采集在显示屏606的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏606还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏606可以为一个，设置在终端设备600的前面板；在另一些实施例中，显示屏606可以为至少两个，分别设置在终端设备600的不同表面或呈折叠设计；在一些实施例中，显示屏606可以是柔性显示屏，设置在终端设备600的弯曲表面上或折叠面上。甚至，显示屏606还可以设置成非矩形的不规则图形，也即异形屏。显示屏606可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

本领域技术人员可以理解，图14中示出的结构并不构成对终端设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图15为本申请一实施例提供的服务器的硬件结构示意图。如图15所示，本实施例提供的服务器700可以包括：存储器701以及处理器702；可选的，还可以包括总线703。其中，总线703用于实现各元件之间的连接。

所述存储器701存储计算机执行指令；

所述处理器702执行所述存储器701存储的计算机执行指令，使得所述处理器702执行前述任一项实施例提供的图形码的识别方法。

其中，存储器701和处理器702之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线703连接。存储器701中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器701中的软件功能模块，处理器702通过运行存储在存储器701内的软件程序以及模块，从而执行各种功能应用以及数据处理。

图16为本申请一实施例提供的终端设备的硬件结构示意图。如图16所示，通常，图像采集设备800可以为相机(包括数字相机、模拟相机)、单反相机、摄像机、扫描仪中的至少一种，或者可以是电脑、笔记本、平板、一体机、智能电视、智能可穿戴、手机等任一具有图像采集功能的设备，该图像采集设备包括有：处理器801和存储器802；可选的，还可以包括总线803.其中，总线803用于实现各元件之间的连接。

存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的图形码的识别方法。

在一些实施例中，图像采集设备800还可选包括有：通信接口804、外围设备接口805和至少一个外围设备。处理器801、存储器802和外围设备接口805之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口805相连。具体地，外围设备包括：摄像头806和电源807中的至少一种。

外围设备接口805可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口805被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口805中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

通信接口804可通过至少一种通信协议与通信网络以及其他终端设备或者服务器进行通信。该至少一种通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。

摄像头806用于采集图像或视频。在一些实施例中，摄像头806设置有至少两个摄像头，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

电源807用于为图像采集设备800中的各个组件进行供电。电源807可以是交流电、直流电、一次性电池或可充电电池。当电源807包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图16中示出的结构并不构成对图像采集设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上述实施例提供的图形码的识别方法。

本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图形码的识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图形码的识别方法，其特征在于，应用于终端设备，所述终端设备中运行有浏览器，包括：

接收图像采集设备发送的图像数据，所述图像数据中包含待识别的图形码；

根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息；其中，所述第一Web应用程序是从所述图像采集设备中获取的，不安装于所述浏览器的内核即可运行的程序。

2.根据权利要求1所述的方法，其特征在于，所述第一Web应用程序包括多个不同功能的JavaScript模块；

所述多个不同功能的JavaScript模块包括：协议交互模块、图像数据获取模块、图像数据处理模块、图像数据发送模块中的部分模块或者全部模块；

所述接收图像采集设备发送的图像数据，包括：

通过所述第一Web应用程序的所述图像数据获取模块接收所述图像采集设备发送的图像数据；

在所述接收图像采集设备发送的图像数据之前，还包括：

通过所述第一Web应用程序的所述协议交互模块与所述图像采集设备建立通信连接。

3.根据权利要求2所述的方法，其特征在于，所述根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息，包括：

运行所述第一Web应用程序，并通过所述第一Web应用程序的所述图像数据处理模块对所述图像数据进行识别，得到所述图形码信息；

或者，

运行所述第一Web应用程序，通过所述第一Web应用程序的所述图像数据发送模块将所述图像数据发送至服务器；接收所述服务器发送的所述图形码信息；

或者，

运行所述第一Web应用程序，通过所述第一Web应用程序的所述图像数据处理模块对所述图像数据进行压缩处理，再通过所述第一Web应用程序的所述图像数据发送模块将所述图像数据发送至服务器；接收所述服务器发送的所述图形码信息。

4.根据权利要求1所述的方法，其特征在于，在所述根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息之前，所述方法还包括：

确定所述浏览器是否支持安装插件；

当所述浏览器不支持安装插件时，通过所述浏览器获取所述图像采集设备中预设的第一Web应用程序，并将获取的第一Web应用程序存储于浏览器的脚本库中；

所述根据第一Web应用程序，对所述图像数据进行识别，得到图形码信息，包括：

当所述浏览器不支持安装插件时，通过所述浏览器运行脚本库中的第一Web应用程序，对所述图像数据进行识别，得到所述图形码信息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述浏览器支持安装插件时，通过所述浏览器获取所述图像采集设备中预设的第二Web应用程序；在所述浏览器的内核中安装所述第二Web应用程序；通过所述浏览器运行所述第二Web应用程序，对所述图像数据进行识别，得到所述图形码信息。

6.一种图形码的识别方法，其特征在于，应用于服务器，包括：

接收终端设备通过Web应用程序发送的图像数据，所述Web应用程序包括第一Web应用程序和第二Web应用程序，所述第一Web应用程序为不安装于浏览器的内核即可运行的程序，所述第二Web应用程序安装于所述浏览器的内核；

将所述图像数据输入预设的图形码识别模型，得到图形码信息，所述图像数据中包含待识别的图形码；

将所述图形码信息发送至所述Web应用程序。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据多个优化数据，依次对所述预设的图形码识别模型进行迭代训练，以优化所述图形码识别模型的参数，所述优化数据中包括图形码；

在所述图形码识别模型的识别正确率达到预设值时或者训练次数达到预设次数时，得到训练后的图形码识别模型，所述训练后的图形码识别模型用于对下一次接收的图像数据进行识别，得到对应的条形码信息。

8.一种图形码的识别方法，其特征在于，应用于图像采集设备，包括：

接收浏览器发送的第一获取请求；

向所述浏览器发送预设的第一Web应用程序，使所述浏览器通过运行所述第一Web应用程序对所述图像采集设备发送的图像数据进行识别；

其中，所述第一Web应用程序为不安装于所述浏览器的内核即可运行的程序，所述图像数据中包含待识别的图形码。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收所述浏览器发送的第二获取请求；

向所述浏览器发送预设的第二Web应用程序，使所述浏览器通过运行所述第二Web应用程序对所述图像采集设备发送的图像数据进行识别，所述第二Web应用程序安装于所述浏览器的内核。

10.一种终端设备，其特征在于，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至5任一项所述的图形码的识别方法。

11.一种服务器，其特征在于，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求6或7所述的图形码的识别方法。

12.一种图像采集设备，其特征在于，包括：摄像头、存储器和处理器；

所述摄像头用于采集图像数据，所述图像数据中包含待识别的图形码；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求8或9所述的图形码的识别方法。

13.一种图形码的识别系统，其特征在于，包括：至少一个图像采集设备、终端设备和服务器；

所述至少一个图像采集设备分别与所述终端设备通过有线或者无线的方式连接；所述终端设备与所述服务器通过有线或者无线的方式连接；

所述至少一个图像采集设备分别向所述终端设备发送采集的图像数据，所述图像数据中包含待识别的图形码；

所述终端设备根据所述终端设备中安装的浏览器是否支持安装插件以及每个图像采集设备中预先设置的Web应用程序，分别从每个图像采集设备中获取第一Web应用程序或第二Web应用程序；所述第一Web应用程序为不安装于浏览器的内核即可运行的程序，所述第二Web应用程序为支持安装于所述浏览器的内核的程序；

所述终端设备通过运行从每个图像采集设备获取的第一Web应用程序或第二Web应用程序，分别将对应的图像数据发送至所述服务器；

所述服务器将所述图像数据输入预设的图形码识别模型，得到对应的图形码信息，并将所述图形码信息发送给所述终端设备。

Images