CN111724445B - 一种大视野小尺寸识别码的识别方法及系统 - Google Patents

Abstract

本发明公开了一种大视野小尺寸识别码的识别方法及系统，属于计算机视觉技术领域。本发明方法首先利用第一图像采集装置实时采集图像，对当前帧图像进行特征检测，获取识别码在当前帧图像中的位置；再根据识别码在当前帧图像中的位置实时调节光路，以使得识别码在第二图像采集装置的中心清晰成像；最后从识别码成像中读取识别码信息。本发明还实现了一种大视野小尺寸识别码的识别系统。本发明方法和系统能根据不同的识别码应用场景在总体结构不变的情况下灵活调整，可以有效解决远距离、大视野、高景深识别码的难以识别问题，具有速度快、鲁棒性高、适应性好等优点。

Description

一种大视野小尺寸识别码的识别方法及系统

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种大视野小尺寸识别码的识别方法及系统及系统。

背景技术

在现实生活中，各种各样的活动都会产生各种数据，这些数据包括人的、物质的、也包括采购的、生产的等等，这些数据的采集与分析对于我们的生产或者生活决策来讲是十分重要的。而自动识别技术可以自动采集数据，对信息自动识别，使得人类得以对大量数据信息进行及时、准确的处理。识别码识别技术是一种常见的自动识别技术，使用计算机设备识读识别码可以实现识别码信息的自动识别和管理。由于条形码和二维码组成形式很简单，因此可以十分方便的打印在平面材料上。也正是由于其简单方便，成本低廉，灵活实用等优点，目前被广泛在商业、物流、工业等行业。

传统的识别码识别技术主要有两种技术路线。第一种为最早发展起来的激光扫描式识别码识别技术。识别设备发射的激光在含有识别码的图片上反射，而黑白条纹反射的光强不同，识别设备接收到这些不同强度的反射信号后将光信号转换为电信号。再对转换后的电信号处理就可以得到识别码的信息。但是，当激光扫描识别码的这条直线上出现局部的污染或者缺失都会很容易造成识读失败。而且这种识读方式需要手动调节设备对准识别码，一次只能识别单个识别码，效率和自动化程度都不高。为了解决如上介绍的问题，渐渐的发展出了利用图像处理来识读识别码的技术，这就是第二种技术路线。使用一个摄像头采集包含识别码的图片，然后利用图像处理和机器学习的方式进行识别码的识别，明显提高了识别效率。

但是，这种基于单个摄像头采集图像进行识别码识别的方式仍面临着许多问题与挑战。第一，在相机的采集视野很大时，识别码仅仅只占整个图像很小的一部分，图像中还存在文字、符号等其它复杂背景，给自动定位带来了很多困难；第二，当采集不同距离的识别码图像时，采集到的图像会包括各种尺度的识别码图形，为了保证识别码图形的完整，往往导致小尺寸识别码无法在大视野范围内清晰成像；第三，在实际场景中，识别码图形总会识别码图形总会受到各种污染，破坏了识别码纹理的规则性。比如在工业环境中，识别码容易会受反光，污掩等等影响，这也给识别码的自动识别带来了很大的困难。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种大视野小尺寸识别码的识别方法及系统及系统，其目的在于通过两台相机，借助图像特征识别技术和光路装换技术，清晰采集到大视野小尺寸识别码，由有效解决远距离、大视野、高景深识别码的难以识别问题，系统具有速度快、鲁棒性高、适应性好等优点。

为实现上述目的，本发明提供了一种大视野小尺寸识别码的识别方法及系统，所述方法包括以下步骤：

(1)第一图像采集装置实时采集图像，对当前帧图像进行特征检测，获取识别码在当前帧图像中的位置；

(2)根据识别码在当前帧图像中的位置实时调节光路，以使得识别码在第二图像采集装置的中心清晰成像；步骤(2)具体包括：

(21)根据第一图像采集装置的位置标定识别码和世界坐标系之间的转换关系；根据第二图像采集装置的位置标定世界坐标系与光路调节参数之间的转换关系；

(22)利用识别码位置与世界坐标系之间的转换关系将识别码的位置转换到世界坐标系中；

(23)利用世界坐标系与光路调节参数之间的转换关系将识别码世界坐标系下的位置转换为光路调节参数；

(24)利用光路调节参数调节光路，使识别码在第二图像采集装置的中心清晰成像；

(3)从识别码成像中读取识别码信息。

进一步地，所述步骤(21)中标定方法具体为张正友标定法或多边形拟合标定法。

进一步地，所述步骤(1)具体为：

(11)对当前帧图像进行预处理，从对预处理后的图像中提取图像特征，标记出候选识别码区域；

(12)滤除置信度在预设阈值范围外的候选识别码区域，最终得到识别码在当前帧图像中的位置。

进一步地，所述步骤(12)具体包括：

(121)统计候选识别码区域的形状参数，所述形状参数包括长宽比、面积或它们的组合；

(122)将每个候选识别码区域的形状参数与预设阈值相比较，滤除形状参数在预设阈值范围外的候选识别码区域，输出最终保留下的候选识别码区域的位置。

按照本发明的另一方面，本发明提供了一种大视野小尺寸识别码的识别系统，所述系统包括：

图像采集单元，包括第一相机和第二相机，所述第一相机用于实时采集图像，并将采集到的当前帧图像发送至图像处理单元；所述第二相机用于采集当前帧图像中识别码图像，将识别码图像发送至图像处理单元；

光路转换单元，位于第二相机镜头前，用于调整识别码进入第二相机之前的光路，使得识别码在第二相机中心清晰成像；

光路调整单元，用于根据光路调节参数调整光路转换单元；

图像处理单元，包括第一处理服务器和第二处理服务器，所述第一处理服务器用于接收当前帧图像，并从当前帧图像中识别出识别码，并由识别码的位置换算出光路调节参数发送至光路调整单元；所述第二处理服务器用于从识别码图像中读取识别码信息。

进一步地，所述光路调整单元具体包括控制板卡、第一振镜驱动单元和第二振镜驱动单元，所述控制板卡用于接受光路调节参数，根据光路调节参数控制第一振镜驱动单元和第二振镜驱动单元动作。

进一步地，所述光路转换单元由第一旋转振镜、第二旋转振镜、第一凸透镜、第二凸透镜和第三凸透镜沿光路依次排列组成；第一振镜驱动单元驱动第一旋转振镜旋转，第二振镜驱动单元驱动第二旋转振镜旋转；第一旋转振镜旋转和第二旋转振镜共同作用实现第一相机视野范围的改变；第一凸透镜、第二凸透镜和第三凸透镜共同作用实现第二相机成像中心的位置转换和视野范围进一步扩大。

进一步地，所述第二相机的视野范围由两部分控制：第二相机自身视野范围和两个旋转振镜的转动范围，其两部分总和大小等于第一相机视野范围大小。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明通过相对位置固定的两个相机的协同工作可实现远距离、大视野范围下的不同尺寸识别码的快速定位，其中通过对第一相机获取到的图像进行特征分析获得识别码的位置信息，然后第一处理服务器根据位置信息，计算旋转振镜的旋转角度，并传递至振镜驱动单元，实时调整光路以使识别码图像始终位于第二相机所获图像的中心，并通过光路转换装置的设置，使得第二相机拍摄的图像更为清晰，以提高精定位的准确度，进一步提高系统的识别率；通过使用不同的镜头的更换可以满足不同的应用场景；

(2)本发明的识别系统与传统的基于单相机采集图像再进行处理的系统相比，通过控制振镜的旋转角度来改变第二相机拍摄的视野区域，而振镜运动相较于相机运动由于其质量轻，所以响应速度更快，可以实现高帧率的识别，帧率在200Hz时也能清晰成像，且通过设置凸透镜组，相机的视野比不采用凸透镜组的相机视野更大，所以可以获取大视野范围内的清晰图像，这样就避免了不同尺寸识别码再大视野范围内出现模糊的情况。

附图说明

图1是本发明识别系统的结构原理图；

图2是本发明识别系统中光路转换装置的结构原理图；

图3是本发明识别系统中光路转换装置的立体结构示意图。

图4是本发明识别系统识别二维码实施例的示意图。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：Ⅰ-图像采集单元，Ⅱ-光路转换单元，Ⅲ-光路调整单元，Ⅳ-图像处理单元，1-第一处理服务器，2-第二处理服务器，3-第一相机，4-第一旋转振镜，5-第二旋转振镜，6-控制板卡，7-第二相机，8-第三凸透镜，9-第二凸透镜，10-第一凸透镜，11-第一振镜驱动单元，12-第二振镜驱动单元，13-第一相机视野，14-第二相机得到清晰识别码图像，15-传送带，16-表面带有识别码的物体。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供的一种视觉识别码识别系统，该系统由三部分构成，分别为：图像采集装置、图像处理装置、光路转换装装置和光路调整装置，其中，

图像采集装置是指由第一相机3和第二相机7组成的装置，需要两个相机位置相对固定，第一相机3主要功能为获取大视野范围内的图像，所获得的图像用于识别码位置检测，配以不同镜头可以满足不同景深的需求；

光路转换装置是指由第一旋转振镜4、第二旋转振镜5、第一凸透镜10、第二凸透镜9和第三凸透镜8组成的装置，设于待检测识别码与第二相机7之间，第二相机7可以获得待检测识别码清晰图像；实现实时光路调整，以使得待检测识别码始终位于第二相机7的成像中心保证图像清晰。

光路调整装置由光路调整单元具体包括控制板卡6、第一振镜驱动单元11和第二振镜驱动单元12组成；用于根据待检测识别码的位置调整光路转换装置；

图像处理装置包括第一处理服务器1和第二处理服务器2，所述第一处理服务器1用于接收当前帧图像，并从当前帧图像中识别出识别码，并由识别码的位置换算出光路调节参数发送至光路调整单元；所述第二处理服务器2用于从识别码图像中读取识别码信息。

如图2所示，光路转换装置是由第一旋转振镜4、第二旋转振镜5、第一凸透镜10、第二凸透镜9和第三凸透镜8沿光路依次排列组成，两个旋转振镜共同作用可实现视野范围的改变，三个凸透镜共同作用可实现成像中心的位置转换和视野范围进一步扩大的功能，通过参数计算可实现从大范围视场角到小范围的等效视场角的转换，即实现小范围视场角的相机拍摄出了大范围视场角的图片，实现视野进一步扩大。

例如，如图2所示，第一凸透镜10焦距f₀设为60mm，第二凸透镜9焦距f_f设为100mm，第三凸透镜8焦距fc设为80mm，第一旋转振镜4的中心与第二旋转振镜5的中心间的距离h1设为15mm，第二旋转振镜5的中心与第一凸透镜10的距离h2设为45mm，第一凸透镜10与第二凸透镜9的距离h3设为60mm，第二凸透镜9与第三凸透镜8的距离h4设为80mm，第三凸透镜8与第二相机7的距离h5设为30mm，通过上述参数的设计，可将原本视场角β＝40°的范围转换为等效视场角α＝30°的范围，换言之，视场角为30°的相机拍摄出了视场角为40°范围的图片，以此进一步扩大了视野。

光路调整装置是由第一振镜驱动单元11和第二振镜驱动单元12共同组成，其中第一旋转振镜4应与第一振镜驱动单元11相连，第二旋转振镜5应与第二振镜驱动单元12相连，第一旋转振镜4和第二旋转振镜5的旋转分别由与其相连的驱动单元共同控制，已达到光路调整的目的。具体的，第二相机7的视野范围由两部分控制：相机自身视野范围和两个旋转振镜的转动范围，其两部分总和大小等于第一相机3视野范围大小，当旋转振镜不发生旋转的时候其视野为第一相机3的一部分，因此通过第二相机7可以获得更为清晰的图片，已达到获得大视野范围内识别码清晰成像的目的。

图像处理装置由第一处理服务器1和第二处理服务器2组成，其作用为图像采集、图像处理和系统控制；第一处理服务器1通过控制板卡6与第一旋转振镜4和第二旋转振镜5相连，第一处理服务器1可获得第一相机采集的图像，并处理获得的图像以定位出各帧图像中待识别识别码的位置，将识别码位置信息进行处理发送给控制板卡6实现实时控制第一旋转振镜4和第二旋转振镜5的转动角度，保证待识别识别码在第二相机7的中心清晰成像；第二处理服务器2与第二相机7相连，将第二相机7获得包含待识别识别码清晰的图片进行处理以得到结果，包括但不限于：识别码解码结果、识别码位置信息和识别码类型。

图3是按照本发明所构建的视觉识别码识别系统的三维结构图，由于上述已详细介绍了光路转换装置，为使整体结构更利于理解，移除了第一旋转振镜4、第二旋转振镜5、控制板卡6、第一振镜驱动单元11和第二振镜驱动单元12等。如图3所示，第一凸透镜10、第二凸透镜9和第三凸透镜8被固定在对应的同轴镜片架上，同轴镜片架通过支撑棒、支撑棒座和滑块与导轨相连；第二相机7被固定在底板上，底板通过支撑棒、支撑棒座和滑块与导轨相连；第一相机3被固定在底板上，底板通过支撑棒、支撑棒座与底座相连，第一相机3的位置无硬性要求，只需保证其视野向前且位置固定后不改变即可。

本发明再通过实例介绍一种识别码识别方法，识别码识别方法包括但不限于此方法，并在上述识别码视觉识别平台上应用，其包括如下步骤：

S1利用第一相机获取各帧图像并进行视觉定位以预测各帧图像中识别码候选区域的位置；

S2根据识别码候选区的位置实时调整光路，以使得识别码符号在第二相机的中心清晰成像。

为了消除图像中的畸变，对第一相机获取的各帧图像进行矫正，以消除画面中的畸变，然后进行视觉定位以预测各帧图像中识别码候选区域的位置。

具体的，各帧图像中待识别识别码的位置采用如下步骤预测：

S11对于每帧图像中待定位的识别码符号位置而言，提取统计图像的特征，形成一个特征图；

S12对预处理后的图像提取图像特征，并进行统计分析，进而得到识别码的特征图。比如，可以采用机器学习的算法，提取图像的特征，比如，提取LBP特征，或者Haar特征等。

为了保证定位的准确性，S12之后还包括：

S13在候选的识别码区域中，滤除一部分置信度较小的区域：

S131计算每个识别码候选区的一系列形状参数，比如长宽比，面积等；

S132将每个候选区计算出来的形状参数与一定的阈值相比较，滤除部分置信度较小的候选区域。

进一步的，步骤S2包括如下子步骤：

S21标定第一相机所获图像中识别码位置与世界坐标系的转换关系式以及世界坐标系与光路调节参数的转换关系式；

S22根据预测的待识别识别码的位置及上述两个转换关系式转换得到光路调节参数；

S23光路调整装置根据所述光路调节参数实时调整光路转换装置的光路使待识别识别码在第二相机的中心清晰成像。

图4是按照本发明所构建的视觉识别码系统应用立体实例图，由上面已详细介绍了识别方法和识别系统的应用，为了便于理解进行图例说明，应用场景包括但不限于图例中内容。由第一相机3可以获得视野13下包括的不同物体的图像，可根据应用场景的需求配合不同的相机和镜头使用，应用场景可以包括但不限于：背景复杂、识别码尺度变化、快速运动，利用第一相机3得到的图像可以定位到视野13下所有识别码的位置，此处位置的检测包括一帧图像或多帧图像的检测，将位置信息通过标定得到的系数转换到振镜4和振镜5转动角度，通过光路转换装置Ⅱ，在第二相机7上清晰呈现识别码图像14，识别码图像14可以用于精确识别码定位和信息的提取，实现远距离、大视野和高景深的识别码的识别，进一步提高识别率。

实例性说明本系统各器件选择和相互关系，包含但不限于次实例，使用视觉识别码识别系统进行识别码定位，本系统第一步需要将第一相机3位置固定，具体的，第一相机3使用的镜头为广角镜头，对第一相机3矫正后可以消除图像桶形畸变，再进行标定获得第一相机3图像中识别码像素坐标到世界坐标的对应关系，进一步，第一相机3使用的镜头为液态镜头或伺服变焦镜头，可以获得不同高度下识别码的清晰成像，标定方法同上；第二相机7的位置由第一相机3通过标定和矫正进行确定，具体的，在第一相机3标定后对第二相机7进行标定，标定包括光路转换装置Ⅱ和光路调整装置Ⅲ，最终获得光路调整参数和世界坐标系的对应关系。相机的标定方法不是本文讨论的重点，可采用本领域技术人员较为熟悉的方法，如：张正友标定算法、多边形拟合标定算法等，其为现有技术，在此不赘述。标定完成后除两个旋转振镜的旋转角度外各个装置位置固定。

利用上述识别码检测方法对识别码进行在线定位和解码，每一帧检测到识别码之后，进行识别码位置信息的记录，通过标定结果将识别码在图像中位置信息转换为第一旋转振镜4和第二旋转振镜5的驱动参数，完成识别码在第二相机7的视野中心成像，由此形成第一相机3获得识别码在图像中的大致位置，通过第一旋转振镜4和第二旋转振镜5的转动使识别码在第二相机7中清晰成像。具体的，第一相机3和第二相机7工作相对独立，对两个相机的型号、镜头、分辨率等具体参数并无过多要求，例如但不限于：使用伺服变焦镜头或液态镜头可以有效满足高景深识别码识别的应用场景，使用广角镜头可以有效的应对大视野识别码识别的应用需求。

需要注意的是，上述识别码识别方法和识别码识别系统也相互独立，其识别码识别方法仅起实例作用，既可以配套使用，也可以将其应用于不同的场景和情形。识别码识别系统与传统的读码系统相比，可以大幅度提高相机的可用帧率上限，可以达到200Hz时也能清晰成像，实际帧率主要受识别码识别方法和相机帧率上限的影响，实现识别码的快速定位和识别；可以大幅度提高相机识别码识别的视野范围和景深，具体的，视野范围主要受第一相机3分辨率影响，更换不同的相机和镜头可满足任何场景的需求；可以同时满足大视野范围和高速识别码识别的需求，针对大视野应用需求现有解决方案为安装多读码设备，本系统可较好的解决此类问题，针对景深需求可根据不同的应用场景安装不同的镜头，无需修改系统结构较为灵活。

以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种大视野小尺寸识别码的识别方法，其特征在于，所述方法使用一种大视野小尺寸识别码的识别系统实现，所述系统包括：

图像采集单元，包括第一相机和第二相机，所述第一相机用于实时采集图像，并将采集到的当前帧图像发送至图像处理单元；所述第二相机用于采集当前帧图像中识别码图像，将识别码图像发送至图像处理单元；第一相机使用的镜头为液态镜头或伺服变焦镜头，第一相机位于第二凸透镜和第三凸透镜之间，第一相机、第二凸透镜和第三凸透镜的底座在同一条轴线上；

光路转换单元，位于第二相机镜头前，用于调整识别码进入第二相机之前的光路，使得识别码在第二相机中心清晰成像；光路转换单元由第一旋转振镜、第二旋转振镜、第一凸透镜、第二凸透镜和第三凸透镜沿光路依次排列组成；

光路调整单元，用于根据光路调节参数调整光路转换单元；

图像处理单元，包括第一处理服务器和第二处理服务器，所述第一处理服务器用于接收当前帧图像，并从当前帧图像中识别出识别码，并由识别码的位置换算出光路调节参数发送至光路调整单元；所述第二处理服务器用于从识别码图像中读取识别码信息；

所述方法包括以下步骤：

(1)第一相机实时采集图像，对当前帧图像进行特征检测，获取识别码在当前帧图像中的位置；

所述步骤(1)具体为：

(11)对当前帧图像进行预处理，从对预处理后的图像中提取图像特征，标记出候选识别码区域；

(12)滤除置信度在预设阈值范围外的候选识别码区域，最终得到识别码在当前帧图像中的位置；

(2)根据识别码在当前帧图像中的位置实时调节光路，以使得识别码在第二相机的中心清晰成像；步骤(2)具体包括：

(21)根据第一相机的位置标定识别码和世界坐标系之间的转换关系；根据第二相机的位置标定世界坐标系与光路调节参数之间的转换关系；

(22)利用识别码位置与世界坐标系之间的转换关系将识别码的位置转换到世界坐标系中；

(23)利用世界坐标系与光路调节参数之间的转换关系将识别码世界坐标系下的位置转换为光路调节参数；

(24)利用光路调节参数调节光路，使识别码在第二相机的中心清晰成像；

(3)从识别码成像中读取识别码信息。

2.根据权利要求1所述的一种大视野小尺寸识别码的识别方法，其特征在于，所述步骤(21)中标定方法具体为张正友标定法或多边形拟合标定法。

3.根据权利要求1所述的一种大视野小尺寸识别码的识别方法，其特征在于，所述步骤(12)具体包括：

(121)统计候选识别码区域的形状参数，所述形状参数包括长宽比、面积或它们的组合；

(122)将每个候选识别码区域的形状参数与预设阈值相比较，滤除形状参数在预设阈值范围外的候选识别码区域，输出最终保留下的候选识别码区域的位置。

4.根据权利要求1所述的一种大视野小尺寸识别码的识别方法，其特征在于，所述光路调整单元具体包括控制板卡、第一振镜驱动单元和第二振镜驱动单元，所述控制板卡用于接受光路调节参数，根据光路调节参数控制第一振镜驱动单元和第二振镜驱动单元动作。

5.根据权利要求4所述的一种大视野小尺寸识别码的识别方法，其特征在于，所述第一振镜驱动单元驱动第一旋转振镜旋转，第二振镜驱动单元驱动第二旋转振镜旋转；第一旋转振镜旋转和第二旋转振镜共同作用实现第一相机视野范围的改变；第一凸透镜、第二凸透镜和第三凸透镜共同作用实现第二相机成像中心的位置转换和视野范围进一步扩大。

6.根据权利要求5所述的一种大视野小尺寸识别码的识别方法，其特征在于，所述第二相机的视野范围由两部分控制：第二相机自身视野范围和两个旋转振镜的转动范围，其两部分总和大小等于第一相机视野范围大小。

Images