CN111311226A - 基于机器视觉的复杂背景下二维码的识读方法和装置 - Google Patents

基于机器视觉的复杂背景下二维码的识读方法和装置 Download PDF

Info

Publication number
CN111311226A
CN111311226A CN201811511576.9A CN201811511576A CN111311226A CN 111311226 A CN111311226 A CN 111311226A CN 201811511576 A CN201811511576 A CN 201811511576A CN 111311226 A CN111311226 A CN 111311226A
Authority
CN
China
Prior art keywords
payment
image
dimensional code
mobile payment
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811511576.9A
Other languages
English (en)
Inventor
王越
晏成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspiry Technology Co Ltd
Original Assignee
Beijing Inspiry Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspiry Technology Co Ltd filed Critical Beijing Inspiry Technology Co Ltd
Priority to CN201811511576.9A priority Critical patent/CN111311226A/zh
Publication of CN111311226A publication Critical patent/CN111311226A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3274—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being displayed on the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本公开提供了一种基于机器视觉的复杂背景下二维码的识读方法，对布设在多场景的配置CCD传感器、两个全面屏、双摄像头与基于中央处理器的控制系统的支持与输入设备及打印装置协同应用的移动支付设备组网，对其与电子终端及服务器集群连接；获取参数数据生成二维码图像；监测到支付事件被触发，且支持扫码与非接触式刷卡支付并监测第一测距采样点时，通过扣扫完成识读。该方法采用预设算法译码，当感知前方有二维码时，将显示屏变为透明玻璃便于识读；通过算法处理，基于两个全面屏及双摄像头在不同种光线的情况下同时识读二维码内容及显示信息，提高了扫码的灵活性与易用性。本公开还提供了一种基于机器视觉的复杂背景下二维码的识读装置。

Description

基于机器视觉的复杂背景下二维码的识读方法和装置
技术领域
本公开涉及移动支付技术领域和图像识别技术领域，具体而言，涉及一种基于机器视觉的复杂背景下二维码的识读方法和装置。
背景技术
现有技术中，应用于多个场景的收银方式为pos机刷卡、现金等方式。极少数的场景下为支付方打开电子终端，对多个场景提供的静态的二维码(静态的支付图像在制作与图像采集的过程中，图像中不可避免地会夹杂一些杂质、干扰等，使得图像中有噪声、模糊、灰度不均匀的问题)进行扫描，识读二维码的信息，并完成支付操作。上述的收银方式使得收银的形式单一，且无法基于两个全面屏甚至两个双摄像头的硬件条件下，通过机器视觉实现不同光线情况下二维码识读的快速操作。不具有应用的精准性、灵活性、多样性与适用性。
发明内容
为了解决现有技术中的技术问题，本公开实施例提供了一种基于机器视觉的复杂背景下二维码的识读方法和装置，对布设在多个场景的配置CCD传感器、两个全面屏、与两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的移动支付设备、控制移动支付设备的电子终端以及服务器集群三者进行连接；实时获取服务器集群发送的适用于移动支付设备识读的多个参数的数据，并根据多个参数的数据生成适用于移动支付设备的二维码图像；将通过至少一个测距传感器针对生成的二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，每个数据组包含相同数量的测距数据点；当监测到支付事件被触发时，判断移动支付设备的初始系统是否支持多形式支付系统，其中，多形式支付系统支持扫码支付与非接触式刷卡支付，多形式支付系统包括封闭式支付系统与开放式支付系统，封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统，开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；若支持多形式支付系统并监测到第一测距采样点时，启动并接收使用者通过扣扫方式完成的识读操作。
第一方面，本公开实施例提供了一种基于机器视觉的复杂背景下二维码的识读方法，包括以下步骤：对布设在多个场景的配置CCD传感器、两个全面屏、与所述两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的所述移动支付设备、控制所述移动支付设备的电子终端以及服务器集群三者进行连接，其中，支持与所述输入设备及所述打印装置协同应用的所述移动支付设备包括两个适用于二维码识读的摄像头，所述两个适用于二维码识读的摄像头用于双向实时感知360°全角度的光线变化，以便通过所述中央处理器触发液晶屏完成显示内容的变化操作，所述全面屏为全透明显示屏，所述移动支付设备的适用于二维码识读的所述摄像头和其他光线或图像感知功能模块设置于所述全透明显示屏下，所述移动支付设备的适用于二维码识读的所述摄像头或其他光线或图像感知功能模块直接透过所述全面屏对光线或图像实现感知；实时获取所述服务器集群发送的适用于所述移动支付设备识读的多个参数的数据，并根据所述多个参数的数据生成适用于所述移动支付设备的二维码图像；将通过至少一个测距传感器针对生成的所述二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，所述每个数据组包含相同数量的测距数据点；当监测到支付事件被触发时，判断所述移动支付设备的初始系统是否支持多形式支付系统，其中，所述多形式支付系统支持扫码支付与非接触式刷卡支付，所述多形式支付系统包括封闭式支付系统与开放式支付系统，所述封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统，所述开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；若支持所述多形式支付系统并监测到所述第一测距采样点时，接收使用者通过扣扫方式完成的识读操作。
第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。
第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
第四方面，本公开实施例提供了一种适用于双屏双摄像头的透视型二维码识读装置，所述装置包括：组网与连接模块，用于对布设在多个场景的配置CCD传感器、两个全面屏、与所述两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的所述移动支付设备、控制所述移动支付设备的电子终端以及服务器集群三者进行连接，其中，支持与所述输入设备及所述打印装置协同应用的所述移动支付设备包括两个适用于二维码识读的摄像头，所述两个适用于二维码识读的摄像头用于双向实时感知360°全角度的光线变化，以便通过所述中央处理器触发液晶屏完成显示内容的变化操作，所述全面屏为全透明显示屏，所述移动支付设备的适用于二维码识读的所述摄像头和其他光线或图像感知功能模块设置于所述全透明显示屏下，所述移动支付设备的适用于二维码识读的所述摄像头或其他光线或图像感知功能模块直接透过所述全面屏对光线或图像实现感知；获取与图像生成模块，用于实时获取所述服务器集群发送的适用于所述移动支付设备识读的多个参数的数据，并根据所述多个参数的数据生成适用于所述移动支付设备的二维码图像；分类模块，用于将通过至少一个测距传感器针对生成的所述二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，所述每个数据组包含相同数量的测距数据点；判断模块，用于当监测到支付事件被触发时，判断所述移动支付设备的初始系统是否支持多形式支付系统，其中，所述多形式支付系统支持扫码支付与非接触式刷卡支付，所述多形式支付系统包括封闭式支付系统与开放式支付系统，所述封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统，所述开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；扣扫识读模块，用于若支持所述多形式支付系统并监测到所述第一测距采样点时，接收使用者通过扣扫方式完成的识读操作。
本发明提供的一种基于机器视觉的复杂背景下二维码的识读方法和装置，该方法首先进行组网，针对二维码图像，采用大津算法对其进行粗分割以及二次分割，对二次分割操作后获取的结果通过形状测试完成适用于二维码图像的分割操作，并可以通过深度学习达到对二维码图像进行快速的特征提取，在接收到服务器发送的支付信息后，截取二维码图像作为支付图像，当监测到支付事件被触发时，判断移动支付设备的初始系统是否支持多形式支付系统，若支持多形式支付系统并监测到第一测距采样点时，启动并接收使用者通过扣扫方式完成的识读操作。此外，还通过液晶视窗与导光板视窗的共用窗口完成支付显示，甚至还可以通过适用于二维码识读的双摄像头双向360°全角度检测光线变化，以便通过中央处理器触发液晶屏完成显示内容的变化操作，且提高检测的高效性。具体的，当感知到前方有二维码时，则清除透明屏显示内容，将显示屏变为透明玻璃便于识读二维码。此外，可通过算法优化处理，基于第一个全面屏或者屏幕显示内容的同时识读二维码内容以及第二个全面屏或者屏幕显示内容的同时识读人脸信息。进一步地，还可以基于机器视觉的复杂背景下，多个场景变化光线环境中，对支持多形式支付系统的布网环境下高效、精准、快捷地针对二维码图像实现图像识读的操作，进而快速，高效灵活地完成后续的支付操作，且具有安全性与适用性。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本发明一个实施例中的一种基于机器视觉的复杂背景下二维码的识读方法的步骤流程示意图；
图2为本发明另一个实施例中的一种基于机器视觉的复杂背景下二维码的识读方法的步骤流程示意图；以及
图3为本发明一个实施例中的一种基于机器视觉的复杂背景下二维码的识读装置的结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
如图1所示，为一个实施例中的一种基于机器视觉的复杂背景下二维码的识读方法的流程示意图，具体包括以下步骤：
步骤102，对布设在多个场景的配置CCD传感器、两个全面屏、与两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的移动支付设备、控制移动支付设备的电子终端以及服务器集群三者进行连接。其中，支持与输入设备及打印装置协同应用的移动支付设备包括两个适用于二维码识读的摄像头，两个适用于二维码识读的摄像头用于双向实时感知360°全角度的光线变化，以便通过中央处理器触发液晶屏完成显示内容的变化操作。可以理解的是，例如适用于二维码识读的摄像头可以感知到前方有二维码时，清除显示内容，将显示屏变为透明玻璃便于识读二维码。由此，增强了移动支付设备的智能性与易用性。此外，还可通过基于中央处理器中预设算法处理，在屏幕显示内容的同时识读二维码内容。由此，提高了移动支付设备使用的多样性与灵活性。此外，需要说明的是，全面屏为全透明显示屏，移动支付设备的适用于二维码识读的摄像头和其他光线或图像感知功能模块设置于全透明显示屏下，移动支付设备的适用于二维码识读的摄像头或其他光线或图像感知功能模块可直接透过全面屏对光线或图像实现感知。进一步地，其他光线或图像感知功能模块包括补光灯和人脸识别模块中的至少一种。由此，提高了第一个全面屏感知图像的精准性，以及第二个全面屏感知人脸信息的多样性与灵活性。优选地，第一个全面屏设置于移动支付设备本体的上方，第二个全面屏设置与第一个全面屏呈垂直角度的移动支付设备本体的侧方。更进一步地，全透明显示屏下附有一层黑色背光膜，背光膜在摄像头和其他光线或图像感知功能模块部位有开口，且开口不小于摄像头和其他光线或图像感知功能模块的大小。摄像头和其他光线或图像感知功能模块为圆形；背光膜上的开口为圆孔。
更进一步地，需要说明的是，机器视觉检测系统采用CCD(Charge CoupledDevice，电荷耦合器件图像传感器)照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格/不合格、有/无等，实现自动识别功能。其中，CCD为通过一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号，数字信号经过压缩以后由相机内部的闪速存储器或内置硬盘卡保存，因而可以轻而易举地把数据传输给计算机，并借助于计算机的处理手段，根据需要和想像来修改图像。由此，提高了自动识别二维码图像的精准性与灵活性。具体的，关于二维码图像的分割与识读优选地，首先进行二维码分割，即计算灰度图的梯度信息形成梯度幅值图，并将其归一化到[0,255]，其次，对梯度幅值图进行分块，并进行梯度直方图统计，具体的，设置大小为m*n的滑动窗口，m为滑动窗口的长，n为滑动窗口的宽，设置滑动步长step，从梯度幅值图的左上角顶点出发，以步长step滑动，每滑动一次得到一图像块patch，用符号Ip表示，p＝1,2,…,L，L表示图像块的个数，对L个patch进行梯度直方图统计，将所有梯度方向分为K个bin，即将梯度方向分成K个区域，每个区域跨度为θ，在某一个patch中，当某个像素点的梯度方向落在某一区域内，则判断像素点的梯度幅值μ是否小于阈值σ，如果μ＜σ则该像素点不参与投票，如果μ＞σ，则向该区域进行投票且票数加一，最后统计每个区域的投票结果，将票数最多的bin作为该patch的主方向角度。同理，可以得到其余L-1个patch的主方向角度，记录下各个patch的3维特征向量(x,y,θ)，分别对应每个patch的x坐标、y坐标以及该patch的主方向角度。其中，(x,y)为该patch左上角顶点的坐标，然后对每一个patch，将各自patch主方向占比低于20％的剔除，最后对剩下的patch进行kmeans聚类，得到聚类图。
进一步地，提取像素点图，即采用最大类间方差法对灰度图进行二值化处理，得到二值化图像，并对二值化图像进行轮廓查找操作。在二值化图像中，剔除掉面积小于预设阈值的轮廓，然后对剩下的部分采用Graham扫描法进行凸包拟合，得到疑似包含二维码的轮廓区域，再根据轮廓区域在聚类图中找到相对应区域，得到该区域拓扑方向，再删除主梯度方向与区域拓扑方向不一致或区域包含聚为一类的patch数过少的区域，得到符合二维码特征的轮廓区域，最后根据轮廓区域在梯度幅值图中找到相对应区域，处理这个区域所包含的每个patch，分别提取出每个patch内的像素点梯度值与该patch的主方向相差正负3°以内的像素点，构成像素点图。
更进一步地，进行角度精确搜索及二维码区域细提取，即将像素点图在范围为[θ-δ,θ+δ]内按每个角度进行校正，δ为常数，得到像素分布为近似水平的多张校正图像，再分别进行水平投影，然后计算各水平投影的一阶梯度，选取一阶梯度值最大的水平投影所对应的旋转角度作为最终二维码的精确角度β；根据精确角度β对各像素点进行映射，使各像素点组成的二维码块拓扑呈水平，再根据自适应的横向膨胀系数，采用具有纵向约束的膨胀算法将各孤立的像素连接起来形成二维码块；对二维码块进行最小外接矩形求取，并根据最小外接矩形的四个顶点信息及精确角度β进行逆向仿射变换，找到四个顶点的初始位置，从而求出灰度图中二维码的位置，并标记出二维码图像。此外，关于二维码图像的识读，具体的，二维码区域校正及采样，即采用仿射变换的方法将二维码图像校正为水平状态，再对校正后的二维码图像进行双线性插值，得到二维码，然后对二维码图像进行采样，得到六条采样曲线，记为Cj(j＝1,2,...6)；获取二维码码最小单位宽度及结束码标定，采用结束码定标法对Cj进行处理，获取二维码最小单位宽度，并定位结束码的位置；采用动态阈值对二维码阶梯空信息界定，即将二维码最小单位宽度向上取整，再将取整后的值作为极值点搜索半径，根据采样曲线Cj找出所有极值点；从采样曲线Cj的中间开始，依次向两边推进，计算当前位置的左右各一个峰谷值的均值，再取它们的平均值决定当前点的阈值应该为多少。当左或右的极值点不足时，这点的阈值就延续上一点的取值。这样依据动态阈值，再计算得到二维码各模块宽度信息。此外，还需要说明的是，包括二维码解码、容错及校验，即在采样曲线Cj中，根据各模块宽度与最小单位宽度的比值得到一系列阶梯空比例信息，再搜索定位起始码；对起始码和终止码之间的二维码字元模块进行解码，依次固定取3个阶梯及3个空，检查其是否符合二维码字元最小单位个数，若符合，则利用对应的映射表解码，若不符合，对该二维码字元模块进行纠错，依情况增加或降低对应模块的阶梯空比例，再重新执行上述步骤。最终，对解码结果进行校验，校验成功则解码成功，完成解码操作；若检验不成功，则需要在动态阈值范围内选定新的动态阈值，重复上述操作直至得到一个能成功解码的二维码。由此，提高了在二维码识读过程中，采用动态阈值的方法，解决了光照不均匀的界限分割问题，且能够在复杂背景图像中精准提取二维码图像以及光照条件不理想时依然能够高效精准识读二维码的适用性。
本领域技术人员可以理解的是，基于中央处理器的控制系统主要由扫码感应模块、背光模块、补光模块、图像采集模块、解码模块、主控模块组成。具体的，扫码感应模块位于移动支付设备，即扫码盒子上方，可感知用户的扫码动作，将此感知信息发送至主控模块，即主控芯片进行处理。主控芯片接受到用户扫码信号后，控制透明显示窗口关闭所有显示内容，透明显示窗口变成完成透明的玻璃，可允许二维码图像信息完成穿过透明显示窗口进行成像。感应模块包括但不限于以下几种形式中的一种或多种组合方式：红外距离感应模块；超声波距离感应模块；光线感应模块；电磁场感应模块。此外，还需要说明的是，扫码感应模块也可复用图像采集模块进行操作实现，通过图像采集模块监测移动变化或光线变化，感知扫码动作。
进一步地，透明显示窗口，可根据主控模块发送的指令显示相应的提示引导信息，也可根据主控模块发送的指令关闭所有显示，变为透明玻璃窗口，允许二维码图像光线正常通过，在图像采集模块中进行成像。透明显示窗口可选用透明液晶显示屏，例如透明TN-LCD、透明TFT-LCD、透明OLED显示屏、透明PDP显示屏等离子体显示屏等。
更进一步地，需要说明的是，背光模块，采用白色LED灯作为光源，通过导光板、光碗等方式形成均匀的白色光线，作为透明显示屏幕的背光源，同时也作为扫码补光获取清晰的二维码图像信息。补光模块，位于透明显示屏的上方，即与图像采集模块位于透明显示光窗的两侧。在识读纸质二维码时，作为辅助光照可获取清晰的二维码图像信息。图像采集模块可获取设备前方的图像信息，将采集到的二维码图像信息发送至解码模块。解码模块对获取的二维码图像信息进行图像处理，并根据解码算法进行二维码解码，将解码结果传输至主控模块。主控模块，实现设备各功能模块的运算、控制。
更进一步地，扫码前，设备透明显示窗口上显示扫描引导信息、金额提示信息或其他广告内容。当扫码感应模块感知到扫码支付动作时，关闭窗口显示信息，成为完全透明的扫码识读光窗，图像采集模块通过透明光窗获取前方的二维码信息，解码模块获得二维码图像信息进行解码，完成解码后，透明显示窗口显示结果信息、广告信息等内容。随后设备进入下一个扫码循环逻辑。由此，增加了移动支付设备应用的多样性与灵活性。
此外，还需要说明的是，本公开提出的一种基于机器视觉的复杂背景下二维码的识读方法中所涉及到的移动支付设备的本体还可以配置至少一个传感器。至少一个传感器用于采集并检测布设在多个场景的支持与输入设备及打印装置协同应用的移动支付设备的多个环境参数。当采集并监测的移动支付设备的多个环境参数大于预设多个环境参数，则移动支付设备可以通过内部的主控器完成提醒操作。提醒操作包括但不限于声光提醒或声音蜂鸣提醒。由此，提高了移动支付设备使用的交互性与体验性。进一步地，需要说明的是，本公开提出的基于机器视觉的复杂背景下二维码的识读方法中的传感器包括但不限于光传感器、直线位移传感器、角度位移传感器以及温湿传感器。由此，提高了针对实时操作系统下的电子终端在配置多传感器的移动支付设备识读与支付情况下的易用性。
此外，还需要说明的是，移动支付设备的结构可以为配置了液晶视窗与导光板视窗的共用窗口的脊柱式移动支付设备，且包括扫码灯碗。具体的，液晶视窗与导光板视窗的共用窗口具体包括共用窗口主体；主体上设置有固定窗口；固定窗口包括十字交叉设置的第一特征窗口和第二特征窗口；第一特征窗口和第二特征窗口上均设置有至少一个固定装置。固定装置包括卡钩和卡槽；卡钩和卡槽分别设置在第一特征窗口或第二特征窗口的相对两侧，能够通过卡槽将液晶视窗或导光板视窗卡住后，通过卡钩进行固定。此外，固定装置包括成对设置的卡钩，每对卡钩分别设置在第一特征窗口或第二特征窗口的相对两侧。卡钩包括固定连接部和卡接部；固定连接部与共用窗口主体固定连接；卡接部固定设置在固定连接部的一侧。卡接部远离主体的一侧设置有滑入斜面，能够方便导光板视窗或液晶视窗的进入。卡接部靠近共用窗口，即光板视窗或液晶视窗主体的一侧的侧面与固定连接部垂直。固定连接部为弹性材质。不同的卡钩上，卡接部与共用窗口主体之间的距离不同。第一特征窗口和第二特征窗口同轴设置。还包括第三特征窗口；第三特征窗口分别与第一特征窗口和第二特征窗口交叉连通；第三特征窗口上设置有至少一个固定装置。
此外，输入设备为与台式机协同操作的输入键盘、或PC一体机的输入键盘或具有计算功能与辅助支付操作功能的数字功能键盘。打印装置为打印机，具体包括：设置送纸入口和打印出口的机体，机体内设置有热敏打印模块，送纸入口与热敏打印模块之间设置有至少一个低温冷却腔，在热敏打印模块与打印出口之间通过传输机构依次连接有覆膜模块、冷压模块、裁剪模块。具体的，至少一个低温冷却腔用于利用冷空气降低纸张表面温度；热敏打印模块用于对纸张进行打印，将打印好的纸张传输给覆膜模块；覆膜模块用于接收热敏打印模块传输的纸张，并将纸张覆膜，将覆膜后的纸张传输给冷压模块；冷压模块用于接收覆膜模块传输的纸张，在覆膜表面对纸张进行冷压，并将冷压后的纸张输送给裁剪模块；裁剪模块用于接收冷压模块传输的纸张，按规格裁剪纸张，并将裁剪完成后的纸张传输给打印出口。此外，热敏打印模块与覆膜模块之间还设置有低温冷却腔。此外，机体上还设置有相互连接的显示模块、控制器，热敏打印模块、覆膜模块、冷压模块、裁剪模块均与控制器连接且将工作状态传输给控制器，控制器将工作状态传输给显示模块。
在一个实施例中，对布设在多个场景的支持与输入设备及打印装置协同应用的移动支付设备、控制移动支付设备的电子终端以及服务器集群三者进行连接包括：通过WIFI将布设在多个场景的至少一个移动支付设备与云服务器集群进行连接；通过蓝牙连接将布设在多个场景的至少一个移动支付设备与控制移动支付设备的电子终端进行连接。此外，还可以通过有线连接将布设在多个场景的至少一个移动支付设备与控制移动支付设备的电子终端进行连接。由此，提高了组网布局的多样性与多选择性。
步骤104，实时获取服务器集群发送的适用于移动支付设备支付的多个参数的数据，并根据多个参数的数据生成适用于移动支付设备的二维码图像。
此外，还需要说明的是，二维码图像还可以根据多个参数的数据结合商品码完成生成。进一步地，获取二维码内所需要的设定信息；将获取的设定信息转换成二进制的文件；对转换成的二进制文件进行结构链接模式所需要的信息分段处理，生成多个不同且具备结构链接特征字符的二进制信息，其中，对转换成的二进制文件进行结构链接模式所需要的信息分段处理中的分段数量可以根据设定信息的大小和应用预先在2-32这个范围为内进行二维码数值设置；将二进制文件拆解成对应的2-32的范围内的多个部分，并对拆分的每个部分的二进制文件的前后分别加上对应的起始和结束字符；为拆分的每个部分对应的编码部分提供逐个编码的原始二进制编码信息；将多个不同且具备结构链接特征字符的二进制信息，逐个进行加密或非加密的二维码编码，并进行相应排序，再结合获取商品码中的信息，按照上述原理进行信息转化，加密与排序，最终形成按照一定序列排序的多个二维码图像。
在一个实施例中，本公开提出的基于机器视觉的复杂背景下二维码的识读方法还包括：选择多个二维码图像作为训练样本集，并判断训练样本集的数量；若训练样本集的数量不足，则对样本集进行扩增至预设数量范围；创建CNN网络，并初始化CNN各参数值与初始化SVM各参数值；创建Gabor滤波器，并对样本图像Ii提取θ＝0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8方向，f＝0、f＝1、f＝2、f＝3、f＝4尺度，生成40个特征图；使用9*9网格对70*70大小的特征图进行降维至8*8，将特征图的首位相连组成一个特征向量Xi1＝[x11,x12,…x1,m]；按batch值大小对同一样本图像Ii进行排序并输入已创建的CNN网络，计算隐含层中每个卷积层、池化层的输出；其中，池化层的输出作为CNN网络提取特征部分Xi2＝[x21,x22,…x2,n]。
假设全部样本的强特征为X1＝[x11,x12,…x1,M]，CNN网络自动提取到的特征为X2＝[x21,x22,…x2,N]，并对特征向量X1、X2进行标准化处理与串行融合，获取融合特征W＝(w1,w2,…,wM+N)＝(αX1,βX2)。使用PCA法对W降维，获取最终的融合特征向量W*，并将融合将特征向量W*输入至SVM进行训练达到预设范围误差内或者训练至预设最大迭训练代次数。由此，为后续通过对二维码图像的特征自动提取快速识读二维码进行了良好的算法技术支持。
进一步地，本公开涉及的一种基于机器视觉的复杂背景下二维码的识读方法还包括：对生成的适用于移动支付设备的二维码图像进行截取，并在截取二维码图像作为支付图像后，对支付图像进行划分；根据大津算法，针对划分后的支付图像中的感兴趣区域进行粗分割操作，其中，需要说明的是，大津算法为利用阈值将原图像分成前景，背景两个图像。具体的，前景：用n1,csum,m1来表示在当前阈值下的前景的点数，质量矩，平均灰度；后景：用n2,sum-csum,m2来表示在当前阈值下的背景的点数，质量矩，平均灰度。当取最佳阈值时，背景应该与前景差别最大，关键在于如何选择衡量差别的标准，而衡量差别的标准就是大津算法，即最大类间方差，类间方差用sb表示，最大类间方差用fmax表示。进一步地，关于大津算法对噪音和目标大小敏感，它仅对类间方差为单峰的图像产生较好的分割效果。当目标与背景的大小比例悬殊时，类间方差准则函数可能呈现双峰或多峰，此时效果不好，但是大津算法是用时最少的。更进一步地，关于大津算法的公式推导为：记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。则图像的总平均灰度为：u＝w0*u0+w1*u1。前景和背景图象的方差可以通过以下公式进行表达：
g＝w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)＝w0*w1*(u0-u1)*(u0-u1)。需要说明的是，上述公式为方差公式。可参照概率论的g的公式也就是如下所述的sb的表达式。当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度t是最佳阈值sb＝w0*w1*(u1-u0)*(u0-u1)。
进一步地，通过使用梯度矢量流的主动轮廓模型对粗分割后的支付图像进行二次分割；对二次分割操作后获取的结果通过形状测试完成适用于支付图像的分割操作。
更进一步地，需要说明的是，对支付图像进行划分包括：基于训练样本的支付图像数据的统计学规律，选择分割频道；选取分割频道内的分割阈值，并对支付图像进行前景和背景分割；根据分割后的前景像素和背景像素进行联通区域分析，获取符合条件的编码区域，其中，对获取符合条件的编码区域以预设行以及预设列划分方式进行支付图像子块的划分，其中，预设行与预设列为等值的数值。由此，为后续快速识读支付图像提供必要的数据基础。
更进一步地，基于训练样本的支付图像数据的统计学规律，选择分割频道包括：基于训练样本的支付图像数据统计学规律，获取不同色彩频道中图像值的分布情况，从分布情况中获取图像值方差最大的色彩频道，形成分割频道。此外，还需要说明的是，选取分割频道内的分割阈值，并对支付图像进行前景和背景分割包括：通过大津算法中的最小化算法，获取分割阈值；获取支付图像的图像像素值；根据图像像素值以及分割阈值进行二分法分割，获取前景和背景。进一步地，需要说明的是，根据图像像素值以及分割阈值进行二分法分割，获取前景和背景包括：获取图像像素值高于分割阈值的区域，作为前景；获取图像像素值低于或等于分割阈值的区域，作为背景。
更进一步地，根据分割后的前景像素和背景像素进行联通区域分析，获取符合条件的编码区域包括：对分割后的前景像素和背景像素进行聚类，形成联通区域；选择联通区域中尺寸最大且符合先验位置信息的区域，形成符合条件的编码区域，并对符合条件的编码区域进行输出。更进一步地，需要说明的是，对二次分割操作后获取的结果通过形状测试完成适用于支付图像的分割操作包括：对二次分割操作后获取的结果通过面积测试完成适用于支付图像的图形分割操作，其中，面积测试为判断感兴趣区域的像素点个数是否符合预设正常编码面积的像素点阈值区间。此外，还需要说明的是，对二次分割操作后获取的结果通过形状测试完成适用于支付图像的分割操作包括：对粗分割操作后获取的结果通过畸形度测试完成适用于支付图像的图形分割操作，其中，畸形度测试为通过简易畸形度计算公式γ＝l/Np计算感兴趣区域的畸形度，其中，l为感兴趣区域的周长，Np为感兴趣区域的像素点个数；预先设置畸形度高阈值γT；当γ≤γT时，判定对粗分割操作后获取的结果通过畸形度测试；当γ＞γT时，基于梯度矢量流的主动轮廓模型的分割方法对感兴趣区域进行二次粗分割操作，并对二次粗分割操作后获取的结果通过形状测试完成适用于支付图像的分割操作。
步骤106，将通过至少一个测距传感器针对生成的二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，每个数据组包含相同数量的测距数据点。
此外，需要说明的是，本公开提供的一种基于机器视觉的复杂背景下二维码的识读方法还可以对二维码图像与身份证图像的结合图像进行识读。具体的，对二维码图像与获取的身份证图像进行结合的具体步骤为：获取待融合的二维码图像与身份证图像；确定二维码图像的alpha图像；通过alpha图像调节二维码图像的透明度，以获得前景图像；通过alpha图像调节身份证图像的透明度，以获得背景图像；融合前景图像和背景图像。进一步地，获取待融合的二维码图像和身份证图像之前，还包括：调整二维码图像或身份证图像的尺寸，以使二维码图像叠加在身份证图像的预设位置处。
此外，确定二维码图像的alpha图像包括：通过图像编码处理方法确定二维码图像的alpha图像；通过图像编码处理方法确定二维码图像的alpha图像包括：通过第一OpenCV函数读取二维码图像，以转换二维码图像为第一矩阵；通过第二OpenCV函数分离第一矩阵，以获得alpha图像通道矩阵；根据alpha图像通道矩阵确定alpha图像。更进一步地，通过alpha图像调节二维码图像的透明度，以获得前景图像，包括：通过第二OpenCV函数分离第一矩阵，以获得第一RGB图像通道矩阵；通过第三OpenCV函数点乘第一RGB图像通道矩阵和alpha图像通道矩阵，获得前景矩阵；根据前景矩阵确定前景图像。此外，还需要说明的是，通过alpha图像调节身份证图像的透明度，以获得背景图像，包括：计算alpha像素逆矩阵；通过第一OpenCV函数读取身份证图像，以转换身份证图像为第二矩阵；通过第二OpenCV函数分离第二矩阵，以获得第二RGB图像通道矩阵；通过第三OpenCV函数点乘第二RGB图像通道矩阵和alpha像素逆矩阵，获得背景矩阵；根据背景矩阵确定背景图像。更进一步地，融合前景图像和背景图像，包括：前景矩阵和背景矩阵相加，获得融合图像矩阵；通过第四OpenCV函数合并融合图像矩阵，以获得融合后的图像。将通过至少一个测距传感器针对生成的二维码图像结合获取的身份证图像的融合后的图像提取连续测距数据按照对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，每个数据组包含相同数量的测距数据点。由此，提高了移动支付设备读取二维码的适用性。
此外，还需要说明的是，对每个数据组内的测距数据点进行分类，以分为第一测距采样点和第二测距采样点包括：从每个数据组中按照选取规则选取一个或多个测距数据点作为第一测距采样点，其余测距数据点作为第二测距采样点，同时，每个数据组内包含相同数量的关键测距采样点。需要说明的是，选取规则包括以下至少任一项：从每个数据组中选取有效的距离测量的测距数据点作为第一测距采样点，其中，有效的距离测量满足以下条件：超过预设距离读数数据、目标距离被测量到或测量信号在预设范围内；确定在每个数据组中与其他测距数据点之间的距离为超过预设距离阈值的测距数据点，以作为第一测距采样点。
步骤108，当监测到支付事件被触发时，判断移动支付设备的初始系统是否支持多形式支付系统。其中，多形式支付系统支持扫码支付与非接触式刷卡支付，多形式支付系统包括封闭式支付系统与开放式支付系统。需要说明的是，封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统。
进一步地，可以理解的是，封闭式支付系统，例如零售商店里的储蓄系统，消费者可以为之后的使用存一笔钱，它们以储值卡(虚拟储值卡或现实储值卡)为基础，只能在一家店扣抵，一个搭配的移动应用程序能让顾客扣抵储值的钱。使用时，为在销售端点出示QR码或二维码，使用者可以无限储值卡片，只存入想花在特定商家的钱，避免使用者的金融信息和银行帐户曝光，对使用者来说也是为特定类型消费编列预算的有效方式。例如，食品杂货或餐厅，商家通常将顾客忠诚度与封闭式支付系统，例如，封闭式支付卡片做结合，让顾客持续回流。此外，开放式支付系统，例如零售商店里的储蓄系统，餐厅或者食品杂货点的储蓄系统，消费者可以为之后的使用存一笔钱，它们以储值卡(虚拟储值卡或现实储值卡)为基础，能在多家店扣抵，搭配的移动应用程序能让顾客扣抵储值的钱。使用时，为在销售端点出示QR码或二维码，使用者可以无限储值卡片，只存入想花在特定商家的钱，有利于使用者的金融信息和银行帐户在多个支付场景以及支付位置进行兼容与数据共享，对使用者来说也是为特定类型消费编列预算的有效方式。例如，食品杂货或餐厅，商家通常将顾客消费置换度与开放式支付系统，例如，开放式支付卡片做结合，让顾客综合消费回流。
步骤110，若支持多形式支付系统并监测到第一测距采样点时，接收使用者通过扣扫方式完成的识读操作。此外，还需要说明的是，本公开提出的基于机器视觉的复杂背景下二维码的识读方法还包括：通过液晶视窗与导光板视窗的共用窗口完成支付显示。由此，提高了通过精准与快捷识读二维码后的支付的便捷性与易用性。需要说明的是，其中，液晶视窗与导光板视窗的共用窗口用来显示具体的支付金额、支付状态(支付状态包括正在支付中，支付成功或支付失败)。此外，还需要说明的是，当液晶视窗与导光板视窗的共用窗口不进行支付显示使用时，则用于播放云服务器推送的广告信息与所在场景的宣传内容。由此，达到了液晶视窗与导光板视窗的共用窗口为多功能且灵活高效操作与显示支付的有益效果。
具体的，若支持多形式支付系统并监测到第一测距采样点时，接收使用者通过扣扫方式完成的识读操作包括：建立收银商品特征与收银商品价格之间的映射关系；根据映射关系，获取各商品中的商品价格以及针对当前支付图像对应商品的价格；将当前支付图像对应商品的价格完成收银操作。其中，根据映射关系，获得各商品中的商品价格，并进行累加，获得当前支付图像对应商品的价格。可以理解的是，进行累加的各商品价格为预先存储的，也可以根据用户购物的历史数据通过深度学习快速分析并获取各商品价格。需要说明的是，为了增加用户体验性，对完成收银操作的数据，以及完成状态进行展示。此外，还需要说明的是，扣扫方式为使用者手持电子终端，将电子终端显示屏面与移动支付设备二维码扫描窗口进行正面朝向。本技术领域人员可以理解的是，通过扣扫方式可以有效地实现移动支付设备内置的双目摄像头或至少一个传感器地有效感应，为高效支付提供技术支撑。
在一个实施例中，需要说明的是，本公开涉及的一种基于机器视觉的复杂背景下二维码的识读方法还包括：在监测到支付事件被触发后，当电子终端处于充电时，则将支付图像从图片库中删除，并将电子终端内置系统中的默认图片设置为提示图像；当电子终端当前的电量低于预设电量阈值时，将电子终端内置系统中的默认图片设置为提示图像。其中，提示图像为移动支付设备的关机低电提示图。此外，还包括：在预设时间段内获取电子终端屏幕的光照强度以及通过电子终端的屏幕反射出去的光照强度，构建针对电子终端的屏幕光照强度数据库以及针对电子终端的屏幕反射光照强度数据库。由此，可以根据不同场景，不同移动支付设备型号适配相应的光照强度快速、精准地完成支付操作。
为了更加清楚与准确地理解并应用本公开涉及的一种基于机器视觉的复杂背景下二维码的识读方法，结合图2进行以下示例，需要说明的是，本公开所保护的范围不限于以下示例。
具体的，步骤201至步骤208依次为：接收多个图像；对图像划分N*N个子块，通过大津算法进行粗分割操作，判断感兴趣区域是否符合编码基本形态，若感兴趣区域符合编码基本形态，则将感兴趣区域的图像送至预设的特征模型完成支付图像的特征提取；若感兴趣区域不符合编码基本形态，则基于梯度矢量流的主动轮廓模型进行二次分割操作后，再判断感兴趣区域是否符合编码基本形态，若感兴趣区域符合编码基本形态，则将感兴趣区域的图像送至预设的特征模型完成支付图像的特征提取；若感兴趣区域不符合编码基本形态，则对支付图像中的杂质进行剔除操作。
可以理解的是，对接收的支付图像进行划分；根据大津算法，针对划分后的支付图像中的感兴趣区域进行粗分割操作以及二次分割操作；对二次分割操作后获取的结果通过形状测试完成适用于支付图像分割操作。具体的，针对支付图像，本公开首先采用大津算法对支付图像进行粗分割以及通过梯度矢量流的主动轮廓模型对粗分割的支付图像进行二次分割，获得无噪音，便于识读的支付图像；然后对以上分割的结果进行形状测试。
需要说明的是，测试条件为：面积测试。ROI(Region Of Interest，感兴趣区域)的像素点个数Np，即ROI面积是否符合正常编码面积的范围[Nmin,Nmax]之内；畸形度测试。通过简易畸形度计算公式γ＝l/Np计算ROI区域的畸形度，式中l为ROI的周长，设有畸形度高阈值γT，当γ≤γT时测试通过。进一步地，假设测试条件通过，则ROI区域为支付图像，进入特征提取模块；若测试条件不通过的ROI区域，即有可能是存在噪音或者杂质的支付图像，则基于梯度矢量流的主动轮廓模型的分割方法对ROI区域进行二次分割，然后对二次分割结果进行形状测试，测试条件如同上述所述。其中，本技术领域人员可以理解的是，测试不通过则ROI为杂质，直接丢弃；测试通过的ROI区域为支付图像，进入预设特征提取模块对支付图像进行特征提取。
本技术领域人员可以理解的是，经典的主动轮廓模型往往在选取初始轮廓曲线时，出现一定的劣势，例如会距离目标曲线较远，不能收敛于目标曲线，此外，对呈凹陷状的边缘收敛效果也不好。针对以上问题，对传统主动轮廓模型进行改良，提出了基于梯度矢量流的主动轮廓模型。其中，基于梯度矢量流的主动轮廓模型代替传统模型中高斯势能场，其数学理论基础是电磁场中的亥姆霍兹定理。对比高斯势能场，基于梯度矢量流的场得到整幅图像的梯度矢量图，因此外力场的作用范围更大。这也表示说，即使选定的初始轮廓远离目标轮廓，经过不断逼近，最终也会收敛至目标轮廓。同时，外力作用范围增大后，目标轮廓处凹陷部分的外力作用增大，从而使得边界可以收敛至凹陷部分。
本发明提供的一种基于机器视觉的复杂背景下二维码的识读方法，该方法首先进行组网，针对二维码图像，采用大津算法对其进行粗分割以及二次分割，对二次分割操作后获取的结果通过形状测试完成适用于二维码图像的分割操作，并可以通过深度学习达到对二维码图像进行快速的特征提取，在接收到服务器发送的支付信息后，截取二维码图像作为支付图像，当监测到支付事件被触发时，判断移动支付设备的初始系统是否支持多形式支付系统，若支持多形式支付系统并监测到第一测距采样点时，启动并接收使用者通过扣扫方式完成的识读操作。此外，还通过液晶视窗与导光板视窗的共用窗口完成支付显示，甚至还可以通过适用于二维码识读的双摄像头双向360°全角度检测光线变化，且提高检测的高效性，以便通过中央处理器触发液晶屏完成显示内容的变化操作。具体的，当感知到前方有二维码时，则清除透明屏显示内容，将显示屏变为透明玻璃便于识读二维码。此外，可通过算法优化处理，基于第一个全面屏或者屏幕显示内容的同时识读二维码内容以及第二个全面屏或者屏幕显示内容的同时识读人脸信息。进一步地，还可以基于机器视觉的复杂背景下，多个场景变化光线环境中，对支持多形式支付系统的布网环境下高效、精准、快捷地针对二维码图像实现图像识读的操作，进而快速，高效灵活地完成后续的支付操作，且具有安全性与适用性。
基于同一发明构思，还提供了一种基于机器视觉的复杂背景下二维码的识读装置。由于此装置解决问题的原理与前述一种基于机器视觉的复杂背景下二维码的识读方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。
如图3所示，为一个实施例中的一种基于机器视觉的复杂背景下二维码的识读装置的结构示意图。该基于机器视觉的复杂背景下二维码的识读装置10包括：组网与连接模块100、获取与图像生成模块200、分类模块300、判断模块400和扣扫识读模块500。
其中，组网与连接模块100用于对布设在多个场景的配置CCD传感器、两个全面屏、与两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的移动支付设备、控制移动支付设备的电子终端以及服务器集群三者进行连接，其中，支持与输入设备及所述打印装置协同应用的移动支付设备包括两个适用于二维码识读的摄像头，两个适用于二维码识读的摄像头用于双向实时感知360°全角度的光线变化，以便通过中央处理器触发液晶屏完成显示内容的变化操作，全面屏为全透明显示屏，移动支付设备的适用于二维码识读的摄像头和其他光线或图像感知功能模块设置于全透明显示屏下，移动支付设备的适用于二维码识读的摄像头或其他光线或图像感知功能模块直接透过全面屏对光线或图像实现感知；获取与图像生成模块200用于实时获取服务器集群发送的适用于移动支付设备识读的多个参数的数据，并根据多个参数的数据生成适用于移动支付设备的二维码图像；分类模块300用于将通过至少一个测距传感器针对生成的二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，每个数据组包含相同数量的测距数据点；判断模块400用于当监测到支付事件被触发时，判断移动支付设备的初始系统是否支持多形式支付系统，其中，多形式支付系统支持扫码支付与非接触式刷卡支付，多形式支付系统包括封闭式支付系统与开放式支付系统，封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统，开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；扣扫识读模块500用于若支持多形式支付系统并监测到第一测距采样点时，接收使用者通过扣扫方式完成的识读操作。
本发明提供的一种适用于双屏双摄像头的透视型二维码识读装置，该装置首先进行组网，针对二维码图像，采用大津算法对其进行粗分割以及二次分割，对二次分割操作后获取的结果通过形状测试完成适用于二维码图像的分割操作，并可以通过深度学习达到对二维码图像进行快速的特征提取，在接收到服务器发送的支付信息后，截取二维码图像作为支付图像，当监测到支付事件被触发时，判断移动支付设备的初始系统是否支持多形式支付系统，若支持多形式支付系统并监测到第一测距采样点时，启动并接收使用者通过扣扫方式完成的识读操作。此外，还通过液晶视窗与导光板视窗的共用窗口完成支付显示，甚至还可以通过适用于二维码识读的双摄像头双向360°全角度检测光线变化，以便通过中央处理器触发液晶屏完成显示内容的变化操作，且提高检测的高效性。具体的，当感知到前方有二维码时，则清除透明屏显示内容，将显示屏变为透明玻璃便于识读二维码。此外，可通过算法优化处理，基于第一个全面屏或者屏幕显示内容的同时识读二维码内容以及第二个全面屏或者屏幕显示内容的同时识读人脸信息。进一步地，还可以基于机器视觉的复杂背景下，多个场景变化光线环境中，对支持多形式支付系统的布网环境下高效、精准、快捷地针对二维码图像实现图像识读的操作，进而快速，高效灵活地完成后续的支付操作，且具有安全性与适用性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。为了示例和描述的目的已经给出了以上描述。此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于机器视觉的复杂背景下二维码的识读方法，其特征在于，包括以下步骤：
对布设在多个场景的配置CCD传感器、两个全面屏、与所述两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的所述移动支付设备、控制所述移动支付设备的电子终端以及服务器集群三者进行连接，其中，支持与所述输入设备及所述打印装置协同应用的所述移动支付设备包括两个适用于二维码识读的摄像头，所述两个适用于二维码识读的摄像头用于双向实时感知360°全角度的光线变化，以便通过所述中央处理器触发液晶屏完成显示内容的变化操作，所述全面屏为全透明显示屏，所述移动支付设备的适用于二维码识读的所述摄像头和其他光线或图像感知功能模块设置于所述全透明显示屏下，所述移动支付设备的适用于二维码识读的所述摄像头或其他光线或图像感知功能模块直接透过所述全面屏对光线或图像实现感知；
实时获取所述服务器集群发送的适用于所述移动支付设备识读的多个参数的数据，并根据所述多个参数的数据生成适用于所述移动支付设备的二维码图像；
将通过至少一个测距传感器针对生成的所述二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，所述每个数据组包含相同数量的测距数据点；
当监测到支付事件被触发时，判断所述移动支付设备的初始系统是否支持多形式支付系统，其中，所述多形式支付系统支持扫码支付与非接触式刷卡支付，所述多形式支付系统包括封闭式支付系统与开放式支付系统，所述封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统，所述开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；
若支持所述多形式支付系统并监测到所述第一测距采样点时，接收使用者通过扣扫方式完成的识读操作。
2.根据权利要求1所述的基于机器视觉的复杂背景下二维码的识读方法，其特征在于，所述对布设在多个场景的支持与输入设备及打印装置协同应用的移动支付设备、控制所述移动支付设备的电子终端以及服务器集群三者进行连接包括：通过WIFI将布设在多个场景的至少一个移动支付设备与云服务器集群进行连接；
通过蓝牙连接将布设在多个场景的所述至少一个移动支付设备与控制所述移动支付设备的所述电子终端进行连接。
3.根据权利要求1所述的基于机器视觉的复杂背景下二维码的识读方法，其特征在于，还包括：获取所述移动支付设备中的多个协议栈对应的能力值以及与所述能力值的最大值的协议栈当前绑定的信道标识；
根据获取到的所述信道标识选择相应的信道；
通过选择的所述信道完成适用于所述移动支付设备的支付操作。
4.根据权利要求1所述的基于机器视觉的复杂背景下二维码的识读方法，其特征在于，还包括：选择多个二维码图像作为训练样本集，并判断所述训练样本集的数量；
若所述训练样本集的数量不足，则对样本集进行扩增至预设数量范围；
创建CNN网络，并初始化CNN各参数值与初始化SVM各参数值；
创建Gabor滤波器，并对样本图像Ii提取θ＝0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8方向，f＝0、f＝1、f＝2、f＝3、f＝4尺度，生成40个特征图；
使用9*9网格对70*70大小的特征图进行降维至8*8，将特征图的首位相连组成一个特征向量Xi1＝[x11,x12,…x1,m]；
按batch值大小对同一样本图像Ii进行排序并输入已创建的所述CNN网络，计算隐含层中每个卷积层、池化层的输出；其中，所述池化层的输出作为所述CNN网络提取特征部分Xi2＝[x21,x22,…x2,n]；
假设全部样本的强特征为X1＝[x11,x12,…x1,M]，所述CNN网络自动提取到的特征为X2＝[x21,x22,…x2,N]，并对特征向量X1、X2进行标准化处理与串行融合，获取融合特征W＝(w1,w2,…,wM+N)＝(αX1,βX2)；
使用PCA法对W降维，获取最终的融合特征向量W*，并将所述融合将特征向量W*输入至所述SVM进行训练达到预设范围误差内或者训练至预设最大迭训练代次数。
5.根据权利要求1所述的基于机器视觉的复杂背景下二维码的识读方法，其特征在于，还包括：在预设时间段内获取所述电子终端屏幕的光照强度以及通过所述电子终端的屏幕反射出去的光照强度，构建针对所述电子终端的屏幕光照强度数据库以及针对所述电子终端的屏幕反射光照强度数据库。
6.根据权利要求1所述的基于机器视觉的复杂背景下二维码的识读方法，其特征在于，还包括：对生成的适用于所述移动支付设备的所述二维码图像进行截取，并在截取所述二维码图像作为支付图像后，对所述支付图像进行划分；
根据大津算法，针对划分后的所述支付图像中的感兴趣区域进行粗分割操作；
通过使用梯度矢量流的主动轮廓模型对粗分割后的所述支付图像进行二次分割；
对二次分割操作后获取的结果通过形状测试完成适用于所述支付图像的分割操作。
7.根据权利要求6所述的基于机器视觉的复杂背景下二维码的识读方法，其特征在于，所述对所述支付图像进行划分包括：基于训练样本的所述支付图像数据的统计学规律，选择分割频道；
选取所述分割频道内的分割阈值，并对所述支付图像进行前景和背景分割；
根据分割后的前景像素和背景像素进行联通区域分析，获取符合条件的编码区域，其中，对获取符合条件的编码区域以预设行以及预设列划分方式进行所述支付图像子块的划分，其中，所述预设行与所述预设列为等值的数值。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种适用于双屏双摄像头的透视型二维码识读装置，其特征在于，所述装置包括：
组网与连接模块，用于对布设在多个场景的配置CCD传感器、两个全面屏、与所述两个全面屏相连接的外壳体、适用于二维码识读的双摄像头与基于中央处理器的控制系统的移动支付设备进行组网，并对布设在多个场景的支持与输入设备及打印装置协同应用的所述移动支付设备、控制所述移动支付设备的电子终端以及服务器集群三者进行连接，其中，支持与所述输入设备及所述打印装置协同应用的所述移动支付设备包括两个适用于二维码识读的摄像头，所述两个适用于二维码识读的摄像头用于双向实时感知360°全角度的光线变化，以便通过所述中央处理器触发液晶屏完成显示内容的变化操作，所述全面屏为全透明显示屏，所述移动支付设备的适用于二维码识读的所述摄像头和其他光线或图像感知功能模块设置于所述全透明显示屏下，所述移动支付设备的适用于二维码识读的所述摄像头或其他光线或图像感知功能模块直接透过所述全面屏对光线或图像实现感知；
获取与图像生成模块，用于实时获取所述服务器集群发送的适用于所述移动支付设备识读的多个参数的数据，并根据所述多个参数的数据生成适用于所述移动支付设备的二维码图像；
分类模块，用于将通过至少一个测距传感器针对生成的所述二维码图像提取的连续测距数据按对应的序列的相邻关系分组为多个数据组，并对每个数据组内的测距数据点进行分类，以分为第一测距采样点与第二测距采样点，其中，所述每个数据组包含相同数量的测距数据点；
判断模块，用于当监测到支付事件被触发时，判断所述移动支付设备的初始系统是否支持多形式支付系统，其中，所述多形式支付系统支持扫码支付与非接触式刷卡支付，所述多形式支付系统包括封闭式支付系统与开放式支付系统，所述封闭式支付系统以预设单一场景、预设单一支付位置，结合虚拟储值卡或现实储值卡组成的支付系统，所述开放式支付系统以预设至少两个场景、至少两个支付位置，结合虚拟储值卡或现实储值卡组成的支付系统；
扣扫识读模块，用于若支持所述多形式支付系统并监测到所述第一测距采样点时，接收使用者通过扣扫方式完成的识读操作。
CN201811511576.9A 2018-12-11 2018-12-11 基于机器视觉的复杂背景下二维码的识读方法和装置 Withdrawn CN111311226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811511576.9A CN111311226A (zh) 2018-12-11 2018-12-11 基于机器视觉的复杂背景下二维码的识读方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811511576.9A CN111311226A (zh) 2018-12-11 2018-12-11 基于机器视觉的复杂背景下二维码的识读方法和装置

Publications (1)

Publication Number Publication Date
CN111311226A true CN111311226A (zh) 2020-06-19

Family

ID=71146701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811511576.9A Withdrawn CN111311226A (zh) 2018-12-11 2018-12-11 基于机器视觉的复杂背景下二维码的识读方法和装置

Country Status (1)

Country Link
CN (1) CN111311226A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205166A (zh) * 2021-04-02 2021-08-03 领悦数字信息技术有限公司 用于生成图形编码的方法和系统
CN114049107A (zh) * 2021-11-22 2022-02-15 深圳市智百威科技发展有限公司 一种高效支付收付款系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205166A (zh) * 2021-04-02 2021-08-03 领悦数字信息技术有限公司 用于生成图形编码的方法和系统
CN114049107A (zh) * 2021-11-22 2022-02-15 深圳市智百威科技发展有限公司 一种高效支付收付款系统及方法
CN114049107B (zh) * 2021-11-22 2022-08-05 深圳市智百威科技发展有限公司 一种支付收付款系统及方法

Similar Documents

Publication Publication Date Title
CN111311226A (zh) 基于机器视觉的复杂背景下二维码的识读方法和装置
CN111311244A (zh) 基于qr码的被动扫码方法和装置
CN111311233A (zh) 基于多触发模式的被动扫码方法和装置
CN111310492A (zh) 适用于可调光源的屏下式二维码识读方法和装置
CN111311227A (zh) 适用于屏下式生物特征与二维码识读的方法和装置
CN111311248A (zh) 低功耗屏下式识读二维码的方法和装置
CN111311229A (zh) 基于汉信码的被动扫码方法和装置
CN111311225A (zh) 基于光模块加密的屏下式支付方法和装置
CN111311241A (zh) 基于场景感知的二维码识读方法和装置
CN109816393B (zh) 屏下生物特征识别验证方法和装置
CN111311239A (zh) 适用于双屏双摄像头的透视型二维码识读方法和装置
CN111310499A (zh) 基于光电传感器的屏下识读二维码的方法和装置
CN111310496A (zh) 自适应补光的屏下式二维码识读方法和装置
CN111311240A (zh) 应用于ios系统的多用户无障碍扫码支付的方法和装置
CN111310494A (zh) 基于双屏显示的屏下式识读二维码的方法和装置
CN111310493A (zh) 基于多传感器的屏下识读二维码的方法和装置
CN111310501A (zh) 适用于全面屏下的二维码识读方法和装置
CN111311223A (zh) 应用于安卓系统的多用户无障碍扫码支付的方法和装置
CN111311243A (zh) 适用于多种视频通信方式的扣扫扫码方法和装置
CN111311242A (zh) 适用于屏下式快速识读二维码的方法和装置
CN111311245A (zh) 适用于多通信方式的扣扫扫码方法和装置
CN111311235A (zh) 识别票据的多触发模式的扣扫扫码方法和装置
CN111311238A (zh) 适用于多种音频通信方式的扣扫扫码方法和装置
CN111311224A (zh) 识别票据的多触发模式的挥动扫码方法和装置
CN111311237A (zh) 人脸与条码双重识读的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200619

WW01 Invention patent application withdrawn after publication