CN112799511A - 图形码生成模型的训练方法、装置、电子设备及存储介质 - Google Patents
图形码生成模型的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112799511A CN112799511A CN202110116749.2A CN202110116749A CN112799511A CN 112799511 A CN112799511 A CN 112799511A CN 202110116749 A CN202110116749 A CN 202110116749A CN 112799511 A CN112799511 A CN 112799511A
- Authority
- CN
- China
- Prior art keywords
- graphic code
- resource transfer
- code generation
- generation model
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 title claims abstract description 31
- 238000012546 transfer Methods 0.000 claims abstract description 163
- 230000009471 action Effects 0.000 claims abstract description 80
- 230000001960 triggered effect Effects 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 5
- 238000003909 pattern recognition Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 30
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
- G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
- G06Q20/327—Short range or proximity payments by means of M-devices
- G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种图形码生成模型的训练方法、装置、电子设备及存储介质，属于互联网技术领域。方法包括：响应于触发了资源转移图形码生成指令，获取传感器采集的第一传感器数据；获取摄像头采集的第一图像；基于资源转移图形码对应的扫描结果，分别标注第一传感器数据的样本类型和第一图像的样本类型，得到动作识别样本和扫码识别样本；基于动作识别样本和扫码识别样本，对图形码生成模型进行更新。通过上述方案，在使用图形码生成模型的过程中，对图形码生成模型进行更新，使该图形码生成模型能够符合用户的使用习惯，提高展示资源转移图形码的准确率。
Description
技术领域
本申请实施例涉及互联网技术领域，特别涉及一种图形码生成模型的训练方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的不断发展，越来越多的用户倾向于使用终端的移动支付功能进行线下支付。一般通过用户触发终端展示资源转移图形码，通过扫码设备扫描资源转移图形码完成支付。为了节约用户触发终端展示资源转移图形码所用的时间，终端通过图形码生成模型确定用户执行了目标动作，则终端展示资源转移图形码。
其中，该图形码生成模型为开发人员进行模型训练后，下发到终端中的。
发明内容
本申请实施例提供了一种图形码生成模型的训练方法、装置、电子设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种图形码生成模型的训练方法，所述方法包括：
响应于触发了资源转移图形码生成指令，获取传感器采集的第一传感器数据，所述第一传感器数据包括从识别到第一目标动作到收到资源转移图形码扫描结果之间的传感器数据，所述第一目标动作为用于触发获取所述第一采集传感器数据的动作；
获取摄像头采集的第一图像；
基于所述资源转移图形码对应的扫描结果，分别标注所述第一传感器数据的样本类型和所述第一图像的样本类型，得到动作识别样本和扫码识别样本；
基于所述动作识别样本和所述扫码识别样本，对图形码生成模型进行更新，所述图形码生成模型用于在检测到当前电子设备执行用于触发所述当前电子设备展示资源转移图形码的第二目标动作，且所述摄像头采集的图像中包括扫码设备时，触发所述当前电子设备展示资源转移图形码。
另一方面，本申请实施例提供了一种图形码生成模型的训练装置，其特征在于，所述装置包括：
第一获取模块，用于响应于触发了资源转移图形码生成指令，获取传感器采集的第一传感器数据，所述第一传感器数据包括从识别到第一目标动作到收到资源转移图形码扫描结果之间的传感器数据，所述第一目标动作为用于触发获取所述第一采集传感器数据的动作；
第二获取模块，用于获取摄像头采集的第一图像；
标注模块，用于基于所述资源转移图形码对应的扫描结果，分别标注所述第一传感器数据的样本类型和所述第一图像的样本类型，得到动作识别样本和扫码识别样本；
模型更新模块，用于基于所述动作识别样本和所述扫码识别样本，对图形码生成模型进行更新，所述图形码生成模型用于在检测到当前电子设备执行用于触发所述当前电子设备展示资源转移图形码的第二目标动作，且所述摄像头采集的图像中包括扫码设备时，触发所述当前电子设备展示资源转移图形码。
另一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的图形码生成模型的训练方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的图形码生成模型的训练方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述方面的各种可选实现方式中提供的图形码生成模型的训练方法。
在本申请实施例中，通过在使用资源转移图形码的过程中，将生成资源转移图形码的过程进行记录，通过资源转移图形码的识别结果，基于资源转移图形码生成过程中记录的传感器数据和图像，对图形码生成模型进行训练，从而在使用图形码生成模型的过程中，对图形码生成模型进行更新，使该图形码生成模型能够符合用户的使用习惯，提高展示资源转移图形码的准确率。
附图说明
图1是本申请实施例提供的图形码显示方法实施过程的原理图；
图2示出了本申请一个示例性实施例提供的图形码生成模型的训练方法的流程图；
图3示出了本申请一个示例性实施例提供的图形码生成模型的训练方法的流程图；
图4示出了本申请一个示例性实施例提供的图形码生成模型的训练方法的流程图；
图5示出了本申请一个实施例提供的图形码生成模型的训练装置的结构框图；
图6示出了本申请一个示例性实施例提供的电子设备的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了简化资源转移图形码显示流程，实现资源转移图形码无感显示(比如无感支付)，如图1所示，电子设备在工作状态下，获取传感器101采集到的传感器数据102，并基于传感器数据102进行动作识别。当识别出用户执行了目标动作103时，电子设备则进一步通过摄像头104进行图像采集，并对采集到的图形105进行扫码设备检测。当检测到图像105中包含扫码设备106，电子设备自动弹出显示资源转移图形码107。
整个资源转移图形码显示流程中，用户只需要执行目标动作，并将电子设备屏幕正对扫码设备，电子设备即能够自动触发显示资源转移图形码，无需用户开启应用程序并进入资源转移图形码展示入口，简化了资源转移图形码显示流程。
其中，对传感器数据和图像进行识别，根据两个识别结果来确定是否生成资源转移图形码的过程，是通过图形码生成模型实现的。相关技术中，图形码生成模型根据一次性训练完成得到的，这样训练得到的图形码生成模型与训练样本的匹配度比较高。但是，不同的用户展示资源转移图形码的动作习惯不尽相同，因此，通过预先收集的样本集无法完全覆盖电子设备的所有使用场景；并且，样本集中扫码设备的款式和外观也无法覆盖电子设备的所有款式和外观。这就造成训练的图形码生成模型无法覆盖所有的使用场景。对于用户的动作没有在目标动作之中，或者扫码设备与样本集中采集的扫码设备图片有差异的情况，识别的准确率下降。
为了提高图形码生成模型识别传感器数据和图像的准确率，本申请实施例通过在使用资源转移图形码的过程中，将生成资源转移图形码的过程进行记录，通过资源转移图形码的识别结果，基于资源转移图形码生成过程中记录的传感器数据和图像，对图形码生成模型进行训练，从而在使用图形码生成模型的过程中，对图形码生成模型进行更新，使该图形码生成模型能够符合用户的使用习惯，提高展示资源转移图形码的准确率。
为了提高图形码生成模型的准确率，在使用图形码生成模型的过程中，采集生成资源转移图形码过程中电子设备的传感器采集到的传感器数据和扫描资源转移图形码的扫码设备的图像，将该传感器数据和采集的图像作为图形码生成模型的训练样本，对该图形码生成模型进行模型训练，使得移图形码生成模型更精确地根据采集到的传感器数据和采集的图像生成资源转移图形码。请参考图2，其示出了本申请一个示例性实施例提供的图形码生成模型的训练方法的流程图。该方法包括如下步骤：
步骤201，响应于触发了资源转移图形码生成指令，电子设备获取传感器采集的第一传感器数据。
其中，该第一传感器数据包括从识别到第一目标动作到收到资源转移图形码扫描结果之间的传感器数据，该第一目标动作为用于触发获取该第一采集传感器数据的动作。
该传感器数据包括传感器从识别到第一目标动作到收到资源转移图形码扫描结果之间，传感器采集到的电子设备的状态数据。例如，电子设备的倾斜角度、倾斜方向、旋转角度、旋转方向等。
在本步骤中，电子设备触发了资源转移图形码生成指令时，开始记录传感器检测到的传感器数据。其中，第一目标动作包括识别到用户手动触发生成资源转移码，或者，识别到前置动作等。
在一些实现方式中，电子设备接收到对资源转移图形码生成按钮的触发操作，确定触发了资源转移图形码生成指令。在本实现方式中，电子设备中包括能够展示资源转移图形码的应用程序，响应于应用程序的图标被触发，电子设备展示应用程序的目标界面，该目标应用界面中展示资源转移图形码展示标签；响应于该资源转移图形码展示标签被触发，电子设备确定识别到资源转移图形码被触发。
相应的，在本实现方式中，电子设备通过识别用户对电子设备的点击操作识别资源转移图形码被触发，相应的，在一些实施例中，电子设备将识别到的点击操作确定为传感器数据。在一些实施例中，电子设备在通过资源转移图形码生成按钮识别资源转移图形码被触发时，不执行采集传感器数据的步骤，直接执行步骤202。
在一些实现方式中，电子设备在处于工作状态时，通过传感器持续采集传感器数据。电子设备通过该图形码生成模型对该传感器采集到的传感器数据进行动作识别；响应于识别出该第一目标动作，调用摄像头进行图像采集；通过该图形码生成模型对采集到的图像进行扫码设备检测，得到检测结果；响应于该检测结果指示该图像中包含扫码设备，确定触发资源转移图形码生成指令。
在本实现方式中，电子设备在工作状态下持续采集传感器数据，通过图形码生成模型对采集到的传感器数据进行动作识别，响应于识别到传感器数据中包括第一目标动作时，将从该第一目标动作开始的传感器数据记录为第一传感器数据。
其中，该图形码生成模型设置在智能传感集线器(Sensorhub)中，Sensorhub作为一种基于低功耗的微控制单元(MicroController Unit，MCU)和轻量级的实时操作系统(Real Time Operating System，RTOS)的软硬件解决方案，用于连接并处理各种传感器采集到的传感器数据。在一些实施例中，电子设备的系统级芯片(System on Chip，SoC)集成有MCU，其中，SoC上运行操作系统，而MCU上运行RTOS，MCU即对传感器采集到的传感器数据进行动作识别。
在本实现方式中，该第一目标动作并非界面元素触控操作，即并非在电子设备屏幕显示的用户界面上进行操作。可选的，该第一目标动作对对电子设备执行的手势动作。
其中，该第一目标动作为电子设备默认设置的触发动作，比如，第一目标动作是用户向扫码设备正常展示资源转移图形码之前的手势动作；或者，第一目标动作是由用户自定义的触发动作，比如，资源转移图形码前置展示动作是用户从若干候选动作中选取的特定手势动作。
在一些实施例中，电子设备中存储目标动作库，电子设备将第一传感器数据中识别的动作与目标动作库中的动作进行对比，响应于目标动作库中存在与第一传感器数据匹配的目标动作时，确定识别到了第一目标动作。
在本实现方式中，电子设备通过传感器采集触发本次资源转移图形码生成的第一目标动作。相应的，电子设备在通过传感器采集传感器数据时，将采集到的传感器数据记录在本地。响应于电子设备在本次操作下生成了资源转移图形码，将记录在本地的传感器数据确定为第一传感器数据。
需要说明的一点是，电子设备可以在亮屏状态下通过传感器采集传感器数据，在息屏状态下，不采集传感器数据。在本实现方式中，电子设备在亮屏的状态在采集传感器数据，节约了电子设备的能耗。
或者，电子设备还可以在开机状态下，亮屏或息屏均采集传感器数据，保证电子设备在任何情况下都能快速生成资源转移图形码。
其中，该资源转移图形码的形态为二维码或条形码等。该资源转移图形码为支付码、付款码、会员码、乘车码或收款码等。
步骤202，电子设备获取摄像头采集的第一图像。
在一种可能的实施方式中，电子设备中的MCU通过图形码生成模型识别出用户执行了第一目标动作时，向SoC发送中断，SoC即根据该中断指示摄像头开启并进行图像采集。
通常情况下，由于电子设备进行资源转移图形码展示时与扫码设备之间的距离较近(通常在10cm左右)，因此扫码设备在采集到图像中的显示尺寸较大。为了避免在无资源转移图形码展示需求的情况下，因电子设备误识别远端的扫码设备导致资源转移图形码误显示，在一种可能的实施方式中，响应于检测结果指示图像中包含扫码设备，电子设备进一步获取扫码设备在图像中的尺寸，当该尺寸大于尺寸阈值时，电子设备弹出显示资源转移图形码；当该尺寸小于尺寸阈值时，电子设备则不会显示资源转移图形码。比如，该尺寸阈值为200px×200px。
在一些实施例中，扫码设备的尺寸可以基于检测结果中扫码设备的边框(bounding box)确定。
由于屏幕展示的资源转移图形码需要正对扫码设备，因此电子设备通过屏幕一侧的前置摄像头进行图像采集；并且，为了提高后续扫码设备检测的成功率，摄像头连续采集多帧图像，或者，进行视频拍摄。在一些实施例中，电子设备检测采集到的图像中是否包括扫码设备、扫码设备的设备类型以及扫码设备在图像中的位置中的至少一种。响应于图像中包括扫码设备，且扫码设备的设备类型为指定类型或者扫码设备在目标位置才确定生成资源转移图形码。
相应的，响应于电子设备在本次操作下触发了资源转移图形码生成指令，将采集的多帧图像或视频确定为第一图像。
步骤203，电子设备基于该资源转移图形码对应的扫描结果，分别标注该第一传感器数据的样本类型和该第一图像的样本类型，得到动作识别样本和扫码识别样本。
样本类型包括正样本和负样本。在本步骤中，电子设备基于该资源转移图形码对应的扫描结果对第一传感器数据和第一图像进行样本类型标注，将标注了样本类型的第一传感器数据确定为动作识别样本，将标注了样本类型的第一图像确定的扫码识别样本。
其中，电子设备基于资源转移图形码是否扫描成功来确定标注的样本类型。相应的，响应于该资源转移图形码对应的扫描结果为扫描成功，电子设备将该第一传感器数据和该第一图像标注为正样本；或者，响应于该资源转移图形码对应的扫描结果为未扫描成功，电子设备将该第一传感器数据和该第一图像标注为负样本。
通常电子设备在展示资源转移图形码后，若资源转移图形码被扫描，电子设备中弹出资源转移图形码对应的扫描结果，电子设备对扫描结果进行分析，确定该资源转移图形码是否扫描成功。或者，若资源转移图形码在预设时长内未被扫描，电子设备确定资源转移图形码扫描失败。
其中，参见图3，该扫描结果为扫描成功包括该资源转移图形码被扫描，且接收到扫描成功消息；该扫描结果为未扫描成功包括未弹出资源转移图形码；或者，资源转移图形码弹出，但未被扫描；或者，资源转移图形码被扫描，接收到扫描失败消息。
相应的，电子设备展示资源转移图形码后，若资源转移图形码被成功扫描并识别，电子设备确定本次资源转移图形码识别成功，将本次生成资源转移图形码对应的第一传感器数据和第一图像标注为正样本。以及，若资源转移图形码未扫描成功，将本次生成资源转移图形码对应的第一传感器数据和第一图像标注为负样本。
步骤204，电子设备基于该动作识别样本和该扫码识别样本，对图形码生成模型进行更新。
其中，该图形码生成模型用于在检测到当前电子设备执行用于触发该当前电子设备展示资源转移图形码的第二目标动作，且该摄像头采集的图像中包括扫码设备时，触发该当前电子设备展示资源转移图形码。
在本步骤中，电子设备根据本次资源转移图形码对应的扫描结果对图形码生成模型的模型参数进行调整。在一些实施例中，该资源图形码生成模型包括动作识别网络和图像识别网络，相应的，在本步骤中，跟别对该动作识别网络的网络参数和图像识别网络的网络参数进行调整，得到调整后的图像识别网络。该过程通过以下步骤(A1)-(A3)实现，包括：
(A1)电子设备基于该动作识别样本的样本类型，通过反向传播方式对该图形码生成模型中的动作识别网络的网络参数进行更新。
在本步骤中，电子设备通过动作识别样本对动作识别网络的网络参数进行调整。在一些实施例中，电子设备基于该动作识别样本的样本类型，通过反向传播方式对该动作识别网络的网络参数进行调整。
(A 2)电子设备基于该扫码识别样本的样本类型，通过反向传播方式对该图形码生成模型中的图像识别网络的网络参数进行更新。
在本步骤中，电子设备通过扫码识别样本对图像识别网络的网络参数进行调整。在一些实施例中，电子设备基于该扫码识别样本的样本类型，通过反向传播方式对该图像识别网络的网络参数进行调整。
需要说明的一点是，电子设备可以先对动作识别网络的网络参数进行调整再对图像识别网络的参数进行调整。电子设备也可以先对图像识别网络的网络参数进行调整，再对动作识别网络的网络参数进行调整。电子设备还可以同时对图像识别网络的网络参数和动作识别网络的网络参数进行调整。即电子设备可以先执行步骤(A 1)再执行步骤(A2)，电子设备还可以先执行步骤(A2)再执行步骤(A1)，电子设备还可以同时执行步骤(A1)和步骤(A 2)。在本申请实施例中，对电子设备调整图像识别网络的网络参数和调整动作识别网络的网络参数的顺序不做具体限定。
(A 3)电子设备将更新后的动作识别网络和更新后的图像识别网络，替换图形码生成模型中的动作识别网络和图像识别网络。
在本步骤中，电子设备将图形码生成模型中的动作识别网络的网络参数更改为更新后的动作识别网络的网络参数，将图形码生成模型中的图像识别网络的网络参数更改为更新后的图像识别网络的网络参数，得到更新后的图形码生成模型。
需要说明的一点是，当电子设备在工作状态下再次采集到传感器数据时，通过更新后的图形码生成模型对该传感器数据进行识别。并继续执行步骤201-206对图形码生成模型进行更新。
该过程通过以下步骤(B1)-(B4)实现，包括：
(B1)电子设备获取该传感器采集的第二传感器数据。
其中，该第二传感器数据包括该传感器在目标时长内采集的数据。
本步骤与步骤201中，电子设备采集传感器数据的过程相似，再次不再赘述。
(B2)电子设备获取摄像头采集的第二图像。
本步骤与步骤202相似，再次不再赘述。
(B3)电子设备基于该第二传感器数据和该第二图像，通过更新后的图形码生成模型，确定生成资源转移图形码的目标概率。
在一些实施例中，电子设备仅通过更新后的图形码生成模型来识别第二传感器数据和第二图像，得到目标概率。
在一些实施例中，参见图4，电子设备中保留原始的图形码生成模型，在确定目标概率的过程中，分别使用新的图形码生成模型和原始的图形码生成模型进行预测，根据两个模型的预测结果确定目标概率。该过程通过以下步骤(B3-1)-(B3-3)实现，包括：
(B3-1)电子设备基于该第二传感器数据和该第二图像，通过原始的图形码生成模型确定生成资源转移图形码的第一概率。
在本步骤中，电子设备通过原始的图形码生成模型中的动作识别网络对采集到的传感器数据进行识别，识别到第二目标动作时，调用电子设备的摄像头，通过摄像头采集第二图像，对采集到的第二图像进行图像识别，基于图像识别结果，确定生成资源转移图形码的第一概率。
(B3-2)电子设备基于该第二传感器数据和该第二图像，通过更新后的图形码生成模型确定生成资源转移图形码的第二概率。
本步骤与步骤(B3-1)相似，再次不再赘述。
需要说明的一点是，电子设备可以先通过原始的图形码生成模型确定第一概率，再通过新的图形码生成模型确定第二概率。电子设备也可以先通过新的图形码生成模型确定第二概率，再通过原始的图形码生成模型确定第一概率。电子设备还可以同时通过原始的图形码生成模型确定第一概率，以及通过新的图形码生成模型确定第二概率。也即，电子设备先执行步骤(B3-1)，再执行步骤(B3-2)；或者，电子设备先执行步骤(B3-2)，再执行步骤(B3-1)；或者，电子设备同时执行步骤(B3-2)和步骤(B3-1)。在本申请实施例中，对步骤(B3-1)和步骤(B3-2)的执行顺序不做具体限定。
(B3-3)电子设备基于该第一概率和该第二概率确定该目标概率。
电子设备将第一概率和第二概率进行对比，确定第一概率和第二概率中较大的目标概率。
(B4)响应于该目标概率大于第一预设阈值，电子设备生成资源转移图形码。
在一些实施例中，响应于该目标概率大于第一预设阈值，电子设备确定本次识别结果为资源转移图形码被触发；响应于该目标概率不大于第一预设阈值，电子设备确定本次识别结果为资源转移图形码不被触发。
其中，第一预设阈值根据需要进行设置，在申请实施例中，对第一预设阈值的大小不做具体限定。
在一些实施例中，电子设备还分别根据第一概率和第二概率确定是否触发生成资源转移图形码。相应的，电子设备将第一概率与第二预设阈值进行对比，响应于第一概率大于第二预设阈值，电子设备确定原始的图形码生成模型的识别结果为资源转移图形码被触发；响应于第一概率不大于第二预设阈值，电子设备确定原始的图形码生成模型的识别结果为资源转移图形码不被触发。相似的，电子设备将第二概率与第三预设阈值进行对比，响应于第二概率大于第三预设阈值，电子设备确定新的图形码生成模型的识别结果为资源转移图形码被触发；响应于第二概率不大于第三预设阈值，电子设备确定新的图形码生成模型的识别结果为资源转移图形码不被触发。
其中，第二预设阈值和第三预设阈值相同或不同，并且，第二预设阈值和第三预设阈值根据需要进行设置，在申请实施例中，对第二预设阈值和第三预设阈值的大小不做具体限定。
响应于原始的图形码生成模型和新的图形码生成模型的识别结果相同，将该相同的识别确定为最终的识别结果；响应于原始图形码生成模型和新的图形码生成模型的识别结果不同，将概率较高的识别结果确定为最终的识别结果。
在本实现方式中，通过保留原始的图形码生成模型，在进行模型训练的过程中，通过原始的图形码生成模型和新的图形码生成模型共同进行预测，防止了直接将采集的正负样本对算法模型利用反向传播进行训练，得到新的图形码生成模型造成的有遗忘旧数据的问题，进而提高了模型的泛化性。
需要说明的一点是，在本申请实施例中，电子设备为终端或者服务器。在该电子设备为终端的情况下，终端直接通过上述步骤201-204更新终端中的图形码生成模型。在该电子设备为服务器的情况下，步骤201和步骤202分别为服务器接收终端发送的传感器数据和终端采集的图像，根据扫码识别结果确定传感器数据和终端采集的图像的样本类型，基于该样本类型对服务器中的图形码生成模型进行模型训练，将训练完成的图形码生成模型下发给终端。
在本申请实施例中，通过在使用资源转移图形码的过程中，将生成资源转移图形码的过程进行记录，通过资源转移图形码的识别结果，基于资源转移图形码生成过程中记录的传感器数据和图像，对图形码生成模型进行训练，从而在使用图形码生成模型的过程中，对图形码生成模型进行更新，使该图形码生成模型能够符合用户的使用习惯，提高展示资源转移图形码的准确率。
请参考图5，其示出了本申请一个实施例提供的图形码生成模型的训练装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该装置包括：
第一获取模块501，用于响应于触发了资源转移图形码生成指令，获取传感器采集的第一传感器数据，该第一传感器数据包括从识别到第一目标动作到收到资源转移图形码扫描结果之间的传感器数据，该第一目标动作为用于触发获取该第一采集传感器数据的动作；
第二获取模块502，用于获取摄像头采集的第一图像；
标注模块503，用于基于该资源转移图形码对应的扫描结果，分别标注该第一传感器数据的样本类型和该第一图像的样本类型，得到动作识别样本和扫码识别样本；
模型更新模块504，用于基于该动作识别样本和该扫码识别样本，对图形码生成模型进行更新，该图形码生成模型用于在检测到当前电子设备执行用于触发该当前电子设备展示资源转移图形码的第二目标动作，且该摄像头采集的图像中包括扫码设备时，触发该当前电子设备展示资源转移图形码。
在一些实施例中，该标注模块503，用于响应于该资源转移图形码对应的扫描结果为扫描成功，将该第一传感器数据和该第一图像标注为正样本；或者，
该标注模块503，用于响应于该资源转移图形码对应的扫描结果为未扫描成功，将该第一传感器数据和该第一图像标注为负样本。
在一些实施例中，该扫描结果为扫描成功包括该资源转移图形码被扫描，且接收到扫描成功消息；
该扫描结果为未扫描成功包括未弹出资源转移图形码；或者，资源转移图形码弹出，但未被扫描；或者，资源转移图形码被扫描，接收到扫描失败消息。
在一些实施例中，该模型更新模块504，用于基于该动作识别样本的样本类型，通过反向传播方式对该图形码生成模型中的动作识别网络的网络参数进行更新；以及，基于该扫码识别样本的样本类型，通过反向传播方式对该图形码生成模型中的图像识别网络的网络参数进行更新；将更新后的动作识别网络和更新后的图像识别网络，替换图形码生成模型中的动作识别网络和图像识别网络。
在一些实施例中，该装置还包括：
第一确定模块，用于接收到对资源转移图形码生成按钮的触发操作，确定触发资源转移图形码生成指令；
第二确定模块，用于通过该图形码生成模型对该传感器采集到的传感器数据进行动作识别；响应于识别出该第一目标动作，调用摄像头进行图像采集；通过该图形码生成模型对采集到的图像进行扫码设备检测，得到检测结果；响应于该检测结果指示该图像中包含扫码设备，确定触发资源转移图形码生成指令。
在一些实施例中，该装置还包括：
第三获取模块，用于获取该传感器采集的第二传感器数据；
第四获取模块，用于获取摄像头采集的第二图像；
第三确定模块，用于基于该第二传感器数据和该第二图像，通过更新后的图形码生成模型，确定生成资源转移图形码的目标概率；
生成模块，用于响应于该目标概率大于预设阈值，生成资源转移图形码。
在一些实施例，该第三确定模块，用于基于该第二传感器数据和该第二图像，通过原始的图形码生成模型确定生成资源转移图形码的第一概率；基于该第二传感器数据和该第二图像，通过更新后的图形码生成模型确定生成资源转移图形码的第二概率；基于该第一概率和该第二概率确定该目标概率。
在本申请实施例中，通过在使用资源转移图形码的过程中，将生成资源转移图形码的过程进行记录，通过资源转移图形码的识别结果，基于资源转移图形码生成过程中记录的传感器数据和图像，对图形码生成模型进行训练，从而在使用图形码生成模型的过程中，对图形码生成模型进行更新，使该图形码生成模型能够符合用户的使用习惯，提高展示资源转移图形码的准确率。
上述装置实施例中，各个模块或单元的功能实施过程可以参考上述方法实施例，本实施例在此不再赘述。
请参考图6，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。该电子设备600可以是智能手机、平板电脑、可穿戴式设备等。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、显示屏620和摄像头640。
处理器610可以包括一个或者多个处理核心。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏620所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器620包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据电子设备600的使用所创建的数据(比如音频数据、电话本)等。
显示屏620是用于进行图像显示的组件。该显示屏620可以为全面屏、异形屏、双面屏、折叠屏、柔性屏等等，本实施例对此不作限定。且除了具备显示功能外，显示屏620还可以具有触控功能，即显示屏620为触控显示屏。
摄像头640是用于进行图像采集的组件。可选的，该摄像头640可以为RGB摄像头或深度摄像头。本申请实施例中，显示屏620一侧设置有摄像头640(即前置摄像头)，该摄像头640用于采集显示屏620朝向一侧的图像。
除此之外，本领域技术人员可以理解，上述附图所示出的电子设备600的结构并不构成对电子设备600的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备600中还包括射频电路、传感器、音频电路、无线保真(Wireless Fidelity，WiFi)组件、电源、蓝牙组件等部件，在此不再赘述。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上各个实施例所述的图形码生成模型的训练方法。
本申请实施例提供了还一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述方面的各种可选实现方式中提供的图形码生成模型的训练方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图形码生成模型的训练方法，其特征在于，所述方法包括：
响应于触发了资源转移图形码生成指令，获取传感器采集的第一传感器数据，所述第一传感器数据包括从识别到第一目标动作到收到资源转移图形码扫描结果之间的传感器数据，所述第一目标动作为用于触发获取所述第一采集传感器数据的动作；
获取摄像头采集的第一图像；
基于所述资源转移图形码对应的扫描结果，分别标注所述第一传感器数据的样本类型和所述第一图像的样本类型，得到动作识别样本和扫码识别样本；
基于所述动作识别样本和所述扫码识别样本，对图形码生成模型进行更新，所述图形码生成模型用于在检测到当前电子设备执行用于触发所述当前电子设备展示资源转移图形码的第二目标动作，且所述摄像头采集的图像中包括扫码设备时，触发所述当前电子设备展示资源转移图形码。
2.根据权利要求1所述的方法，其特征在于，所述基于所述资源转移图形码对应的扫描结果，分别标注所述第一传感器数据的样本类型和所述第一图像的样本类型，得到动作识别样本和扫码识别样本，包括：
响应于所述资源转移图形码对应的扫描结果为扫描成功，将所述第一传感器数据和所述第一图像标注为正样本；或者，
响应于所述资源转移图形码对应的扫描结果为未扫描成功，将所述第一传感器数据和所述第一图像标注为负样本。
3.根据权利要求2所述的方法，其特征在于，所述扫描结果为扫描成功包括所述资源转移图形码被扫描，且接收到扫描成功消息；
所述扫描结果为未扫描成功包括未弹出资源转移图形码；或者，资源转移图形码弹出，但未被扫描；或者，资源转移图形码被扫描，接收到扫描失败消息。
4.根据权利要求2所述的方法，其特征在于，所述基于所述动作识别样本和所述扫码识别样本，对图形码生成模型进行更新，包括：
基于所述动作识别样本的样本类型，通过反向传播方式对所述图形码生成模型中的动作识别网络的网络参数进行更新；以及，
基于所述扫码识别样本的样本类型，通过反向传播方式对所述图形码生成模型中的图像识别网络的网络参数进行更新；
将更新后的动作识别网络和更新后的图像识别网络，替换图形码生成模型中的动作识别网络和图像识别网络。
5.根据权利要求1所述的方法，其特征在于，触发资源转移图形码生成指令，包括：
接收到对资源转移图形码生成按钮的触发操作，确定触发资源转移图形码生成指令；或者，
通过所述图形码生成模型对所述传感器采集到的传感器数据进行动作识别；响应于识别出所述第一目标动作，调用摄像头进行图像采集；通过所述图形码生成模型对采集到的图像进行扫码设备检测，得到检测结果；响应于所述检测结果指示所述图像中包含扫码设备，确定触发资源转移图形码生成指令。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述传感器采集的第二传感器数据；
获取摄像头采集的第二图像；
基于所述第二传感器数据和所述第二图像，通过更新后的图形码生成模型，确定生成资源转移图形码的目标概率；
响应于所述目标概率大于预设阈值，生成资源转移图形码。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第二传感器数据和所述第二图像，通过更新后的图形码生成模型，确定生成资源转移图形码的目标概率，包括：
基于所述第二传感器数据和所述第二图像，通过原始的图形码生成模型确定生成资源转移图形码的第一概率；
基于所述第二传感器数据和所述第二图像，通过更新后的图形码生成模型确定生成资源转移图形码的第二概率；
基于所述第一概率和所述第二概率确定所述目标概率。
8.一种图形码生成模型的训练装置，其特征在于，所述装置包括：
第一获取模块，用于响应于触发了资源转移图形码生成指令，获取传感器采集的第一传感器数据，所述第一传感器数据包括从识别到第一目标动作到收到资源转移图形码扫描结果之间的传感器数据，所述第一目标动作为用于触发获取所述第一采集传感器数据的动作；
第二获取模块，用于获取摄像头采集的第一图像；
标注模块，用于基于所述资源转移图形码对应的扫描结果，分别标注所述第一传感器数据的样本类型和所述第一图像的样本类型，得到动作识别样本和扫码识别样本；
模型更新模块，用于基于所述动作识别样本和所述扫码识别样本，对图形码生成模型进行更新，所述图形码生成模型用于在检测到当前电子设备执行用于触发所述当前电子设备展示资源转移图形码的第二目标动作，且所述摄像头采集的图像中包括扫码设备时，触发所述当前电子设备展示资源转移图形码。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至7任一所述的图形码生成模型的训练方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至7任一所述的图形码生成模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116749.2A CN112799511A (zh) | 2021-01-28 | 2021-01-28 | 图形码生成模型的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116749.2A CN112799511A (zh) | 2021-01-28 | 2021-01-28 | 图形码生成模型的训练方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112799511A true CN112799511A (zh) | 2021-05-14 |
Family
ID=75812306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110116749.2A Pending CN112799511A (zh) | 2021-01-28 | 2021-01-28 | 图形码生成模型的训练方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112799511A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444527A (zh) * | 2022-01-30 | 2022-05-06 | 支付宝(杭州)信息技术有限公司 | 一种扫码识别方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038462A (zh) * | 2017-04-14 | 2017-08-11 | 广州机智云物联网科技有限公司 | 设备控制操作方法及系统 |
| CN107633164A (zh) * | 2017-09-28 | 2018-01-26 | 珠海市魅族科技有限公司 | 支付控制方法、装置、计算机装置及计算机可读存储介质 |
| CN107844257A (zh) * | 2017-11-06 | 2018-03-27 | 广东欧珀移动通信有限公司 | 信息显示方法、装置、终端及存储介质 |
| CN109359541A (zh) * | 2018-09-17 | 2019-02-19 | 南京邮电大学 | 一种基于深度迁移学习的素描人脸识别方法 |
| CN110163319A (zh) * | 2019-04-10 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 条形码显示方法、装置及设备 |
| CN110826634A (zh) * | 2019-11-11 | 2020-02-21 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
| US20200065795A1 (en) * | 2017-08-29 | 2020-02-27 | Tencent Technology (Shenzhen) Company Limited | Resource transfer method and apparatus and storage medium |
-
2021
- 2021-01-28 CN CN202110116749.2A patent/CN112799511A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038462A (zh) * | 2017-04-14 | 2017-08-11 | 广州机智云物联网科技有限公司 | 设备控制操作方法及系统 |
| US20200065795A1 (en) * | 2017-08-29 | 2020-02-27 | Tencent Technology (Shenzhen) Company Limited | Resource transfer method and apparatus and storage medium |
| CN107633164A (zh) * | 2017-09-28 | 2018-01-26 | 珠海市魅族科技有限公司 | 支付控制方法、装置、计算机装置及计算机可读存储介质 |
| CN107844257A (zh) * | 2017-11-06 | 2018-03-27 | 广东欧珀移动通信有限公司 | 信息显示方法、装置、终端及存储介质 |
| CN109359541A (zh) * | 2018-09-17 | 2019-02-19 | 南京邮电大学 | 一种基于深度迁移学习的素描人脸识别方法 |
| CN110163319A (zh) * | 2019-04-10 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 条形码显示方法、装置及设备 |
| CN110826634A (zh) * | 2019-11-11 | 2020-02-21 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444527A (zh) * | 2022-01-30 | 2022-05-06 | 支付宝(杭州)信息技术有限公司 | 一种扫码识别方法、装置、设备及介质 |
| CN114444527B (zh) * | 2022-01-30 | 2024-02-02 | 支付宝(杭州)信息技术有限公司 | 一种扫码识别方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992794B (zh) | 一种活体检测方法、装置和存储介质 | |
| CN108255304B (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
| EP3367664B1 (en) | Photographing method using external electronic device and electronic device supporting the same | |
| CN108525305B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111767108B (zh) | 应用程序标签生成方法、应用界面显示方法以及装置 | |
| CN109348135A (zh) | 拍照方法、装置、存储介质及终端设备 | |
| CN110555171B (zh) | 一种信息处理方法、装置、存储介质及系统 | |
| CN112068762A (zh) | 应用程序的界面显示方法、装置、设备及介质 | |
| CN111339938A (zh) | 信息交互方法、装置、设备及存储介质 | |
| CN113888159B (zh) | 一种应用的功能页面的开启方法和电子设备 | |
| CN111259907B (zh) | 内容识别方法、装置以及电子设备 | |
| CN111176533A (zh) | 壁纸切换方法、装置、存储介质以及终端 | |
| JPWO2012063561A1 (ja) | 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム | |
| CN111506245A (zh) | 终端操控方法及装置 | |
| CN111265881B (zh) | 一种模型训练方法、内容生成方法以及相关装置 | |
| CN114205447B (zh) | 电子设备的快捷设置方法、装置、存储介质及电子设备 | |
| CN112799511A (zh) | 图形码生成模型的训练方法、装置、电子设备及存储介质 | |
| CN109067944A (zh) | 终端控制方法、装置、移动终端以及存储介质 | |
| CN115131789A (zh) | 文字识别方法、设备及存储介质 | |
| US20230368177A1 (en) | Graphic code display method, terminal and storage medium | |
| CN109657562B (zh) | 指纹录入方法及相关设备 | |
| CN115437601B (zh) | 图像排序方法、电子设备、程序产品及介质 | |
| CN116720533B (zh) | 扫码方法、电子设备及可读存储介质 | |
| KR20230000932A (ko) | 이미지를 분석하는 방법 및 분석 장치 | |
| CN110704656A (zh) | 图片处理方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |