CN114679558A - 基于应用操作的防欺诈处理方法、装置、电子设备及介质 - Google Patents

基于应用操作的防欺诈处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114679558A
CN114679558A CN202210280752.2A CN202210280752A CN114679558A CN 114679558 A CN114679558 A CN 114679558A CN 202210280752 A CN202210280752 A CN 202210280752A CN 114679558 A CN114679558 A CN 114679558A
Authority
CN
China
Prior art keywords
target
target application
video frame
page
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210280752.2A
Other languages
English (en)
Inventor
黄一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202210280752.2A priority Critical patent/CN114679558A/zh
Publication of CN114679558A publication Critical patent/CN114679558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例公开了一种基于应用操作的防欺诈处理方法、装置、电子设备及介质。所述方法包括：确定在目标应用程序执行目标应用操作时的目标录制视频；从所述目标录制视频中切分得到至少一个目标视频帧，并对所述目标视频帧进行帧检测分析；其中所述帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件；依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理。采用本申请方案解决了传统方案中因根据提示音和提示文字进行多次截图存在的由于信息内容过多所导致截屏流程过度繁琐的问题，尽可能避免出现各种欺诈行为，保证用户录制视频的真实性进而保证材料上传可靠性。

Description

基于应用操作的防欺诈处理方法、装置、电子设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于应用操作的防欺诈处理方法、装置、电子设备及介质。
背景技术
业内通常存在让用户截图作为材料进行上的传行为，例如用户需要根据提示进行应用操作进入特定页面并截图上传等行为。
相关方案中，因逐个进入页面并截图上传的方式比较复杂，随之衍生出通过视频采集信息的方案来降低因逐个截图所造成的复杂度。虽然通过录制视频给予了用户更大操作空间和自由度，但随之而来的问题就是很难对用户录制的视频进行反欺诈，造成视频欺诈行为频繁发生，造成材料上传可靠性出现很大隐患，给用户造成不便，不利于用户的体验。
发明内容
本发明提供了一种基于应用操作的防欺诈处理方法、装置、电子设备及介质，以解决应用操作过程中材料上传不可靠造成欺诈行为的问题。
根据本发明的一方面，提供了一种基于应用操作的防欺诈处理方法，所述方法包括：
确定在目标应用程序执行目标应用操作时的目标录制视频；
从所述目标录制视频中切分得到至少一个目标视频帧，并对所述目标视频帧进行帧检测分析；其中所述帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件；
依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理。
根据本发明的另一方面，提供了一种基于应用操作的防欺诈处理装置，所述装置包括：
录制视频确定模块，用于确定在目标应用程序执行目标应用操作时的目标录制视频；
视频帧分析模块，用于从所述目标录制视频中切分得到至少一个目标视频帧，并对所述目标视频帧进行帧检测分析；其中所述帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件；
视频防欺诈模块，用于依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于应用操作的防欺诈处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于应用操作的防欺诈处理方法。
本发明实施例的技术方案，通过在目标应用程序录制视频进行材料上传，解决了传统方案中因根据提示音和提示文字进行多次截图存在的由于信息内容过多所导致截屏流程过度繁琐的问题，同时为了保证采用录制视频的方式进行材料上传的可靠性，会对用户可能提前录制好视频进行播放以及在视频录制过程中快速切换应用程序等行为进行欺诈检测，避免出现各种欺诈行为，保证用户录制视频的真实性进而保证材料上传可靠性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种基于应用操作的防欺诈处理方法的流程图；
图2是根据本发明实施例提供的另一种基于应用操作的防欺诈处理方法的流程图；
图3是根据本发明实施例所适用的一种对录制视频进行解析防欺诈的原理图；
图4是根据本发明实施例所适用的一种基于录制视频进行解析的OCR信息标签化的原理图；
图5是根据本发明实施例提供的一种基于应用操作的防欺诈处理装置的结构示意图；
图6是实现本发明实施例的基于应用操作的防欺诈处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“非目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面通过各个实施例及其可选方案对本申请中提供的基于应用操作的防欺诈处理方法、装置、电子设备及存储介质进行详细阐述。
图1为本发明实施例提供了一种基于应用操作的防欺诈处理方法的流程图，本实施例可适用于对在应用程序进行应用操作所获得信息作为上传材料进行防欺诈检测的情况，该方法可以由基于应用操作的防欺诈处理装置来执行，该基于应用操作的防欺诈处理装置可以采用硬件和/或软件的形式实现，该基于应用操作的防欺诈处理装置可配置于任何具有网络通信功能的电子设备中。如图1所示，该方法可包括以下步骤：
S110、确定在目标应用程序执行目标应用操作时的目标录制视频。
业内存在用户截图作为材料，经过上传后进行信息采集，但却存在着各种缺陷和局限性。例如，应用程序APP通过语音提示加文字提示，让用户操作进入特定页面；如果不进入特定页面，就会进行报错提醒，直至用户最终进入提示所需的特定页面位置并进行截图。
不难看出，如果按照上述方式用户就必须提供应用程序所要求的一切信息，否则将无法进行下去，造成用户无法自主选择信息，且必须设计一套完备的操作流程，导致灵活性降低。更为重要的是，如果需要截图的页面极多以及页面需要进行上下翻页等(例如公积金，如果要查询36个月的内容，就要多次向下翻页)，就会出现多次截图，导致流程繁琐。
鉴于上述情况，可以选择通过录制视频的方式进行信息采集，在目标应用程序中执行与材料上传所需相匹配的目标应用操作，并采集得到用户执行目标应用操作时的录制视频作为目标录制视频。这样，不仅可以将多种/多页信息统一在一个目标录制视频当中进行表现，更能够通过用户的操作特征推进，而且用户可以自主选择信息进行采集，给予用户更大的操作空间和自由度，提高了材料上传的灵活性以及降低了材料上传的繁琐度。
S120、从目标录制视频中切分得到至少一个目标视频帧，并对目标视频帧进行帧检测分析。
其中，帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件。
其中，目标应用操作可以是为实现材料上传所需信息采集而在目标应用程序中执行的一系列页面操作。
虽然，通过录制视频进行信息采集的方式，能够给予了用户更大的操作空间和自由度，但是随之而来的问题就是，用户录制的视频中可能会存在欺诈行为；例如，用户提前录制好视频进行播放以及在视频录制过程中快速切换应用程序等动作，这样一来视频中加入不可靠因素的欺诈行为，从而无法保证用户录制视频的真实性，造成材料上传过程中出现各种欺诈行为，造成材料上传不属实。
为此，在获取用户在目标应用程序执行目标应用操作时的目标录制视频之后，不会立即使用录制视频进行信息采集，而是选择先对采集的目标录制视频进行分析，解析用户执行目标应用操作时是否存在不合规的欺诈行为，在对录制的视频进行信息采集来完成材料上传。
在用户执行目标应用操作过程中，可能一瞬间的功夫就会掺杂上欺诈行为，因此在对目标录制视频进行解析时，可以对目标录制视频进行视频切分，将完整的目标录制视频切分成一系列连续的目标视频帧，以便对每个视频帧进行逐帧细致分析。可选地，将目标录制视频切分成至少一个目标视频帧，以实现每秒30帧的视频切分。
在切分得到一个或多个目标视频帧后，可以针对每一个目标视频帧进行帧检测分析，通过帧检测分析判断目标视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件。
可选地，非目标应用页面包括隶属目标应用程序但不是目标应用程序中目标应用页面的冗余页面以及不允许出现在目标录制视频中的预设类型页面。例如，以公积金应用小程序为例，公积金信息所需要的页面可以包括公积金首页、公积金账户信息页和公积金详情页，这些可以认为是隶属目标应用程序的目标应用页面。
当然，公积金应用小程序还可以包括隶属目标应用程序但是不属于公积金查询需求冗余页面。同时，非目标应用页面还可以为不应该出现在录制视频中预设类型页面，例如切换到相册、切换到其他应用程序等页面。非目标应用页面统一归结为欺诈类，原因是在实际正常操作过程中这一类帧并不应该出现。因此只要出现这一类视频，就判断视频可能含有欺诈行为并返回结果。
可选地，向非目标应用页面的页面切换事件包括在目标应用页面与非目标应用页面之间出现的页面切换行为。例如，从公积金首页切换到了公积金账户详情页，就属于动态帧中合规的动作行为，但是如果用户在过程中切换到了公积金应用小程序以外的其他应用程序，例如相册等应用程序，并试图通过相册中提前录制好的视频进行欺诈，就需要进行检测判断。
可以理解的是，本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向
S130、依据对目标视频帧的帧检测分析结果，对目标应用操作执行防欺诈处理。
在本实施例的一种可选方案中，依据对目标视频帧的帧检测分析结果，对目标应用操作执行防欺诈处理，可包括以下步骤A1-A2：
步骤A1、若检测到目标视频帧包括非目标应用页面和/或向非目标应用页面的页面切换事件，则确定目标录制视频中存在欺诈行为，并对目标应用操作进行欺诈提示，指示用户在目标应用程序重新执行目标应用操作以及采集新的目标录制视频进行解析是否存在欺诈行为。
步骤A2、若检测到目标视频帧不包括非目标应用页面或向非目标应用页面的页面切换事件，则确定目标录制视频中不存在欺诈行为，并将在目标应用程序执行目标应用操作时的目标录制视频进行信息采集，以完成后续材料上传操作。
根据本发明实施例的技术方案，通过在目标应用程序录制视频进行材料上传，相对于图片而言视频信息所能涵盖的信息量远大于图片，而且视频采集更为灵活，只要视频中出现过特定信息，即使只有一帧也能够通过视频解析得到这一帧并对其内容进行提取，解决了传统方案中因根据提示音和提示文字进行多次截图存在的由于信息内容过多所导致截屏流程过度繁琐的问题，避免用户需要通过划屏并多次截图才能将视频内容完全截图到，降低了材料上传的繁琐度。同时，为了保证采用录制视频的方式进行材料上传的可靠性，会对用户可能提前录制好视频进行播放以及在视频录制过程中快速切换应用程序等行为进行欺诈检测，避免出现各种欺诈行为，保证用户录制视频的真实性进而保证材料上传可靠性。
在上述实施例的基础上，可选地，确定在目标应用程序执行目标应用操作时的目标录制视频，可包括步骤B1-B2：
步骤B1、在触发录制视频防欺诈事件时，自动调用并进入目标应用程序用以在目标应用程序中执行目标应用操作。
步骤B2、启动视频录制功能，采集用户在目标应用程序执行目标应用操作时形成的目标录制视频。
目标应用操作包括在目标应用程序的至少一个目标应用页面上执行的页面内容获取操作。页面内容获取操作包括在目标应用页面进行查询、翻页以及滑动操作等。点触发录制视频防欺诈事件后，可以自动调用目标应用程序(例如住房公积金小程序等)，并且在调用小程序后可以自动开始录屏。之所以设计是因为可以统一视频录制的入口，且通过自动调用避免用户私下进入其他应用程序，从源头上对欺诈行为的产生进行抑制，同时视频在录制完毕进行检测可以直接实现上传。
图2为本发明实施例提供的一种基于应用操作的防欺诈处理方法的流程图，本实施例在上述实施例的基础上对前述实施例中目标视频帧的帧检测分析过程进行进一步优化，本实施例可与上述一个或多个实施例中各个可选方案结合。如图2所示，该方法可包括以下步骤：
S210、确定在目标应用程序执行目标应用操作时的目标录制视频；
S220、从目标录制视频中切分得到至少一个目标视频帧。
S230、从至少一个目标视频帧中确定静态视频帧与动态视频帧。
其中，静态视频帧在目标录制视频中与相邻视频帧的差异小于预设差异值，动态视频帧在目标录制视频中与相邻视频帧的差异大于预设差异值。
在将目标录制视频进行切分获取多个目标视频帧后，可对切分后的目标视频帧进行光流分析，实现将多个目标视频帧划分成静态视频帧与动态视频帧两种。动态视频帧和静态视频帧的区别在于，视频帧相对相邻前一个视频帧与后一个视频帧的差异区别度大小不同。
在目标录制视频中，一个目标视频帧与相邻视频帧的差异小于预设差异值，则这个目标视频帧属于静态视频帧；一个目标视频帧与相邻视频帧的差异大于或等于预设差异值，则这个目标视频帧不属于静态视频帧，而属于动态视频帧。可选地，如果一个目标视频帧的像素值或对比度，与相邻视频帧的像素值或对比度之间的差值小于预设差值，则确定目标视频帧与相邻视频帧的差异小于预设差异值；如果一个目标视频帧的像素值或对比度，与相邻视频帧的像素值或对比度之间的差值大于预设差值，则确定目标视频帧与相邻视频帧的差异大于预设差异值。
例如，在同一应用页面停留时，前后两个视频帧之间的区别极小(由于手机等原因，即使是同一应用页面，不进行任何操作，录制得到的视频中视频帧的像素值和对比度可能也会有极小区别)，这一类帧将被划归为静态视频帧。而，动态视频帧则是相邻两个视频帧区别较大，例如用户在滑动屏幕过程中，前后两个视频帧可能会存在不同，因此两个视频帧的区别度大，这一类被归为动态视频帧。
S240、采用适配的帧检测方式分别对静态视频帧与动态视频帧进行帧检测分析。
其中，帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件。
参见图3，对于不同类型的视频帧欺诈行为检测方向有所不同，例如对于静态帧来说很难从静态帧中检测到有切换动作，而对于动态视频帧由于可能涉及到不同页面的切换因此很难对视频帧具体内容进行分析，因此静态视频帧与动态视频帧选择采用不同的帧检测分析方式。
在本实施例的一种可选方案中，采用适配的帧检测方式分别对静态视频帧与动态视频帧进行帧检测分析，可包括步骤C1-C2：
步骤C1、对静态视频帧进行页面分类解析，以确定静态视频帧中是否包括非目标应用页面。
步骤C2、对动态视频帧进行页面行为识别，以确定动态视频帧是否包括向非目标应用页面进行切换的页面行为。
参见图3，静态视频帧主要用来判断解析目标视频帧中涉及的应用页面的分类，以确定目标视频帧中是否包括非目标应用页面；动态视频帧主要用来看是否存在切换的动作，并通过分析确定是否存在向非目标应用页面的页面切换事件。
可选地，对静态视频帧进行分类，以公积金信息为例目标应用页面包括3个，分别是公积金首页，公积金账户信息页和公积金详情页，因此需要有一个五分类模型，不仅将这三类进行输出。另外，还可以区分出属于公积金小程序但是不属于目标应用页面的冗余页面，以及不应该出现在录制视频中的预设类型页面，例如切换到相册应用、切换到其他应用程序等页面，这一类统一归结为欺诈类。
可选地，用户在操作过程中出现的帧，也就是动态视频帧往往伴随着用户进行了一些动作，导致页面发生了切换或者变化。因此需要对动态视频帧进行判断，判断该动态视频帧是否合理。动态视频帧的合理与否，在于该操作行为是否在公积金小程序等目标应用程序内部，例如从公积金首页切换到了公积金账户详情页，就属于动态视频帧中合规的动作行为，但是如果用户在过程中切换到了其他应用程序，例如相册等应用程序，并试图通过相册中提前录制好的视频进行欺诈，就需要进行检测判断。
对于动态视频帧，这一部份可以采用一个二分类模型，将大部分视频帧进行采集并标注，其中属于非欺诈的动态行为标注为0，含有欺诈行为的帧标注为1，再用分类模型对动态帧进行学习训练，学习到动态帧和静态帧特征，并进行判断。
可选地，对于静态视频帧与动态视频帧分类任务，可以采用RESNET18作为模型基础，对于静态视频帧的五分类任务，损失函数可以采用适用于多分类任务的损失函数Softmax+CrossEntropy；对于动态视频帧的二分类模型，可将损失函数中的Softmax替换为sigmoid，适配二分类任务。
采用上述方式，针对大量的静态视频帧与动态视频帧不需要均同时进行页面分类检测与向其他应用程序页面进行切换的动作检测，使得不同类型的视频帧仅需要进行其合适的帧检测分析，避免造成分析资源浪费。
S250、依据对目标视频帧的帧检测分析结果，对目标应用操作执行防欺诈处理。
根据本发明实施例的技术方案，通过在目标应用程序录制视频进行材料上传，相对于图片而言视频信息所能涵盖的信息量远大于图片，而且视频采集更为灵活，只要视频中出现过特定信息，即使只有一帧也能够通过视频解析得到这一帧并对其内容进行提取，用户不在需要根据提示音和提示文字进行多次截图，而是由用户录制一个视频，将所需的信息页面都涵盖在该视频中即可，解决了传统方案中因根据提示音和提示文字进行多次截图存在的由于信息内容过多所导致截屏流程过度繁琐的问题，避免用户需要通过划屏并多次截图才能将视频内容完全截图到，降低了材料上传的繁琐度，减少了应用程序需要提前制定规范化流程的步骤，不仅提高了用户体验，也增加了灵活性。同时，为了保证采用录制视频的方式进行材料上传的可靠性，会对用户可能提前录制好视频进行播放以及在视频录制过程中快速切换应用程序等行为进行欺诈检测，避免出现各种欺诈行为，保证用户录制视频的真实性进而保证材料上传可靠性，大幅度降低了可能出现欺诈行为的可能性，使得便利性与安全性共存。
在上述实施例的基础上，可选地，在对静态视频帧进行页面分类解析之后，还可包括以下步骤：
若依据对静态视频帧进行页面分类解析，确定静态视频帧中包括目标应用页面，则对包括目标应用页面的静态视频帧进行光学字符识别，从静态视频帧中提取结构化数据。
参见图4，在得到静态视频帧后，先根据需求对静态视频帧对应的应用页面进行分类，例如需要提取的信息，分别分布目标应用页面A，B以及C三个页面，而其中C页面内容较多，需要用户进行翻页操作。针对静态视频帧对应目标应用页面进行四分类，分别是A，B以及C和其他类，前三者是出现在视频中的该三类静态视频帧，而不属于这三类的静态视频帧全部归类到其他类中。通过这一过程就可以得到所需要进行OCR信息标签化，从中提取结构化数据。这一步可以采用的是resnet18模型，配合交叉熵损失函数进行分类。
在本实施例的一种可选方案中，可选地，对包括目标应用页面的静态视频帧进行光学字符识别，可包括步骤D1-D2：
步骤D1、若在静态视频帧对应目标应用页面不存在上下翻页或滑动操作，则从包括目标应用页面的相邻静态视频帧中抽取一个静态视频帧进行光学字符识别。
步骤D2、若在静态视频帧对应目标应用页面存在上下翻页或滑动操作，则对包括目标应用页面的相邻静态视频帧之间的重叠信息进行去重复删除，并将经去重复删除后的相邻静态视频帧得到光学字符识别结果。
参见图4，在得到需要进行信息抽取的三个类之后，对这三类的静态视频帧进行OCR识别，在此之前，还需要考虑A,B,C三类是否存在一个页面无法涵盖的问题。如果不需要对静态视频帧所对应应用页面上下翻页或滑动操作就可以涵盖所需信息，可以将该分类的所有静态帧进行OCR识别。例如A,B,C三个分类中，A和B类的静态视频帧不需要用户上下滑动，所有信息都集中在一个页面中，只需要从这一类中抽取一个静态视频帧，进行OCR信息提取，就能得到该页面所有结构化数据。
参见图4，如果需要对静态视频帧所对应应用页面上下翻页或滑动操作才可以涵盖所需要信息，则需要针对所有静态视频帧进行OCR识别提取结构化数据。例如，针对C类的静态视频帧，银行流水需要用户不断向下翻，才能将信息完全覆盖，因此对于这一类，需要将所有静态帧进行OCR识别抽取结构化数据才能得到所需的信息。
参见图4，对于A,B类静态视频帧，得到OCR结果进行结构化后，就能得到相应的标签化结果。但是，对于C类静态视频帧而言，在得到OCR信息后，会发现其中有许多信息是重复冗余的，原因是截取视频帧的时候，必然会存在相邻两帧之间一定会有部分信息是重复的，因此加入后处理，通过字段去重，将重复的冗余信息进行删除，最终得到整个C类的所有视频帧的所有信息，再对该信息进行结构化，就得到所需要的标签化结果。
采用上述方案，根据视频内容进行解析并提取得到相应的信息结构化结果，在经过以上方法后，不再需要对用户录制视频进行强规则，即提前要求用户以何种方式，以及何种流程进行操作，仅需要用户录制的视频涵盖到所需内容即可。此外，对于存在多个页面，以及单个页面，需要上下翻页的问题，该方案也得到了较好的解决。在得到以上内容后，针对性的进行信息抽取和结构化，获得希望得到的信息结果。
图5为本发明实施例提供了一种基于应用操作的防欺诈处理装置的结构框图，本实施例可适用于对在应用程序进行应用操作所获得信息作为上传材料进行防欺诈检测的情况，该基于应用操作的防欺诈处理装置可以采用硬件和/或软件的形式实现，该基于应用操作的防欺诈处理装置可配置于任何具有网络通信功能的电子设备中。如图5所示，该装置可包括：录制视频确定模块510、视频帧分析模块520和视频防欺诈模块530。其中：
录制视频确定模块510，用于确定在目标应用程序执行目标应用操作时的目标录制视频。
视频帧分析模块520，用于从所述目标录制视频中切分得到至少一个目标视频帧，并对所述目标视频帧进行帧检测分析；其中所述帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件。
视频防欺诈模块530，用于依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理。
在上述实施例的基础上，可选地，录制视频确定模块510包括：
在触发录制视频防欺诈事件时，自动调用并进入目标应用程序用以在所述目标应用程序中执行目标应用操作；
启动视频录制功能，采集用户在目标应用程序执行目标应用操作时形成的目标录制视频。
在上述实施例的基础上，可选地，所述目标应用操作包括在目标应用程序的至少一个目标应用页面上执行的页面内容获取操作；所述页面内容获取操作包括在目标应用页面进行查询、翻页以及滑动操作。
在上述实施例的基础上，可选地，视频帧分析模块520包括：
从所述至少一个目标视频帧中确定静态视频帧与动态视频帧；其中所述静态视频帧在目标录制视频中与相邻视频帧的差异小于预设差异值，所述动态视频帧在目标录制视频中与相邻视频帧的差异大于预设差异值；
采用适配的帧检测方式分别对静态视频帧与动态视频帧进行帧检测分析。
在上述实施例的基础上，可选地，采用适配的帧检测方式分别对静态视频帧与动态视频帧进行帧检测分析，包括：
对静态视频帧进行页面分类解析，以确定所述静态视频帧中是否包括非目标应用页面；
对动态视频帧进行页面行为识别，以确定动态视频帧是否包括向非目标应用页面进行切换的页面行为。
在上述实施例的基础上，可选地，视频防欺诈模块530包括：
若检测到目标视频帧包括非目标应用页面和/或向非目标应用页面的页面切换事件，则确定所述目标录制视频中存在欺诈行为，并对所述目标应用操作进行欺诈提示。
在上述实施例的基础上，可选地，在所述对静态视频帧进行页面分类解析之后，还包括：
若依据对静态视频帧进行页面分类解析，确定静态视频帧中包括目标应用页面，则对包括目标应用页面的静态视频帧进行光学字符识别，从静态视频帧中提取结构化数据。
在上述实施例的基础上，可选地，对包括目标应用页面的静态视频帧进行光学字符识别，包括：
若在静态视频帧对应目标应用页面不存在上下翻页或滑动操作，则从包括目标应用页面的相邻静态视频帧中抽取一个静态视频帧进行光学字符识别；
若在静态视频帧对应目标应用页面存在上下翻页或滑动操作，则对包括目标应用页面的相邻静态视频帧之间的重叠信息进行去重复删除，并将经去重复删除后的相邻静态视频帧得到光学字符识别结果。
在上述实施例的基础上，可选地，非目标应用页面包括隶属目标应用程序但不是目标应用程序中目标应用页面的冗余页面以及不允许出现在目标录制视频中的预设类型页面；向非目标应用页面的页面切换事件包括在目标应用页面与非目标应用页面之间出现的页面切换行为。
本发明实施例中所提供的基于应用操作的防欺诈处理装置可执行上述本发明任意实施例中所提供的基于应用操作的防欺诈处理方法，具备执行该基于应用操作的防欺诈处理方法相应的功能和有益效果，详细过程参见前述实施例中基于应用操作的防欺诈处理方法的相关操作。
图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于应用操作的防欺诈处理方法。
在一些实施例中，基于应用操作的防欺诈处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的基于应用操作的防欺诈处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于应用操作的防欺诈处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种基于应用操作的防欺诈处理方法，其特征在于，包括：
确定在目标应用程序执行目标应用操作时的目标录制视频；
从所述目标录制视频中切分得到至少一个目标视频帧，并对所述目标视频帧进行帧检测分析；其中所述帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件；
依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理。
2.根据权利要求1所述的方法，其特征在于，所述确定在目标应用程序执行目标应用操作时的目标录制视频，包括：
在触发录制视频防欺诈事件时，自动调用并进入目标应用程序用以在所述目标应用程序中执行目标应用操作；
启动视频录制功能，采集用户在目标应用程序执行目标应用操作时形成的目标录制视频。
3.根据权利要求2所述的方法，其特征在于，所述目标应用操作包括在目标应用程序的至少一个目标应用页面上执行的页面内容获取操作；所述页面内容获取操作包括在目标应用页面进行查询、翻页以及滑动操作。
4.根据权利要求1所述的方法，其特征在于，对所述目标视频帧进行帧检测分析，包括：
从所述至少一个目标视频帧中确定静态视频帧与动态视频帧；其中所述静态视频帧在目标录制视频中与相邻视频帧的差异小于预设差异值，所述动态视频帧在目标录制视频中与相邻视频帧的差异大于预设差异值；
采用适配的帧检测方式分别对静态视频帧与动态视频帧进行帧检测分析。
5.根据权利要求4所述的方法，其特征在于，采用适配的帧检测方式分别对静态视频帧与动态视频帧进行帧检测分析，包括：
对静态视频帧进行页面分类解析，以确定所述静态视频帧中是否包括非目标应用页面；
对动态视频帧进行页面行为识别，以确定动态视频帧是否包括向非目标应用页面进行切换的页面行为。
6.根据权利要求1所述的方法，其特征在于，依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理，包括：
若检测到目标视频帧包括非目标应用页面和/或向非目标应用页面的页面切换事件，则确定所述目标录制视频中存在欺诈行为，并对所述目标应用操作进行欺诈提示。
7.根据权利要求5所述的方法，其特征在于，在所述对静态视频帧进行页面分类解析之后，还包括：
若依据对静态视频帧进行页面分类解析，确定静态视频帧中包括目标应用页面，则对包括目标应用页面的静态视频帧进行光学字符识别，从静态视频帧中提取结构化数据。
8.根据权利要求7所述的方法，其特征在于，对包括目标应用页面的静态视频帧进行光学字符识别，包括：
若在静态视频帧对应目标应用页面不存在上下翻页或滑动操作，则从包括目标应用页面的相邻静态视频帧中抽取一个静态视频帧进行光学字符识别；
若在静态视频帧对应目标应用页面存在上下翻页或滑动操作，则对包括目标应用页面的相邻静态视频帧之间的重叠信息进行去重复删除，并将经去重复删除后的相邻静态视频帧得到光学字符识别结果。
9.根据权利要求1-8中任一项所述的方法，其特征在于，非目标应用页面包括隶属目标应用程序但不是目标应用程序中目标应用页面的冗余页面以及不允许出现在目标录制视频中的预设类型页面；向非目标应用页面的页面切换事件包括在目标应用页面与非目标应用页面之间出现的页面切换行为。
10.一种基于应用操作的防欺诈处理装置，其特征在于，包括：
录制视频确定模块，用于确定在目标应用程序执行目标应用操作时的目标录制视频；
视频帧分析模块，用于从所述目标录制视频中切分得到至少一个目标视频帧，并对所述目标视频帧进行帧检测分析；其中所述帧检测分析用于解析视频帧中是否包括非目标应用页面和/或是否包括向非目标应用页面的页面切换事件；
视频防欺诈模块，用于依据对所述目标视频帧的帧检测分析结果，对所述目标应用操作执行防欺诈处理。
11.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的基于应用操作的防欺诈处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-9中任一项所述的基于应用操作的防欺诈处理方法。
CN202210280752.2A 2022-03-21 2022-03-21 基于应用操作的防欺诈处理方法、装置、电子设备及介质 Pending CN114679558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280752.2A CN114679558A (zh) 2022-03-21 2022-03-21 基于应用操作的防欺诈处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280752.2A CN114679558A (zh) 2022-03-21 2022-03-21 基于应用操作的防欺诈处理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN114679558A true CN114679558A (zh) 2022-06-28

Family

ID=82075015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280752.2A Pending CN114679558A (zh) 2022-03-21 2022-03-21 基于应用操作的防欺诈处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114679558A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801161A (zh) * 2019-03-13 2019-05-24 上海诚数信息科技有限公司 智能信用和信息认证系统及方法
CN113780163A (zh) * 2021-09-09 2021-12-10 上海浦东发展银行股份有限公司 一种页面加载时间的检测方法、装置、电子设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801161A (zh) * 2019-03-13 2019-05-24 上海诚数信息科技有限公司 智能信用和信息认证系统及方法
CN113780163A (zh) * 2021-09-09 2021-12-10 上海浦东发展银行股份有限公司 一种页面加载时间的检测方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
WO2021203863A1 (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN108550054B (zh) 一种内容质量评估方法、装置、设备和介质
CN110490237B (zh) 数据处理方法、装置、存储介质及电子设备
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN113239807B (zh) 训练票据识别模型和票据识别的方法和装置
US20230096921A1 (en) Image recognition method and apparatus, electronic device and readable storage medium
CN110716774B (zh) 金融业务数据大脑的数据驱动方法、系统及存储介质
CN115759100A (zh) 数据处理方法、装置、设备及介质
CN114721964A (zh) 一种测试用例的自动生成方法、装置、设备及介质
CN114741544A (zh) 图像检索方法、检索库构建方法、装置、电子设备及介质
CN110992299B (zh) 一种检测浏览器兼容性的方法及装置
CN116089308A (zh) 一种软件测试用例的生成方法、装置、设备及介质
CN108334602B (zh) 数据标注方法和装置、电子设备、计算机存储介质
CN115905016A (zh) 一种BIOS Setup搜索功能测试方法、装置、电子设备及存储介质
CN114679558A (zh) 基于应用操作的防欺诈处理方法、装置、电子设备及介质
CN115934928A (zh) 一种信息抽取方法、装置、设备及存储介质
CN115481025A (zh) 自动化测试的脚本录制方法、装置、计算机设备及介质
CN115080745A (zh) 基于人工智能的多场景文本分类方法、装置、设备及介质
CN113657230B (zh) 训练新闻视频识别模型的方法、检测视频的方法及其装置
CN114677691B (zh) 文本识别方法、装置、电子设备及存储介质
CN113157160B (zh) 用于识别误导播放按钮的方法和设备
CN117061788B (zh) 一种短视频自动化监管与预警方法、设备及存储设备
CN114428887B (zh) 点击数据去噪方法、装置、电子设备及存储介质
CN115826899B (zh) 基于远程桌面共享的涂鸦图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination