CN117033463A - 基于视频日志的优化策略生成方法、装置、设备及介质 - Google Patents

基于视频日志的优化策略生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN117033463A
CN117033463A CN202311007135.6A CN202311007135A CN117033463A CN 117033463 A CN117033463 A CN 117033463A CN 202311007135 A CN202311007135 A CN 202311007135A CN 117033463 A CN117033463 A CN 117033463A
Authority
CN
China
Prior art keywords
target
video
log
flow
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311007135.6A
Other languages
English (en)
Inventor
邵万骏
张晓松
倪奕
朱敏
季超
金克
陈运文
纪达麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daguan Data Co ltd
Original Assignee
Daguan Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daguan Data Co ltd filed Critical Daguan Data Co ltd
Priority to CN202311007135.6A priority Critical patent/CN117033463A/zh
Publication of CN117033463A publication Critical patent/CN117033463A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频日志的优化策略生成方法、装置、设备及介质。该方法包括：获取目标流程对应的初始视频，并预处理操作初始视频生成基础视频；基于基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；基于目标流程对应的标准流程日志与视频日志间的匹配结果，生成目标流程对应的优化策略。通过本发明的技术方案，能够基于操作流程的视频日志实现流程挖掘，提高了流程挖掘时数据资源的容量。

Description

基于视频日志的优化策略生成方法、装置、设备及介质
技术领域
本发明涉及流程挖掘技术领域，尤其涉及基于视频日志的优化策略生成方法、装置、设备及介质。
背景技术
流程挖掘是一种通过对数据进行分析，以识别和描述事务、操作或事件序列的技术方法。在企业流程管理中，流程挖掘通常用于发现并分析流程中的瓶颈、异常、优化机会和错误等。通常，流程挖掘技术需要通过从大量数据中提取模式和规律，以揭示流程中的隐含信息和特征。
现有技术中，流程挖掘的数据源，如数据库、数据源文件以及业务软件等，需要依赖已有的业务日志。现有技术中流程挖掘的过程具体可以为：首先，将流程挖掘工具连接到数据源所在的数据库中。进而，通过文件导入功能将文件格式的数据基于数据源提供的应用程序接口(Application Program Interface，API)实时导入流程挖掘工具中，实现实时挖掘和分析。
但现有技术的流程挖掘过程需要有完善的软件或技术支撑才能实现。对于业务软件不提供数据源的场景，或者，对于数据资源不足的场景，流程挖掘数据不易收集，从而导致后续流程挖掘过程无法进行。因此，如何在流程挖掘过程中不依赖于业务软件并能解决数据资源不足的问题，是目前亟待解决的问题。
发明内容
本发明提供了一种基于视频日志的优化策略生成方法、装置、设备及介质，可以解决流程挖掘过程中对业务软件的依赖性较高并且数据资源不足的问题。
根据本发明的一方面，提供了一种基于视频日志的优化策略生成方法，包括：
获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频；
基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；
基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
根据本发明的另一方面，提供了一种基于视频日志的优化策略生成装置，包括：
预处理模块，用于获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频；
日志生成模块，用于基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；
策略生成模块，用于基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于视频日志的优化策略生成方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于视频日志的优化策略生成方法。
本发明实施例的技术方案，通过预处理操作目标流程对应的初始视频生成基础视频，进而，基于基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志，最后，基于目标流程对应的标准流程日志与视频日志间的匹配结果，生成目标流程对应的优化策略，解决了现有技术在流程挖掘过程中对业务软件的依赖性较高并且数据资源不足的问题，能够基于操作流程的视频日志实现流程挖掘，提高了流程挖掘时数据资源的容量，并且降低了对业务软件的依赖性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种基于视频日志的优化策略生成方法的流程图；
图2是根据本发明实施例二提供的一种基于视频日志的优化策略生成方法的流程图；
图3是根据本发明实施例二提供的一种可选的基于视频日志的优化策略生成方法的流程图；
图4是根据本发明实施例三提供的一种基于视频日志的优化策略生成装置的结构示意图；
图5是实现本发明实施例的基于视频日志的优化策略生成方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“初始”、“基础”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种基于视频日志的优化策略生成方法的流程图，本实施例可适用于基于操作流程的视频日志实现流程挖掘的情况，该方法可以由基于视频日志的优化策略生成装置来执行，该基于视频日志的优化策略生成装置可以采用硬件和/或软件的形式实现，该基于视频日志的优化策略生成装置可配置于电子设备中，示例性的，可以配置于计算机设备中。如图1所示，该方法包括：
S110、获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频。
其中，目标流程可以指需要进行流程优化的业务流程。示例性的，可以为点击设定网站的业务流程，也可以为使用具体办公软件的业务流程等。初始视频可以指目标流程作业过程中的录制视频。示例性的，初始视频可以通过录制器实时录制获取，也可以通过录制器历史录制获取。具体的，录制器可以按照设定时间段定时触发或事件触发的方式启动录制。例如，可以设置每天录制特定时间段内的业务流程操作过程，也可以在用户点击特定按钮时自动触发录制。
其中，预处理可以指提高目标流程对应的初始视频的稳定性及准确性的操作。示例性的，预处理可以包括去噪处理、平滑处理以及二值化处理等操作。基础视频可以指经预处理操作后得到的稳定性及准确性得到提高的录制视频。
S120、基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志。
其中，帧内图像可以指基础视频中的各个单帧图像。相邻帧间图像可以指基础视频中相邻帧的单帧图像。
其中，目标元素可以指基础视频中的用户操作元素。示例性的，目标元素可以包括窗口、按钮及文本框等。状态变化可以指目标元素根据用户操作行为产生的变化。示例性的，若目标元素为窗口，状态变化可以为窗口拖动；若目标元素为文本框，状态变化可以为文本输入。本发明实施例对此不进行限制。
其中，视频日志可以指基于目标流程对应的基础视频生成的日志信息。具体的，视频日志可以包含目标流程对应的目标元素、目标元素的状态变化、目标元素的操作内容以及流程耗时等。通常，视频日志可以以表格的形式进行记录。示例性的，可以将一个目标流程单独记录于一个表格中，也可以将相同流程对象的多个目标流程记录于同一表格中，本发明实施例对此不进行限制。
S130、基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
其中，标准流程日志可以指目标流程的最优操作流程。通常，可以根据目标流程的流程对象预先设定标准流程日志。示例性的，若流程对象为“点击A网站”，则可以为“点击A网站”预先设定标准的操作流程，构建标准流程日志。进而，当目标流程的流程对象同为“点击A网站”时，可以直接匹配对应的标准流程日志。
其中，匹配结果可以指目标流程对应的标准流程日志与视频日志之间的差异化结果。优化策略可以指对当前目标流程的流程调节策略。具体的，可以为对目标流程中某个流程节点的优化策略。
在一个可选的实施方式中，在所述基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略之后，还包括：可视化显示所述目标流程对应的优化策略，以实现目标流程的流程优化。具体的，在生成目标流程对应的优化策略之后，可以将优化策略在用户使用的屏幕上进行可视化显示，由此，可以使得用户再次对目标流程对应的流程对象进行操作时，进行适应性的调整，提高业务流程的实行效率。
本发明实施例的技术方案，通过预处理操作目标流程对应的初始视频生成基础视频，进而，基于基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志，最后，基于目标流程对应的标准流程日志与视频日志间的匹配结果，生成目标流程对应的优化策略，解决了现有技术在流程挖掘过程中对业务软件的依赖性较高并且数据资源不足的问题，能够基于操作流程的视频日志实现流程挖掘，提高了流程挖掘时数据资源的容量，并且降低了对业务软件的依赖性。
实施例二
图2为本发明实施例二提供的一种基于视频日志的优化策略生成方法的流程图，本实施例以上述实施例为基础进行细化，在本实施例中具体是对基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志的操作进行细化，具体可以包括：确定所述基础视频包含的全量帧内图像，并确定各帧内图像中的目标元素；确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化；获取所述状态变化为结束状态的终止帧内图像，以及所述状态变化为初始状态的初始帧内图像；基于所述初始帧内图像与终止帧内图像的时间间隔，确定目标元素的操作耗时，并基于所述终止帧内图像确定目标元素对应的操作内容；将所述目标元素、状态变化、操作耗时及操作内容关联，生成目标流程对应的视频日志。如图2所示，该方法包括：
S210、获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频。
具体的，在获得目标流程对应的初始视频之后，需要对该初始视频进行去噪处理、平滑处理或二值化处理等操作，以得到准确性和连续性得到提高的基础视频。
S220、确定所述基础视频包含的全量帧内图像，并确定各帧内图像中的目标元素。
具体的，在得到目标流程对应的基础视频之后，可以提取基础视频中的所有单帧图像，并在各个单帧图像中确定目标流程对应的目标元素。
在一个可选的实施方式中，确定各帧内图像中的目标元素，包括：基于预设目标检测算法识别各帧内图像中的目标元素，生成识别结果；基于预设分割算法提取各帧内图像对应的识别结果，得到各帧内图像中的目标元素。
其中，预设目标检测算法可以指预先设定的目标检测算法，用于识别各个帧内图像中的目标元素。示例性的，预设目标检测算法可以为基于区域的卷积神经网络(Region-based Convolutional Neural Networks，R-CNN)，可以为方向梯度直方图算法(HistogramofOriented Gradient，HOG)，也可以为单阶段目标检测算法(Fully Convolutional One-Stage Object Detection，FCOS)等。识别结果可以指经目标检测之后得到的目标元素的标识结果。预设分割算法可以指预先设定的图像分割算法，用于分离识别结果中的特征区域。
具体的，在确定基础视频包含的全量帧内图像之后，可以利用预设目标检测算法识别各帧内图像中的目标元素，生成识别结果，之后，利用预设分割算法提取各帧内图像对应的识别结果，由此，可以确定目标流程对应的目标元素，为后续构建视频日志提供有效的基础。
S230、确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化。
其中，目标动作可以指用户在目标流程中采取的操作动作。示例性的，目标动作可以包括鼠标点击、键盘输入以及窗口拖动等。
在一个可选的实施方式中，确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化，包括：基于预设动作识别算法确定各相邻帧间图像中目标动作的动作变化，并将所述动作变化作为相邻帧间图像间目标元素的状态变化。
其中，预设动作识别算法可以指预先设定的动作识别算法。通过预设动作识别算法可以识别用户对目标元素的操作动作，例如，窗口的打开和关闭，以及，文本框的输入和清空等。
具体的，可以利用预设动作识别算法确定相邻帧间图像中目标动作的动作变化，由此，确定相邻帧间图像间目标元素的状态变化，为后续构建视频日志提供有效的基础。
S240、获取所述状态变化为结束状态的终止帧内图像，以及所述状态变化为初始状态的初始帧内图像。
其中，初始状态可以指用户初始对目标元素进行操作动作的状态。示例性的，若目标元素为文本框，初始状态可以为开始输入文本框。结束状态可以指用户结束对目标元素进行操作动作的状态。示例性的，若目标元素为文本框，结束状态可以为结束输入文本框。初始帧内图像可以指目标元素初始状态下的单帧图像。终止帧内图像可以指目标元素结束状态下的单帧图像。
S250、基于所述初始帧内图像与终止帧内图像的时间间隔，确定目标元素的操作耗时，并基于所述终止帧内图像确定目标元素对应的操作内容。
其中，操作耗时可以指目标流程中用户对目标元素的操作时长。操作内容可以指目标流程中用户对目标元素进行操作时具体的内容。示例性的，若目标元素为文本框，操作内容可以为用户具体输入的文本内容。
在一个可选的实施方式中，基于所述终止帧内图像确定目标元素对应的操作内容，包括：基于光学字符识别技术识别所述终止帧内图像中目标元素包含的文字内容，并将所述文字内容作为目标元素对应的操作内容。
具体的，在确定目标流程对应的终止帧内图像之后，可以利用光学字符识别技术对目标元素中的文字内容进行识别，由此，可以确定目标元素对应的操作内容，为后续构建视频日志提供有效的基础。
S260、将所述目标元素、状态变化、操作耗时及操作内容关联，生成目标流程对应的视频日志。
具体的，在分别确定目标流程对应的目标元素、状态变化、操作耗时及操作内容之后，可以将目标元素、状态变化、操作耗时及操作内容总和，得到目标流程对应的视频日志。示例性的，若目标流程对应的目标元素为文本框，目标元素的状态变化为文本框输入，操作耗时为两秒及操作内容为“Hello World”，则可以得到“在文本框中用时两秒输入‘HelloWorld’”的操作记录，并根据上述内容在日志表中的关键字位置对应填充，生成目标流程对应的视频日志。
S270、获取目标流程对应的标准流程日志，并差异比较所述标准流程日志与所述视频日志生成匹配结果。
具体的，在生成目标流程对应的视频日志之后，可以获取与目标流程对应的标准流程日志，并差异化比较标准流程日志与视频日志，得到包含差异结果的匹配结果。
S280、基于所述匹配结果与所述标准流程日志的差异关系，生成目标流程对应的优化策略。
具体的，在得到标准流程日志与视频日志间的匹配结果之后，可以根据匹配结果与标准流程日志中的最优流程，生成目标流程对应的优化策略。示例性的，若目标流程中审批节点的目标元素为按钮，目标流程对应的标准流程日志中审批节点对应的目标元素为文本框，则标准流程日志与视频日志见得匹配结果为审批节点的目标元素错误，目标流程对应的优化策略可以为：审批节点的目标元素为文本框。
本发明实施例的技术方案，通过预处理操作目标流程对应的初始视频生成基础视频，进而，基于基础视频确定全量帧内图像，以及各帧内图像中的目标元素，进一步，确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化，并确定状态变化为结束状态的终止帧内图像，状态变化为初始状态的初始帧内图像，基于初始帧内图像与终止帧内图像的时间间隔，确定目标元素的操作耗时，并基于终止帧内图像确定目标元素对应的操作内容，之后，将目标元素、状态变化、操作耗时及操作内容关联，生成目标流程对应的视频日志，最后，差异比较目标流程对应的标准流程日志与视频日志生成匹配结果，并基于匹配结果与标准流程日志的差异关系，生成目标流程对应的优化策略，解决了现有技术在流程挖掘过程中对业务软件的依赖性较高并且数据资源不足的问题，能够基于操作流程的视频日志实现流程挖掘，提高了流程挖掘时数据资源的容量，并且降低了对业务软件的依赖性。
图3所示为本发明实施例提供的一种可选的基于视频日志的优化策略生成方法的流程图。具体的，首先，获取用户进行业务流程操作时目标流程对应的初始视频，并预处理操作初始视频生成准确性和连续性得到提高的基础视频，之后，确定基础视频包含的全量帧内图像，以及各帧内图像中的目标流程对应的目标元素，确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化，进而，获取状态变化为结束状态的终止帧内图像，以及状态变化为初始状态的初始帧内图像，基于初始帧内图像与终止帧内图像的时间间隔，确定目标元素的操作耗时，并基于终止帧内图像确定目标元素对应的操作内容，进一步，将目标元素、状态变化、操作耗时及操作内容关联，生成目标流程对应的视频日志，最后，对视频日志进行流程挖掘，分析目标流程的业务问题并生成目标流程对应的优化策略。
实施例三
图4为本发明实施例三提供的一种基于视频日志的优化策略生成装置的结构示意图。如图4所示，该装置包括：预处理模块310、日志生成模块320及策略生成模块330；
其中，预处理模块310，用于获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频；
日志生成模块320，用于基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；
策略生成模块330，用于基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
本发明实施例的技术方案，通过预处理操作目标流程对应的初始视频生成基础视频，进而，基于基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志，最后，基于目标流程对应的标准流程日志与视频日志间的匹配结果，生成目标流程对应的优化策略，解决了现有技术在流程挖掘过程中对业务软件的依赖性较高并且数据资源不足的问题，能够基于操作流程的视频日志实现流程挖掘，提高了流程挖掘时数据资源的容量，并且降低了对业务软件的依赖性。
可选的，日志生成模块320具体可以包括：第一确定单元、第二确定单元、目标帧图像获取单元、第三确定单元及日志生成单元；
其中，第一确定单元，用于确定所述基础视频包含的全量帧内图像，并确定各帧内图像中的目标元素；
第二确定单元，用于确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化；
目标帧图像获取单元，用于获取所述状态变化为结束状态的终止帧内图像，以及所述状态变化为初始状态的初始帧内图像；
第三确定单元，用于基于所述初始帧内图像与终止帧内图像的时间间隔，确定目标元素的操作耗时，并基于所述终止帧内图像确定目标元素对应的操作内容；
日志生成单元，用于将所述目标元素、状态变化、操作耗时及操作内容关联，生成目标流程对应的视频日志。
可选的，第一确定单元具体可以用于：
基于预设目标检测算法识别各帧内图像中的目标元素，生成识别结果；
基于预设分割算法提取各帧内图像对应的识别结果，得到各帧内图像中的目标元素。
可选的，第二确定单元具体可以用于：
基于预设动作识别算法确定各相邻帧间图像中目标动作的动作变化，并将所述动作变化作为相邻帧间图像间目标元素的状态变化。
可选的，第三确定单元具体可以用于：
基于光学字符识别技术识别所述终止帧内图像中目标元素包含的文字内容，并将所述文字内容作为目标元素对应的操作内容。
可选的，策略生成模块330具体可以用于：
获取目标流程对应的标准流程日志，并差异比较所述标准流程日志与所述视频日志生成匹配结果；
基于所述匹配结果与所述标准流程日志的差异关系，生成目标流程对应的优化策略。
可选的，基于视频日志的优化策略生成装置，还可以包括：策略显示模块，用于在所述基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略之后，可视化显示所述目标流程对应的优化策略，以实现目标流程的流程优化。
本发明实施例所提供的基于视频日志的优化策略生成装置可执行本发明任意实施例所提供的基于视频日志的优化策略生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备410的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备410包括至少一个处理器420，以及与至少一个处理器420通信连接的存储器，如只读存储器(ROM)430、随机访问存储器(RAM)440等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器420可以根据存储在只读存储器(ROM)430中的计算机程序或者从存储单元490加载到随机访问存储器(RAM)440中的计算机程序，来执行各种适当的动作和处理。在RAM 440中，还可存储电子设备410操作所需的各种程序和数据。处理器420、ROM 430以及RAM440通过总线450彼此相连。输入/输出(I/O)接口460也连接至总线450。
电子设备410中的多个部件连接至I/O接口460，包括：输入单元470，例如键盘、鼠标等；输出单元480，例如各种类型的显示器、扬声器等；存储单元490，例如磁盘、光盘等；以及通信单元4100，例如网卡、调制解调器、无线通信收发机等。通信单元4100允许电子设备410通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器420可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器420的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器420执行上文所描述的各个方法和处理，例如基于视频日志的优化策略生成方法。
该方法包括：
获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频；
基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；
基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
在一些实施例中，基于视频日志的优化策略生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元490。在一些实施例中，计算机程序的部分或者全部可以经由ROM 430和/或通信单元4100而被载入和/或安装到电子设备410上。当计算机程序加载到RAM 440并由处理器420执行时，可以执行上文描述的基于视频日志的优化策略生成方法的一个或多个步骤。备选地，在其他实施例中，处理器420可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于视频日志的优化策略生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于视频日志的优化策略生成方法，其特征在于，包括：
获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频；
基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；
基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
2.根据权利要求1所述的方法，其特征在于，所述基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志，包括：
确定所述基础视频包含的全量帧内图像，并确定各帧内图像中的目标元素；
确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化；
获取所述状态变化为结束状态的终止帧内图像，以及所述状态变化为初始状态的初始帧内图像；
基于所述初始帧内图像与终止帧内图像的时间间隔，确定目标元素的操作耗时，并基于所述终止帧内图像确定目标元素对应的操作内容；
将所述目标元素、状态变化、操作耗时及操作内容关联，生成目标流程对应的视频日志。
3.根据权利要求2所述的方法，其特征在于，所述确定各帧内图像中的目标元素，包括：
基于预设目标检测算法识别各帧内图像中的目标元素，生成识别结果；
基于预设分割算法提取各帧内图像对应的识别结果，得到各帧内图像中的目标元素。
4.根据权利要求2所述的方法，其特征在于，所述确定各相邻帧间图像中目标动作的动作变化，作为相邻帧间图像间目标元素的状态变化，包括：
基于预设动作识别算法确定各相邻帧间图像中目标动作的动作变化，并将所述动作变化作为相邻帧间图像间目标元素的状态变化。
5.根据权利要求2所述的方法，其特征在于，所述基于所述终止帧内图像确定目标元素对应的操作内容，包括：
基于光学字符识别技术识别所述终止帧内图像中目标元素包含的文字内容，并将所述文字内容作为目标元素对应的操作内容。
6.根据权利要求1所述的方法，其特征在于，所述基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略，包括：
获取目标流程对应的标准流程日志，并差异比较所述标准流程日志与所述视频日志生成匹配结果；
基于所述匹配结果与所述标准流程日志的差异关系，生成目标流程对应的优化策略。
7.根据权利要求1所述的方法，其特征在于，在所述基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略之后，还包括：
可视化显示所述目标流程对应的优化策略，以实现目标流程的流程优化。
8.一种基于视频日志的优化策略生成装置，其特征在于，包括：
预处理模块，用于获取目标流程对应的初始视频，并预处理操作所述初始视频生成基础视频；
日志生成模块，用于基于所述基础视频中各帧内图像的目标元素及相邻帧间图像间目标元素的状态变化，生成目标流程对应的视频日志；
策略生成模块，用于基于目标流程对应的标准流程日志与所述视频日志间的匹配结果，生成目标流程对应的优化策略。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于视频日志的优化策略生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于视频日志的优化策略生成方法。
CN202311007135.6A 2023-08-10 2023-08-10 基于视频日志的优化策略生成方法、装置、设备及介质 Pending CN117033463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311007135.6A CN117033463A (zh) 2023-08-10 2023-08-10 基于视频日志的优化策略生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311007135.6A CN117033463A (zh) 2023-08-10 2023-08-10 基于视频日志的优化策略生成方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117033463A true CN117033463A (zh) 2023-11-10

Family

ID=88627564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311007135.6A Pending CN117033463A (zh) 2023-08-10 2023-08-10 基于视频日志的优化策略生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117033463A (zh)

Similar Documents

Publication Publication Date Title
CN113392974B (zh) 模型训练方法、装置、电子设备以及存储介质
CN114223189A (zh) 时长统计方法、装置、电子设备和计算机可读介质
CN115422028A (zh) 标签画像体系的可信度评估方法、装置、电子设备及介质
CN113204695B (zh) 网站识别方法和装置
CN114721964A (zh) 一种测试用例的自动生成方法、装置、设备及介质
CN117994021A (zh) 一种资产核销方式的辅助配置方法、装置、设备及介质
CN116309963B (zh) 一种图像的批量标注方法、装置、电子设备及存储介质
CN112528610A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN115511085A (zh) 一种模型数据处理方法、装置、设备及存储介质
CN117033463A (zh) 基于视频日志的优化策略生成方法、装置、设备及介质
CN114627343A (zh) 深度学习模型的训练方法、图像处理方法、装置及设备
CN116431698B (zh) 一种数据提取方法、装置、设备及存储介质
CN116882724B (zh) 一种业务流程优化方案的生成方法、装置、设备及介质
CN116974856B (zh) 一种自动获取日志文件的方法、装置、设备及介质
CN117010947B (zh) 基于业务活动的nps调研方法、装置、设备及存储介质
CN116186549B (zh) 模型的训练方法、装置、设备和介质
CN116524959A (zh) 一种语音情绪确定方法、装置、设备及介质
CN115223177A (zh) 一种文本识别方法、装置、设备及存储介质
CN117271518A (zh) 多事务事实表的生成方法、装置、设备及存储介质
CN113946503A (zh) 确定界面状态的方法、装置、存储介质及电子设备
CN118096389A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN117671711A (zh) 凭证识别模型的更新构建方法、装置、设备及介质
CN114511535A (zh) 一种白屏检测方法、装置、电子设备、介质及产品
CN116884023A (zh) 图像识别方法、装置、电子设备及存储介质
CN117785413A (zh) 一种任务转发方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination