CN112560715A - 操作记录展示方法、装置、电子设备及存储介质 - Google Patents

操作记录展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112560715A
CN112560715A CN202011515659.2A CN202011515659A CN112560715A CN 112560715 A CN112560715 A CN 112560715A CN 202011515659 A CN202011515659 A CN 202011515659A CN 112560715 A CN112560715 A CN 112560715A
Authority
CN
China
Prior art keywords
sub
areas
area
operator
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011515659.2A
Other languages
English (en)
Inventor
侯欣如
李园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011515659.2A priority Critical patent/CN112560715A/zh
Publication of CN112560715A publication Critical patent/CN112560715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种操作记录展示方法、装置、电子设备及存储介质，该方法包括：获取AR设备采集的作业区的作业现场图像；基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；通过所述AR设备展示所述操作状态展示数据。

Description

操作记录展示方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种操作记录展示方法、装置、电子设备及存储介质。
背景技术
随着工业技术的发展，作业现场内工作设备对应的操作流程越来越复杂，故为了保障工作设备的正常工作，需要操作人员依靠经验和储备知识进行操作，即对操作人员的技术要求也越来越高。
一般的，在作业现场内无法对操作人员的操作流程进行指导，使得操作人员的操作过程没有参考依据。因此，提出一种能够对操作人员的操作过程进行指导的方法尤为重要。
发明内容
有鉴于此，本公开至少提供一种操作记录展示方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种操作记录展示方法，包括：
获取增强现实(Augmented Reality，AR)设备采集的作业区的作业现场图像；
基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
通过所述AR设备展示所述操作状态展示数据。
上述方法中，通过基于获取的作业现场图像，获取与作业现场图像对应的作业区内多个作业子区域的历史操作记录，基于历史操作记录，生成多个作业子区域分别对应的操作状态展示数据，由于该操作状态数据指示了不同的作业子区域分别对应的操作状态，故在通过AR设备展示了操作状态展示数据后，可以根据操作状态展示数据，对作业区内的多个作业子区域的操作状态有明确的、清晰的认知，进而可以利用展示的操作状态展示数据，指导携带AR设备的目标作业人员针对作业区的作业操作。
一种可能的实施方式中，所述操作状态展示数据包括操作热力图，所述基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据，包括：
基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；
基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。
采用上述方法，可以基于历史操作记录，确定作业区内多个作业子区域分别对应的操作热度值，再基于作业区内多个作业子区域分别对应的操作热度值，生成多个作业子区域对应的操作热力图，该操作热力图中通过颜色表征对应作业子区域的操作热度值，即不同颜色对应不同的操作热度值，实现通过操作热力图形象的表征作业区内多个作业子区域的操作状态。
一种可能的实施方式中，所述方法还包括：
获取携带所述AR设备的目标作业人员的用户图像；
对所述用户图像进行识别，确定所述目标作业人员的身份信息；
在通过所述AR设备展示所述操作状态展示数据之后，所述方法还包括：
获取所述目标作业人员针对任一所述作业子区域生成的操作记录；
将所述操作记录与所述目标作业人员的身份信息关联存储。
上述实施方式中，通过获取的目标作业人员的用户图像，确定目标作业人员的身份信息，进而在获取了目标作业人员针对任一作业子区域生成的操作记录后，可以将获取的操作记录与目标作业人员的身份信息关联存储，使得可以通过目标作业人员的身份信息，较准确的确定该目标作业人员的操作记录。
一种可能的实施方式中，所述方法还包括：
响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。
上述实施方式中，响应于操作记录查询请求，控制显示设备展示与目标作业人员的身份信息关联的操作记录，和/或，控制显示设备展示目标作业人员的操作状态展示数据，以便通过展示的操作记录和/或操作状态展示数据，对目标作业人员或其他作业人员的作业操作进行指导。
一种可能的实施方式中，根据下述步骤确定所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：
获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；
基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录。
采用上述方法，可以通过部署在作业区内的至少一个摄像设备采集作业人员的用户图像，和/或，通过AR设备采集用户图像，实现用户图像的灵活采集，进而基于获取的作业人员的用户图像，可以较全面、较准确的确定作业区内多个作业子区域的历史操作记录。
一种可能的实施方式中，所述历史操作记录包括关注度；所述用户图像包括脸部图像；所述基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录，包括：
基于所述脸部图像，确定所述作业人员对应的视线检测结果；其中，所述视线检测结果指示所述作业人员的视线停留的作业子区域；
基于所述视线检测结果，确定所述作业区内多个作业子区域的历史操作记录。
上述实施方式中，在历史操作记录中包括关注度时，可以通过采集的脸部图像，确定作业人员对应的视线检测结果，该视线检测结果指示作业人员的视线停留的作业子区域，通过视线检测结果，可以较准确的确定了作业区内多个作业子区域的历史操作记录。
一种可能的实施方式中，所述基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：
对所述作业现场图像进行作业区的特征识别，确定所述作业现场图像对应的作业区；
获取所述作业区对应的多个作业子区域的所述历史操作记录；其中，所述历史操作记录为目标历史时间段内记录的所述多个作业子区域的作业操作的操作记录。
考虑到作业区存在多个的情况，可以对作业现场图像进行作业区的特征识别，较准确的确定作业现场图像对应的作业区，进而可以获取确定的作业区对应的多个作业子区域的历史操作记录，避免获取与作业现场图像不匹配的其他作业区的历史操作记录，造成AR设备展示的操作状态展示数据与作业现场图像不匹配的情况发生。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种操作记录展示装置，包括：
第一获取模块，用于获取AR设备采集的作业区的作业现场图像；
第二获取模块，用于基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
生成模块，用于基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
展示模块，用于通过所述AR设备展示所述操作状态展示数据。
一种可能的实施方式中，所述操作状态展示数据包括操作热力图，所述生成模块，在基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据时，用于：
基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；
基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。
一种可能的实施方式中，所述装置还包括：识别模块，用于：
获取携带所述AR设备的目标作业人员的用户图像；
对所述用户图像进行识别，确定所述目标作业人员的身份信息；
在通过所述AR设备展示所述操作状态展示数据之后，所述装置还包括：第三获取模块，用于：
获取所述目标作业人员针对任一所述作业子区域生成的操作记录；
将所述操作记录与所述目标作业人员的身份信息关联存储。
一种可能的实施方式中，所述装置还包括：控制模块，用于：
响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。
一种可能的实施方式中，所述第二获取模块，用于根据下述步骤确定所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录：
获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；
基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录。
一种可能的实施方式中，所述历史操作记录包括关注度；所述用户图像包括脸部图像；所述第二获取模块，在基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录时，用于：
基于所述脸部图像，确定所述作业人员对应的视线检测结果；其中，所述视线检测结果指示所述作业人员的视线停留的作业子区域；
基于所述视线检测结果，确定所述作业区内多个作业子区域的历史操作记录。
一种可能的实施方式中，所述第二获取模块，在基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录时，用于：
对所述作业现场图像进行作业区的特征识别，确定所述作业现场图像对应的作业区；
获取所述作业区对应的多个作业子区域的所述历史操作记录；其中，所述历史操作记录为目标历史时间段内记录的所述多个作业子区域的作业操作的操作记录。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的操作记录展示方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的操作记录展示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种操作记录展示方法的流程示意图；
图2示出了本公开实施例所提供的一种操作记录展示方法中，基于作业现场图像，获取与作业现场图像对应的作业区内多个作业子区域的历史操作记录的具体方式的流程示意图；
图3示出了本公开实施例所提供的一种操作记录展示方法中，基于历史操作记录，生成多个作业子区域分别对应的操作状态展示数据的具体方式的流程示意图；
图4示出了本公开实施例所提供的一种操作记录展示方法中，操作热力图的示意图；
图5示出了本公开实施例所提供的一种操作记录展示装置的架构示意图；
图6示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
随着工业技术的发展，作业现场内工作设备对应的操作流程越来越复杂，故为了保障工作设备的正常工作，需要操作人员依靠经验和储备知识进行操作，即对操作人员的技术要求也越来越高。由于在作业现场内无法对操作人员的操作流程进行指导，使得操作人员的操作过程没有参考依据。为了解决上述问题，实现对操作人员的操作过程的指导，本公开实施例提供了一种操作记录展示方法、装置、电子设备及存储介质。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种操作记录展示方法进行详细介绍。本公开实施例所提供的操作记录展示方法的执行主体一般为具有一定计算能力的电子设备，例如可以为增强现实(Augmented Reality，AR)设备，所述AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有功能和数据处理功能的设备，AR设备可以连接云端服务器。
参见图1所示，为本公开实施例所提供的操作记录展示方法的流程示意图，该方法包括S101-S104，其中：
S101，获取AR设备采集的作业区的作业现场图像；
S102，基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
S103，基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
S104，通过所述AR设备展示所述操作状态展示数据。
上述方法中，通过基于获取的作业现场图像，获取与作业现场图像对应的作业区内多个作业子区域的历史操作记录，基于历史操作记录，生成多个作业子区域分别对应的操作状态展示数据，由于该操作状态数据指示了不同的作业子区域分别对应的操作状态，故在通过AR设备展示了操作状态展示数据后，可以根据操作状态展示数据，对作业区内的多个作业子区域的操作状态有明确的、清晰的认知，进而可以利用展示的操作状态展示数据，指导携带AR设备的目标作业人员针对作业区的作业操作。
下述对S101-S104进行具体说明。
针对S101以及S102：
作业人员在携带有AR设备进入作业区后，可以获取该AR设备实时采集的作业区的作业现场图像，其中，该作业现场图像可以为采集的作业区的任一帧场景图像。
进一步地，可以基于作业现场图像，获取与作业现场图像对应的作业区内多个作业子区域的历史操作记录。作业区内的多个作业子区域可以为按照设置的区域位置范围，将作业区划分后得到的；或者，作业区内的多个作业子区域也可以为作业区内包括的多个设备分别对应的区域，比如，将每个设备对应的区域确定为一个作业子区域。
历史操作记录中可以包括作业人员的关注度、姿态等。其中，可以基于作业人员的视线停留区域、视线停留时长、视线停留次数等信息中的一种或多种，确定作业人员的关注度。
示例性说明，在使用作业人员的视线停留区域和视线停留时长，确定作业人员的视线停留区域时，可以设置停留时长与关注度之间的映射关系，再可以根据确定的作业人员在视线停留区域内的视线停留时长和设置的映射关系，确定作业人员的关注度。比如，设置的映射关系可以为：停留时长为0-3秒，关注度的等级为1；停留时长为4-6秒，关注度的等级为2；停留时长为7-10秒时，关注度的等级为3等，若确定作业人员在视线停留区域A内的视线停留时长为5秒，在视线停留区域B内的视线停留时长为3秒，则确定视线停留区域A对应的关注度等级为2，视线停留区域B对应的关注度等级为1。
示例性的，历史操作记录中还可以包括作业区内多个作业子区域的错误率、操作频率、检修频率等中的至少一种。其中，历史操作记录中的错误率、操作频率、检修频率等可以根据作业人员的操作次数确定。
一种可选实施方式中，S102的步骤具体可通过如下方式实现：
S1021、获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；
S1022、基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录。
在S1021中，可以在作业区内部署至少一个摄像设备，部署的至少一个摄像设备实时的采集作业区对应的图像，从至少一个摄像设备中获取采集的作业人员的用户图像，该用户图像中可以包括用户的肢体图像、脸部图像、眼部图像等中的一种或多种。和/或，可以获取在作业区内执行目标操作的作用人员携带的AR设备采集的用户图像。其中，该作业人员可以为在作业区内执行作业操作的任一作业人员，即该用户图像可以为携带该AR设备的目标作业人员的用户图像，也可以为在作业区内的其他作业人员的用户图像。即获取的作业人员的用户图像可以包括至少一个摄像设备采集的作业人员的用户图像和/或AR设备采集的用户图像。
在S1022中，可以对作业人员的用户图像进行识别，确定作业区内多个作业子区域的历史操作记录。比如，在历史操作记录包括姿态时可以对作业人员的用户图像进行姿态识别，确定作业人员的姿态类别，和/或确定作业人员的姿态轮廓信息；将作业人员的姿态类别和/或姿态轮廓信息，确定为作业区内多个作业子区域的历史操作记录。其中，姿态类别可以根据设备的操作需求进行设置，比如，姿态类别可以包括执行操作一的姿态类别一、执行操作二的姿态类别二等；姿态轮廓信息可以为作业人员在执行对应操作时姿态的轮廓信息。
采用上述方法，可以通过部署在作业区内的至少一个摄像设备采集作业人员的用户图像，和/或，通过AR设备采集用户图像，实现用户图像的灵活采集，进而基于获取的作业人员的用户图像，可以较全面、较准确的确定作业区内多个作业子区域的历史操作记录。
在一种可选实施方式中，在所述历史操作记录包括关注度；所述用户图像包括脸部图像时，S102的步骤可以包括：
S1023、基于所述脸部图像，确定所述作业人员对应的视线检测结果；其中，所述视线检测结果指示所述作业人员的视线停留的作业子区域；
S1024、基于所述视线检测结果，确定所述作业区内多个作业子区域的历史操作记录。
在S1023中，可以对脸部图像进行追踪检测，确定作业人员对应的视线检测结果，该视线检测结果指示作业人员的视线停留的作业子区域，比如，可以根据作业人员的脸部图像，确定作业人员的脸部朝向、眼球位置、眼球方向等中的至少一种信息，基于确定的作业人员的脸部朝向、眼球位置、眼球方向中的至少一种信息，确定作业人员的视线停留的作业子区域。
示例性的，在视线检测结果包括脸部朝向时，可以利用用于人脸朝向识别的第一神经网络，将作业人员的脸部图像输入至预先训练的第一神经网络中，得到该脸部图像中作业人员的脸部朝向。比如，可以设置脸部朝向类别，即左后方向、左前方向、正视方向、右前方向、右后方向，通过利用训练的第一神经网络确定作业人员的脸部朝向的类别，得到了脸部图像中作业人员的脸部朝向。或者，也可以通过关键点识别模型识别人脸关键点信息，利用人脸关键点中至少部分部位的关键点信息来计算脸部朝向，比如，也可以确定鼻尖关键点信息和左眼、右眼关键点信息，基于上述关键点信息分别计算左眼与鼻尖、右眼与鼻尖之间的距离，通过距离的判断，确定脸部朝向。
在视线检测结果包括眼球位置时，可以建立用于眼球位置检测的第二神经网络，将作业人员的脸部图像输入至预先训练的第二神经网络中，或者，将从作业区域的脸部图像截取得到的眼部图像，输入至预先训练的第二神经网络中，确定该作业人员的眼球位置；该眼球位置可以为眼球对应的检测框的位置信息，也可以为眼球的轮廓区域的位置信息。
在视线检测结果包括眼球方向时，可以获取标注有人眼观看不同位置时不同眼球方向的样本图像，利用该样本图像对建立的待训练神经网络进行训练，生成训练后的、用于对眼球方向进行追踪检测的第三神经网络。再可以将作业人员的脸部图像输入至训练的第三神经网络中，或者，将从作业区域的脸部图像截取得到的眼部图像，输入至训练的第三神经网络中，确定该作业人员的眼球方向。
在S1024中，可以利用视线检测结果，确定作业区内多个作业子区域的历史操作记录。比如，可以基于一帧脸部图像，确定作业人员此时对应视线停留的作业子区域；或者，还可以基于多帧脸部图像对应的视线停留的作业子区域，确定作业人员在每个作业子区域的视线停留时长、视线停留次数等。
示例性的，在AR设备为AR眼镜时，可以使用AR眼镜上设置的眼球追踪装置，对佩戴该AR眼镜的作业人员的视线进行实时追踪，确定该作业人员对应的视线检测结果。进而可以基于该视线检测结果，确定作业区内多个作业子区域的历史操作记录。
上述实施方式中，在历史操作记录中包括关注度时，可以通过采集的脸部图像，确定作业人员对应的视线检测结果，该视线检测结果指示作业人员的视线停留的作业子区域，通过视线检测结果，可以较准确的确定了作业区内多个作业子区域的历史操作记录。
一种可选实施方式中，参见图2所示，所述基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：
S201，对所述作业现场图像进行作业区的特征识别，确定所述作业现场图像对应的作业区；
S202，获取所述作业区对应的多个作业子区域的所述历史操作记录；其中，所述历史操作记录为目标历史时间段内记录的所述多个作业子区域的作业操作的操作记录。
在S201中，可以对作业现场图像进行作业区的特征识别，确定作业现场图像对应的作业区。具体实施时，可以将作业现场图像与预先存储的多帧作业区对应的现场图像进行匹配，确定作业现场图像对应的作业区；或者，可以利用训练后的第一神经网络对作业现场图像进行特征识别，利用识别到的特征信息，确定作业现场图像对应的作业区，比如，预先存储的作业区一中包括特征A、特征B，作业区二中包括特征C、和特征D，在识别到作业现场图像中包括特征A和/或特征B时，确定作业现场图像对应作业区一。
示例性的，可以获取携带有标注特征的训练样本，对第一神经网络进行训练，直至训练后的第一神经网络的准确度大于设置的准确度阈值，或者，直至训练后的第一神经网络的损失值小于设置的损失阈值，得到训练后的第一神经网络。
具体实施时，可以为每个作业区设置一标识信息，通过对作业现场图像进行作业区的特征识别，确定作业现场图像对应的作业区的标识信息。
在S202中，在确定了作业现场图像对应的作业区之后，可以获取该作业区对应的多个作业区域的历史操作记录。比如，可以通过确定的作业区的标识信息，获取与该作业区的标识信息关联存储的多个作业区的历史操作记录。
其中，历史操作记录为目标历史时间段内记录的多个作业子区域的作业操作的操作记录，其中，该作业操作的操作记录可以包括携带该AR设备的作业人员对应的作业操作的操作记录、其他作业人员对应的作业操作的操作记录。目标历史时间段可以根据需要进行设置，比如，在当前日期为11月1日，目标历史时间段可以为10月1日至10月31日，或者，目标时间段还可以为10月25日至10月31日，或者，目标时间段还可以为10月31日00:00至10月31日24：00。
考虑到作业区存在多个的情况，可以对作业现场图像进行作业区的特征识别，较准确的确定作业现场图像对应的作业区，进而可以获取确定的作业区对应的多个作业子区域的历史操作记录，避免获取与作业现场图像不匹配的其他作业区的历史操作记录，造成AR设备展示的操作状态展示数据与作业现场图像不匹配的情况发生。
针对S103：
示例性的，操作状态展示数据可以为文字数据、视频数据、语音数据、图像数据等中的至少一种。比如，操作状态展示数据可以为以下数据中的一种或多种：操作状态展示视频、操作状态展示文字、操作状态展示语音、操作热力图等。
操作状态展示数据为用于指示不同的作业子区域分别对应的操作状态，比如，操作状态展示数据中可以包括作业子区域A的操作状态为操作频繁，作业子区域B的操作状态为操作稀少；再比如，操作状态展示数据中可以包括作业子区域A的操作状态为操作准确率50％，作业子区域B的操作状态为操作准确率70％等。
一种可选实施方式中，参见图3所示，所述操作状态展示数据包括操作热力图，所述基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据，包括：
S1031，基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；
S1031，基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。
示例性的，操作热力图中每一作业子区域对应一颜色，该颜色表征了该作业子区域的操作状态，不同的作业子区域对应的颜色可以相同、也可以不同。比如，在操作状态为操作次数时，若作业子区域一对应的颜色为蓝色，则表征该作业子区域的操作状态为操作次数较少；作业子区域二对应的颜色为红色，则表征该作业子区域的操作状态为操作次数较多。再比如，在操作状态为操作准确度时，可以建立操作准确度与颜色之间的对应关系，例如，可以将操作准确度位于80％(不包括80％)-100％(包括100％)之内的作业子区域的颜色设置为绿色，将操作准确度位于50％(不包括50％)-80％(包括80％)之内的作业子区域的颜色设备为蓝色等。其中，操作状态的内容、和操作状态与颜色之间的对应关系，可以根据需要进行设置，此处仅为示例性说明。
在历史操作记录中包括一种记录信息时，可以基于该记录信息，确定作业区内多个作业子区域分别对应的操作热度值。比如，在历史操作记录包括关注度时，则在关注度指示的作业子区域A对应的视线停留时长为5分钟，关注度指示的作业子区域B对应的视线停留时长为3分钟时，确定作业子区域A对应的操作热度值可以为3，作业子区域B对应的操作热度值可以为5。
在历史操作记录中包括多种记录信息时，可以基于多种记录信息，确定作业区内多个作业子区域分别对应的操作热度值。比如，可以先分别基于每种记录信息，确定作业区内多个作业子区域分别对应的中间操作热度值；再针对每个作业子区域，可以将该作业子区域下多种记录信息分别对应的中间操作热度值相加，得到该作业子区域的操作热度值；或者，也可以设置每种记录信息对应的权重，将该作业子区域下多种记录信息分别对应的中间操作热度值加权相加，得到该作业子区域的操作热度值。
进而可以基于作业区内多个作业子区域分别对应的操作热度值，生成多个作业子区域对应的操作热力图。比如，可以基于作业子区域A对应的操作热度值，确定作业子区域对应的颜色为浅蓝；基于作业子区域B对应的操作热度值，确定作业子区域对应的颜色为深蓝；在可以基于确定的作业区内各个作业子区域的颜色，生成多个作业子区域对应的操作热力图。
参见图4所示的一种操作记录展示方法中，操作热力图的示意图，该图中包括设备A对应的作业子区域41、设备B对应的作业子区域42、设备C对应的作业子区域43、设备D对应的作业子区域44。其中，每个设备的作业子区域上的颜色信息，表征了与该颜色信息相匹配的操作热度值，不同的颜色信息表征不同大小的操作热度值。在操作热度值包括关注度时，不同的颜色信息，可以表征不同大小的关注度。比如，在设备A对应的作业子区域41上，灰色对应的操作热度值高于白色对应的操作热度值。再比如，在操作热度值包括关注度和操作准确率时，不同的颜色信息，可以表征不同大小的关注度和操作准确率，比如，深灰色表征的关注度较多和操作准确率，高于浅灰色表征的关注度较少和操作准确率等。
示例性的，在确定了操作热力图之后，可以基于操作热力图，生成对设备的作业子区域进行分析的分析结果。比如，在操作热度值表征对应区域的关注度时，针对每个设备对应的作业子区域上的颜色信息，可以将该设备对应的作业子区域内，不同局部区域的关注度进行对比，生成每个设备对应的对比结果；比如，对比结果可以包括设备对应的作业子区域内，关注度较多的局部子区域、和关注度较少的局部子区域。和/或，针对各个设备分别对应的作业子区域上的颜色信息，可以对不同设备之间的关注度进行对比，生成各个设备之间的对比结果；比如，在设备A对应的作业子区域上关注度较多的区域面积较小，设备B对应的作业子区域上关注度较多的区域面积较大，则对比结果可以为：作业人员对设备A的关注度低于设备B对应的关注度。
采用上述方法，可以基于历史操作记录，确定作业区内多个作业子区域分别对应的操作热度值，再基于作业区内多个作业子区域分别对应的操作热度值，生成多个作业子区域对应的操作热力图，该操作热力图中通过颜色表征对应作业子区域的操作热度值，即不同颜色对应不同的操作热度值，实现通过操作热力图形象的表征作业区内多个作业子区域的操作状态。
针对S104：
具体实施时，可以根据作业现场图像上包括的画面信息，确定操作状态展示数据的展示位置。示例性的，可以通过训练的目标神经网络，识别作业现场图像上包括的画面信息。或者，可以响应于用户触发的展示操作，确定操作状态展示数据的展示位置；或者，也可以根据操作状态展示数据的类型，确定操作状态展示数据的展示位置。其中，确定操作状态展示数据的展示位置的方式，可以根据需要进行设置，此处仅为示例性说明。
比如，在检测到作业现场图像上设备的周围区域为没有操作部件的空白区域时，可以在AR设备展示的作业现场图像的空白区域上展示操作状态展示数据；在作业现场图像上包括设备的各个操作部件的画面信息时，可以将操作状态展示数据展示在AR设备展示的作业现场图像的边缘区域，比如，可以将操作状态展示数据展示在AR设备展示的作业现场图像的左下方区域等。
比如，响应于用户触发的展示操作，可以将操作状态展示数据展示在AR设备展示的作业现场图像的边缘区域；或者，响应于用户触发的展示操作，可以在AR设备展示的作业现场图像的各个操作部件的周围区域内展示操作状态展示数据。
再比如，在操作状态展示数据的类型为文字数据时，可以将操作状态数据展示在AR设备展示的作业现场图像的各个操作部件的周围区域内；在操作状态数据的类型为图像数据时，可以将操作状态数据展示在AR设备展示的作业现场图像的边缘区域内。
示例性的，可以使用AR设备展示的操作状态展示数据对目标作业人员的作业操作进行指导，比如，若操作状态展示数据指示设备A对应的作业区域的关注度较低，但是设备A的重要程度较高，则目标作业人员可以对设备A进行重点关注。
一种可选实施方式中，所述方法还包括：
S105、获取携带所述AR设备的目标作业人员的用户图像；
S106、对所述用户图像进行识别，确定所述目标作业人员的身份信息。
在通过所述AR设备展示所述操作状态展示数据之后，所述方法还包括：
S107、获取所述目标作业人员针对任一所述作业子区域生成的操作记录；
S108、将所述操作记录与所述目标作业人员的身份信息关联存储。
具体实施时，可以通过部署在作业区的至少一个摄像设备采集携带AR设备的目标作业人员的用户图像，或者，还可以通过AR设备获取目标作业人员的用户图像，进而可以获取携带AR设备的目标作业人员的用户图像。
再可以对用户图像进行识别，确定目标作业人员的身份信息。比如，可以通过用户图像与存储的多个作业人员的图像进行匹配，确定目标作业人员的身份信息；或者，还可以通过训练后的第二神经网络对用户图像进行识别，确定目标作业人员的身份信息。该身份信息可以为表征用户身份的标识信息，比如，该身份信息可以包括但不限于：姓名、工作工号、身份证号、电话号等。
同时还可以获取目标作业人员针对作业区内的任一作业子区域生成的操作记录，并将获取的操作记录与目标作业人员的身份信息关联存储，以便可以根据与目标作业人员的身份信息关联的操作记录进行后续操作。
比如，可以在未来时间段，在检测到目标作业人员进入作业区内执行作业操作时，可以确定目标作业人员的身份信息，获取与身份信息关联存储的操作记录，以便利用该操作记录对目标作业人员的作业操作进行指导；或者，在负责该作业区的作业人员为多个时，可以将与目标作业人员的身份信息关联存储的操作记录，发送给负责该作业区的其他作业人员携带的AR设备，以便对其他作业人员在作业区内的作业操作进行指导；或者，还可以将与目标作业人员的身份信息关联存储的操作记录发送给管理人员(比如，该管理人员可以为对各个作业人员进行管理的用户)对应的显示设备，以便在管理人员查看目标作业人员的操作记录后，可以对目标作业人员的作业操作进行指导等。
上述实施方式中，通过获取的目标作业人员的用户图像，确定目标作业人员的身份信息，进而在获取了目标作业人员针对任一作业子区域生成的操作记录后，可以将获取的操作记录与目标作业人员的身份信息关联存储，使得可以通过目标作业人员的身份信息，较准确的确定该目标作业人员的操作记录。
一种可选实施方式中，所述方法还包括：响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。
上述实施方式中，响应于操作记录查询请求，控制显示设备展示与目标作业人员的身份信息关联的操作记录，和/或，控制显示设备展示目标作业人员的操作状态展示数据，以便通过展示的操作记录和/或操作状态展示数据，对目标作业人员或其他作业人员的作业操作进行指导。
具体实施时，响应于操作记录查询请求，控制显示设备展示与目标作业人员的身份信息关联的操作记录。其中，显示设备包括AR设备和/或其他带有显示屏的设备，该AR设备包括目标作业人员携带的AR设备和/或其他作业人员携带的AR设备，其他带有显示屏的设备可以为手机、平板、计算机设备等。示例性的，操作记录查询请求可以为任一用户触发生成的，比如，可以为管理人员和/或作业人员触发生成的。
示例性说明，可以识别目标作业人员的身份信息，并获取目标作业人员针对任一作业子区域生成的操作记录；再基于该目标作业人员对应的操作记录，生成该目标作业人员对应的操作状态展示数据；并将操作记录和操作状态展示数据、与目标作业人员的身份信息关联存储。进而响应于操作记录查询请求，控制显示设备展示基于该操作记录确定的目标作业人员的操作状态展示数据，即响应于操作记录查询请求，控制显示设备展示与该目标作业人员的身份信息关联的操作状态展示数据。
示例性的，若一个组内包括多个作业人员，多个作业人员可以对应一个作业区，即多个作业人员针对同一作业区进行操作；或者，多个作业人员还可以对应不同作业区，即多个作业人员针对不同作业区进行作业操作。针对上述场景，可以分别将该组内每个作业人员作为目标作业人员，执行下述步骤：识别目标作业人员的身份信息，并获取该目标作业人员在对应作业子区域生成的操作记录，将该操作记录与该目标作业人员的身份信息关联存储；进而可以将该组内每个作业人员对应的操作记录与作业人员的身份信息关联存储。再可以基于该组内每个作业人员的操作记录，生成各个作业人员对应的操作状态展示数据。
进一步的，还可以响应于针对该组的操作记录查询请求，控制显示设备展示与该组内各个作业人员的身份信息关联的操作记录。和/或，还可以响应于针对该组的操作记录查询请求，控制显示设备展示与该组内各个作业人员的身份信息关联的操作状态展示数据。
再可以基于显示设备展示的该组内各个作业人员对应的操作记录和/或操作状态展示数据，生成用于对该组内的各个作业人员负责的作业子区域进行调控的调控策略，和/或，生成用于对该组内的各个作业人员的作业操作进行指导的指导策略。其中，调控策略和指导策略可以根据实际情况进行确定，此处仅为示例性说明。
比如，在基于显示设备展示的该组内各个作业人员的操作状态展示数据，确定负责作业区一的至少一个作业人员的操作记录较为频繁，负责作业区二的至少一个作业人员的操作记录较为稀少，则生成的调控策略可以为：从负责作业区一的作业人员中选择部分作业人员，使得选择的部分作业人员负责作业区二。或者，在基于显示设备展示的该组内各个作业人员的操作状态展示数据，确定作业子区域一对应的操作热度值较低，则生成的指导策略可以为：指导目标作业人员对作业子区域一进行多次操作作业。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种操作记录展示装置，参见图5所示，为本公开实施例提供的操作记录展示装置的架构示意图，包括第一获取模块501、第二获取模块502、生成模块503、展示模块504，具体的：
第一获取模块501，用于获取AR设备采集的作业区的作业现场图像；
第二获取模块502，用于基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
生成模块503，用于基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
展示模块504，用于通过所述AR设备展示所述操作状态展示数据。
一种可能的实施方式中，所述操作状态展示数据包括操作热力图，所述生成模块503，在基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据时，用于：
基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；
基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。
一种可能的实施方式中，所述装置还包括：识别模块505，用于：
获取携带所述AR设备的目标作业人员的用户图像；
对所述用户图像进行识别，确定所述目标作业人员的身份信息；
在通过所述AR设备展示所述操作状态展示数据之后，所述装置还包括：第三获取模块506，用于：
获取所述目标作业人员针对任一所述作业子区域生成的操作记录；
将所述操作记录与所述目标作业人员的身份信息关联存储。
一种可能的实施方式中，所述装置还包括：控制模块507，用于：
响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。
一种可能的实施方式中，所述第二获取模块502，用于根据下述步骤确定所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录：
获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；
基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录。
一种可能的实施方式中，所述历史操作记录包括关注度；所述用户图像包括脸部图像；所述第二获取模块502，在基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录时，用于：
基于所述脸部图像，确定所述作业人员对应的视线检测结果；其中，所述视线检测结果指示所述作业人员的视线停留的作业子区域；
基于所述视线检测结果，确定所述作业区内多个作业子区域的历史操作记录。
一种可能的实施方式中，所述第二获取模块502，在基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录时，用于：
对所述作业现场图像进行作业区的特征识别，确定所述作业现场图像对应的作业区；
获取所述作业区对应的多个作业子区域的所述历史操作记录；其中，所述历史操作记录为目标历史时间段内记录的所述多个作业子区域的作业操作的操作记录。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图6所示，为本公开实施例提供的电子设备的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当电子设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
获取AR设备采集的作业区的作业现场图像；
基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
通过所述AR设备展示所述操作状态展示数据。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的操作记录展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的操作记录展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种操作记录展示方法，其特征在于，包括：
获取增强现实AR设备采集的作业区的作业现场图像；
基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
通过所述AR设备展示所述操作状态展示数据。
2.根据权利要求1所述的方法，其特征在于，所述操作状态展示数据包括操作热力图，所述基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据，包括：
基于所述历史操作记录，确定所述作业区内多个作业子区域分别对应的操作热度值；
基于所述作业区内多个作业子区域分别对应的操作热度值，生成所述多个作业子区域对应的操作热力图。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取携带所述AR设备的目标作业人员的用户图像；
对所述用户图像进行识别，确定所述目标作业人员的身份信息；
在通过所述AR设备展示所述操作状态展示数据之后，所述方法还包括：
获取所述目标作业人员针对任一所述作业子区域生成的操作记录；
将所述操作记录与所述目标作业人员的身份信息关联存储。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
响应于操作记录查询请求，控制显示设备展示与所述目标作业人员的身份信息关联的所述操作记录，和/或，控制显示设备展示基于所述操作记录确定的所述目标作业人员的操作状态展示数据，其中，所述显示设备包括所述AR设备和/或其他带有显示屏的设备。
5.根据权利要求1～4任一所述的方法，其特征在于，根据下述步骤确定所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：
获取部署在所述作业区的至少一个摄像设备采集的作业人员的用户图像；和/或，获取在所述作业区内执行目标操作的作业人员携带的AR设备采集的用户图像；
基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录。
6.根据权利要求5所述的方法，其特征在于，所述历史操作记录包括关注度；所述用户图像包括脸部图像；所述基于所述作业人员的用户图像，确定所述作业区内多个作业子区域的历史操作记录，包括：
基于所述脸部图像，确定所述作业人员对应的视线检测结果；其中，所述视线检测结果指示所述作业人员的视线停留的作业子区域；
基于所述视线检测结果，确定所述作业区内多个作业子区域的历史操作记录。
7.根据权利要求1～6任一所述的方法，其特征在于，所述基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录，包括：
对所述作业现场图像进行作业区的特征识别，确定所述作业现场图像对应的作业区；
获取所述作业区对应的多个作业子区域的所述历史操作记录；其中，所述历史操作记录为目标历史时间段内记录的所述多个作业子区域的作业操作的操作记录。
8.一种操作记录展示装置，其特征在于，包括：
第一获取模块，用于获取AR设备采集的作业区的作业现场图像；
第二获取模块，用于基于所述作业现场图像，获取与所述作业现场图像对应的所述作业区内多个作业子区域的历史操作记录；
生成模块，用于基于所述历史操作记录，生成所述多个作业子区域分别对应的操作状态展示数据；其中，所述操作状态展示数据用于指示不同的作业子区域分别对应的操作状态；
展示模块，用于通过所述AR设备展示所述操作状态展示数据。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的操作记录展示方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的操作记录展示方法的步骤。
CN202011515659.2A 2020-12-21 2020-12-21 操作记录展示方法、装置、电子设备及存储介质 Pending CN112560715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011515659.2A CN112560715A (zh) 2020-12-21 2020-12-21 操作记录展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011515659.2A CN112560715A (zh) 2020-12-21 2020-12-21 操作记录展示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112560715A true CN112560715A (zh) 2021-03-26

Family

ID=75031005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011515659.2A Pending CN112560715A (zh) 2020-12-21 2020-12-21 操作记录展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112560715A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506005A (zh) * 2021-07-16 2021-10-15 牡丹江医学院 一种ct教学模拟方法、系统、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033444A1 (en) * 2005-08-08 2007-02-08 Samsung Electronics Co., Ltd. Method and apparatus of providing devices with history information on image forming jobs
JP2014146181A (ja) * 2013-01-29 2014-08-14 Dainippon Printing Co Ltd 作業情報記録装置、表示システム、及びプログラム
US20180130260A1 (en) * 2016-11-08 2018-05-10 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20190005636A1 (en) * 2017-06-30 2019-01-03 Guangdong Virtual Reality Technology Co., Ltd. Methods and systems for operating an apparatus through augmented reality
CN111581547A (zh) * 2020-06-04 2020-08-25 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
JP2020144776A (ja) * 2019-03-08 2020-09-10 株式会社日立製作所 作業支援システム、作業支援装置、及び作業支援方法
WO2020221031A1 (zh) * 2019-04-28 2020-11-05 杭州海康威视数字技术股份有限公司 行为热力图生成及报警方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033444A1 (en) * 2005-08-08 2007-02-08 Samsung Electronics Co., Ltd. Method and apparatus of providing devices with history information on image forming jobs
JP2014146181A (ja) * 2013-01-29 2014-08-14 Dainippon Printing Co Ltd 作業情報記録装置、表示システム、及びプログラム
US20180130260A1 (en) * 2016-11-08 2018-05-10 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
CN108089696A (zh) * 2016-11-08 2018-05-29 罗克韦尔自动化技术公司 用于工业自动化的虚拟现实和增强现实
US20190005636A1 (en) * 2017-06-30 2019-01-03 Guangdong Virtual Reality Technology Co., Ltd. Methods and systems for operating an apparatus through augmented reality
JP2020144776A (ja) * 2019-03-08 2020-09-10 株式会社日立製作所 作業支援システム、作業支援装置、及び作業支援方法
WO2020221031A1 (zh) * 2019-04-28 2020-11-05 杭州海康威视数字技术股份有限公司 行为热力图生成及报警方法、装置、电子设备及存储介质
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111581547A (zh) * 2020-06-04 2020-08-25 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506005A (zh) * 2021-07-16 2021-10-15 牡丹江医学院 一种ct教学模拟方法、系统、存储介质及电子设备
CN113506005B (zh) * 2021-07-16 2022-09-23 牡丹江医学院 一种ct教学模拟方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US9898647B2 (en) Systems and methods for detecting, identifying and tracking objects and events over time
US11321583B2 (en) Image annotating method and electronic device
EP2854105A1 (en) Person attribute estimation system and learning-use data generation device
JP7492226B2 (ja) 移動物追跡装置
CN106331492A (zh) 一种图像处理方法及终端
CN107844742B (zh) 人脸图像眼镜去除方法、装置及存储介质
CN110476141A (zh) 视线跟踪方法及用于执行该方法的用户终端
CN110192386A (zh) 信息处理设备和信息处理方法
US11620728B2 (en) Information processing device, information processing system, information processing method, and program
CN112288883B (zh) 作业指导信息的提示方法、装置、电子设备及存储介质
WO2021229372A1 (en) Personal protective equipment training system with user-specific augmented reality content construction and rendering
CN112288889A (zh) 指示信息展示方法、装置、计算机设备及存储介质
CN111507246A (zh) 通过手势选定标记对象的方法、装置、系统及存储介质
CN115061577B (zh) 手部投影交互方法、系统及存储介质
CN112288882A (zh) 一种信息展示方法、装置、计算机设备及存储介质
CN106462230A (zh) 用于操作显示装置的方法和系统
US20120038602A1 (en) Advertisement display system and method
CN109803450A (zh) 无线设备与电脑连接方法、电子装置及存储介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN112560715A (zh) 操作记录展示方法、装置、电子设备及存储介质
CN116993568A (zh) 一种视频图像处理方法、装置、设备和存储介质
US20200065631A1 (en) Produce Assessment System
CN111640194A (zh) Ar场景图像展示控制方法、装置、电子设备及存储介质
CN114979487A (zh) 图像处理方法、装置及电子设备和存储介质
US11250242B2 (en) Eye tracking method and user terminal performing same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326

RJ01 Rejection of invention patent application after publication