CN113034114A - 一种基于可穿戴设备的流程控制系统及方法 - Google Patents

Abstract

本申请实施例公开了一种基于可穿戴设备的流程控制系统。所述可穿戴设备包括图像采集装置和显示装置，所述流程控制系统至少包括记录模块、监控模块和提示模块；所述记录模块用于：控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；所述监控模块用于：获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；基于所述第一零件的相关信息，检测所述第一零件是否符合标准；所述提示模块用于：当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

Description

一种基于可穿戴设备的流程控制系统及方法

技术领域

本申请涉及流程控制技术领域，特别涉及一种基于可穿戴设备的流程控制系统及方法。

背景技术

随着科技的不断发展，机械设备在生产、制造、装配、检测和维修等过程中的自动化程度越来越高。但仍有不少领域(如军工、航空、航天等)需要技术人员人工完成过程中的诸多工作。为了更好的辅助技术人员完成生产、制造、装配、检测和维修中的相关工作，本说明书实施例提出了一种基于可穿戴设备的流程控制系统及方法。

发明内容

本申请实施例之一提供一种基于可穿戴设备的流程控制系统，所述可穿戴设备包括图像采集装置和显示装置，所述流程控制系统至少包括记录模块、监控模块和提示模块；所述记录模块用于：控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；所述监控模块用于：获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；基于所述第一零件的相关信息，检测所述第一零件是否符合标准；所述提示模块用于：当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

在一些实施例中，所述可穿戴设备还包括音频采集装置，所述流程控制系统还包括语音识别模块；所述语音识别模块用于：获取所述音频采集装置所采集的第一音频；识别所述第一音频中是否包含关于图像采集的语音指令；所述记录模块用于：当识别到所述第一音频中包含关于图像采集的语音指令时，控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录。

在一些实施例中，所述记录模块用于：控制所述图像采集装置进行预拍摄，以获得预拍摄图像；判定所述预拍摄图像中包括所述第一零件的至少一部分；控制所述图像采集装置对所述第一零件的制造、装配和/或检修过程进行记录。

在一些实施例中，所述第一零件的所述相关信息包括以下中的至少一种：数量、尺寸、形状、型号、材料、颜色和表面情况。

在一些实施例中，所述图像识别模型为机器学习模型，所述图像识别模型的训练过程包括：获取多个样本对，每个样本对包括样本图像以及样本图像标签，所述样本图像中包括样本零件的至少一部分，所述样本图像标签包括所述样本零件的相关信息；基于所述多个样本对，对初始图像识别模型进行训练，以获得训练完成的图像识别模型。

在一些实施例中，所述多个样本对中至少包括两个样本对，所述两个样本对的样本图像中包括拍摄角度不同的相同样本零件。

在一些实施例中，所述多个样本对包括仿真样本对，所述仿真样本对包括仿真样本图像以及仿真样本图像标签，所述仿真样本图像包括仿真样本零件的至少一部分，所述仿真样本图像标签包括所述仿真样本零件的相关信息。

在一些实施例中，所述监控模块进一步用于：当所述第一零件的表面情况不符合标准时，检测所述第一零件的缺陷位置；以及当所述第一零件的表面情况不符合标准时，所述提示信息能够提示所述缺陷位置。

本申请实施例之一提供一种基于可穿戴设备的流程控制方法，所述可穿戴设备包括图像采集装置和显示装置，所述流程控制方法包括：控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；基于所述第一零件的相关信息，检测所述第一零件是否符合标准；当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

本申请实施例之一提供一种可穿戴设备，包括图像采集装置、显示装置和处理器，所述处理器用于：控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；基于所述第一零件的相关信息，检测所述第一零件是否符合标准；当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的基于可穿戴设备的流程控制系统的示意图；

图2是根据本申请一些实施例所示的可穿戴设备的示意图；

图3是根据本申请一些实施例所示的基于可穿戴设备的流程控制系统的示例性应用场景图；

图4是根据本申请一些实施例所示的基于可穿戴设备的流程控制方法的示例性流程图；

图5是根据本申请又一实施例所示的基于可穿戴设备的流程控制系统的示例性应用场景图；

图6是根据本申请又一实施例所示的基于可穿戴设备的流程控制方法的示例性流程图；

图7是根据本申请再一实施例所示的基于可穿戴设备的流程控制系统的示例性应用场景图；

图8是根据本申请再一实施例所示的基于可穿戴设备的流程控制方法的示例性流程图；

图9是根据本申请一些实施例所示的图像识别模型的训练过程示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请实施例涉及一种基于可穿戴设备的流程控制系统和方法。该流程控制系统和方法可以应用于机械设备的生产、制造、装配、检测和维修等过程。在一些实施例中，该流程控制系统和方法可以应用于精工领域(如军工、航天、航空等)的机械设备。在一些实施例中，该流程控制系统和方法可以应用于飞机零件的生产制造、飞机座椅的装配、飞机外壳的检测维修、火箭零件的制造、装配、维修等；有效解决该类工作程序复杂，难以监控实施的困难。在一些实施例中，该流程控制系统和方法可以应用于其他领域。在一些实施例中，该流程控制系统和方法可以应用于汽车、芯片、珠宝、高铁、船舶、工程机械等领域的生产、制造、装配、检测或维修。通过该流程控制系统和方法，可以实现：对流程中的部分或全部过程进行记录、识别流程中不合格的零件、引导用户操作、对不规范的操作过程进行提醒等一种或多种功能。该基于可穿戴设备的流程控制系统和方法可以实现用户双手解放、提高操作效率和准确性、保证流程中零件的合格性和操作的规范性等一种或多种有益效果。

图1是根据本申请一些实施例所示的基于可穿戴设备的流程控制系统的示意图。如图1所示，流程控制系统1000可以基于可穿戴设备100实现。可穿戴设备100可以包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能衣物、智能背包、智能配饰等或其任意组合。在一些实施例中，可穿戴设备100可以包括智能眼镜，用户在生产制造、装配和/或检修过程中可以佩戴该智能眼镜进行操作。在一些实施例中，可穿戴设备100可以包括智能头戴式设备，该设备可以戴在用户的头上。在一些实施例中，可穿戴设备100可以包括智能头戴式设备和智能手表。通过基于可穿戴设备实施本申请实施例的流程控制，能够解放用户双手，不耽误用户操作。

在一些实施例中，如图1所示，可穿戴设备100可以包括处理器110、图像采集装置120、显示装置130、音频采集装置140、身份识别装置150、语音播放装置160、通信装置170等一种或多种的组合。

图像采集装置120可以用于采集流程控制过程中的图像。在一些实施例中，图像采集装置可以获取第一零件在制造、装配、检修等过程中图像。在一些实施例中，第一零件可以包括单个构件、多个构件组合而成的部件、装配体等。在一些实施例中，第一零件可以包括精工领域(例如，军工、航天、航空)中对质量和工艺过程有较高要求的构件/部件。在一些实施例中，第一零件可以包括飞机弹射座椅、飞机外壳、火箭的螺丝螺母等。在一些实施例中，图像采集装置120可以包括一个或多个摄像头。在一些实施例中，图像采集装置120可以包括2D摄像头、3D摄像头、红外摄像头等一种或多种的组合。图像采集装置120可以用于采集物体(如第一零件)的二维或者三维图像数据。

显示装置130可以用于显示流程控制过程中的信息和/或图像。在一些实施例中，显示装置130可以显示提示信息、引导信息、警示信息等。在一些实施例中，显示装置130可以显示第一零件的整体和/或局部图像。在一些实施例中，显示装置130可以包括一个或多个显示屏。在一些实施例中，显示装置130可以包括LCD显示屏、LED显示屏、高清显示屏、透明显示屏等一种或多种的组合。在一些实施例中，显示装置130可以在一个或多个显示屏同时显示多项内容。在一些实施例中，左屏显示第一零件的图像，右屏显示对应的提示信息。在一些实施例中，全屏显示第一零件的正面，画中画显示第一零件的背面。在一些实施例中，显示装置130可以为增强现实(AR)显示装置。通过采用AR显示装置，能够在不耽误用户观察物体的基础上，有效的对相关信息(如提示信息、引导信息、警示信息等)进行显示。在一些实施例中，显示装置可以包括增强现实的显示屏，该显示屏能够展示图像采集装置120采集(如实时采集)到的视频图像，同时还能在视频图像的基础上叠加显示信息(如提示信息、引导信息、警示信息等)。在一些实施例中，显示装置可以为眼镜镜片或头盔面罩等。用户可以透过该眼镜镜片或头盔面罩观察真实的物体，同时该眼镜镜片或头盔面罩上可以叠加显示信息(如提示信息、引导信息、警示信息等)。在一些实施例中，显示装置130的显示参数可以包括亮度、大小和/或颜色等。

音频采集装置140可以用于采集流程控制过程中的音频。在一些实施例中，音频采集装置140可以采集第一音频、第二音频等。第一音频或第二音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，音频采集装置140可以包括一个或多个麦克风。在一些实施例中，音频采集装置140可以包括组合动圈式麦克风、电容式麦克风、驻极体麦克风等一种或多种的组合。在一些实施例中，音频采集装置140可以重点用于采集可穿戴设备100的用户的语音信息。在一些实施例中，音频采集装置140可以设置在用户的嘴巴附近。在一些实施例中，音频采集装置140可以包括降噪模块，该降噪模块能够减少除语音信息外的其他声音的采集。

身份识别装置150可以用于识别用户的身份信息。在一些实施例中，身份识别装置150可以识别可穿戴设备的用户的身份。在一些实施例中，身份识别装置150可以识别远程用户的身份。在一些实施例中，身份识别装置150可以包括声纹识别装置、虹膜识别装置、人脸识别装置、指纹识别装置等一种或多种的组合。

语音播放装置160可以用于播放流程控制过程中的语音信息。在一些实施例中，语音播放装置160可以用于播放语音提示信息、语音引导信息等。在一些实施例中，当检测到第一零件质量不达标时，语音播放装置160可以播放语音警示信息。在一些实施例中，语音播放装置160可以包括扬声器、耳机等的一种或多种的组合。

通信装置170可以用于实现可穿戴设备100(如处理器110)与其他设备(如远程服务器、远程用户设备、其他可穿戴设备等)之间的通信。在一些实施例中，通信装置170可以包括蓝牙通信装置、wifi通信装置、近距离通信装置等的一种或多种的组合。在一些实施例中，处理器110可以通过通信装置170将流程控制过程中的信息数据(如第一图像、第一图像序列、操作过程信息等)发送给远程服务器或远程用户设备，并获取相应的反馈信息。在一些实施例中，通过通信装置170，可穿戴设备100的用户可以实现与远程用户或其他可穿戴设备用户之间的交互(如视频交互、语音交互等)。

在一些实施例中，处理器110可以用于处理流程控制过程中的信息和/或数据。在一些实施例中，处理器110可以包括记录模块111、监控模块112、提示模块113、语音识别模块114和控制模块115等一种或多种。

记录模块111可以用于记录流程控制过程中的信息/数据。在一些实施例中，记录模块111可以控制图像采集装置120对第一零件的制造、装配和/或检修过程进行记录。在一些实施例中，记录模块111可以控制图像采集装置120对第一零件的制造、装配和/或检修过程进行全程记录(如全程录像)。在一些实施例中，记录模块111可以控制图像采集装置120定期(如每隔3秒、10秒等)对第一零件的制造、装配和/或检修过程进行拍摄。通过对第一零件的制造、装配和/或检修过程进行记录，能够有效把控第一零件的制造、装配质量，同时便于出问题时追根溯源。

在一些实施例中，记录模块111可以用于当识别到第一音频中包含关于图像采集的语音指令时，控制图像采集装置120对第一零件的制造、装配和/或检修过程进行记录。第一音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，识别第一音频中是否包含关于图像采集的语音指令可以由语音识别模块114执行。语音指令可以为用户通过语音方式发出的控制命令。在一些实施例中，关于图像采集的语音指令可以包括“拍摄”、“照相”、“录像”等与图像采集相关的指令。记录模块111可以根据关于图像采集的语音指令控制图像采集装置120对第一零件的制造、装配和/或检修过程进行相应的记录(如拍照、录像等)。通过根据用户的语音指令对第一零件的制造、装配和/或检修过程进行记录，能够便于用户操作，及时根据用户需求进行记录，并且能够减少不必要的记录。在一些实施例中，记录模块111可以根据停止图像采集的语音指令控制图像采集装置120停止记录。在一些实施例中，停止图像采集的语音指令可以包括“停止拍摄”、“停止”、“停止录像”等。

在一些实施例中，记录模块111可以用于控制图像采集装置120进行预拍摄，以获得预拍摄图像。在一些实施例中，预拍摄的过程可以是：每隔一定时间(如3秒、5秒等)拍摄一张预拍摄图像。在一些实施例中，记录模块111可以判定预拍摄图像中是否包括第一零件的至少一部分。在一些实施例中，记录模块111可以采用图像比对、图像识别模型和远程用户识别等方法识别预拍摄图像中是否包括第一零件的至少一部分。在一些实施例中，记录模块111可以通过比对预拍摄图像与第一零件的效果图、设计图或实物图，判定预拍摄图像中是否包括第一零件的至少一部分。在一些实施例中，记录模块111可以通过预先设计好的图像比对模型，判定预拍摄图像中是否包括第一零件的至少一部分。在一些实施例中，记录模块111可以将预拍摄图像传送给远程用户(例如，技术专家)，由该远程用户判定预拍摄图像中是否包括第一零件的至少一部分。当判定预拍摄图像中包括第一零件的至少一部分时，记录模块111可以控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。通过预拍摄，可以在正式记录之前自动监测是否能够拍摄到第一零件，并在确定能够拍摄到第一零件时开启记录，从而能够及时对第一零件进行记录，避免用户遗忘；同时还能够减少不必要的记录过程。在一些实施例中，预拍摄的图像像素可以低于正常记录的图像像素，从而可以减少存储空间、加快处理速度。在一些实施例中，通过预拍摄还可以确定记录时的拍摄参数。在一些实施例中，预拍摄可以包括试拍、锚定、校准等步骤。在一些实施例中，预拍摄图像可以是不同拍摄参数下的多张图像。记录模块111可以根据预拍摄图像自动调整拍摄参数。在一些实施例中，记录模块111可以将预拍摄的多张图像中效果最好的图像(如根据机器或远程用户判定)对应的拍摄参数作为后续拍摄/记录的参数。拍摄参数可以包括但不限于光圈、焦距、曝光度、光照、镜头、角度等。通过预拍摄，可以避免错误的拍摄范围、确定适合的拍摄条件或拍摄参数，能够有效提高零件记录的效果。在一些实施例中，记录模块111可以对记录过程中获得的图像进行分析，当记录中获得的图像不包括第一零件时，记录模块111可以停止记录。

监控模块112可以用于监控流程控制过程。在一些实施例中，监控模块112可以用于监控流程中的零件是否符合标准、操作工序情况、操作过程是否规范等。

在一些实施例中，监控模块112可以监控第一零件是否符合标准。

在一些实施例中，监控模块112可以获取图像采集装置所采集的第一图像。在一些实施例中，第一图像中可以包括第一零件的至少一部分。在一些实施例中，记录模块111可以识别(或判定)图像采集装置所采集的图像中是否包含第一零件，并对包含第一零件的图像打上相应的标签；监控模块112可以根据标签获取其中的包含第一零件的第一图像。在一些实施例中，监控模块112可以对图像采集装置所采集的图像进行识别(如利用图像识别模型)，以获取包含第一零件的至少一部分的第一图像。通过利用图像识别模型识别图像中是否包含第一零件的至少一部分，能够快速准确地获取包含第一零件的至少一部分的第一图像。在一些实施例中，监控模块112可以定期(如每隔3秒、10秒等)获取图像采集装置所采集的第一图像。在一些实施例中，监控模块112可以实时(如每隔0.02秒、0.01秒等)获取图像采集装置所采集的第一图像。

在一些实施例中，监控模块112可以基于第一图像，利用图像识别模型识别第一零件的相关信息。在一些实施例中，监控模块112可以利用训练好的图像识别模型识别出第一零件的相关信息。第一零件的相关信息可以包括数量、尺寸、形状、型号、材料、颜色、表面情况等一种或多种的组合。图像识别模型可以是机器学习模型，机器学习模型可以包括但不限于神经网络模型、支持向量机模型、k近邻模型、决策树模型等一种或多种的组合。其中，神经网络模型可以包括LeNet、GoogLeNeT、ImageNet、AlexNet、VGG、ResNet等一种或多种的组合。在一些实施例中，如图9所示，图像识别模型的训练过程可以包括：

(1)获取多个样本对，每个样本对可以包括样本图像以及样本图像标签，样本图像中包括样本零件的至少一部分，样本图像标签包括对应的样本零件的相关信息(例如，数量、尺寸、型号、材料、表面情况等)。在一些实施例中，样本图像可以为过去一段时间(如一天、一周、一个月等)内记录模块111获取到的图像。在一些实施例中，样本图像可以为针对各个样本零件专门拍摄的图像。每张样本图像对应的样本图像标签可以由人工标注或机器标注获得。在一些实施例中，运营人员(如领域内专家)可以对样本图像进行鉴别，并为每张样本图像标注对应的样本零件的相关信息(如样本零件的数量、尺寸、型号、材料、表面情况等)。在一些实施例中，多个样本对中可以至少包括两个样本对，该两个样本对的样本图像中包括拍摄角度不同的相同样本零件。在一些实施例中，该两个样本对的样本图像可以分别为相同样本零件的正面和侧面图像。通过利用多角度拍摄相同样本零件的样本图像进行训练，有助于所得的图像识别模型具有更好的鲁棒性。(2)基于多个样本对，对初始图像识别模型进行训练，以获得训练完成的图像识别模型。在一些实施例中，训练的方法可以包括反向传播、梯度下降等方法。

在一些实施例中，多个样本对中可以包括仿真样本对，仿真样本对包括仿真样本图像以及仿真样本图像标签，仿真样本图像包括仿真样本零件的至少一部分，仿真样本图像标签包括仿真样本零件的相关信息(例如，数量、尺寸、型号、材料、表面情况等)。在一些实施例中，仿真样本零件可以是由仿真软件(如三维建模软件)建模而成的虚拟仿真零件。通过在仿真软件中对仿真样本零件进行不同的模拟处理，可以获得仿真样本零件在不同状况下的模拟形态。在一些实施例中，通过仿真软件可以模拟零件表面的划痕、缺陷等。在一些实施例中，通过仿真软件可以模拟由不同材料制成的零件。在一些实施例中，仿真样本零件可以是根据真实零件的至少部分特征(例如，表面情况)制造出的实体仿真零件。在一些实施例中，实体仿真样本零件与真实零件的结构、尺寸、材料等可以相同或不同。在一些实施例中，实体仿真样本零件可以是空心的或由等质量其他物质填充而成。在一些实施例中，实体仿真样本零件可以是真实零件的等比例放大版(如芯片、珠宝等的放大版)或等比例缩小版(如飞机外壳的缩小版)。实体仿真样本零件可以依照符合标准的真实零件制作(如作为正样本)，也可以依照不符合标准的真实零件制作(如作为负样本)。在精工领域(例如，军工、航空、航天等领域)中，真实零件往往造价高昂、工艺繁复，而且不符合标准的真实零件较少，通过获取仿真样本零件的仿真样本图像，可以作为训练样本的有益补充，使训练样本覆盖更多情况，能够有效节约模型训练成本、提升所得模型的识别准确性。在一些实施例中，仿真样本图像标签可以是仿真样本零件的出厂参数。在一些实施例中，仿真样本图像标签可以由人工标注或机器标注(如通过仿真软件标注)。

在一些实施例中，监控模块112可以基于第一零件的相关信息，检测第一零件是否符合标准。在一些实施例中，监控模块112可以检测第一零件的数量是否正确、型号是否匹配、尺寸否在标准范围内、表面是否光滑无瑕疵等。通过检测第一零件是否符合标准，可以及时发现不符合标准(如有质量问题、型号不匹配等)的零件，从而能够尽早采取补救措施或中止制造、装配过程，进而能够提高流程的质量和效率。

在一些实施例中，监控模块112可以用于当第一零件的表面情况不符合标准时，检测第一零件的缺陷位置。在一些实施例中，监控模块112可以对比表面情况不符合标准的第一零件与标准零件的表面，然后确定出两者之间不同的位置为缺陷位置。在一些实施例中，监控模块112可以检测第一零件表面是否包含不规则形状(如飞机表面划痕、零件表面裂痕等)，如果是，则将不规则形状所在位置确定为第一零件的缺陷位置。由于表面缺陷一般呈不规则形状，而零件本身一般呈规则形状；通过对不规则形状的检测，能够快速有效地检测出零件表面的缺陷。

在一些实施例中，监控模块112可以监控当前的操作工序情况。操作工序可以指按照次序进行的一系列操作。在一些实施例中，操作工序可以包括制造工序、装配工序、检修工序等。在一些实施例中，铸造第一零件的操作工序可以包括：淬火、回火、抛丸、打磨等。在一些实施例中，装配第一零件的操作工序可以包括：清洗、平衡、焊接、铆接、调整、检验等。

在一些实施例中，监控模块112可以获取图像采集装置所采集的第一图像。在一些实施例中，第一图像可以反映当前的操作工序情况。在一些实施例中，监控模块112可以定期(如每隔3秒、10秒等)获取图像采集装置所采集的第一图像。在一些实施例中，监控模块112可以实时(如每隔0.02秒、0.01秒等)获取图像采集装置所采集的第一图像。在一些实施例中，监控模块112可以基于第一图像，利用图像识别模型识别当前的操作工序。在一些实施例中，监控模块112可以将待识别的第一图像输入图像识别模型，经图像识别模型处理，获得该第一图像对应的当前的操作工序。在一些实施例中，图像识别模型可以是机器学习模型，机器学习模型可以包括但不限于神经网络模型、支持向量机模型、k近邻模型、决策树模型等一种或多种的组合。其中，神经网络模型可以包括LeNet、GoogLeNeT、ImageNet、AlexNet、VGG、ResNet等一种或多种的组合。在一些实施例中，如图9所示，图像识别模型的训练过程可以包括：

(1)获取多个样本对，每个样本对包括样本图像以及与所述样本图像对应的操作工序标签。在一些实施例中，样本图像可以为过去一段时间(如一天、一周、一个月等)内记录模块111获取到的能够反映某一操作工序的图像。在一些实施例中，样本图像可以为针对各个操作工序专门拍摄的图像。在一些实施例中，样本图像可以为淬火过程中拍摄的图像。在一些实施例中，样本图像可以为打磨过程中拍摄的图像。在一些实施例中，样本图像可以包括第一零件的至少一部分；或者，样本图像中可以不包含第一零件。每张样本图像对应的操作工序标签可以由人工标注或机器标注获得。在一些实施例中，运营人员(如领域内专家)可以对样本图像进行鉴别，并为每张样本图像标注对应的操作工序(如工序序号、工序名称等)。在一些实施例中，多个样本对中可以至少包括两个样本对，该两个样本对的操作工序标签相同但该两个样本对样本图像的拍摄角度不同。针对相同的操作工序，通过利用多角度拍摄的样本图像进行训练，有助于所得的图像识别模型具有更好的鲁棒性。(2)基于多个样本对，对初始图像识别模型进行训练，以获得训练完成的图像识别模型。在一些实施例中，训练的方法可以包括反向传播、梯度下降等方法。

在一些实施例中，监控模块112可以监控操作过程是否规范。操作过程可以反映制造、装配和/或检修过程中执行的操作。

在一些实施例中，监控模块112可以获取图像采集装置所采集的第一图像序列。第一图像序列可以为连续采集的多张图像。在一些实施例中，第一图像序列可以为在5秒钟内每间隔0.2秒所采集的多张图像。在一些实施例中，第一图像序列可以为一段视频。在一些实施例中，监控模块112可以获取相同操作工序下连续采集的多张图像作为第一图像序列，从而能够对该操作工序下的操作过程进行监控。在一些实施例中，第一图像序列可以为淬火工序下连续采集的多张图像。在一些实施例中，记录模块111可以根据操作工序将图像采集装置所采集的图像划分为多个图像序列，并对每个图像序列打上相应的工序标签(如每个图像序列对应一个或多个操作工序)，监控模块112可以获取其中一个图像序列作为第一图像序列，从而能够对该第一图像序列对应的一个或多个操作工序进行监控。

在一些实施例中，监控模块112可以基于第一图像序列，识别当前的操作工序以及操作过程信息。在一些实施例中，监控模块112可以基于第一图像序列中的任意一张图像，利用图像识别模型识别当前的操作工序。在一些实施例中，监控模块112可以从第一图像序列中抽取任意一张图像，将该图像输入图像识别模型，经图像识别模型处理，获得该图像对应的当前的操作工序，即作为第一图像序列对应的当前的操作工序。在一些实施例中，图像识别模型可以是机器学习模型，机器学习模型可以包括但不限于神经网络模型、支持向量机模型、k近邻模型、决策树模型等一种或多种的组合。其中，神经网络模型可以包括LeNet、GoogLeNeT、ImageNet、AlexNet、VGG、ResNet等一种或多种的组合。在一些实施例中，如图9所示，图像识别模型的训练过程可以包括：(1)获取多个样本对，每个样本对包括样本图像以及与所述样本图像对应的操作工序标签；(2)基于多个样本对，对初始图像识别模型进行训练，以获得训练完成的图像识别模型。在一些实施例中，多个样本对中至少包括两个样本对，所述两个样本对的操作工序标签相同但所述两个样本对样本图像的拍摄角度不同。在一些实施例中，监控模块112可以根据第一图像序列对应的工序标签直接确定出当前的操作工序。

在一些实施例中，操作过程信息可以包括但不限于：操作时长、操作步骤数量、操作步骤顺序等一种或多种的组合。在一些实施例中，对于第一图像序列中的每张图像，监控模块112可以识别其对应的操作(例如，基于图像识别模型)。在一些实施例中，监控模块112可以根据第一图像序列中识别出的一个或多个操作及其对应的图像数量(或图像序列时长)确定操作过程信息。通过先识别每张图像对应的操作，再确定操作过程信息，能够有效提升操作过程信息的识别准确性。在一些实施例中，当第一图像序列反映淬火操作在连续12秒时间内均出现时，监控模块112可以识别出操作过程信息为：淬火操作的时长为12秒。在一些实施例中，监控模块112基于第一图像序列识别出的操作过程信息可以为：先安装零件A(3秒)，再安装零件B(5秒)，然后安装零件C(2秒)。在一些实施例中，监控模块112可以利用图像序列识别模型识别第一图像序列中的当前的操作工序以及操作过程信息。图像序列识别模型可以为能够处理图像序列的深度学习模型。在一些实施例中，图像序列识别模型可以包括RNN、CRNN等。通过将第一图像序列输入图像序列识别模型，可以得到该第一图像序列对应的当前的操作工序以及操作过程信息。

在一些实施例中，监控模块112可以判断操作过程信息是否符合与操作工序对应的操作规范。在一些实施例中，监控模块112可以基于操作工序获取对应的操作规范。在一些实施例中，监控模块112可以从可穿戴设备100的存储装置或者远程服务器中获取操作工序对应的操作规范。操作规范可以包括但不限于：标准操作时长、标准操作步骤数量、标准操作步骤顺序等一种或多种的组合。在一些实施例中，操作工序淬火的操作规范可以为：淬火13秒。在一些实施例中，零件安装的操作规范可以为：按照零件A-B-C的顺序先后安装。通过对比操作过程信息与对应的操作规范，监控模块112可以判断操作过程信息是否符合对应的操作规范。在一些实施例中，监控模块112可以将第一图像序列发送给远程用户(例如，技术专家)，并可以获得远程用户关于操作过程信息是否符合对应的操作规范的判断结果。

在一些实施例中，监控模块112可以分别用于监控零件是否符合标准、操作工序情况和操作过程是否规范。在一些实施例中，监控模块112可以同时监控零件是否符合标准、操作工序情况和操作过程是否规范中的两种或全部，从而能够从零件检测、流程引导、操作过程规范警示等多方面辅助用户快速、准确地完成流程作业。在一些实施例中，图像识别模型可以用于识别第一零件的相关信息或当前的操作工序。在一些实施例中，图像识别模型可以同时用于识别第一零件的相关信息和当前的操作工序。在一些实施例中，图像识别模型还可以用于识别具体的操作。

提示模块113可以用于在流程控制过程中对用户进行提示。在一些实施例中，当第一零件不符合标准时，提示模块113可以控制显示装置显示对应的提示信息。提示信息可以包括但不限于文字提示信息、图片提示信息、动画提示信息、视频提示信息等。在一些实施例中，提示模块113可以控制显示装置显示“第一零件型号不匹配”、“尺寸太小”、“表面有瑕疵”等提示信息。在一些实施例中，当第一零件的表面情况不符合标准时，提示信息可以提示表面的缺陷位置。在一些实施例中，提示模块113可以控制显示装置显示第一零件的图像并在第一零件的缺陷位置进行标注(如闪烁、高亮、圈画等)。在一些实施例中，显示装置可以为AR显示装置，提示模块113可以控制显示装置以AR显示的方式对第一零件缺陷位置进行标注。通过在发现不符合标准的第一零件时显示对应的提示信息，可以及时提醒用户采取相应措施(如更换零件、清理零件等)，从而有效保障流程的进行。在一些实施例中，提示模块113还可以控制语音播放装置160播放对应的语音提示信息。

在一些实施例中，提示模块113可以基于操作工序，控制显示装置显示对应的引导信息。引导信息可以用于引导用户完成当前或是后续的操作。在一些实施例中，引导信息可以包括但不限于文字引导信息、图片引导信息、动画引导信息、视频引导信息等。在一些实施例中，对于操作工序淬火，引导信息可以为文字引导信息：“淬火13秒”。在一些实施例中，对于零件安装工序，引导信息可以为零件安装的动画演示。在一些实施例中，显示装置可以为AR显示装置，引导信息可以在显示装置中以AR方式进行显示。在一些实施例中，提示模块113可以基于操作工序，从可穿戴设备100的存储装置或是远程服务器获取对应的引导信息，并控制显示装置130进行显示。通过控制显示装置显示引导信息，能够引导用户准确完成相应的操作，避免遗漏或出错。在一些实施例中，提示模块113还可以控制语音播放装置160播放对应的语音引导信息。

在一些实施例中，提示模块113可以用于当操作过程信息不符合操作规范时，控制显示装置显示对应的警示信息。在一些实施例中，当操作时长不符、遗漏操作步骤、操作顺序不规范时，提示模块113可以控制显示装置130显示对应的警示信息。在一些实施例中，警示信息可以包括但不限于文字警示信息、图片警示信息、动画警示信息、视频警示信息等一种或多种的组合。在一些实施例中，警示信息可以包括画面定格并放大、显示醒目的红叉、显示惊讶的表情图标等。仅作为示例，当操作规范为“淬火13秒”，而操作过程信息为淬火12秒时，提示模块113可以控制显示装置130显示“淬火时长不足”的警示信息。在一些实施例中，提示模块113可以用于当操作过程信息不符合操作规范时，控制语音播放装置160播放对应的语音警示信息。语音警示信息可以包括但不限于警示音、警示语句(如“出错啦”)等。通过在操作过程不符合规范时显示和/或播放警示信息，可以及时提醒用户，便于用户及时采取补救措施。在一些实施例中，当操作过程信息不符合操作规范时，提示模块113可以控制显示装置显示对应的引导信息。在一些实施例中，提示模块113可以控制显示装置显示与操作工序对应的引导信息。在一些实施例中，提示模块113可以控制显示装置显示与不规范的操作过程对应的引导信息(例如，补救操作的引导信息、重复当前操作的引导信息等)，从而能够使用户明确在不规范的情况下如何进行补救，及时纠正用户错误，确保流程整体稳定高效。

语音识别模块114可以用于识别流程控制过程中的语音信息和/或语音数据。在一些实施例中，语音识别模块114可以获取音频采集装置所采集的第一音频。第一音频可以为语音识别模块114实时或定期捕获的声音信息。在一些实施例中，第一音频可以包括用户(如可穿戴设备的佩戴者、负责装配/检修的技术人员)发出的语音。在一些实施例中，语音识别模块114可以识别第一音频中是否包含关于图像采集的语音指令。语音指令可以为用户通过语音方式发出的控制命令。在一些实施例中，关于图像采集的语音指令可以包括“拍摄”、“照相”、“录像”等与图像采集相关的指令。在一些实施例中，停止图像采集的语音指令可以包括“停止拍摄”、“停止”、“停止录像”等。在一些实施例中，语音识别模块114可以基于声学模型和语言模型识别第一音频中的语音指令。在一些实施例中，语音识别模块114可以先将第一音频识别转化成文本，再判断文本中是否包含预设的关键词，如果包含，则确定第一音频中包含关于图像采集的语音指令。

控制模块115可以用于控制可穿戴设备100的一个或多个组件(如图像采集装置120、显示装置130、音频采集装置140、身份识别装置150、语音播放装置160、通信装置170等)。在一些实施例中，控制模块115可以用于控制显示装置130、身份识别装置150的开启和关闭。在一些实施例中，控制模块115可以用于控制语音播放装置160播放语音。在一些实施例中，控制模块115可以控制显示装置130的显示内容和/或显示形式。

在一些实施例中，控制模块115可以获取图像采集装置所采集的控制图像序列，控制图像序列的每一张图像中均包含特定的控制手势。控制图像序列可以为包含特定控制手势的连续采集的多张图像。控制手势可以为用来控制信息(如提示信息、引导信息、警示信息等)在显示装置(如AR显示装置)中的显示位置的特定手部姿势。在一些实施例中，控制手势可以包括单手手势和双手手势。在一些实施例中，控制手势可以包括单指伸出手势、握拳手势、手掌张开手势、抓取手势等。在一些实施例中，控制模块115可以基于图像识别模型识别控制手势；当识别到特定的控制手势时，控制模块115可以控制图像采集装置开始采集控制图像序列。在一些实施例中，当识别到单指伸出手势时，控制模块可以控制图像采集装置开启连续拍照或录像，以获得控制图像序列。在一些实施例中，当特定的控制手势消失时，控制模块115可以完成控制图像序列的采集。

在一些实施例中，控制模块115可以基于控制图像序列确定控制手势的移动轨迹。在一些实施例中，控制模块115可以识别出控制图像序列的每一张图像中手的位置(如手的中心所在位置、手指尖所在位置)，并将所有控制图像序列中手的位置按时间顺序连线，以确定控制手势的移动轨迹。控制模块115可以基于移动轨迹控制引导信息在显示装置中的显示位置。在一些实施例中，控制图像序列包含3秒钟时长内采集的多张图像，控制模块115根据控制图像序列确定出的控制手势的移动轨迹为：从左下角移动到右上角；则控制模块115可以控制引导信息的显示位置从左下角移动到右上角。在一些实施例中，控制模块115可以控制引导信息在控制手势的移动轨迹的终点显示。通过利用控制手势移动引导信息，可以实现非触屏操作；同时能够避免引导信息(如AR显示的引导信息)对操作的视觉遮挡，使引导信息按照用户意愿移动到用户喜欢的位置。

在一些实施例中，控制模块115(和/或语音识别模块114)可以获取音频采集装置所采集的第二音频。第二音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，第二音频可以包括可穿戴设备的佩戴者(例如，现场负责装配、检修的技术人员)发出的语音。控制模块115(和/或语音识别模块114)可以识别第二音频中是否包含关于引导信息的语音控制指令。在一些实施例中，控制模块115可以基于声学模型和语言模型识别第二音频中是否包含关于引导信息的语音指令。在一些实施例中，控制模块115可以先通过识别将第二音频转化成文本，再识别文本中是否包含上述关于引导信息的语音指令。关于引导信息的语音控制指令可以为用来控制引导信息显示方式的语音指令。在一些实施例中，关于引导信息的语音控制指令可以包括“左移”、“放大”、“缩小”、“亮度加”、“红色”、“黑色”、“浮窗”、“关闭引导”等。当识别到第二音频中包含关于引导信息的语音控制指令时，控制模块115可以控制引导信息在显示装置中的显示参数。显示参数可以包括但不限于亮度、大小、颜色、透明度等一种或多种组合。通过语音控制指令控制引导信息在显示装置中的显示参数，可以方便地按用户的需求、喜好显示引导信息。

在一些实施例中，控制模块115可以用于根据身份识别装置150识别出的用户身份信息，获取用户的历史使用记录。在一些实施例中，控制模块115可以根据用户身份信息，从可穿戴设备100的存储装置中或者远程服务器获取用户的历史使用记录。历史使用记录可以为用户在过去一段时间(如一个月、一年等)内使用可穿戴设备100的情况。在一些实施例中，历史使用记录可以包括使用时间、使用时引导信息的显示位置、显示参数等信息。显示位置可以是引导信息在显示装置显示的图像中的位置。在一些实施例中，显示位置可以包括左上角、左下角、居中、右上角、右下角、上边缘、下边缘、左边缘、右边缘等中的一种或多种。显示参数可以包括亮度、大小、颜色、透明度等。在一些实施例中，控制模块115可以基于用户的历史使用记录，确定引导信息在显示装置中的显示位置和/或显示参数。在一些实施例中，控制模块115可以将引导信息在显示装置中的显示位置和/或显示参数确定为与用户上一次使用时一致。在一些实施例中，控制模块115可以以用户最近10次使用时出现最多的显示位置或显示参数，作为当前的显示位置或显示参数。通过历史使用记录确定引导信息的显示位置和/或显示参数，可以快速提供符合用户习惯的默认位置和/或默认参数，能够减少交互次数，进而提高用户操作效率及用户体验。

应当理解，图1所示的处理器及其模块可以利用各种方式来实现。在一些实施例中，在一些实施例中，处理器及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解，本说明书实施例的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的处理器及其模块不仅可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。处理器可以安装在可穿戴设备100上，也可以是云端服务器(与可穿戴设备100上的部件进行通信)。处理器110与可穿戴设备100的一个或多个组件(如图像采集装置120、显示装置130、音频采集装置140、身份识别装置150、语音播放装置160、通信装置170等)可以具有信号连接(如电连接、无线连接)。

在一些实施例中，可穿戴设备100可以包括处理器110、图像采集装置120、显示装置130、音频采集装置140、身份识别装置150、语音播放装置160、通信装置170等中的部分或全部。在一些实施例中，可穿戴设备100还可以包括其他装置。在一些实施例中，可穿戴设备100还可以包括存储装置，处理器的执行指令、流程控制过程中的信息/数据等可以存储在存储装置中。在一些实施例中，可穿戴设备100可以包括供电装置，以用于对可穿戴设备100的一个或多个部件供电。

需要注意的是，以上对于可穿戴设备100及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个装置、模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图1中披露的记录模块111、监控模块112、提示模块113、语音识别模块114和控制模块115可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。在一些实施例中，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。在一些实施例中，上述多个模块中的图像识别功能可以由单独的图像识别模块实现。在一些实施例中，监控模块112可以进一步包括零件监控单元、操作工序监控单元和操作过程监控单元，以分别实现零件、操作工序和操作过程的监控。诸如此类的变形，均在本申请的保护范围之内。

图2是根据本申请一些实施例所示的可穿戴设备的示意图。如图2所示，可穿戴设备100可以为头盔形状。图像采集装置120可以设置在头盔的正前方，以使得图像采集装置120所采集到的图像的视角接近用户视角，从而便于用户操作以及远程协作。显示装置130可以设置在智能头盔的面罩上(例如，显示装置130可以是增强现实显示装置)，用户既能够透过面罩观察实际物体，又能够查看在面罩上叠加显示的信息。音频采集装置140可以设置在用户嘴巴附近，以便于更清晰的采集用户语音。身份识别装置150(如虹膜识别装置)可以设置在用户眼睛前方，能够对用户进行有效识别，增进用户体验。语音播放装置160可以设置在头盔的两侧、与用户耳朵对应的位置，以便用于更清晰的向用户传达语音信息。通信装置170可以设置在可穿戴设备100的头顶位置，以增强信号的收发。处理器110(如电路板)可以设置在头盔的壳体内，以更好的对处理器110形成保护。

图3是根据本申请一些实施例所示的基于可穿戴设备的流程控制系统的示例性应用场景图。如图3所示，可穿戴设备100可以至少包括图像采集装置120和显示装置130，流程控制系统1000可以至少包括记录模块111、监控模块112和提示模块113。记录模块111可以用于：控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。监控模块112可以用于：获取图像采集装置所采集的第一图像，第一图像中包括第一零件的至少一部分。监控模块112还可以用于：基于第一图像，利用图像识别模型识别第一零件的相关信息；基于第一零件的相关信息，检测第一零件是否符合标准。提示模块113可以用于：当第一零件不符合标准时，控制显示装置显示对应的提示信息。通过检测第一零件是否符合标准，可以及时发现不符合标准(如有质量问题、型号不匹配等)的零件，从而能够尽早提示用户采取补救措施或中止制造、装配过程，进而能够提高流程的质量和效率。关于流程控制系统1000的更多细节可以参见图1的相关描述。

图4是根据本申请一些实施例所示的基于可穿戴设备的流程控制方法的示例性流程图。在一些实施例中，流程控制方法200可以由流程控制系统1000(如处理器110)实现。

步骤210，获取音频采集装置所采集的第一音频。步骤210可以由处理器110(如语音识别模块114)执行。第一音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，第一音频可以包括用户(如可穿戴设备的佩戴者、负责装配/检修的技术人员)发出的语音。

步骤212，识别第一音频中是否包含关于图像采集的语音指令。步骤212可以由处理器110(如语音识别模块114)执行。语音指令可以为用户通过语音方式发出的控制命令。在一些实施例中，关于图像采集的语音指令可以包括“拍摄”、“照相”、“录像”等与图像采集相关的指令。在一些实施例中，语音识别模块114可以基于声学模型和语言模型识别第一音频中的语音指令。在一些实施例中，如果语音识别模块114识别出关于图像采集的语音指令，则处理器110可以进行步骤230。

步骤220，控制图像采集装置进行预拍摄，以获得预拍摄图像。步骤220可以由处理器110(如记录模块111)执行。在一些实施例中，预拍摄的过程可以是：每隔一定时间(如3秒、5秒等)拍摄一张预拍摄图像。在一些实施例中，预拍摄的图像像素可以低于正常记录的图像像素，从而可以减少存储空间、加快处理速度。

步骤222，判定预拍摄图像中包括第一零件的至少一部分。步骤230可以由处理器110(如记录模块111)执行。在一些实施例中，记录模块111可以采用图像比对、图像识别模型和远程用户识别等方法判定预拍摄图像中是否包括第一零件的至少一部分。如果判定出预拍摄图像包括第一零件的至少一部分，则处理器110可以进行步骤230。

步骤230，控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。步骤230可以由处理器110(如记录模块111)执行。在一些实施例中，记录模块111可以控制图像采集装置120对第一零件的制造、装配和/或检修过程进行全程记录(如全程录像)。在一些实施例中，记录模块111可以控制图像采集装置120定期(如每隔3秒、10秒等)对第一零件的制造、装配和/或检修过程进行拍摄。在一些实施例中，记录模块111可以用于当识别到第一音频中包含关于图像采集的语音指令时，控制图像采集装置120对第一零件的制造、装配和/或检修过程进行记录。在一些实施例中，当识别到预拍摄图像中包括第一零件的至少一部分时，记录模块111可以控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。通过对第一零件的制造、装配和/或检修过程进行记录，能够有效把控第一零件的制造、装配质量，同时便于出问题时追根溯源。

步骤240，获取图像采集装置所采集的第一图像。步骤240可以由处理器110(如监控模块112)执行。在一些实施例中，第一图像中可以包括第一零件的至少一部分。在一些实施例中，监控模块112可以定期(如每隔3秒、10秒等)获取图像采集装置所采集的第一图像。在一些实施例中，监控模块112可以实时(如每隔0.02秒、0.01秒等)获取图像采集装置所采集的第一图像。

步骤250，基于第一图像，利用图像识别模型识别第一零件的相关信息。步骤250可以由处理器110(如监控模块112)执行。第一零件的相关信息可以包括数量、尺寸、形状、型号、材料、颜色、表面情况等一种或多种的组合。图像识别模型可以是机器学习模型，机器学习模型可以包括但不限于神经网络模型、支持向量机模型、k近邻模型、决策树模型等一种或多种的组合。

步骤260，基于第一零件的相关信息，检测第一零件是否符合标准。步骤260可以由处理器110(如监控模块112)执行。在一些实施例中，监控模块112可以检测第一零件的数量是否正确、型号是否匹配、尺寸否在标准范围内、表面是否光滑无瑕疵等。通过检测第一零件是否符合标准，可以及时发现不符合标准(如有质量问题、型号不匹配等)的零件，从而能够尽早采取补救措施或中止制造、装配过程，进而能够提高流程的质量和效率。

步骤270，当第一零件不符合标准时，控制显示装置显示对应的提示信息。步骤270可以由处理器110(如提示模块113)执行。提示信息可以包括但不限于文字提示信息、图片提示信息、动画提示信息、视频提示信息等。在一些实施例中，提示模块113可以控制显示装置显示“第一零件型号不匹配”、“尺寸太小”、“表面有瑕疵”等提示信息。

步骤280，当第一零件的表面情况不符合标准时，检测第一零件的缺陷位置。步骤280可以由处理器110(如监控模块112)执行。在一些实施例中，监控模块112可以对比表面情况不符合标准的第一零件与标准零件的表面，然后确定出两者之间不同的位置为缺陷位置。在一些实施例中，监控模块112可以检测第一零件表面是否包含不规则形状(如飞机表面划痕、零件表面裂痕等)，如果是，则将不规则形状所在位置确定为第一零件的缺陷位置。在一些实施例中，当第一零件的表面情况不符合标准时，提示信息可以提示表面的缺陷位置。在一些实施例中，提示模块113可以控制显示装置显示第一零件的图像并在第一零件的缺陷位置进行标注(如闪烁、高亮、圈画等)。在一些实施例中，显示装置可以为AR显示装置，提示模块113可以控制显示装置以AR显示的方式对第一零件缺陷位置进行标注。

应当注意的是，上述有关流程控制方法200的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程控制方法200进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。在一些实施例中，步骤270与步骤280可以为独立执行的两个步骤，两者可以顺序执行或并行执行。在一些实施例中，步骤220和步骤222可以省略，系统1000可以不进行预拍摄。

图5是根据本申请又一实施例所示的基于可穿戴设备的流程控制系统的示例性应用场景图。如图5所示，可穿戴设备100可以至少包括图像采集装置120和显示装置130，流程控制系统1000可以至少包括记录模块111、监控模块112和提示模块113。记录模块111可以用于：控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。监控模块112可以用于：获取图像采集装置所采集的第一图像；基于第一图像，利用图像识别模型识别当前的操作工序。提示模块可以用于：基于操作工序，控制显示装置显示对应的引导信息。通过控制显示装置显示与操作工序对应的引导信息，能够引导用户准确完成相应的操作，避免遗漏或出错。关于流程控制系统1000的更多细节可以参见图1的相关描述。

图6是根据本申请又一实施例所示的基于可穿戴设备的流程控制方法的示例性流程图。在一些实施例中，流程控制方法300可以由流程控制系统1000(如处理器110)实现。

步骤310，获取音频采集装置所采集的第一音频。步骤310可以由处理器110(如语音识别模块114)执行。第一音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，第一音频可以包括用户(如可穿戴设备的佩戴者、负责装配/检修的技术人员)发出的语音。

步骤320，识别第一音频中是否包含关于图像采集的语音指令。步骤320可以由处理器110(如语音识别模块114)执行。语音指令可以为用户通过语音方式发出的控制命令。在一些实施例中，关于图像采集的语音指令可以包括“拍摄”、“照相”、“录像”等与图像采集相关的指令。在一些实施例中，语音识别模块114可以基于声学模型和语言模型识别第一音频中的语音指令。

步骤330，控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。步骤330可以由处理器110(如记录模块111)执行。在一些实施例中，记录模块111可以控制图像采集装置120对第一零件的制造、装配和/或检修过程进行全程记录(如全程录像)。在一些实施例中，记录模块111可以控制图像采集装置120定期(如每隔3秒、10秒等)对第一零件的制造、装配和/或检修过程进行拍摄。在一些实施例中，记录模块111可以用于当识别到第一音频中包含关于图像采集的语音指令时，控制图像采集装置120对第一零件的制造、装配和/或检修过程进行记录。

步骤340，获取图像采集装置所采集的第一图像。步骤340可以由处理器110(如监控模块112)执行。在一些实施例中，第一图像可以反映当前的操作工序情况。在一些实施例中，监控模块112可以定期(如每隔3秒、10秒等)获取图像采集装置所采集的第一图像。在一些实施例中，监控模块112可以实时(如每隔0.02秒、0.01秒等)获取图像采集装置所采集的第一图像。

步骤350，基于第一图像，利用图像识别模型识别当前的操作工序。步骤350可以由处理器110(如监控模块112)执行。在一些实施例中，监控模块112可以将待识别的第一图像输入图像识别模型，经图像识别模型处理，获得该第一图像对应的当前的操作工序。在一些实施例中，图像识别模型可以是机器学习模型，机器学习模型可以包括但不限于神经网络模型、支持向量机模型、k近邻模型、决策树模型等一种或多种的组合。

步骤360，基于操作工序，控制显示装置显示对应的引导信息。步骤360可以由处理器110(如提示模块113)执行。引导信息可以用于引导用户完成当前或是后续的操作。在一些实施例中，引导信息可以包括但不限于文字引导信息、图片引导信息、动画引导信息、视频引导信息等。在一些实施例中，显示装置可以为AR显示装置，引导信息可以在显示装置中以AR方式进行显示。在一些实施例中，提示模块113可以基于操作工序，从可穿戴设备100的存储装置或是远程服务器获取对应的引导信息，并控制显示装置130进行显示。通过控制显示装置显示引导信息，能够引导用户准确完成相应的操作，避免遗漏或出错。

步骤370，识别用户的身份信息。步骤370可以由处理器110(如控制模块115)执行。在一些实施例中，控制模块115可以用于控制身份识别装置150识别用户的身份信息。

步骤372，根据用户的身份信息，获取用户的历史使用记录。步骤372可以由处理器110(如控制模块115)执行。在一些实施例中，控制模块115可以根据用户身份信息，从可穿戴设备100的存储装置中或者远程服务器获取用户的历史使用记录。历史使用记录可以为用户在过去一段时间(如一个月、一年等)内使用可穿戴设备100的情况。在一些实施例中，历史使用记录可以包括使用时间、使用时引导信息的显示位置、显示参数等信息。

步骤374，基于用户的历史使用记录，确定引导信息在显示装置中的显示位置或显示参数。步骤374可以由处理器110(如控制模块115)执行。在一些实施例中，控制模块115可以将引导信息在显示装置中的显示位置和/或显示参数确定为与用户上一次使用时一致。在一些实施例中，控制模块115可以以用户最近10次使用时出现最多的显示位置或显示参数，作为当前的显示位置或显示参数。通过历史使用记录确定引导信息的显示位置和/或显示参数，可以快速提供符合用户习惯的默认位置和/或默认参数，能够减少交互次数，进而提高用户操作效率及用户体验。

步骤380，获取音频采集装置所采集的第二音频。步骤380可以由处理器110(如控制模块115)执行。第二音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，第二音频可以包括可穿戴设备的佩戴者(例如，现场负责装配、检修的技术人员)发出的语音。

步骤382，识别第二音频中是否包含关于引导信息的语音控制指令。步骤382可以由处理器110(如控制模块115)执行。在一些实施例中，控制模块115可以基于声学模型和语言模型识别第二音频中是否包含关于引导信息的语音指令。关于引导信息的语音控制指令可以为用来控制引导信息显示方式的语音指令。在一些实施例中，关于引导信息的语音控制指令可以包括“左移”、“放大”、“缩小”、“亮度加”、“红色”、“黑色”、“浮窗”、“关闭引导”等。在一些实施例中，如果控制模块115(或语音识别模块114)识别出关于引导信息的语音控制指令，处理器可以进行步骤384。

步骤384，控制引导信息在显示装置中的显示参数。步骤384可以由处理器110(如控制模块115)执行。显示参数可以包括但不限于亮度、大小、颜色、透明度等一种或多种组合。通过语音控制指令控制引导信息在显示装置中的显示参数，可以按用户的需求、喜好显示引导信息。

步骤390，获取图像采集装置所采集的控制图像序列。步骤390可以由处理器110(如控制模块115)执行。在一些实施例中，控制图像序列的每一张图像中均包含特定的控制手势。控制图像序列可以为包含特定控制手势的连续采集的多张图像。控制手势可以为用来控制信息(如提示信息、引导信息、警示信息等)在显示装置(如AR显示装置)中的显示位置的特定手部姿势。

步骤392，基于控制图像序列确定控制手势的移动轨迹。步骤390可以由处理器110(如控制模块115)执行。在一些实施例中，控制模块115可以识别出控制图像序列的每一张图像中手的位置(如手的中心所在位置、手指尖所在位置)，并将所有控制图像序列中手的位置按时间顺序连线，以确定控制手势的移动轨迹。

步骤394，基于移动轨迹控制引导信息在显示装置中的显示位置。步骤390可以由处理器110(如控制模块115)执行。通过利用控制手势移动引导信息，可以实现非触屏操作；同时能够避免引导信息(如AR显示的引导信息)对操作的视觉遮挡，使引导信息按照用户意愿移动到用户喜欢的位置。

应当注意的是，上述有关流程控制方法300的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程控制方法300进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。在一些实施例中，步骤370、380与步骤390可以为独立执行的三个步骤，三者可以顺序执行或并行执行。在一些实施例中，步骤370、372和374可以省略，系统1000可以不进行身份识别。在一些实施例中，当系统1000显示出最后一个操作工序的引导信息后，步骤330-350可以不再执行，系统1000不再进行过程记录。

图7是根据本申请再一实施例所示的基于可穿戴设备的流程控制系统的示例性应用场景图。如图7所示，可穿戴设备100可以至少包括图像采集装置120和显示装置130，流程控制系统1000可以至少包括记录模块111、监控模块112和提示模块113。记录模块111可以用于：控制图像采集装置120对第一零件的制造、装配和/或检修过程进行记录。监控模块112可以用于：获取图像采集装置所采集的第一图像序列；基于第一图像序列，识别当前的操作工序以及操作过程信息；判断操作过程信息是否符合与操作工序对应的操作规范。提示模块可以用于：当操作过程信息不符合操作规范时，控制显示装置显示对应的警示信息。通过在操作过程不符合规范时提示警示信息，可以及时提醒用户，便于用户及时采取补救措施。关于流程控制系统1000的更多细节可以参见图1的相关描述。

图8是根据本申请再一实施例所示的基于可穿戴设备的流程控制方法的示例性流程图。在一些实施例中，流程控制方法400可以由流程控制系统1000(如处理器110)实现。

步骤410，获取音频采集装置所采集的第一音频。步骤410可以由处理器110(如语音识别模块114)执行。第一音频可以为音频采集装置140实时或定期捕获的声音信息。在一些实施例中，第一音频可以包括用户(如可穿戴设备的佩戴者、负责装配/检修的技术人员)发出的语音。

步骤420，识别第一音频中是否包含关于图像采集的语音指令。步骤420可以由处理器110(如语音识别模块114)执行。语音指令可以为用户通过语音方式发出的控制命令。在一些实施例中，关于图像采集的语音指令可以包括“拍摄”、“照相”、“录像”等与图像采集相关的指令。在一些实施例中，语音识别模块114可以基于声学模型和语言模型识别第一音频中的语音指令。

步骤430，控制图像采集装置对第一零件的制造、装配和/或检修过程进行记录。步骤430可以由处理器110(如记录模块111)执行。在一些实施例中，记录模块111可以控制图像采集装置120对第一零件的制造、装配和/或检修过程进行全程记录(如全程录像)。在一些实施例中，记录模块111可以控制图像采集装置120定期(如每隔3秒、10秒等)对第一零件的制造、装配和/或检修过程进行拍摄。在一些实施例中，记录模块111可以用于当识别到第一音频中包含关于图像采集的语音指令时，控制图像采集装置120对第一零件的制造、装配和/或检修过程进行记录。

步骤440，获取图像采集装置所采集的第一图像序列。步骤440可以由处理器110(如监控模块112)执行。第一图像序列可以为连续采集的多张图像。在一些实施例中，第一图像序列可以为在5秒钟内每间隔0.2秒所采集的多张图像。在一些实施例中，第一图像序列可以为一段视频。在一些实施例中，监控模块112可以获取相同操作工序下连续采集的多张图像作为第一图像序列。

步骤450，基于第一图像序列，识别当前的操作工序以及操作过程信息。步骤450可以由处理器110(如监控模块112)执行。在一些实施例中，监控模块112可以基于第一图像序列中的任意一张图像，利用图像识别模型识别当前的操作工序。在一些实施例中，操作过程信息可以包括但不限于：操作时长、操作步骤数量、操作步骤顺序等一种或多种的组合。在一些实施例中，对于第一图像序列中的每张图像，监控模块112可以识别其对应的操作(例如，基于图像识别模型)。进一步，监控模块112可以根据某个操作对应的图像序列时长确定操作时长。在一些实施例中，监控模块112可以利用图像序列识别模型识别第一图像序列中的当前的操作工序以及操作过程信息。

步骤460，判断操作过程信息是否符合与操作工序对应的操作规范。步骤460可以由处理器110(如监控模块112)执行。在一些实施例中，监控模块112可以基于操作工序获取对应的操作规范。在一些实施例中，监控模块112可以从可穿戴设备100的存储装置或者远程服务器中获取操作工序对应的操作规范。操作规范可以包括但不限于：标准操作时长、标准操作步骤数量、标准操作步骤顺序等一种或多种的组合。通过对比操作过程信息与对应的操作规范，监控模块112可以判断操作过程信息是否符合对应的操作规范。在一些实施例中，监控模块112可以将第一图像序列发送给远程用户(例如，技术专家)，并可以获得远程用户关于操作过程信息是否符合对应的操作规范的判断结果。

步骤470，当操作过程信息不符合操作规范时，控制显示装置显示对应的警示信息。步骤470可以由处理器110(如提示模块113)执行。在一些实施例中，当操作时长不符、遗漏操作步骤、操作顺序不规范时，提示模块113可以控制显示装置130显示对应的警示信息。在一些实施例中，警示信息可以包括但不限于文字警示信息、图片警示信息、动画警示信息、视频警示信息等一种或多种的组合。

步骤480，当操作过程信息不符合操作规范时，控制显示装置显示对应的引导信息。步骤480可以由处理器110(如提示模块113)执行。在一些实施例中，提示模块113可以控制显示装置显示与操作工序对应的引导信息。在一些实施例中，提示模块113可以控制显示装置显示与不规范的操作过程对应的引导信息(例如，补救操作的引导信息、重复当前操作的引导信息等)。

步骤490，当操作过程信息不符合操作规范时，控制语音播放装置播放对应的语音警示信息。步骤490可以由处理器110(如提示模块113)执行。语音警示信息可以包括但不限于警示音、警示语句(如“出错啦”)等。通过在操作过程不符合规范时显示和/或播放警示信息，可以及时提醒用户，便于用户及时采取补救措施。

应当注意的是，上述有关流程控制方法400的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程控制方法400进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。在一些实施例中，步骤480与步骤490可以为独立执行的两个步骤，二者可以顺序执行或并行执行。

本申请一些实施例可能带来的有益效果包括但不限于：(1)能够有效检测出流程中不符合标准的零件，提升制造、装配和检修等过程的质量和效率；(2)能够及时为现场操作人员提供流程引导；(3)能够监控操作过程，对不规范的操作进行提醒，以保证流程的可靠性；(4)能够把现场人员的第一视角呈现给远程用户，实现远程引导。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种基于可穿戴设备的流程控制系统，其特征在于，所述可穿戴设备包括图像采集装置和显示装置，所述流程控制系统至少包括记录模块、监控模块和提示模块；

所述记录模块用于：控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；

所述监控模块用于：

获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；

基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；

基于所述第一零件的相关信息，检测所述第一零件是否符合标准；

所述提示模块用于：当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

2.如权利要求1所述的基于可穿戴设备的流程控制系统，其特征在于，所述可穿戴设备还包括音频采集装置，所述流程控制系统还包括语音识别模块；

所述语音识别模块用于：

获取所述音频采集装置所采集的第一音频；

识别所述第一音频中是否包含关于图像采集的语音指令；

所述记录模块用于：当识别到所述第一音频中包含关于图像采集的语音指令时，控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录。

3.如权利要求1所述的基于可穿戴设备的流程控制系统，其特征在于，所述记录模块用于：

控制所述图像采集装置进行预拍摄，以获得预拍摄图像；

判定所述预拍摄图像中包括所述第一零件的至少一部分；

控制所述图像采集装置对所述第一零件的制造、装配和/或检修过程进行记录。

4.如权利要求1所述的基于可穿戴设备的流程控制系统，其特征在于，所述第一零件的所述相关信息包括以下中的至少一种：数量、尺寸、形状、型号、材料、颜色和表面情况。

5.如权利要求1所述的基于可穿戴设备的流程控制系统，其特征在于，所述图像识别模型为机器学习模型，所述图像识别模型的训练过程包括：

获取多个样本对，每个样本对包括样本图像以及样本图像标签，所述样本图像中包括样本零件的至少一部分，所述样本图像标签包括所述样本零件的相关信息；

基于所述多个样本对，对初始图像识别模型进行训练，以获得训练完成的图像识别模型。

6.如权利要求5所述的基于可穿戴设备的流程控制系统，其特征在于，所述多个样本对中至少包括两个样本对，所述两个样本对的样本图像中包括拍摄角度不同的相同样本零件。

7.如权利要求5所述的基于可穿戴设备的流程控制系统，其特征在于，所述多个样本对包括仿真样本对，所述仿真样本对包括仿真样本图像以及仿真样本图像标签，所述仿真样本图像包括仿真样本零件的至少一部分，所述仿真样本图像标签包括所述仿真样本零件的相关信息。

8.如权利要求1所述的基于可穿戴设备的流程控制系统，其特征在于，所述监控模块进一步用于：当所述第一零件的表面情况不符合标准时，检测所述第一零件的缺陷位置；以及

当所述第一零件的表面情况不符合标准时，所述提示信息能够提示所述缺陷位置。

9.一种基于可穿戴设备的流程控制方法，其特征在于，所述可穿戴设备包括图像采集装置和显示装置，所述流程控制方法包括：

控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；

获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；

基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；

基于所述第一零件的相关信息，检测所述第一零件是否符合标准；

当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

10.一种可穿戴设备，其特征在于，包括图像采集装置、显示装置和处理器，所述处理器用于：

控制所述图像采集装置对第一零件的制造、装配和/或检修过程进行记录；

获取所述图像采集装置所采集的第一图像，所述第一图像中包括所述第一零件的至少一部分；

基于所述第一图像，利用图像识别模型识别所述第一零件的相关信息；

基于所述第一零件的相关信息，检测所述第一零件是否符合标准；

当所述第一零件不符合标准时，控制所述显示装置显示对应的提示信息。

Images