CN116665295B - 一种基于数字孪生的生产培训系统 - Google Patents

一种基于数字孪生的生产培训系统 Download PDF

Info

Publication number
CN116665295B
CN116665295B CN202310364922.XA CN202310364922A CN116665295B CN 116665295 B CN116665295 B CN 116665295B CN 202310364922 A CN202310364922 A CN 202310364922A CN 116665295 B CN116665295 B CN 116665295B
Authority
CN
China
Prior art keywords
action
image
screened
height
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310364922.XA
Other languages
English (en)
Other versions
CN116665295A (zh
Inventor
刘轶
贾欣
宋孟华
韦欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aoshi Zongheng Beijing Technology Co ltd
Original Assignee
Aoshi Zongheng Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aoshi Zongheng Beijing Technology Co ltd filed Critical Aoshi Zongheng Beijing Technology Co ltd
Priority to CN202310364922.XA priority Critical patent/CN116665295B/zh
Publication of CN116665295A publication Critical patent/CN116665295A/zh
Application granted granted Critical
Publication of CN116665295B publication Critical patent/CN116665295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于生产培训领域，公开了一种基于数字孪生的生产培训系统，包括摄像头模块和动作识别模块；摄像头模块包括两个水平高度一致的摄像头；两个摄像头用于分别从第一方向和第二方向获取学员的手部的第一动作图像和第二动作图像；动作识别模块用于对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型。本发明通过高度一致的两个摄像头从不同的方向对学员的手部进行拍摄，然后基于两个得到的图像进行手部动作的识别，与采用单一的摄像头的现有技术相比，本发明能够在较为复杂的背景中提高对手部进行定位的效率，从而使得本发明对背景与前景之间的区别程度的要求小于现有技术的区别程度，从而提高本发明的适用场景的范围。

Description

一种基于数字孪生的生产培训系统
技术领域
本发明涉及生产培训领域，尤其涉及一种基于数字孪生的生产培训系统。
背景技术
现有的生产培训方式一般都是将学员集中到实训场地进行实训，但是对于一些比较危险的岗位，由于学员完全没有经验，实训过程会存在一定的危险。
随着数字孪生技术的发展，现在已经发展出利用数字孪生技术来进行培训的技术。具体来说就是对培训的设备进行建模，学员在虚拟空间中对设备进行操作，同时虚拟空间也会根据学员的控制给出相应的反馈，便于学员知道自己的操作是否正确。
而现有的基于数字孪生的生产培训系统，在采用图像识别的方式获取学员的手部动作的过程中，为了保证对得到的图像进行分割对手部进行定位的效率，及时基于手部动作对应的指令对虚拟场景进行更新，一般会要求背景与前景之间有较大的区别，一般要求背景为纯色，这就使得生产培训系统的适用场景受到一定的限制，即要选择背景符合要求的场景才能进行用，这里的前景为学员的手部。
发明内容
有鉴于此，本发明的目的在于公开一种基于数字孪生的生产培训系统，解决如何扩大基于数字孪生的生产培训系统的适用场景范围的问题。
为了达到上述目的，本发明提供如下技术方案：
一种基于数字孪生的生产培训系统，包括摄像头模块和动作识别模块；摄像头模块包括两个水平高度一致的摄像头；
两个摄像头用于分别从第一方向和第二方向获取学员的手部的第一动作图像和第二动作图像；
动作识别模块用于对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型。
可选的，还包括指令匹配模块；
指令匹配模块将手部动作的类型与预先设置的操作指令进行匹配，获得操作指令。
可选的，还包括场景控制模块；
场景控制模块用于根据操作指令对虚拟现实空间中的生产设备的状态进行更新，得到更新后的虚拟现实空间。
可选的，还包括场景展示模块；
场景展示模块用于对更新前或更新后的虚拟现实空间进行展示。
可选的，还包括存储模块；
存储模块用于存储不同的操作指令所对应的手部动作的类型。
可选的，第一方向为学员的正面，第二方向为学员的侧面。
可选的，第一方向为学员的背面，第二方向为学员的侧面。
可选的，对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型，包括：
分别对第一动作图像和第二动作图像进行图像分割处理，获得第一动作图像中的待筛选区域的集合firSet和第二动作图像中的待筛选区域的集合secSet；
获取集合firSet中的待筛选区域的高度的集合higFirSet；
获取集合secSet中的待筛选区域的高度的集合higSecSet；
获取higFirSet和higSecSet的交集mixSet；
获取firSet中高度属于mixSet的待筛选区域的集合finSet；
对finSet中的待筛选区域进行特征提取，获得finSet中每个待筛选区域的图像特征；
将finSet中每个待筛选区域的图像特征与预存的各种类型的手部动作的图像特征进行匹配，将最高的相似度对应的手部动作的类型作为学员的手部动作的类型。
本发明通过高度一致的两个摄像头从不同的方向对学员的手部进行拍摄，得到第一动作图像和第二动作图像，然后基于两个得到的图像进行手部动作的识别，与采用单一的摄像头的现有技术相比，本发明能够在较为复杂的背景中提高对手部进行定位的效率，从而使得本发明对背景与前景之间的区别程度的要求小于现有技术的区别程度，从而提高本发明的适用场景的范围。
附图说明
从下文给出的详细描述和附图中将更充分地理解本公开，附图仅以说明的方式给出，因此不限制本公开，并且其中：
图1为本发明一种基于数字孪生的生产培训系统的一种示意图。
图2为本发明对第一动作图像进行降噪处理的一种示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示的一种实施例，本发明提供了一种基于数字孪生的生产培训系统，包括摄像头模块和动作识别模块；摄像头模块包括两个水平高度一致的摄像头；
两个摄像头用于分别从第一方向和第二方向获取学员的手部的第一动作图像和第二动作图像；
动作识别模块用于对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型。
本发明通过高度一致的两个摄像头从不同的方向对学员的手部进行拍摄，得到第一动作图像和第二动作图像，然后基于两个得到的图像进行手部动作的识别，与采用单一的摄像头的现有技术相比，本发明能够在较为复杂的背景中提高对手部进行定位的效率，从而使得本发明对背景与前景之间的区别程度的要求小于现有技术的区别程度，从而提高本发明的适用场景的范围。
可选的，还包括指令匹配模块；
指令匹配模块将手部动作的类型与预先设置的操作指令进行匹配，获得操作指令。
具体的，手部动作的类型可以包括单一动作类型和复合动作类型；
单一动作类型包括手臂举起、手臂张开、手臂下垂、摊开手掌、握拳等；
复合动作类型包括手臂举起且握拳、手臂举起且摊开手掌等。
操作指令则是根据实际的培训场景进行设置，例如，对于流水线的培训场景，操作指令则可以包括拿起、打开、旋转、放下等。可以为不同的操作指令设置一个对应的动作类型。
可选的，还包括场景控制模块；
场景控制模块用于根据操作指令对虚拟现实空间中的生产设备的状态进行更新，得到更新后的虚拟现实空间。
具体的，以生产设备的启动和关闭为例，当识别到学员的手部动作对应的操作指令为停止时，则在虚拟现实空间中将生产设备由动态转换为静态，而当识别到学员的手部动作对应的操作指令为启动时，则在虚拟现实空间中将生产设备由静态转换为动态。
可选的，还包括场景展示模块；
场景展示模块用于对更新前或更新后的虚拟现实空间进行展示。
具体的，场景展示模块可以是VR眼镜、VR头盔等能够展示虚拟现实空间的设备。
可选的，还包括存储模块；
存储模块用于存储不同的操作指令所对应的手部动作的类型。
可选的，还包括数字孪生模块，数字孪生模块用于对现实的生产设备进行建模，建立真实的生产设备在虚拟现实空间中对应的模型。
具体的，数字孪生模块还用于定义生产设备的各个组成部分的属性、不同状态下的动画以及各个部分之间的动作关联。
例如，对于一些启动步骤较为繁杂的设备，当学员发出启动的操作指令后，设备的不同部分依次产生不同的变化，直至启动完毕。
可选的，还包括智能辅助模块，智能辅助模块用于在学员发出操作指令之后，基于学员的操作指令对学员发出提醒建议。
例如，当学员对生产设备进行操作的先后顺序不符合生产流程的规定时，可以提醒学员步骤错误，重新进行操作。
可选的，存储模块还用于保存学员在培训过程中的操作记录，便于培训者对学员的熟练程度进行了解。
例如，当一个学员在进行某一个流程的训练时，重复了多次，每次都能正确完成，则表示该学员在该流程上已经非常熟练。
可选的，第一方向为学员的正面，第二方向为学员的侧面。
具体的，利用水平高度一致的这一特征，本发明能够从两个方向进行手部区域的定位，从而提高手部区域定位的效率。
可选的，第一方向为学员的背面，第二方向为学员的侧面。
具体的，上面列举到的第一方向和第二方向仅为其中的一些实施例，对第一方向和第二方向的要求为两者不同且两个方向均能拍摄到学员的手部。
可选的，对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型，包括：
分别对第一动作图像和第二动作图像进行图像分割处理，获得第一动作图像中的待筛选区域的集合firSet和第二动作图像中的待筛选区域的集合secSet；
获取集合firSet中的待筛选区域的高度的集合higFirSet；
获取集合secSet中的待筛选区域的高度的集合higSecSet；
获取higFirSet和higSecSet的交集mixSet；
获取firSet中高度属于mixSet的待筛选区域的集合finSet；
对finSet中的待筛选区域进行特征提取，获得finSet中每个待筛选区域的图像特征；
将finSet中每个待筛选区域的图像特征与预存的各种类型的手部动作的图像特征进行匹配，将最高的相似度对应的手部动作的类型作为学员的手部动作的类型。
与现有技术相比，本发明是对集合finSet中的每个待选选区域进行图像特征的匹配，而不是图像分割得到多个区域后，基于得到的多个区域直接进行匹配。现有技术是使用单个摄像头来获取学员的手部动作图像，其会导致需要更多的图像匹配才能获得代表手部的区域。而本发明不同，本发明是基于两个不同方向的图像中的待筛选区域来对集合firSet中的元素进行大幅度的减少，得到集合finSet，从而减少了需要进行匹配的的区域的数量，从而提高对学员的手部进行定位的效率。
上述实施例利用的是同一个手部动作，在不同的拍摄的图像中，高度相同的特征来进行筛选区域的排除的。
对于第一动作图像中不属于finSet的筛选区域，由于其在第二动作图像中没有对应的筛选区域，因此，其不可能属于手部动作所处的区域，通过上述筛选，本发明无需对这样的筛选区域进行图像匹配，从而提高了对学员的手部进行定位的效率。无需背景为纯色也能够保证对学员的手部进行定位和识别的效率，从而扩大了本发明的生产培训系统的适用场景范围。
可选的，对于待筛选区域arefl，其高度采用如下方式获取：
以高度为横坐标，不同高度范围对应的像素点的数量为纵坐标，建立高度直方图，在高度直方图中，组距为D；
在高度直方图中获取纵坐标最大的前G个条形图，以前G个条形图所对应的横坐标的均值作为待筛选区域arefl的高度。
具体的，对于横轴范围为的条形图，其横坐标为d。
对于同一个筛选区域，由于其形状并不规则，因此，比较难准确获取其中心，若利用平均坐标中的Y轴的值来作为筛选区域的高度，那么会对导致高度的表示不够准确。因此，本发明通过建立高度直方图，然后利用高度直方图中纵坐标最大的前G个条形图来计算得到高度，从而使得得到的高度更能够准确代表筛选区域的高度。
可选的，分别对第一动作图像和第二动作图像进行图像分割处理，包括：
分别对第一动作图像和第二动作图像进行降噪处理，得到第一降噪图像和第二降噪图像；
使用图像分割算法对第一降噪图像和第二降噪图像进行图像分割处理。
具体的，将图像分割处理后获得属于前景部分的像素点，不同位置的前景部分的像素点组成了不同的连通区域，每个连通区域便是一个待筛选区域。
可选的，如图2所示，对第一动作图像进行降噪处理，得到第一降噪图像，包括：
将第一动作图像分割为多个大小相同的区域；
使用小波降噪算法分别对每个区域进行降噪处理，得到降噪后的区域；
基于降噪后的区域和降噪前的区域计算每个区域的有效概率；
基于有效概率选择每个区域对应的降噪算法对每个区域进行降噪处理，得到第一降噪图像。
现有技术中，一般都是基于噪声程度来为不同的区域选择不同的降噪算法，但是这种处理方式，容易使得本来属于有效边缘的区域被过度进行平滑，边缘信息的含量降低。因此，本发明通过计算有效概率，从而得到不同的区域属于有效边缘的区域的概率，然后再选择不同的降噪算法来对有效边缘的区域和非有效边缘的区域进行降噪处理，从而提高了有效边缘信息的保留概率，使得降噪后得到的第一降噪图像中保留更多有效边缘，这样能够手部动作识别的准确程度。
可选的，有效概率的计算函数为：
上述计算函数中，effprok表示区域k的有效概率，covk,f和covk,分别表示降噪后的区域k和降噪前的区域k中的像素点的灰度值的方差，nset表示与区域k相邻的其它区域的集合，aved,f表示降噪前的区域d中的像素点的梯度幅值的方差，avek,表示示降噪前的区域k中的像素点的梯度幅值的方差，stddif表示预设的方差平均值，α和β分别表示第一权重和第二权重。
在本发明中，区域k降噪前和降噪后的灰度值的方差的差别越大，与周边的区域之间的梯度幅值的方差的差异越大，则其属于有效边缘的区域的概率越大。对于一个区域，若其属于非有效边缘的区域集中分布的区域中，那么其与周围的区域之间的差异会比较小，此时，有效概率的数值会比较小。通过从不同的方向对区域k属于效边缘的区域的概率进行考虑，使得effprok能够更为准确地表示区域k属于有效边缘的区域的概率。
可选的，基于有效概率选择每个区域对应的降噪算法对每个区域进行降噪处理，得到第一降噪图像，包括：
若有效概率小于设定的概率阈值，则选择平滑滤波算法对区域进行降噪处理；
若有效概率大于等于设定的概率阈值，则选择保边滤波算法对区域进行降噪处理；
对所有的区域进行降噪处理后，得到第一降噪图像。
具体的，采用平滑滤波算法来对非有效边缘的区域进行降噪处理，和采用保边滤波算法对有效边缘的区域进行降噪处理，能够提高有效边缘的区域和非有效边缘的区域之间的差别，从而提高后续的图像分割得到准确的手部区域的概率。
具体的，平滑滤波算法包括高斯滤波算法、中值滤波算法等。
保边滤波算法把包括双边滤波算法、导向滤波算法、NLM算法等。
可选的，对第二动作图像进行降噪处理的过程与对第一动作图像进行降噪处理的过程一致。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于数字孪生的生产培训系统，其特征在于，包括摄像头模块和动作识别模块；摄像头模块包括两个水平高度一致的摄像头；
两个摄像头用于分别从第一方向和第二方向获取学员的手部的第一动作图像和第二动作图像；
动作识别模块用于对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型；
第一方向为学员的背面，第二方向为学员的侧面；
对第一动作图像和第二动作图像进行识别，得到学员的手部动作的类型，包括：
分别对第一动作图像和第二动作图像进行图像分割处理，获得第一动作图像中的待筛选区域的集合firSet和第二动作图像中的待筛选区域的集合secSet；
获取集合firSet中的待筛选区域的高度的集合higFirSet；
获取集合secSet中的待筛选区域的高度的集合higSecSet；
获取higFirSet和higSecSet的交集mixSet；
获取firSet中高度属于mixSet的待筛选区域的集合finSet；
对finSet中的待筛选区域进行特征提取，获得finSet中每个待筛选区域的图像特征；
将finSet中每个待筛选区域的图像特征与预存的各种类型的手部动作的图像特征进行匹配，将最高的相似度对应的手部动作的类型作为学员的手部动作的类型；
对于待筛选区域arefl，其高度采用如下方式获取：
以高度为横坐标，不同高度范围对应的像素点的数量为纵坐标，建立高度直方图，在高度直方图中，组距为D；
在高度直方图中获取纵坐标最大的前G个条形图，以前G个条形图所对应的横坐标的均值作为待筛选区域arefl的高度。
2.根据权利要求1所述的一种基于数字孪生的生产培训系统，其特征在于，还包括指令匹配模块；
指令匹配模块将手部动作的类型与预先设置的操作指令进行匹配，获得操作指令。
3.根据权利要求2所述的一种基于数字孪生的生产培训系统，其特征在于，还包括场景控制模块；
场景控制模块用于根据操作指令对虚拟现实空间中的生产设备的状态进行更新，得到更新后的虚拟现实空间。
4.根据权利要求3所述的一种基于数字孪生的生产培训系统，其特征在于，还包括场景展示模块；
场景展示模块用于对更新前或更新后的虚拟现实空间进行展示。
5.根据权利要求2所述的一种基于数字孪生的生产培训系统，其特征在于，还包括存储模块；
存储模块用于存储不同的操作指令所对应的手部动作的类型。
6.根据权利要求1所述的一种基于数字孪生的生产培训系统，其特征在于，第一方向为学员的正面，第二方向为学员的侧面。
CN202310364922.XA 2023-04-07 2023-04-07 一种基于数字孪生的生产培训系统 Active CN116665295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310364922.XA CN116665295B (zh) 2023-04-07 2023-04-07 一种基于数字孪生的生产培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310364922.XA CN116665295B (zh) 2023-04-07 2023-04-07 一种基于数字孪生的生产培训系统

Publications (2)

Publication Number Publication Date
CN116665295A CN116665295A (zh) 2023-08-29
CN116665295B true CN116665295B (zh) 2024-01-02

Family

ID=87714216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310364922.XA Active CN116665295B (zh) 2023-04-07 2023-04-07 一种基于数字孪生的生产培训系统

Country Status (1)

Country Link
CN (1) CN116665295B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN108629167A (zh) * 2018-05-09 2018-10-09 西安交通大学 一种结合可穿戴设备的多智能设备身份认证方法
WO2022033264A1 (zh) * 2020-08-12 2022-02-17 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质
CN114139968A (zh) * 2021-12-03 2022-03-04 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统
KR20220055104A (ko) * 2020-10-26 2022-05-03 박대진 전방향 영상 촬영장치
CN115641615A (zh) * 2022-11-25 2023-01-24 湖南工商大学 复杂背景下闭合手掌感兴趣区域提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN108629167A (zh) * 2018-05-09 2018-10-09 西安交通大学 一种结合可穿戴设备的多智能设备身份认证方法
WO2022033264A1 (zh) * 2020-08-12 2022-02-17 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质
KR20220055104A (ko) * 2020-10-26 2022-05-03 박대진 전방향 영상 촬영장치
CN114139968A (zh) * 2021-12-03 2022-03-04 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统
CN115641615A (zh) * 2022-11-25 2023-01-24 湖南工商大学 复杂背景下闭合手掌感兴趣区域提取方法

Also Published As

Publication number Publication date
CN116665295A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN112541422A (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN110689000B (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN109543629B (zh) 一种眨眼识别方法、装置、设备及可读存储介质
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
EP3859673A1 (en) Model generation
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
CN111353325A (zh) 关键点检测模型训练方法及装置
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN109993090B (zh) 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN116665295B (zh) 一种基于数字孪生的生产培训系统
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统
CN116453230A (zh) 活体检测方法、装置、终端设备以及存储介质
CN115880111A (zh) 基于图像的虚拟仿真实训课堂教学管理方法及系统
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN115829975A (zh) 掌静脉图像质量检测方法、系统、介质及电子设备
CN116110095A (zh) 一种人脸过滤模型的训练方法、人脸识别方法及装置
CN113435358B (zh) 用于训练模型的样本生成方法、装置、设备、程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant