CN112613386A - 一种基于脑电波的监控方法及装置 - Google Patents
一种基于脑电波的监控方法及装置 Download PDFInfo
- Publication number
- CN112613386A CN112613386A CN202011502685.1A CN202011502685A CN112613386A CN 112613386 A CN112613386 A CN 112613386A CN 202011502685 A CN202011502685 A CN 202011502685A CN 112613386 A CN112613386 A CN 112613386A
- Authority
- CN
- China
- Prior art keywords
- data
- target object
- state information
- processing
- brain wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000011835 investigation Methods 0.000 claims abstract description 14
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 18
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 15
- 210000005252 bulbus oculi Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于脑电波的监控方法及装置，涉及人工智能技术领域。该方法的一实施例包括：获取考察时间内目标对象的脑电波数据和图像数据；对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级；若所述目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。由此，能够有效监控和预测目标对象的作业状态，从而保证产线作业的稳定性和准确性，提高产品生产质量。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于脑电波的监控方法及装置。
背景技术
在产线作业中，为了保证产品质量生产的稳定性，通常需要确定各个操作岗位操作的稳定性，而操作岗位操作的稳定性通常取决于操作人员是否已经完全掌握其操作岗位的操作技能。为此，通过询问的方式进行测试以确定操作人员是否满足岗位要求，但是很多时候操作人员不能准确表达自己对于工艺的理解，或者有时候不愿意去表达，由此导致该测试很难进行。
为了解决这一技术问题，在产线作业过程中设置管理员进行现场值守，以实现实时关注产线所有工艺和工序的作业情况，从而确定各个操作岗位操作的稳定性，进而保证产品的生产质量。然而，该过程不仅浪费人力，而且由于管理员精力有限，有时候无法实现有效监控；由此很难保证每个操作岗位操作的稳定性和准确性，从而影响产品的生产质量。
发明内容
有鉴于此，本发明实施例提供一种基于脑电波的监控方法及装置，能够基于目标对象的脑电波数据和图像数据确定目标对象的操作技能等级，从而监控产线作业，提高产品生产质量。
为实现上述目的，根据本发明实施例第一方面，提供一种基于脑电波的监控方法，该方法包括：获取考察时间内目标对象的脑电波数据和图像数据；对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级；若所述目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
可选的，所述的方法还包括：获取目标对象的操作数据；所述操作数据用于指示由目标对象触发执行任务的指令；判断所述操作数据是否满足第二预设条件，若是，则确定所述操作数据为目标对象的误操作；若所述误操作的次数满足预设阈值且所述目标对象的操作技能等级满足第一预设条件，则发送第二报警信息。
可选的，所述对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级，包括：根据所述脑电波数据确定所述目标对象的第一状态信息；根据所述图像数据确定所述目标对象的第二状态信息；若所述第一状态信息和所述第二状态信息满足第三预设条件，则确定目标对象的操作技能等级。
可选的，所述根据所述脑电波数据确定目标对象的第一状态信息，包括：从数据库中选取与所述目标对象的脑电波数据对应的标准脑电波数据；标准脑电波数据用于指示目标对象在正常状态时的脑电波数据；利用模型对所述标准脑电波数据和脑电数据进行处理，得到目标对象的第一状态信息。
可选的，所述根据所述图像数据确定所述目标对象的第二状态信息，包括：从所述图像数据中分别提取所述目标对象的第一部位数据、第二部位数据和第三部位数据；对所述第一部位数据进行处理，得到第一部位状态信息；对所述第二部位数据进行处理，得到第二部位状态信息；对所述第三部位数据进行处理，得到第三部位状态信息；判断所述第一部位状态信息、第二部位状态信息和所述第三部位状态信息是否同时满足第四预设条件，若是，则确定所述目标对象的第二状态信息。
为实现上述目的，根据本发明实施例第二方面，还提供一种基于脑电波的监控装置，该装置包括：获取模块，用于获取考察时间内目标对象的脑电波数据和图像数据；处理模块，用于对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级；发送模块，用于若所述目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
可选的，所述的装置还包括：所述获取模块，还用于获取目标对象的操作数据；所述操作数据用于指示由目标对象触发执行任务的指令；判断模块，用于判断所述操作数据是否满足第二预设条件，若是，则确定所述操作数据为目标对象的误操作；若所述误操作的次数满足预设阈值且所述目标对象的操作技能等级满足第一预设条件，则发送第二报警信息。
可选的，所述处理模块包括：第一确定单元，用于根据所述脑电波数据确定所述目标对象的第一状态信息；第二确定单元，用于根据所述图像数据确定所述目标对象的第二状态信息；第三确定单元，用于若所述第一状态信息和所述第二状态信息满足第三预设条件，则确定目标对象的操作技能等级。
可选的，所述第一确定单元包括：选取子单元，用于从数据库中选取与所述目标对象的脑电波数据对应的标准脑电波数据；标准脑电波数据用于指示目标对象在正常状态时的脑电波数据；处理子单元，用于利用模型对所述标准脑电波数据和脑电数据进行处理，得到目标对象的第一状态信息。
可选的，所述第二确定单元包括：选取子单元，用于从所述图像数据中分别提取所述目标对象的第一部位数据、第二部位数据和第三部位数据；处理子单元，用于对所述第一部位数据进行处理，得到第一部位信息；对所述第二部位数据进行处理，得到第二部位信息；对所述第三部位数据进行处理，得到第三部位信息；确定子单元，用于若所述第一部位信息、第二部位信息和所述第三部位信息满足第三预设条件，则确定所述目标对象的第二状态信息。
为实现上述目的，根据本发明实施例第三方面，还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的。
本发明实施例通过获取考察时间内目标对象的脑电波数据和图像数据，并对脑电波数据和图像数据进行处理，得到目标对象的操作技能等级；若目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。由此，能够有效监控和预测目标对象的作业状态，从而保证产线作业的稳定性和准确性，提高产品生产质量。
上述的非惯用的可选方式所具有的进一步的效果将在下文结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中在附图中，相同或对应的标号表示相同或对应的部分。
图1为本发明一实施例基于脑电波的监控方法的流程图；
图2为本发明再一实施例基于脑电波的监控方法的流程图；
图3为本发明一实施例中对脑电波数据和图像数据进行处理的流程图；
图4为本发明一实施例基于脑电波的监控装置的示意图；
图5为本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，为本发明一实施例基于脑电波的监控方法的流程图，该方法至少包括如下操作流程：
S101，获取考察时间内目标对象的脑电波数据和图像数据。
示例性的，脑电波数据是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。目标对象的脑电波数据是通过目标对象身上的脑电采集设备采集并提取处理后而获得的。脑电采集设备是可穿戴便携式脑电采集设备；脑电波数据可以是脑电波图像。
图像数据可以包括：目标对象的眼球活动数据、和/或面部表情数据、和/或肢体活动数据。例如，肢体活动数据为目标对象和其他对象进行交流的行为图像等等。目标对象的图像数据可以通过摄像头采集并提取处理而获得的。
具体地，监控装置分别与脑电采集设备以及摄像头进行通信连接，由此监控装置通过目标对象身上携带的脑电采集设备获取目标对象的脑电波图像数据，并通过目标对象所在区域内的摄像头获取目标对象的图像数据。监控装置先获取目标对象所有时间段内的脑电波数据和图像数据，其中脑电波数据和图像数据均携带数据的采集时间，而后基于所述脑电波数据的采集时间，选取位于考察时间内的脑电波数据，基于所述图像数据的采集时间，选取位于考察时间内的图像数据。基于采集时间，将脑电波数据和图像数据进行匹配，作为后期处理的输入，以考察目标对象的操作技能等级。
S102，对脑电波数据和图像数据进行处理，得到目标对象的操作技能等级。
示例性的，利用神经网络模型分别对脑电波数据和图像数据进行实时处理，得到目标对象的操作技能等级。
具体地，利用脑电模型对脑电波数据进行处理，得到目标对象的第一状态信息；利用图像模型对图像数据进行处理，得到目标对象的第二状态信息；判断目标对象的第二状态信息和第一状态信息是否一致，若是，则确定目标对象的操作技能等级；若否，则重新采集目标对象的脑电波数据和图像数据。
在这里，脑电模型是预先训练好的，例如选取用于表征正常状态的脑电波数据作为第一训练样本；选取用于表征疲劳状态的脑电波数据作为第二训练样本；选取用于表征专注状态的脑电波数据作为第三训练样本；利用神经网络算法对第一训练样本、第二训练样本以及第三训练样本进行训练，得到脑电模型。
图像模型是预先训练好的，例如选取用于表征正常状态的图像数据作为第一训练样本；选取用于表征疲劳状态的图像数据作为第二训练样本；选取用于表征专注状态的图像数据作为第三训练样本；利用神经网络算法对第一训练样本、第二训练样本以及第三训练样本进行训练，得到图像模型。
S103，若目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
第一预设条件是根据实际经验设定的预设阈值。
当有多个目标对象，若多个目标对象的操作技能等级均不满足第一预设条件，则发送多条报警信息。获取报警信息的数量，若报警信息的数量小于预设阈值，则向每个目标对象发送培训的报警信息。若报警信息的数量大于预设阈值，则向管理发送改良工艺的报警信息。
针对本发明实施例的监控方法，应用场景有多种。在这里，为了便于理解，现结合其中一种具体应用场景进行说明。
产品生产线的每个作业岗位均设有可穿戴式便携脑电采集设备，可穿戴式便携脑电采集设备的编号和作业岗位编号是对应存储在系统中的。一个作业区域包括多个作业岗位，一个作业区域可以对应有一个图像采集设备，图像采集设备可以同时采集多个作业岗位的目标对象的图像数据。目标对象的操作技能等级可以包括三个等级，随着操作技能等级的增大，目标对象对于待考察的操作技能的熟练度逐渐提升。当目标对象开始作业时，系统获取考察时间内目标对象的身份信息，以及考察时间内目标对象的脑电波数据和图像数据；之后对脑电波数据和图像数据进行处理，若处理结果表征目标对象的操作技能等级小于二级，则说明目标对象的操作技能等级满足预设条件，此时，系统根据目标对象的身份信息向目标对象的操作设备或管理员设备发送目标对象需要培训的第一报警信息。
当系统基于图像数据确定目标对象已离开作业岗位时，系统发送第一报警信息。
由此，本发明实施例通过对目标对象的脑电波数据和图像数据进行处理，并基于处理结果确定目标对象的操作技能等级，由此能够有效评估目标对象的操作技能，并基于目标对象的操作技能有效监控和预测目标对象的作业状态，从而保证产线作业运行的稳定性，进而提高产品生产的质量。
如图2所示，为本发明再一实施例基于脑电波的监控方法的流程图。本实施例是在前述实施例的基础上进一步优化得到的，该方法包括如下步骤：步骤S201、S202和S203的具体实现过程与图1所示实施例中S101、S102和S103的具体实现过程相类似，这里不再赘述。
S204，获取目标对象的操作数据；操作数据用于指示由目标对象触发执行任务的指令。
例如，操作数据可以是目标对象触发系统控制压盖设备对奶瓶进行压盖的指令。
S205，判断操作数据是否满足第二预设条件，若是，则执行S206；若否，则执行S208。
具体地，第二预设条件是指操作数据的个数和操作数据的顺序至少有一项不符合要求的。例如，判断操作数据的个数是否满足预设阈值且操作数据的顺序是否满足预设顺序，若操作数据的个数不满足预设阈值和/或操作数据的顺序不满足预设顺序，则确定操作数据满足第二预设条件；若操作数据的个数满足预设阈值且操作数据的顺序满足预设顺序，则确定操作数据不满足第二预设条件。
S206，确定操作数据为目标对象的误操作，并统计误操作的次数。
例如，要对奶瓶完成压盖操作需要目标对象触发系统，生成三个触发指令，以便系统控制压盖设备执行三个动作，而且三个触发指令是有先后顺序的，第一个触发指令用于指示奶瓶位置校准的指令，第二个触发指令用于指示奶瓶压盖的指令，第三个触发指令用于指示检测奶瓶盖子密封的指令。如果目标对象没有先触发第一触发指令，直接先触发第二触发指令，则目标对象的该次操作属于误操作。或者目标对象忘记触发某一个触发指令，也属于误操作。为此，判断触发指令的个数是否满足预设个数且触发指令的顺序是否满足预设顺序，若确定触发指令的个数满足预设个数且触发指令的顺序满足预设顺序，则确定目标对象没有误操作；若触发指令的个数和触发指令的顺序中至少有一项不满足上述预设条件，则基于操作数据统计误操作的次数。
S207，若误操作的次数满足预设阈值且目标对象的操作技能等级满足第一预设条件，则发送第二报警信息。
具体地，当考察时间内误操作次数超过预设阈值，则说明误操作次数满足预设阈值，与此同时，当目标对象的操作技能等级满足第一预设条件，则向目标对象的设备或管理员设备发送替换目标对象的报警信息。
S208，结束操作。
本发明实施例基于脑电波数据和图像数据，并结合现场操作数据判断目标对象对于操作岗位操作技能的掌握程度，从而能够准确评估目标对象的操作技能，进而有效监控和预测目标对象的作业状态，促进产线运行的稳定性，提高产品的生产效率和生产质量。
如图3所示，为本发明一实施例中对脑电波数据和图像数据进行处理的流程图。该方法包括如下步骤：
S301，根据脑电波数据确定目标对象的第一状态信息。
具体地，从数据库中选取与目标对象的脑电波数据对应的标准脑电波数据；标准脑电波数据用于指示目标对象在正常状态时的脑电波数据；利用模型对标准脑电波数据和脑电数据进行处理，得到目标对象的第一状态信息。第一状态信息包括正常、专注和疲劳状态；目标对象的标准脑电波数据预先采集且存储在数据库中的，且目标对象在正常状态下脑电波数据。不同目标对象对应的标准脑电波数据是不一样的。由此，在基于脑电波数据确定目标对象的状态信息时采用了个性化设置的方式。
在这里，模型是预先训练好的模型，模型涉及到神经网络算法和多分类算法等。例如，模型对考察时间内脑电波数据和标准脑电波数据进行比较，若脑电波数据明显大于标准脑电波数据，则模型判定目标对象的第一状态信息为专注状态；若脑电波数据明显小于标准脑电波数据，则模型判定目标对象的第一状态信息为疲劳状态；若脑电波数据与标准脑电波数据趋于相同，则模型判定目标对象的第一状态信息为正常状态。
S302，根据图像数据确定目标对象的第二状态信息。
具体地，从图像数据中分别提取目标对象的第一部位数据、第二部位数据和第三部位数据；对第一部位数据进行处理，得到第一部位状态信息；对第二部位数据进行处理，得到第二部位状态信息；对第三部位数据进行处理，得到第三部位状态信息；判断第一部位状态信息、第二部位状态信息和第三部位状态信息是否同时满足第四预设条件，若是，则确定目标对象的第二状态信息。第四预设条件是指第一部位信息、第二部位信息和第三部位信息中至少有两个部分的部位信息相同。例如，第一部位是指眼球，第二部位是指肢体，第三部位是指面部；眼球状态信息包括专注、疲劳和正常状态，肢体状态信息包括专注、疲劳和正常状态，面部状态信息包括专注、疲劳和正常状态。
从图像数据中提取目标对象的眼球活动数据、面部表情数据和肢体活动数据。利用眼球模型对目标对象的眼球活动数据进行处理，得到眼球状态信息，利用面部模型对目标对象的面部表情数据进行处理，得到面部状态信息，利用肢体模型对目标对象的肢体活动数据进行处理，得到肢体状态信息。其中眼球模型、面部模型和肢体模型均是基于神经网络算法预先训练好的模型。
若眼球状态信息、肢体状态信息和面部状态信息均指示专注状态，则确定第二状态信息为专注状态。若眼球状态信息、肢体状态信息和面部状态信息均指示疲劳状态，则确定第二状态信息为疲劳状态。若眼球状态信息、肢体状态信息和面部状态信息均指示正常状态，则确定第二状态信息为正常状态。若眼球状态信息、肢体状态信息和面部信息至少有两项指示的状态不一致，则无法确定目标对象的第二状态信息，需要重新采集目标对象的图像数据以重新确定目标对象的第二状态信息。
S303，若第一状态信息和第二状态信息满足第三预设条件，则确定目标对象的操作技能等级。
第三预设条件是指第一状态信息和第二状态信息相同。
若第一状态信息和第二状态信息均表示专注状态，则确定目标对象的操作技能等级为三级；若第一状态信息和第二状态信息均表示正常状态，则确定目标对象的操作技能等级为二级；若第一状态信息和第二状态信息均表示疲劳状态，则确定目标对象的操作技能等级为一级；若第一状态信息和第二状态信息表征结果不一致，则重新采集目标对象脑电波数据和图像数据。
由此，本发明实施例基于目标对象的图像数据确定目标对象的不同部位的状态信息，并综合不同部位的状态信息确定目标对象的状态信息；由此提高基于图像数据确定目标对象状态信息的准确性。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在的逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如图4所示，为本发明一实施例的基于脑电波的监控装置的示意图；该装置400包括：获取模块401，用于获取考察时间内目标对象的脑电波数据和图像数据；处理模块402，用于对脑电波数据和图像数据进行处理，得到目标对象的操作技能等级；发送模块403，用于若目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
在可选的实施例中，该装置400还包括：获取模块401，还用于获取目标对象的操作数据；操作数据用于指示由目标对象触发执行任务的指令；判断模块，用于判断操作数据是否满足第二预设条件，若是，则确定操作数据为目标对象的误操作；若误操作的次数满足预设阈值且目标对象的操作技能等级满足第一预设条件，则发送第二报警信息。
在可选的实施例中，处理模块402包括：第一确定单元，用于根据脑电波数据确定目标对象的第一状态信息；第二确定单元，用于根据图像数据确定目标对象的第二状态信息；第三确定单元，用于若第一状态信息和第二状态信息满足第三预设条件，则确定目标对象的操作技能等级。
在可选的实施例中，第一确定单元包括：选取子单元，用于从数据库中选取与目标对象的脑电波数据对应的标准脑电波数据；标准脑电波数据用于指示目标对象在正常状态时的脑电波数据；处理子单元，用于利用模型对标准脑电波数据和脑电数据进行处理，得到目标对象的第一状态信息。
在可选的实施例中，第二确定单元包括：选取子单元，用于从图像数据中分别提取目标对象的第一部位数据、第二部位数据和第三部位数据；处理子单元，用于对第一部位数据进行处理，得到第一部位信息；对第二部位数据进行处理，得到第二部位信息；对第三部位数据进行处理，得到第三部位信息；确定子单元，用于若第一部位信息、第二部位信息和第三部位信息满足第三预设条件，则确定目标对象的第二状态信息。
上述装置可执行本发明实施例所提供的基于脑电波的监控方法，具备执行基于脑电波的监控方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的基于脑电波的监控方法。
如图5所示，为本发明实施例可以应用于其中的示例性系统架构图，该系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所产生的点击事件提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的点击数据、文本内容等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本申请实施例所提供的基于脑电波的监控方法一般由服务器505执行，相应地，监控装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现实施例的终端设备或服务器的计算机系统的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：S101，获取考察时间内目标对象的脑电波数据和图像数据；S102，对脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级；S103，若目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于脑电波的监控方法，其特征在于，该方法包括：
获取考察时间内目标对象的脑电波数据和图像数据；
对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级；
若所述目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取目标对象的操作数据；所述操作数据用于指示由目标对象触发执行任务的指令；
判断所述操作数据是否满足第二预设条件，若是，则确定所述操作数据为目标对象的误操作，并统计所述误操作的次数；若所述误操作的次数满足预设阈值且所述目标对象的操作技能等级满足第一预设条件，则发送第二报警信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级，包括：
根据所述脑电波数据确定所述目标对象的第一状态信息；
根据所述图像数据确定所述目标对象的第二状态信息；
若所述第一状态信息和所述第二状态信息满足第三预设条件，则确定目标对象的操作技能等级。
4.根据权利要求3所述的方法，其特征在于，所述根据所述脑电波数据确定目标对象的第一状态信息，包括：
从数据库中选取与所述目标对象的脑电波数据对应的标准脑电波数据；标准脑电波数据用于指示目标对象在正常状态时的脑电波数据；
利用模型对所述标准脑电波数据和脑电数据进行处理，得到目标对象的第一状态信息。
5.根据权利要求3所述的方法，其特征在于，所述根据所述图像数据确定所述目标对象的第二状态信息，包括：
从所述图像数据中分别提取所述目标对象的第一部位数据、第二部位数据和第三部位数据；
对所述第一部位数据进行处理，得到第一部位状态信息；
对所述第二部位数据进行处理，得到第二部位状态信息；
对所述第三部位数据进行处理，得到第三部位状态信息；
判断所述第一部位状态信息、第二部位状态信息和所述第三部位状态信息是否同时满足第四预设条件，若是，则确定所述目标对象的第二状态信息。
6.一种基于脑电波的监控装置，其特征在于，该装置包括：
获取模块，用于获取考察时间内目标对象的脑电波数据和图像数据；
处理模块，用于对所述脑电波数据和所述图像数据进行处理，得到目标对象的操作技能等级；
发送模块，用于若所述目标对象的操作技能等级满足第一预设条件，则发送第一报警信息。
7.根据权利要求6所述的装置，其特征在于，还包括：
所述获取模块，还用于获取目标对象的操作数据；所述操作数据用于指示由目标对象触发执行任务的指令；
判断模块，用于判断所述操作数据是否满足第二预设条件，若是，则确定所述操作数据为目标对象的误操作；若所述误操作的次数满足预设阈值且所述目标对象的操作技能等级满足第一预设条件，则发送第二报警信息。
8.根据权利要求6所述的装置，其特征在于，所述处理模块包括：
第一确定单元，用于根据所述脑电波数据确定所述目标对象的第一状态信息；
第二确定单元，用于根据所述图像数据确定所述目标对象的第二状态信息；
第三确定单元，用于若所述第一状态信息和所述第二状态信息满足第三预设条件，则确定目标对象的操作技能等级。
9.根据权利要求8所述的装置，其特征在于，所述第一确定单元包括：
选取子单元，用于从数据库中选取与所述目标对象的脑电波数据对应的标准脑电波数据；标准脑电波数据用于指示目标对象在正常状态时的脑电波数据；
处理子单元，用于利用模型对所述标准脑电波数据和脑电数据进行处理，得到目标对象的第一状态信息。
10.根据权利要求8所述的装置，其特征在于，所述第二确定单元包括：
选取子单元，用于从所述图像数据中分别提取所述目标对象的第一部位数据、第二部位数据和第三部位数据；
处理子单元，用于对所述第一部位数据进行处理，得到第一部位信息；对所述第二部位数据进行处理，得到第二部位信息；对所述第三部位数据进行处理，得到第三部位信息；
确定子单元，用于若所述第一部位信息、第二部位信息和所述第三部位信息满足第三预设条件，则确定所述目标对象的第二状态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502685.1A CN112613386B (zh) | 2020-12-18 | 2020-12-18 | 一种基于脑电波的监控方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502685.1A CN112613386B (zh) | 2020-12-18 | 2020-12-18 | 一种基于脑电波的监控方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112613386A true CN112613386A (zh) | 2021-04-06 |
| CN112613386B CN112613386B (zh) | 2023-12-19 |
Family
ID=75241053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011502685.1A Active CN112613386B (zh) | 2020-12-18 | 2020-12-18 | 一种基于脑电波的监控方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112613386B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106325514A (zh) * | 2016-08-26 | 2017-01-11 | 珠海格力电器股份有限公司 | 一种手持智能终端的防掉落方法、装置及其电子设备 |
| CN106527161A (zh) * | 2016-11-28 | 2017-03-22 | 深圳市元征科技股份有限公司 | 一种数据处理方法和数据处理装置 |
| CN103970260B (zh) * | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
| CN206561805U (zh) * | 2017-02-22 | 2017-10-17 | 深圳市百智康科技有限公司 | 一种防疲劳驾驶车载装置 |
| CN107357311A (zh) * | 2017-07-28 | 2017-11-17 | 南京航空航天大学 | 一种基于混合控制技术的无人机侦察系统 |
| WO2019009420A1 (ja) * | 2017-07-07 | 2019-01-10 | 国立大学法人大阪大学 | トレンド分析を利用した痛みの判別、機械学習、経済的判別モデルおよびＩｏＴを応用した医療装置、テイラーメイド機械学習、および新規疼痛判別用脳波特徴量 |
| CN110211334A (zh) * | 2019-06-25 | 2019-09-06 | 启迪数华科技有限公司 | 基于大数据神经网络的校园安全警示方法和装置 |
| KR102022496B1 (ko) * | 2019-02-28 | 2019-09-18 | (주)아이프리즘 | 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법 |
| CN110287923A (zh) * | 2019-06-29 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
| WO2020006961A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京字节跳动网络技术有限公司 | 用于提取图像的方法和装置 |
| CN112132128A (zh) * | 2020-09-21 | 2020-12-25 | 张晓卫 | 一种智能图像识别装置 |
-
2020
- 2020-12-18 CN CN202011502685.1A patent/CN112613386B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970260B (zh) * | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
| CN106325514A (zh) * | 2016-08-26 | 2017-01-11 | 珠海格力电器股份有限公司 | 一种手持智能终端的防掉落方法、装置及其电子设备 |
| CN106527161A (zh) * | 2016-11-28 | 2017-03-22 | 深圳市元征科技股份有限公司 | 一种数据处理方法和数据处理装置 |
| CN206561805U (zh) * | 2017-02-22 | 2017-10-17 | 深圳市百智康科技有限公司 | 一种防疲劳驾驶车载装置 |
| WO2019009420A1 (ja) * | 2017-07-07 | 2019-01-10 | 国立大学法人大阪大学 | トレンド分析を利用した痛みの判別、機械学習、経済的判別モデルおよびＩｏＴを応用した医療装置、テイラーメイド機械学習、および新規疼痛判別用脳波特徴量 |
| CN107357311A (zh) * | 2017-07-28 | 2017-11-17 | 南京航空航天大学 | 一种基于混合控制技术的无人机侦察系统 |
| WO2020006961A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京字节跳动网络技术有限公司 | 用于提取图像的方法和装置 |
| KR102022496B1 (ko) * | 2019-02-28 | 2019-09-18 | (주)아이프리즘 | 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법 |
| CN110211334A (zh) * | 2019-06-25 | 2019-09-06 | 启迪数华科技有限公司 | 基于大数据神经网络的校园安全警示方法和装置 |
| CN110287923A (zh) * | 2019-06-29 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 人体姿态获取方法、装置、计算机设备及存储介质 |
| CN112132128A (zh) * | 2020-09-21 | 2020-12-25 | 张晓卫 | 一种智能图像识别装置 |
Non-Patent Citations (4)
| Title |
|---|
| BRYAN G.DADIZ 等: "Go-Mo (Go-motion): An android mobile application detecting motion gestures for generating basic mobile phone commands utilizing KLT algorithm", 《2017 IEEE 2ND INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING》, pages 30 - 34 * |
| 季映羽: "基于面部特征分析与多指标融合的疲劳状态检测算法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, pages 035 - 216 * |
| 穆宝良 等: "计算机视觉下的实时手势识别技术及其应用", 《科学技术创新》, no. 35, pages 45 - 46 * |
| 蔡丹丰 等: "移动电商领域的社会拥挤研究述评及展望", 《电子商务》, pages 34 - 35 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112613386B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109104620B (zh) | 一种短视频推荐方法、装置和可读介质 | |
| JP6355683B2 (ja) | リスク早期警報方法、装置、記憶媒体およびコンピュータプログラム | |
| WO2020000879A1 (zh) | 图像识别方法和装置 | |
| US10958742B2 (en) | Cognitive content filtering | |
| CN109976997B (zh) | 测试方法和装置 | |
| CN110929799B (zh) | 用于检测异常用户的方法、电子设备和计算机可读介质 | |
| US10750022B2 (en) | Enhancing customer service processing using data analytics and cognitive computing | |
| CN112579909A (zh) | 对象推荐方法及装置、计算机设备和介质 | |
| CN112857268B (zh) | 对象面积测量方法、装置、电子设备和存储介质 | |
| CN113704063B (zh) | 一种云手机的性能监控方法、装置、设备及存储介质 | |
| CN112527115A (zh) | 用户形象生成方法、相关装置及计算机程序产品 | |
| CN111147431A (zh) | 用于生成信息的方法和装置 | |
| CN113077821A (zh) | 音频质量检测方法、装置、电子设备及存储介质 | |
| CN113807515A (zh) | 模型训练的方法、装置、计算机设备及存储介质 | |
| CN113411645A (zh) | 信息推荐方法及装置、电子设备和介质 | |
| CN114036501A (zh) | 一种app的检测方法、系统、装置、设备及存储介质 | |
| US11601693B2 (en) | Automatic adaptation of digital content | |
| CN112613386B (zh) | 一种基于脑电波的监控方法及装置 | |
| JP2023043160A (ja) | システム、コンピュータ実装方法およびコンピュータプログラム製品（外部イベントに関連する会話システムコンテンツ） | |
| CN110704614B (zh) | 对应用中的用户群类型进行预测的信息处理方法及装置 | |
| CN111949860B (zh) | 用于生成相关度确定模型的方法和装置 | |
| CN111178696A (zh) | 一种业务处理时长超时预警方法和装置 | |
| CN113627330B (zh) | 识别目标类型动态图像的方法、装置及电子设备 | |
| CN110362619B (zh) | 一种基于认证服务器的用户注册方法、装置和电子设备 | |
| CN108710697B (zh) | 用于生成信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |