CN113347381B - 预测不雅举止轨迹的方法及系统 - Google Patents

Abstract

本发明公开了一种预测不雅举止轨迹的方法及系统，其中预测不雅举止轨迹的方法包括：摄像头根据参会人员的动作变化和参会人员的参会状态，捕捉参会人员的动作图像。将捕捉的动作图像与不雅动作图像集进行动作图像比对，当动作图像比对相似度大于图像比对预设值时，进行动作特征分析。当动作特征分析值满足动作特征预设值时，则会议系统做出相应提醒。借此，本发明增强了预测轨迹的准确性，且有效及时地规范了会议的文明礼仪。

Description

预测不雅举止轨迹的方法及系统

技术领域

本发明是关于视频多媒体通信技术领域，特别是关于一种预测不雅举止轨迹的方法及系统。

背景技术

随着视频通讯技术和人们工作习惯的改变，视频会议已经不限于普通工作沟通。产品发布、产品销售、大型企业文化活动、政府会议等受媒体关注的事项也开始采用视频会议模式。

在开会过程中，因为人的无意识的行为习惯，会不自觉的做些不雅的小动作，例如抠鼻、捋头发、拽衣服、身体晃动、抖腿、啃指甲、咳痰、交叉双臂等等。每个人或多或少都有自己养成的小习惯。这些小动作虽在一般场景无关紧要，但在涉及公司品牌宣传等特殊场景可能会影响个人及公司形象，甚至会带来不好的会议效果。

由于有些小动作是人长期养成的习惯，人在进行小动作时是无意识的，在无人提醒的状态下，本人较难自觉控制行为。尤其在多方视频会议中，不同于线下会议，会让人产生并没有很多人参会或没有人会关注自己的错觉。会愈加不注意控制行为。

所以如果能在视频会议中有效预防制止这些小动作，不但体现了视频会议的优越性，还提高了会议的规范性文明性。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种预测不雅举止轨迹的方法及系统，其增强了预测轨迹的准确性，且有效及时地规范了会议的文明礼仪。

为实现上述目的，本发明一方面提供了一种预测不雅举止轨迹的方法，包括：摄像头根据参会人员的动作变化和参会人员的参会状态，捕捉参会人员的动作图像。将捕捉的动作图像与不雅动作图像集进行动作图像比对，当动作图像比对相似度大于图像比对预设值时，进行动作特征分析。当动作特征分析值满足动作特征预设值时，则会议系统做出相应提醒。

在本发明的一实施方式中，不雅动作的动作过程图分为多个阶段分别存储，不雅动作图像集包括个人不雅动作图像集和总不雅动作图像集。将捕捉的动作图像与不雅动作图像集进行动作图像比对，包括：先将捕捉的动作图像与个人不雅动作图像集进行图像比对，当动作图像比对相似度小于图像比对预设值时，再将捕捉的动作图像与总不雅动作图像集进行图像比对。

在本发明的一实施方式中，根据参会人员的参会状态、不雅动作发生次数进行调整图像比对预设值。其中，参会人员的参会状态包括：参会人员是否为当前发言人，参会人员为当前发言人时，图像比对预设值上调。其中，不雅动作发生次数增加，图像比对预设值下调。

在本发明的一实施方式中，多个阶段为三个阶段，第一阶段为起始动作阶段，第二阶段为过渡动作阶段，第三阶段为确认动作阶段。在捕捉参会人员的动作图像之前，还包括不雅动作图像集生成步骤，其中，将不雅动作视频按预定帧截取出多个图像，按照三个阶段，将多个图像分别存储于第一阶段图像集、第二阶段图像集、第三阶段图像集，以生成个人不雅动作图像集和总不雅动作图像集。

在本发明的一实施方式中，图像比对预设值包括：第一图像比对预设值、第二图像比对预设值、第三图像比对预设值，

在本发明的一实施方式中，将捕捉的动作图像与不雅动作图像集进行动作图像比对，包括：将捕捉的动作图像与个人不雅动作图像集的第一阶段图像集进行动作图像比对，当动作图像比对相似度大于第一图像比对预设值时，将下一个捕捉的动作图像与第一阶段图像集、第二阶段图像集进行动作图像比对。其中，当参会人员为当前发言人时，将捕捉的动作图像和下一个捕捉的动作图像直接与第三阶段图像集进行动作图像比对。

在本发明的一实施方式中，将捕捉的动作图像与不雅动作图像集进行动作图像比对采用余弦向量比对，其中，包括提取人体关键点位置坐标信息，动作特征分析包括：表情分析和声音分析。

本发明另一方面提供了一种预测不雅举止轨迹的系统，包括：会议系统终端、客户端以及摄像头。会议系统终端内置有会议系统。客户端与会议系统终端通信连接，且客户端用以供参会人员使用。以及摄像头，与客户端通信连接，且摄像头捕捉参会人员的不雅动作图像。其中，根据余弦向量实时匹配与不雅动作相近的图像，并做比对形成不雅动作图像集。其中，记录不雅动作发生前预设时间内的第一表情、第一声音和第一动作变化特点。其中，当参会人员做出第二不雅动作时，记录第二不雅动作发生前预设时间的第二表情、第二声音和第二动作变化特点。其中，比对第一表情和第二表情、第一声音和第二声音及第一动作变化特点和第二动作变化特点，若相似度大于第一预设值时，则截取生成相似的第三表情、第三声音和第三动作变化特点作为触发预警信息。其中，当参会人员再次有任何动作时，若与第三表情、第三声音或第三动作变化特点的相似度大于第二预设值，则会议系统预警。其中，对参会人员的动作进行关键点特征提取，并与个人不雅举止集中的图像进行对比，若相似度大于等于第三预设值时，则会议系统发出报警提醒。

在本发明的一实施方式中，进行关键点特征提取为通过摄像头实时捕捉参会人员的动作变化，提取人体关键点位置坐标，构建行为关键点坐标信息数据集，从而提取手臂、手掌或下肢等特征点。

与现有技术相比，根据本发明的预测不雅举止轨迹的方法及系统，其根据视频采集到的不同参会人的不雅行为举止形成个人的档案，通过表情识别、语音识别、动作识别来预先判断，符合条件时，系统预警，当第三次出现符合预设条件的行为后根据轨迹与动作识别来判断此人是否要做小动作，通过以上方案不仅能够对不雅行为进行提醒，使不雅持续时间减少；并且因能够能提前预知动作轨迹并做到提醒，及时地纠正不规范的商务礼仪行为，在不雅行为发生前就能阻止行为，减少的不雅行为的次数。以达到很好的会议效果，尤其对于不同使用场景，行业等可以自定义配置处理预案，实用性更强。

附图说明

图1是根据本发明一实施方式的预测不雅举止轨迹的方法的流程示意图；

图2是根据本发明一实施方式的预测不雅举止轨迹的方法的逻辑线框示意图；

图3是根据本发明一实施方式的预测不雅举止轨迹的系统的线框结构示意图；

图4是根据本发明一实施方式的用于执行预测不雅举止轨迹的方法的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1是根据本发明一实施方式的预测不雅举止轨迹的方法的流程示意图。

如图1所示，第一方面，本发明提供了一种预测不雅举止轨迹的方法，包括：S1，摄像头根据参会人员的动作变化和参会人员的参会状态，捕捉参会人员的动作图像。S2，将捕捉的动作图像与不雅动作图像集进行动作图像比对。S3，当动作图像比对相似度大于图像比对预设值时，进行动作特征分析。S4，当动作特征分析值满足动作特征预设值时，则会议系统做出相应提醒。

在本发明的一实施方式中，不雅动作的动作过程图分为多个阶段分别存储，不雅动作图像集包括个人不雅动作图像集和总不雅动作图像集。将捕捉的动作图像与不雅动作图像集进行动作图像比对，包括：先将捕捉的动作图像与个人不雅动作图像集进行图像比对，当动作图像比对相似度小于图像比对预设值时，再将捕捉的动作图像与总不雅动作图像集进行图像比对。

其中，多个阶段可以为三个以上的阶段，至少包括起始动作阶段和确认动作阶段。确认动作阶段表明该动作已经完全能够确认是不雅行为，前面的多个阶段区分是为了提前预防不雅行为发生、以及提醒做准备。

在本发明的一实施方式中，根据参会人员的参会状态、不雅动作发生次数进行调整图像比对预设值。其中，参会人员的参会状态包括：参会人员是否为当前发言人，参会人员为当前发言人时，图像比对预设值上调。其中，不雅动作发生次数增加，图像比对预设值下调。

作为一例，如图像比对预设值为75％至88％的相似度，图像比对预设值上调幅度可以为3％至10％，例如，可以图像比对预设值为85％至98％的相似度。

其中，参会人为发言人时，由于发言人经常会结合手臂动作进行发言，并且发言时不雅行为不易发生，因此跟据参会人状态调整图像比对预设值，参会人为发言人时，图像比对预设值上调，降低错误提醒而影响发言人发挥。

其中，参会人为当前发言人时，只进行图像比对预设值上调操作。不与不雅动作发生次数增加，图像比对预设值下调的操作一同进行，以免干扰当前发言人发挥。

在本发明的一实施方式中，多个阶段为三个阶段，第一阶段为起始动作阶段，第二阶段为过渡动作阶段，第三阶段为确认动作阶段。在捕捉参会人员的动作图像之前，还包括不雅动作图像集生成步骤，其中，将不雅动作视频按预定帧截取出多个图像，按照三个阶段，将多个图像分别存储于第一阶段图像集、第二阶段图像集、第三阶段图像集，以生成个人不雅动作图像集和总不雅动作图像集。

其中，个人不雅动作图像集近包含本人的不雅动作图像，总不雅动作图像集可以包括个人不雅动作图像集在内的全体参会人不雅动作图像以及网络中学习积累的不雅动作图像。

其中，个人不雅动作图像集是为了针对性的快速识别配对本人的不雅动作、以进行提前预测。作为一例，在个人不雅动作图像集进行动作图像比对时的图像比对预设值要小于总不雅动作图像集进行动作图像比对时的图像比对预设值，由此，提高个人不雅动作的预测率，也防止错误识别发生次数。

其中，与不雅动作发生次数进行结合时，作为一例，若不雅动作发生次数增加，图像比对预设值下调，若图像比对预设值为85％至95％的相似度，发生次数大于等于一次小于三次，则预设值下调5％，为80％至90％的相似度。若发生次数大于等于三次，则预设值下调10％，为75％至80％的相似度。该设定更适用于在个人不雅动作图像集进行动作图像比对时使用，准确度更高一些，即经过习惯次数的学习，本人同一动作的识别准确性越高，可以适当调整预设值，而达到提前预测和提醒的目的。当然，该方案可以结合参会人状态，当参会人为当前发言人时，判断错误的情况会增加，因此，当参会人为当前发言人时，可以不调整预设值。

作为一例，不雅动作图像集可以根据以往视频来进行学习，也可以根据截取的图片进行学习。

在本发明的一实施方式中，图像比对预设值包括：第一图像比对预设值、第二图像比对预设值、第三图像比对预设值，在本发明的一实施方式中，将捕捉的动作图像与不雅动作图像集进行动作图像比对，包括：将捕捉的动作图像与个人不雅动作图像集的第一阶段图像集进行动作图像比对，当动作图像比对相似度大于第一图像比对预设值时，将下一个捕捉的动作图像与第一阶段图像集、第二阶段图像集进行动作图像比对。其中，当参会人员为当前发言人时，将捕捉的动作图像和下一个捕捉的动作图像直接与第三阶段图像集进行动作图像比对。

其中，当与参会人状态进行结合判断时，如参会人为发言人时，不进行动作预测提醒，直接将捕捉的动作图像与第三阶段图像集进行动作图像比对，仅在确认为不雅动作时进行提醒，以免影响发言人发挥。

在本发明的一实施方式中，将捕捉的动作图像与不雅动作图像集进行动作图像比对采用余弦向量比对，其中，包括提取人体关键点位置坐标信息，动作特征分析包括：表情分析和声音分析。

其中，动作特征预设值可以根据表情分析或声音分析单独设置，也可以结合设置。

本发提供一优选实施例，一种预测不雅举止轨迹的方法，包括：摄像头3捕捉参会人员的不雅动作。根据余弦向量实时匹配与不雅动作相近的图像，并做比对形成不雅动作图像集。记录不雅动作前5秒的第一表情、第一声音和第一动作变化特点。当参会人员做出第二不雅动作时，记录第二不雅动作前5秒的第二表情、第二声音和第二动作变化特点。比对第一表情和第二表情、第一声音和第二声音及第一动作变化特点和第二动作变化特点，若相似度大于第一预设值时，则截取生成相似的第三表情、第三声音和第三动作变化特点作为触发预警信息。当参会人员再次有任何动作时，若与第三表情、第三声音或第三动作变化特点的相似度大于第二预设值，则会议系统预警。对参会人员的动作进行关键点特征提取，并与不雅动作图像集中的图像进行对比，若相似度大于等于第三预设值时，则会议系统发出报警提醒。

其中，所述记录不雅动作前5秒只是作为一例，根据会议场景、和不雅动作图像集不断学习积累，时间会进行调整，例如3～6秒。以下出现的预设时间均适用。

在本发明的一实施方式中，进行关键点特征提取为通过摄像头3实时捕捉参会人员的动作变化，提取人体关键点位置坐标，构建行为关键点坐标信息数据集，从而提取手臂、手掌或下肢等特征点。

在本发明的一实施方式中，第一预设值为80％，且第二预设值为80％。第三预设值为60％。根据余弦向量实时匹配与不雅动作相近的图像，若匹配值大于80％，则匹配成功。

在本发明的一实施方式中，会议系统发出报警提醒为参会人员的画面中出现红色区域报警提示。

图3是根据本发明一实施方式的预测不雅举止轨迹的系统的线框结构示意图。如图3所示，第二方面，本发明提供了一种预测不雅举止轨迹的系统，包括：会议系统终端1、客户端2以及摄像头3。会议系统终端1内置有会议系统。客户端2与会议系统终端1通信连接，且客户端2用以供参会人员使用。以及摄像头3，与客户端2通信连接，且摄像头3捕捉参会人员的不雅动作图像。其中，根据余弦向量实时匹配与不雅动作相近的图像，并做比对形成不雅动作图像集。其中，记录不雅动作发生前预设时间内(前5秒)的第一表情、第一声音和第一动作变化特点。其中，当参会人员做出第二不雅动作时，记录第二不雅动作发生前预设时间(前5秒)的第二表情、第二声音和第二动作变化特点。其中，比对第一表情和第二表情、第一声音和第二声音及第一动作变化特点和第二动作变化特点，若相似度大于第一预设值时，则截取生成相似的第三表情、第三声音和第三动作变化特点作为触发预警信息。其中，当参会人员再次有任何动作时，若与第三表情、第三声音或第三动作变化特点的相似度大于第二预设值，则会议系统预警。其中，对参会人员的动作进行关键点特征提取，并与个人不雅举止集中的图像进行对比，若相似度大于等于第三预设值时，则会议系统发出报警提醒。

在本发明的一实施方式中，进行关键点特征提取为通过摄像头3实时捕捉参会人员的动作变化，提取人体关键点位置坐标，构建行为关键点坐标信息数据集，从而提取手臂、手掌或下肢等特征点。

第三方面，本发明实施例还提供了一种存储介质，存储介质存储有计算机可执行指令，计算机可执行指令用于执行上述的预测不雅举止轨迹的方法。

其中，存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

图4是根据本发明一实施方式的用于执行预测不雅举止轨迹的方法的电子设备的结构示意图。如图4所示，第四方面，本发明的另一个实施例的一种电子设备。电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。

该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU9，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的预测不雅举止轨迹的方法。

图2是根据本发明一实施方式的预测不雅举止轨迹的方法的逻辑线框示意图。如图2所示，在实际应用中，本发明的预测不雅举止轨迹的方法及系统，基于动作识别、关键点特征识别、余弦向量、表情识别和声音识别相结合。通过摄像头3实时捕捉动作变化，提取人体关键点位置坐标，构建行为关键点坐标信息数据集，提取手臂、手掌、下肢等特征点。根据余弦向量，实时匹配和参会人员动作相近的图像，做比对集成个人的不雅举止集。表情、动作、声音识别，首先记录不雅举止前5秒的面部表情、声音、动作变化，后将两次特征相同或相似的表情、声音、动作作为后续不雅动作的触发条件。动作识别、运动轨迹，与个人不雅举止做比对，通过表情、声音、动作识别，关键点检测其轨迹符合不雅举止时，当连续匹配超过两次时，则将此人会议中的小动作作不雅举止标签，并将此人不雅举止记录在个人不雅动作图像集里。详细来说：

1、摄像头3采集参会人员不雅动作与图像集做比对，通过每个类别所有样本的区域特征的平均值，提取类别特征，计算待分类的图像特征码与每个类别特征码之间的余弦距离，将关键点特征转化为向量，通过匹配转换成空间中的向量相似性，测量向量夹角来进行比较。即根据场景数据，建立图像对应的数据集，构建模型，再应用余弦相似度进行计算，产生相似性范围从-1到1，1到0这之间表示中度的相似性或相异性。这样通过设定阈值区间来确定相似度。根据余弦向量，实时匹配和此动作相近的图像，当匹配值大于80％，即余弦相似度的值不小于0.8时，匹配成功作为后续比对。

将图片分成大小相对的格子，每个格子定义3个维度，维度值取格子内像素均值。

如第一图片、第二分块后构建向量，计算相似度

第一图片A(＇34.62＇,＇57.90＇,＇33.95＇,)

第二图片B(＇170.51＇,＇167.42＇,＇163.53＇,)

计算相似度：sim(B,A):0.802010

综上：余弦值>0.8,即匹配成功，计入不雅动作+1。

2、当连续两次识别到相同的小动作时，即列为此类不雅举止，并通过第一次记录不雅举止前五秒表情、声音、动作特点与第二次比对，当两次识别结果其特点相似度大于80％，则表情、声音、动作吻合，当特征不少于一时，形成不雅举止标签，多重判断，增加后续预测报警的准确性，如第三图片C完成两次不雅小动作识别，第三次触发报警第四图片D。

3、当第三次识别表情、声音不小于一项符合做小动作前特征时，系统预警，且通过关键点特征提取，提取手臂、手掌(或)腿部特征，当手臂坐标向量余弦值无限接近与标签特征且大于60％，即余弦值不小于0.6时，系统判定此参会人即将做小动作，第四图片D做出报警提醒。其中，上述的第一图片A、第二图片B和第三图片C并未提供附图，可以理解为该三张图片都为不雅举止的图片，而第四图片D也未提供附图，可以理解为系统报警后，图片中会出现红色区域进行报警，该红色区域为关键点特征的部位。

实施例1

某公司于某年某月做年度总结大会，其中某部长作为某区域负责人对某年工作进行汇报；当某部长在讲话过程中，做出了摸鼻的动作，此时通过余弦向量技术实时匹配某部长在讲话过程中与系统图像集做匹配，当相似度超过80％时配对成功。系统同时截取此动作前5秒的表情、声音、动作做记录，通过以上技术识别，某部长在做摸鼻动作前表情为微皱眉、动作低头且同时发出清嗓子的声音“嗯”，这时系统将此表情、声音、动作留存记录；当识别到某部长第二次摸鼻子，且表情、声音、动作相似度大于80％时，则留此三个特征作为触发条件。当某部长第三次做此动作时，表情、声音、动作符合，系统预警，后通过图像算法，检测到关键点特征的轨迹正无限接近于标签图像且>＝0.6时，画面出现手臂红色区域报警提示，系统检测到您即将做出此轨迹动作，请注意会议礼仪。

以上技术通过表情识别、声音识别、动作识别增强了预测轨迹的准确性，有效避免了在会议中因为人特有的习惯做出的不雅举止对自身和公司产生不好的印象，从而给个人及公司带来负面影响。所以此技术，可起到规范会议、文明会议礼仪的作用。

实施例2

好的行为习惯的养成无论是对于工作和学习都至关重要，可以事半功倍。

此技术同样适用于云自习室。余弦向量通过捕捉同学的行为动作检测同学的坐姿是否规范，是否有不良的小动作，比如跷二郎腿，抖腿，咬笔，转笔，趴在桌上，摆弄手机，离开座位等等。通过表情与动作识别检测同学是否有左顾右盼，走神的情况，当检测到这些不良习惯，参照会议中的不雅动作做出报警提示，自习结束做出分析并给出自习质量分数，科学智能的判断每个同学的自习质量，有利于提高学习效率，改进自己的不良习惯，做到云上自习也如在学校自习一样有约束性，记律性，规范性。

本发明通过摄像头3捕捉动作，采集视频会议中的不雅举止，通过余弦向量技术比对图像集形成个人的不良小动作集；当小动作出现时记录此动作前5秒的表情、声音、动作变化特点并根据两次比对截取具有代表其特征的表情、动作、声音作为预警信息；当此人做动作，再次识别，识别出他的动作轨迹随时间无限接近于个人不雅动作且余弦值>＝0.6时，系统报警并做出提醒工作。通过以上技术相结合，不但能及时发现问题，还能做到及时预防提醒此类不雅举止的发生，充分利用了视频会议的智能性，使得会上不严肃不规范的这些行为，得到了有效抑制，为会议的顺利推进提供了良好的智能保障作用。

总之，本发明的预测不雅举止轨迹的方法及系统，其根据视频采集到的不同参会人的不雅行为举止形成个人的档案，通过表情识别、语音识别、动作识别来预先判断，符合条件时，系统预警，当第三次出现符合预设条件的行为后根据轨迹与动作识别来判断此人是否要做小动作，通过以上方案不仅能够对不雅行为进行提醒，使不雅持续时间减少；并且因能够能提前预知动作轨迹并做到提醒，及时地纠正不规范的商务礼仪行为，在不雅行为发生前就能阻止行为，减少的不雅行为的次数。以达到很好的会议效果，且对于不同使用场景，行业等可以自定义配置处理预案，实用性更强。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种预测不雅举止轨迹的方法，其特征在于，包括：

摄像头根据参会人员的动作变化和参会人员的参会状态，捕捉所述参会人员的动作图像；

将捕捉的动作图像与不雅动作图像集进行动作图像比对，

当动作图像比对相似度大于图像比对预设值时，进行动作特征分析，

当动作特征分析值满足动作特征预设值时，则会议系统做出相应提醒；

其中，不雅动作的动作过程图分为多个阶段分别存储，

所述不雅动作图像集包括个人不雅动作图像集和总不雅动作图像集，

所述将捕捉的动作图像与不雅动作图像集进行动作图像比对，包括：

先将所述捕捉的动作图像与所述个人不雅动作图像集进行图像比对，当动作图像比对相似度小于图像比对预设值时，

再将所述捕捉的动作图像与所述总不雅动作图像集进行图像比对；

其中，根据参会人员的参会状态、不雅动作发生次数调整所述图像比对预设值，

其中，所述参会人员的参会状态包括：

所述参会人员是否为当前发言人，

所述参会人员为当前发言人时，所述图像比对预设值上调，

其中，所述不雅动作发生次数增加，所述图像比对预设值下调；

其中，所述多个阶段为三个阶段，第一阶段为起始动作阶段，第二阶段为过渡动作阶段，第三阶段为确认动作阶段，

在所述捕捉所述参会人员的动作图像之前，还包括不雅动作图像集生成步骤，

其中，将不雅动作视频按预定帧截取出多个图像，按照所述三个阶段，将所述多个图像分别存储于第一阶段图像集、第二阶段图像集、第三阶段图像集，以生成所述个人不雅动作图像集和总不雅动作图像集；

其中，所述图像比对预设值包括：第一图像比对预设值、第二图像比对预设值、第三图像比对预设值，

所述将捕捉的动作图像与不雅动作图像集进行动作图像比对，包括：

将所述捕捉的动作图像与个人不雅动作图像集的第一阶段图像集进行动作图像比对，当动作图像比对相似度大于第一图像比对预设值时，

将下一个捕捉的动作图像与第一阶段图像集、第二阶段图像集进行动作图像比对，

其中，当所述参会人员为当前发言人时，将所述捕捉的动作图像和下一个捕捉的动作图像直接与第三阶段图像集进行动作图像比对。

2.如权利要求1所述的预测不雅举止轨迹的方法，其特征在于，

将捕捉的动作图像与不雅动作图像集进行动作图像比对采用余弦向量比对，

其中，包括提取人体关键点位置坐标信息，

所述动作特征分析包括：表情分析和声音分析。

3.一种预测不雅举止轨迹的系统，其特征在于，包括：

会议系统终端，内置有会议系统；

客户端，与所述会议系统终端通信连接，且所述客户端用以供参会人员使用；以及

摄像头，与所述客户端通信连接，且所述摄像头捕捉所述参会人员的不雅动作图像；

其中，根据余弦向量实时匹配与所述不雅动作相近的图像，并做比对形成不雅动作图像集；

其中，记录所述不雅动作发生前预设时间内第一表情、第一声音和第一动作变化特点；

其中，当所述参会人员做出第二不雅动作时，记录所述第二不雅动作发生前预设时间内第二表情、第二声音和第二动作变化特点；

其中，比对所述第一表情和所述第二表情、所述第一声音和所述第二声音及所述第一动作变化特点和所述第二动作变化特点，若相似度大于第一预设值时，则截取生成相似的第三表情、第三声音和第三动作变化特点作为触发预警信息；

其中，当所述参会人员再次有任何动作时，若与所述第三表情、所述第三声音或所述第三动作变化特点的相似度大于第二预设值，则会议系统预警；

其中，对所述参会人员的动作进行关键点特征提取，并与个人不雅动作图像集中的图像进行对比，若相似度大于等于第三预设值时，则会议系统发出报警提醒。

4.如权利要求3所述的预测不雅举止轨迹的系统，其特征在于，进行关键点特征提取为通过所述摄像头实时捕捉所述参会人员的动作变化，提取人体关键点位置坐标，构建行为关键点坐标信息数据集，从而提取手臂、手掌或下肢特征点。

5.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-2任意一项所述的预测不雅举止轨迹的方法。

6.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2任意一项所述的预测不雅举止轨迹的方法。

Images