CN113485567A - 一种运动轨迹的同步方法 - Google Patents
一种运动轨迹的同步方法 Download PDFInfo
- Publication number
- CN113485567A CN113485567A CN202110773082.3A CN202110773082A CN113485567A CN 113485567 A CN113485567 A CN 113485567A CN 202110773082 A CN202110773082 A CN 202110773082A CN 113485567 A CN113485567 A CN 113485567A
- Authority
- CN
- China
- Prior art keywords
- information
- mouse
- motion
- movement
- synchronization method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种运动轨迹同步方法，包括如下步骤：S1获取会议主讲人鼠标移动的第一画面信息；S2、根据所提取特征建立机器学习模型，形成预估运动轨迹信息，将预估运动轨迹与实际运动轨迹信息的图形进行比较，形成最终运动轨迹信息；S3、识别所述形成的最终运动轨迹，记录所述识别的文字信息和/或图形信息；S4、判断鼠标在移动过程中是否中断，如果中断，取消形成运动估计并返回S1重新获取鼠标移动的第一画面信息。本发明提高了视频会议时主讲人会议纪要识别的精确度，使得与会人员能够准确理解所讲述的内容，提高用户体验。
Description
技术领域
本发明涉及视频会议技术领域，具体是指一种运动轨迹的同步方法。
背景技术
视频会议（VIDeoConference）也可以称为电视会议，是利用视频技术和设备通过传输信道在两个或多个地点的用户终端之间举行会议，实时传送声音、图像的通信方式。参加视频会议的主讲人，可以通过电视发表意见，同时观察对方的形象、动作、表情等，并能出示实物、图纸、文件等实拍的电视图像或者显示在黑板、白板上写的字和画的图，使在不同地点参加会议的人感到如同和对方进行“面对面”的交谈，在效果上可以代替现场举行的会议。
由于技术发展，在展开一些技术讲解、培训等视频会议时，主讲人无法通过现场无法通过现场解说清楚所讲述内容，需要引入电子白板等技术设备完成技术细节或方案的展开，而且后续由于没有会议中过程文件的生成，使得与会人员不能很好的理解会议细节内容。
发明内容
本发明要解决的技术问题，克服视频会议中需要引入电子白板等技术设备完成技术细节或方案的展开，而且后续由于没有会议中过程文件的生成，使得与会人员不能很好的理解会议细节内容等现有技术缺点，提供一种运动轨迹同步方法，通过获取发言人或主讲人的手部运动轨迹，呈现运动轨迹，生成并识别文字或图画，并记录在会议ppt或word的会议记录中。以使得参会人员能够准确的理解会议内容，提高用户体验。
为解决上述技术问题，本发明提供的技术方案为：一种运动轨迹同步方法，包括如下步骤：
S1、确定主讲人ID信息及所在显示设备中展示的画面信息，获取鼠标移动的第一画面信息；
S2、判断鼠标的移动信息连续，则形成运动轨迹信息，从第一画面信息中开始提取鼠标移动的运动轨迹特征信息建立机器学习模型，形成预估的运动轨迹信息，将预估运动轨迹信息与实际运动轨迹信息的图形进行比较，差值小于0.3时，取平均值为最终运动轨迹特征值，形成最终运动轨迹信息；
S3、识别所述形成的最终运动轨迹，判断是否为文字信息，如果是则记录文字信息，如果否则记录为图形信息；
S4、鼠标在移动过程中，如果中断或停顿超过1s则确定取消获取鼠标运动信息，并返回S1重新获取鼠标移动的第一画面信息。
进一步地，所述步骤S3中将所述记录的文字信息和/或图形信息，根据会议主讲人ID信息及当时所讲述的PPT或word展开页中同步记录。
进一步地，所述根据会议主讲人ID信息及当时所讲述的PPT或word展开页中同步记录，还包括根据鼠标光标所停留和/或所选择的PPT或word展开页中具体位置进行插入标记的所述识别的文字信息及图形信息。
进一步地，所述步骤S2中，在获取鼠标的移动信息连续，则形成运动轨迹信息时，当获取的运动轨迹信息没有停顿或停顿小于1秒时，则重新获取运动轨迹。
进一步地，所述重新获取运动轨迹时，之前获取的运动轨迹，进行保留，继续获取鼠标的运动轨迹信息，但当获取的鼠标运动为连续滑动或提起前移时则执行擦除动作，删除所保留的运动轨迹信息。
进一步地，所述步骤S2中，所述同步记录具体为：
未获取到新的鼠标点击或画面翻页指令时，保留全部所述识别的文字信息及图形信息在一个内容页。
进一步地，所述机器学习模型包括人工神经网络，且不限于全连接的神经网络和/或卷积神经网络。
进一步地，视频会议系统检测一段时间内无人发言时，或者发言时间均过短，或者发言时获取的声音位置过多时，调整摄像头为全景模式，以确定获取全部参会人员的参会场景。
进一步地，所述鼠标移动的画面信息为平面图像信息，所形成的运动轨迹也为平面位移图像信息。
进一步地，所述提取运动轨迹特征信息建立机器学习模型，用于形成预估的运动轨迹信息时，具体特征提取根据固定的间隔时间点进行。
本发明具有如下优点：本发明通过视频会议系统内存储的与会人员的信息，同步记录主讲人鼠标移动的运动轨迹信息，结合机器学习模型所建立的预估运动轨迹信息，进行比较，差值小于一定百分比时，取所提取的特征的运动轨迹平均值生成最终的运动轨迹，并识别同步该运动轨迹所形成的文字或图形。以提高视频会议时主讲人会议纪要识别的精确度，使得与会人员能够准确理解所讲述的内容。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种运动轨迹同步方法的示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合实施例对本发明做进一步的详细说明。
本发明在具体实施时，包括如下步骤：
S1、确定主讲人ID信息及所在显示设备中展示的画面信息，获取鼠标移动的第一画面信息；
S2、判断鼠标的移动信息连续，则形成运动轨迹信息，从第一画面信息中开始提取鼠标移动的运动轨迹特征信息建立机器学习模型，形成预估的运动轨迹信息，将预估运动轨迹信息与实际运动轨迹信息的图形进行比较，差值小于0.3时，取平均值为最终运动轨迹特征值，形成最终运动轨迹信息；
S3、识别所述形成的最终运动轨迹，判断是否为文字信息，如果是则记录文字信息，如果否则记录为图形信息；
S4、鼠标在移动过程中，如果中断或停顿超过1s则确定取消获取鼠标运动信息，并返回S1重新获取鼠标移动的第一画面信息。
优选的，步骤S3中将所述记录的文字信息和/或图形信息，根据会议主讲人ID信息及当时所讲述的PPT或word展开页中同步记录。
优选的，根据会议主讲人ID信息及当时所讲述的PPT或word展开页中同步记录，还包括根据鼠标光标所停留和/或所选择的PPT或word展开页中具体位置进行插入标记的所述识别的文字信息及图形信息。
优选的，步骤S2中，在获取鼠标的移动信息连续，则形成运动轨迹信息时，当获取的运动轨迹信息没有停顿或停顿小于1秒时，则重新获取运动轨迹。
优选的，重新获取运动轨迹时，之前获取的运动轨迹，进行保留，继续获取鼠标的运动轨迹信息，但当获取的鼠标运动为连续滑动或提起前移时则执行擦除动作，删除所保留的运动轨迹信息。
优选的，步骤S2中，同步记录具体为：
未获取到新的鼠标点击或画面翻页指令时，保留全部所述识别的文字信息及图形信息在一个内容页。
优选的，机器学习模型包括人工神经网络，且不限于全连接的神经网络和/或卷积神经网络。
优选的，视频会议系统检测一段时间内无人发言时，或者发言时间均过短，或者发言时获取的声音位置过多时，调整摄像头为全景模式，以确定获取全部参会人员的参会场景。
优选的，鼠标移动的画面信息为平面图像信息，所形成的运动轨迹也为平面位移图像信息。
优选的，提取运动轨迹特征信息建立机器学习模型，用于形成预估的运动轨迹信息时，具体特征提取根据固定的间隔时间点进行。
本发明通过视频会议系统内存储的与会人员的信息，同步记录主讲人员鼠标移动的运动轨迹信息，结合机器学习模型所建立的预估运动轨迹信息，进行比较，差值小于一定百分比时，取所提取的特征的运动轨迹平均值生成最终的运动轨迹，并识别同步该运动轨迹所形成的文字或图形，提高了视频会议时主讲人会议纪要识别的精确度。将所识别的文字和/或图形信息根据当前所展开的ppt或word页面光标所在位置进行插入或标记的方法，使得与会人员能够准确理解所讲述的内容，便于会后查阅会议标记或会议过程中形成的文件。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种运动轨迹同步方法，其特征在于，包括如下步骤：
S1、确定主讲人ID信息及所在显示设备中展示的画面信息，获取鼠标移动的第一画面信息；
S2、判断鼠标的移动信息连续，则形成运动轨迹信息，从第一画面信息中开始提取鼠标移动的运动轨迹特征信息建立机器学习模型，形成预估的运动轨迹信息，将预估运动轨迹信息与实际运动轨迹信息的图形进行比较，差值小于0.3时，取平均值为最终运动轨迹特征值，形成最终运动轨迹信息；
S3、识别所述形成的最终运动轨迹，判断是否为文字信息，如果是则记录文字信息，如果否则记录为图形信息；
S4、鼠标在移动过程中，如果中断或停顿超过1s则确定取消获取鼠标运动信息，并返回S1重新获取鼠标移动的第一画面信息。
2.根据权利要求1所述的一种运动轨迹同步方法，其特征在于：所述步骤S3中将所述记录的文字信息和/或图形信息，根据会议主讲人ID信息及当时所讲述的PPT或word展开页中同步记录。
3.根据权利要求2中所述的一种运动轨迹同步方法，其特征在于：所述根据会议主讲人ID信息及当时所讲述的PPT或word展开页中同步记录，还包括根据鼠标光标所停留和/或所选择的PPT或word展开页中具体位置进行插入标记的所述识别的文字信息及图形信息。
4.根据权利要求1所述的一种运动轨迹同步方法，其特征在于：所述步骤S2中，在获取鼠标的移动信息连续，则形成运动轨迹信息时，当获取的运动轨迹信息没有停顿或停顿小于1秒时，则重新获取运动轨迹。
5.根据权利要求4所述的一种运动轨迹同步方法，其特征在于：所述重新获取运动轨迹时，之前获取的运动轨迹，进行保留，继续获取鼠标的运动轨迹信息，但当获取的鼠标运动为连续滑动或提起前移时则执行擦除动作，删除所保留的运动轨迹信息。
6.根据权利要2所述的一种运动轨迹同步方法，其特征在于：所述步骤S2中，所述同步记录具体为：
未获取到新的鼠标点击或画面翻页指令时，保留全部所述识别的文字信息及图形信息在一个内容页。
7.根据权利要求1所述的一种运动轨迹同步方法，其中：所述机器学习模型包括人工神经网络，且不限于全连接的神经网络和/或卷积神经网络。
8.根据权利要求1所述的一种运动轨迹同步方法，其特征在于：视频会议系统检测一段时间内无人发言时，或者发言时间均过短，或者发言时获取的声音位置过多时，调整摄像头为全景模式，以确定获取全部参会人员的参会场景。
9.根据权利要求1所述的一种运动轨迹同步方法，其特征在于：所述鼠标移动的画面信息为平面图像信息，所形成的运动轨迹也为平面位移图像信息。
10.根据权利要求1所述的一种运动轨迹同步方法，其特征在于：所述提取运动轨迹特征信息建立机器学习模型，用于形成预估的运动轨迹信息时，具体特征提取根据固定的间隔时间点进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773082.3A CN113485567A (zh) | 2021-07-09 | 2021-07-09 | 一种运动轨迹的同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773082.3A CN113485567A (zh) | 2021-07-09 | 2021-07-09 | 一种运动轨迹的同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113485567A true CN113485567A (zh) | 2021-10-08 |
Family
ID=77937531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110773082.3A Pending CN113485567A (zh) | 2021-07-09 | 2021-07-09 | 一种运动轨迹的同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113485567A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220191027A1 (en) * | 2020-12-16 | 2022-06-16 | Kyndryl, Inc. | Mutual multi-factor authentication technology |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008059230A (ja) * | 2006-08-31 | 2008-03-13 | Eiji Shiraishi | 超軽量のボールペン付手書き文字軌跡記録装置。 |
| CN103561106A (zh) * | 2013-11-12 | 2014-02-05 | 林鑫 | 远程教学及会议系统和方法 |
| CN107273032A (zh) * | 2017-06-28 | 2017-10-20 | 广州视源电子科技股份有限公司 | 信息排版方法、装置、设备及计算机存储介质 |
| CN107733666A (zh) * | 2017-10-31 | 2018-02-23 | 珠海格力电器股份有限公司 | 一种会议实现方法、装置及电子设备 |
| CN111010529A (zh) * | 2019-12-25 | 2020-04-14 | 杭州席媒科技有限公司 | 可多人实时批注的视频会议方法及系统 |
-
2021
- 2021-07-09 CN CN202110773082.3A patent/CN113485567A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008059230A (ja) * | 2006-08-31 | 2008-03-13 | Eiji Shiraishi | 超軽量のボールペン付手書き文字軌跡記録装置。 |
| CN103561106A (zh) * | 2013-11-12 | 2014-02-05 | 林鑫 | 远程教学及会议系统和方法 |
| CN107273032A (zh) * | 2017-06-28 | 2017-10-20 | 广州视源电子科技股份有限公司 | 信息排版方法、装置、设备及计算机存储介质 |
| CN107733666A (zh) * | 2017-10-31 | 2018-02-23 | 珠海格力电器股份有限公司 | 一种会议实现方法、装置及电子设备 |
| CN111010529A (zh) * | 2019-12-25 | 2020-04-14 | 杭州席媒科技有限公司 | 可多人实时批注的视频会议方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220191027A1 (en) * | 2020-12-16 | 2022-06-16 | Kyndryl, Inc. | Mutual multi-factor authentication technology |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022001593A1 (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
| CN100425071C (zh) | 会议信息处理装置和方法 | |
| KR102148392B1 (ko) | 동영상 메타데이터 태깅 시스템 및 그 방법 | |
| US7458013B2 (en) | Concurrent voice to text and sketch processing with synchronized replay | |
| US20100085363A1 (en) | Photo Realistic Talking Head Creation, Content Creation, and Distribution System and Method | |
| CN109324811B (zh) | 一种用于更新教学录播数据的装置 | |
| JP2001245269A (ja) | コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 | |
| CN111242962A (zh) | 远程培训视频的生成方法、装置、设备及存储介质 | |
| CN110868554B (zh) | 直播中实时换脸的方法、装置、设备及存储介质 | |
| JP2006302047A (ja) | 会議支援プログラム、会議支援装置、および会議支援方法 | |
| CN112866619B (zh) | 一种远程会议控制方法、装置、电子设备及存储介质 | |
| CN103561277A (zh) | 一种用于网络教学的传输方法和系统 | |
| CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
| CN113485567A (zh) | 一种运动轨迹的同步方法 | |
| CN113395569B (zh) | 视频生成方法及装置 | |
| CN112989112B (zh) | 在线课堂内容采集方法及装置 | |
| CN112055257B (zh) | 视频课堂的互动方法、装置、设备及存储介质 | |
| KR20030025771A (ko) | 인터넷상의 교육용 컨텐츠 제공 시스템 및 그 방법 | |
| Faruquie et al. | Audio Driven Facial Animation For Audio-Visual Reality. | |
| KR101845390B1 (ko) | 전자펜을 이용하여 획득한 학습 동영상 파일에 기반한 온라인 학습 코칭 장치 및 방법 | |
| De Silva et al. | Emotion enhanced face to face meetings using the concept of virtual space teleconferencing | |
| CN110383830B (zh) | 记录装置、记录方法、再现装置、再现方法以及记录/再现装置 | |
| CN114494951B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| US11749311B1 (en) | Actor-replacement system for videos | |
| WO2023231712A1 (zh) | 数字人驱动方法、数字人驱动设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |