CN112887656A - 一种基于虚拟现实的多人在线会议系统 - Google Patents
一种基于虚拟现实的多人在线会议系统 Download PDFInfo
- Publication number
- CN112887656A CN112887656A CN202110101592.6A CN202110101592A CN112887656A CN 112887656 A CN112887656 A CN 112887656A CN 202110101592 A CN202110101592 A CN 202110101592A CN 112887656 A CN112887656 A CN 112887656A
- Authority
- CN
- China
- Prior art keywords
- data
- lip
- information
- image information
- conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 33
- 238000012163 sequencing technique Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 claims description 9
- 238000001454 recorded image Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于虚拟现实的多人在线会议系统,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;本发明通过分析单元的设置,对影像信息中的人影信息想匹配的影像进行嘴唇距离的识别,从而判定嘴唇的闭合状态,快速判定出会议影像信息中说话人的影像,节省时间,提高工作效率。
Description
技术领域
本发明涉及在线会议技术领域,具体为一种基于虚拟现实的多人在线会议系统。
背景技术
会议是现代商业最常见的工作形式,高管们参加会议更是家常便饭。然而大部分参加会议的人员都认为绝大多数的会议效率低下,往往是精疲力竭费尽周折地赶到会议地,结果却收获了了。
目前,对于在线会议的视频切换而言,是设定一个统一视屏,即将所有人的影像进行平均划分,从而导致显示不清楚,从而导致会议的效果较差,无法提高会议的效果,为此,我们提出一种基于虚拟现实的多人在线会议系统。
发明内容
本发明的目的在于提供一种基于虚拟现实的多人在线会议系统,通过数据采集单元实时采集会议信息,并将会议信息传输至识别单元,数据库内存储有记录信息,识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,通过识别单元对采集单元采集的相关数据进行快速识别,从而增加数据识别的准确性,从而节省识别所消耗的时间,提高工作效率,通过分析单元对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;通过分析单元的设置,对影像信息中的人影信息想匹配的影像进行嘴唇距离的识别,从而判定嘴唇的闭合状态,快速判定出会议影像信息中说话人的影像,节省时间,提高工作效率,通过判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,通过判定单元的设置,对说话人的影像和语音进行快速匹配,从而识别出会议中说话人的对话部门和影像,增加判定的准确性,提高工作效率,通过视频切换单元对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;智能设备接收切换影像信息,并对其进行VR呈像,通过视频切换单元的设置,对分析判定后的会议影像中的主要影像进行切换,节省时间,提高工作效率。
本发明的目的可以通过以下技术方案实现:一种基于虚拟现实的多人在线会议系统,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;
所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;
所述分析单元用于对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;
数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,所述判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,并将其传输至视频切换单元;
所述视频切换单元用于对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:
G1:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;
G2:自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;
所述智能设备用于接收切换影像信息,并对其进行VR呈像。
作为本发明的进一步改进方案:识别操作的具体操作过程为:
步骤一:获取会议信息,将会议信息内的会议影像标定为会议影像信息,并将会议影像信息标记为HYi,i=1,2,3......n1,将会议信息内的通话语音标记为语音数据,并将语音数据标记为YYi,i=1,2,3......n1;
步骤二:获取记录信心,将记录信息内参会人员的影像标定为记录人影信息,并将记录人影信息标记为JRj,j=1,2,3......n2,将记录信息内参会人员的名称标定为记录人名数据,并将人名数据标记为RMj,j=1,2,3......n2,将记录信息内参会人员对应的部门名称标定为部门数据,并将部门数据标记为BMj,i=1,2,3......n2,将记录信息内参会人员的嘴唇影像标定为嘴唇影像信息,并将嘴唇影像信息标记为ZCj,j=1,2,3......n2,所述记录信息内参会人员的嘴唇闭合状态下的距离标定为记录嘴唇数据,并将记录嘴唇数据标记为JZj,j=1,2,3......n2;
步骤三:提取上述步骤一和步骤二中会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据。
作为本发明的进一步改进方案:分析操作的具体操作过程为:
K1:获取会议影像信息以及嘴唇影像信息,并对其进行匹配,具体为:当会议影像信息与嘴唇影像信息的匹配结果相一致时,则将对应的会议影像标定为实时嘴唇影像,生成提取信号,当会议影像信息与嘴唇影像信息的匹配结果不一致时,则判定嘴唇信息不正确,生成终结信号;
K2:获取K1中的提取信号和终结信号,并对其进行识别,当识别到提取信号时,则自动提取实时嘴唇影像,并对其进行影像分析操作,当识别到终结信号时,则不进行影像分析操作,得到实时嘴唇距离和实时嘴宽距离;
K3:获取实时嘴唇距离和实时嘴宽距离,并将其与记录嘴唇数据进行比对,具体为:将实时嘴唇距离和记录嘴唇数据进行差值计算,从而得到嘴唇差值,设定一个嘴唇差值的预设值,并将其与嘴唇差值进行比对,并依据比对结果进行判定,当嘴唇差值大于嘴唇差值的预设值时,且实时嘴唇宽度距离在设定时间内的值不相同时,则判定嘴唇张开,生成说话信号,当嘴唇差值小于等于嘴唇差值的预设值时,则判定嘴唇闭合;
K4:获取说话信号,并依据其获取对应的记录人影信息,并依据记录人影信息提取人名数据,并依据人名数据提取对应的部门数据,以及会议影像信息对应的语音数据;
K5:提取对应的部门数据、语音数据和说话信号。
作为本发明的进一步改进方案:判定操作的具体操作过程为:
H1:获取记录部门名称数据和部门数据,并选取出记录部门名称数据内相关的字符数据,并将该字符数据标记为关键词数据;
H2:获取语音数据,并对其进行语音识别,将识别到的语音转化为文字数据;
H3:提取H2中的文字数据,并将文字数据中的每个字符标定为文字字符数据,获取关键词数据,将每个关键词中的文字标记为一个字符,统计出每个关键词数据对应的个数,并将其标定为个数数据;
H4:依据上述H3中的个数数据和关键词数据对文字字符数据进行匹配,具体为:首先将文字字符数据与个数数据进行匹配,依据个数数据,将文字字符数据进行连续组合,并将组合后的数据标记定为匹配字符组,将匹配字符组与关键词数据进行匹配,当匹配字符组与关键词数据的匹配结果一致时,则判定该语音数据中存在对应关键词,生成关键信号,当匹配字符组与关键词数据的匹配结果不一致时,则判定该语音数据中不存在对应关键词,生成错误信号;
H5:提取关键信号和错误信号,当识别到关键信号时,则自动提取对应的记录部门数据,依据记录部门数据提取对应的记录人名数据,依据记录人名数据提取对应的记录人影信息,并提取会议影像信息,当识别到错误信号时,则不进行会议影像提取;
H6:提取与关键信号相对应的会议影像信息和记录人影信息。
作为本发明的进一步改进方案:影像分析操作的具体操作过程为:
S1:建立一个虚拟直角坐标系,将实时嘴唇影像在虚拟直角坐标系中进行标记,将上嘴唇和下嘴唇的坐标,并将其标定为嘴唇坐标,将嘴唇坐标标记为ZBi,i=1,2,3......n1;
S2:选取嘴唇坐标中X轴相同的若干个坐标点,将该若干个坐标点的Y轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的Y轴进行差值计算,从而得到一个Y轴差值,选取出Y轴差值的绝对值,将其标定为纵向差值;
S3:选取嘴唇坐标中Y轴相同的若干个坐标点,将该若干个坐标点的X轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的X轴进行差值计算,从而得到一个X轴差值,选取出X轴差值的绝对值,将其标定为横向差值;
S4:提取横向差值和纵向差值,并对横向差值和纵向差值从大到小进行排序,从而得到一个横向差值排序和纵向差值排序,选取出横向差值排序和纵向差值排序中最大的横向差值和纵向差值,将最大纵向差值标定为上嘴唇和下嘴唇之间的距离,即实时嘴唇距离,将最大横向差值标定为嘴巴宽度,即实时嘴宽距离。
本发明的有益效果:
(1)通过数据采集单元实时采集会议信息,并将会议信息传输至识别单元,数据库内存储有记录信息,识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,通过识别单元对采集单元采集的相关数据进行快速识别,从而增加数据识别的准确性,从而节省识别所消耗的时间,提高工作效率;
(2)通过分析单元对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;通过分析单元的设置,对影像信息中的人影信息想匹配的影像进行嘴唇距离的识别,从而判定嘴唇的闭合状态,快速判定出会议影像信息中说话人的影像,节省时间,提高工作效率;
(3)通过判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,通过判定单元的设置,对说话人的影像和语音进行快速匹配,从而识别出会议中说话人的对话部门和影像,增加判定的准确性,提高工作效率;
(4)通过视频切换单元对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;智能设备接收切换影像信息,并对其进行VR呈像,通过视频切换单元的设置,对分析判定后的会议影像中的主要影像进行切换,节省时间,提高工作效率。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种基于虚拟现实的多人在线会议系统,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;
所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,识别操作的具体操作过程为:
步骤一:获取会议信息,将会议信息内的会议影像标定为会议影像信息,并将会议影像信息标记为HYi,i=1,2,3......n1,将会议信息内的通话语音标记为语音数据,并将语音数据标记为YYi,i=1,2,3......n1;
步骤二:获取记录信心,将记录信息内参会人员的影像标定为记录人影信息,并将记录人影信息标记为JRj,j=1,2,3......n2,将记录信息内参会人员的名称标定为记录人名数据,并将人名数据标记为RMj,j=1,2,3......n2,将记录信息内参会人员对应的部门名称标定为部门数据,并将部门数据标记为BMj,i=1,2,3......n2,将记录信息内参会人员的嘴唇影像标定为嘴唇影像信息,并将嘴唇影像信息标记为ZCj,j=1,2,3......n2,所述记录信息内参会人员的嘴唇闭合状态下的距离标定为记录嘴唇数据,并将记录嘴唇数据标记为JZj,j=1,2,3......n2;
步骤三:提取上述步骤一和步骤二中会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;
所述分析单元用于对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,分析操作的具体操作过程为:
K1:获取会议影像信息以及嘴唇影像信息,并对其进行匹配,具体为:当会议影像信息与嘴唇影像信息的匹配结果相一致时,则将对应的会议影像标定为实时嘴唇影像,生成提取信号,当会议影像信息与嘴唇影像信息的匹配结果不一致时,则判定嘴唇信息不正确,生成终结信号;
K2:获取K1中的提取信号和终结信号,并对其进行识别,当识别到提取信号时,则自动提取实时嘴唇影像,并对其进行影像分析操作,当识别到终结信号时,则不进行影像分析操作;
K3:影像分析操作的具体操作过程为:
S1:建立一个虚拟直角坐标系,将实时嘴唇影像在虚拟直角坐标系中进行标记,将上嘴唇和下嘴唇的坐标,并将其标定为嘴唇坐标,将嘴唇坐标标记为ZBi,i=1,2,3......n1;
S2:选取嘴唇坐标中X轴相同的若干个坐标点,将该若干个坐标点的Y轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的Y轴进行差值计算,从而得到一个Y轴差值,选取出Y轴差值的绝对值,将其标定为纵向差值;
S3:选取嘴唇坐标中Y轴相同的若干个坐标点,将该若干个坐标点的X轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的X轴进行差值计算,从而得到一个X轴差值,选取出X轴差值的绝对值,将其标定为横向差值;
S4:提取横向差值和纵向差值,并对横向差值和纵向差值从大到小进行排序,从而得到一个横向差值排序和纵向差值排序,选取出横向差值排序和纵向差值排序中最大的横向差值和纵向差值,将最大纵向差值标定为上嘴唇和下嘴唇之间的距离,即实时嘴唇距离,将最大横向差值标定为嘴巴宽度,即实时嘴宽距离;
K4:获取实时嘴唇距离和实时嘴宽距离,并将其与记录嘴唇数据进行比对,具体为:将实时嘴唇距离和记录嘴唇数据进行差值计算,从而得到嘴唇差值,设定一个嘴唇差值的预设值,并将其与嘴唇差值进行比对,并依据比对结果进行判定,当嘴唇差值大于嘴唇差值的预设值时,且实时嘴唇宽度距离在设定时间内的值不相同时,则判定嘴唇张开,生成说话信号,当嘴唇差值小于等于嘴唇差值的预设值时,则判定嘴唇闭合;
K5:获取说话信号,并依据其获取对应的记录人影信息,并依据记录人影信息提取人名数据,并依据人名数据提取对应的部门数据,以及会议影像信息对应的语音数据;
K6:提取对应的部门数据、语音数据和说话信号,并将其传输至判定单元;
数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,所述判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,判定操作的具体操作过程为:
H1:获取记录部门名称数据和部门数据,并选取出记录部门名称数据内相关的字符数据,并将该字符数据标记为关键词数据;
H2:获取语音数据,并对其进行语音识别,将识别到的语音转化为文字数据;
H3:提取H2中的文字数据,并将文字数据中的每个字符标定为文字字符数据,获取关键词数据,将每个关键词中的文字标记为一个字符,统计出每个关键词数据对应的个数,并将其标定为个数数据;
H4:依据上述H3中的个数数据和关键词数据对文字字符数据进行匹配,具体为:首先将文字字符数据与个数数据进行匹配,依据个数数据,将文字字符数据进行连续组合,并将组合后的数据标记定为匹配字符组,将匹配字符组与关键词数据进行匹配,当匹配字符组与关键词数据的匹配结果一致时,则判定该语音数据中存在对应关键词,生成关键信号,当匹配字符组与关键词数据的匹配结果不一致时,则判定该语音数据中不存在对应关键词,生成错误信号;
H5:提取关键信号和错误信号,当识别到关键信号时,则自动提取对应的记录部门数据,依据记录部门数据提取对应的记录人名数据,依据记录人名数据提取对应的记录人影信息,并提取会议影像信息,当识别到错误信号时,则不进行会议影像提取;
H6:提取会议影像信息和记录人影信息,并将其传输至视频切换单元;
所述视频切换单元用于对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:
G1:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;
G2:自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;
所述智能设备用于接收切换影像信息,并对其进行VR呈像。
本发明在工作时,数据采集单元实时采集会议信息,并将会议信息传输至识别单元,数据库内存储有记录信息,识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;分析单元对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,并将其传输至视频切换单元;视频切换单元对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;智能设备接收切换影像信息,并对其进行VR呈像。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (5)
1.一种基于虚拟现实的多人在线会议系统,其特征在于,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;
所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;
所述分析单元用于对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;
数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,所述判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,并将其传输至视频切换单元;
所述视频切换单元用于对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:
G1:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;
G2:自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;
所述智能设备用于接收切换影像信息,并对其进行VR呈像。
2.根据权利要求1所述的一种基于虚拟现实的多人在线会议系统,其特征在于,识别操作的具体操作过程为:
步骤一:获取会议信息,将会议信息内的会议影像标定为会议影像信息,并将会议影像信息标记为HYi,i=1,2,3......n1,将会议信息内的通话语音标记为语音数据,并将语音数据标记为YYi,i=1,2,3......n1;
步骤二:获取记录信心,将记录信息内参会人员的影像标定为记录人影信息,并将记录人影信息标记为JRj,j=1,2,3......n2,将记录信息内参会人员的名称标定为记录人名数据,并将人名数据标记为RMj,j=1,2,3......n2,将记录信息内参会人员对应的部门名称标定为部门数据,并将部门数据标记为BMj,i=1,2,3......n2,将记录信息内参会人员的嘴唇影像标定为嘴唇影像信息,并将嘴唇影像信息标记为ZCj,j=1,2,3......n2,所述记录信息内参会人员的嘴唇闭合状态下的距离标定为记录嘴唇数据,并将记录嘴唇数据标记为JZj,j=1,2,3......n2;
步骤三:提取上述步骤一和步骤二中会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据。
3.根据权利要求1所述的一种基于虚拟现实的多人在线会议系统,其特征在于,分析操作的具体操作过程为:
K1:获取会议影像信息以及嘴唇影像信息,并对其进行匹配,具体为:当会议影像信息与嘴唇影像信息的匹配结果相一致时,则将对应的会议影像标定为实时嘴唇影像,生成提取信号,当会议影像信息与嘴唇影像信息的匹配结果不一致时,则判定嘴唇信息不正确,生成终结信号;
K2:获取K1中的提取信号和终结信号,并对其进行识别,当识别到提取信号时,则自动提取实时嘴唇影像,并对其进行影像分析操作,当识别到终结信号时,则不进行影像分析操作,得到实时嘴唇距离和实时嘴宽距离;
K3:获取实时嘴唇距离和实时嘴宽距离,并将其与记录嘴唇数据进行比对,具体为:将实时嘴唇距离和记录嘴唇数据进行差值计算,从而得到嘴唇差值,设定一个嘴唇差值的预设值,并将其与嘴唇差值进行比对,并依据比对结果进行判定,当嘴唇差值大于嘴唇差值的预设值时,且实时嘴唇宽度距离在设定时间内的值不相同时,则判定嘴唇张开,生成说话信号,当嘴唇差值小于等于嘴唇差值的预设值时,则判定嘴唇闭合;
K4:获取说话信号,并依据其获取对应的记录人影信息,并依据记录人影信息提取人名数据,并依据人名数据提取对应的部门数据,以及会议影像信息对应的语音数据;
K5:提取对应的部门数据、语音数据和说话信号。
4.根据权利要求1所述的一种基于虚拟现实的多人在线会议系统,其特征在于,判定操作的具体操作过程为:
H1:获取记录部门名称数据和部门数据,并选取出记录部门名称数据内相关的字符数据,并将该字符数据标记为关键词数据;
H2:获取语音数据,并对其进行语音识别,将识别到的语音转化为文字数据;
H3:提取H2中的文字数据,并将文字数据中的每个字符标定为文字字符数据,获取关键词数据,将每个关键词中的文字标记为一个字符,统计出每个关键词数据对应的个数,并将其标定为个数数据;
H4:依据上述H3中的个数数据和关键词数据对文字字符数据进行匹配,具体为:首先将文字字符数据与个数数据进行匹配,依据个数数据,将文字字符数据进行连续组合,并将组合后的数据标记定为匹配字符组,将匹配字符组与关键词数据进行匹配,当匹配字符组与关键词数据的匹配结果一致时,则判定该语音数据中存在对应关键词,生成关键信号,当匹配字符组与关键词数据的匹配结果不一致时,则判定该语音数据中不存在对应关键词,生成错误信号;
H5:提取关键信号和错误信号,当识别到关键信号时,则自动提取对应的记录部门数据,依据记录部门数据提取对应的记录人名数据,依据记录人名数据提取对应的记录人影信息,并提取会议影像信息,当识别到错误信号时,则不进行会议影像提取;
H6:提取与关键信号相对应的会议影像信息和记录人影信息。
5.根据权利要求3所述的一种基于虚拟现实的多人在线会议系统,其特征在于,影像分析操作的具体操作过程为:
S1:建立一个虚拟直角坐标系,将实时嘴唇影像在虚拟直角坐标系中进行标记,将上嘴唇和下嘴唇的坐标,并将其标定为嘴唇坐标,将嘴唇坐标标记为ZBi,i=1,2,3......n1;
S2:选取嘴唇坐标中X轴相同的若干个坐标点,将该若干个坐标点的Y轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的Y轴进行差值计算,从而得到一个Y轴差值,选取出Y轴差值的绝对值,将其标定为纵向差值;
S3:选取嘴唇坐标中Y轴相同的若干个坐标点,将该若干个坐标点的X轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的X轴进行差值计算,从而得到一个X轴差值,选取出X轴差值的绝对值,将其标定为横向差值;
S4:提取横向差值和纵向差值,并对横向差值和纵向差值从大到小进行排序,从而得到一个横向差值排序和纵向差值排序,选取出横向差值排序和纵向差值排序中最大的横向差值和纵向差值,将最大纵向差值标定为上嘴唇和下嘴唇之间的距离,即实时嘴唇距离,将最大横向差值标定为嘴巴宽度,即实时嘴宽距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101592.6A CN112887656A (zh) | 2021-01-26 | 2021-01-26 | 一种基于虚拟现实的多人在线会议系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101592.6A CN112887656A (zh) | 2021-01-26 | 2021-01-26 | 一种基于虚拟现实的多人在线会议系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112887656A true CN112887656A (zh) | 2021-06-01 |
Family
ID=76051837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110101592.6A Pending CN112887656A (zh) | 2021-01-26 | 2021-01-26 | 一种基于虚拟现实的多人在线会议系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112887656A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115589462A (zh) * | 2022-12-08 | 2023-01-10 | 吉视传媒股份有限公司 | 基于网络视频会议系统和电话会议系统的融合方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189273A (ja) * | 2001-12-20 | 2003-07-04 | Sharp Corp | 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム |
US20120218373A1 (en) * | 2011-02-28 | 2012-08-30 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
WO2018113650A1 (zh) * | 2016-12-21 | 2018-06-28 | 深圳市掌网科技股份有限公司 | 一种虚拟现实语言交互系统与方法 |
CN109819195A (zh) * | 2017-11-22 | 2019-05-28 | 重庆晋才富熙科技有限公司 | 智慧会议系统 |
CN110996036A (zh) * | 2019-11-04 | 2020-04-10 | 上海科技网络通信有限公司 | 一种基于ai智能技术的远程网上会议管理系统 |
CN111243590A (zh) * | 2020-01-17 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 一种会议记录的生成方法及设备 |
CN111860523A (zh) * | 2020-07-28 | 2020-10-30 | 上海兑观信息科技技术有限公司 | 一种声像档案的智能著录系统与方法 |
CN111866421A (zh) * | 2019-04-30 | 2020-10-30 | 陈筱涵 | 会议记录系统与会议记录方法 |
CN111948954A (zh) * | 2020-09-08 | 2020-11-17 | 兰州工业学院 | 一种基于互联网控制的智能家居系统 |
CN112052800A (zh) * | 2020-09-08 | 2020-12-08 | 河南城建学院 | 基于物联网的外语教学用智能教学辅助系统 |
-
2021
- 2021-01-26 CN CN202110101592.6A patent/CN112887656A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189273A (ja) * | 2001-12-20 | 2003-07-04 | Sharp Corp | 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム |
US20120218373A1 (en) * | 2011-02-28 | 2012-08-30 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
WO2018113650A1 (zh) * | 2016-12-21 | 2018-06-28 | 深圳市掌网科技股份有限公司 | 一种虚拟现实语言交互系统与方法 |
CN109819195A (zh) * | 2017-11-22 | 2019-05-28 | 重庆晋才富熙科技有限公司 | 智慧会议系统 |
CN111866421A (zh) * | 2019-04-30 | 2020-10-30 | 陈筱涵 | 会议记录系统与会议记录方法 |
CN110996036A (zh) * | 2019-11-04 | 2020-04-10 | 上海科技网络通信有限公司 | 一种基于ai智能技术的远程网上会议管理系统 |
CN111243590A (zh) * | 2020-01-17 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 一种会议记录的生成方法及设备 |
CN111860523A (zh) * | 2020-07-28 | 2020-10-30 | 上海兑观信息科技技术有限公司 | 一种声像档案的智能著录系统与方法 |
CN111948954A (zh) * | 2020-09-08 | 2020-11-17 | 兰州工业学院 | 一种基于互联网控制的智能家居系统 |
CN112052800A (zh) * | 2020-09-08 | 2020-12-08 | 河南城建学院 | 基于物联网的外语教学用智能教学辅助系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115589462A (zh) * | 2022-12-08 | 2023-01-10 | 吉视传媒股份有限公司 | 基于网络视频会议系统和电话会议系统的融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657609B (zh) | 人脸识别方法及系统 | |
CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
CN110119673B (zh) | 无感人脸考勤方法、装置、设备及存储介质 | |
CN104808794B (zh) | 一种唇语输入方法和系统 | |
CN108010037B (zh) | 图像处理方法、装置及存储介质 | |
WO2019000777A1 (zh) | 基于互联网的人脸美化系统 | |
CN110309799B (zh) | 基于摄像头的说话判断方法 | |
CN108121957A (zh) | 美颜素材的推送方法及装置 | |
WO2017072534A2 (en) | Communication system and method | |
CN104156729B (zh) | 一种教室人数统计方法 | |
CN108062529A (zh) | 一种化学结构式的智能识别方法 | |
CN112307886A (zh) | 行人重识别方法和装置 | |
CN109286772A (zh) | 音效调整方法、装置、电子设备以及存储介质 | |
CN114333853A (zh) | 一种音频数据的处理方法、设备和系统 | |
CN110163055A (zh) | 手势识别方法、装置和计算机设备 | |
CN112887656A (zh) | 一种基于虚拟现实的多人在线会议系统 | |
CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
CN109345427B (zh) | 一种结合人脸识别和行人识别技术的教室视频点到方法 | |
CN112183417B (zh) | 一种置业顾问服务能力评价系统及方法 | |
CN117939238A (zh) | 角色识别方法、系统及计算设备、计算机可读存储介质 | |
CN108491759A (zh) | 一种基于深度学习的工序检测装置及其工序检测方法 | |
US8879805B2 (en) | Automated image identification method | |
CN110321782B (zh) | 一种检测人体特征信号的系统 | |
CN111221987A (zh) | 混合音频标记方法和装置 | |
CN113221606B (zh) | 一种基于ims视频会议登录的人脸识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210812 Address after: 518109 502, Jinluan times building, Heping East Road, Sanlian community, Longhua street, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Kobin Technology Co.,Ltd. Address before: 510000 E505, Yuzhu Zhigu e-Park Creative Park, 32 kengtian street, Maogang village, Huangpu District, Guangzhou City, Guangdong Province Applicant before: Huang Xushi |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |
|
RJ01 | Rejection of invention patent application after publication |