CN112887656A - 一种基于虚拟现实的多人在线会议系统 - Google Patents

一种基于虚拟现实的多人在线会议系统 Download PDF

Info

Publication number
CN112887656A
CN112887656A CN202110101592.6A CN202110101592A CN112887656A CN 112887656 A CN112887656 A CN 112887656A CN 202110101592 A CN202110101592 A CN 202110101592A CN 112887656 A CN112887656 A CN 112887656A
Authority
CN
China
Prior art keywords
data
lip
information
image information
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110101592.6A
Other languages
English (en)
Inventor
黄旭诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kobin Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110101592.6A priority Critical patent/CN112887656A/zh
Publication of CN112887656A publication Critical patent/CN112887656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于虚拟现实的多人在线会议系统,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;本发明通过分析单元的设置,对影像信息中的人影信息想匹配的影像进行嘴唇距离的识别,从而判定嘴唇的闭合状态,快速判定出会议影像信息中说话人的影像,节省时间,提高工作效率。

Description

一种基于虚拟现实的多人在线会议系统
技术领域
本发明涉及在线会议技术领域,具体为一种基于虚拟现实的多人在线会议系统。
背景技术
会议是现代商业最常见的工作形式,高管们参加会议更是家常便饭。然而大部分参加会议的人员都认为绝大多数的会议效率低下,往往是精疲力竭费尽周折地赶到会议地,结果却收获了了。
目前,对于在线会议的视频切换而言,是设定一个统一视屏,即将所有人的影像进行平均划分,从而导致显示不清楚,从而导致会议的效果较差,无法提高会议的效果,为此,我们提出一种基于虚拟现实的多人在线会议系统。
发明内容
本发明的目的在于提供一种基于虚拟现实的多人在线会议系统,通过数据采集单元实时采集会议信息,并将会议信息传输至识别单元,数据库内存储有记录信息,识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,通过识别单元对采集单元采集的相关数据进行快速识别,从而增加数据识别的准确性,从而节省识别所消耗的时间,提高工作效率,通过分析单元对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;通过分析单元的设置,对影像信息中的人影信息想匹配的影像进行嘴唇距离的识别,从而判定嘴唇的闭合状态,快速判定出会议影像信息中说话人的影像,节省时间,提高工作效率,通过判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,通过判定单元的设置,对说话人的影像和语音进行快速匹配,从而识别出会议中说话人的对话部门和影像,增加判定的准确性,提高工作效率,通过视频切换单元对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;智能设备接收切换影像信息,并对其进行VR呈像,通过视频切换单元的设置,对分析判定后的会议影像中的主要影像进行切换,节省时间,提高工作效率。
本发明的目的可以通过以下技术方案实现:一种基于虚拟现实的多人在线会议系统,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;
所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;
所述分析单元用于对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;
数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,所述判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,并将其传输至视频切换单元;
所述视频切换单元用于对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:
G1:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;
G2:自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;
所述智能设备用于接收切换影像信息,并对其进行VR呈像。
作为本发明的进一步改进方案:识别操作的具体操作过程为:
步骤一:获取会议信息,将会议信息内的会议影像标定为会议影像信息,并将会议影像信息标记为HYi,i=1,2,3......n1,将会议信息内的通话语音标记为语音数据,并将语音数据标记为YYi,i=1,2,3......n1;
步骤二:获取记录信心,将记录信息内参会人员的影像标定为记录人影信息,并将记录人影信息标记为JRj,j=1,2,3......n2,将记录信息内参会人员的名称标定为记录人名数据,并将人名数据标记为RMj,j=1,2,3......n2,将记录信息内参会人员对应的部门名称标定为部门数据,并将部门数据标记为BMj,i=1,2,3......n2,将记录信息内参会人员的嘴唇影像标定为嘴唇影像信息,并将嘴唇影像信息标记为ZCj,j=1,2,3......n2,所述记录信息内参会人员的嘴唇闭合状态下的距离标定为记录嘴唇数据,并将记录嘴唇数据标记为JZj,j=1,2,3......n2;
步骤三:提取上述步骤一和步骤二中会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据。
作为本发明的进一步改进方案:分析操作的具体操作过程为:
K1:获取会议影像信息以及嘴唇影像信息,并对其进行匹配,具体为:当会议影像信息与嘴唇影像信息的匹配结果相一致时,则将对应的会议影像标定为实时嘴唇影像,生成提取信号,当会议影像信息与嘴唇影像信息的匹配结果不一致时,则判定嘴唇信息不正确,生成终结信号;
K2:获取K1中的提取信号和终结信号,并对其进行识别,当识别到提取信号时,则自动提取实时嘴唇影像,并对其进行影像分析操作,当识别到终结信号时,则不进行影像分析操作,得到实时嘴唇距离和实时嘴宽距离;
K3:获取实时嘴唇距离和实时嘴宽距离,并将其与记录嘴唇数据进行比对,具体为:将实时嘴唇距离和记录嘴唇数据进行差值计算,从而得到嘴唇差值,设定一个嘴唇差值的预设值,并将其与嘴唇差值进行比对,并依据比对结果进行判定,当嘴唇差值大于嘴唇差值的预设值时,且实时嘴唇宽度距离在设定时间内的值不相同时,则判定嘴唇张开,生成说话信号,当嘴唇差值小于等于嘴唇差值的预设值时,则判定嘴唇闭合;
K4:获取说话信号,并依据其获取对应的记录人影信息,并依据记录人影信息提取人名数据,并依据人名数据提取对应的部门数据,以及会议影像信息对应的语音数据;
K5:提取对应的部门数据、语音数据和说话信号。
作为本发明的进一步改进方案:判定操作的具体操作过程为:
H1:获取记录部门名称数据和部门数据,并选取出记录部门名称数据内相关的字符数据,并将该字符数据标记为关键词数据;
H2:获取语音数据,并对其进行语音识别,将识别到的语音转化为文字数据;
H3:提取H2中的文字数据,并将文字数据中的每个字符标定为文字字符数据,获取关键词数据,将每个关键词中的文字标记为一个字符,统计出每个关键词数据对应的个数,并将其标定为个数数据;
H4:依据上述H3中的个数数据和关键词数据对文字字符数据进行匹配,具体为:首先将文字字符数据与个数数据进行匹配,依据个数数据,将文字字符数据进行连续组合,并将组合后的数据标记定为匹配字符组,将匹配字符组与关键词数据进行匹配,当匹配字符组与关键词数据的匹配结果一致时,则判定该语音数据中存在对应关键词,生成关键信号,当匹配字符组与关键词数据的匹配结果不一致时,则判定该语音数据中不存在对应关键词,生成错误信号;
H5:提取关键信号和错误信号,当识别到关键信号时,则自动提取对应的记录部门数据,依据记录部门数据提取对应的记录人名数据,依据记录人名数据提取对应的记录人影信息,并提取会议影像信息,当识别到错误信号时,则不进行会议影像提取;
H6:提取与关键信号相对应的会议影像信息和记录人影信息。
作为本发明的进一步改进方案:影像分析操作的具体操作过程为:
S1:建立一个虚拟直角坐标系,将实时嘴唇影像在虚拟直角坐标系中进行标记,将上嘴唇和下嘴唇的坐标,并将其标定为嘴唇坐标,将嘴唇坐标标记为ZBi,i=1,2,3......n1;
S2:选取嘴唇坐标中X轴相同的若干个坐标点,将该若干个坐标点的Y轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的Y轴进行差值计算,从而得到一个Y轴差值,选取出Y轴差值的绝对值,将其标定为纵向差值;
S3:选取嘴唇坐标中Y轴相同的若干个坐标点,将该若干个坐标点的X轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的X轴进行差值计算,从而得到一个X轴差值,选取出X轴差值的绝对值,将其标定为横向差值;
S4:提取横向差值和纵向差值,并对横向差值和纵向差值从大到小进行排序,从而得到一个横向差值排序和纵向差值排序,选取出横向差值排序和纵向差值排序中最大的横向差值和纵向差值,将最大纵向差值标定为上嘴唇和下嘴唇之间的距离,即实时嘴唇距离,将最大横向差值标定为嘴巴宽度,即实时嘴宽距离。
本发明的有益效果:
(1)通过数据采集单元实时采集会议信息,并将会议信息传输至识别单元,数据库内存储有记录信息,识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,通过识别单元对采集单元采集的相关数据进行快速识别,从而增加数据识别的准确性,从而节省识别所消耗的时间,提高工作效率;
(2)通过分析单元对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;通过分析单元的设置,对影像信息中的人影信息想匹配的影像进行嘴唇距离的识别,从而判定嘴唇的闭合状态,快速判定出会议影像信息中说话人的影像,节省时间,提高工作效率;
(3)通过判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,通过判定单元的设置,对说话人的影像和语音进行快速匹配,从而识别出会议中说话人的对话部门和影像,增加判定的准确性,提高工作效率;
(4)通过视频切换单元对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;智能设备接收切换影像信息,并对其进行VR呈像,通过视频切换单元的设置,对分析判定后的会议影像中的主要影像进行切换,节省时间,提高工作效率。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种基于虚拟现实的多人在线会议系统,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;
所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,识别操作的具体操作过程为:
步骤一:获取会议信息,将会议信息内的会议影像标定为会议影像信息,并将会议影像信息标记为HYi,i=1,2,3......n1,将会议信息内的通话语音标记为语音数据,并将语音数据标记为YYi,i=1,2,3......n1;
步骤二:获取记录信心,将记录信息内参会人员的影像标定为记录人影信息,并将记录人影信息标记为JRj,j=1,2,3......n2,将记录信息内参会人员的名称标定为记录人名数据,并将人名数据标记为RMj,j=1,2,3......n2,将记录信息内参会人员对应的部门名称标定为部门数据,并将部门数据标记为BMj,i=1,2,3......n2,将记录信息内参会人员的嘴唇影像标定为嘴唇影像信息,并将嘴唇影像信息标记为ZCj,j=1,2,3......n2,所述记录信息内参会人员的嘴唇闭合状态下的距离标定为记录嘴唇数据,并将记录嘴唇数据标记为JZj,j=1,2,3......n2;
步骤三:提取上述步骤一和步骤二中会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;
所述分析单元用于对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,分析操作的具体操作过程为:
K1:获取会议影像信息以及嘴唇影像信息,并对其进行匹配,具体为:当会议影像信息与嘴唇影像信息的匹配结果相一致时,则将对应的会议影像标定为实时嘴唇影像,生成提取信号,当会议影像信息与嘴唇影像信息的匹配结果不一致时,则判定嘴唇信息不正确,生成终结信号;
K2:获取K1中的提取信号和终结信号,并对其进行识别,当识别到提取信号时,则自动提取实时嘴唇影像,并对其进行影像分析操作,当识别到终结信号时,则不进行影像分析操作;
K3:影像分析操作的具体操作过程为:
S1:建立一个虚拟直角坐标系,将实时嘴唇影像在虚拟直角坐标系中进行标记,将上嘴唇和下嘴唇的坐标,并将其标定为嘴唇坐标,将嘴唇坐标标记为ZBi,i=1,2,3......n1;
S2:选取嘴唇坐标中X轴相同的若干个坐标点,将该若干个坐标点的Y轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的Y轴进行差值计算,从而得到一个Y轴差值,选取出Y轴差值的绝对值,将其标定为纵向差值;
S3:选取嘴唇坐标中Y轴相同的若干个坐标点,将该若干个坐标点的X轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的X轴进行差值计算,从而得到一个X轴差值,选取出X轴差值的绝对值,将其标定为横向差值;
S4:提取横向差值和纵向差值,并对横向差值和纵向差值从大到小进行排序,从而得到一个横向差值排序和纵向差值排序,选取出横向差值排序和纵向差值排序中最大的横向差值和纵向差值,将最大纵向差值标定为上嘴唇和下嘴唇之间的距离,即实时嘴唇距离,将最大横向差值标定为嘴巴宽度,即实时嘴宽距离;
K4:获取实时嘴唇距离和实时嘴宽距离,并将其与记录嘴唇数据进行比对,具体为:将实时嘴唇距离和记录嘴唇数据进行差值计算,从而得到嘴唇差值,设定一个嘴唇差值的预设值,并将其与嘴唇差值进行比对,并依据比对结果进行判定,当嘴唇差值大于嘴唇差值的预设值时,且实时嘴唇宽度距离在设定时间内的值不相同时,则判定嘴唇张开,生成说话信号,当嘴唇差值小于等于嘴唇差值的预设值时,则判定嘴唇闭合;
K5:获取说话信号,并依据其获取对应的记录人影信息,并依据记录人影信息提取人名数据,并依据人名数据提取对应的部门数据,以及会议影像信息对应的语音数据;
K6:提取对应的部门数据、语音数据和说话信号,并将其传输至判定单元;
数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,所述判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,判定操作的具体操作过程为:
H1:获取记录部门名称数据和部门数据,并选取出记录部门名称数据内相关的字符数据,并将该字符数据标记为关键词数据;
H2:获取语音数据,并对其进行语音识别,将识别到的语音转化为文字数据;
H3:提取H2中的文字数据,并将文字数据中的每个字符标定为文字字符数据,获取关键词数据,将每个关键词中的文字标记为一个字符,统计出每个关键词数据对应的个数,并将其标定为个数数据;
H4:依据上述H3中的个数数据和关键词数据对文字字符数据进行匹配,具体为:首先将文字字符数据与个数数据进行匹配,依据个数数据,将文字字符数据进行连续组合,并将组合后的数据标记定为匹配字符组,将匹配字符组与关键词数据进行匹配,当匹配字符组与关键词数据的匹配结果一致时,则判定该语音数据中存在对应关键词,生成关键信号,当匹配字符组与关键词数据的匹配结果不一致时,则判定该语音数据中不存在对应关键词,生成错误信号;
H5:提取关键信号和错误信号,当识别到关键信号时,则自动提取对应的记录部门数据,依据记录部门数据提取对应的记录人名数据,依据记录人名数据提取对应的记录人影信息,并提取会议影像信息,当识别到错误信号时,则不进行会议影像提取;
H6:提取会议影像信息和记录人影信息,并将其传输至视频切换单元;
所述视频切换单元用于对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:
G1:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;
G2:自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;
所述智能设备用于接收切换影像信息,并对其进行VR呈像。
本发明在工作时,数据采集单元实时采集会议信息,并将会议信息传输至识别单元,数据库内存储有记录信息,识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;分析单元对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,并将其传输至视频切换单元;视频切换单元对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;智能设备接收切换影像信息,并对其进行VR呈像。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (5)

1.一种基于虚拟现实的多人在线会议系统,其特征在于,包括数据采集单元、数据库、识别单元、分析单元、判定单元、视频切换单元和智能设备;
所述数据采集单元用于实时采集会议信息,并将会议信息传输至识别单元,所述数据库内存储有记录信息,所述识别单元从数据库内获取记录信息,并将其与会议信息一同进行识别操作,得到会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据,并将其一同传输至分析单元;
所述分析单元用于对会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据进行分析操作,得到部门数据、语音数据和说话信号,并将其传输至判定单元;
数据库内存储有记录部门信息,记录部门信息包括记录部门名称数据以及记录部门名称数据内相关的字符数据,所述判定单元从数据库内获取记录部门名称数据以及记录部门名称数据内相关的字符数据,并将其与部门数据、语音数据和说话信号进行判定操作,得到与关键信号相对应的会议影像信息和记录人影信息,并将其传输至视频切换单元;
所述视频切换单元用于对会议影像信息和记录人影信息进行视频切换操作,视频切换操作的具体操作过程为:
G1:获取会议影像信息和记录人影信息,并将其进行匹配,并选取出会议影像信息中与记录人影信息想匹配的影像,并将其标定为切换影像数据;
G2:自动提取切换影像数据,并依据其进行视屏切换,并将切换后的切换影像信息传输至智能设备;
所述智能设备用于接收切换影像信息,并对其进行VR呈像。
2.根据权利要求1所述的一种基于虚拟现实的多人在线会议系统,其特征在于,识别操作的具体操作过程为:
步骤一:获取会议信息,将会议信息内的会议影像标定为会议影像信息,并将会议影像信息标记为HYi,i=1,2,3......n1,将会议信息内的通话语音标记为语音数据,并将语音数据标记为YYi,i=1,2,3......n1;
步骤二:获取记录信心,将记录信息内参会人员的影像标定为记录人影信息,并将记录人影信息标记为JRj,j=1,2,3......n2,将记录信息内参会人员的名称标定为记录人名数据,并将人名数据标记为RMj,j=1,2,3......n2,将记录信息内参会人员对应的部门名称标定为部门数据,并将部门数据标记为BMj,i=1,2,3......n2,将记录信息内参会人员的嘴唇影像标定为嘴唇影像信息,并将嘴唇影像信息标记为ZCj,j=1,2,3......n2,所述记录信息内参会人员的嘴唇闭合状态下的距离标定为记录嘴唇数据,并将记录嘴唇数据标记为JZj,j=1,2,3......n2;
步骤三:提取上述步骤一和步骤二中会议影像信息、语音数据、记录影像信息、人名数据、嘴唇影像信息、记录嘴唇数据和部门数据。
3.根据权利要求1所述的一种基于虚拟现实的多人在线会议系统,其特征在于,分析操作的具体操作过程为:
K1:获取会议影像信息以及嘴唇影像信息,并对其进行匹配,具体为:当会议影像信息与嘴唇影像信息的匹配结果相一致时,则将对应的会议影像标定为实时嘴唇影像,生成提取信号,当会议影像信息与嘴唇影像信息的匹配结果不一致时,则判定嘴唇信息不正确,生成终结信号;
K2:获取K1中的提取信号和终结信号,并对其进行识别,当识别到提取信号时,则自动提取实时嘴唇影像,并对其进行影像分析操作,当识别到终结信号时,则不进行影像分析操作,得到实时嘴唇距离和实时嘴宽距离;
K3:获取实时嘴唇距离和实时嘴宽距离,并将其与记录嘴唇数据进行比对,具体为:将实时嘴唇距离和记录嘴唇数据进行差值计算,从而得到嘴唇差值,设定一个嘴唇差值的预设值,并将其与嘴唇差值进行比对,并依据比对结果进行判定,当嘴唇差值大于嘴唇差值的预设值时,且实时嘴唇宽度距离在设定时间内的值不相同时,则判定嘴唇张开,生成说话信号,当嘴唇差值小于等于嘴唇差值的预设值时,则判定嘴唇闭合;
K4:获取说话信号,并依据其获取对应的记录人影信息,并依据记录人影信息提取人名数据,并依据人名数据提取对应的部门数据,以及会议影像信息对应的语音数据;
K5:提取对应的部门数据、语音数据和说话信号。
4.根据权利要求1所述的一种基于虚拟现实的多人在线会议系统,其特征在于,判定操作的具体操作过程为:
H1:获取记录部门名称数据和部门数据,并选取出记录部门名称数据内相关的字符数据,并将该字符数据标记为关键词数据;
H2:获取语音数据,并对其进行语音识别,将识别到的语音转化为文字数据;
H3:提取H2中的文字数据,并将文字数据中的每个字符标定为文字字符数据,获取关键词数据,将每个关键词中的文字标记为一个字符,统计出每个关键词数据对应的个数,并将其标定为个数数据;
H4:依据上述H3中的个数数据和关键词数据对文字字符数据进行匹配,具体为:首先将文字字符数据与个数数据进行匹配,依据个数数据,将文字字符数据进行连续组合,并将组合后的数据标记定为匹配字符组,将匹配字符组与关键词数据进行匹配,当匹配字符组与关键词数据的匹配结果一致时,则判定该语音数据中存在对应关键词,生成关键信号,当匹配字符组与关键词数据的匹配结果不一致时,则判定该语音数据中不存在对应关键词,生成错误信号;
H5:提取关键信号和错误信号,当识别到关键信号时,则自动提取对应的记录部门数据,依据记录部门数据提取对应的记录人名数据,依据记录人名数据提取对应的记录人影信息,并提取会议影像信息,当识别到错误信号时,则不进行会议影像提取;
H6:提取与关键信号相对应的会议影像信息和记录人影信息。
5.根据权利要求3所述的一种基于虚拟现实的多人在线会议系统,其特征在于,影像分析操作的具体操作过程为:
S1:建立一个虚拟直角坐标系,将实时嘴唇影像在虚拟直角坐标系中进行标记,将上嘴唇和下嘴唇的坐标,并将其标定为嘴唇坐标,将嘴唇坐标标记为ZBi,i=1,2,3......n1;
S2:选取嘴唇坐标中X轴相同的若干个坐标点,将该若干个坐标点的Y轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的Y轴进行差值计算,从而得到一个Y轴差值,选取出Y轴差值的绝对值,将其标定为纵向差值;
S3:选取嘴唇坐标中Y轴相同的若干个坐标点,将该若干个坐标点的X轴进行差值计算,具体计算过程为:从若干个坐标点中选取出两个坐标点,并对两个坐标点之间的X轴进行差值计算,从而得到一个X轴差值,选取出X轴差值的绝对值,将其标定为横向差值;
S4:提取横向差值和纵向差值,并对横向差值和纵向差值从大到小进行排序,从而得到一个横向差值排序和纵向差值排序,选取出横向差值排序和纵向差值排序中最大的横向差值和纵向差值,将最大纵向差值标定为上嘴唇和下嘴唇之间的距离,即实时嘴唇距离,将最大横向差值标定为嘴巴宽度,即实时嘴宽距离。
CN202110101592.6A 2021-01-26 2021-01-26 一种基于虚拟现实的多人在线会议系统 Pending CN112887656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110101592.6A CN112887656A (zh) 2021-01-26 2021-01-26 一种基于虚拟现实的多人在线会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110101592.6A CN112887656A (zh) 2021-01-26 2021-01-26 一种基于虚拟现实的多人在线会议系统

Publications (1)

Publication Number Publication Date
CN112887656A true CN112887656A (zh) 2021-06-01

Family

ID=76051837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110101592.6A Pending CN112887656A (zh) 2021-01-26 2021-01-26 一种基于虚拟现实的多人在线会议系统

Country Status (1)

Country Link
CN (1) CN112887656A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589462A (zh) * 2022-12-08 2023-01-10 吉视传媒股份有限公司 基于网络视频会议系统和电话会议系统的融合方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
US20120218373A1 (en) * 2011-02-28 2012-08-30 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
WO2018113650A1 (zh) * 2016-12-21 2018-06-28 深圳市掌网科技股份有限公司 一种虚拟现实语言交互系统与方法
CN109819195A (zh) * 2017-11-22 2019-05-28 重庆晋才富熙科技有限公司 智慧会议系统
CN110996036A (zh) * 2019-11-04 2020-04-10 上海科技网络通信有限公司 一种基于ai智能技术的远程网上会议管理系统
CN111243590A (zh) * 2020-01-17 2020-06-05 中国平安人寿保险股份有限公司 一种会议记录的生成方法及设备
CN111860523A (zh) * 2020-07-28 2020-10-30 上海兑观信息科技技术有限公司 一种声像档案的智能著录系统与方法
CN111866421A (zh) * 2019-04-30 2020-10-30 陈筱涵 会议记录系统与会议记录方法
CN111948954A (zh) * 2020-09-08 2020-11-17 兰州工业学院 一种基于互联网控制的智能家居系统
CN112052800A (zh) * 2020-09-08 2020-12-08 河南城建学院 基于物联网的外语教学用智能教学辅助系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
US20120218373A1 (en) * 2011-02-28 2012-08-30 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
WO2018113650A1 (zh) * 2016-12-21 2018-06-28 深圳市掌网科技股份有限公司 一种虚拟现实语言交互系统与方法
CN109819195A (zh) * 2017-11-22 2019-05-28 重庆晋才富熙科技有限公司 智慧会议系统
CN111866421A (zh) * 2019-04-30 2020-10-30 陈筱涵 会议记录系统与会议记录方法
CN110996036A (zh) * 2019-11-04 2020-04-10 上海科技网络通信有限公司 一种基于ai智能技术的远程网上会议管理系统
CN111243590A (zh) * 2020-01-17 2020-06-05 中国平安人寿保险股份有限公司 一种会议记录的生成方法及设备
CN111860523A (zh) * 2020-07-28 2020-10-30 上海兑观信息科技技术有限公司 一种声像档案的智能著录系统与方法
CN111948954A (zh) * 2020-09-08 2020-11-17 兰州工业学院 一种基于互联网控制的智能家居系统
CN112052800A (zh) * 2020-09-08 2020-12-08 河南城建学院 基于物联网的外语教学用智能教学辅助系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589462A (zh) * 2022-12-08 2023-01-10 吉视传媒股份有限公司 基于网络视频会议系统和电话会议系统的融合方法

Similar Documents

Publication Publication Date Title
CN109657609B (zh) 人脸识别方法及系统
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110119673B (zh) 无感人脸考勤方法、装置、设备及存储介质
CN104808794B (zh) 一种唇语输入方法和系统
CN108010037B (zh) 图像处理方法、装置及存储介质
WO2019000777A1 (zh) 基于互联网的人脸美化系统
CN110309799B (zh) 基于摄像头的说话判断方法
CN108121957A (zh) 美颜素材的推送方法及装置
WO2017072534A2 (en) Communication system and method
CN104156729B (zh) 一种教室人数统计方法
CN108062529A (zh) 一种化学结构式的智能识别方法
CN112307886A (zh) 行人重识别方法和装置
CN109286772A (zh) 音效调整方法、装置、电子设备以及存储介质
CN114333853A (zh) 一种音频数据的处理方法、设备和系统
CN110163055A (zh) 手势识别方法、装置和计算机设备
CN112887656A (zh) 一种基于虚拟现实的多人在线会议系统
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN109345427B (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
CN112183417B (zh) 一种置业顾问服务能力评价系统及方法
CN117939238A (zh) 角色识别方法、系统及计算设备、计算机可读存储介质
CN108491759A (zh) 一种基于深度学习的工序检测装置及其工序检测方法
US8879805B2 (en) Automated image identification method
CN110321782B (zh) 一种检测人体特征信号的系统
CN111221987A (zh) 混合音频标记方法和装置
CN113221606B (zh) 一种基于ims视频会议登录的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210812

Address after: 518109 502, Jinluan times building, Heping East Road, Sanlian community, Longhua street, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Kobin Technology Co.,Ltd.

Address before: 510000 E505, Yuzhu Zhigu e-Park Creative Park, 32 kengtian street, Maogang village, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Huang Xushi

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20210601

RJ01 Rejection of invention patent application after publication