CN108337466B - 一种视频通话方法及电子设备 - Google Patents
一种视频通话方法及电子设备 Download PDFInfo
- Publication number
- CN108337466B CN108337466B CN201810102855.3A CN201810102855A CN108337466B CN 108337466 B CN108337466 B CN 108337466B CN 201810102855 A CN201810102855 A CN 201810102855A CN 108337466 B CN108337466 B CN 108337466B
- Authority
- CN
- China
- Prior art keywords
- user
- information
- virtual reality
- eye
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供一种视频通话方法及电子设备,所述方法包括:采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;采集第一用户和第二用户的眼部动作信息;分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息。本申请中的视频通话方法能够向进行通话的两个用户提供高清视频影像,使两用户如同面对面进行交流一样的视频通话方法及应用该方法的电子设备。
Description
技术领域
本申请涉及智能通信领域,特别涉及一种视频通话方法及电子设备。
背景技术
目前很多用户都会使用微信来与朋友进行视频聊天,这种聊天方式很便捷,并且只要在有网络的地方,随时都可以进行视频聊天。但是因为手机、电脑等只能呈现平面照片,所以采用手机、电脑进行视频聊天时,视频画面只能以一个2D的方式呈现。并且在用户进行微信聊天的过程中,总是需要用手一直举着手机或者一直盯着电脑的摄像头,如果聊天时间过长的话,手臂会感觉非常累。而且由于手机和电脑的前置摄像头像素一般都不高,再加上视频内容在传输过程中的压缩、解码需要消耗大量的计算资源,所以在用户使用手机、电脑(或其他移动设备)进行视频通话时的视频画质一般较差。
发明内容
本申请所要解决的问题是,提供一种能够向进行通话的两个用户提供高清视频影像,使两用户如同面对面进行交流一样的视频通话方法及应用该方法的电子设备。
为了解决上述问题,本申请提供一种视频通话方法,包括:
采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
采集第一用户和第二用户的眼部动作信息;
分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息。
作为优选,还包括:
确定所述第一用户和第二用户的当前通话模式是否为虚拟现实聊天模式,若是,则采集所述第一用户和第二用户的通话信息、生物特征信息以及环境信息。
作为优选,所述采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息具体为:
通过虚拟现实摄像机采集所述第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
其中,所述生物特征信息包括面部特征信息和体态特征信息。
作为优选,所述采集第一用户和第二用户的眼部动作信息具体为:
采集第一用户和第二用户的闭眼动作信息、睁眼动作信息以及眼球动作信息。
作为优选,还包括:
获取第一用户和第二用户相对信息采集点的距离信息;
所述分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像具体为:
分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息、距离信息以及环境信息向所述第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像。
作为优选,所述分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户分别呈现对应两用户当前注视方向上的视频影像信息具体为:
云端处理系统分别获取所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息;
云端处理系统分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息分别确定出适配所述第一用户和第二用户当前注视方向上的视频影像信息;
云端处理系统将对应不同用户的视频影像信息分别发送至各用户当前使用的虚拟现实眼镜中。
本申请同时提供一种电子设备,包括:
第一采集设备,采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
第二采集设备,采集第一用户和第二用户的眼部动作信息;
第一信息处理设备,分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息。
作为优选,还包括第二信息处理设备,用于确定所述第一用户和第二用户的当前通话模式是否为虚拟现实聊天模式,若是,则向所述第一采集设备发送用于采集所述第一用户和第二用户的通话信息、生物特征信息以及环境信息的指令。
作为优选,所述第一采集设备为虚拟现实摄像机,所述生物特征信息包括面部特征信息和体态特征信息。
作为优选,所述第二采集设备具体用于采集所述第一用户和第二用户的闭眼动作信息、睁眼动作信息以及眼球动作信息。
本申请的有益效果在于,能够向进行通话的两个用户提供高清视频影像,使两用户如同面对面进行交流一样,极大的提高了用户的使用体验。而且,由于采用云端处理各采集信息,不仅提高了数据处理效率,且大大降低了电子设备的数据处理负荷。
附图说明
图1为本申请的视频通话方法的流程图。
图2为本申请的视频通话方法的一实施例的具体方法流程图。
图3为本申请的视频通话方法的又一实施例的具体方法流程图。
图4为本申请的电子设备的结构框图。
具体实施方式
以下结合附图对本申请的进行详细描述。
应理解的是,可以对此处公开的实施例做出各种修改。因此,以下说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本发明进行了描述,但本领域技术人员能够确定地实现本发明的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
目前很多用户都会使用微信来与朋友进行视频聊天,这种聊天方式很便捷,并且只要在有网络的地方,随时都可以进行视频聊天。但是因为手机、电脑等只能呈现平面照片,所以采用手机、电脑进行视频聊天时,视频画面只能以一个2D的方式呈现。并且在用户进行微信聊天的过程中,总是需要用手一直举着手机或者一直盯着电脑的摄像头,如果聊天时间过长的话,手臂会感觉非常累。而且由于手机和电脑的前置摄像头像素一般都不高,再加上视频内容在传输过程中的压缩、解码需要消耗大量的计算资源,所以在用户使用手机、电脑(或其他移动设备)进行视频通话时的视频画质一般较差。
如图1所示,为解决上述技术问题,本申请实施例提供一种视频通话方法,包括:
采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
采集第一用户和第二用户的眼部动作信息;
分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息。
也就是,本实施例中的视频通话方法根据采集的第一用户和第二用户的通话信息、生物特征信息、环境信息以及眼部动作信息计算得到分别与第一用户和第二用户的眼前景象一致的三维高清立体视频影像信息,接着通过两用户的眼部或头部佩戴的虚拟现实眼镜将两个三维立体视频影像信息分别呈现给对应的用户,使两用户如同面对面进行交谈一样,画面十分逼真,故,为用户带来一种全新的视频聊天体验。而且,虚拟现实眼镜并不需要用户手持电子设备,而是佩戴于用户的眼部或头部,故解放了用户的双手,显著降低了用户的操作量,使用户在进行视频通话时更轻松。
进一步地,考虑到用户在进行视频聊天时的应用场景的不同,例如用户在公共场合进行视频聊天时可能由于空间狭窄等问题,使得用户可能并不想进行立体式的视频通话方式,而仍旧想采用普通的视频通话方式。为了满足用户的该种需要,本申请实施例中的电子设备包括两种视频通话模式,一种是普通的视频通话方式,即,视频画面为平面图,另一种则为上述的视频画面呈立体形式的虚拟现实通话模式。对应的,如图2所示,本实施例中的方法还包括:
确定第一用户和第二用户的当前通话模式是否为虚拟现实通话模式,若是,则采集第一用户和第二用户的通话信息、生物特征信息以及环境信息,也即,若是,则执行本实施例中的上述方法步骤。具体使用时,电子设备可设置两个模式的切换按键(可为实体按键,也可为虚拟按键),用户可根据自身需要而通过操作切换按键来切换视频通话模式,系统根据用户指令而确定用户当前的通话模式。或者,在确定用户的当前通话模式时,可以在用户输出欲进行视频通话的指令时,如用户发出语音指令或进入视频通话程序的界面时,系统自动采集用户当前图像,根据该图像判断用户是否佩戴有虚拟现实眼镜,若是,则自动确定通话模式为虚拟现实通话模式,若不是,则自动确定通话模式为普通通话模式。
进一步地,继续结合图2,系统在采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息时,具体为:
通过虚拟现实摄像机采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
其中,生物特征信息包括面部特征信息和体态特征信息。
例如,第一用户通过智能电视机(如联想公司旗下设计的一款Smart TV)发起与第二用户视频通话的请求,智能电视机此时会响应用户并提供一对话框询问用户采用何种方式进行视频通话,是普通模式还是虚拟现实通话模式,若用户选择虚拟现实通话模式,则智能电视机确定第一用户的指令后,便向第二用户发送虚拟现实通话请求,同时启动安装在智能电视机顶部的虚拟现实摄像机(如VR180双镜头摄像机,其上设有两个相隔一定间隔的摄像头,即,左右分别设置一摄像头,该两个摄像头所拍摄的影像之间存在一定视差(分别对应用户左右眼分别看到的影像),所以当用户使用VR眼镜进行视频影像的观看时,3D画面感会很强。当然也可采用其他具有双镜头的虚拟现实摄像机),令其拍摄获取第一用户的面部特征信息、体态特征信息、环境特征信息。同样地,第二用户使用的电子设备上也同样装设有虚拟现实摄像机,该摄像机也同样获取第二用户的面部特征信息、体态特征信息、环境特征信息。接着,两个摄像机获取的信息可相互发送至对方的智能电视机中,以分别进行适配所面对的用户的信息计算。当两个用户开始进行通话时,两个摄像机再实时获取用户的通话信息,并交互发送,进而使得智能电视机基于接收的信息而相应向对应的用户佩戴的虚拟现实眼镜中发送屏蔽掉虚拟现实眼镜的视频影像信息,使两个用户分别能够看到对方没有佩戴虚拟现实眼镜的景象,就如同两用户面对面进行交流一样,画面感真实立体。当然,两台摄像机获取的信息也可不相互发送,而是实时发送至同一个用于数据处理的终端,由该终端针对两份数据进行处理,最后再由该终端分别将两个视频影像信息对应发送至两用户佩戴的虚拟现实眼镜中。
进一步地,继续结合图2,由于用户在进行视频通话时,不可能一动不动的坐在那里,且眼睛只看向一处,为了在用户的头部或眼球在转动时,亦或是用户当前是闭眼状态还是睁眼状态,眼睛所看到的景象能够与实景一致,本实施例中系统在采集第一用户和第二用户的眼部动作信息时具体为:
采集第一用户和第二用户的闭眼动作信息、睁眼动作信息以及眼球动作信息。具体可在虚拟现实眼镜中增设两个分别用于追踪用户左右眼球转动状态的眼球追踪装置。另外,虚拟现实眼镜中还可增设定位装置,使用户能够在一定范围内移动。
例如,当第一用户头部上扬,带动眼球向上转动时,眼球追踪装置检测到用户的眼球转动后将转动信息发送至上述的智能电视机中或发送至终端处理器中,使智能电视机或终端处理器根据接收到的转动信息来提取虚拟现实摄像头发送的环境信息中对应用户眼前实景的信息,同时结合用户当前的头部上扬的体态信息来一同计算出能够反映用户当前眼前实景的视频影像信息,并将其发送至用户佩戴的虚拟现实眼镜中,使用户能够实时看到适配当前眼部注视方向的实景景象。也就是,保证用户向前看时,能够看到对方用户以及对方用户所处环境的景象,而向左、右、后方看时,能够看到自身所处环境的景象(当然,也要视实际情况而定,若对方用户展现的环境内容够多,本侧用户向左右看时也有可能看到的是对方用户的环境景象信息)。
而上述的定位装置,也是一样的,如用户向左移动或向右移动等,定位装置便可获取用户当前位置,并将位置信息发送至智能电视机中或发送至终端处理器中,使智能电视机或终端处理器根据接收到的位置信息来提取虚拟现实摄像头发送的环境信息中对应用户当前位置的实景景象信息,同时结合用户在当前位置的体态信息来一同计算出能够反映用户当前眼前实景的视频影像信息,并将其发送至用户佩戴的虚拟现实眼镜中。
进一步地,继续结合图2,由于用户在移动时,其相对虚拟显示摄像头的距离会产生变化,因而使得摄像头获取的景象信息就会产生变化,而为了进一步使用户能够看到更为真实的影像信息,也就是使视频影像信息更贴近人眼所看到的景象,本实施例中的方法还包括:
获取第一用户和第二用户相对信息采集点的距离信息;
分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像具体为:
分别根据第一用户和第二用户的生物特征信息、眼部动作信息、距离信息以及环境信息向第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像。
例如,具体应用时可在上述的智能电视机上设置集成体感传感器,其用来感测用户与智能电视机以及虚拟现实摄像头间的空间距离信息。使用时,例如用户向靠近智能电视机的方向移动时,传感器感测到用户与电视机间的空间距离信息,并将其发送至智能电视机的系统中或发送至上述的终端处理器中,使其结合空间距离信息而从环境信息中提取出对应用户眼前景象的信息,同时可调整该景象信息的具体参数,如因用户靠近电视机,故电视机或中断处理器在处理景象信息时或按比例进行景象的扩大,或当用户远离电视机时,则按比例进行景象的缩小,进而使得用户观看到的影像信息能够更精确的反映出用户当前眼前实景。
进一步地,如图3所示,本申请实施例中提到的终端处理器有选为云端处理系统,故本申请中的终端处理器在分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向第一用户和第二用户分别呈现对应两用户当前注视方向上的视频影像信息时实际为:
云端处理系统分别获取第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息;
云端处理系统分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息分别确定出适配第一用户和第二用户当前注视方向上的视频影像信息;
云端处理系统将对应不同用户的视频影像信息分别发送至各用户当前使用的虚拟现实眼镜中。
由于上述获取的大部分信息都可以通过云端处理系统进行处理,也即,可以将虚拟现实摄像头、眼球追踪装置、集成体感传感器所获取的各种信息均上传到云端处理系统中进行实时处理,再由云端处理系统将处理好的视频影像信息发送至对应的虚拟现实眼镜中,供用户观看,其间所有处理过程均不需要相关硬件设备参与,大大降低了相关硬件设备的计算功耗,并且能够保证设备对用户指令的响应灵敏度,确保能够向用户实时输出具有高清晰视频画质的影像信息。
如图所示,本申请实施例中同时提供一种电子设备,其包括:
第一采集设备,采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
第二采集设备,采集第一用户和第二用户的眼部动作信息;
第一信息处理设备,分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息。
还包括第二信息处理设备,用于确定第一用户和第二用户的当前通话模式是否为虚拟现实聊天模式,若是,则向第一采集设备发送用于采集第一用户和第二用户的通话信息、生物特征信息以及环境信息的指令。
进一步地,第一采集设备为虚拟现实摄像机,生物特征信息包括面部特征信息和体态特征信息。例如,第一用户通过智能电视机(如联想公司旗下设计的一款Smart TV)发起与第二用户视频通话的请求,智能电视机此时会响应用户并提供一对话框询问用户采用何种方式进行视频通话,是普通模式还是虚拟现实通话模式,若用户选择虚拟现实通话模式,则智能电视机确定第一用户的指令后,便向第二用户发送虚拟现实通话请求,同时启动安装在智能电视机顶部的虚拟现实摄像机(如VR180双镜头摄像机,其上设有两个相隔一定间隔的摄像头,即,左右分别设置一摄像头,该两个摄像头所拍摄的影像之间存在一定视差(分别对应用户左右眼分别看到的影像),所以当用户使用VR眼镜进行视频影像的观看时,3D画面感会很强。当然也可采用其他具有双镜头的虚拟现实摄像机),令其拍摄获取第一用户的面部特征信息、体态特征信息、环境特征信息。同样地,第二用户使用的电子设备上也同样装设有虚拟现实摄像机,该摄像机也同样获取第二用户的面部特征信息、体态特征信息、环境特征信息。接着,两个摄像机获取的信息可相互发送至对方的智能电视机中,以分别进行适配所面对的用户的信息计算。当两个用户开始进行通话时,两个摄像机再实时获取用户的通话信息,并交互发送,进而使得智能电视机基于接收的信息而相应向对应的用户佩戴的虚拟现实眼镜中发送屏蔽掉虚拟现实眼镜的视频影像信息,使两个用户分别能够看到对方没有佩戴虚拟现实眼镜的景象,就如同两用户面对面进行交流一样,画面感真实立体。当然,两台摄像机获取的信息也可不相互发送,而是实时发送至同一个用于数据处理的终端,由该终端针对两份数据进行处理,最后再由该终端分别将两个视频影像信息对应发送至两用户佩戴的虚拟现实眼镜中。
进一步地,由于用户在进行视频通话时,不可能一动不动的坐在那里,且眼睛只看向一处,为了在用户的头部或眼球在转动时,亦或是用户当前是闭眼状态还是睁眼状态,眼睛所看到的景象能够与实景一致,本实施例中第二采集设备在采集第一用户和第二用户的眼部动作信息时具体为:采集第一用户和第二用户的闭眼动作信息、睁眼动作信息以及眼球动作信息。具体可在虚拟现实眼镜中增设两个分别用于追踪用户左右眼球转动状态的眼球追踪装置。另外,虚拟现实眼镜中还可增设定位装置,使用户能够在一定范围内移动。
进一步地,由于用户在移动时,其相对虚拟显示摄像头的距离会产生变化,因而使得摄像头获取的景象信息就会产生变化,而为了进一步使用户能够看到更为真实的影像信息,也就是使视频影像信息更贴近人眼所看到的景象,因此本实施例中的电子设备还包括第三采集设备,用于采集第一用户和第二用户相对信息采集点的距离信息;
第一信息处理设备在根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像具体为:
分别根据第一用户和第二用户的生物特征信息、眼部动作信息、距离信息以及环境信息向第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像。
例如,具体应用时可在上述的智能电视机上设置集成体感传感器,其用来感测用户与智能电视机以及虚拟现实摄像头间的空间距离信息。使用时,例如用户向靠近智能电视机的方向移动时,传感器感测到用户与电视机间的空间距离信息,并将其发送至智能电视机的系统中或发送至上述的终端处理器中(也就是发送至第一信息处理设备中),使其结合空间距离信息而从环境信息中提取出对应用户眼前景象的信息,同时可调整该景象信息的具体参数,如因用户靠近电视机,故电视机或中断处理器在处理景象信息时或按比例进行景象的扩大,或当用户远离电视机时,则按比例进行景象的缩小,进而使得用户观看到的影像信息能够更精确的反映出用户当前眼前实景。
进一步地,本申请实施例中提到的终端处理器(第一信息处理设备)优选为云端处理系统,故本申请中的终端处理器在分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向第一用户和第二用户分别呈现对应两用户当前注视方向上的视频影像信息时实际为:
云端处理系统分别获取第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息;
云端处理系统分别根据第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息分别确定出适配第一用户和第二用户当前注视方向上的视频影像信息;
云端处理系统将对应不同用户的视频影像信息分别发送至各用户当前使用的虚拟现实眼镜中。
由于上述获取的大部分信息都可以通过云端处理系统进行处理,也即,可以将虚拟现实摄像头、眼球追踪装置、集成体感传感器所获取的各种信息均上传到云端处理系统中进行实时处理,再由云端处理系统将处理好的视频影像信息发送至对应的虚拟现实眼镜中,供用户观看,其间所有处理过程均不需要相关的实体硬件设备参与,大大降低了相关硬件设备的计算功耗,并且能够保证设备对用户指令的响应灵敏度,确保能够向用户实时输出具有高清晰视频画质的影像信息。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (8)
1.一种视频通话方法,其特征在于,包括:
在确定进入视频通话程序界面时,自动采集第一用户当前图像,并基于所述图像确定所述第一用户和第二用户当前是否佩戴虚拟现实眼镜,进而确定所述第一用户和第二用户的当前通话模式是否为虚拟现实聊天模式,若是,则自动采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
采集第一用户和第二用户的眼部动作信息;
分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息。
2.根据权利要求1所述的方法,其特征在于,所述采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息具体为:
通过虚拟现实摄像机采集所述第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
其中,所述生物特征信息包括面部特征信息和体态特征信息。
3.根据权利要求1所述的方法,其特征在于,所述采集第一用户和第二用户的眼部动作信息具体为:
采集第一用户和第二用户的闭眼动作信息、睁眼动作信息以及眼球动作信息。
4.根据权利要求1或2所述的方法,其特征在于,还包括:
获取第一用户和第二用户相对信息采集点的距离信息;
所述分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像具体为:
分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息、距离信息以及环境信息向所述第一用户和第二用户分别呈现对应两用户当前注视方向的视频影像。
5.根据权利要求1或2所述的方法,其特征在于,所述分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户分别呈现对应两用户当前注视方向上的视频影像信息具体为:
云端处理系统分别获取所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息;
云端处理系统分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息分别确定出适配所述第一用户和第二用户当前注视方向上的视频影像信息;
云端处理系统将对应不同用户的视频影像信息分别发送至各用户当前使用的虚拟现实眼镜中。
6.一种电子设备,其特征在于,包括:
第一采集设备,在确定进入视频通话程序界面时,自动采集第一用户当前图像,并采集第一用户和第二用户的通话信息、生物特征信息以及第一用户和第二用户所处环境的环境信息;
第二采集设备,采集第一用户和第二用户的眼部动作信息;
第一信息处理设备,分别根据所述第一用户和第二用户的生物特征信息、眼部动作信息以及环境信息向所述第一用户和第二用户当前使用的虚拟现实眼镜中分别发送对应两用户当前注视方向的视频影像信息;
还包括第二信息处理设备,用于根据所述图像确定所述第一用户和第二用户当前是否佩戴虚拟现实眼镜,进而确定所述第一用户和第二用户的当前通话模式是否为虚拟现实聊天模式,若是,则向所述第一采集设备发送用于采集所述第一用户和第二用户的通话信息、生物特征信息以及环境信息的指令。
7.根据权利要求6所述的电子设备,其特征在于,所述第一采集设备为虚拟现实摄像机,所述生物特征信息包括面部特征信息和体态特征信息。
8.根据权利要求6所述的电子设备,其特征在于,所述第二采集设备具体用于采集所述第一用户和第二用户的闭眼动作信息、睁眼动作信息以及眼球动作信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810102855.3A CN108337466B (zh) | 2018-02-01 | 2018-02-01 | 一种视频通话方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810102855.3A CN108337466B (zh) | 2018-02-01 | 2018-02-01 | 一种视频通话方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108337466A CN108337466A (zh) | 2018-07-27 |
CN108337466B true CN108337466B (zh) | 2021-07-16 |
Family
ID=62928051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810102855.3A Active CN108337466B (zh) | 2018-02-01 | 2018-02-01 | 一种视频通话方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108337466B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109803109B (zh) * | 2018-12-17 | 2020-07-31 | 中国科学院深圳先进技术研究院 | 一种可穿戴增强现实远程视频系统及视频通话方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105721821A (zh) * | 2016-04-01 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 视频通话方法及装置 |
CN107426522A (zh) * | 2017-08-11 | 2017-12-01 | 歌尔科技有限公司 | 基于虚拟现实设备的视频方法和系统 |
CN107450721A (zh) * | 2017-06-28 | 2017-12-08 | 丝路视觉科技股份有限公司 | 一种vr互动方法和系统 |
CN107483872A (zh) * | 2017-08-27 | 2017-12-15 | 张红彬 | 视频通话系统及视频通话方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102004265B1 (ko) * | 2012-12-28 | 2019-07-26 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법 |
-
2018
- 2018-02-01 CN CN201810102855.3A patent/CN108337466B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105721821A (zh) * | 2016-04-01 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 视频通话方法及装置 |
CN107450721A (zh) * | 2017-06-28 | 2017-12-08 | 丝路视觉科技股份有限公司 | 一种vr互动方法和系统 |
CN107426522A (zh) * | 2017-08-11 | 2017-12-01 | 歌尔科技有限公司 | 基于虚拟现实设备的视频方法和系统 |
CN107483872A (zh) * | 2017-08-27 | 2017-12-15 | 张红彬 | 视频通话系统及视频通话方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108337466A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10235560B2 (en) | Image processing apparatus, image processing method, and image communication system | |
CN109952759B (zh) | 用于具有hmd的视频会议的改进的方法和系统 | |
US7889192B2 (en) | Mobile equipment with three dimensional display function | |
KR102054363B1 (ko) | 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템 | |
KR20190026004A (ko) | 단일 깊이 추적 순응-수렴 솔루션 | |
US9521362B2 (en) | View rendering for the provision of virtual eye contact using special geometric constraints in combination with eye-tracking | |
US20150358539A1 (en) | Mobile Virtual Reality Camera, Method, And System | |
CN110413108B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
CN105072327A (zh) | 一种防闭眼的人像拍摄处理的方法和装置 | |
WO2018095317A1 (zh) | 视频数据处理方法、装置及设备 | |
WO2020249076A1 (zh) | 一种人脸校正方法及电子设备 | |
CN113192132B (zh) | 眼神捕捉方法及装置、存储介质、终端 | |
CN108337466B (zh) | 一种视频通话方法及电子设备 | |
CN105812709A (zh) | 一种利用摄像头实现虚拟摄像头的方法 | |
CN106851240A (zh) | 图像数据处理的方法及装置 | |
CN110288680A (zh) | 影像生成方法及移动终端 | |
CN213903982U (zh) | 一种新型智能眼镜及远程可视化系统 | |
JP3721624B2 (ja) | Tv電話システム | |
CN111736692B (zh) | 显示方法、显示装置、存储介质与头戴式设备 | |
CN107426522B (zh) | 基于虚拟现实设备的视频方法和系统 | |
WO2015062238A1 (zh) | 视频图像处理的方法和装置 | |
CN117041670B (zh) | 图像处理方法及相关设备 | |
CN115079826A (zh) | 一种虚拟现实的实现方法、电子设备及存储介质 | |
Horikoshi | Prototype Glasses-type Device with Videophone Capabilities—Hands-free Videophone | |
Brick et al. | High-presence, low-bandwidth, apparent 3D video-conferencing with a single camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |