CN113709537B

CN113709537B - 基于5g电视的用户互动方法、5g电视及可读存储介质

Info

Publication number: CN113709537B
Application number: CN202010438226.5A
Authority: CN
Inventors: 陈小平; 熊德林; 陈国丞; 连根辉; 余冬勇
Original assignee: Yunmi Internet Technology Guangdong Co Ltd
Current assignee: Yunmi Internet Technology Guangdong Co Ltd
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2023-06-13
Anticipated expiration: 2040-05-21
Also published as: CN113709537A

Abstract

本申请提供一种基于5G电视的用户互动方法、5G电视及计算机可读存储介质，该方法包括：通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的图像信息上传至AR服务器；接收AR服务器发送的预置交互模型和基于图像信息生成的三维人体模型；根据三维人体模型和预置交互模型，生成对应的交互界面；若接收到第二用户的交友请求，则将第二用户的三维人体模型显示在显示屏的交互界面中，并实时获取第一用户的指令与交互界面中的第二用户的三维人体模型进行交友互动，实现了通过5G电视让多个用户以AR的方式实现实时交友互动，不仅提高用户的体验感，还使得交友方式变得更加丰富、灵活。

Description

基于5G电视的用户互动方法、5G电视及可读存储介质

技术领域

本申请涉及智能电视技术领域，尤其涉及一种基于5G电视的用户互动方法、5G电视及计算机可读存储介质。

背景技术

随着科技的发展，人与人之间互动与沟通方式也随之改变，早期通过专人媒介、笔友、电话交友等交友服务已逐渐被网络交友系统及无线自动配对系统等交友配对服务所取代，甚至于更主动积极的实时通讯软件(MSN、LINE、QQ)与社交平台(Facebook、Twitter)。

目前，AR(Augmented Reality)技术是指增强现实技术，具体来说是指利用计算机生成一种逼真的视、听、触和动等感觉的虚拟环境。目前AR界面一般都是缓冲好的视频，这样可以确保AR界面的流畅体验，但仅限于用户单人进行，不能在AR界面中与其它用户进行交友互动。

发明内容

本申请的主要目的在于提供一种基于5G电视的用户互动方法、5G电视及计算机可读存储介质，旨在现有的AR界面一般都是缓冲好的视频，仅限于用户单人进行，不能在AR界面中与其它用户进行交友互动。

第一方面，本申请提供一种基于5G电视的用户互动方法，所述基于5G电视的用户互动方法包括以下步骤：

通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的所述图像信息上传至AR服务器；

接收所述AR服务器发送的预置交互模型和基于所述图像信息生成的三维人体模型；

根据所述三维人体模型和预置交互模型，生成对应的交互界面；

若接收到第二用户的交友请求，则将所述第二用户的三维人体模型显示在所述显示屏的交互界面中，并实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动。

第二方面，本申请还提供一种5G电视，所述所述5G电视包括摄像头、显示屏、处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上发明所述的基于5G电视的用户互动方法的步骤。

第三方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的基于5G电视的用户互动方法的步骤。

本申请提供一种基于5G电视的用户互动方法、5G电视及计算机可读存储介质，本申请通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的所述图像信息上传至AR服务器；接收所述AR服务器发送的预置交互模型和基于所述图像信息生成的三维人体模型；根据所述三维人体模型和预置交互模型，生成对应的交互界面；若接收到第二用户的交友请求，则将所述第二用户的三维人体模型显示在所述显示屏的交互界面中，并实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动，实现了通过5G电视让多个用户以AR的方式实现实时交友互动，不仅提高用户的体验感，还使得交友方式变得更加丰富、灵活。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中基于5G电视的用户互动方法的步骤流程示意图；

图2是本申请实施例中5G电视的示意图；

图3是本申请实施例中三维人体模型的示意图；

图4为图1中的基于5G电视的用户互动方法的子步骤流程示意图；

图5是本申请实施例中交互界面的示意图；

图6是本申请一实施例涉及的5G电视的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1是本申请的实施例提供的一种基于5G电视的用户互动方法的流程示意图。

如图1所示，该基于5G电视的用户互动方法包括步骤S101至步骤S104。

步骤S101、通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的所述图像信息上传至AR服务器。

开启如图2所示5G电视的预置摄像头，该摄像头为音响麦克摄像头，采集第一用户的语音、动作等。开启后的摄像头实时采集预置范围内的图像，当通过该5G电视的预置摄像头采集到预置范围内第一用户的图像，其中第一用户可以包括老人、小孩等家庭人员以及非家庭人员。对该采集到的图像进行分析，得到该图像中第一用户的图像信息，例如，得到该图像中第一用户的面部特征、身体轮廓、各个关节点的位置以及各个关节点之间的距离等。将采集到的图像信息上传至AR服务器，其中，该5G电视与该AR服务器之间通过5G接口和AR接口来进行连接，用以信息或数据的交互。

具体的，通过5G电视的预置摄像头采集预置范围内第一用户的图像；对采集到的所述图像进行识别，获取所述图像中的面部特征、身体特征、衣帽特征以及佩戴物品特征；将获取到的所述面部特征、所述身体特征、所述衣帽特征以及所述佩戴物品特征上传至AR服务器。

在一实施例中，通过如图2所示5G电视的预置摄像头采集预置范围内第一用户的图像，通过对该图像将进行识别，获取该图像中第一用户的面部特征、身体特征、衣帽特征以及佩戴物品特征，其中，面部特征包括人脸轮廓点，眉毛轮廓点，嘴唇轮廓点等；身体特征包括身体的轮廓、身高、各个关节点之间的距离信息等；衣帽特征包括衣服的款式、颜色等；佩戴物品特征包括物品的尺寸以及颜色等。将获取到的该图像中第一用户的面部特征、身体特征、衣帽特征以及佩戴物品特征通过5G接口上传至AR服务器，以使该AR服务器根据该图像中第一用户的面部特征、身体特征、衣帽特征以及佩戴物品特征建立对应的三维人体模型。

具体的，通过5G电视的预置摄像头采集第一用户的图像信息之前，还包括：接收第一用户的登录指令，获取所述登录指令对应的预置交互模型名称；基于所述预置交互模型名称开启预置摄像头，并向AR服务器发送预置交互模型的下载指令。

在一实施例中，接收第一用户的登录指令，获取该登录指令携带的账户信息中的预置交互模型名称。预先对该预置交互模型名称与摄像头进行关联，例如，预先将拳击交互模型与摄像头进行关联，当该预置交互模型名称为拳击交互模型时，启动预置摄像头；或者，该预置交互模型名称为象棋交互模型时，启动预置摄像头等。并向AR服务器发送该预置交互模型的下载指令。

步骤S102、接收所述AR服务器发送的预置交互模型和基于所述图像信息生成的三维人体模型。

AR服务器在接收到5G电视上传的图像信息，通过该图像信息建立第一用户如图3所示的三维人体模型，并将该三维人体模型和预置交互模型发送至5G电视，5G电视接收AR服务器发送的预置交互模型和三维人体模型。其中，预置交互模型为一种多用户互动的三维立体界面模型，例如，舞蹈界面交互模型、棋牌界面交互模型、搏击界面交互模型等。

具体的，接收所述AR服务器发送的预置交互模型和基于所述图像信息生成的三维人体模型，包括：接收所述AR服务器发送的所述下载指令对应的预置交互模型，以及基于所述面部特征、所述身体特征、所述衣帽特征以及所述佩戴物品特征生成的三维人体模型。

AR服务器在接收到5G电视发送的下载指令和上传的面部特征、身体特征、衣帽特征以及佩戴物品特征，向5G电视发送预置交互模型和基于面部特征、身体特征、衣帽特征以及佩戴物品特征建立的三维人体模型。

步骤S103、根据所述三维人体模型和预置交互模型，生成对应的交互界面。

在接收到第一用户的三维人体模型和预置交互模型时，通过AR接口将第一用户的三维人体模型和预置交互模型显示在5G电视的显示屏中，生成交互界面。

在一实施例中，如图4所示，步骤S103包括子步骤S1031至S1033。

子步骤S1031、接收所述预置交互模型，获取所述预置交互模型中的预置坐标和预置视角；

接收AR服务器发送的预置交互模型，获取该预置交互模型中的预置坐标和预置视角，该预置坐标和预置视角为预先在交互模型中设置的，例如，在交互模型建立一个空间坐标系，在空间坐标系的横轴和纵轴上预先设置坐标，该坐标的数量至少为一个，并在该坐标处设置第一用户的视角，该视角包括上、下、东、南、西、北六个方向。

子步骤S1032、将所述预置坐标作为所述第一用户的三维人体模型在所述预置交互模型中的目标坐标；

在获取到交互模型中的预置坐标，例如，预置坐标为(2,3)、(0,0)等。将获取到预置坐标作为第一用户的三维人体模型在该交互模型中的目标坐标。或者，当有多个预置坐标时，基于用户的操作指令或语音指令，获取该操作指令或语音指令对应的预置坐标，将该操作指令或语音指令对应的预置坐标作为第一用户的三维人体模型在交互模型中的目标坐标。

子步骤S1033、获取所述预置交互模型中所述目标坐标的预置视角对应的目标界面，将所述目标界面生成对应的交互界面。

在获取到第一用户的三维人体模型在交互模型中的目标坐标，获取第一用户的三维人体模型在目标坐标处的预置视角，通过第一用户的三维人体模型在交互模型中的目标坐标和预置视角，获取该目标坐标处预置视角范围内的目标界面，通过AR接口将目标界面显示在显示屏，生成对应的交互界面。

具体的，在生成交互界面之后还包括：通过预置摄像头检测到所述第一用户的位置发生位移时，调整所述预置摄像头的角度；基于调整角度后的所述预置摄像头，获取所述第一用户的位移信息；根据所述第一用户的位移信息，调整所述交互界面中所述第一用户的三维人体模型的目标坐标。

当通过预置摄像头检测到第一用户的位置发生位移时，调整预置摄像头的上下幅度或者左右幅度。例如，预置摄像头实时获取第一用户的位置图像，将不同时刻的两帧位置图像进行对比，以此来检测第一用户的位置是否发生位移。通过调整上下幅度或者左右幅度后的预置摄像头，获取第一用户的位移信息，例如，预先获取摄像头上下幅度的角度或者左右幅度的角度与第一用户之间的位移信息。例如，调整摄像头向下幅度的角度为30度时，第一用户的位移信息为前移1米；调整摄像头向左幅度的角度为60时，第一用户的位移信息为左移2米等。通过获取到的第一用户的位移信息，调整交互界面中第一用户的三维人体模型的目标坐标。例如，预先获取位移信息与交互界面中坐标之间的比例，通过该位移信息与坐标之间的比例以及摄像头的角度来调整目标坐标。

步骤S104、若接收到第二用户的交友请求，则将所述第二用户的三维人体模型显示在所述显示屏的交互界面中，并实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动。

当接收到第二用户的交友请求，将第二用户的三维人体模型如图5所示显示在显示屏的交互界面中，其中，第二用户的三维人体模型与第一用户的三维模型的建立方式相同，通过第二用户的5G电视的预置摄像头采集第二用户的图像信息，将该图像信息上传至AR服务器。AR服务器基于第二用户的图像信息，建立第二用户的三维人体模型。当检测到同意第二用户的交友请求时，接收AR服务器发送的第二用户的三维人体模型，并显示在显示屏中，同时第二用户的5G电视接收第一用户的人体模型和交互界面，其中，第一用户的人体模型在第二用户的交互界面中显示。预置摄像头实时获取第一用户的指令与交互界面中的第二用户的三维人体模型进行语音互动或动作互动。

示范例为，若通过预置摄像头实时采集所述第一用户的动作指令或语音指令，则基于所述动作指令或所述语音指令与所述交互界面中的第二用户的三维人体模型进行交友互动。例如，若该预置交互模型为唱歌交互模型时，通过预置摄像头实时采集第一用户的语音指令与交互界面中的第二用户的三维人体模型进行语音交流或合唱交流的交友互动，其中，第二用户的5G电视也包括预置摄像头，用于采集第二用户的语音指令或动作指令。或者，该预置交互模型为拳击交互模型或舞蹈交互模型时，通过预置摄像头实时采集第一用户的动作指令与交互界面中的第二用户的三维人体模型进行动作交流的交友互动，如，学习第二用户的三维人体模型的舞蹈动作；或者，与第二用户的三维人体模型进行拳击训练等。

示范例为，若实时获取到所述第一用户的点击指令，则基于所述点击指令与所述交互界面中的第二用户的三维人体模型进行交友互动。例如，若该预置交互模型为象棋交互模型时，通过实时获取第一用户的点击指令与交互界面中的第二用户的三维人体模型进行棋艺交流的交友互动，其中交互界面包括棋盘和棋子等虚拟装饰物。

上述实施例提供的基于5G电视的用户互动方法，通过预置摄像头采集第一用户的图像信息，将该图像信息上传至AR服务器，接收AR服务器发送的预置交互模型和基于图像信息建立的三维人体模型，将接收到的所述三维人体模型和预置交互模型显示在所述5G电视的显示屏中，生成对应的交互界面；接收到第二用户的交友请求，将所述第二用户的三维人体模型显示在所述显示屏的交互界面中，并实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动，实现了通过5G电视让多个用户以AR的方式实现实时交友互动，不仅提高用户的体验感，还使得交友方式变得更加丰富、灵活。

请参阅图6，图6是本申请实施例提供的一种5G电视的结构示意性框图。

如图6所示，该5G电视300包括通过系统总线301连接的处理器302、存储器303和通信接口304，摄像头305，显示屏306，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于5G电视的用户互动方法。

处理器用于提供计算和控制能力，支撑整个5G电视的运行。

存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于5G电视的用户互动方法。

该通信接口304用于通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的5G电视的限定，具体的5G电视可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，该总线301比如为I2C(Inter-integrated Circuit)总线，存储器303可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等，处理器302可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，摄像头305可以是枪式摄像头、一体化摄像头、半球型摄像头、球型云台摄像头、隐蔽型摄像头等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

在一个实施例中，所述处理器在实现将接收到的所述三维人体模型和预置交互模型显示在所述5G电视的显示屏中，生成对应的交互界面时，用于实现：

接收所述预置交互模型，获取所述预置交互模型中的预置坐标和预置视角；

将所述预置坐标作为所述第一用户的三维人体模型在所述预置交互模型中的目标坐标；

获取所述预置交互模型中所述目标坐标的预置视角对应的目标界面，将所述目标界面生成对应的交互界面。

在一个实施例中，所述处理器在实现将所述目标界面生成对应的交互界面之后时，用于实现：

通过预置摄像头检测到所述第一用户的位置发生位移时，调整所述预置摄像头的角度；

基于调整角度后的所述预置摄像头，获取所述第一用户的位移信息；

根据所述第一用户的位移信息，调整所述交互界面中所述第一用户的三维人体模型的目标坐标。

在一个实施例中，所述处理器在实现所述实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动时，用于实现：

若通过预置摄像头实时采集所述第一用户的动作指令或语音指令，则基于所述动作指令或所述语音指令与所述交互界面中的第二用户的三维人体模型进行交友互动。

若实时获取到所述第一用户的点击指令，则基于所述点击指令与所述交互界面中的第二用户的三维人体模型进行交友互动。

在一个实施例中，所述处理器在实现所述通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的所述第一用户的图像信息上传至AR服务器时，用于实现：

通过5G电视的预置摄像头采集预置范围内第一用户的图像；

对采集到的所述图像进行识别，获取所述图像中的面部特征、身体特征、衣帽特征以及佩戴物品特征；

将获取到的所述面部特征、所述身体特征、所述衣帽特征以及所述佩戴物品特征上传至AR服务器。

在一个实施例中，所述处理器在实现所述通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的所述图像信息上传至AR服务器之前时，用于实现：

接收第一用户的登录指令，确定所述登录指令对应的交互类型和预置交互模型；

基于所述交互类型开启预置摄像头，并向AR服务器发送所述预置交互模型的下载指令。

在一个实施例中，所述处理器在实现接收所述AR服务器发送的预置交互模型和基于所述图像信息生成的三维人体模型时，用于实现：

接收所述AR服务器发送的所述下载指令对应的预置交互模型，以及基于所述面部特征、所述身体特征、所述衣帽特征以及所述佩戴物品特征生成的三维人体模型。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的5G电视的具体工作过程，可以参考前述5G电视基于基于5G电视的用户互动方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请5G电视基于5G电视的用户互动方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的5G电视的内部存储单元，例如所述5G电视的硬盘或内存。所述计算机可读存储介质也可以是所述5G电视的外部存储设备，例如所述5G电视上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于5G电视的用户互动方法，其特征在于，包括：

其中，所述生成对应的交互界面，包括：

获取所述预置交互模型中所述目标坐标的预置视角对应的目标界面，将所述目标界面生成对应的交互界面；

根据所述第一用户的位移信息，调整所述交互界面中所述第一用户的三维人体模型的目标坐标；

若接收到第二用户的交友请求，则将所述第二用户的三维人体模型显示在显示屏的交互界面中，并实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动。

2.根据权利要求1所述的基于5G电视的用户互动方法，其特征在于，所述实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动，包括：

3.根据权利要求1所述的基于5G电视的用户互动方法，其特征在于，所述实时获取所述第一用户的指令与所述交互界面中的第二用户的三维人体模型进行交友互动，包括：

4.根据权利要求1所述的基于5G电视的用户互动方法，其特征在于，所述通过5G电视的预置摄像头采集第一用户的图像信息，将采集到的所述图像信息上传至AR服务器，包括：

通过5G电视的预置摄像头采集预置范围内第一用户的图像；

5.根据权利要求1所述的基于5G电视的用户互动方法，其特征在于，所述通过5G电视的预置摄像头采集第一用户的图像信息之前，还包括：

接收第一用户的登录指令，获取所述登录指令对应的预置交互模型名称；

基于所述预置交互模型名称开启预置摄像头，并向AR服务器发送预置交互模型的下载指令。

6.根据权利要求5所述的基于5G电视的用户互动方法，其特征在于，图像信息包括面部特征、身体特征、衣帽特征以及佩戴物品特征，所述接收所述AR服务器发送的预置交互模型和基于所述图像信息生成的三维人体模型，包括：

7.一种5G电视，其特征在于，所述5G电视包括摄像头、显示屏、处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一项所述的基于5G电视的用户互动方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至6中任一项所述的基于5G电视的用户互动方法的步骤。