CN115097995A - 界面交互方法、界面交互装置以及计算机存储介质 - Google Patents

Abstract

本申请公开了一种界面交互方法、界面交互装置以及计算机存储介质，属于交互技术领域。该方法包括：通过显示屏展示第一界面；在第一界面中的对应位置展示至少一个用户的人体姿态对应的图像；响应于人体姿态对应的图像与多个第一控件中的目标第一控件的交叠时间大于预设值，通过显示屏展示目标第一控件对应的第二界面。本申请通过在第一界面中的对应位置展示人体姿态对应的图像，之后在人体姿态对应的图像与一个控件的交叠时间大于预设值时，展示该控件对应的第二界面。如此便无需用户进行操作，便实现了用户与界面交互装置之间的交互，解决了相关技术中的界面交互方法较为复杂的问题，实现了简化界面交互方法的效果。

Description

界面交互方法、界面交互装置以及计算机存储介质

技术领域

本申请涉及交互技术领域，特别涉及一种界面交互方法、界面交互装置以及计算机存储介质。

背景技术

界面交互是指用户与界面交互装置中的显示屏所显示的界面进行的交互，用户通过该界面可以获取信息，或者，可以通过该界面向界面交互装置输入信息。

一种界面交互方法中，通过界面交互装置中的显示屏展示多个控件，每个控件可以具有一个对应的信息栏目，当用户经过该界面交互装置时，可以点击显示屏所显示的多个控件中的一个控件，界面交互装置即可以控制显示屏显示被点击的控件对应的信息栏目。

但是，上述界面交互方法中的交互方式较为复杂。

发明内容

本申请实施例提供了一种界面交互方法、界面交互装置以及计算机存储介质。所述技术方案如下：

根据本申请实施例的一方面，提供一种界面交互方法，所述方法应用于界面交互装置，所述界面交互装置包括显示屏以及人体姿态识别组件，所述方法包括：

通过所述显示屏展示第一界面，所述第一界面上具有多个第一控件；

响应于所述人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像；

响应于所述人体姿态对应的图像与所述多个第一控件中的目标第一控件的交叠时间大于预设值，通过所述显示屏展示所述目标第一控件对应的第二界面。

可选地，所述预设区域位于所述显示屏正对的区域中，

所述基于所述用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像，包括：

通过所述人体姿态识别组件获取所述至少一个用户在所述预设区域中在水平方向上的位置；

在所述第一界面中的水平方向上的对应位置，展示所述至少一个用户的人体姿态对应的图像。

可选地，所述人体姿态识别组件检测到预设区域中存在至少两个用户的人体姿态，

所述响应于所述人体姿态对应的图像与所述多个第一控件中的目标第一控件的交叠时间大于预设值，通过所述显示屏展示所述目标第一控件对应的第二界面，包括：

响应于所述至少两个用户的人体姿态对应的图像中，存在至少两个目标用户的人体姿态对应的图像与所述多个第一控件的交叠时间大于预设值，确定所述至少两个目标用户中与所述显示屏的距离最近的第一目标用户；

通过所述显示屏，展示与第一图像交叠的目标第一控件对应的第二界面，所述第一图像为所述第一目标用户的人体姿态对应的图像。

可选地，所述基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像，包括：

分别获取所述至少两个用户与所述显示屏之间的相对距离以及相对位置；

基于所述至少两个用户与所述显示屏之间的相对距离以及相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像，所述用户的人体姿态对应的图像的尺寸与所述用户与所述显示屏之间的相对距离负相关。

可选地，所述第二界面包括位于所述第二界面的边缘的折叠控件，所述折叠控件与至少两个第三控件对应，

所述通过所述显示屏展示所述目标第一控件对应的第二界面之后，所述方法还包括：

通过所述人体姿态识别组件获取所述至少一个用户中的目标用户的手部信息；

基于所述手部信息在所述第二界面中展示所述手部信息对应的图像；

响应于所述手部信息发出针对所述折叠控件的操作，在所述第二界面中展示所述折叠控件对应的至少两个第三控件。

可选地，在所述第二界面中展示所述折叠控件对应的至少两个第三控件之后，所述方法还包括：

响应于所述手部信息发出针对所述第三控件的操作，通过所述显示屏展示所述第三控件对应的第二界面，并停止显示所述折叠控件对应的至少两个第三控件。

可选地，所述通过所述显示屏展示所述目标第一控件对应的第二界面，包括：

基于所述目标用户与所述显示屏的相对位置，确定所述折叠控件在所述第二界面中的折叠位置；

通过所述显示屏展示所述目标第一控件对应的第二界面，在所述第二界面的所述折叠位置显示所述折叠控件。

可选地，所述折叠控件呈条状，且位于所述第二界面的边缘。

可选地，所述人体姿态对应的图像为所述人体姿态对应的人形图像。

可选地，所述第二界面包括多个第二控件，所述多个第二控件在所述第二界面中沿水平方向排布，所述通过所述显示屏展示所述目标第一控件对应的第二界面，

所述通过所述显示屏展示所述目标第一控件对应的第二界面之后，所述方法还包括：

基于所述至少一个用户中的目标用户的位置，在所述第二界面展示所述多个第二控件中与所述目标用户的位置正对的第二控件对应的多个第二子控件，所述多个第二子控件在所述第二控件所在的位置沿第二方向排布，所述第二方向与水平方向相交。

可选地，所述基于所述至少一个用户中的目标用户的位置，在所述第二界面展示所述多个第二控件中与所述目标用户的位置正对的第二控件对应的多个第二子控件，包括：

确定所述至少一个用户中的目标用户的位置正对的目标第二控件；

从所述目标第二控件所在的位置，分别向所述目标第二控件的上方和下方弹出所述多个第二子控件。

可选地，所述界面交互装置还包括扬声器，

所述通过所述显示屏展示所述目标第一控件对应的第二界面之后，所述方法还包括：

通过所述扬声器播放所述第二界面对应的多个手势控制信息。

根据本申请实施例的另一方面，提供一种界面交互装置，所述界面交互装置包括控制组件、显示屏以及人体姿态识别组件，所述控制组件分别与所述显示屏以及人体姿态识别组件电连接，所述控制组件包括：

第一展示模块，用于控制所述显示屏用于第一界面，所述第一界面上具有多个第一控件；

第二展示模块，用于响应于所述人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像；

第三展示模块，用于响应于所述人体姿态对应的图像与所述多个第一控件中的目标第一控件的交叠时间大于预设值，通过所述显示屏展示所述目标第一控件对应的第二界面。

根据本申请实施例的另一方面，提供一种界面交互装置，所述界面交互装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的界面交互方法。

根据本申请实施例的另一方面，提供一种计算机存储介质，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的界面交互方法。

根据本申请实施例的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过在显示屏的第一界面展示多个第一控件，并在人体姿态识别组件检测到预设区域中用户的人体姿态时，基于用户的位置，在第一界面中的对应位置展示人体姿态对应的图像，之后在人体姿态对应的图像与一个控件的交叠时间大于预设值时，展示该控件对应的第二界面。如此便无需用户进行操作，便实现了用户与界面交互装置之间的交互，简化了界面交互方法，解决了相关技术中的界面交互方法较为复杂的问题，实现了简化界面交互方法的效果。用户可以无需点击界面交互装置，便能够与界面交互装置进行交互，简化了界面交互方法，提升了用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种界面交互装置的结构示意图；

图2是本申请实施例示出的一种界面交互方法的流程图；

图3是本申请实施例示出的一种界面交互方法的流程图；

图4是本申请实施例中的一种第一界面的示意图；

图5是本申请实施例中一种用户以及显示屏的位置关系示意图；

图6是本申请实施例中另一种用户以及显示屏的位置关系示意图；

图7是本申请实施例中一种用户以及显示屏的位置关系示意图；

图8是本申请实施例提供的一种第二界面的示意图；

图9是本申请实施例中一种第二界面的示意图；

图10是本申请实施例中另一种第二界面的示意图；

图11是本申请实施例中另一种第二界面的示意图；

图12是本申请实施例提供的另一种用户以及显示屏的示意图；

图13是本申请实施例中一种第三界面的示意图；

图14是本申请实施例提供的一种界面交互装置的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

界面交互装置可以为包括显示屏的各种智能设备，如智能手机、平板电脑、笔记本电脑、立式广告机、电子画框以及户外电子屏等。目前，随着各种界面交互装置广泛的应用于生活中的各个方面，界面交互就成了一种重要的交互方式。通过界面交互，用户可以从界面交互装置中获取各种信息，相对的，界面交互装置也可以向用户展示各种信息，例如，可以向用户展示预设的多种信息。

但是，目前的界面交互方法中，通常需要用户主动去操作界面交互装置，例如需要用户主动去点击界面交互装置的显示屏上所展示的某个控件，以便于界面交互装置可以根据用户点击的控件来展示对应的信息，以实现向用户展示信息的效果。此种方式虽然能够向用户展示信息，实现了界面交互的功能，但是交互过程较为复杂(此处的复杂可以是指对于用户较为复杂)，用户需要主动停留在界面交互装置前，并主动点击控件才能够实现交互。这大大打击了用户进行界面交互的积极性，降低了界面交互装置被使用的可能性，进而也降低了界面交互装置所要提供的信息被用户所得知的可能性。示例性的，界面交互装置所要提供的信息为广告信息，则该方法就会降低该广告信息被用户得知的看到的可能性，降低了广告效果。

图1是本申请实施例提供的一种界面交互装置的结构示意图，该界面交互装置10可以包括显示屏11以及人体姿态识别组件12。人体姿态识别组件12可以安装于显示屏11上，也可以独立设置于显示屏11外，图1示出的是人体姿态识别组件12安装于显示屏11上的结构，但本申请实施例对此不进行限制。当人体姿态识别组件12安装于显示屏11上时，可以位于显示屏11的上边沿或者下边沿。

显示屏11可以具有图像显示功能，显示屏11可以向正对的方向发光，以使位于正对方向的预设区域q中的用户能够看到显示屏11所显示的图像。此外，该显示屏11还可以为触控屏，以丰富界面交互的方式，提升用户体验。

人体姿态识别组件12可以用于获取预设区域q中的用户的人体姿态相关的数据，如姿态、位置以及手势等信息。该人体姿态识别组件12可以通过各种方式来获取人体姿态相关的数据，例如通过红外线传感器来获取人体姿态相关的数据等，本申请实施例对此不进行限制。该预设区域q的大小可以由人体姿态识别组件12的检测能力以及预先设置的检测区域共同决定。例如，人体姿态识别组件12的检测能力较强，则该预设区域q的尺寸可以较大，预先设置的检测区域可以小于或者等于人体姿态识别组件12的检测能力所能覆盖的最大区域。

此外，该界面交互装置10还可以包括控制组件13，该控制组件13可以分别与显示屏11以及人体姿态识别组件12电连接。控制组件13可以结合设置于显示屏11中，或者，控制组件13可以独立设置于显示屏11的外部，并通过有线或者无线的方式与显示屏11连接。

该控制组件13可以用于控制显示屏11以及人体姿态识别组件12。例如，可以控制显示屏11所显示的图像，或者，可以获取人体姿态识别组件12所采集得到的人体姿态相关的数据。

此外，该界面交互装置10还可以包括扬声器14，扬声器14可以与控制组件13电连接，用于在控制组件13的控制下发出声音，该扬声器14可以结合设置于显示屏11中，或者，扬声器14可以独立设置于显示屏11的外部。

本申请实施例中的界面交互装置可以位于各种不同的区域下，例如，可以位于银行大厅、学校、汽车销售大厅、农产品销售点以及售楼部等。位于不同的区域，可以具有不同的功能，如位于银行大厅中时，可以用于向用户介绍金融相关的信息，如存款业务、相关规定、理财业务以及各种金融产品等，位于汽车销售大厅中时，可以用于向用户介绍汽车外观、配置、售价以及提供模拟试驾功能等。

图2是本申请实施例示出的一种界面交互方法的流程图，本实施例以该界面交互方法应用于图1所示的界面交互装置中来举例说明。该界面交互方法可以包括如下几个步骤：

步骤201、通过显示屏展示第一界面，第一界面上具有多个第一控件。

步骤202、响应于人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于至少一个用户与显示屏的相对位置，在第一界面中的对应位置展示至少一个用户的人体姿态对应的图像。

步骤203、响应于人体姿态对应的图像与多个第一控件中的目标第一控件的交叠时间大于预设值，通过显示屏展示目标第一控件对应的第二界面。

综上所述，本申请实施例提供的界面交互方法，通过在显示屏的第一界面展示多个第一控件，并在人体姿态识别组件检测到预设区域中用户的人体姿态时，基于用户的位置，在第一界面中的对应位置展示人体姿态对应的图像，之后在人体姿态对应的图像与一个控件的交叠时间大于预设值时，展示该控件对应的第二界面。如此便无需用户进行操作，便实现了用户与界面交互装置之间的交互，简化了界面交互方法，解决了相关技术中的界面交互方法较为复杂的问题，实现了简化界面交互方法的效果。用户可以无需点击界面交互装置，便能够与界面交互装置进行交互，简化了界面交互方法，提升了用户体验。

图3是本申请实施例示出的一种界面交互方法的流程图，本实施例以该界面交互方法应用于图1所示的界面交互装置中的控制组件来举例说明。该界面交互方法可以包括如下几个步骤：

步骤301、通过显示屏展示第一界面，第一界面上具有多个第一控件。

控制组件可以控制显示屏，以通过显示屏展示第一界面，该第一界面上具有多个第一控件。

本申请实施例中所涉及的控件，如第一控件、第二控件以及第三控件，可以是指显示于显示屏的界面中的图标，每个控件可以对应有控制信号，该控件可以在用户的手势控制以及触摸控制等方式下被触发。

在控制组件在通过人体姿态识别组件获取控件被触发后，可以基于该控制信号来控制显示屏，例如可以控制显示屏显示对应的内容，或者，控制扬声器发出对应的声音等。

步骤302、通过人体姿态识别组件检测预设区域。

在本申请实施例中，控制组件可以通过人体姿态识别组件持续的检测预设区域。具体的，可以是检测预设区域中是否存在用户，以及用户的位置、姿态以及手势等信息。

在本申请实施例中，控制组件可以在界面交互装置启动后就通过人体姿态识别组件持续的检测预设区域，或者，也可以在启动后，且接收到指定信号后，再通过人体姿态识别组件持续的检测预设区域，或者，也可以在启动后，且达到预设的条件(条件可以预先设置，如启动后的指定时长后，或者是启动后的指定时刻)后，再通过人体姿态识别组件持续的检测预设区域。

步骤303、响应于人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于至少一个用户与显示屏的相对位置，在第一界面中的对应位置展示至少一个用户的人体姿态对应的图像。

当人体姿态识别组件检测到预设区域中至少一个用户的人体姿态时，表明有至少一个用户处于预设区域中。此时，控制组件可以基于该至少一个用户与显示屏的相对位置，在第一界面中的对应位置展示至少一个用户的人体姿态对应的图像，如此能够提升对于预设区域中的用户的吸引力，进而能够提升用户停留在预设区域中并与界面交互装置进行交互的概率，如此便可以提升界面交互装置。

在一种示例性的实施例中，如图4所示，图4是本申请实施例中的一种第一界面的示意图，其中，第一界面m1中，展示有多个第一控件k1，以及，人体姿态对应的图像t1，该人体姿态对应的图像t1为人体姿态对应的人形图像。该人形图像的姿态与预设区域中的用户的姿态基本一致，用户若是观看到显示屏，则会在显示屏中看到一个和自身动作一致的小人，这可以大大提升用户对于界面交互装置的兴趣，进而提升用户与界面交互装置进行交互的意愿，如此便提升了界面交互装置所要展示的信息被用户获知的可能性。可选地，人体姿态对应的人形图像可以具有多种显示的形式，例如可以为人形轮廓，在轮廓中可以填充粒子，或者，可以为火柴人型的人形图像。

在一种示例性的实施例中，步骤303可以包括：

1)通过人体姿态识别组件获取至少一个用户在预设区域中在水平方向上的位置。

用户相对于界面交互装置，通常是在水平方向上移动，进而控制组件可以通过人体姿态识别组件获取至少一个用户在预设区域中在水平方向上的位置。

2)在第一界面中的水平方向上的对应位置，展示至少一个用户的人体姿态对应的图像。

其中，对应位置，可以是用户位于显示屏的正前方时，在显示屏上的正投影的位置，例如图5所示，图5是本申请实施例中一种用户以及显示屏的位置关系示意图。其中，用户51位于显示屏11的正前方，则用户的人体姿态对应的图像t1可以位于用户51在显示屏11上的正投影的位置。

此外，对应位置也可以是指用户在预设区域中的对应位置，例如，可以在水平方向上将预设区域中的位置与显示屏中的位置进行映射，使得预设区域中的每个位置都在显示屏中具有对应的位置，示例性的，如图6所示，图6是本申请实施例中另一种用户以及显示屏的位置关系示意图。其中，预设区域q中的用户51所在的位置可以与显示屏11上正对的位置对应，进而用户51的人体姿态对应的图像t1可以位于该正对的位置处。如此便实现了用户的人体姿态对应的图像会跟随用户的移动而移动的效果，用户体验较好。

此外，预设区域中也可能存在多个用户，进而人体姿态识别组件也可能识别得到至少两个用户的人体姿态。此种情况下，在一种示例性的实施例中，步骤303还可以包括：

1)分别获取至少两个用户与显示屏之间的相对距离以及相对位置。

控制组件可以通过人体姿态识别组件分别获取至少两个用户与显示屏之间的相对距离以及相对位置。其中，相对距离可以是指用户与显示屏之间的最小距离，也可以是用户与显示屏所在平面之间的垂直距离。相对位置可以参考上述图5所示的内容，在此不再赘述。

2)基于至少两个用户与显示屏之间的相对距离以及相对位置，在第一界面中的对应位置展示至少一个用户的人体姿态对应的图像。

其中，用户的人体姿态对应的图像的尺寸与用户与显示屏之间的相对距离负相关。也即是用户与显示屏之间的距离越小，则用户的人体姿态对应的图像的尺寸就会越大，如此可以便于用户在显示屏中找出自身对应的图像，增加了界面交互方法的交互性以及趣味性，也增加了用户体验。

示例性的，如图7所示，图7是本申请实施例中一种用户以及显示屏的位置关系示意图，其中，用户y1与显示屏的距离较近，则用户y1的人体姿态对应的图像y11的尺寸较大，用户y2与显示屏的距离较远，则用户y2的人体姿态对应的图像y12的尺寸较小。

当然，用户的人体姿态对应的图像也可以在第一界面中的竖直方向上移动，例如，当用户沿远离显示屏的方向移动时，用户的人体姿态对应的图像可以对应的在第一界面中向竖直向上的方向移动，当用户沿靠近显示屏的方向移动时，用户的人体姿态对应的图像可以对应的在第一界面中向竖直向下的方向移动，与上述水平方向上的移动结合，该第一界面中用户的人体姿态对应的图像可以呈现一种镜像的显示方式，也即是将用户镜像的在第一界面中进行显示，提升了用户的交互体验。

当图7中的住房控件被触发时，控制组件可以控制显示屏展示金融家园住宅沙盘，并在界面中数字化显示楼盘市值、成交量等数据。在该金融家园住宅沙盘中，可以展示住房金融岛住宅模型，AI智能管家同步语音播报欢迎词，提示客户通过手势识别点击任意楼盘进行详细体验，针对不同楼盘，实时动态显示该楼盘的关注排行榜，月成交量和均价等数据。

此外，当用户通过手势识别选择不同户型时，可以通过显示屏显示房屋内部场景，并向于用户提供房屋内的AR(增强现实)实景漫游功能，用户可以通过向上、向左向右和向下看等姿态，来体验客厅场景，同时可以查看房屋置业方案。

控制组件还可以通过扬声器播放房屋相关信息，如住宅楼盘以及户型的详情介绍。

步骤304、响应于人体姿态对应的图像与多个第一控件中的目标第一控件的交叠时间大于预设值，通过显示屏展示目标第一控件对应的第二界面。

显示屏上显示了用户的人体姿态对应的图像后，该图像会跟随用户移动而移动，进而用户便能够通过移动，以使人体姿态对应的图像移动至与某个第一控件交叠的位置。当用户的人体姿态对应的图像与某个第一控件交叠使，该第一控件可以发生指定形式的变化，例如可以发光、变大、发生碰撞效果等，本申请实施例对此不进行限制。

由上述论述可知，人体姿态识别组件可能检测到预设区域中存在至少两个用户的人体姿态，此时也可能存在多个目标用户的人体姿态对应的图像与多个第一控件的交叠时间大于预设值的情况，如此情况下，步骤304可以包括：

1)响应于至少两个用户的人体姿态对应的图像中，存在至少两个目标用户的人体姿态对应的图像与多个第一控件的交叠时间大于预设值，确定至少两个目标用户中与显示屏的距离最近的第一目标用户。

至少两个用户的人体姿态对应的图像中，存在至少两个目标用户的人体姿态对应的图像与多个第一控件的交叠时间大于预设值时，表明有多个用户想要与界面交互装置进行交互，或者，可以能是有至少一个用户想要与界面交互装置进行交互，且有至少一个用户由于其他原因恰好停留在了预设区域中，此时控制组件可以确定至少两个目标用户中与显示屏的距离最近的第一目标用户，控制组件可以通过人体姿态识别组件来确定多个用户中与显示屏的距离最近的第一目标用户。

本申请实施例中，预设值可以预先进行设置，可以设置为2秒～5秒，例如2秒、3秒和4秒等。

2)通过显示屏，展示与第一图像交叠的目标第一控件对应的第二界面。

该最近的第一目标用户为实际要与界面交互装置进行交互的用户的可能性较大。进而控制组件可以与该第一目标用户进行交互，并通过显示屏，展示与第一图像交叠的目标第一控件对应的第二界面。如此一方面可以避免显示屏的显示出现混乱，另一方面可以降低界面交互装置误与仅仅是经过预设区域的用户进行交互的概率，也即是降低了无效交互的概率。

此外，请参考图8，图8是本申请实施例提供的一种第二界面的示意图。其中，第二界面m2包括多个第二控件k2以及位于第二界面m2的折叠控件z，折叠控件z与至少两个第三控件对应。当折叠控件z被触发时，可以在第二界面m2中显示第三控件。

可选地，折叠控件z呈条状，且位于第二界面m2的边缘。如此可以避免折叠控件对于第二界面的其他内容的遮挡和影响。

本申请实施例中，一种显示折叠控件的方式可以包括：

1)基于目标用户与显示屏的相对位置，确定折叠控件在第二界面中的折叠位置。

控制组件可以参考上述人体姿态对应的图像在第一界面中的位置的确定方式，来确定折叠控件在第二界面中的折叠位置，例如可以使折叠控件处于第二界面中正对目标用户的位置，并可以跟随目标用户的位置的移动而移动，以便于用户可以在各个位置中随时都能够便于触发折叠控件。

2)通过显示屏展示目标第一控件对应的第二界面，在第二界面的折叠位置显示折叠控件。

控制组件可以通过显示屏展示目标第一控件对应的第二界面，在第二界面的折叠位置显示折叠控件。示例性的，请参考图9，图9是本申请实施例中一种第二界面的示意图，其中，折叠控件z位于目标用户91在第二界面m2中正对的位置，且能够跟随目标用户91移动，便于目标用户91操作。在图9中，多个第二控件k2在第二界面m2中沿水平方向排布，当然，多个第二控件k2也可以以其他方式在第二界面m2中排布，本申请实施例对此不进行限制。

步骤305、通过扬声器播放第二界面对应的多个手势控制信息。

控制组件在展示第二界面后，可以通过扬声器播放第二界面对应的多个手势控制信息。这可以便于用户获知在第二界面中的手势控制方式，其中，手势控制信息可以包括：

以切割的方式对控件进行选择；向左伸出左臂，向左旋转，可以控制第二界面或第二界面中的显示内容向左旋转；向右伸出右臂，向右旋转，可以控制第二界面或第二界面中的显示内容向右旋转；双臂交叉为可以控制返回到上一级界面。

此外，播放第二界面对应的多个手势控制信息还可以吸引用户来与界面交互装置进行交互。也可能存在用户意外处于预设区域中，并触发了第一界面中的第一控件的情况，此种情况下，可以通过播放声音的方式来提醒用户，用户可能会在听到手势控制信息产生与界面交互装置进行交互的兴趣，如此可以提升界面交互方法对于信息的推广能力。

步骤306、通过人体姿态识别组件获取至少一个用户中的目标用户的手部信息。

控制组件可以在显示屏展示第二界面时，通过人体姿态识别组件获取至少一个用户中的目标用户的手部信息。该手部信息可以包括目标用户的手部的位置、姿态以及手势信息等信息。

本申请实施例中，目标用户可以是指步骤304中所确定的，人体姿态对应的图像与多个第一控件中的目标第一控件的交叠时间大于预设值的用户，当有多个用户的人体姿态对应的图像与多个第一控件中的目标第一控件的交叠时间大于预设值时，目标用户可以是其中与显示屏的距离最近的用户。

步骤307、基于手部信息在第二界面中展示手部信息对应的图像。

控制组件可以基于上述步骤306获取的手部信息，在第二界面中展示手部信息对应的图像。该图像可以为手掌形状的图像，也可以为其他形状，本申请实施例对此不进行限制。在第二界面中展示手部信息对应的图像，可以参考上述步骤中展示人体姿态对应的图像的方式，也即是可以在第二界面中用户的手部的镜像的位置，展示手部信息对应的图像，并持续跟踪用户手部的位置，以持续显示手部信息对应的图像，便于用户在第二界面进行手势控制。

示例性的，请参考图10，图10是本申请实施例中另一种第二界面的示意图，其中，第二界面m2中示出了手部信息对应的图像t2。用户可以基于该图像t2在第二界面m2中进行手势控制。

步骤308、响应于手部信息发出针对折叠控件的操作，在第二界面中展示折叠控件对应的至少两个第三控件。

控制组件可以控制显示屏，在第二界面先播放过渡动画，再在第二界面中展示折叠控件对应的至少两个第三控件。该过渡动画可以包括第三控件从折叠控件的位置处逐渐弹出，或者是从其他位置逐渐出现等等。当第三控件的数量较多时，可以排列为多行，当第三控件的数量较少时，可以排列为一行。

控制组件在接收到针对折叠控件的操作时，可以控制显示屏，使折叠控件发出对应的反馈，例如可以进行振动、发光、从手势的触发位置断开以及逐渐从第二界面中消失中的至少一种。

该针对折叠控件的操作可以是用户通过手势对折叠控件进行的切割动作。

请参考图11，图11是本申请实施例中另一种第二界面的示意图，其中，第二界面m2中展示有折叠控件z对应的至少两个第三控件k3。此外，该第二界面m2中还可以展示有其他控件，如车内控件以及车外控件用以展示其他汽车相关的信息。车内控件被触发后，界面可以展示汽车内饰，进行360°查看；车外控件被发后，界面可以显示车外，进行360°查看。此外，界面还可以在左右两侧展示汽车的性能参数，包括百公里油耗、发动机排量、最高时速、长宽高、额定功率以及百公里加速等等。

当图11所示的第三控件k3中，试驾控件被用户触发时，界面交互装置可以向用户提供模拟试驾，在模拟试驾时，可以通过显示屏显示模拟车内场景，并通过扬声器播放试驾手势信息，如播放：请您伸出双臂向前，启动新车试驾，您可以利用手臂的高低控制方向，左臂高，向左，右臂高，向右。

在模拟试驾过程中，汽车启动后，可以展示行驶速度和行驶距离参数，实时变化。在界面的右下角展示小地图，标记试驾途中途径的周边商圈位置点位。

此外，还可以设置4个导航点位，车辆行驶到对应点位，车辆右侧立体用户界面弹窗展示该位置商户的信息，包括名称，海报图片、优惠活动信息。弹窗显示指定时长(如4秒)后消失，汽车继续行驶，到达下一点位，右侧再弹出商户信息。驾驶过程可以不设置结束，客户可通过菜单切换到其他模式，界面的右下方可以固定位置展示预约试驾标签，指定时间间隔(如4秒)可以进行一次进行翻转，展示详情。

步骤309、响应于手部信息发出针对第三控件的操作，通过显示屏展示第三控件对应的第二界面，并停止显示折叠控件对应的至少两个第三控件。

当用户通过手势发出针对折叠控件对应的第三控件的操作时，控制组件可以通过显示屏展示第三控件对应的第二界面，并停止显示折叠控件对应的至少两个第三控件。其中，在停止显示折叠控件对应的至少两个第三控件时，可以播放预设的过渡动画，例如，可以是至少两个第三控件向折叠控件的位置逐渐收缩并消失于叠控件的位置。

步骤310、基于至少一个用户中的目标用户的位置，在第二界面展示多个第二控件中与目标用户的位置正对的第二控件对应的多个第二子控件。

在一种示例性的实施例中，控制组件可以基于目标用户的位置，在第二界面展示多个第二控件中与目标用户的位置正对的第二控件对应的多个第二子控件。也即是在用户位于某个第二控件前时，控制组件可以控制显示屏显示第二子控件，以便于向用户展示更多的信息，提升界面交互方法的信息交互效率。

在一种示例性的实施例中，步骤310可以包括：

1)确定至少一个用户中的目标用户的位置正对的目标第二控件。

控制组件可以通过人体姿态识别组件来确定至少一个用户中的目标用户的位置正对的目标第二控件。

2)从目标第二控件所在的位置，分别向目标第二控件的上方和下方弹出多个第二子控件。

此种展示方法可以便于用户观看到第二控件对应的第二子控件，同时也便于用户进一步对第二子控件进行控制，提升了用户体验。

请参考图12，图12是本申请实施例提供的另一种用户以及显示屏的示意图。其中，在第二界面m2中，多个第二子控件ss1在第二控件k2所在的位置沿第二方向f2排布，第二方向f2与水平方向f1相交。图12示出的是第二方向f2与水平方向f1相交垂直的情况，但并不对此进行限制。第二子控件ss1的宽度可以与第二控件的宽度相同，以遮挡第二控件。

在显示多个第二子控件ss1时，目标第二控件可以先显示过渡动画，再显示多个第二子控件ss1。过渡动画可以为旋转、渐变等，本申请实施例对此不进行限制。

图10所示的第二界面m2，也可以在本申请实施例提供的界面交互方法中，作为初始页面显示于显示屏上，如此便能够在用户经过时，根据用户的位置来自动显示不同的详细信息，提升了向用户展示信息的能力。

当图4所示的第一界面中，绿色及金融的控件被触发时，控制组件可以控制显示屏显示绿色金融产品和服务。例如图13所示，图13是本申请实施例中一种第三界面的示意图，其中，显示屏展示有第三界面m3，该第三界面的场景可以包括在立体空间中的科技树121，立体空间中可以具有悬浮的粒子。界面m3的两侧可以具有多个悬浮窗c1。

其中，科技树121上设置有多个悬浮气泡1211，悬浮气泡1211中可以显示主题概念，包括：绿色信贷、绿色债券、绿色基金、绿色保险、衍生品等。

用户可以通过切割手势来选择这些气泡。气泡被选中后，可以飞向右上侧悬浮窗c1，气泡在右上侧悬浮窗c1中出现破裂的动画效果，并显示当前选中气泡主题概念的介绍。科技树上气泡消失超过指定数量(如3个)后，在消失位置自动补充其他主题概念的气泡。

此外，在展示该第三界面m3时，控制组件可以控制显示屏11在第三界面m3中展示用户的人体姿态对应的人形图像，控制组件还可以通过扬声器播放语音：请您做出指定手势(如手心向上伸出右手等)，查收您的碳汇变化。

当用户伸出手，手掌向上时，可以在人形图像的手掌的位置处，立体场景中的粒子可以聚在一起变为一个球，然后爆裂，弹出立体用户界面窗口，显示主题概念词，例如：垃圾分类、节能减排(内容分为正负反馈两类)；立体用户界面内正反馈字体绿色，负反馈字体红色。其中，正反馈可以为：右下方碳汇天平p1水滴落下，柱形图p2增长动画显示；负反馈可以为：右下方碳汇天平p1水滴落下，柱形图p2降低动画显示。同时碳汇天平p1根据正反馈和负反馈词汇数量的多少进行向左向右倾斜。

此外，第三界面m3的左侧可以设置有数据看板b1，可以用于展示各个区域和城市的碳交易平台实时数据。

示例性的，数据看板b1可以展示各个城市(如北京、福建、广东、湖北、上海、深圳、天津、重庆)的碳价格走势、碳交易量、碳交易额以及这些城市的市场占比等。

综上所述，本申请实施例提供的界面交互方法，通过在显示屏的第一界面展示多个第一控件，并在人体姿态识别组件检测到预设区域中用户的人体姿态时，基于用户的位置，在第一界面中的对应位置展示人体姿态对应的图像，之后在人体姿态对应的图像与一个控件的交叠时间大于预设值时，展示该控件对应的第二界面。如此便无需用户进行操作，便实现了用户与界面交互装置之间的交互，简化了界面交互方法，解决了相关技术中的界面交互方法较为复杂的问题，实现了简化界面交互方法的效果。用户可以无需点击界面交互装置，便能够与界面交互装置进行交互，简化了界面交互方法，提升了用户体验。

图14是本申请实施例提供的一种界面交互装置的框图，该界面交互装置包括控制组件1410、显示屏1420以及人体姿态识别组件1430，控制组件1410分别与显示屏1420以及人体姿态识别组件1430电连接，控制组件1410包括：

第一展示模块1411，用于控制显示屏用于第一界面，第一界面上具有多个第一控件。

第二展示模块1412，用于响应于人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于至少一个用户与显示屏的相对位置，在第一界面中的对应位置展示至少一个用户的人体姿态对应的图像。

第三展示模块1413，用于响应于人体姿态对应的图像与多个第一控件中的目标第一控件的交叠时间大于预设值，通过显示屏展示目标第一控件对应的第二界面。

综上所述，本申请实施例提供的界面交互装置，通过在显示屏的第一界面展示多个第一控件，并在人体姿态识别组件检测到预设区域中用户的人体姿态时，基于用户的位置，在第一界面中的对应位置展示人体姿态对应的图像，之后在人体姿态对应的图像与一个控件的交叠时间大于预设值时，展示该控件对应的第二界面。如此便无需用户进行操作，便实现了用户与界面交互装置之间的交互，简化了界面交互方法，解决了相关技术中的界面交互方法较为复杂的问题，实现了简化界面交互方法的效果。用户可以无需点击界面交互装置，便能够与界面交互装置进行交互，简化了界面交互方法，提升了用户体验。

本申请实施例还提供一种界面交互装置，界面交互装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的界面交互方法。

本申请实施例还提供一种计算机存储介质，计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的界面交互方法。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

本申请中术语“A和B的至少一种”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B的至少一种，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。同理，“A、B和C的至少一种”表示可以存在七种关系，可以表示：单独存在A，单独存在B，单独存在C，同时存在A和B，同时存在A和C，同时存在C和B，同时存在A、B和C这七种情况。同理，“A、B、C和D的至少一种”表示可以存在十五种关系，可以表示：单独存在A，单独存在B，单独存在C，单独存在D，同时存在A和B，同时存在A和C，同时存在A和D，同时存在C和B，同时存在D和B，同时存在C和D，同时存在A、B和C，同时存在A、B和D，同时存在A、C和D，同时存在B、C和D，同时存在A、B、C和D，这十五种情况。

在本申请中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种界面交互方法，其特征在于，所述方法应用于界面交互装置，所述界面交互装置包括显示屏以及人体姿态识别组件，所述方法包括：

通过所述显示屏展示第一界面，所述第一界面上具有多个第一控件；

响应于所述人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像；

响应于所述人体姿态对应的图像与所述多个第一控件中的目标第一控件的交叠时间大于预设值，通过所述显示屏展示所述目标第一控件对应的第二界面。

2.根据权利要求1所述的方法，其特征在于，所述预设区域位于所述显示屏正对的区域中，

所述基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像，包括：

通过所述人体姿态识别组件获取所述至少一个用户在所述预设区域中在水平方向上的位置；

在所述第一界面中的水平方向上的对应位置，展示所述至少一个用户的人体姿态对应的图像。

3.根据权利要求1所述的方法，其特征在于，所述人体姿态识别组件检测到预设区域中存在至少两个用户的人体姿态，

所述响应于所述人体姿态对应的图像与所述多个第一控件中的目标第一控件的交叠时间大于预设值，通过所述显示屏展示所述目标第一控件对应的第二界面，包括：

响应于所述至少两个用户的人体姿态对应的图像中，存在至少两个目标用户的人体姿态对应的图像与所述多个第一控件的交叠时间大于预设值，确定所述至少两个目标用户中与所述显示屏的距离最近的第一目标用户；

通过所述显示屏，展示与第一图像交叠的目标第一控件对应的第二界面，所述第一图像为所述第一目标用户的人体姿态对应的图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像，包括：

分别获取所述至少两个用户与所述显示屏之间的相对距离以及相对位置；

基于所述至少两个用户与所述显示屏之间的相对距离以及相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像，所述用户的人体姿态对应的图像的尺寸与所述用户与所述显示屏之间相对距离负相关。

5.根据权利要求1所述的方法，其特征在于，所述第二界面包括位于所述第二界面的边缘的折叠控件，所述折叠控件与至少两个第三控件对应，

所述通过所述显示屏展示所述目标第一控件对应的第二界面之后，所述方法还包括：

通过所述人体姿态识别组件获取所述至少一个用户中的目标用户的手部信息；

基于所述手部信息在所述第二界面中展示所述手部信息对应的图像；

响应于所述手部信息发出针对所述折叠控件的操作，在所述第二界面中展示所述折叠控件对应的至少两个第三控件。

6.根据权利要求5所述的方法，其特征在于，在所述第二界面中展示所述折叠控件对应的至少两个第三控件之后，所述方法还包括：

响应于所述手部信息发出针对所述第三控件的操作，通过所述显示屏展示所述第三控件对应的第二界面，并停止显示所述折叠控件对应的至少两个第三控件。

7.根据权利要求5所述的方法，其特征在于，所述通过所述显示屏展示所述目标第一控件对应的第二界面，包括：

基于所述目标用户与所述显示屏的相对位置，确定所述折叠控件在所述第二界面中的折叠位置；

通过所述显示屏展示所述目标第一控件对应的第二界面，在所述第二界面的所述折叠位置显示所述折叠控件。

8.根据权利要求5所述的方法，其特征在于，所述折叠控件呈条状，且位于所述第二界面的边缘。

9.根据权利要求1-8任一所述的方法，其特征在于，所述人体姿态对应的图像为所述人体姿态对应的人形图像。

10.根据权利要求1-8任一所述的方法，其特征在于，所述第二界面包括多个第二控件，所述多个第二控件在所述第二界面中沿水平方向排布，所述通过所述显示屏展示所述目标第一控件对应的第二界面，

所述通过所述显示屏展示所述目标第一控件对应的第二界面之后，所述方法还包括：

基于所述至少一个用户中的目标用户的位置，在所述第二界面展示所述多个第二控件中与所述目标用户的位置正对的第二控件对应的多个第二子控件，所述多个第二子控件在所述第二控件所在的位置沿第二方向排布，所述第二方向与水平方向相交。

11.根据权利要求10所述的方法，其特征在于，所述基于所述至少一个用户中的目标用户的位置，在所述第二界面展示所述多个第二控件中与所述目标用户的位置正对的第二控件对应的多个第二子控件，包括：

确定所述至少一个用户中的目标用户的位置正对的目标第二控件；

从所述目标第二控件所在的位置，分别向所述目标第二控件的上方和下方弹出所述多个第二子控件。

12.一种界面交互装置，其特征在于，所述界面交互装置包括控制组件、显示屏以及人体姿态识别组件，所述控制组件分别与所述显示屏以及人体姿态识别组件电连接，所述控制组件包括：

第一展示模块，用于控制所述显示屏用于第一界面，所述第一界面上具有多个第一控件；

第二展示模块，用于响应于所述人体姿态识别组件检测到预设区域中至少一个用户的人体姿态，基于所述至少一个用户与所述显示屏的相对位置，在所述第一界面中的对应位置展示所述至少一个用户的人体姿态对应的图像；

第三展示模块，用于响应于所述人体姿态对应的图像与所述多个第一控件中的目标第一控件的交叠时间大于预设值，通过所述显示屏展示所述目标第一控件对应的第二界面。

13.一种界面交互装置，其特征在于，所述界面交互装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的界面交互方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的界面交互方法。

Images