CN112783585A

CN112783585A - 界面调整方法、装置、电子设备、车辆及存储介质

Info

Publication number: CN112783585A
Application number: CN202010708102.4A
Authority: CN
Inventors: 丁磊; 张子琦
Original assignee: Human Horizons Shanghai Internet Technology Co Ltd
Current assignee: Human Horizons Shanghai Internet Technology Co Ltd
Priority date: 2020-07-21
Filing date: 2020-07-21
Publication date: 2021-05-11

Abstract

本公开涉及界面调整方法、装置、电子设备、车辆及存储介质。该方法包括：响应于接收到第一语音输入，获得该第一语音输入相对于显示屏幕的方位作为第一方位；基于所述第一方位，判断是否要调整UI控件在显示屏幕上的显示；在确定要调整UI控件的显示的情况下，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标，以使得基于所述UI控件的所述图像元素的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第一方位的偏转进行显示。

Description

界面调整方法、装置、电子设备、车辆及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种界面调整方法与装置、计算机可读存储介质。

背景技术

当前，用户与设备之间的交互越来越多。对于传统的显示设备，用户通常正对着屏幕，而在某些环境(例如车载环境、特定展览环境等)中，用户可能是侧对屏幕的，导致无法获得正对屏幕时的视觉和交互体验。

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

发明内容

本公开提供一种界面调整方法与装置、计算机可读存储介质，以解决或缓解现有技术中的一项或更多项技术问题。

作为本公开的一个方面，本公开提供一种界面调整方法，包括：

响应于接收到第一语音输入，获得该第一语音输入相对于显示屏幕的方位作为第一方位；

基于所述第一方位，判断是否要调整UI控件在显示屏幕上的显示；

在确定要调整UI控件的显示的情况下，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标，以使得基于所述UI控件的所述图像元素的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第一方位的偏转进行显示。

作为本公开的一个方面，本公开提供一种界面调整装置，包括：

方位确定单元，被配置用于响应于接收到第一语音输入，获得该第一语音输入相对于显示屏幕的方位作为第一方位；

判断单元，被配置用于基于所述第一方位，判断是否要调整UI控件在显示屏幕上的显示；以及

变换单元，被配置用于在确定要调整UI控件的显示的情况下，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标，以使得基于所述UI控件的所述图像元素的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第一方位的偏转进行显示。

作为本公开的一个方面，本公开提供一种电子设备，包括：

处理器；以及

存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述方法之一。

作为本公开的一个方面，本公开提供一种车辆，包括：

上述的电子设备之一。

作为本公开的一个方面，本公开提供一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行上述方法之一。

本申请公开的界面调整方法、装置、电子设备、车辆及存储介质，使得用户在侧对屏幕时也能够获得良好的动态交互视觉体验，解决了现有技术中当用户侧对屏幕时视觉体验不好乃至交互效率不高的技术问题。

本公开不以任何方式受到上述说明的任何限制。除上面描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本公开的进一步的方面、实施方式和特征也将会是清晰的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开的一些实施方式，而不应将其视为是对本公开保护范围的限制。

图1示出了根据本公开实施例的界面调整方法的流程图。

图2示出了根据本公开另一实施例的界面调整方法的流程图。

图3示出了根据本公开另一实施例的界面调整方法的流程图。

图4示出了根据本公开实施例的为图像元素添加深度信息的示意图。

图5示出了根据本公开实施例的为不同的图像元素设置深度值的示意图。

图6示出了根据本公开实施例的执行坐标变换之后的UI控件的示意图。

图7示出了用户与显示屏幕的朝向不同的示意情形。

图8示出了用户位于显示屏幕左侧的示意情形。

图9示出了用户位于显示屏幕右侧的示意情形。

图10示出了根据本公开另一实施例的界面调整方法的流程图。

图11示出了根据本公开另一实施例的界面调整方法的可选步骤。

图12示出了根据本公开另一实施例的界面调整方法的可选步骤。

图13示出了根据本公开另一实施例的界面调整方法的可选步骤。

图14示出了根据本公开实施例的界面调整装置的框图。

图15示出了根据本公开实施例的电子设备的框图。

图16示出了根据本公开实施例的车辆的框图。

具体实施方式

在下文中，仅简要地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本公开的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

如上所述，当在某些环境(例如车载环境、特定展览环境等)时，用户侧对显示屏幕，无法获得正对显示屏幕的视觉体验。例如，当位于车辆主驾或副驾上的用户想要通过车载系统的显示屏幕来与车载系统进行交互时，由于用户侧对着显示屏幕，容易看不清或者看不到，无法获得正对显示屏幕的视觉体验，由此也影响到交互的效率，甚至影响到车辆的安全。

本申请公开了一种界面调整方法，使得用户在侧对显示屏幕时也能够获得良好的视觉和交互体验，解决了现有技术中当用户侧对显示屏幕时视觉体验不好乃至交互效率不高的技术问题。

具体地，如图1所示，根据本公开实施例的界面调整方法可以包括如下步骤。

在步骤S100，响应于接收到第一语音输入，获得该第一语音输入相对于显示屏幕的方位作为第一方位。

假如是在上述的车载交互的场景下，用户可以通过语音输入(本文称为“第一语音输入”，以进行区分)来启动与车载系统的交互和/或发起显示界面的调整(此时的这种语音输入可以说是一种命令或者指令)。例如，用户可以发出语音，响应于用户的该语音输入，可以通过例如语音定位系统(例如在车辆环境下，可以是车载语音系统)的声源定位功能，来获得该语音输入的位置信息。

这里，用户发出的用于启动与车载系统的交互和/或发起显示界面的调整的语音例如可以是唤醒音或唤醒词。这里的唤醒音或唤醒词可以是某个或某些确定的表述，比如“HiPhi”(“高合”)或“Hi,HiPhi”(“你好高合”)之类，或者例如“打开交互”之类。另一方面，也可以是免唤醒词便可以启动与车载系统的交互和/或发起显示界面的调整，即不是通过某个或某些确定的表述(无需使用特定的唤醒词)，而是通过语音输入的上下文，便可以判断出该语音输入是要与车载系统的交互和/或发起显示界面的调整。

关于上述的第一语音输入相对于显示屏幕的方位(作为“第一方位”)，例如可以通过车载语音系统的语音定位系统来识别。

对于通过车载语音系统识别车内的语音输入的方位而言，对于车内环境，语音输入的来源是主驾驶位、副驾驶位、或者后座的位置。通常主驾驶位或者副驾驶位通过显示屏幕与车载系统交互的需求较多，而这两个位置的方位一般可以认为是45度，例如可以将主驾位置记为+45度，将副驾位置记为-45度，也可以反过来，将主驾位置记为-45度，将副驾位置记为+45度。或者也可以记为其他的角度，本文对此并不进行限制。

虽然当前的车载语音系统识别车内语音输入的精度不够高，不过本文并不限制于仅使用当前的车载语音系统，而是也可以使用将来出现的更高精度的车载语音系统。

另外，也可以选择使用精度较高的语音定位系统来识别语音输入，由此可以获得更具体或者说更精确的位置信息，比如发出语音输入的用户的空间坐标信息，例如空间位置坐标，也可以包括方位信息。通过这样的空间坐标信息与屏幕所在的空间坐标信息，可以更准确地获得语音输入(即用户)相对于显示屏幕的方位。

这里，不管语音定位系统基于语音输入能够获得的位置信息是空间物理位置(或空间坐标信息)还是包括方位信息，对于本公开所针对的界面调整而言，所需要的是语音输入相对于显示屏幕的方位(即上述的“第一方位”)。另外，即便获得的位置信息是空间坐标信息，也可以基于语音输入的空间坐标信息与显示屏幕所在的空间位置坐标来求得语音输入相对于显示屏幕的方位。

这里，交互界面(例如View)中可以包括各种UI(User Interface)控件(本文有时也称为“交互控件”)，例如按钮、输入框等。在获知了用户相对于交互界面的位置信息之后，用户相对于交互界面中各UI控件的位置信息也可以很方便地获得，因此，后面将直接使用类似“用户相对于UI控件的位置信息”的语句来描述用户的相对位置。对于用户相对于交互屏幕、交互界面、UI控件的位置信息，它们之间可以通过相互的坐标变换来很容易地得到，在此不做过多描述。这里的“位置信息”包括方位信息。

然后，在步骤S105，基于所述第一方位，判断是否要调整UI控件在显示屏幕上的显示。

具体地，如果所述第一语音输入相对于所述显示屏幕的所述方位，即第一方位不是0(或者180)度，则意味着发出该语音输入的用户的位置不是正对着显示屏幕，需要偏转显示角度。

在步骤S200，在确定要调整UI控件的显示的情况下，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标，以使得基于所述UI控件的所述图像元素的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第一方位的偏转进行显示。

通过如上所述的坐标变换，可以将界面调整成朝向语音输入的方位，也即用户所在的方位，从而可以提升用户观看显示屏幕的体验，克服侧对屏幕观看时带来的不适与困扰。而且，调整界面显示的朝向方便了用户观看之后，可以提升交互的效率。

根据本公开实施例，上述的通过变换二维坐标来调整界面显示的方式至少可以包括二维调整与三维调整两种形式。

所述二维调整即对于初始二维坐标直接进行二维变换，得到二维变形坐标。下面将举例说明。

假设一个UI控件的一个图像元素(例如一个顶点、一个轮廓点或者一个内部点等)的初始二维坐标为(x₀,y₀)，该初始二维坐标通过如下的二维变换矩阵(本文可称为“第一变换矩阵”)T₁进行坐标变换，得到二维变形坐标(x₀’,y₀’)。

其中，Scale_x表示在x方向上的缩放量，Scale_y表示在y方向上的缩放量，Trans_x表示在x方向上的位移量，Trans_y表示在y方向上的位移量，Skew_x表示在x方向上的错切量，Skew_y表示在y方向上的错切量。

由此，如下面的式子1)，直接通过对二维坐标进行二维坐标的变换，得到二维变形坐标(x₀’,y₀’)。

由此，如图2所示，在步骤S200’，可以如上所述，通过对于UI控件的图像元素的初始二维坐标(例如顶点的二维坐标)进行上述的二维变换，得到UI控件的所述图像元素的相应二维变形坐标。

对于UI控件的内部点(在UI控件的顶点与轮廓点之内的点)，也可以通过使用二维变换矩阵T₁的坐标变换来求得。另一方面，也可以通过对于内部点，基于顶点的二维变形坐标(即，变形之后的顶点的新坐标)，使用线性插值的方式来求得内部点的二维变形坐标。

如上所述，这里的“图像元素”包括UI控件的顶点、轮廓点与内部点等等。

通过如上所述的二维坐标变换，可以将界面调整成朝向语音输入的方位，也即用户所在的方位，从而可以提升用户观看显示屏幕的体验，克服侧对屏幕观看时带来的不适与困扰。而且，调整界面显示的朝向方便了用户观看之后，可以提升动态交互的效率。

上面举出了一个二维变换的例子。本领域技术人员可知，可以通过不同的二维变换矩阵来进行二维变换，因此，本申请不应被限制于这里举出的一个二维变换矩阵的例子，而是可以应用任何合适的二维变换矩阵。

关于三维调整(或者说三维变换)，下面将举例说明。

如图3所示，在步骤S200”，对于初始二维坐标添加深度信息进行三维变换之后，再通过透视变换，得到二维变形坐标。

具体地，例如，在步骤S201，通过对于UI控件的图像元素的二维坐标添加深度信息，获得UI控件的虚拟三维坐标。

这里，如上所述，UI控件的图像元素可以为其顶点，也可以为在其中的除了其顶点以外的其他的点。

假定UI控件上一个图像元素(比如UI控件的左上顶点)的初始二维坐标为(x₀,y₀)，则在本步骤，可以给该二维坐标添加深度信息，比如深度值depth₀，则此时该图像元素的坐标从二维变为三维(x₀,y₀,depth₀)。

这里，可以选择对UI控件的顶点的坐标逐个添加深度信息，使其从二维坐标变为虚拟三维坐标。当然也可以另外对UI控件中的其他图像元素的坐标类似地进行深度信息的添加，使其从二维坐标变为虚拟三维坐标。

在步骤S202，将所述图像元素的该虚拟三维坐标通过第二变换矩阵T₂(三维变换矩阵)进行坐标变换，获得所述图像元素的变换的虚拟三维坐标。

其中，所述三维变换矩阵T₂可以是基于获得的所述语音输入的方位信息来确定的。

下面将先描述三维变换矩阵T₂。如上所述，已经在步骤S100获得第一语音输入的方位信息。

在本文中，三维变换矩阵可以是使得三维坐标围绕一个轴进行变换的矩阵，或者也可以说，三维变换矩阵可以是使得三维坐标围绕任意一个轴进行变换的矩阵。这里，为了容易理解和描述起见，假定其例如是围绕Y轴旋转的三维旋转矩阵。

例如，上述的围绕Y轴旋转的三维旋转矩阵可以是基于上述的语音发出方位θ(即，上述的第一方位)而确定的如下矩阵T₂。

假设第一方位θ为+45度，则此时的矩阵T₂中的变量cos(θ)与sin(θ)、-sin(θ)均变成确定的值。类似地，当语音发出方位θ为-45度时，矩阵T₂中的变量cos(θ)与sin(θ)、-sin(θ)也成为确定的值。

本领域技术人员应当明白，可用于本公开实施例的三维变换矩阵不限于上述的矩阵T₁，而是还可以使用另外的矩阵。另外，也不是仅限于沿Y轴旋转的矩阵，而是沿任意轴都可以。

下面将结合上述的三维旋转矩阵的例子来说明如何进行坐标变换。

如下面的式子2)所示，可以对添加了深度值的图像元素的虚拟三维坐标通过第二变换矩阵T₂(三维旋转矩阵)进行旋转变化，得到变换的虚拟三维坐标，由此实现UI控件绕Y轴的旋转，如图4所示。这里，在使用三维旋转矩阵对虚拟三维坐标进行旋转变化时，可以对虚拟三维坐标添加一个维度的固定值(例如下面的式子2)中示出的固定值1)以便进行旋转变化。

在下面的式子2)中，通过将所述虚拟三维坐标(x₀，y₀,Depth)与三维旋转矩阵T₂相乘，便可得到变换的虚拟三维坐标(x₀’，y₀’,Depth’)。

此时，通过式子2)得到的变换的虚拟三维坐标(x₀’，y₀’,Depth’)仍然是三维的且是虚拟的。

根据本公开实施例，可以通过旋转UI控件的顶点的坐标来得到顶点的变换的虚拟三维坐标，也可以旋转UI控件的其他图像元素的坐标来得到其他元素的变换的虚拟三维坐标。

在步骤S203，对所述图像元素的所述变换的虚拟三维坐标通过第三变换矩阵T₃进行透视变换，获得所述图像元素的二维变形坐标。

对于UI变换或者说界面调整而言，实际最终呈现在屏幕上的，是经过变换的二维坐标，而不是真正的三维坐标。因此，需要将步骤S202中得到的所述变换的虚拟三维坐标中的深度值信息去除，但是需要获得的是图像元素的相对于原始的二维坐标而言经过了变形的二维坐标。

根据本公开实施例，可以通过将得到的所述变换的虚拟三维坐标进行透视变换来得到所需的二维变形坐标。本步骤中的透视变换例如可以使用下面的透视矩阵T₃。

其中，fovy是y方向的视野的视角(即，纵向的视角大小)，aspect是屏幕的宽高比，zNear是z方向的近平面(即，平行于屏幕方向，距离屏幕最近的平面)，zFar是z方向的远平面(即，平行于屏幕方向，距离屏幕最远的平面)。由此，在计算中可以只考虑在这两个平面之间的数据。

在本公开中，透视矩阵T₃用来将三维坐标投影变换成二维坐标。因此，本领域技术人员可知，也可以通过其他方式来将上述的变换的虚拟三维坐标变换成所需的二维变形坐标，本公开不应仅限于上面给出的这个示例性的透视矩阵T₂。

下面，将举例说明使用该透视矩阵T₃来将所述变换的虚拟三维坐标(x₀’，y₀’,Depth’)透视变换成二维变形坐标的方法。

如下面的式子3)所示，通过将所述变换的虚拟三维坐标(x₀’，y₀’,Depth’)与透视矩阵T₃相乘，便可得到二维变形坐标(x₀”，y₀”)。

上面说明了基于用户的语音输入，判断该语音发出的位置(即，用户所在的位置)，由此来调整界面显示的方法。

此外，根据本公开实施例，在添加深度信息时，可以使得控件子元素的深度不超过控件父元素的深度，以使得将来经过三维变换之后的控件的各元素可见并且位置上清晰合理。

例如，对于一个按钮控件，可以将该按钮控件本身作为父元素，该按钮控件中的子元素可以包括作为前景层的例如文本层和图标(icon)层，还可以包括背景层，此时，前景层和背景层的深度都不可超过该按钮控件的深度，如图5所示。举例来说，假如按钮控件的深度是1，则背景层的深度也可以为1，而前景层的深度不能超过1，因此，对于作为子元素的文本层和图标层而言，其深度可以为大于视口平面的深度(0)且小于父元素的深度(这里例如为1)的值。如果文本层和图标层是并排显示的，则两个层的深度可以一样，例如可以为0.5。如果这两个层不是并排显示，则可以有层次地显示，例如可以将这两个层的深度设置为不同的值，比如0.4和0.6(例如可分别作为图5中的SubDepth2和SubDepth1)。

根据本公开实施例，对于一个规则的四边形形状(例如通常屏幕的交互界面的长方形形状)的平面UI控件，其各顶点与其轮廓上的深度可以是一样的，都是最大(即为父元素深度)，而UI控件中子元素的深度可以大于视口平面的深度(0)并且小于该最大深度。

上面对于所添加的深度值以举例的形式进行了说明，本领域技术人员应该理解，本申请不应局限于这样的例子，而是可以基于控件中子元素的布置，来做出相应的深度设置，只要子元素的深度不大于父元素的深度即可。

通过上述方法之一获得了二维变形坐标之后，便可根据该UI控件的图像元素的各二维变形坐标来绘制并且显示变形后的UI控件，如图6所示。由此获得所需的界面调整效果，即，可以根据用户所在的位置来调整界面的显示。

更具体来说，如图7所示的那样，通常用户正对屏幕，但是在侧对屏幕时，当前的屏幕显示不方便用户观看和交互。因此，本申请提出了上述的界面调整方法，通过对界面的显示进行调整，使得界面的显示与用户所在的位置匹配，即，如图7所示，在用户偏向左侧的情况下，界面显示相应地向左偏转，并且如图7所示，在用户偏向右侧的情况下，界面显示相应地向右偏转。由此，有效提升了交互效率，并且大大改进了用户的体验。

在调整了界面显示之后，可以持续以确定的偏转角度，持续进行调整后的界面显示，例如，在用户位于+45度方位的情况下，持续以+45度的方位来进行界面显示，如图8所示。类似地，在用户位于-45度方位的情况下，持续以-45度的方位来进行界面显示，如图9所示。

此外，还可以进一步基于用户的指令(例如第二语音输入)，继续调整界面显示，以使得界面显示与用户的位置更精确地匹配。

例如，如果语音定位系统识别的用户位置或方位不够精确，导致调整后的界面显示使得用户看起来仍然较偏，没有足够的对准，则用户可以发出类似“往左偏”、“往右偏”的指令(作为所述第二语音输入)，则界面显示控制器可以依据用户的第二语音输入，获得第二语音输入的更精确的相对位置(下文也可称为“第二相对位置”)，进行相应的偏转。比如以固定的幅度(例如5度、3度、8度等)作为偏转幅度的步长进行偏转，直到用户对界面调整效果满意。

甚至用户还可以给出偏转程度的指令，例如“往左偏8度”、“往右偏10度”等类似的指令(例如作为第二语音输入)，此时界面显示控制器可以依据用户的第二语音输入，获得第二语音输入的更精确的相对位置(下文也可称为“第二相对位置”)，进行更精确的偏转，由此可以更快速地实现用户位置与界面显示的匹配。

由此可见，可以基于用户的有关偏转方位与偏转程度的指令(作为第二语音输入)，获得第二语音输入相对于显示屏幕的方位(第二方位)，并且基于所述第二方位，可以更快速地实现用户位置与界面显示的匹配。

上面描述了用户位置没有发生变化，而是由于首次调整界面时可能调整得不够准确，从而需要继续进一步调整的情况。

当然，也可以在步骤S100时，响应于用户的有关偏转方位与偏转程度的语音输入(作为第一语音输入)，来直接基于该语音输入，准确地调整界面显示。也就是说，用户可以在初始时就主动表明(告知)自己的方位、位置等信息(例如，在用户发觉自己的位置不是正对屏幕的情况下，便可以在启动交互时就主动发出语音告知自己的方位、位置等位置信息)，以更利于界面显示的调整。这里描述的这种情况属于用户主动声明位置信息以期减少处理资源使用与减少调整次数的一种实施方式。

根据本公开另一实施例，在交互期间，在用户位置发生变化时，同样可以进行界面显示的调整。

下面将给出一个示例，即如何响应于用户的位置发生变化，基于用户变化后的位置来调整界面的显示。

关于用户的位置发生变化，可以是用户向界面调整控制器主动地声明用户位置已变，例如用户可以发出类似“调整角度”、“重新定位”等的语音命令(作为第二语音输入)，以使得界面调整控制器基于变化后的用户位置(主要根据用户方位，下文中也称为“第二方位”)，来再次调整界面显示。

关于上面用户位置未发生变化以及用户位置发生变化时都可继续调整界面显示的情形，以下将给出一个更具体的实施方式。

如图10所示，在步骤S300，在显示所述UI控件之后，响应于用户的第二语音输入，获得第二语音输入相对于显示屏幕的方位作为第二方位。

然后，可以返回到步骤S105，即基于所述第二方位，判断是否要再调整所述UI控件的显示。

在步骤S105确定要再调整所述UI控件的显示的情况下，将之前在步骤S200得到的所述UI控件的所述图像元素的所述二维变形坐标作为所述初始二维坐标，再次执行步骤S200的所述坐标变换。

其中，再次在步骤S200执行的所述坐标变换，在二维变换(二维调整)的情况下，可以直接采用二维变换矩阵T₁执行二维坐标的变换，得到二维变形坐标(图2的步骤S200’)。

在三维变换(三维调整)的情况下，可以按照图3所示的流程图中的步骤执行，例如，在步骤S201执行所述深度信息的添加，然后，在步骤S202，基于所述第二方位，确定用于坐标变换的三维变换矩阵T₂，然后执行三维坐标变换，接下来，通过透视矩阵T₃执行步骤S203的所述透视变换。

可以持续调整，直到调整到用户位置与屏幕上交互界面的显示匹配(对准)，即，使得交互界面朝向用户。由此更加提升用户的观看和交互体验。

根据本公开实施例，上面提到的各方位(第一方位或第二方位)可以通过以下方式来确定：通过感测各语音输入发出时的空间位置坐标和/或方位，确定该语音输入相对于所述显示屏幕的所述方位。

这里，感测到的语音输入发出时的空间位置坐标/方位可以是粗略定位或者定向的，也可以是精确定位或者定向的。无论定位或者定向的精确度是否有很高的精度，对于本公开而言，只要朝向语音发出的方向调整了显示角度，尽管调整之后可能不一定仍然能够与用户正对着，但是获得的观看和交互体验将比用户侧对屏幕，而屏幕却正向显示的体验好。当然，定位或者定向的精度越高，用户的体验越好。

在使用车载语音系统感测语音发出的位置和/或方位的情况下，通常使用麦克风阵列来作为用于该感测的感测装置。麦克风阵列的感测精度越高，本公开所能获得的界面调整精度也会越高。

另一方面，本公开的技术方案不仅可以使用现有的语音定位系统，也可以使用将来出现的语音定位系统。而且，可以根据实际需求，来决定要使用多高精度的语音定位系统。

根据本公开实施例，上述的界面调整方法可以用于车辆内与用户的交互、太空环境下与用户的交互、展览环境下展览设施与用户的交互等等各种情形。

另外，根据本公开实施例，上述的界面调整方法还可以包括如下的步骤S101(参见图11)：在接收到语音输入时，先判断该语音输入是否要用于所述界面调整，以避免误唤醒、误操作等。

即，通过语音输入的数据内容来判断是否为用于界面调整的指令或命令。这一点在上面已经描述过，在此不再赘述。

通过上述的步骤，可以进一步增加界面调整的准确性。

另外，还可以进一步判断该语音输入是否为经验证的语音输入，即能否通过语音验证，如图12的步骤S102所示。这里，通过对语音输入进行验证，可以避免使用未经验证的语音输入，由此保障车辆行驶与使用的安全性等。具体地，可以通过例如声纹识别来判断一个语音输入是否为经验证的语音输入。在判断语音输入为经验证的语音输入之后，可以相应地转到步骤S100或S300以进行后续的操作。

通过上述的步骤，可以进一步及提高车辆的安全性等。

根据本公开实施例，在车辆环境下，各语音输入发出的位置可以包括车辆的主驾驶位、副驾驶位、后座。

在同时接收到多个语音输入的情况下，可以依据仲裁策略来对于所述多个语音输入执行选择，如图13的步骤S103所示。然后，可以根据情况，将选定的其中一个语音输入作为第一语音输入或者第二语音输入，相应地转到步骤S100或S300。

例如，当接收到多个语音输入时，可以按照如下的优先级仲裁策略来对于所述多个语音输入执行选择：主驾驶位>副驾驶位>后座。

另外，根据本公开实施例，如上所述，要用于所述界面调整的语音输入的数据可以包括唤醒词、免唤醒词等。

下面，将参考图14来描述根据本公开实施例的界面调整装置10。

如图14所示，根据本公开实施例的界面调整装置14可以包括：

方位确定单元100，可以被配置用于响应于接收到第一语音输入，获得该第一语音输入相对于显示屏幕的方位作为第一方位；

判断单元105，可以被配置用于基于所述第一方位，判断是否要调整UI控件在显示屏幕上的显示；

变换单元200，可以被配置用于在确定要调整UI控件的显示的情况下，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标，以使得基于所述UI控件的所述图像元素的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第一方位的偏转进行显示，由此使得用户的方位与UI控件的显示匹配。

根据本公开实施例，所述变换单元200可以通过第一变换矩阵T₁将所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述图像元素的二维变形坐标。

根据本公开实施例，所述变换单元200可以通过如下操作来获得所述图像元素的二维变形坐标：

为所述UI控件的图像元素的作为初始二维坐标的二维坐标添加深度信息，以获得所述图像元素的虚拟三维坐标；

将所述图像元素的所述虚拟三维坐标通过第二变换矩阵T₂进行坐标变换，获得所述图像元素的变换的虚拟三维坐标；以及

对所述图像元素的所述变换的虚拟三维坐标通过第三变换矩阵T₃进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标。

另外，还可以在所述显示屏幕上实时动态地显示所述坐标变换以及所述绘制的过程。

根据本公开实施例，所述方位确定单元100可以进一步被配置用于响应于在所述显示屏幕上以第一方位的偏转显示所述UI控件之后接收到第二语音输入，确定所述第二语音输入相对于所述显示屏幕的方位作为第二方位；

所述判断单元105可以进一步被配置用于基于所述第二方位，判断是否要再次调整所述UI控件的显示；

所述变换单元200可以进一步被配置用于在判断要再次调整所述UI控件的显示的情况下，将所述UI控件的所述图像元素的所述二维变形坐标作为所述初始二维坐标，进行相应的坐标变换，获得所述UI控件的所述图像元素的新的二维变形坐标，以使得基于所述UI控件的所述图像元素的所述新的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第二方位的偏转进行显示。

这里，上述的二维旋转矩阵T₁、T₂、T₃例如为上面示例过的相应矩阵，在此不再赘述。

根据本公开实施例，所述方位确定单元100可以通过以下方式来确定各所述方位：

通过利用感测装置感测各语音输入发出的空间位置坐标和/或方位，确定该语音输入相对于所述显示屏幕的所述方位。

根据本公开实施例，所述界面调整装置可以用于车辆内与用户的交互。

根据本公开实施例，各语音输入发出的位置包括车辆的主驾驶位、副驾驶位、后座。

根据本公开实施例，所述方位确定单元100可以通过车载语音系统的声源定位功能来获得各语音输入相对于所述显示屏幕的方位。

根据本公开实施例，所述判断单元105可以进一步被配置用于当接收到语音输入时，判断该语音输入是否要用于所述界面调整。

根据本公开实施例，所述判断单元105还可以被配置用于通过验证单元102(通过例如声纹识别技术)来确定语音输入是否为经验证的语音输入。

根据本公开实施例，要用于所述界面调整的语音输入的数据可以包括唤醒词、免唤醒词等。

根据本公开实施例，上述界面调整装置10还可以包括选择单元103，该选择单元103可以被配置用于当接收到多个语音输入时，依据特定的仲裁策略来对于所述多个语音输入执行选择。

例如，当接收到多个语音输入时，所述选择单元103可以按照如下的优先级策略来对于所述多个语音输入执行选择：主驾驶位>副驾驶位>后座。

如图15所示，根据本公开实施例的电子设备20可以包括：

处理器201；以及

存储程序的存储器202，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器201执行上述的界面调整方法之一。

如图16所示，根据本公开实施例的车辆30可以包括上述的电子设备20。

根据本公开实施例，还提供一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备20的处理器201执行时，致使所述电子设备20执行上述的界面调整方法之一。

由此，在本公开中，可以通过语音定位系统来识别用户的语音输入的位置。当识别的语音输入的位置为例如主驾或副驾位置时，可以基于识别的位置来调整交互界面的显示(例如，朝向用户所在位置进行显示)，并且可以实时显示UI控件的旋转角度的调整，并且使UI控件朝向用户地显示。即，在本公开中，通过引入三维变换矩阵，对UI控件产生形变，使得UI控件动态产生立体的视觉效果。具体地，可以根据用户的交互方向，使UI主动朝向用户方向，由此大大增强用户体验，提升交互感。

在本文的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本公开中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

上文的公开提供了许多不同的实施方式或例子用来实现本公开的不同结构。为了简化本公开的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本公开。此外，本公开可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。

在本公开中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

另外，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器、磁盘或光盘等。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种界面调整方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其中，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标包括：

将所述UI控件的图像元素的作为初始二维坐标的二维坐标通过第一变换矩阵进行坐标变换，获得所述图像元素的二维变形坐标。

3.根据权利要求1所述的方法，其中，对于所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标包括：

将所述图像元素的所述虚拟三维坐标通过第二变换矩阵进行坐标变换，获得所述图像元素的变换的虚拟三维坐标；以及

对所述图像元素的所述变换的虚拟三维坐标通过第三变换矩阵进行坐标变换，获得所述UI控件的所述图像元素的二维变形坐标。

4.根据权利要求1-3中的任一项所述的方法，该方法还包括：

在执行所述坐标变换与所述绘制时，实时动态地显示所述坐标变换以及所述绘制的过程。

5.根据权利要求1-3中的任一项所述的方法，该方法还包括：

响应于在所述显示屏幕上以第一方位的偏转显示所述UI控件之后接收到第二语音输入，确定所述第二语音输入相对于所述显示屏幕的方位作为第二方位；

基于所述第二方位，判断是否要再次调整所述UI控件的显示；

在判断要再次调整所述UI控件的显示的情况下，将所述UI控件的所述图像元素的所述二维变形坐标作为所述初始二维坐标，进行相应的坐标变换，获得所述UI控件的所述图像元素的新的二维变形坐标，以使得基于所述UI控件的所述图像元素的所述新的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第二方位的偏转进行显示。

6.根据权利要求2所述的方法，其中，所述第一变换矩阵包括如下的二维旋转矩阵T₁：

7.根据权利要求3所述的方法，其中，所述第二变换矩阵包括如下的三维旋转矩阵T₂：

其中，θ为所述第一方位。

8.根据权利要求1所述的方法，其中，所述第三变换矩阵T₃包括如下的三维透视矩阵：

其中，fovy是y方向的视野的视角，aspect是屏幕的宽高比，zNear是z方向的近平面，zFar是z方向的远平面。

9.根据权利要求5所述的方法，其中，各所述方位通过以下方式来确定：

通过感测各语音输入发出时的空间位置坐标和/或方位，确定该语音输入相对于所述显示屏幕的所述方位。

10.根据权利要求5所述的方法，其中，所述界面调整方法用于车辆内与用户的交互。

11.根据权利要求10所述的方法，其中，各语音输入发出的位置包括车辆的主驾驶位、副驾驶位、后座。

12.根据权利要求10所述的方法，其中，各语音输入相对于显示屏幕的方位通过车载语音系统的声源定位功能来获得。

13.根据权利要求1-3中的任一项所述的方法，还包括：

当接收到语音输入时，判断该语音输入是否要用于所述界面调整。

14.根据权利要求1-3中的任一项所述的方法，还包括：

通过声纹识别来确定该语音输入是否为经验证的语音输入。

15.根据权利要求13所述的方法，其中，要用于所述界面调整的语音输入的数据包括唤醒词、免唤醒词。

16.根据权利要求1-3中的任一项所述的方法，还包括：

当接收到多个语音输入时，依据特定的仲裁策略来对于所述多个语音输入执行选择。

17.根据权利要求1-3中的任一项所述的方法，还包括：

当接收到多个语音输入时，按照如下的优先级策略来对于所述多个语音输入执行选择：主驾驶位>副驾驶位>后座。

18.一种界面调整装置，其特征在于，该装置包括：

19.根据权利要求18所述的装置，其中，所述变换单元通过第一变换矩阵将所述UI控件的图像元素的作为初始二维坐标的二维坐标进行坐标变换，获得所述图像元素的二维变形坐标。

20.根据权利要求18所述的装置，其中，所述变换单元通过如下操作来获得所述图像元素的二维变形坐标：

21.根据权利要求18-20中的任一项所述的装置，在所述显示屏幕上实时动态地显示所述坐标变换以及所述绘制的过程。

22.根据权利要求18-20中的任一项所述的装置，其中，

所述方位确定单元进一步被配置用于响应于在所述显示屏幕上以第一方位的偏转显示所述UI控件之后接收到第二语音输入，确定所述第二语音输入相对于所述显示屏幕的方位作为第二方位；

所述判断单元进一步被配置用于基于所述第二方位，判断是否要再次调整所述UI控件的显示；

所述变换单元进一步被配置用于在判断要再次调整所述UI控件的显示的情况下，将所述UI控件的所述图像元素的所述二维变形坐标作为所述初始二维坐标，进行相应的坐标变换，获得所述UI控件的所述图像元素的新的二维变形坐标，以使得基于所述UI控件的所述图像元素的所述新的二维变形坐标绘制的变形后的所述UI控件在所述显示屏幕上以第二方位的偏转进行显示。

23.根据权利要求19所述的装置，其中，所述第一变换矩阵包括如下的二维旋转矩阵T₁：

24.根据权利要求20所述的装置，其中，所述第二变换矩阵包括如下的三维旋转矩阵T₂：

其中，θ为所述第一方位。

25.根据权利要求18所述的装置，其中，所述第三变换矩阵T₃包括如下的三维透视矩阵：

26.根据权利要求22所述的装置，其中，所述方位确定单元通过以下方式来确定各所述方位：

通过利用感测装置感测各语音输入发出时的空间位置坐标和/或方位，确定该语音输入相对于所述显示屏幕的所述方位。

27.根据权利要求22所述的装置，其中，所述界面调整装置用于车辆内与用户的交互。

28.根据权利要求27所述的装置，其中，各语音输入发出的位置包括车辆的主驾驶位、副驾驶位、后座。

29.根据权利要求27所述的装置，其中，所述方位确定单元通过车载语音系统的声源定位功能来获得各语音输入相对于所述显示屏幕的方位。

30.根据权利要求18-20中的任一项所述的装置，其中，所述判断单元进一步被配置用于当接收到语音输入时，判断该语音输入是否要用于所述界面调整。

31.根据权利要求30所述的装置，其中，所述判断单元进一步被配置用于通过验证单元来确定语音输入是否为经验证的语音输入。

32.根据权利要求30所述的装置，其中，要用于所述界面调整的语音输入的数据包括唤醒词、免唤醒词。

33.根据权利要求18-20中的任一项所述的装置，还包括：

选择单元，被配置用于当接收到多个语音输入时，依据特定的仲裁策略来对于所述多个语音输入执行选择。

34.根据权利要求33所述的装置，其中，当接收到多个语音输入时，所述选择单元按照如下的优先级策略来对于所述多个语音输入执行选择：主驾驶位>副驾驶位>后座。

35.一种电子设备，包括：

处理器；以及

存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-17中任一项所述的方法。

36.一种车辆，包括：

根据权利要求35所述的电子设备。

37.一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据权利要求1-17中任一项所述的方法。