CN117749978A - 方法、非瞬时性计算机可读介质以及终端装置 - Google Patents

Abstract

本公开涉及方法、非瞬时性计算机可读介质以及终端装置。与提供远程对话服务的服务器(20)通信的终端装置(10)执行的方法包括：在画面上显示包括第1对象的多个对象，所述第1对象表示本装置的用户的各对话伙伴即其他用户的面部；检测用户注视着的画面上的对象作为用户的注视对象；向服务器(20)发送表示用户的注视对象的信息；从服务器(20)接收表示各对话伙伴的注视对象的信息；和在画面上，控制各第1对象的朝向和多个对象的配置，以满足各对话伙伴的视线朝着注视对象这一第1条件、和各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。由此，改善使用通信线路提供远程对话服务的技术。

Description

方法、非瞬时性计算机可读介质以及终端装置

技术领域

本公开涉及方法、非瞬时性计算机可读介质以及终端装置。

背景技术

以往，已知有使用通信线路提供远程对话服务的技术。例如专利文献1中公开了在多个用户能够相互看着对方的影像进行通话的通话系统中，将显示于画面的用户修正或变更为看着摄像头。

现有技术文献

专利文献1：日本专利第6849133号

发明内容

发明所要解决的问题

使用通信线路提供远程对话服务的技术存在改善的余地。

鉴于上述情况而做出的本公开的目的在于，对使用通信线路提供远程对话服务的技术进行改善。

用于解决问题的技术方案

本公开的一个实施方式涉及的方法是与提供远程对话服务的服务器通信的终端装置执行的方法，包括：

在画面上显示包括第1对象(object)的多个对象，所述第1对象表示本装置的用户的各对话伙伴(谈话对象)即其他用户的面部；

检测所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

本公开的一个实施方式涉及的非瞬时性计算机可读介质存储程序，所述程序使与提供远程对话服务的服务器通信的终端装置执行：

在画面上显示包括第1对象的多个对象，所述第1对象表示本装置的用户的各对话伙伴即其他用户的面部；

检测所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

本公开的一个实施方式涉及的终端装置具备：通信部，其与提供远程对话服务的服务器通信；显示部，其显示画面；摄像头(相机)部，其生成本装置的用户的面部的图像；以及控制部，

所述控制部，

使画面上显示包括第1对象的多个对象，所述第1对象表示所述用户的各对话伙伴即其他用户的面部；

检测基于所述图像而判定为所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

发明效果

根据本公开的一个实施方式，使用通信线路提供远程对话服务的技术得到改善。

附图说明

图1是表示本公开的一个实施方式涉及的系统的概略构成的框图。

图2是表示显示于终端装置的画面的第1例的图。

图3是表示终端装置的概略构成的框图。

图4是表示服务器的概略构成的框图。

图5是表示系统的第1动作(工作)的时序图。

图6是表示系统的第2动作的时序图。

图7是表示显示于终端装置的画面的第2例的图。

标号说明

1系统；10终端装置；11通信部；12显示部；13摄像头部；14存储部；15控制部；20服务器；21通信部；22存储部；23控制部；30通信线路。

具体实施方式

以下，对本公开的实施方式进行说明。

(实施方式的概要)

参照图1，对本公开的实施方式涉及的系统1的概要进行说明。系统1具备多个终端装置10以及服务器20。各终端装置10与服务器20例如能够经由包括互联网和移动通信网等的通信线路30进行通信。

终端装置10例如是PC(Personal Computer)、智能手机或者平板终端等计算机。服务器20包括一个或者能够相互通信的多个计算机而构成。服务器20使用通信线路30提供远程对话服务。在本实施方式中，用户能够使用自身的终端装置10进行与1人以上的对话伙伴的远程对话。在本实施方式中，用户的终端装置10一边将表示各对话伙伴的面部的对象(以下，也称为“第1对象”。)显示于画面一边执行远程对话。在本实施方式中，第1对象是使用对话伙伴的面部的可见光图像和深度图像实时生成的3D对象，与对话伙伴的实际运动联动地显示。然而，第1对象不限于该例子，例如也可以是角色等虚拟形象的3D对象。或者，第1对象也可以是包含对话伙伴或者角色的图像的2D对象。

此外，除了第1对象，还可以在画面上显示与第1对象不同的1个以上的第2对象。第2对象例如是包含文本和图像中的至少一方的3D对象或者2D对象，但不限于这些。在一例中，利用远程对话服务的运程会议中的共享资料等也可以作为第2对象显示于画面。

首先，对本实施方式的概要进行说明，关于详情，稍后说明。终端装置10在画面上显示包括表示本装置的用户的各对话伙伴即其他用户的面部的第1对象的多个对象，检测用户注视着的画面上的对象作为用户的注视对象。终端装置10向服务器20发送表示用户的注视对象的信息，并且从服务器20接收表示各对话伙伴的注视对象的信息。而且，终端装置10在该画面上，控制各第1对象的朝向和多个对象的配置，以满足各对话伙伴的视线朝着注视对象这一第1条件、和各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

参照图2，对上述的基于第1条件和第2条件的控制进行说明。图2表示与3个对话伙伴A～C进行远程对话的用户的终端装置10的画面。该画面上显示有分别表示对话伙伴A～C的面部的3个第1对象。在以下的说明中，也将“对话伙伴的第1对象”简称为“对话伙伴”。在此，假设对话伙伴A和B各自的注视对象是表示对话伙伴C的面部的第1对象。换言之，假设对话伙伴A和B分别注视着自身的终端装置10的画面上显示的对话伙伴C。

用户的终端装置10例如控制画面上的对话伙伴A和B的朝向以满足上述的第1条件(例如，以使对话伙伴A和B各自的视线朝着对话伙伴C)。在此，在对话伙伴B存在于画面上的位置P的情况下，对话伙伴A的视线上将会存在对话伙伴B。在这种情况下，终端装置10的用户无法一眼就识别出对话伙伴A注视着对话伙伴B和C中的哪一方。对此，在本实施方式中，终端装置10例如使对话伙伴B从位置P移动到下方的位置Q，将对话伙伴B从对话伙伴A的视线上移开，以进一步满足上述的第2条件(例如，以使对话伙伴A的视线上不存在对话伙伴C以外的对象)。在这种情况下，终端装置10的用户能够一眼就识别出对话伙伴A注视着对话伙伴C而不是对话伙伴B。如此，根据本实施方式，在用户从画面上一眼就能识别各对话伙伴的注视对象这一点上，使用通信线路提供远程对话服务的技术得到了改善。

接着，对系统1具备的各构成要素详细进行说明。

(终端装置的构成)

如图3所示，终端装置10具备通信部11、显示部12、摄像头部13、存储部14以及控制部15。

通信部11包括与通信线路30连接的1个以上的通信接口。该通信接口例如与4G(4th Generation)和5G(5th Generation)等移动通信标准、有线LAN(Local AreaNetwork)标准或者无线LAN标准对应，但不限于这些，也可以与任意的通信标准对应。

显示部12包括1个以上的显示器。另外，显示部12也可以包括能够连接外部显示器的接口。

摄像头部13包括1组以上的可见光摄像头和深度摄像头。另外，摄像头部13也可以包括能够连接外部可见光摄像头和深度摄像头的接口。各组的可见光摄像头和深度摄像头设置为能够从预定的方向拍摄使用终端装置10的用户的面部。在本实施方式中，摄像头部13至少包括能够从正面拍摄视认终端装置10的画面的用户的面部的1组可见光摄像头和深度摄像头。从可见光摄像头和深度摄像头获得的可见光图像和深度图像被用于生成表示用户的面部的第1对象。以下，也将从可见光摄像头和深度摄像头获得的可见光图像和深度图像称为“摄像头图像”。

存储部14包括1个以上的存储器。存储器例如是半导体存储器、磁存储器或者光存储器等，但不限于这些。存储部14所包括的各存储器例如也可以作为主存储装置、辅助存储装置或者高速缓冲存储器发挥功能。存储部14存储用于终端装置10的动作的任意信息。例如，存储部14也可以存储系统程序和应用程序等。

控制部15包括1个以上的处理器、1个以上的可编程电路、1个以上的专用电路或者它们的组合。处理器例如是CPU(Central Processing Unit)或GPU(Graphics ProcessingUnit)等通用处理器、或者专用于特定处理的专用处理器，但不限于这些。可编程电路例如是FPGA(Field-Programmable Gate Array)，但不限于此。专用电路例如是ASIC(Application Specific Integrated Circuit)，但不限于此。控制部15控制终端装置10整体的动作。

(服务器的构成)

如图4所示，服务器20具备通信部21、存储部22以及控制部23。

通信部21包括与通信线路30连接的1个以上的通信接口。该通信接口例如与移动通信标准、有线LAN标准或者无线LAN标准对应，但不限于这些，也可以与任意的通信标准对应。

存储部22包括1个以上的存储器。存储部22所包括的各存储器例如也可以作为主存储装置、辅助存储装置或者高速缓冲存储器发挥功能。存储部22存储用于服务器20的动作的任意信息。例如，存储部22也可以存储系统程序、应用程序、嵌入式软件和数据库等。

控制部23包括1个以上的处理器、1个以上的可编程电路、1个以上的专用电路或者它们的组合。控制部23控制服务器20整体的动作。

(系统的动作)

参照图5，对系统1的第1动作进行说明。作为概要，第1动作是生成在终端装置10的画面上显示的各第1对象的动作，在远程对话的执行中以预定的帧速率反复执行。在此，对用户与3个对话伙伴A～C进行远程对话的场景中的、该用户的终端装置10和服务器20的动作进行说明。关于各对话伙伴的终端装置10的动作，由于与该用户的终端装置10是同样的，因此省略说明。

步骤S100：终端装置10的控制部15使用摄像头部13生成用户的摄像头图像，并经由通信部11向服务器20发送。

如上所述，摄像头图像是由摄像头部13所包括的至少1组可见光摄像头和深度摄像头生成的可见光图像和深度图像。在此，假设生成至少包含从正面拍摄用户的面部而得到的1组可见光图像和深度图像的摄像头图像。

步骤S101：服务器20的控制部23基于从用户的各对话伙伴的终端装置10接收到的各对话伙伴的摄像头图像生成第1对象信息，并经由通信部21向用户的终端装置10发送。

第1对象信息包含用于生成在用户的终端装置10的画面上显示的各第1对象的任意信息。例如，第1对象信息可以包含各对话伙伴的摄像头图像本身，也可以包含从各对话伙伴的摄像头图像中仅剪裁与人物相当的部分而得到的数据。

此外，控制部23例如在从远程对话的任意参与者(在此为用户和对话伙伴A～C中的任意方)的终端装置10事先例如作为远程对话中的共享资料而接收到文本和/或图像的情况下，也可以除了第1对象信息还生成第2对象信息，并向用户的终端装置10发送。第2对象信息包含用于生成在用户的终端装置10的画面上显示的第2对象的任意信息(例如，作为共享资料而接收到的文本和/或图像)。

步骤S102：终端装置10的控制部15基于从服务器20接收到的第1对象信息生成表示各对话伙伴的面部的第1对象，并显示在显示部12的画面上。另外，控制部15在从服务器20接收到第2对象信息的情况下，除了第1对象之外也生成第2对象，并显示在显示部12的画面上。

具体而言，控制部15在第1对象信息包含各对话伙伴的摄像头图像本身的情况下，从各对话伙伴的摄像头图像中仅剪裁与人物相当的部分。控制部15通过根据各对话伙伴的深度图像生成表示对话伙伴的面部的形状的3D模型，并将可见光图像纹理映射于该3D模型，生成表示各对话伙伴的面部的第1对象。而且，控制部15将生成的各第1对象显示在显示部12的画面上。另外，控制部15生成表示第2对象信息所包含的文本和/或图像的第2对象，并显示在显示部12的画面上。

参照图6，对系统1的第2动作进行说明。作为概要，第2动作是控制终端装置10的画面上的各对象的朝向和配置的动作，在远程对话的执行中与上述的第1动作并行执行。在此，对用户与3个对话伙伴A～C进行远程对话的场景中的、该用户的终端装置10和服务器20的动作进行说明。关于各对话伙伴的终端装置10的动作，由于与该用户的终端装置10是同样的，因此省略说明。

步骤S200：终端装置10的控制部15检测用户注视着的画面上的对象作为该用户的注视对象。

具体而言，控制部15基于上述的第1动作的步骤S100中生成的、用户的面部的摄像头图像，检测用户的视线。视线的检测可以采用任意方法。例如，控制部15也可以通过特征点提取或者模式匹配等图像识别，检测摄像头图像所包含的可见光图像上的用户的面部的朝向以及眼睛和瞳孔的位置。

而且，控制部15基于检测出的面部的朝向以及眼睛和瞳孔的位置，检测用户的视线。此外，检测的视线也可以由三维矢量表示。接下来，控制部15确定用户的视线朝着的画面上的对象，将该对象检测为用户的注视对象。在此，当用户注视着画面上的对象的状态持续预定时间时，控制部15也可以将该对象检测为用户的注视对象。根据这种构成，可减少例如在用户只一瞬间从注视着的对象移开了视线的情况下，该对象就不再是注视对象、或注视对象被频繁切换这一不便的发生。

步骤S201：控制部15经由通信部11向服务器20发送表示用户的注视对象的信息。

步骤S202：服务器20的控制部23经由通信部21向用户的终端装置10发送从用户的各对话伙伴的终端装置10接收到的表示各对话伙伴的注视对象的信息。

步骤S203：终端装置10的控制部15在显示部12的画面上，控制画面上的各第1对象的朝向以及多个对象的配置，以满足第1条件和第2条件。

在此，如上所述，第1条件是各对话伙伴的视线朝着注视对象这一条件。例如，假设3个对话伙伴A～C中的、对话伙伴A和B各自的注视对象是对话伙伴C的第1对象、对话伙伴C的注视对象是用户的第1对象。在这种情况下，为了满足第1条件，控制部15控制画面上的对话伙伴A～C各自的第1对象的朝向，以使对话伙伴A和B各自的视线朝向对话伙伴C、且对话伙伴C的视线朝向用户(具体而言是画面正面)。

如上所述，第2条件是各对话伙伴的视线上不存在注视对象以外的对象这一条件。例如在图2所示的画面上，对话伙伴B存在于位置P的情况下，在对话伙伴A的视线上存在作为注视对象的对话伙伴C以外的对象(在此为对话伙伴B)。在这种情况下，为了满足第2条件，控制部15控制画面上的多个对象的配置，例如以使对话伙伴B从位置P移动到下方的位置Q而将对话伙伴B从对话伙伴A的视线上移开。

此外，在控制画面上的多个对象的配置时，控制部15也可以控制多个对象的配置以使得除了上述的第1条件和第2条件之外还满足与画面上的多个对象的伴随配置变更的总移动量有关的第3条件。例如，第3条件也可以是使伴随配置变更的画面上的多个对象的总移动量最小这一条件。根据这种构成，可减少在配置变更时例如用户的注视对象较大幅地移动而视认性降低这一不便的发生。此外，对象的移动量例如也可以是画面上的移动量。或者，当在远程对话中显示的画面是表示配置有各对象的三维虚拟空间的画面的情况下，对象的移动量也可以是该虚拟空间内的移动量。例如图7所示的画面是表示配置有对话伙伴A～C的第1对象的三维虚拟空间的画面，与图2所示的画面不同，对话伙伴B向画面进深方向移动了。

如上所述，本实施方式涉及的终端装置10在画面上显示包括表示本装置的用户的各对话伙伴即其他用户的面部的第1对象的多个对象，检测用户注视着的画面上的对象作为用户的注视对象。终端装置10向服务器20发送表示用户的注视对象的信息，并且从服务器20接收表示各对话伙伴的注视对象的信息。而且，终端装置10在该画面上，控制各第1对象的朝向和多个对象的配置，以满足各对话伙伴的视线朝着注视对象这一第1条件、和各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

根据这种构成，在用户的终端装置10的画面上，各对话伙伴的视线没有被遮挡地朝向注视对象。因此，在用户从画面上一眼就能识别各对话伙伴的注视对象这一点上，使用通信线路提供远程对话服务的技术得到了改善。

基于各附图和实施例说明了本公开，而需要注意的是，只要是本领域技术人员，也可以根据本公开进行各种变形和改变。因此，需要注意的是，这些变形和改变包含在本公开的范围内。例如，各构成部或各步骤等所包括的功能等能够以逻辑上不矛盾的方式进行重新配置，能够将多个构成部或步骤等组合成一个或者进行分割。

例如，在上述的实施方式中，也可以是使终端装置10或者服务器20的构成和动作分散到可相互通信的多个计算机中的实施方式。另外例如，也可以是终端装置10和服务器20中的一方所执行的一部分处理由另一方执行的实施方式。例如，在上述的实施方式中是终端装置10执行生成在终端装置10的画面上显示的对象的处理(步骤S102)以及控制终端装置10的画面上的各第1对象的朝向和多个对象的配置的处理(步骤S203)，但也可以是服务器20执行该处理，并向终端装置10发送处理结果。

另外，例如也可以是使通用计算机作为上述的实施方式涉及的终端装置10或者服务器20发挥功能的实施方式。具体而言，将记述有实现上述的实施方式涉及的终端装置10或者服务器20的各功能的处理内容的程序存储于通用计算机的存储器，由处理器读取并执行该程序。因此，本公开也可以作为处理器可执行的程序或者存储该程序的非瞬时性计算机可读介质来实现。

以下，对本公开的实施方式的一部分进行例示。然而，应当注意，本公开的实施方式不限定于此。

[附记1]

一种方法，是与提供远程对话服务的服务器通信的终端装置执行的方法，包括：

在画面上显示包括第1对象的多个对象，所述第1对象表示本装置的用户的各对话伙伴即其他用户的面部；

检测所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

[附记2]

根据附记1所述的方法，

在控制所述多个对象的配置时，所述终端装置控制所述多个对象的配置，以满足所述第1条件、所述第2条件、和与所述多个对象的伴随配置变更的总移动量有关的第3条件。

[附记3]

根据附记2所述的方法，

所述第3条件是使伴随配置变更的所述多个对象的总移动量最小的条件。

[附记4]

根据附记1至3中任一项所述的方法，

在检测所述用户的注视对象时，所述终端装置在所述用户注视着所述画面上的对象的状态持续预定时间时，将所述对象检测为所述用户的注视对象。

[附记5]

根据附记1至4中任一项所述的方法，

所述多个对象包括表示所述各对话伙伴即其他用户的面部的所述第1对象以及表示文本和图像中的至少一方的第2对象。

[附记6]

一种程序，使与提供远程对话服务的服务器通信的终端装置执行：

在画面上显示包括第1对象的多个对象，所述第1对象表示本装置的用户的各对话伙伴即其他用户的面部；

检测所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

[附记7]

一种终端装置，具备：通信部，其与提供远程对话服务的服务器通信；显示部，其显示画面；摄像头部，其生成本装置的用户的面部的图像；以及控制部，

所述控制部，

使画面上显示包括第1对象的多个对象，所述第1对象表示所述用户的各对话伙伴即其他用户的面部；

检测基于所述图像而判定为所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

Claims (7)

1.一种方法，是与提供远程对话服务的服务器通信的终端装置执行的方法，包括：

在画面上显示包括第1对象的多个对象，所述第1对象表示本装置的用户的各对话伙伴即其他用户的面部；

检测所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

2.根据权利要求1所述的方法，

在控制所述多个对象的配置时，所述终端装置控制所述多个对象的配置，以满足所述第1条件、所述第2条件、和与所述多个对象的伴随配置变更的总移动量有关的第3条件。

3.根据权利要求2所述的方法，

所述第3条件是使伴随配置变更的所述多个对象的总移动量最小的条件。

4.根据权利要求1至3中任一项所述的方法，

在检测所述用户的注视对象时，所述终端装置在所述用户注视着所述画面上的对象的状态持续预定时间时，将所述对象检测为所述用户的注视对象。

5.根据权利要求1至3中任一项所述的方法，

所述多个对象包括表示所述各对话伙伴即其他用户的面部的所述第1对象以及表示文本和图像中的至少一方的第2对象。

6.一种非瞬时性计算机可读介质，其存储程序，所述程序使与提供远程对话服务的服务器通信的终端装置执行：

在画面上显示包括第1对象的多个对象，所述第1对象表示本装置的用户的各对话伙伴即其他用户的面部；

检测所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。

7.一种终端装置，具备：通信部，其与提供远程对话服务的服务器通信；显示部，其显示画面；摄像头部，其生成本装置的用户的面部的图像；以及控制部，

所述控制部，

使画面上显示包括第1对象的多个对象，所述第1对象表示所述用户的各对话伙伴即其他用户的面部；

检测基于所述图像而判定为所述用户注视着的所述画面上的对象作为所述用户的注视对象；

向所述服务器发送表示所述用户的注视对象的信息；

从所述服务器接收表示所述各对话伙伴的注视对象的信息；和

在所述画面上，控制各所述第1对象的朝向和所述多个对象的配置，以满足所述各对话伙伴的视线朝着注视对象这一第1条件、和所述各对话伙伴的视线上不存在注视对象以外的对象这一第2条件。