CN109804407A - 关心维持系统以及服务器 - Google Patents

Abstract

育儿辅助服务提供系统(1)包括终端(2)和服务器(3)。终端(2)与摄像机(14)一同进行动作控制以及将包括由摄像机(14)进行拍摄而获得的图像数据的终端利用状况数据向服务器(3)发送的处理。服务器(3)对所接收到的图像数据进行图像解析，识别正在观看终端(2)的用户，判断所识别出的用户的视线，并基于视线来判断对终端(2)的关心度。若所判断出的关心度为规定的阈值以下，则服务器(3)向终端(2)发送用于将终端(2)的动作变更为其他动作的变更指示。

Description

关心维持系统以及服务器

技术领域

本发明的实施方式涉及关心维持系统以及服务器。

背景技术

以往，例如，在教育领域存在远程教育系统，该远程教育系统能够利用互联网等，通过终端或巨大的屏幕使位于远距离处的讲师的课程的影像可视。通过这样的系统，不仅能够减轻讲师的负担，也能够使更多的学生接收相同的课程内容。

此外，近年，例如，在护理领域，也在设施等利用机器人进行用于入住者的康复训练等的服务提供等等。进行会话或者做体操的机器人不仅有助于入住者的康复训练，也关系到从事护理人员的业务负担的减轻。

使用了这样的通信系统或者机器人的服务的提供不仅在护理、教育等领域进行，也在各种领域进行。

在利用这样的通信系统或者机器人的服务的情况下，如果接受服务一方的人、例如视听者并未感兴趣地对被提供的内容进行视听，则服务未被有效地提供，或者被提供的内容的价值变低。

因此，为了判断服务的有效性或者价值，也想到配置对接受服务者进行监视的监视者，但配置监视者在成本方面是问题，而且也存在有时在物理上不可能实现的问题。

在以往的服务提供中，无论接受服务者是否感兴趣地将注意力集中于所提供的服务，服务的提供都正在被进行，因此，有时未达成服务提供所希望的目的，或者服务未被有效地提供给用户。

此外，有时用户例如会厌倦被提供的内容而变得不关心，或者兴趣转移至他处而不再对被提供的内容进行视听。

即使是这样的情况，由于所提供的服务由服务提供者预先确定，此被确定的服务会被持续提供，因此，服务的提供会在用户不关心的状态下持续进行。

现有技术文献

专利文献

专利文献1：日本特开2016－12914号公报

发明内容

用于解决问题的方案

因此，本实施方式的目的在于提供一种能够使用户将注意力集中于内容并持续进行视听的关心维持系统。

实施方式是一种关心维持系统，包括终端和服务器，并维持用户对上述终端的关心，上述终端具有：第一通信部；摄像机；动作控制部，根据经由上述第一通信部所接收到的来自上述服务器的数据或者指示，进行上述终端的第一动作的控制；以及发送处理部，进行通过上述第一通信部向上述服务器发送包括由上述摄像机进行拍摄而获得的图像数据的终端利用状况数据的处理，上述服务器具有：第二通信部；图像解析部，对经由上述第二通信部所接收到的上述图像数据进行图像解析，识别正在观看上述终端的上述用户；关心度判断部，判断在上述图像解析部中识别出的上述用户的视线，并基于上述视线来判断对上述终端的关心度；以及动作变更指示发送部，若在上述关心度判断部中判断出的上述关心度为规定的阈值以下，则通过上述第二通信部向上述终端发送用于将上述终端的上述第一动作变更为第二动作的变更指示。

附图说明

图1为实施方式的育儿辅助服务提供系统1的构成图。

图2为表示实施方式的服务器3的构成的框图。

图3为表示实施方式的接受服务的终端2和其设置环境的图。

图4为表示实施方式的终端2的构成的框图。

图5为表示实施方式的终端2的画面的显示例的图。

图6为表示实施方式的终端2的终端用程序的处理流程的例子的流程图。

图7为表示实施方式的服务器的服务信息提供处理的流程的例子的流程图。

图8为表示实施方式的关心度判断处理的流程的例子的流程图。

图9为表示实施方式的关心度的变化的曲线图。

图10为表示实施方式的行动判断处理的流程的例子的流程图。

图11为实施方式的机器人的外观图。

图12为作为实施方式的家电设备的吸尘器的外观图。

具体实施方式

以下，参照附图对实施方式加以说明。

(构成)

本实施方式涉及服务提供系统，特别是涉及用于从服务器向终端提供内容的育儿辅助服务提供的关心维持系统。

图1为本实施方式的育儿辅助服务提供系统1的构成图。图2为表示服务器3的构成的框图。图3为表示接受服务的终端2和其设置环境的图。图4为表示终端2的构成的框图。

如图1所示，育儿辅助服务提供系统(以下，仅称为系统)1构成为包括终端2、服务器3以及用于终端2与服务器3之间的通信的网络4。

终端2是具有通信功能并能够将经由网络4所接收到的内容以用户能够进行视听的方式输出的终端装置。系统1包括终端2和服务器3，如后所述地构成维持作为用户的儿童C对终端2的关心的关心维持系统。

如图2所示，服务器3是具有控制部3a、通信部3b和存储器3c的计算机，由提供育儿辅助服务的服务提供者来管理。控制部3a具有中央处理装置(以下，称为CPU)、ROM、RAM等，进行通信部3b的动作的控制，并且进行对来自存储器3c的程序以及数据的读出以及写入。

在服务器3的存储器3c中存储有媒体知识处理程序MP以及应用程序AP。而且，存储器3c包括数据库DB，在数据库DB中存储有各种程序的执行所需的各种数据以及各种内容数据。

媒体知识处理程序MP被构成为包括进行媒体知识处理的各种软件程序。媒体知识处理程序MP是用于对包括语音数据、图像数据以及文本数据的媒体数据进行由图像解析实现的图像识别、由语音解析实现的语音识别等处理，并进行语音合成、对话、翻译、意图理解等的程序。

应用程序AP包括用于服务器3所提供的多个服务的多个服务提供程序。在服务提供程序中包括用于育儿辅助服务的程序APc。根据来自用户的服务要求，从多个服务提供程序中选择应该执行的程序。在应用程序AP的执行过程中，根据要求来执行媒体知识处理程序MP。

如上所述，在数据库DB中储存有用于各种服务的许多内容数据，在此，为了育儿辅助服务用而存储有面向儿童的电影等多个内容。

此外，数据库DB具有针对各内容的属性信息，在选择对应于与服务要求相关的用户的年龄、性别、喜好等的内容时利用属性信息。

而且，在数据库DB中还存储有在后述的规则库系统中所使用的各种规则信息rDB。

服务提供者按所提供的服务与用户签订协议，根据来自各协议者的服务要求来提供所协议的服务。

即，服务提供者与用户缔结接受育儿辅助服务的提供的协议。服务器3若接收到来自作为协议者的用户的服务要求，则在认证处理后，根据所接收到的服务要求，执行用于育儿辅助服务提供的程序APc，从数据库DB读出规定的内容，从通信部3b经由网络4向终端2发送内容数据。

网络4例如为互联网，用户的终端2能够经由网络4对服务器3进行访问，服务器3经由网络4向终端2发送内容数据，并且能够接收来自终端2的图像数据等各种信息。

在用户的终端2存储有用于从服务器3接受育儿辅助服务的终端用程序。用户若启动此终端用程序并进行规定的操作，则能够接受育儿辅助服务。

本实施方式的育儿辅助服务例如在家长为了处理紧急的事情，而使儿童C通过终端2观看所希望的时间例如15分钟的内容，并在为了安全起见希望使儿童安静不动时被使用。在这样的情况下，作为用户的家长登录到用于接受育儿辅助服务的服务器3的系统来进行服务要求。

此外，如后所述，若在服务提供过程中发生规定的状态或者状况，则服务器3也能够向其他系统的服务器5以及家长的智能手机6发出通知。

服务器5是对用于育儿辅助服务的多个专职人员进行管理的系统的服务器。服务器5具有以下程序：即，若接收到来自服务器3的规定的命令，则从多个专职人员中选定一人，并指示所选定的专职人员进行在命令中被指示的应对。向各专职人员的指示通过与所接收到的命令对应的应对指示的电子邮件的发送或者语音指示信息的发送来进行。

如图3所示，终端2被家长设置于用户的儿童C所在的室内空间11内儿童C能够观看到的位置。

终端2是具有薄板状的形状的平板(tablet)终端，该终端2具有：带有触摸屏而能够显示影像的显示部12、扬声器13、摄像机14以及麦克风15。此外，终端2具有无线LAN、WIFI等无线通信功能。在此，终端2是平板终端，也可以是笔记本电脑、专用装置。

用户经由终端2接受育儿辅助服务。以下的实施方式中说明的育儿辅助服务是使儿童C对内容进行视听的服务。

在签订育儿辅助服务的协议时由家长提供的、儿童C的年龄、性别、感兴趣的东西等信息被登录于服务器3。由此，在服务器3，能够提取适合用户的儿童C的内容的候补。

如上所述，终端2具有显示部12、扬声器13、摄像机14以及麦克风15。而且，如图4所示，终端2具有控制部16和具有无线通信功能的通信部17。控制部21具有CPU、ROM、RAM等，进行显示部12、扬声器13等各设备的动作的控制。

显示部12、扬声器13、摄像机14、麦克风15以及通信部17与控制部16连接。控制部16执行存储于ROM的程序，由此来执行各种处理，向显示部12等周边设备输出驱动信号等，以及接收来自各周边设备的输入信号等。

在控制部16的ROM中存储有用于接受服务器3的各种服务的终端用程序。控制部16根据来自用户的指示输入、例如向带有触摸屏的显示部12的指示输入，执行用于服务器3的育儿辅助服务等各种服务的终端用程序。

另外，终端用程序也可以从服务器3进行下载。

本实施方式的育儿辅助服务是通过终端2来照看儿童C的服务。具体地讲，作为中央装置的服务器3将儿童C感兴趣的内容数据发送至终端2。由于儿童C感兴趣的内容被显示于终端2，因此，儿童C会安静不动地进行视听。家长在儿童C通过终端2对内容进行视听期间能够完成家务或事情。而且，若儿童C厌倦显示于终端2的内容而儿童C对内容的关心度下降，则服务器3变更供儿童C视听的内容。

而且，若变成儿童C不对内容进行视听等的状态，则规定的负责人跟正在观看终端2的内容的儿童C说话或向家长发送电子邮件，代替终端2来进行儿童C的对应。

由此，用户在想由终端2来照看儿童C时，对服务器3进行育儿辅助服务提供要求。

图5为表示终端2的画面的显示例的图。

作为用户的儿童C的家长在想接受育儿辅助服务时，启动用于接受育儿辅助服务的终端用程序。若终端用程序被执行，则在显示部12的画面12a上显示出表示“育儿辅助服务开始”的规定的按钮12b，用户触摸此按钮12b。即，用户使终端用程序执行，触摸规定的按钮12b，由此，能够对服务器3要求提供育儿辅助服务。

若按钮12b被触摸，则从终端2向服务器3发送服务提供要求，在此，发送育儿辅助服务的提供要求。在来自终端2的服务提供要求中包括用于确定用户的识别信息，例如用户ID。

图6为表示终端2的终端用程序的处理流程的例子的流程图。终端2在向服务器3发送育儿辅助服务的提供要求后，执行图6的处理。

服务器3根据用户的来自终端2的服务提供要求，向终端2发送内容数据，因此，终端2执行服务信息接收处理(步骤(以下，简称S)1)。服务信息是影像内容的数据。

通过服务信息接收处理，终端2对内容数据进行解码，将内容的影像显示于显示部12的画面12a，并且进行从扬声器13输出内容的语音的动作。

即，控制部16构成动作控制部，该动作控制部根据经由通信部17接收到的来自服务器3的数据，进行终端2的内容的输出动作的控制。

其结果是：儿童C能够使用终端2对内容进行视听。

终端2进行服务信息接收处理，并进行摄像机图像数据和语音数据的发送处理(S2)。摄像机图像数据由通过摄像机14进行拍摄而获得的摄像信号生成，语音数据由在麦克风15获得的语音信号生成。摄像机14能够获得观看画面12a的儿童C的图像，麦克风15能够收集观看画面12a的儿童C发出的语音和周围的声响。摄像机图像数据和语音数据是表示终端2的利用状况的数据。由此，控制部16构成进行通过通信部17向服务器3发送终端利用状况数据的处理的发送处理部，该终端利用状况数据包括通过摄像机14进行拍摄而获得的图像数据以及通过麦克风15获得的语音数据。

通过摄像机图像数据和语音数据的发送处理，对内容进行视听的儿童C的脸部的图像数据和儿童C发出的语音等语音数据被发送至服务器3。

用户也能够在服务信息接收过程中使服务结束。在终端2，对基于有无对用户的服务结束指示或者有无结束来自服务器3的服务提供的服务的结束进行判断。服务信息接收过程中的服务的结束能够通过作为用户的儿童C或者其家长触摸画面上的规定的按钮来进行。来自服务器3的服务提供的结束是基于内容数据的接收状况等而在终端2被自动地判断的。

由此，在进行服务信息接收处理(S1)和摄像机图像数据以及语音数据的发送处理(S2)的处理的同时，还进行服务结束的判断处理(S3)。

在判断为服务结束时(S3为“是”)，处理结束。

在不判断为服务结束时(S3为“否”)，处理返回到S1，继续进行S1和S2的处理。

终端2继续进行接收来自服务器3的内容数据的处理和发送摄像机图像数据以及语音数据的处理，直到判断为服务结束。

图7为表示服务器的服务信息提供处理的流程的例子的流程图。若接收到来自终端2的服务提供要求，则执行图7的处理。图7的处理是用于通过CPU3a从存储器3c读出并执行的育儿辅助服务的程序APc的处理。

服务器3若接收到来自终端2的服务提供要求，则根据用户的识别信息对用户进行识别，基于针对用户的儿童C而预先登录的喜好等信息，从数据库选择内容(S11)。

具体地讲，服务器3若接收到来自终端2的服务提供要求，则根据用户的识别信息对用户进行识别。然后，服务器3基于所识别出的儿童C的喜好等信息，从数据库DB中所包括的大量的内容中提取被认为是儿童C的关心度高的多个内容。然后，对所提取的多个内容附上顺序。从服务器3向终端2所提供的多个内容和各内容提供的顺序被设定为内容提供的脚本(scenario)。由此，如后所述，在内容被变更时，以此脚本的顺序对内容进行选择，选择出的内容被提供给终端2。

如上所述，在数据库DB中还预先存储有关于各内容的属性信息，因此，最初基于属性信息来选择被推定为儿童C的关心程度最高的内容。

服务器3执行向终端2发送所读出的内容数据的内容发送处理(S12)。

而且，服务器3执行对正在对所发送的内容进行视听的用户的儿童C的关心度进行判断的关心度判断处理(S13)。

使用图8，对关心度判断处理加以说明。

图8为表示关心度判断处理的流程的例子的流程图。

从用户的终端2向服务器3实时地发送图像数据和语音数据。由此，服务器3使用媒体知识处理程序MP来执行图像解析、语音解析等。

首先，服务器3执行图像解析处理(S21)。在图像解析处理中，进行人物的识别、人物的脸部识别等。S21的处理通过媒体知识处理程序MP来执行。即，S21的处理构成图像解析部，该图像解析部对经由通信部3b接收到的图像数据进行图像解析，对正在观看终端2的作为用户的儿童C进行识别。

接着，服务器3执行根据通过图像识别处理所识别出的人物的脸来确定眼球的位置的眼球位置确定处理(S22)。眼球的位置能够根据通过脸部识别处理所识别出的脸的图像信息获得，确定脸上的两个眼的位置。

接着，服务器3执行对通过图像识别处理所识别出的人物的视线方向进行判断的视线方向判断处理(S23)。视线方向的判断基于通过脸部识别处理所识别出的人物的脸的图像和通过眼球位置确定处理所确定的两个眼的位置的信息来进行。

而且，服务器3执行对通过图像识别处理所识别出的人物的眼睛的眨眼进行判断的眨眼判断处理(S24)。

然后，服务器3执行根据在S21至S24中被识别或者判断出的眼球位置、视线方向以及眨眼的信息，对正在对终端2的内容进行视听的用户的儿童C的关心度进行判断的关心度判断处理(S25)。

在本实施方式中，关心度的判断基于是否儿童C朝向后方不再观看终端2而无法识别眼球位置、或者是否视线方向不再是终端2的显示部12的方向、或者是否闭眼的时间变长来进行。

即，关心度由每规定时间内视线朝向终端2的时间的长度或者比例来规定。

由此，S25的处理构成判断用户的视线、即视线方向，并基于此视线来判断对终端2的关心度的关心度判断部。

例如，每数秒对有无上述状态、即无法识别出眼球位置的状态、视线方向不是终端2的方向的状态、或者闭眼时间变长的状态的至少一个状态的发生进行判断。这些状态的持续时间越变长，儿童C未在观看终端2的时间越变长。未在观看终端2的时间变长意味着儿童C对内容的关心度低。

在本实施方式中，关心度被定义为每规定时间内的用户、在此即儿童C正在观看内容的时间。在此，关心度由每规定时间内的儿童C正在观看内容的时间的比例来表示。

另外，在此，由每规定时间内的用户、在此即儿童C正在观看内容的时间比例来对关心度进行定义并数值化，但也可以使用其他的函数来进行数值化。

返回到图7，服务器3对在S13所判断出的关心度是否为规定的阈值TH以下进行判断(S14)。在以下的说明中，关心度的移动平均值由关心度INT来表示。

图9为表示关心度的变化的曲线图。

图9中，纵轴对应于关心度INT，横轴对应于时间t。如图9所示，在内容发送的紧后，关心度INT高，但伴随着时间t的经过，关心度INT下降，在时刻t1关心度INT变为阈值TH以下。

如果关心度INT不是阈值TH以下(S14为“否”)，则处理返回到S12。

在关心度INT为阈值TH以下时(S14为“否”)，服务器3执行内容变更处理(S15)。S15是将所要发送的内容变更为与当前选择并正在发送的内容不同的其他内容的处理。这个处理的目的是：由于儿童C对当前正在发送的内容的关心度变低，所以通过对内容进行变更来提高儿童C的关心度。在S15中，选择当前正在发送的内容的顺序上的下一个内容。

接着，服务器3对是否是基于来自作为用户的儿童C的家长的结束指示或者内容的发送结束的服务结束进行判断(S16)。

如果不是服务结束(S16为“否”)，则处理返回至S12，进行在S15所变更的内容的发送处理。若内容通过S15的处理而被变更，则儿童C有可能对新的内容产生兴趣。

如果儿童C对所变更的内容表示出兴趣，则如图8中双点划线所示，关心度INT上升。

由此，若关心度INT变为规定的阈值TH以下，则选择并发送由脚本所设定的、当前正在发送的内容的下一个顺位的内容，因此，儿童C的关心度INT被维持在规定的阈值TH以上。

如果服务结束(S16为“是”)，则处理结束。

另外，在S15的内容变更处理中，也可以不是服务器3以预先设定的脚本的顺序对发送的内容进行变更，而是使管理专职人员的服务器5发送负责的专职人员的直播影像。

如以上那样，S15的处理构成通过通信部3b向终端2发送变更指示的动作变更指示发送部，该变更指示用于若S13中所判断出的关心度INT为规定的阈值TH以下，则将终端2的内容的输出动作变更为其他内容的输出或者直播影像的内容的输出的动作。

此外，在S12之后，与基于由S13至S15的处理实现的关心度判断的内容变更处理并行地执行基于由S17至S19的处理实现的行动判断的应对处理。在此，应对处理利用规则库系统来进行。

首先，服务器3执行行动判断处理(S17)。

图10为表示行动判断处理的流程的例子的流程图。

图10的处理使用媒体知识处理程序MP来进行。

首先，服务器3执行图像解析处理(S31)。在S31的图像解析处理中，执行用于人物的识别、人物的运动识别等的解析处理。

而且，服务器3执行语音解析处理(S32)。在S32的语音解析处理中，执行用于人物的语音识别、发出声响的物体的推定等的解析处理。

然后，服务器3使用S31和S32的解析处理的结果来进行行动判断(S33)。

在S33的行动判断中，根据S31的图像解析结果来执行例如作为用户的儿童C的动作、S23中说明的视线方向、S24中说明的眨眼等的推定处理，以及根据S32的语音解析结果来进行例如儿童C所发出的语音、其大小等的推定处理，从而判断儿童C的行动。

另外，在语音解析处理中，生成对语音数据进行解析而获得的声响解析信息。声响解析信息包括人物所说出的语言、根据语言获知的此人物的意图等的信息、进而发出声响的物体等的信息。

返回到图7，服务器3基于S17的行动判断处理的结果来判断是否需要采取规定的行为(action)、即是否需要应对(S18)。

然后，在需要应对的情况下(S18为“是”)，服务器3执行应对处理，该应对处理执行规定的行为(S19)。

在此，S18和S19的处理是使用了规则库系统的处理。规则库系统参照在存储器3c中所存储的规则信息rDB来决定所执行的处理的行为。

根据由S33的行动判断所判断出的儿童C的行动或者状态，判断有无规定的事件，根据有无一个或者两个以上的规定的事件的发生，判断各规则是真或者伪。

在规则库系统中，预先确定一个或者两个以上的规定和与各规定变为真时对应的行为。各规则根据有无一个或者两个以上的事件的发生来规定。即，各行为是在有规定的一个或者两个以上的事件发生时(即“真”的时候)所执行的处理。即，在判断为规定的规则为真时，执行规定的行为。

若发生事件，则该事件作为日志数据被存储于存储器3c。在判断为规定的规则为真时，判断为发生了规定的事件。

服务器3判断规定的多个规则中是否存在规则变为真的情况，由此来判断是否需要应对(S18)。在判断为需要应对时(S18为“是”)，则服务器3执行应对处理(S19)。应对处理是执行针对变为真的规则执行预先设定的行为的处理。

另外，在不判断为需要应对时(S18是“否”)，处理移至S16。

即使儿童C的视线仅从终端2离开稍许时间，只要立刻返回到终端2则没有问题。但是，例如，在判断为即使在关心度INT变为规定的阈值TH以下而进行了内容的变更之后，关心度INT仍如图9中以单点划线所示那样继续下降时，服务器3也会向服务器5的规定的专职人员发送电子邮件来进行指示以便直接应对。即，作为一个规则，规定在关心度INT变为规定的阈值TH以下而进行了内容的变更这一事件之后，发生了关心度INT继续下降这一事件的规则，在此规则为真时(S18为“是”)，服务器3向服务器5发送为了进行由专职人员实现的直接应对的指示的电子邮件，并且从设于专职人员的个人计算机的摄像机向服务器5发送使专职人员的直播影像从专职人员的个人计算机发送至终端2的命令。其结果是：在终端2的画面上显示专职人员的直播影像的内容。

此外，在关心度INT为规定的阈值TH以下，且通过图像解析而判断为儿童C的身影从图像中消失时，服务器3向家长的智能手机6发送紧急的电子邮件，通知家长儿童C未在对终端2的内容进行视听。即，作为一个规则，规定关心度INT为规定的阈值TH以下的事件和儿童C的身影不存在于摄像机14的图像中的事件同时发生时这一规则，并规定以下行为：在此规则为真时(S18为“是”)，服务器3向家长的智能手机6发送规定的消息(message)、例如“您的孩子没有观看终端”这样的消息的电子邮件。

此外，在通过图像解析判断出儿童C的视线未朝向终端2，且儿童C持续规定时间以上发出大的语音时，服务器3向服务器5的规定的专职人员发送电子邮件来进行指示以便直接应对。即，作为一个规则，规定儿童C的视线未朝向终端2的事件和儿童C持续规定时间以上发出大的语音的事件同时发生时这一规则，并规定以下行为：在此规则为真时(S18为“是”)，服务器3向服务器5发送为了进行由专职人员实现的直接应对的指示的电子邮件。

而且，在根据图像解析得知儿童C的眨眼的次数正在减少，且儿童C的动作变少时，会认为儿童C正在犯困，因此，服务器3向终端2发送使正在发送的内容的音量水平下降的命令。即，作为一个规则，规定在根据图像解析得知儿童C的眨眼的次数正在减少的事件和儿童C的运动变少的事件同时发生时这一规则，并规定以下行为：在此规则为真时(S18为“是”)，服务器3向终端2发送使正在发送的内容的音量水平下降的命令。

如以上那样，S17的处理构成基于图像数据以及语音数据来判断有无规定的事件发生的事件判断部。另外，有无规定的事件发生也可以仅通过图像数据来进行。S18和S19的处理构成在通过S17判断为存在规定的事件的发生时，发出规定的通知的通知部。

然后，在规定的通知中还包括用于向服务器5指示将在终端2显示的内容切换为专职人员的直播影像的通知。即，规定的通知是向作为规定的装置的服务器5发出的、用于使服务器5进行将终端2处的动作变更为其他动作的处理的通知。其结果是：例如，在将影像内容显示于终端2时不能从图像数据看到儿童C的身影的情况下，或者即使变更影像内容，关心度INT也不变为规定的阈值TH以上的情况下等，能够使服务器5以及终端2进行将显示部12的显示从内容变更为专职人员的直播影像的处理。

以上说明的规则和行为是示例。

除此以外，在服务器3预先定义多个一个或两个以上的事件的发生方式(pattern)的规则和与各规则对应的行为，由此，能够对用户进行与用户的关心度对应的行为或者符合服务的提供的行为。

通过预先将以上那样的规则库系统嵌入服务器3的媒体知识处理程序MP或者应用程序AP中，服务器3根据在终端2获得的图像数据和语音数据来判断用户对终端2的关心度INT，并且，感测各种事件的发生，即对行动进行判断(S17)，在规定的规则变为真时(S18为“是”)，执行与此规则对应的预先确定的行为(S19)。

在S19的处理之后，处理移至S16。

进行了内容的变更的结果是：如果关心度INT不变为规定的阈值TH以下(S14为“否”)，任意规则也不变为真(S18为“否”)，则儿童C有兴趣地持续对内容进行视听。

另外，对于育儿辅助服务中的内容的提供，对内容的连续提供时间预先设置时间限制、即上限时间，使得儿童C不过分沉迷于影像内容。

而且，因为在电影等内容结束时、或者中断内容的视听时，会突然无法对内容进行视听，所以，也可以语音输出“接下来和妈妈一起玩吧”等结束消息或者结束预告消息，以免儿童C哭泣。

如以上那样，若用户要求育儿辅助服务，则服务器3根据此要求，向终端2发送其儿童C感兴趣的内容。

服务器3基于终端2的摄像机14的图像数据，在内容提供过程中监视观看内容的儿童C的视线，并基于视线来判断儿童C对内容的关心度INT。

若关心度INT下降而变为规定的阈值TH以下，则为了提高儿童C的关心度INT而发送其他内容。

在即使进行内容的变更，儿童C的关心度INT也不提高的情况下，服务器3判断儿童C突然离开终端2的情况、儿童C吵闹起来的情况等状况。

而且，服务器3根据状况，为了与用于育儿辅助的专职人员取得联络，而向管理与专职人员的联络的其他系统的服务器5发出通知或者指示，或者为了与儿童C的家长取得联络，而向家长的智能手机6发出通知。

另外，在上述实施方式中，向儿童C的家长的智能手机6发出通知，但也可以在服务器3预先登录例如公寓的管理人等家长以外的人来作为联络对象，从而与家长以外的人进行联络。

由此，基于儿童C的视线对关心度INT进行监视，若关心度INT下降，则进行内容的变更，由此能够促使儿童C将注意力集中于终端2来观看内容。

而且，若发生关心度INT继续下降或儿童C离开终端等状况，则与专职人员或者家长进行联络，因此，能够在提高安全性的同时接受育儿辅助服务。

而且，在上述实施方式中，儿童C的图像仅通过终端2的摄像机14来获得，其图像数据被发送至服务器3，但如图3所示，也可以在室内空间11设置对儿童C进行拍摄的其他摄像机14a，根据由两个摄像机14和14a获得的两个影像来判断儿童C的行动。

对上述实施方式的应用例加以说明。

上述实施方式所提供的服务是育儿辅助服务，该服务利用平板终端等终端2来使儿童C观看影像内容等，由此引起儿童C的关注，但如果能够通过使儿童C观看影像内容等以外的手段来引起儿童C的关注也没有问题，因此，终端2也可以是机器人。

图11为机器人的外观图。机器人31包括图4所示的构成要素，还具有控制部16、扬声器13、摄像机14、麦克风15等。

在终端2为机器人31的情况下，服务器3向机器人发送会话数据。儿童C将会有兴趣地观察说话的机器人31。此时，服务器3根据由设于机器人的摄像机14获得的儿童C的图像来对视线进行判断。

此外，为了进一步引起儿童C的关注，机器人31也可以是手臂等也能够活动的机器人。即，也可以是：作为其动作，机器人31能够进行机器人31的手等的活动或语音输出。

然后，如上所述，根据视线来判断关心度INT，若关心度INT变为规定的阈值TH以下，则通过发送其他话题的会话数据，能够使儿童C将注意力集中于作为终端2的机器人。在能够使手臂等活动的机器人的情况下，若关心度INT变为规定的阈值TH以下，则服务器3向机器人31发送其他的活动数据。

即，机器人31的控制部16构成根据经由通信部17所接收到的来自服务器3的活动数据或者动作的指示，来进行机器人31的动作的控制的动作控制部。

然后，若关心度INT继续下降而发生儿童C离开作为终端的机器人31等状况，则与专职人员或者家长进行联络，因此，能够安全地接受育儿辅助服务。

另外，使用这样的机器人的服务也能够在将机器人用于在护理设施等的康复训练的情况下应用。

上述实施方式的终端是具有显示部的终端2，在上述例子中是机器人，但只要能够引起儿童C的关注即可，因此，上述终端也可以是在地板上自动走行的吸尘器这样的家电设备。

图12为作为家电设备的一例的吸尘器的外观图。

吸尘器41是在室内自动走行并吸引地板表面上的垃圾的所谓机器人吸尘器。在主体42包括图4所示的构成要素，并搭载有控制部16、扬声器13、摄像机14、麦克风15等。吸尘器41能够进行吸尘器自身的活动和语音输出。

在终端2为吸尘器41的情况下，服务器3向机器人发送会话数据以及活动数据。儿童C将会对或说话或活动的吸尘器41感兴趣地进行观察。此时，服务器3根据由设于吸尘器41的摄像机获得的儿童C的图像来对视线进行判断。

然后，如上所述，根据视线对关心度INT进行判断，若关心度INT变为规定的阈值TH以下，则通过发送其他话题的会话数据或其他活动数据，能够使儿童C将注意力集中于作为终端2的吸尘器41。

即，吸尘器41的控制部16构成根据经由通信部17所接收到的来自服务器3的活动数据或者动作的指示，来进行吸尘器41的动作的控制的动作控制部。

然后，若关心度INT继续下降而发生儿童C离开作为终端的机器人31等状况，则与专职人员或者家长进行联络，因此，能够安全地接受育儿辅助服务。

而且，作为其他的应用例，只要能够引起儿童C的关注即可，所以，终端2也可以是远程教育系统的计算机。例如，服务器3利用网络向作为终端2的个人计算机发送授课的内容数据，在终端2的显示部显示授课的影像，使语音从扬声器输出，并且通过终端2的摄像机14来取得作为学生的用户的图像。

此情况下，根据用户的视线对用户的关心度INT进行判断，若关心度INT变为规定的阈值TH以下，则通过发送其他授课内容数据，能够使用户将注意力集中于终端2。

然后，若关心度INT继续下降而发生用户离开终端等状况，则与专职人员或者家长进行联络。

如以上那样，根据上述实施方式以及应用例，能够提供一种能够使用户注意力集中地持续对内容进行视听的关心维持系统。

本说明书的各“部”是与实施方式的各功能对应的概念性的表达，并不一定与特定的硬件或软件程序(routine)一一对应。因此，在本说明书中，以下，假定具有实施方式的各功能的假想的电路板(部)来对实施方式加以说明。此外，本实施方式中的各顺序的各步骤只要不违背其性质，则可以对执行顺序进行变更，可以多个同时执行，或者每次执行都以不同的顺序来执行。而且，也可以通过硬件来实现本实施方式中的各顺序的各步骤的全部或者一部分。

对本发明的几个实施方式进行了说明，但这些实施方式是作为例子示出的，其意图并不在于限定发明的范围。这些新颖的实施方式能够以其他各种方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式和其变形包含于发明的范围和主旨中，并且包含于权利要求书中所记载的发明和其等同的范围内。

本申请是以2016年9月29日在日本国提出的特愿2016－191117号为主张优先权的基础来提出的，上述的公开内容被引用于本申请说明书、权利要求书中。

Claims (14)

1.一种关心维持系统，包括终端和服务器，并维持用户对上述终端的关心，

上述终端具有：

第一通信部；

摄像机；

动作控制部，根据经由上述第一通信部所接收到的来自上述服务器的数据或者指示，进行上述终端的第一动作的控制；以及

发送处理部，进行通过上述第一通信部向上述服务器发送终端利用状况数据的处理，该终端利用状况数据包括由上述摄像机进行拍摄而获得的图像数据，

上述服务器具有：

第二通信部；

图像解析部，对经由上述第二通信部所接收到的上述图像数据进行图像解析，识别正在观看上述终端的上述用户；

关心度判断部，判断在上述图像解析部中识别出的上述用户的视线，并基于上述视线来判断对上述终端的关心度；以及

动作变更指示发送部，若在上述关心度判断部中判断出的上述关心度为规定的阈值以下，则通过上述第二通信部向上述终端发送用于将上述终端的上述第一动作变更为第二动作的变更指示。

2.根据权利要求1所述的关心维持系统，其中，

上述关心度通过每规定时间内上述视线朝向上述终端的时间的长度或者比例来规定。

3.根据权利要求1或2所述的关心维持系统，其中，

上述服务器具有：

事件判断部，基于上述图像数据判断有无发生规定的事件；以及

通知部，在通过上述事件判断部判断为发生了上述规定的事件时，发送上述规定的通知。

4.根据权利要求3所述的关心维持系统，其中，

上述终端具有麦克风，

上述利用状况数据包括由上述麦克风取得的语音数据，

上述事件判断部除了基于上述图像数据，还基于经由上述第二通信部所接收到的上述语音数据来判断有无发生上述规定的事件。

5.根据权利要求3或4所述的关心维持系统，其中，

上述规定的通知是用于使规定的装置进行将上述终端的上述第一动作或上述第二动作变更为第三动作的处理的、向上述规定的装置发出的通知。

6.根据权利要求1～5中任一项所述的关心维持系统，其中，

上述终端具有对影像进行显示的显示部，

上述第一动作是将第一影像内容显示于上述显示部的动作，

上述第二动作是将第二影像内容显示于上述显示部的动作。

7.根据权利要求6所述的关心维持系统，其中，

上述第一影像内容以及上述第二影像内容从上述服务器发送。

8.根据权利要求1～5中任一项所述的关心维持系统，其中，

上述终端是机器人，

上述第一动作以及上述第二动作是上述机器人的动作或语音输出。

9.根据权利要求1～5中任一项所述的关心维持系统，其中，

上述终端是在地板上自行的吸尘器，

上述第一动作以及上述第二动作是上述吸尘器的动作或语音输出。

10.一种服务器，用于维持用户对终端的关心的关心维持系统，具有：

通信部；

图像解析部，对经由上述通信部所接收到的来自上述终端的图像数据进行图像解析，识别正在观看上述终端的上述用户；

关心度判断部，判断在上述图像解析部中识别出的上述用户的视线，并基于上述视线来判断对上述终端的关心度；以及

动作变更指示发送部，若在上述关心度判断部中判断出的上述关心度为规定的阈值以下，则通过上述通信部向上述终端发送用于将上述终端的上述第一动作变更为第二动作的变更指示。

11.根据权利要求10所述的服务器，其中，

上述关心度通过每规定时间内上述视线朝向上述终端的时间的长度或者比例来规定。

12.根据权利要求10或11所述的服务器，其中，

上述服务器具有：

事件判断部，基于上述图像数据判断有无发生规定的事件；以及

通知部，在通过上述事件判断部判断为发生了上述规定的事件时，发送上述规定的通知。

13.根据权利要求12所述的服务器，其中，

上述事件判断部除了基于上述图像数据，还基于经由上述通信部所接收到的语音数据来判断有无发生上述规定的事件。

14.根据权利要求12或13所述的服务器，其中，

上述规定的通知是用于使规定的装置进行将上述终端的上述第一动作或上述第二动作变更为第三动作的处理的、向上述规定的装置发出的通知。