CN112578906A - 一种基于自然交互的远程家庭感知与虚拟呈现方法 - Google Patents

Abstract

本发明公开了一种基于自然交互的远程家庭感知与虚拟呈现方法，针对老年人的心理健康问题，解决老年人特别是空巢老人的孤独感，解决目前市场中各服务行业因过于注重老年人身理健康而所忽视的老年人心理健康问题。所述方法构建的产品系统包括硬件和软件，其中硬件结构包括：动作行为采集/呈现设备、声音采集/呈现设备、数据处理与分析设备；软件域结构包括：动作行为采集/呈现系统、声音采集/呈现系统、数据处理与分析系统、数据库管理系统等。本发明方法通过实时采集远程家庭成员日常生活的动作行为数据，在本地实时同步还原活动情况并以三维方式呈现活动状态，实现自然交互和沉浸体验。由于本发明不采集家庭环境及成员的可视图像，有效地保护了家庭隐私，有利于推广使用。

Description

一种基于自然交互的远程家庭感知与虚拟呈现方法

技术领域

本发明属于家庭医疗健康技术领域，尤其涉及一种基于自然交互的远程家庭感知与虚拟呈现技术。

背景技术

我国近年的人口普查结果显示，预计到2020年，国家老年人口将达到2.48亿，老龄人群占比将达到17.17％，其中80岁以上老年人口将达到3067万人，而六十岁以上人口预计将在2025年达到3亿，我国将成为超老年型国家，并且由于我国的独生子女问题，这些老年人的家庭绝大多数会成为空巢家庭。目前医疗、保险和信息服务等行业在应对社会老龄化问题时，绝大多数从老年保健、保养和医疗陪护等生理健康方面入手，但针对老年人，特别是空巢老人心理健康方面着手研发的产品非常少，如何解决老年人孤独的心理问题成为一个亟待解决社会问题。随着全息成像技术、虚拟现实和增强现实技术、传感器技术以及5G技术等相关领域的研究与发展，基于自然交互与体验的技术体系将日渐成熟，着重“自然沉浸式”的远程家庭感知与虚拟呈现技术将逐步成熟，基于这些技术开发的服务平台与产品能有效应对老龄化社会中老年人心理健康问题，解决老年人尤其是空巢老人日常生活中的孤独感，时刻感知子女就在身边，从而不再感受孤独，幸福享受晚年生活。

通过技术手段把远程家庭的日常生活场景实时呈现在本地，并可以实时地进行语音通话等交互，这类技术与产品主要包含两大类：视频监控与视频会议。视频监控可以通过摄像头把远程家庭的场景实时传输到本地，供本地查看。视频会议可以把不同地点的场景实时传输及显示在不同的终端上，所有用户也可以通过语音进行交互。但这两类技术或产品都不适合用于家庭，主要存在两方面问题，一是视频及语音的交互方式非常不自然，在家庭中使用很不方便，每次父母与子女通话都需要繁琐的操作步骤，让人时刻感到亲人并不在身边，根本无法营造亲人就在身边的气氛。这种传统的通话与沟通方式虽然相当成熟并存在了很多年，但仍然无法解决老年人感到孤独的问题。二是基于视频技术把远程场景用图像的方式进行传输，这种方式也不适合非常注重家庭隐私的场合，同时视频会议也仅采集了会议场所这样一个非常狭窄的、相对固定空间的图像，根本无法满足沉浸感的要求，反而时刻提醒老年人：子女不在身边。所以，即使不考虑隐私问题，视频会议仍然无法解决老年人孤独感受的问题。

本发明通过行为感知技术、三维虚拟呈现技术等，可以解决现有产品存在的上述问题。

发明内容

本发明旨在针对老年人的心理健康问题，采用基于自然交互的远程家庭感知与虚拟呈现技术，实时采集与传输远程家庭环境及成员活动信息，并本地家庭实时同步呈现远程家庭成员日常活动，营造一种亲人就在家中，从不曾离开的自然、沉浸的虚实结合的家庭环境，从而解决老年人特别是空巢老人的孤独感，

本发明提供一种基于自然交互的远程家庭感知与虚拟呈现方法，所述方法包括以下主要步骤：

步骤1，对远程家庭日常活动场景(如客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所)内，实时采集和提取家庭成员日常活动的动作行为和声音数据。

步骤1.1，动作行为采集设备及声音采集设备随时处理于连线工作状态，一旦捕获到家庭日常活动场景中有成员活动或声音信号，立即启动数据采集，通过双目或多目视觉技术及音频技术，实时采集家庭成员的活动动作行为，形成骨骼数据、场景深度数据，通过分析提取动作行为特征数据，并且同时采集语音或其他声音等数据。

步骤1.2，动作行为数据与语音及其他音频数据采用，不需要使用传统的拨号或网络连接等人工操作，家庭成员可自由地活动和说话，采集设备实时感知数据变化和采集数据，实现家庭成员间的自然交互。

步骤1.3，采集设备采用红外或其他成像技术以及音频捕获技术，随时感知远程家庭日常活动场景中的成员活动、语音和其他音频数据。

步骤1.4，动作行为采集只获取场景的深度数据或红外图像，不获取可视图像数据，确保家庭成员的隐私。

步骤1.5，动作行为采集设备、声音采集设备可以根据不同家庭的要求，布置在客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所，实时采集数据。

步骤2，动作行为采集设备及声音采集设备将动作行为数据与声音数据传输给数据处理与分析设备，该设备对数据进行处理，提取特征数据，并通过它的数据传输模块，实时在互联网或4G/5G网络上进行数据远程传输。

步骤3，本地家庭的数据处理与分析设备通过它的数据接收模块，实时从互联网或4G/5G网络接收远程传输来的家庭成员动作行为数据和声音数据。

步骤4，数据处理与分析设备识别动作行为与声音所属家庭成员，对动作行为数据进行三维建模，生成家庭成员三维虚拟形象，并实时在本地家庭的相应位置进行三维虚拟呈现。

步骤4.1，预先在本地采集家庭环境及家庭成员的三维信息(包括骨骼、纹理等数据)，并建立三维模型，将三维模型保存在数据库中。

步骤4.1.1，采集客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所的环境数据，建立家庭环境的三维场景模型。

步骤4.1.2，采集家庭成员的三维信息数据，特别是涉及家庭成员形象的数据，只在本地保存，不进行远程传输，以确保家庭成员的隐私。

步骤4.1.3，根据家庭成员的三维信息建立家庭成员三维模型库，同时也建立少量非家庭成员的虚拟客人模型。

步骤4.2，数据处理与分析设备一旦接收到远程家庭的动作行为和声音数据，就首先对数据进行识别，找出当前动作行为数据与语音数据所属家庭成员以及所属场所，并通过三维建模生成家庭场景及成员三维虚拟形象。

步骤4.2.1，数据处理与分析设备从接收数据中获取家庭成员所在场所，如客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所，从数据库中提取相应的三维场景模型数据，还原远程家庭成员活动场景。

步骤4.2.2，数据处理与分析设备从接收数据中识别家庭成员，并从三维模型数据库中获得相应成员的三维信息数据，建立三维虚拟形象。

步骤4.2.3，数据处理与分析设备分析远程家庭成员的动作行为数据，结合该成员三维信息还原家庭成员的活动情况。

步骤4.2.4，数据处理与分析设备识别出非家庭成员，则从三维模型数据库中选择虚拟客人的三维信息还原非家庭成员的活动情况。

步骤4.3，数据处理与分析设备将生成的远程家庭环境场景、家庭成员三维虚拟形象等数据传输到呈现设备中进行虚拟展示，实现沉浸式体验。

步骤4.3.1，呈现设备可以是液晶等显示屏，也可以是虚拟头盔、环幕、球幕、眼镜等虚拟现实或增加现实设备，也可以是使用全息技术的虚拟呈现设备。

步骤5，远程与本地使用上述相同的方式进行数据交互，使远程家庭与本地家庭都呈现为一个完整的家庭。

本发明的一种基于自然交互的远程家庭感知与虚拟呈现方法，有益效果是针对老年人的心理健康问题，解决老年人特别是空巢老人的孤独感，解决目前市场中各服务行业因过于注重老年人生理健康而所忽视的老年人心理健康问题，发明的方法结构清晰、思路合理，能有效提供研发针对老年人心理健康方面的产品技术指导和解决方案。

附图说明

图1是本发明实施例中一种应用场景示意图。

图2是本发明实施例中一种系统构成实例示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1、图2，本发明提供一种基于自然交互的远程家庭感知与虚拟呈现方法的具体实施例，整个实施例的具体过程包括：

101、搭建需求场景内的相应设备；

需要说明的是，搭建需求场景内的相应设备包括：数据处理与分析设备、动作行为呈现设备、声音呈现设备和数据传输模块。在本实施里中，行业呈现设备举例但不限于液晶显示屏、全息投影设备、全息成像设备或无约束VR/AR设备等，声音呈现设备举例但不限于区域三维声音仿真设备等，数据传输模块举例但不限于微机或数据路由器等。

更进一步的方案是：

需求场景设定为老人家庭房屋，需求场景内的相应设备可布置在客厅、厨房、门厅、入户花园、玄关、阳台等场所，每个公共的独立生活活动区域均可划为可布置区域，每个相关区域可布置一个或多个采集与呈现设备群，相关技术人员应合理安排布置区域的划分，按照实际情况和用户需求进行详细的方案制定。需要说明的是，本实施例强调了用户的隐私性，因此并不建议将相应设备布置在诸如卧室或卫生间等具有强隐私性质的生活活动区域，但这不表示相关技术人员的此种动作行为不属于本发明实施所概括的实质范畴，任何隶属于需求场景中的划分区域均纳入本发明实施例的实质与精神中。

102、搭建目标场景内的相应设备；

需要说明的是，搭建目标场景内的响应设备包括：数据处理与分析设备、动作行为采集设备、声音采集设备和数据传输模块。在本实施里中，动作行为采集设备举例但不限于基于视频图像的人物动作行为采集设备等，声音采集设备举例但不限于区域三维声音采集设备或麦克风阵列等，数据传输模块举例但不限于微机或数据路由器等。

更进一步的方案是：

目标场景设定为老人所属子女家庭房屋，动作行为采集设备和声音采集设备可布置在客厅、厨房、门厅、入户花园、玄关、阳台等场所，每个公共的独立生活活动区域均可划为可布置区域，每个相关区域可布置一个或多个动作行为采集设备和声音采集设备群，相关技术人员应合理安排布置区域的划分，按照实际情况和用户需求进行详细的方案制定。需要说明的是，本实施例强调了用户的隐私性，因此并不建议将相应设备布置在诸如卧室或卫生间等具有强隐私性质的生活活动区域，但这不表示相关技术人员的此种动作行为不属于本发明实施所概括的实质范畴，任何隶属于目标场景中的划分区域均纳入本发明的实质与精神中。

更进一步的方案是：

实施例提出人物动作行为采集设备，配套人物动作行为特征提取技术，将目标场景人物的动作行为特征尤其是骨骼特征进行实时提取，动作行为采集设备所采集的数据来自于目标场景人物的动作行为特征，对目标场景人物并不进行直接性的视频图像采集动作行为。需要说明的是，基于保护用户隐私的考虑，本实施例所提出的基于目标场景人物的动作行为进行采集，并不是对图像采集设备或图像采集方法加以限制，任何对于目标场景人物的图像采集设备或图像采集方法，例如直接性视频采集动作行为等，均纳入本实施例或发明内容所涵盖的范围之中。

103、基于本方法部署服务平台运行系统；

需要说明的是，部署服务平台运行系统包括：场景感知系统、动作行为采集系统、动作行为呈现系统、声音采集系统、声音呈现系统、数据处理与分析系统、三维模型数据库系统。需要进一步说明的是，以上系统仅为本实施例中所提出的一种所述服务平台运行系统的部署方案，本领域技术人员应清楚地了解，任何形式结合以上系统进行整合、修改以及未添加实质性或创新性方案，都是本实施例给出方案的变形；同时，本实施例所给出的所属服务平台运行系统的部署方案并未对方案本身加以限制，本领域技术人员应理解为具有指导性意义的方案。

更进一步的方案是：

动作行为呈现系统和声音呈现系统，应配套部署于所述服务平台的所属需求场景中的相应设备；更进一步的说明是，动作行为呈现系统应部署于所述服务平台的所属需求场景中的动作行为呈现设备，声音呈现系统应配套部署于所述服务平台的所属需求场景中的声音呈现设备。

更进一步的方案是：

动作行为采集系统和声音采集系统，应配套部署于所述服务平台的所属目标场景中的相应设备；更进一步的说明是，动作行为采集系统应部署于所述服务平台的所属目标场景中的动作行为采集设备，声音采集系统应配套部署于所述服务平台的所属目标场景中的声音采集设备。

更进一步的方案是：

数据处理与分析系统包括数据分析模块、数据接收模块、数据传输模块等。

更进一步的方案是：

数据处理与分析系统的数据处理模块，应配套部署于所述服务平台的所属需求场景中的数据处理与分析设备。

数据处理与分析系统的数据接收模块，应配套部署于所述服务平台的所属需求场景中的数据处理与分析设备。

更进一步的方案是：

数据处理与分析系统的数据发送模块，应配套部署于所述服务平台的所属目标场景中的数据处理与分析设备。

104、对目标场景人物进行人物建模；

需要说明的是，本领域技术人员，应根据实际用户需要，对需求用户的目标人物进行人物建模工作，本实例举例但不限于：需求用户为空巢家庭中的空巢老人，需求用户的目标人物为空巢老人的子女等亲人。需要进一步说明的是，本实例提出的对所述目标场景人物进行人物建模所采取的方案，举例但不限于基于视频的真三维虚拟人物快速建模技术方法或基于图像特征的真三维虚拟人物驱动技术方法等。

105、服务平台运行；

需要说明的是，本实施例在完成所述服务平台的所属需求场景和所属目标场景的设备搭建工作，完成所述服务平台的运行系统部署工作，以及完成所述服务平台的所属目标场景人物的人物建模工作后，即可进入运行阶段。

所述服务平台的运行过程如下：

所述服务平台对目标场景内的人物进行动作行为和声音的数据采集和提取；

所述服务平台对动作行为和声音数据由目标场景向需求场景进行传输；

所述服务平台对需求场景内进行目标场景人物的动作行为和声音进行数据还原。

更进一步的方案是：

所述服务平台的运行系统可由用户管理开关状态和运行时间，需要进一步说明的是，所述的需求场景中的动作行为呈现系统和声音呈现系统，可由需求用户管理开关状态和运行时间；所述的目标场景中的动作行为采集系统和声音采集系统，可由目标用户管理开关状态和运行时间。

更进一步的方案是：

所述服务平台的数据传输系统，本实施例采取了传输加解密方法，需要进一步说明的是，所述目标场景中的动作行为采集系统和声音采集系统在进行了数据采集工作后，配套以数据处理系统、数据发送系统和数据传输系统，对传输数据进行加密，本实施例的加密方法举例但不限于三重DES算法等；所述需求场景中的数据传输系统、数据接收系统和数据处理系统，对传输数据进行解密，本实施例的解密方法举例但不限于三重DES算法等。

至此，本实施例的具体过程结束。

所属领域的技术人员可以清楚地了解到，为描述的方便和简介，上述实施例所揭露的系统、设备和方法，可以用过其它的方式实现，例如，以上所描述的系统、设备和方法仅仅是示意性的。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的；所述实施例仅用以说明本发明的技术方案，而非对其进行限制。尽管依照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明技术方案的精神和范围。更具体而言，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变形和改进，对于本领域技术人员来说，其他用途也将是明显的。

Claims (4)

1.一种基于自然交互的远程家庭感知与虚拟呈现方法，其特征在于：

步骤1，对远程家庭日常活动场景(如客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所)内，实时采集和提取家庭成员日常活动的动作行为和声音数据。

步骤2，动作行为采集设备及声音采集设备将动作行为数据与声音数据传输给数据处理与分析设备，该设备对数据进行处理，提取特征数据，并通过它的数据传输模块，实时在互联网或4G/5G网络上进行数据远程传输。

步骤3，本地家庭的数据处理与分析设备通过它的数据接收模块，实时从互联网或4G/5G网络接收远程传输来的家庭成员动作行为数据和声音数据。

步骤4，数据处理与分析设备识别动作行为与声音所属家庭成员，对动作行为数据进行三维建模，生成家庭成员三维虚拟形象，并实时在本地家庭的相应位置进行三维虚拟呈现。

步骤5，远程与本地使用上述相同的方式进行数据交互，使远程家庭与本地家庭都呈现为一个完整的家庭。

2.根据权利要求1所述的一种基于自然交互的远程家庭感知与虚拟呈现方法，其特征在于：所述步骤1，对远程家庭日常活动场景(如客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所)内，实时采集和提取家庭成员日常活动的动作行为和声音数据。所述步骤1进一步包括：

步骤1.1，动作行为采集设备及声音采集设备随时处理于连线工作状态，一旦捕获到家庭日常活动场景中有成员活动或声音信号，立即启动数据采集，通过双目或多目视觉技术及音频技术，实时采集家庭成员的活动动作行为，形成骨骼数据、场景深度数据，通过分析提取动作行为特征数据，并且同时采集语音或其他声音等数据。

步骤1.2，动作行为数据与语音及其他音频数据采用，不需要使用传统的拨号或网络连接等人工操作，家庭成员可自由地活动和说话，采集设备实时感知数据变化和采集数据，实现家庭成员间的自然交互。

步骤1.3，采集设备采用红外或其他成像技术以及音频捕获技术，随时感知远程家庭日常活动场景中的成员活动、语音和其他音频数据。

步骤1.4，动作行为采集只获取场景的深度数据或红外图像，不获取可视图像数据，确保家庭成员的隐私。

步骤1.5，动作行为采集设备、声音采集设备可以根据不同家庭的要求，布置在客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所，实时采集数据。

3.根据权利要求1所述的一种基于自然交互的远程家庭感知与虚拟呈现方法，其特征在于：所述步骤4，数据处理与分析设备识别动作行为与声音所属家庭成员，对动作行为数据进行三维建模，生成家庭成员三维虚拟形象，并实时在本地家庭的相应位置进行三维虚拟呈现。所述步骤4进一步包括：

步骤4.1，预先在本地采集家庭环境及家庭成员的三维信息(包括骨骼、纹理等数据)，并建立三维模型，将三维模型保存在数据库中。

步骤4.1.1，采集客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所的环境数据，建立家庭环境的三维场景模型。

步骤4.1.2，采集家庭成员的三维信息数据，特别是涉及家庭成员形象的数据，只在本地保存，不进行远程传输，以确保家庭成员的隐私。

步骤4.1.3，根据家庭成员的三维信息建立家庭成员三维模型库，同时也建立少量非家庭成员的虚拟客人模型。

步骤4.2，数据处理与分析设备一旦接收到远程家庭的动作行为和声音数据，就首先对数据进行识别，找出当前动作行为数据与语音数据所属家庭成员以及所属场所，并通过三维建模生成家庭场景及成员三维虚拟形象。

步骤4.2.1，数据处理与分析设备从接收数据中获取家庭成员所在场所，如客厅、厨房、门厅、入户花园、玄关、阳台等相对公开场所，从数据库中提取相应的三维场景模型数据，还原远程家庭成员活动场景。

步骤4.2.2，数据处理与分析设备从接收数据中识别家庭成员，并从三维模型数据库中获得相应成员的三维信息数据，建立三维虚拟形象。

步骤4.2.3，数据处理与分析设备分析远程家庭成员的动作行为数据，结合该成员三维信息还原家庭成员的活动情况。

步骤4.2.4，数据处理与分析设备识别出非家庭成员，则从三维模型数据库中选择虚拟客人的三维信息还原非家庭成员的活动情况。

步骤4.3，数据处理与分析设备将生成的远程家庭环境场景、家庭成员三维虚拟形象等数据传输到呈现设备中进行虚拟展示，实现沉浸式体验。

步骤4.3.1，呈现设备可以是液晶等显示屏，也可以是虚拟头盔、环幕、球幕、眼镜等虚拟现实或增加现实设备，也可以是使用全息技术的虚拟呈现设备。

4.根据权利要求1、2、3所述的一种基于自然交互的远程家庭感知与虚拟呈现方法，其特征在于：

所述的需求场景中的动作行为呈现系统和声音呈现系统，可由需求用户管理开关状态和运行时间。

所述的目标场景中的动作行为采集系统和声音采集系统，可由目标用户管理开关状态和运行时间。

Images