CN114185425B - 一种基于家庭边缘计算的人机交互系统及方法 - Google Patents

一种基于家庭边缘计算的人机交互系统及方法 Download PDF

Info

Publication number
CN114185425B
CN114185425B CN202111265248.7A CN202111265248A CN114185425B CN 114185425 B CN114185425 B CN 114185425B CN 202111265248 A CN202111265248 A CN 202111265248A CN 114185425 B CN114185425 B CN 114185425B
Authority
CN
China
Prior art keywords
interaction
terminal
intelligent
home
family
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111265248.7A
Other languages
English (en)
Other versions
CN114185425A (zh
Inventor
刘起昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Technology Co Ltd
Original Assignee
Inspur Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Technology Co Ltd filed Critical Inspur Software Technology Co Ltd
Priority to CN202111265248.7A priority Critical patent/CN114185425B/zh
Publication of CN114185425A publication Critical patent/CN114185425A/zh
Application granted granted Critical
Publication of CN114185425B publication Critical patent/CN114185425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提供一种基于家庭边缘计算的人机交互系统及方法,涉及智慧家庭技术领域,该系统包括:家庭边缘计算主机和通信设备以及若干智能交互终端,智能交互终端和家庭边缘计算主机均与通信设备建立连接;智能交互终端用于采集家庭成员的交互信息,以及,获取终端交互请求;家庭边缘计算主机用于基于交互信息,识别对应的家庭成员以及家庭成员在家庭内的活动轨迹和位置,以及,获取家庭成员的终端交互请求,识别出终端交互请求对应的智能交互终端,并在该智能交互终端生成人机交互界面。本发明只需要发起一次终端交互请求,家庭成员在家庭范围内任意地点任意智能交互终端无缝接续式地连续运行智慧家庭应用程序,以实现控制智能家居的目的。

Description

一种基于家庭边缘计算的人机交互系统及方法
技术领域
本发明涉及智慧家庭技术领域,尤其涉及一种基于家庭边缘计算的人机交互系统及方法。
背景技术
目前,家庭成员需要发起与家庭内布置的智能终端的人机交互请求后,例如智能手机、智能平板电脑、智能电视等智能终端,才能建立与上述智能终端的人机交互。因此,采用上述方式,当家庭成员从一个位置转移到另一个位置时,需要智能家居完成相应的指令时,得与新位置的一个智能终端进行人机交互后才能实现,利用该智能终端去操作各个其他智能家居,而与该智能终端进行人机交互,需要先请求交互。
随着智能家居、智慧家庭概念的兴起,现有技术中家庭成员在家庭范围内使用智能家居需要反复发起与智能终端的交互请求,已经无法满足智慧化的需求了。
发明内容
本发明提供一种基于家庭边缘计算的人机交互系统及方法,用以解决现有技术中家庭成员在家庭范围内使用智能家居需要反复发起与智能终端的交互请求的缺陷,实现只需要发起一次终端交互请求,家庭成员在家庭范围内任意地点任意智能交互终端无缝接续式地连续运行属于自己个性化设置的智慧家庭应用程序,以实现控制智能家居的目的。
本发明提供一种基于家庭边缘计算的人机交互系统,包括:
家庭边缘计算主机和家庭范围内的通信设备以及若干智能交互终端,所述智能交互终端和所述家庭边缘计算主机均与所述通信设备建立连接;
所述智能交互终端用于在采集范围内采集家庭成员的交互信息,以及,获取终端交互请求;其中,所述交互信息包括音频信息和视频信息,所述终端交互请求用于与所述智能交互终端之间进行交互;
所述家庭边缘计算主机用于基于交互信息,识别对应的所述家庭成员以及所述家庭成员在家庭内的活动轨迹和位置,以及,获取家庭成员的所述终端交互请求,识别出所述终端交互请求对应的所述智能交互终端,并在该所述智能交互终端生成人机交互界面。
根据本发明提供的基于家庭边缘计算的人机交互系统,所述智能交互终端包括智能手机、智能平板电脑、智能电视、智能音箱、智能家居智能面板以及智能冰箱前面板交互屏。
根据本发明提供的基于家庭边缘计算的人机交互系统,所述家庭边缘计算主机由中央处理器、人工智能算力加速卡、内存、硬盘、电源、局域网连接通信接口组成。
根据本发明提供的基于家庭边缘计算的人机交互系统,所述家庭边缘计算主机构成家庭边缘计算中心,且,所述家庭边缘计算主机内具有成员识别模型,所述成员识别模型包括声纹识别模型、人脸识别技术模型、语音语义分析模型和机器视觉识别模型。
根据本发明提供的基于家庭边缘计算的人机交互系统,所述通信设备为路由器。
本发明还提供一种基于家庭边缘计算的人机交互方法,应用于所述家庭边缘计算主机,包括以下步骤:
通过所述通信设备获取所述智能交互终端采集的所述交互信息;
将所述交互信息输入至所述成员识别模型中,得到所述成员识别模型输出的所述终端交互请求、发起该所述终端交互请求的家庭成员以及该所述终端交互请求对应的所述智能交互终端;
在对应的所述智能交互终端上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面。
根据本发明提供的基于家庭边缘计算的人机交互方法,所述在对应的所述智能交互终端上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面,具体包括以下步骤:
确定发起该所述终端交互请求的家庭成员在家庭内的活动轨迹和位置;
基于活动轨迹和位置,建立发起该所述终端交互请求的家庭成员与该所述终端交互请求对应的所述智能交互终端之间的交互。
根据本发明提供的基于家庭边缘计算的人机交互方法,所述基于活动轨迹和位置,建立发起该所述终端交互请求的家庭成员与该所述终端交互请求对应的所述智能交互终端之间的交互,具体包括以下步骤:
确定第一智能交互终端;其中,所述第一智能交互终端为距离发起该所述终端交互请求的家庭成员最近的所述智能交互终端;
在所述第一智能交互终端上生成人机交互界面,利用所述人机交互界面建立家庭成员与所述第一智能交互终端之间的交互。
根据本发明提供的基于家庭边缘计算的人机交互方法,该方法还包括以下步骤:
获取结束请求,断开生成所述终端交互请求的家庭成员与对应的所述第一智能交互终端之间的交互;其中,所述结束请求为将所述交互信息输入至所述成员识别模型中输出得到的。
根据本发明提供的基于家庭边缘计算的人机交互方法,该方法在所述通过所述通信设备获取所述智能交互终端采集的所述交互信息之前,还包括以下步骤:
建立所述智能交互终端、所述家庭边缘计算主机与所述通信设备之间的连接。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于家庭边缘计算的人机交互方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于家庭边缘计算的人机交互方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于家庭边缘计算的人机交互方法的步骤。
本发明提供的基于家庭边缘计算的人机交互系统及方法,该系统充分利用家庭边缘计算主机来处理家庭范围内的隐私的交互信息即音视频信息,家庭范围内的音人机交互、摄像头采集的视频、麦克风采集的声音等家庭隐私信息在家庭边缘计算主机处进行集中处理,可以不连接外部网络或云平台,从根本上保障了家庭数据隐私不会泄露;由家庭边缘计算主机通过通信设备连接各智能交互终端,汇聚家庭范围内各个智能交互终端实时采集的人机交互数据,如语音、视频、触控屏端的交互信息等,通过人工智能技术,识别用户身份、行为、活动,从而确认家庭范围内各个成员的实时位置和行为内,确定终端交互请求的发起人员以及对应的智能交互终端,并且由家庭边缘计算主机支撑家庭范围内各个智能交互终端之间的人机交互的功能,能够准确地获取家庭成员的交互意图,并根据交互意图,方便家庭成员在家庭范围内任意地点任意智能终端无缝接续式地连续运行属于自己个性化设置的智慧家庭应用程序。通过使用本发明的基于家庭边缘计算的人机交互系统,能够在家庭范围,再不反复提起交互请求的情况下,无缝接续式地与智能交互终端进行交互,满足家庭成员使用智能家居的智能化、智慧化的需求;
该方法家庭成员在家庭范围内,家庭边缘计算主机会获取距离发起该次终端交互请求的家庭成员最近的第一智能交互终端,具体应用场景可以为:家庭成员就近通过语音等方式唤醒智能交互终端,并说出自己想要运行的智能交互终端的意图,家庭边缘计算主机自动判断家庭成员的身份以及所处的位置,发起该次终端交互请求的家庭成员最近的智能交互终端作为第一智能交互终端后,进行第一智能交互终端与该家庭成员的交互,以实现家庭成员通过该第一智能交互终端去操作各个智能家居。该方法通过在距离最近的智能交互终端作为第一智能交互终端显示此用户(家庭成员)账号运行的人机交互界面和智慧家庭应用程序,方便该家庭成员在家庭范围内任意地点任意智能交互终端无缝接续式地连续运行属于自己个性化设置的智慧家庭应用程序,以实现控制智能家居的目的,同时,控制智能家居时,只需要发起一次终端交互请求,不需要重复发起终端交互请求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于家庭边缘计算的人机交互系统的结构示意图;
图2是本发明提供的基于家庭边缘计算的人机交互方法的流程示意图之一;
图3是本发明提供的基于家庭边缘计算的人机交互方法中步骤S400具体的流程示意图;
图4是本发明提供的基于家庭边缘计算的人机交互方法中步骤S420具体的流程示意图;
图5是本发明提供的基于家庭边缘计算的人机交互方法的流程示意图之二;
图6是本发明提供的基于家庭边缘计算的人机交互方法的流程示意图之三;
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1描述本发明的基于家庭边缘计算的人机交互系统,该系统包括:
家庭边缘计算主机100和家庭范围内的通信设备200以及若干智能交互终端300,智能交互终端300和家庭边缘计算主机100均与通信设备200建立连接;
智能交互终端300用于在采集范围内采集家庭成员的交互信息,以及,获取终端交互请求;其中,交互信息包括音频信息和视频信息,终端交互请求用于与所述智能交互终端之间进行交互。
家庭边缘计算主机100用于基于交互信息,识别对应的家庭成员以及家庭成员在家庭内的活动轨迹和位置,以及,获取家庭成员的终端交互请求,识别出终端交互请求对应的智能交互终端300,并在该智能交互终端300生成人机交互界面。
在本实施例中,智能交互终端300包括但不局限于智能手机、智能平板电脑、智能电视、智能音箱、智能家居智能面板以及智能冰箱前面板交互屏等。同时,需要说明的是,包含上述智能设备类别的智能交互终端300智能交互终端设备具有摄像头、麦克风、触摸屏、显示屏、音箱等多媒体交互装置,具备多模态人机交互功能,以便于采集智能交互终端300采集范围内的家庭成员的交互信息。
多模态交互技术即基于语音识别技术、视频识别技术,对家庭成员发出的语音、活动视频进行采集;基于语音语义分析技术和机器视觉识别技术,对于家庭成员行为、意图、注意力等进行识别。
在本实施例中,家庭边缘计算主机100由中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)/嵌入式神经网络处理器(Neural-network Processing Unit,NPU)等人工智能算力加速卡、内存、硬盘、电源、局域网连接通信接口组成。家庭边缘计算主机100具备通过通信设备200连接家庭范围内各个智能交互终端300的功能,构成家庭边缘计算中心,运行各个声纹识别模型、人脸识别技术模型、语音语义分析模型和机器视觉识别模型等基于人工智能算法的成员识别模型,为同智能交互终端300之间的智能交互功能提供算力支撑。优选的,通信设备200可以采用路由器。
可以理解的是,家庭边缘计算主机100不仅可以具有家庭范围内各种智能交互终端300的连接功能,还具有家庭范围内音视频数据存储功能,为人工智能算法提供边缘算力平台,运行相应的成员识别模型。
在该系统中,智能交互终端300可以布置并分布在家庭范围各个位置的,各种具备人机交互能力的智能交互终端300,能够采集成员语音、视频,并具备多模态人机交互能力。
本发明的基于家庭边缘计算的人机交互系统,充分利用家庭边缘计算主机100来处理家庭范围内的隐私的交互信息即音视频信息,家庭范围内的音人机交互、摄像头采集的视频、麦克风采集的声音等家庭隐私信息在家庭边缘计算主机100处进行集中处理,可以不连接外部网络或云平台,从根本上保障了家庭数据隐私不会泄露;由家庭边缘计算主机100通过通信设备200连接各智能交互终端300,汇聚家庭范围内各个智能交互终端300实时采集的人机交互数据,如语音、视频、触控屏端的交互信息等,通过人工智能技术,识别用户身份、行为、活动,从而确认家庭范围内各个成员的实时位置和行为内,确定终端交互请求的发起人员以及对应的智能交互终端300,并且由家庭边缘计算主机100支撑家庭范围内各个智能交互终端300之间的人机交互的功能,能够准确地获取家庭成员的交互意图,并根据交互意图,方便家庭成员在家庭范围内任意地点任意智能终端无缝接续式地连续运行属于自己个性化设置的智慧家庭应用程序。通过使用本发明的基于家庭边缘计算的人机交互系统,能够在家庭范围,再不反复提起交互请求的情况下,无缝接续式地与智能交互终端300进行交互,满足家庭成员使用智能家居的智能化、智慧化的需求。
下面结合图2描述本发明的基于家庭边缘计算的人机交互方法,该方法基于本发明的基于家庭边缘计算的人机交互系统所实现,该方法应用于家庭边缘计算主机100,包括以下步骤:
S200、通过通信设备200获取家庭范围内各个智能交互终端300采集的交互信息。
S300、将交互信息输入至成员识别模型中,得到成员识别模型输出的终端交互请求、发起该终端交互请求的家庭成员以及该终端交互请求对应的智能交互终端;
S400、在对应的智能交互终端上生成供发起该终端交互请求的家庭成员进行交互的人机交互界面。
其中,下面结合图3描述本发明的基于家庭边缘计算的人机交互方法,步骤S400具体包括以下步骤:
S410、确定发起该终端交互请求的家庭成员在家庭内的活动轨迹和位置。步骤S410同样是通过将交互信息输入至成员识别模型中,由成员识别模型中输出得到的。
S420、基于活动轨迹和位置,建立发起该终端交互请求的家庭成员与该终端交互请求对应的智能交互终端300之间的交互。
下面结合图4描述本发明的基于家庭边缘计算的人机交互方法,步骤S420具体包括以下步骤:
S421、确定第一智能交互终端;其中,第一智能交互终端为距离发起该所述终端交互请求的家庭成员最近的智能交互终端。
S422、在第一智能交互终端上生成人机交互界面,利用人机交互界面建立家庭成员与第一智能交互终端之间的交互。
下面结合图5描述本发明的基于家庭边缘计算的人机交互方法,该方法还包括以下步骤:
S500、获取结束请求,断开生成终端交互请求的家庭成员与对应的第一智能交互终端之间的交互;其中,结束请求为将交互信息输入至成员识别模型中输出得到的。
需要说明的是,该方法,包括该系统中,家庭边缘计算主机100在建立/断开家庭成员与智能交互终端300(第一智能交互终端)时,均需要经过发起该次终端交互请求的家庭成员的同意,例如通过第一智能交互终端发出相应的提示信息,提示信息包括但不局限于声音信息、图像信息等,以此来提醒家庭成员进行人机交互,在经过家庭成员的同意后,方能建立/断开本发明提到的家庭成员与智能交互终端300之间的人机交互。
下面结合图6描述本发明的基于家庭边缘计算的人机交互方法,该方法在步骤S200之前还包括以下步骤:
S100、建立智能交互终端300、家庭边缘计算主机100与通信设备200之间的连接。
本发明的基于家庭边缘计算的人机交互方法,在本发明的基于家庭边缘计算的人机交互系统的基础上,家庭成员在家庭范围内,家庭边缘计算主机100会获取距离发起该次终端交互请求的家庭成员最近的第一智能交互终端,具体应用场景可以为:家庭成员就近通过语音等方式唤醒智能交互终端300,并说出自己想要运行的智能交互终端300的意图,家庭边缘计算主机100自动判断家庭成员的身份以及所处的位置,并在选取距离发起该次终端交互请求的家庭成员最近的智能交互终端300作为第一智能交互终端后,进行第一智能交互终端与该家庭成员的交互,以实现家庭成员通过该第一智能交互终端去操作各个智能家居,例如在距离最近的智能交互终端300作为第一智能交互终端显示此用户(家庭成员)账号运行的人机交互界面和智慧家庭应用程序,方便该家庭成员在家庭范围内任意地点任意智能交互终端300无缝接续式地连续运行属于自己个性化设置的智慧家庭应用程序,以实现控制智能家居的目的。
以图1进行举例,“家庭成员1”首先位于卧室,通过语音等方式发起终端交互请求后,在智能手机上运行该用户人机交互界面和应用程序;当“家庭成员1”移动到客厅,自动在智能电视上继续运行该用户人机交互界面和应用程序;当“家庭成员1”移动到厨房,自动在智能冰箱上继续运行该用户人机交互界面和应用程序。因此,本发明的基于家庭边缘计算的人机交互方法,控制智能家居时,只需要发起一次终端交互请求,不需要重复发起终端交互请求。
图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行基于家庭边缘计算的人机交互方法,该方法包括以下步骤:
S200、通过所述通信设备200获取所述智能交互终端300采集的所述交互信息;
S300、将所述交互信息输入至所述成员识别模型中,得到所述成员识别模型输出的所述终端交互请求、发起该所述终端交互请求的家庭成员以及该所述终端交互请求对应的所述智能交互终端300;
S400、在对应的所述智能交互终端300上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于家庭边缘计算的人机交互方法,该方法包括以下步骤:
S200、通过所述通信设备200获取所述智能交互终端300采集的所述交互信息;
S300、将所述交互信息输入至所述成员识别模型中,得到所述成员识别模型输出的所述终端交互请求、发起该所述终端交互请求的家庭成员以及该所述终端交互请求对应的所述智能交互终端300;
S400、在对应的所述智能交互终端300上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于家庭边缘计算的人机交互方法,该方法包括以下步骤:
S200、通过所述通信设备200获取所述智能交互终端300采集的所述交互信息;
S300、将所述交互信息输入至所述成员识别模型中,得到所述成员识别模型输出的所述终端交互请求、发起该所述终端交互请求的家庭成员以及该所述终端交互请求对应的所述智能交互终端300;
S400、在对应的所述智能交互终端300上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于家庭边缘计算的人机交互系统,其特征在于,包括:
家庭边缘计算主机和家庭范围内的通信设备以及若干智能交互终端,所述智能交互终端和所述家庭边缘计算主机均与所述通信设备建立连接;
所述智能交互终端用于在采集范围内采集家庭成员的交互信息,以及,获取终端交互请求;其中,所述交互信息包括音频信息和视频信息,所述终端交互请求用于与所述智能交互终端之间进行交互;
所述家庭边缘计算主机用于基于交互信息,识别对应的所述家庭成员以及所述家庭成员在家庭内的活动轨迹和位置,以及,获取家庭成员的所述终端交互请求,识别出所述终端交互请求对应的所述智能交互终端,并在该所述智能交互终端生成人机交互界面;
所述家庭边缘计算主机由中央处理器、人工智能算力加速卡、内存、硬盘、电源、局域网连接通信接口组成;
所述家庭边缘计算主机构成家庭边缘计算中心,且,所述家庭边缘计算主机内具有成员识别模型,所述成员识别模型包括声纹识别模型、人脸识别技术模型、语音语义分析模型和机器视觉识别模型。
2.根据权利要求1所述的基于家庭边缘计算的人机交互系统,其特征在于,所述智能交互终端包括智能手机、智能平板电脑、智能电视、智能音箱、智能家居智能面板以及智能冰箱前面板交互屏。
3.根据权利要求1所述的基于家庭边缘计算的人机交互系统,其特征在于,所述通信设备为路由器。
4.一种基于权利要求1-3任一项所述的基于家庭边缘计算的人机交互系统所实现的基于家庭边缘计算的人机交互方法,应用于所述家庭边缘计算主机,其特征在于,包括以下步骤:
通过所述通信设备获取所述智能交互终端采集的所述交互信息;
将所述交互信息输入至所述成员识别模型中,得到所述成员识别模型输出的所述终端交互请求、发起该所述终端交互请求的家庭成员以及该所述终端交互请求对应的所述智能交互终端;
在对应的所述智能交互终端上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面;
所述在对应的所述智能交互终端上生成供发起该所述终端交互请求的家庭成员进行交互的人机交互界面,具体包括以下步骤:
确定发起该所述终端交互请求的家庭成员在家庭内的活动轨迹和位置;
基于活动轨迹和位置,建立发起该所述终端交互请求的家庭成员与该所述终端交互请求对应的所述智能交互终端之间的交互;
所述基于活动轨迹和位置,建立发起该所述终端交互请求的家庭成员与该所述终端交互请求对应的所述智能交互终端之间的交互,具体包括以下步骤:
确定第一智能交互终端;其中,所述第一智能交互终端为距离发起该所述终端交互请求的家庭成员最近的所述智能交互终端;
在所述第一智能交互终端上生成人机交互界面,利用所述人机交互界面建立家庭成员与所述第一智能交互终端之间的交互。
5.根据权利要求4所述的基于家庭边缘计算的人机交互方法,其特征在于,该方法还包括以下步骤:
获取结束请求,断开生成所述终端交互请求的家庭成员与对应的所述第一智能交互终端之间的交互;其中,所述结束请求为将所述交互信息输入至所述成员识别模型中输出得到的。
6.根据权利要求5所述的基于家庭边缘计算的人机交互方法,其特征在于,该方法在所述通过所述通信设备获取所述智能交互终端采集的所述交互信息之前,还包括以下步骤:
建立所述智能交互终端、所述家庭边缘计算主机与所述通信设备之间的连接。
CN202111265248.7A 2021-10-28 2021-10-28 一种基于家庭边缘计算的人机交互系统及方法 Active CN114185425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111265248.7A CN114185425B (zh) 2021-10-28 2021-10-28 一种基于家庭边缘计算的人机交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111265248.7A CN114185425B (zh) 2021-10-28 2021-10-28 一种基于家庭边缘计算的人机交互系统及方法

Publications (2)

Publication Number Publication Date
CN114185425A CN114185425A (zh) 2022-03-15
CN114185425B true CN114185425B (zh) 2023-07-14

Family

ID=80601665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111265248.7A Active CN114185425B (zh) 2021-10-28 2021-10-28 一种基于家庭边缘计算的人机交互系统及方法

Country Status (1)

Country Link
CN (1) CN114185425B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483964B1 (en) * 2000-02-25 2009-01-27 Nortel Networks, Limited System, device, and method for providing personalized services in a communication system
CN106909396A (zh) * 2017-03-03 2017-06-30 宇龙计算机通信科技(深圳)有限公司 一种智能家居控制应用的界面显示方法及装置
CN108282388A (zh) * 2017-12-31 2018-07-13 普天智能照明研究院有限公司 用于向家居设备传递数据信息的装置与方法
CN110308660A (zh) * 2019-06-06 2019-10-08 美的集团股份有限公司 智能设备控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483964B1 (en) * 2000-02-25 2009-01-27 Nortel Networks, Limited System, device, and method for providing personalized services in a communication system
CN106909396A (zh) * 2017-03-03 2017-06-30 宇龙计算机通信科技(深圳)有限公司 一种智能家居控制应用的界面显示方法及装置
CN108282388A (zh) * 2017-12-31 2018-07-13 普天智能照明研究院有限公司 用于向家居设备传递数据信息的装置与方法
CN110308660A (zh) * 2019-06-06 2019-10-08 美的集团股份有限公司 智能设备控制方法及装置

Also Published As

Publication number Publication date
CN114185425A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN110211580B (zh) 多智能设备应答方法、装置、系统及存储介质
CN107894833B (zh) 基于虚拟人的多模态交互处理方法及系统
TW201923737A (zh) 交互方法和設備
CN109068087A (zh) 智能会议投影系统
US10405038B2 (en) Systems, methods, and apparatus for network architecture with video hardware basis
US20200193982A1 (en) Terminal device and method for controlling thereof
WO2019137147A1 (zh) 一种在视频会议中识别身份的方法及相关设备
CN112860877B (zh) 客服作业处理方法、装置、电子设备及存储介质
CN107078917A (zh) 托管电话会议
CN105609103A (zh) 一种语音即时识别系统
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
CN112002316A (zh) 一种电器控制方法、装置、存储介质及终端
CN112151013A (zh) 智能设备交互方法
JP2023549411A (ja) 音声通話の制御方法、装置、コンピュータプログラム及び電子機器
CN114185425B (zh) 一种基于家庭边缘计算的人机交互系统及方法
CN108877785A (zh) 语音智能客房服务系统
CN114051112B (zh) 一种基于家庭边缘计算的智能音视频通话系统及方法
CN106997449A (zh) 具有人脸识别功能的机器人和人脸识别方法
CN115118820A (zh) 一种通话处理方法、装置、计算机设备及存储介质
CN108724203A (zh) 一种交互方法及装置
CN108942926B (zh) 一种人机交互的方法、装置和系统
CN112863511A (zh) 信号处理方法、装置以及存储介质
CN205334503U (zh) 具有人脸识别功能的机器人
CN111353771A (zh) 一种远程控制支付的方法、装置、设备和介质
CN110723608A (zh) 电梯的控制方法和系统、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant