CN117253340A - 基于机器人的智能陪护系统及方法 - Google Patents

基于机器人的智能陪护系统及方法 Download PDF

Info

Publication number
CN117253340A
CN117253340A CN202311210410.4A CN202311210410A CN117253340A CN 117253340 A CN117253340 A CN 117253340A CN 202311210410 A CN202311210410 A CN 202311210410A CN 117253340 A CN117253340 A CN 117253340A
Authority
CN
China
Prior art keywords
user
task
auxiliary
robot
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311210410.4A
Other languages
English (en)
Inventor
赵向前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zongcan Technology Development Co ltd
Original Assignee
Chongqing Zongcan Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zongcan Technology Development Co ltd filed Critical Chongqing Zongcan Technology Development Co ltd
Priority to CN202311210410.4A priority Critical patent/CN117253340A/zh
Publication of CN117253340A publication Critical patent/CN117253340A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Emergency Management (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及机器人技术领域，具体公开了S1、录入用户数据，用户数据包括用户身份、用户对应的人脸特征以及声纹特征；用户身份包括主用户和副用户；S2、机器人采集图像数据和声音数据；S3、根据图像数据识别当前的用户，标记用户身份；根据图像数据分析主用户的行为，判断主用户是否存在跌倒情况，如果存在跌倒情况，生成报警信息；S4、从声音数据中分离出人声，判断人声中是否存在任务指令，如果存在任务指令，根据任务指令执行对应的任务。采用本发明的技术方案能够有效监测用户情况，做出针对性处理。

Description

基于机器人的智能陪护系统及方法
技术领域
本发明涉及机器人技术领域，特别涉及基于机器人的智能陪护系统及方法。
背景技术
当前，各国都一定程度上面临着老龄化问题，加之子女外出工作成为常态，老人独自在家的情况越发普遍。尽管老年人口众多，但适应的养老设施却显得不足，这给家庭和个人带来了不小的负担。而且，老年人存在身体机能减弱、平衡协调能力下降以及视力等方面的问题，他们更容易发生跌倒等意外，这使得老人的安全问题变得尤为突出，急需解决。
近年来人工智能技术、人机交互技术、通信技术以及传感器技术的快速发展，已经推动了服务机器人领域的巨大进步。这些机器人不仅在工作领域展现出了潜力，还逐渐渗透到日常生活的各个方面。因此，将养老问题与人工智能技术、互联网技术相结合，为解决养老难题提供了新的可能性。
为此，需要一种能够有效监测用户情况，做出针对性处理的基于机器人的智能陪护系统及方法。
发明内容
本发明提供了基于机器人的智能陪护系统及方法，能够有效监测用户情况，做出针对性处理。
为了解决上述技术问题，本申请提供如下技术方案：
基于机器人的智能陪护方法，包括如下内容：
S1、录入用户数据，用户数据包括用户身份、用户对应的人脸特征以及声纹特征；用户身份包括主用户和副用户；
S2、机器人采集图像数据和声音数据；
S3、根据图像数据识别当前的用户，标记用户身份；根据图像数据分析主用户的行为，判断主用户是否存在跌倒情况，如果存在跌倒情况，生成报警信息；
S4、从声音数据中分离出人声，判断人声中是否存在任务指令，如果存在任务指令，根据任务指令执行对应的任务。
基础方案原理及有益效果如下：
本方案中，通过录入用户的身份、人脸特征和声纹特征，机器人能够准确地识别用户，区分主用户和副用户。这允许机器人提供个性化的陪护服务，满足用户的个性化需求。
机器人利用图像数据分析主用户的行为，可以及时检测到主用户是否存在跌倒情况。一旦检测到跌倒情况，机器人能够生成报警信息，这对于老年人或有健康问题的用户来说，可以提供及时的紧急救援，有效减少事故风险。
通过声音数据中的任务指令识别，机器人能够响应用户的指令并执行相应的任务。这使得用户可以通过语音与机器人进行互动，如请求帮助、提出问题或者执行家庭任务，增强了用户与机器人之间的沟通和互动性。
综上，本方案能够有效监测用户情况并采取相应的针对性处理，有助于提高用户的生活质量和安全性。
进一步，所述步骤S4中，任务指令包括新闻播报，用药提醒、联系家人和联系医护人员。
进一步，所述步骤S4中，还确定人声对应的用户；
还包括：
S5、根据当前用户的身份以及人声的数量识别当前的场景，场景包括对话场景和独自居家场景；如果处于对话场景，转跳至步骤S6；如果处于独居场景，转跳至步骤S8；
S6、判断对话场景中，是否符合存在主用户和至少一个副用户参与的条件，如果符合条件，根据各用户的人声以及用户身份，整理出用户之间的对话内容；
S7、对对话内容进行语义识别；判断是否存在辅助任务，如果存在，记录辅助任务的信息，并标记为未处理的辅助任务；
S8、判断是否存在未处理的辅助任务，如果存在，基于未处理的辅助任务信息，生成辅助内容；
S9、将辅助内容转换为语音播报，并播放；
S10、将对应未处理的辅助任务标记为已处理的辅助任务。
通过采集图像数据和声音数据识别家庭成员的对话内容，通过识别家庭成员的对话，可以理解他们的需求和感受，以及检测潜在的辅助任务，记录并处理这些任务。由于语言表达，态度、看待事情的角度等问题，家庭成员对老人的劝说可能存在老人不接受的情况，例如劝说老年人改善饮食等，这些问题便成为了需要系统辅助解决的辅助任务。本方案可以针对辅助任务，从第三方的角度生成辅助内容，更好地劝说老人或提供建议。这种内容的个性化和情感敏感性可以提高其影响力，使老人更容易接受，也有助于老年人更好地理解家庭成员的关心。
进一步，所述步骤S7具体包括：
S701、获取预设的辅助任务识别信息，辅助任务识别信息包括任务类型以及对应的任务条件，任务类型包括事项劝阻、事项解释；条件包括发起方、执行方、主题以及结果；
S702、将辅助任务识别信息输入预设的大语言模型，通过大语言模型对对话内容进行语义识别，判断是否存在辅助任务；如果存在辅助任务，转跳转步骤S703，如果不存在辅助任务，结束识别；
S703、记录识别结果和对应的对话内容，并标记为未处理的辅助任务，识别结果包括具体的任务类型以及对应的任务条件。
进一步，所述步骤S8具体包括：
S801、根据识别结果确定辅助任务的类型，发起方、执行方以及主题；判断辅助任务的类型是否为事项劝阻或事项解释，如果是，转跳至步骤S802；
S802、根据辅助任务的类型，发起方、执行方、主题以及对应的对话内容通过大语言模型生成辅助内容，转跳至步骤S9；其中，事项劝阻对应的辅助内容为劝阻内容，事项解释对应的辅助内容为解释内容。
进一步，所述步骤S701中，事项劝阻对应的主题包括出行劝阻、交友劝阻、服药劝阻、穿着劝阻、饮食劝阻和儿童教育劝阻；事项解释对应的主题包括事件解释、流行语解释和行为解释。
例如，事项劝阻的主题中，出行劝阻，可以从第三方角度提醒老人接受家人关于出行的相关提议，包括提醒老人避免恶劣天气或交通拥堵出行等。交友劝阻，可以从第三方角度提醒老人接受家人关于交友的相关提议，包括提醒老人警惕潜在的不良社交关系或诈骗，保护其免受潜在风险。服药劝阻，可以从第三方角度提醒老人接受家人关于服药的相关提议，包括提醒老人按时服药，确保药物疗效，减少漏服的可能性。穿着劝阻，可以从第三方角度提醒老人接受家人关于穿着的相关提议，包括根据天气、季节或健康状况的穿着建议，或衣服的使用建议。
事项解释的主题中，事件解释，可以从第三方角度对对话内容没有得到解答的事件提供详细的解释，帮助老人更好地理解发生的事情，从而降低焦虑和困惑。流行语解释，可以从第三方角度对对话内容没有得到解答的流行语提供详细的解释，帮助老人理解年轻人，顺利与年轻人交流。行为解释，可以从第三方角度对对话内容没有得到解答的行为提供详细的解释，帮助老人更好地理解家庭成员的行为，以及背后的原因，增进理解，促进家庭和谐。
进一步，所述步骤S701中，辅助任务类型还包括事项调解；
步骤S801中，判断辅助任务的类型是否是事项调解，如果是，转跳至步骤S803；
S803、根据辅助任务的类型，发起方、执行方、主题以及对应的对话内容通过大语言模型提取检索关键词；
S804、根据检索关键词检索现有的新闻，获取若干检索到的新闻；
S805、通过大语言模型判断检索到的新闻与检索关键词的关联程度；按照关联程度确定预设数量的新闻；
S806、通过大语言模型将选取的新闻整理为预设长度的新闻简报。
本优选方案能够识别对话中可能存在公平性问题的事件，并检索相关事件的新闻向主用户呈现，促使主用户主动思考并意识到潜在的问题。这有助于增进家庭成员之间的和谐与理解。
家庭事务中，情况复杂，难以准确的划分正确与错误。本优先方案中，不主动参与事件的评论，而是通过与事件相关联的新闻，引发主用户的主动思考，可以避免得出任何错误性的结论。主用户意识到存在的问题后，可能会更有动力采取积极的行动来解决问题，从而改善家庭内部的氛围和互动方式，有助于促进家庭内部的和谐与理解。
进一步，所述步骤S9中、还判断是否存在新闻播报任务，如果存在，将新闻简报加入新闻播报任务中。
进一步，所述步骤S701中，事项调解对应的主题为倾向性提醒。
进一步，基于机器人的智能陪护系统，其特征在于，使用上述方法。
附图说明
图1为实施例基于机器人的智能陪护方法的流程图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例
如图1所示，本实施例的基于机器人的智能陪护方法，包括如下内容：
S1、向机器人录入用户数据，用户数据包括用户身份、用户对应的人脸特征以及声纹特征；用户身份包括主用户和副用户；本实施例中，主用户为需要陪护的老人，副用户为家庭其他成员，例如副用户为老人的儿子、大女儿、二女儿、孙女和孙子。
S2、机器人采集图像数据和声音数据；
S3、根据图像数据识别当前的用户，标记用户身份；根据识别的用户身份，记录用户的看望时间，生成每一用户的看望信息。例如，大女儿的看望信息为每周看望2次，平均每次看望8小时，二女儿的看望信息为每月看望1次，平均每次看望5小时。
还根据图像数据分析主用户的行为，判断主用户是否存在跌倒情况，如果存在跌倒情况，生成报警信息。
S4、从声音数据中分离出人声，确定人声对应的用户；判断人声中是否存在任务指令，如果存在任务指令，根据任务指令执行对应的任务。任务指令包括新闻播报，用药提醒、联系家人、联系医护人员等。
S5、根据当前用户的身份以及人声的数量识别当前的场景，场景包括对话场景和独自居家场景。本实施例中，对话场景指至少两个用户参与对话，即存在两个用户的人声，独自居家场景指当前只存在主用户一人。如果处于对话场景，转跳至步骤S6；如果处于独居场景，转跳至步骤S8；
S6、判断对话场景中，是否符合存在主用户和至少一个副用户参与的条件，如果符合条件，根据各用户的人声以及用户身份，整理出用户之间的对话内容；
S7、对对话内容进行语义识别；判断是否存在辅助任务，如果存在，记录识别的对话内容，并标记为未处理的辅助任务；
具体包括：
S701、获取预设的辅助任务识别信息，辅助任务识别信息包括任务类型以及对应的任务条件，任务类型包括事项劝阻、事项解释和事项调解；条件包括发起方、执行方、主题以及结果；
事项劝阻对应的主题包括出行劝阻、交友劝阻、服药劝阻、穿着劝阻、饮食劝阻和儿童教育劝阻；本实施例中，事项劝阻对应的发起方为副用户，执行方为主用户。发起方指对话内容中发起劝阻的用户，执行方指对话内容中被劝阻的用户。事项劝阻对应的结果为劝阻失败；例如，出行劝阻，即副用户劝阻主用户的出行行为；主用户没有接受副用户的劝阻，劝阻失败。在其他实施例中，事项劝阻的发起方和执行方身份还可以互换，即发起方为主用户，执行方为副用户，以应对主用户要求副用户执行某些事项，副用户不同意的情况，例如主用户要求副用户以自制药物治疗代替去医疗机构寻求现代医学治疗的情况，仍然需要对主用户进行劝阻。
事项解释对应的主题包括事件解释、流行语解释和行为解释；本实施例中，事项解释对应的发起方为主用户，执行方为副用户；发起方指对话内容中发起解释要求的用户，执行方指对话内容中执行解释的用户。事项解释对应的结果为解释失败。例如，事件解释，即主用户希望副用户对某一热点社会事件进行解释说明，以了解来龙去脉；副用户没有对主用户进行解释，解释失败。
事项调解对应的主题为倾向性提醒；发起方指对话内容中触发事项调解的用户，执行方指对话内容中事项的针对用户。本实施例中，事项调解对应的发起方为主用户，执行方为副用户；事项调解对应的结果为，将执行方与另一副用户进行对比，存在不利于执行方的倾向性结论，且根据看望信息，执行方相比于另一副用户，执行方为看望时间多的用户。
S702、将辅助任务识别信息输入预设的大语言模型，通过大语言模型对对话内容进行语义识别，判断是否存在辅助任务；如果存在辅助任务，转跳转步骤S703，如果不存在辅助任务，结束识别；
例如对话内容为：
小王：爸，我之前给您买的新衣服为什么放着不穿，还要穿这些旧衣服；
老王：我觉得我的旧衣服还可以穿，没有必要穿新的；
小王：爸，您的旧衣服已经有好几年了，都褪色了，款式也过时了，扔了吧。
老王：旧衣服虽然旧了点，但还能穿，怎么能扔。
小王：都什么年代了，又不是买不起。
老王：这不是买不买得起的问题，旧的就能穿嘛。
小王：爸，您真的是太固执了！为什么就不能接受一下我的意见？我不是为了您好吗？
老王：我觉得旧衣服还行，没必要穿新的，太浪费。
小王：没必要？您就是太节俭了！这不是浪费，是投资自己的形象......
以上对话内容中，老王为主用户，小王为老王的儿子，一副用户；大语言模型分析以上对话内容，得到识别结果：事项劝阻，劝阻方为副用户，执行方为主用户，劝阻主题为穿着，具体为劝说主用户穿着新衣服。
再例如对话内容为：
小小王：爷爷，我刚刚买了演唱会的门票！你猜猜是哪个歌手的演唱会？
老王：演唱会？多少钱？
小小王：xxxx元，我花了好大的功夫抢到的！
老王：为什么要花这么多钱去看演唱会？还要抢，这些年轻人都疯了吗？
小小王：爷爷，你不懂，演唱会很有意思的。
老王：有趣也好，但是门票价格是不是太高了点？为什么不省点钱，做点更实际的事情呢？
小小王：为喜欢的事情买单，不用想那么多......
以上对话内容中，老王为主用户，小小王为老王的孙女，另一副用户；大语言模型分析以上对话内容，得到识别结果：事项解释，发起方为主用户，执行方为副用户，主题为行为解释，具体为解释看演唱会的意义。
再例如，对话内容为：
老李：李X，你每次来做饭都做这道菜，都快吃腻了。不像李XX，每次都能做不一样的菜，尝试不一样的口味。
李X：爸爸，我经常给您做，难免有重复，而且我经常选择做您爱吃的菜啊。
老李：嗯，但是也向李XX学习一下嘛，她特别用心，每次来看我的时候，都能做不同的菜。
李X：爸爸，李XX每月才来一次，想重复也难啊。我下次给您做不同的菜，好吗？
......
以上对话内容中，老李为主用户，李X为老李的大女儿，一副用户，对话中提到的李xx为老李的二女儿，另一副用户。大女儿的看望信息为每周看望2次，二女儿的看望信息为每月看望1次。
大语言模型分析以上对话内容，得到识别结果：倾向性提醒；条件中，发起方为主用户，执行方为副用户；结果为，将执行方与另一副用户进行对比，存在不利于执行方的倾向性结论，且根据看望信息，执行方为看望时间多的用户。
S703、记录识别结果和对应的对话内容，并标记为未处理的辅助任务。识别结果包括具体的任务类型以及对应的任务条件。
S8、判断是否存在未处理的辅助任务，如果存在，判断辅助任务是否为事项劝阻或事项解释，如果是，基于未处理的辅助任务，生成辅助内容；如果辅助任务是事项调解；匹配现有新闻，生成新闻简报。其中，事项劝阻对应的辅助内容为从第三方(机器人)的角度，对事项进行劝阻的内容，事项解释对应的辅助内容为从第三方(机器人)的角度对事项进行解释的内容。
具体包括：
S801、根据识别结果确定辅助任务的类型，发起方、执行方以及主题；判断辅助任务的类型是否为事项劝阻或事项解释，如果是，转跳至步骤S802，如果是事项调解，转跳至步骤S803；
S802、根据辅助任务的类型，发起方、执行方、主题以及对应的对话内容通过大语言模型生成辅助内容，转跳至步骤S9；
例如，主题为劝说主用户穿新衣服，生成的辅助内容为：“王先生，希望能和您谈谈关于穿着新衣服的事情。您一直是个非常节约的人，物尽其用，这点我非常尊敬和佩服。然而，穿着新衣服不仅可以提升个人形象，也是一种消费行为，我们支持了制造业。而且，穿上新衣服也会让子女感到高兴，促进家庭和谐。因此，我鼓励您偶尔尝试一下穿新衣服，不仅有益于您个人形象，益于家庭和睦。”
再例如，主题为解释看演唱会的意义，生成的辅助内容为：“王先生，演唱会对年轻人来说不仅是音乐的欣赏，更是一种文化体验和社交活动。这种体验可以激发创造力，激励年轻人去追求梦想。此外，支持演唱会也有助于文化的传承和发展。同时，演唱会也吸引了大量观众，提升了当地餐饮、交通和住宿业的业绩。”
S803、根据辅助任务的类型，发起方、执行方、主题以及对应的对话内容通过大语言模型提取检索关键词。例如，针对老李的辅助任务，检索关键词包括：家庭公平、家庭关系和谐、子女关怀和家庭均衡等。
S804、根据检索关键词检索现有的新闻，获取若干检索到的新闻；
S805、通过大语言模型判断检索到的新闻与检索关键词的关联程度；按照关联程度选取预设数量的新闻；预设数量为1-5件，本实施例中为2件。本实施例中，按关联程度从高到低排序，根据预设数量，从高到低选取。
S806、通过大语言模型将选取的新闻整理为预设长度的新闻简报。预设长度例如300字，在其他实施例中，还可以根据图像数据实时分析主用户的感兴趣程度，根据感兴趣程度调整预设数量以及预存长度。例如通过表情分析发现主用户的表情为专注，表明主用户对这类新闻感兴趣，增加这类新闻的预设数量，以及新闻简报的预设长度。
S9、将辅助内容转换为语音播报，并播放；判断是否存在新闻播报任务，如果存在，将新闻简报加入已有的新闻播报任务中，在新闻播报任务中播报新闻简报。
S10、将对应未处理的辅助任务标记为已处理的辅助任务。
本实施例还提供基于机器人的智能陪护系统，包括通信模块，图像采集模块，语音采集模块、处理模块、显示模块和播放模块；
通信模块用于接收外部录入的用户数据，例如通过互联网连接服务器，从服务器获取。图像采集模块采用摄像头，用于采集图像数据；语音采集模块采用麦克风，用于采集声音数据。处理模块用于执行方法S3-S10的处理步骤。播放模块采用扬声器，用于播放辅助内容以及新闻简报。
以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于机器人的智能陪护方法，其特征在于，包括如下内容：
S1、录入用户数据，用户数据包括用户身份、用户对应的人脸特征以及声纹特征；用户身份包括主用户和副用户；
S2、机器人采集图像数据和声音数据；
S3、根据图像数据识别当前的用户，标记用户身份；根据图像数据分析主用户的行为，判断主用户是否存在跌倒情况，如果存在跌倒情况，生成报警信息；
S4、从声音数据中分离出人声，判断人声中是否存在任务指令，如果存在任务指令，根据任务指令执行对应的任务。
2.根据权利要求1所述的基于机器人的智能陪护方法，其特征在于：所述步骤S4中，任务指令包括新闻播报，用药提醒、联系家人和联系医护人员。
3.根据权利要求2所述的基于机器人的智能陪护方法，其特征在于：所述步骤S4中，还确定人声对应的用户；
还包括：
S5、根据当前用户的身份以及人声的数量识别当前的场景，场景包括对话场景和独自居家场景；如果处于对话场景，转跳至步骤S6；如果处于独居场景，转跳至步骤S8；
S6、判断对话场景中，是否符合存在主用户和至少一个副用户参与的条件，如果符合条件，根据各用户的人声以及用户身份，整理出用户之间的对话内容；
S7、对对话内容进行语义识别；判断是否存在辅助任务，如果存在，记录辅助任务的信息，并标记为未处理的辅助任务；
S8、判断是否存在未处理的辅助任务，如果存在，基于未处理的辅助任务信息，生成辅助内容；
S9、将辅助内容转换为语音播报，并播放；
S10、将对应未处理的辅助任务标记为已处理的辅助任务。
4.根据权利要求3所述的基于机器人的智能陪护方法，其特征在于：所述步骤S7具体包括：
S701、获取预设的辅助任务识别信息，辅助任务识别信息包括任务类型以及对应的任务条件，任务类型包括事项劝阻、事项解释；条件包括发起方、执行方、主题以及结果；
S702、将辅助任务识别信息输入预设的大语言模型，通过大语言模型对对话内容进行语义识别，判断是否存在辅助任务；如果存在辅助任务，转跳转步骤S703，如果不存在辅助任务，结束识别；
S703、记录识别结果和对应的对话内容，并标记为未处理的辅助任务，识别结果包括具体的任务类型以及对应的任务条件。
5.根据权利要求4所述的基于机器人的智能陪护方法，其特征在于：所述步骤S8具体包括：
S801、根据识别结果确定辅助任务的类型，发起方、执行方以及主题；判断辅助任务的类型是否为事项劝阻或事项解释，如果是，转跳至步骤S802；
S802、根据辅助任务的类型，发起方、执行方、主题以及对应的对话内容通过大语言模型生成辅助内容，转跳至步骤S9；其中，事项劝阻对应的辅助内容为劝阻内容，事项解释对应的辅助内容为解释内容。
6.根据权利要求5所述的基于机器人的智能陪护方法，其特征在于：所述步骤S701中，事项劝阻对应的主题包括出行劝阻、交友劝阻、服药劝阻、穿着劝阻、饮食劝阻和儿童教育劝阻；事项解释对应的主题包括事件解释、流行语解释和行为解释。
7.根据权利要求6所述的基于机器人的智能陪护方法，其特征在于：所述步骤S701中，辅助任务类型还包括事项调解；
步骤S801中，判断辅助任务的类型是否是事项调解，如果是，转跳至步骤S803；
S803、根据辅助任务的类型，发起方、执行方、主题以及对应的对话内容通过大语言模型提取检索关键词；
S804、根据检索关键词检索现有的新闻，获取若干检索到的新闻；
S805、通过大语言模型判断检索到的新闻与检索关键词的关联程度；按照关联程度确定预设数量的新闻；
S806、通过大语言模型将选取的新闻整理为预设长度的新闻简报。
8.根据权利要求7所述的基于机器人的智能陪护方法，其特征在于：所述步骤S9中、还判断是否存在新闻播报任务，如果存在，将新闻简报加入新闻播报任务中。
9.根据权利要求8所述的基于机器人的智能陪护方法，其特征在于：所述步骤S701中，事项调解对应的主题为倾向性提醒。
10.基于机器人的智能陪护系统，其特征在于，使用权利要求1-9任一项所述的方法。
CN202311210410.4A 2023-09-19 2023-09-19 基于机器人的智能陪护系统及方法 Pending CN117253340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311210410.4A CN117253340A (zh) 2023-09-19 2023-09-19 基于机器人的智能陪护系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311210410.4A CN117253340A (zh) 2023-09-19 2023-09-19 基于机器人的智能陪护系统及方法

Publications (1)

Publication Number Publication Date
CN117253340A true CN117253340A (zh) 2023-12-19

Family

ID=89128752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311210410.4A Pending CN117253340A (zh) 2023-09-19 2023-09-19 基于机器人的智能陪护系统及方法

Country Status (1)

Country Link
CN (1) CN117253340A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938756A (zh) * 2004-03-05 2007-03-28 莱塞克技术公司 韵律语音文本代码以及它们在计算机化语音系统中的使用
CN103745575A (zh) * 2014-01-10 2014-04-23 宁波多尔贝家居制品实业有限公司 一种家庭气氛调节装置及其工作控制方法
CN107511832A (zh) * 2016-06-15 2017-12-26 深圳光启合众科技有限公司 云端互动系统及其多感知型智能机器人和感知互动方法
CN108549481A (zh) * 2018-03-29 2018-09-18 北京恒信彩虹信息技术有限公司 一种互动方法及系统
CN109147277A (zh) * 2018-09-30 2019-01-04 桂林海威科技股份有限公司 一种老人看护系统及方法
US20210097240A1 (en) * 2017-08-22 2021-04-01 Ravneet Singh Method and apparatus for generating persuasive rhetoric
CN113744107A (zh) * 2021-11-03 2021-12-03 南京视察者智能科技有限公司 一种基于大数据智能调解室的ai调处方法
CN114986532A (zh) * 2022-06-02 2022-09-02 深圳慧安康科技有限公司 夺冠服务机器人及无命令式主动智能的实现方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938756A (zh) * 2004-03-05 2007-03-28 莱塞克技术公司 韵律语音文本代码以及它们在计算机化语音系统中的使用
CN103745575A (zh) * 2014-01-10 2014-04-23 宁波多尔贝家居制品实业有限公司 一种家庭气氛调节装置及其工作控制方法
CN107511832A (zh) * 2016-06-15 2017-12-26 深圳光启合众科技有限公司 云端互动系统及其多感知型智能机器人和感知互动方法
US20210097240A1 (en) * 2017-08-22 2021-04-01 Ravneet Singh Method and apparatus for generating persuasive rhetoric
CN108549481A (zh) * 2018-03-29 2018-09-18 北京恒信彩虹信息技术有限公司 一种互动方法及系统
CN109147277A (zh) * 2018-09-30 2019-01-04 桂林海威科技股份有限公司 一种老人看护系统及方法
CN113744107A (zh) * 2021-11-03 2021-12-03 南京视察者智能科技有限公司 一种基于大数据智能调解室的ai调处方法
CN114986532A (zh) * 2022-06-02 2022-09-02 深圳慧安康科技有限公司 夺冠服务机器人及无命令式主动智能的实现方法

Similar Documents

Publication Publication Date Title
Abdollahi et al. Artificial emotional intelligence in socially assistive robots for older adults: a pilot study
Grabe et al. News content and form: Implications for memory and audience evaluations
Lasecki et al. Real-time crowd labeling for deployable activity recognition
Von der Pütten et al. “It doesn’t matter what you are!” Explaining social effects of agents and avatars
Chevallier et al. The social motivation theory of autism
US20140149177A1 (en) Responding to uncertainty of a user regarding an experience by presenting a prior experience
Lortie et al. Judgment of the humanness of an interlocutor is in the eye of the beholder
Kim et al. Emotional expressions in antismoking television advertisements: Consequences of anger and sadness framing on pathways to persuasion
Hirt et al. Needs of people with dementia and their informal caregivers concerning assistive technologies
ter Heijden et al. Design and evaluation of a virtual reality exposure therapy system with automatic free speech interaction
Douglas et al. A focus group study of police officers' recognition of individuals with intellectual disability
Langland-Hassan et al. Assessing abstract thought and its relation to language with a new nonverbal paradigm: Evidence from aphasia
Tsfati et al. Rebelde way in Israel: Parental perceptions of television influence and monitoring of children's social and media activities
US20160331279A1 (en) Methods for determining psychological characteristics and gender using motion-based analysis, and related methods for targeting advertising and improving relevance of user reviews
Poehlmann-Tynan et al. Multisite randomized efficacy trial of educational materials for young children with incarcerated parents
EP3897388A1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
Tsai et al. Design of an intelligent cognition assistant for people with cognitive impairment
CN117253340A (zh) 基于机器人的智能陪护系统及方法
Bitkina et al. User stress in artificial intelligence: modeling in case of system failure
Buck et al. Measuring the dynamic stream of display: Spontaneous and intentional facial expression and communication.
Maurer et al. Do uninvolved voters rely on visual message elements? A test of a central assumption of the ELM in the context of televised debates
Tchernev Creating and Maintaining Identification with Characters in Narrative Films: The Impact of Protagonist Motivations and Key Story Moments on Real-Time Audience Identification and Liking
Sullivan et al. Relations of early goal‐blockage response and gender to subsequent tantrum behavior
CN117283577B (zh) 一种仿真陪护机器人
Jacobson Empathy, primitive reactions and the modularity of emotion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination