CN112106121B - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN112106121B
CN112106121B CN201980031756.3A CN201980031756A CN112106121B CN 112106121 B CN112106121 B CN 112106121B CN 201980031756 A CN201980031756 A CN 201980031756A CN 112106121 B CN112106121 B CN 112106121B
Authority
CN
China
Prior art keywords
fall
sensor
artificial intelligence
occurred
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980031756.3A
Other languages
English (en)
Other versions
CN112106121A (zh
Inventor
韩宗熙
金俊镐
白炫宰
梁道俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112106121A publication Critical patent/CN112106121A/zh
Application granted granted Critical
Publication of CN112106121B publication Critical patent/CN112106121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Alarm Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

公开了一种电子设备及其控制方法。根据本公开，一种用于电子设备的控制方法能够重新学习人工智能模型，以用于：当包括在外部设备中的多个传感器之一感测到用户跌倒事件时，接收由外部设备的多个传感器获得的跌倒信息；通过使用由多个传感器获取的跌倒信息来确定用户是否已经跌倒；基于用户是否已经跌倒，从多个传感器中确定已经错误地确定跌倒已经发生的传感器；以及通过使用由已经错误地确定跌倒已经发生的传感器获取的感测值来确定跌倒已经发生。特别地，通过使用通过传感器获取的感测值来获取跌倒信息的方法的至少一部分使得能够使用已经根据机器学习、神经网络和深度学习算法中的至少一个进行学习的人工智能模型。

Description

电子设备及其控制方法
技术领域
本公开涉及电子设备及其控制方法。更具体地，本公开涉及基于通过使用包括在外部设备中的多个传感器获得的跌倒信息来识别用户跌倒是否已经发生的电子设备及其控制方法。
此外，本公开涉及通过利用机器学习算法及其应用来模拟人脑的功能(诸如认知(cognition)和确定)的人工智能(artificial intelligence，AI)系统。
背景技术
最近，实现人类智能水平的人工智能(AI)系统被用于各种领域。AI系统是其中机器进行自学和识别的系统，从而不同于根据相关技术的基于规则的智能系统而变得智能。AI系统可以被配置为使得AI系统使用得越多，辨识率就越高，并且就越准确地理解用户偏好，因此传统的基于规则的智能系统正被基于深度学习的人工智能系统逐渐取代。
人工智能技术可以包括机器学习(例如，深度学习)和利用该机器学习的元素技术。
机器学习可以是对输入数据的特征进行自我分类和学习的算法技术，并且元素技术可以是通过利用机器学习算法(诸如深度学习)来模拟人脑的功能(诸如辨识和识别)的技术，并且可以被包括在语言理解、视觉理解、推理/预测、知识表现、移动控制等技术领域中。
人工智能技术可以应用的各种领域如下。语言理解是指辨识人类语言/字符并应用/处理人类语言/字符的技术，并且可以包括自然语言处理、机器翻译、对话系统、问答、语音辨识/合成等。视觉理解是指如同人类视觉一样识别对象的技术，并且可以包括对象识别、对象跟踪、图像搜索、人类辨识、场景理解、空间理解、图像增强等。推断/预测是指识别信息并逻辑推断并预测该信息的技术，并且可以包括基于知识/概率的推断、优化预测、基于偏好的规划、推荐等。知识表现是指将人类经验信息自动处理为知识数据的技术，并且可以包括知识构建(例如，数据生成/分类)、知识管理(例如，数据利用)等。移动控制是指控制车辆自主驾驶的移动、机器人的移动等的技术，并且可以包括移动控制(例如，导航、碰撞、驾驶)、操纵控制(例如，行为控制)等。
最近，正在提供能够通过使用各种传感器来识别用户(尤其老年人或残疾人)跌倒的发生的家庭网络系统。正在提供服务，诸如包括多个传感器的外部设备向电子设备(例如，家庭集线器设备)发送通过所述多个传感器中的至少一个检测到的跌倒事件，并且电子设备向外部提供关于用户跌倒事件的信息。
特别地，外部设备可以通过在经训练的人工智能模型中输入通过传感器获得的感测值来获得关于跌倒是否已经发生的跌倒信息。可以为每个传感器提供人工智能模型。然而，存在这样的问题，即难以获得用于训练人工智能模型的训练数据，并且该训练数据还对于每个个体显示出显著差异。也就是说，由于缺乏训练数据，如果跌倒信息是通过使用人工智能模型获得的，则可能检测到错误的跌倒事件，并且可能出现最终向用户提供错误信息的问题。
发明内容
【技术问题】
本公开提供了电子设备及其控制方法，该电子设备通过经由多个传感器获得的跌倒信息来识别用户跌倒是否已经发生，识别错误地识别跌倒发生的传感器，并且通过重新训练对应于识别到的传感器的人工智能模型来向用户提供准确的跌倒事件。
【技术方案】
根据实施例，电子设备的控制方法包括：基于用户跌倒事件被外部设备中包括的多个传感器中的至少一个检测到，接收由外部设备的多个传感器获得的跌倒信息；通过使用由所述多个传感器获得的跌倒信息来识别用户跌倒是否已经发生；基于用户跌倒是否已经发生，识别所述多个传感器中错误地识别跌倒发生的传感器；以及重新训练通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
外部设备可以包括第一传感器和第二传感器，并且该接收可以包括：基于跌倒事件根据通过将由该第一传感器获得的感测值输入到第一人工智能模型而获得的第一跌倒信息和将由该第二传感器获得的感测值输入到第二人工智能模型而获得的第二跌倒信息中的至少一个来被检测到，通过通信器接收该第一跌倒信息和该第二跌倒信息。
识别用户跌倒是否已经发生可以包括通过使用由该第一传感器和该第二传感器中具有高准确度的传感器获得的跌倒信息来识别用户跌倒是否已经发生。
识别用户跌倒是否已经发生可以包括：获得关于电子设备是否在用户所处的空间中操作的信息，以及基于第一跌倒信息、第二跌倒信息和关于电子设备是否在操作的信息来识别用户跌倒是否已经发生。
重新训练可以包括，基于第一传感器被识别为错误地识别跌倒是否已经发生的传感器，重新训练第一人工智能模型，并且基于第二传感器被识别为错误地识别跌倒是否已经发生的传感器，重新训练第二人工智能模型。
该方法可以包括将经重新训练的人工智能模型发送到外部设备。
该方法可以包括将经重新训练的人工智能模型发送到另一外部设备，该另一外部设备包括错误地识别跌倒是否已经发生的传感器。
多个传感器可以包括视频传感器、超宽带(ultra-wide band，UWB)雷达传感器、红外(infrared，IR)传感器和麦克风中的至少一个。
根据实施例，电子设备包括通信器；包括至少一条指令的存储器；以及耦合到该通信器和该存储器并被配置为控制该电子设备的处理器，并且该处理器被配置为：通过执行所述至少一条指令来基于用户跌倒事件被外部设备中包括的多个传感器中的一个检测到，通过该通信器接收由该外部设备的多个传感器获得的跌倒信息；通过使用由所述多个传感器获得的跌倒信息来识别用户跌倒是否已经发生；基于用户跌倒是否已经发生，识别多个传感器中错误地识别跌倒是否已经发生的传感器；以及重新训练通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
该外部设备可以包括第一传感器和第二传感器，并且该处理器可以被配置为，基于跌倒事件根据通过将由该第一传感器获得的感测值输入到第一人工智能模型而获得的第一跌倒信息和通过将由该第二传感器获得的感测值输入到第二人工智能模型而获得的第二跌倒信息中的至少一个来被检测到，通过该通信器接收该第一跌倒信息和该第二跌倒信息。
处理器可以被配置为通过使用由第一传感器和第二传感器中具有高准确度的传感器获得的跌倒信息来识别用户跌倒是否已经发生。
处理器可以被配置为获得关于电子设备是否在用户所处的空间中操作的信息，以及基于第一跌倒信息、第二跌倒信息和关于电子设备是否在操作的信息来识别用户跌倒是否已经发生。
处理器可以被配置为基于将第一传感器识别为错误地识别跌倒是否已经发生的传感器，重新训练第一人工智能模型，并且基于将第二传感器识别为错误地识别跌倒是否已经发生的传感器，重新训练第二人工智能模型。
处理器可以被配置为控制通信器将经重新训练的人工智能模型发送到外部设备。
处理器可以被配置为控制通信器将经重新训练的人工智能模型发送到另一外部设备，该另一外部设备包括错误地识别跌倒是否已经发生的传感器。
多个传感器可以包括视频传感器、超宽带(UWB)雷达传感器、红外(IR)传感器和麦克风中的至少一个。
根据实施例，非暂时性计算机可读记录介质包括用于执行电子设备的控制方法的程序，该控制方法包括：基于用户跌倒事件被外部设备中包括的多个传感器中的一个检测到，接收由外部设备的多个传感器获得的跌倒信息；通过使用所述多个传感器获得的跌倒信息来识别用户跌倒是否已经发生；基于用户跌倒是否已经发生，识别所述多个传感器中错误地识别跌倒是否已经发生的传感器；以及重新训练通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
【发明效果】
根据上述各种实施例，可以通过使用针对每个用户优化的人工智能模型来检测用户跌倒的发生。
附图说明
图1是示出了根据本公开的实施例的用于检测跌倒是否已经发生的系统的示意图；
图2A和2B是示出根据本公开的实施例的电子设备的配置的框图；
图3是示出根据本公开的实施例的外部设备的配置的框图；
图4是示出根据本公开的实施例的检测用户跌倒是否已经发生并更新人工智能模型的方法的顺序图；
图5和图6是示出根据本公开的实施例的更新人工智能模型的方法的示意图；
图7是示出根据本公开的实施例的电子设备的控制方法的流程图；
图8是示出根据本公开的实施例的用于训练和使用人工智能模型的电子设备的配置的框图；
图9A和9B是示出根据本公开的实施例的学习器和识别器的详细配置的框图。
具体实施方式
将参考附图公开本文中的各种实施例。然而，应当注意，各种实施例不是为了将本公开的范围限制到特定实施例，而是应当解释为包括这些实施例的所有修改、等同物或替代物。关于附图的描述，相同的附图标记可以用于相同的元件。
本文中诸如“包括”、“可以包括”等的表述可以表示特征(例如，诸如数量、功能、操作或组件的元素)的存在，并且不排除附加特征的存在。
在本公开中，诸如“A或B”、“A和/或B中的至少一个”、或“A和/或B中的一个或多个”的表述可以包括一起列出的项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”、或“A或B中的一个或多个”可以指包括(1)A中的至少一个、(2)B中的至少一个、或(3)A中的至少一个和B中的至少一个的所有情况。
在本公开中使用的诸如“第一”、“第二”等的表述可以修饰各种元件，而不考虑顺序和/或重要性如何，并且可以仅用于区分一个元件与另一元件，而不限制对应的元件。
当特定元件(例如，第一元件)被指示为与另一元件(例如，第二元件)“(可操作地或通信地)耦合/耦合到”另一元件(例如，第二元件)或者“连接到”另一元件(例如，第二元件)时，它可以理解为该特定元件与另一元件直接耦合/耦合到另一元件或者通过又一个元件(例如，第三元件)耦合。另一方面，当特定元件(例如，第一元件)被指示为“与另一元件(例如，第二元件)直接耦合/耦合到”另一元件(例如，第二元件)或“连接到”另一元件(例如，第二元件)时，它可以被理解为在特定元件和另一元件之间不存在又一个元件(例如，第三元件)。
在本公开中使用的表述“被配置为…(或被设置为…)”可以基于情况与例如“适合于…”、“具有…的能力”、“被设计为…”、“适应于…”、“被制造为…”或“能够…”互换使用。术语“配置为…(或设置为)”在硬件方面可以不一定意味着“专门设计为”。更确切地说，在特定情况下，表述“被配置为……的设备”可能意味着该设备与另一设备或组件一起“可以执行……”。例如，短语“被配置为(或被设置为)执行A、B和C的子处理器”可以表示用于执行对应操作的专用处理器(例如，嵌入式处理器)，或者能够通过执行存储在存储设备中的一个或多个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
根据各种实施例的电子设备可以包括但不限于例如智能手机、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(personal digital assistant，PDA)、便携式多媒体播放器(portablemultimedia player，PMP)、MP3播放器、医疗设备、相机或可穿戴设备中的至少一个。可穿戴设备可以包括首饰类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(head-mounted-device，HMD))、织物或衣服嵌入类型(例如，电子服装)、身体附着类型(例如，皮肤垫或纹身)或生物可植入电路中的至少一个。在一些实施例中，电子设备可以包括但不限于例如电视(TV)、数字视频盘(DVD)播放器、音频、冰箱、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，SAMSUNGHOMEYNCTM、APPLE TVTM或GOOGLE TVTM)、游戏机(例如，XBOXTM，PLAYSTATIONTM等)、电子词典、电子钥匙、摄录机、或者电子相框中的至少一个。
在另一实施例中，电子设备可以包括各种医疗设备(例如，各种便携式医疗测量设备(例如，葡萄糖测量设备、心率测量设备、血压测量设备、温度测量设备等)、磁共振血管造影术(magnetic resonance angiography，MRA)、磁共振成像(magnetic resonanceimaging，MRI)、计算机断层摄影(computed tomography，CT)、成像设备或超声波设备等)、或物联网设备(例如，灯泡、各种传感器、喷水装置、火警、温度调节器、路灯、烤面包机、锻炼器械、热水罐、加热器、锅炉等)中的至少一个。
在本公开中，术语“用户”可以指使用电子设备的人或使用该电子设备的设备(例如，人工智能电子设备)。
下面将参考附图更详细地描述本公开。
图1是示出了根据本公开的实施例的用于检测跌倒是否已经发生的系统的示意图。如图1所示，该系统可以包括电子设备100和多个外部设备200-1至200-3。
多个外部设备200-1至200-3中的每一个可以设置在家中的多个空间中。例如，第一外部设备200-1可以设置在主卧室中，第二外部设备200-2可以设置在浴室中，并且第三外部设备200-3可以设置在客厅中。
此外，多个外部设备200-1至200-3中的每一个可以通过使用至少一个传感器来检测用户跌倒事件。例如，第一外部设备200-1可以包括动态视觉传感器(dynamic visionsensor，DVS)、超宽带(UWB)雷达传感器和红外(IR)传感器，第二外部设备200-2可以包括IR传感器，并且第三外部设备200-3可以包括UWB(超宽带)雷达传感器。DVS(动态视觉传感器)可以通过拍摄用户来获得关于用户移动的信息。此外，UWB雷达传感器可以通过使用超宽带雷达来检测用户移动、生物信号(例如，呼吸、心跳)等的变化的信息。此外，IR传感器可以通过使用IR信号来检测用户移动的变化。特别地，基于DVS、UWB雷达传感器和IR传感器的顺序，可以提高检测用户移动变化的准确度(accuracy)。
此外，多个外部设备200-1至200-3中的每一个可以包括对应于所述至少一个传感器的人工智能模型。该人工智能模型可以是被训练成通过输入由传感器获得的感测值来获得跌倒信息的模型。可以为每个传感器提供该人工智能模型。例如，基于包括DVS、UWB雷达传感器和IR传感器的第一外部设备200-1，第一外部设备200-1可以包括被训练成基于由DVS获得的感测值来获得跌倒信息的第一人工智能模型、被训练成基于由UWB雷达传感器获得的感测值来获得跌倒信息的第二人工智能模型、以及被训练成基于由IR传感器获得的感测值来获得跌倒信息的第三人工智能模型。
多个外部设备200-1至200-3中的一个可以通过使用至少一个传感器来检测用户跌倒事件。例如，基于位于主卧室中的用户的移动，第一外部设备200-1可以通过使用DVS、UWB雷达传感器和IR传感器中的每一个，根据用户移动来获得感测值。然后，第一外部设备200-1可以通过使用对应于DVS、UWB雷达传感器和IR传感器中的每一个的人工智能模型来获得第一跌倒信息、第二跌倒信息和第三跌倒信息。该跌倒信息不仅可以包括关于用户跌倒是否已经发生的信息，还可以包括关于用户跌倒的位置和用户跌倒的程度的信息。
基于识别到根据跌倒信息已经检测到跌倒事件，检测到该跌倒事件的外部设备可以输出关于该跌倒事件的信息。检测到跌倒事件的外部设备可以以听觉反馈(例如，嘟嘟声)或视觉反馈(例如，报警消息)来提供关于跌倒事件的信息，但是这仅仅是一个实施例，并且可以将关于跌倒事件的信息发送到外部用户终端。
此外，检测到跌倒事件的外部设备可以将获得的跌倒信息发送到电子设备100。
电子设备100可以基于从外部设备接收到的跌倒信息来识别用户跌倒是否已经发生。即使跌倒事件已经被外部设备中包括的至少一个传感器中的一些检测到，用户也可能实际上未跌倒，并且即使跌倒事件没有被包括在外部设备中的所述至少一个传感器中的一些检测到，用户也可能实际上已经跌倒。也就是说，电子设备100可以基于跌倒信息来识别用户跌倒是否已经发生。
电子设备100可以基于具有高准确度的传感器的顺序来识别用户跌倒是否已经发生。例如，基于从第一外部设备200-1接收到跌倒信息，跌倒信息“用户尚未跌倒”可以被包括在由DVS获得的跌倒信息中，并且基于跌倒信息“用户已经跌倒”被包括在由UWB雷达传感器获得的跌倒信息中，电子设备100可以通过使用由具有高准确度的DVS获得的跌倒信息来识别跌倒是否已经发生，
可替换地，基于“用户尚未跌倒”被包括在由多个传感器中的至少一个传感器获得的跌倒信息中，电子设备100可以确定用户尚未跌倒。
此外，电子设备100可以获得关于电子设备是否在用户所处的空间中操作的信息，并且基于跌倒信息和关于电子设备是否在操作的信息来识别用户跌倒是否已经发生。也就是说，即使基于跌倒信息确定为“用户已经跌倒”，如果电子设备不在用户所处的空间中操作，电子设备100也可以确定用户未跌倒。
除此之外，电子设备100还可以通过使用各种环境信息与该跌倒信息一起来识别跌倒是否已经发生。
电子设备100可以基于跌倒是否已经发生的识别结果，从具有所述至少一个传感器的所述多个传感器中识别错误地识别跌倒是否已经发生的传感器。例如，基于由DVS获得的第一跌倒信息是“用户尚未跌倒”、以及由UWB雷达传感器获得的第二跌倒信息是“用户已经跌倒”，如果电子设备100识别为用户未跌倒，则电子设备100可以将UWB雷达传感器识别为错误地识别跌倒是否已经发生的传感器。
电子设备100可以重新训练通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。也就是说，基于错误地识别跌倒是否已经发生的传感器是UWB雷达传感器，电子设备100可以重新训练通过使用由UWB雷达传感器获得的感测值来获得跌倒信息的人工智能模型。也就是说，电子设备100可以更新通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
电子设备100可以将检测跌倒事件的更新的人工智能模型发送到外部设备。除此之外，电子设备100可以将更新的人工智能模型发送到包括对应传感器的另一外部设备。
作为基于人工智能算法训练的识别模型，上述实施例中描述的人工智能模型可以例如是基于神经网络的模型。经训练的人工智能模型可以被设计成在计算机上模拟人脑结构，并且可以包括模拟人类神经网络中的神经元并具有加权值的多个网络节点。所述多个网络节点可以分别形成神经元的连接关系，以模拟神经元通过突触发送和接收信号的突触活动。此外，经训练的人工智能模型可以例如包括神经网络模型或从神经网络模型发展而来的深度学习模型。深度学习模型中的多个网络节点可以位于彼此不同的深度(或层)，并且可以基于卷积连接关系发送和接收数据。作为经训练的人工智能模型的示例，可以包括但不限于深度神经网络(deep neural network，DNN)、递归神经网络(recurrent neuralnetwork，RNN)、双向递归深度神经网络(bidirectional recurrent neural network，BRDNN)等。
此外，外部设备200和电子设备100可以基于由上述传感器获得的感测值来获得跌倒信息，或者使用作为人工智能专用程序(或人工智能代理)的个人助理程序，以更新人工智能模型。该个人助理程序(作为用于提供基于人工智能(AI)的服务的专用程序)可以由根据相关技术的通用处理器(例如，CPU)或单独的AI专用处理器(例如，图形处理单元(graphics processing unit，GPU)等)来执行。
基于预定事件(例如，检测预定用户移动的事件等)被检测到，可以操作(或执行)外部设备200的人工智能代理。人工智能代理可以基于获得的感测值通过使用人工智能模型来获得跌倒信息。然后，电子设备100可以通过使用人工智能代理来更新错误地识别跌倒是否已经发生的人工智能模型。
根据另一实施例，外部设备200可以通过使用传感器来获得感测值，并将所获得的感测值发送到电子设备100，并且电子设备100可以通过将该感测值输入到人工智能模型来获得跌倒信息。电子设备100可以重新训练多个人工智能模型中错误地识别跌倒是否已经发生的人工智能模型。
因此，通过由电子设备100更新对应于错误地识别跌倒是否已经发生的传感器的人工智能模型，可以提供针对用户优化的人工智能模型，并且可以更准确地检测跌倒事件。
图2A是示出了根据本公开的实施例的电子设备的示意配置的框图。参考图2A，电子设备100可以包括通信器110、存储器120和处理器130。图2A所示的配置是用于实现本公开的实施例的示例视图，并且电子设备100中可以进一步包括适合于对本领域普通技术人员明显的水平的硬件/软件配置，或者可以省略图2A所示的配置。
通信器110可以通过使用各种通信方法来执行与外部其他设备的通信。通信器110可以从外部设备200接收包括关于用户跌倒是否已经发生的信息的跌倒信息。此外，通信器110可以将已更新的人工智能模型发送到外部设备200。此外，通信器110可以基于用户跌倒是否已经发生向外部发送通知事件。
通信器110可以根据各种类型的通信方法来执行与各种类型的外部设备的通信。通信器110可以包括Wi-Fi芯片、蓝牙芯片、无线通信芯片、IR芯片和ZigBee芯片中的至少一个。处理器130可以通过使用通信器110来执行与外部设备或其他各种外部设备的通信。除此之外，通信器110还可以通过各种通信芯片(诸如近场通信(near field communication，NFC)芯片)来执行与外部设备200的通信。
存储器120可以存储与电子设备100的至少一个其他元件相关的指令或数据。特别地，存储器120可以被实现为例如但不限于非易失性存储器、易失性存储器、闪存、硬盘驱动器(hard disk drive，HDD)、固态驱动器(solid state drive，SSD)等。处理器130可以访问存储器120，并且处理器130可以执行数据的读取/写入/修改/删除/更新等。术语“存储器”可以包括存储器120、处理器130内的只读存储器(read only memory，ROM)(未示出)和随机存取存储器(random access memory，RAM)(未示出)、或者安装到电子设备100的存储卡(未示出)(例如，微型SD卡、记忆棒)。
存储器120可以存储人工智能专用程序。人工智能专用程序可以指提供关于电子设备100的各种服务的个性化程序。人工智能专用程序可以基于用户跌倒是否已经发生来训练或重新训练电子设备100或人工智能模型。此外，根据实施例，存储器120可以存储对应于多个传感器中的每一个的多个人工智能模型。人工智能模型可以是被训练成通过输入由对应传感器获得的感测值来获得跌倒信息的模型。
处理器130可以与通信器110和存储器120电耦合，并且控制电子设备100的整体操作和功能。处理器130可以通过使用存储在存储器120中的各种程序(或指令)根据(从外部设备接收到的)跌倒信息识别跌倒是否已经发生，并且更新错误地识别跌倒发生的人工智能模型。
基于用户跌倒事件被包括在外部设备200中的多个传感器中的一个检测到，处理器130可以通过通信器110接收由外部设备200的所述多个传感器获得的跌倒信息；通过使用由所述多个传感器获得的跌倒信息来识别用户跌倒是否已经发生；基于用户跌倒是否已经发生，识别多个传感器中错误地识别跌倒是否已经发生的传感器；以及重新训练通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
基于包括第一传感器和第二传感器的外部设备200，处理器130可以通过通信器110接收第一跌倒信息和第二跌倒信息，其中第一跌倒信息通过将第一传感器获得的感测值输入到第一人工智能模型来获得，第二跌倒信息通过将第二传感器获得的感测值输入到第二人工智能模型来获得。
然后，处理器130可以通过使用由第一传感器和第二传感器中具有高准确度的传感器获得的跌倒信息来识别用户跌倒是否已经发生。可替换地，处理器130可以获得关于电子设备是否在用户所处的空间中操作的信息，并且基于第一跌倒信息、第二跌倒信息以及关于电子设备是否在操作的信息来识别用户跌倒是否已经发生。
基于第一传感器被识别为错误地识别跌倒是否已经发生的传感器，处理器130可以被配置为重新训练第一人工智能模型，并且基于第二传感器被识别为错误地识别跌倒是否已经发生的传感器，处理器130可以被配置为重新训练第二人工智能模型。
处理器130可以被配置为控制通信器110将经重新训练的人工智能模型发送到外部设备200或包括错误地识别跌倒是否已经发生的传感器的另一外部设备。
图2B是示出根据本公开的实施例的电子设备的详细配置的框图。参考图2B，电子设备100可以包括通信器110、显示器140、音频输出器150、存储器120、输入器160、传感器170和处理器130。因为在图2A中已经描述了通信器110和存储器120，所以将省略重叠的描述。
显示器140可以提供各种屏幕。显示器140可以输出关于跌倒事件的输出信息。显示器140可以以弹出(pop-up)窗口的形式显示关于跌倒事件的输出信息，但是这仅仅是一个实施例，并且可以以全屏显示关于报警事件的输出信息。
音频输出器150可以是不仅用于输出各种音频数据，还用于输出各种通知声音或语音消息的配置，其中音频处理器(未示出)已经对该各种音频数据执行了各种处理工作诸如解码或放大以及噪声滤波。音频输出器150可以通过使用扬声器以音频形式(例如，嘟嘟声)输出关于跌倒事件的输出信息。
输入器160可以接收各种用户输入并将该各种用户输入发送到处理器130。输入器可以包括触摸传感器、(数字)笔传感器、压力传感器、键或麦克风。触摸传感器可以使用例如电容式、电阻式、红外线式或超声波式中的至少一种方法。(数字)笔传感器可以是例如触摸面板的一部分，或者包括用于辨识的单独的薄片。该键可以例如包括物理按钮、光学键或小键盘。输入器160可以根据用户输入获得输入信号以用于执行人工智能专用程序。
传感器170可以检测各种环境信息。基于电子设备100也是检测用户跌倒是否已经发生的设备，传感器170可以包括用于检测用户移动的DVS、UWB雷达传感器、IR传感器等，并且除此之外，可以进一步包括用于收集用户语音的麦克风、用于收集用户的生物数据以获得用户跌倒信息的生物传感器。
处理器130(或控制器)可以被配置为通过使用存储在存储器120中的各种程序来控制电子设备100的整体操作。
处理器130可以包括RAM 131、只读存储器(ROM)132、图形处理器133、主CPU 134、第一到第n接口135-1到135-n、以及总线136。RAM 131、ROM 132、图形处理器133、主中央处理器134、第一至第n接口135-1至135-n等可以通过总线136彼此耦合。
图3是示出根据本公开的实施例的外部设备的配置的框图。参考图3，外部设备200可以包括通信器210、存储器220、传感器230、输出器240和处理器250。图3中所示的配置是用于实现本公开的实施例的示例视图，并且外部设备200中可以进一步包括适合于对本领域普通技术人员明显的水平的硬件/软件配置，或者可以省略图3中所示的配置。根据实施例，外部设备200可以被实现为包括多个传感器的IoT设备，但是这仅仅是一个实施例，并且可以被实现为在家中提供的家用电器(例如，TV等)。
通信器210可以执行与外部电子设备100的通信。通信器210可以将由传感器230获得的跌倒信息发送到电子设备100。此外，通信器210可以从电子设备100接收已更新的人工智能模型。
通信器210可以根据各种类型的通信方法执行与各种类型的外部设备的通信。例如，通信器210可以包括Wi-Fi芯片、蓝牙芯片、无线通信芯片、IR芯片和ZigBee芯片中的至少一个。
存储器220可以存储与外部设备200的至少一个其他元件相关的指令或数据。存储器220可以实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)等。处理器250可以访问存储器220，并且处理器250可以执行数据的读取/写入/修改/删除/更新等。术语“存储器”可以包括存储器220、处理器250内的ROM(未示出)和RAM(未示出)、或者安装到外部设备200的存储卡(未示出)(例如，微型SD卡、记忆棒)。
存储器220可以存储人工智能专用程序。人工智能专用程序可以指提供关于外部设备200的各种服务的个性化程序。人工智能专用程序可以通过将通过传感器230获得的感测值输入到人工智能模型来获得跌倒信息。
根据实施例，存储器220可以存储对应于多个传感器中的每一个的多个人工智能模型。人工智能模型可以是被训练成通过输入由对应传感器获得的感测值来获得跌倒信息的模型。例如，存储器220可以包括被训练成通过输入通过DVS获得的感测值来获得跌倒信息的第一人工智能模型、被训练成通过输入通过UWB雷达传感器获得的感测值来获得跌倒信息的第二人工智能模型、以及被训练成通过输入通过IR传感器获得的感测值来获得跌倒信息的第三人工智能模型。
传感器230可以获得感测值以用于获得用户的跌倒信息。传感器230可以包括DVS、UWB雷达传感器、IR传感器、麦克风、生物传感器等，以检测用户的移动、用户的语音、用户的生物信息等。根据外部设备200所处的空间，传感器230可以被包括在外部设备200中。例如，UWB雷达传感器、IR传感器等可以被包括在家中需要对用户进行隐私保护的空间(例如，主卧室、浴室等)中，并且DVS、麦克风等可以被包括在被家中几个用户使用的空间(例如，客厅、厨房等)中。此外，关于DVS，处理器250可以通过从通过图像处理拍摄的图像中提取用户的轮廓来获得关于用户移动的感测值。
输出器240可以提供关于跌倒事件的输出信息。输出器240可以实现为用于提供视觉反馈的显示器或用于提供听觉反馈的扬声器等。
处理器250(或控制器)可以被配置为通过使用存储在存储器220中的各种程序来控制外部设备200的整体操作。
处理器250可以被配置为通过将通过传感器230获得的感测值输入到人工智能模型来获得跌倒信息。处理器250可以获得多个传感器中的每一个的感测值，并且通过将感测值输入到对应于所述多个传感器中的每一个的多个人工智能模型来获得所述多个传感器中的每一个的跌倒信息。然后，处理器250可以被配置为将获得的跌倒信息发送到电子设备100。
图4是示出了根据本公开的实施例的检测用户跌倒是否已经发生并更新人工智能模型的方法的顺序图。
第一外部设备200-1可以通过使用多个传感器来获得感测值(S405)。例如，第一外部设备200-1可以通过使用DVS、UWB雷达传感器、IR传感器和麦克风中的每一个来获得感测值。第一外部设备200-1可以通过使用所述多个传感器无故障地获得感测值，但是这仅仅是一个实施例，并且基于用户移动为阈值或更大的值被检测到，第一外部设备200-1可以通过使用所述多个传感器来获得感测值。
第一外部设备200-1可以检测跌倒事件(S410)。第一外部设备200-1可以通过将从所述多个传感器获得的感测值输入到对应的人工智能模型来获得跌倒信息。如果包括了从所述多个人工智能模型获得的跌倒信息中的跌倒信息“用户已经跌倒”，则第一外部设备200-1可以检测跌倒事件。
第一外部设备200-1可以将通过所述多个传感器获得的跌倒信息发送到电子设备100(S415)。
电子设备100可以基于从第一外部设备200-1获得的跌倒信息来识别用户跌倒是否已经发生(S420)。基于信息“用户已经跌倒”被包括在从第一外部设备200-1获得的所有跌倒信息中，电子设备100可以将用户识别为跌倒。然而，即使信息“用户已经跌倒”被包括在从第一外部设备200-1获得的所有跌倒信息中，如果获得环境信息(诸如用户正在操作另一设备)，则电子设备100可以将用户识别为未跌倒。此外，基于信息“用户已经跌倒”被包括在从第一外部设备200-1获得的跌倒信息中的一些中并且信息“用户尚未跌倒”被包括在该跌倒信息中的其他一些中，电子设备100可以基于具有高准确度的传感器识别跌倒是否已经发生。可替换地，电子设备100可以基于信息“用户尚未跌倒”被包括在从第一外部设备200-1获得的跌倒信息中的一些中，来识别用户尚未跌倒。
电子设备100可以基于用户跌倒是否已经发生的识别结果来识别错误地识别跌倒是否已经发生的传感器(S425)。例如，基于用户被识别为未跌倒，电子设备100可以识别与将用户识别为跌倒的人工智能模型相对应的传感器。
电子设备100可以重新训练与错误地识别跌倒是否已经发生的传感器相对应的人工智能模型(S430)。例如，基于与获得包括错误的跌倒或未跌倒信息的跌倒信息的UWB雷达传感器相对应的人工智能模型，电子设备100可以重新训练并更新对应于UWB雷达传感器的人工智能模型。
然后，电子设备100可以将经重新训练的人工智能模型发送到第一外部设备200-1和第二外部设备200-2中的每一个(S435和S440)。第二外部设备200-2可以包括获得具有错误的跌倒或未跌倒信息的跌倒信息的人工智能模型。
通过上述方法，电子设备100可以通过更新成针对用户进行优化的人工智能模型来更准确地检测用户跌倒是否已经发生。
图5和6是示出根据本公开的实施例的更新人工智能模型的方法的示意图。外部设备可以包括DVS 230-1和UWB雷达传感器230-2。
根据实施例，如图5所示，外部设备200可以通过将通过DVS 230-1获得的感测值输入到第一人工智能模型来获得跌倒信息“正常活动”，并且通过将通过UWB雷达传感器230-2获得的感测值输入到第二人工智能模型来获得跌倒信息“检测到跌倒”。
因为外部设备200通过经由UWB雷达传感器获得的跌倒信息检测到跌倒事件，所以外部设备200可以将获得的跌倒信息发送到电子设备100。
电子设备100可以基于获得的跌倒信息来识别用户跌倒是否已经发生。电子设备100可以基于通过具有高准确度的DVS 230-1获得的跌倒信息来识别用户尚未跌倒并且正在执行日常功能。
电子设备100可以通过识别通过UWB雷达传感器230-2获得的跌倒信息是错误的，来重新训练对应于UWB雷达传感器230-2的人工智能模型510。电子设备100可以通过将经重新训练的人工智能模型发送到外部设备200来更新包括在外部设备200中的人工智能模型510。
根据另一实施例，如图6所示，外部设备200可以通过将通过DVS 230-1获得的感测值输入到第一人工智能模型来获得跌倒信息“检测到跌倒”，并且通过将通过UWB雷达传感器230-2获得的感测值输入到第二人工智能模型来获得跌倒信息“正常呼吸/心跳”。
因为外部设备200通过经由DVS 230-1获得的跌倒信息检测到跌倒事件，所以外部设备200可以将获得的跌倒信息发送到电子设备100。
电子设备100可以基于获得的跌倒信息来识别用户跌倒是否已经发生。尽管信息“用户已经跌倒”可以被包括在通过具有高准确度的DVS 230-1获得的跌倒信息中，但是因为信息“用户尚未跌倒”被包括在通过UWB雷达传感器230-2获得的跌倒信息中，所以电子设备100可以获得其他环境信息(例如，电子设备是否正在外部设备200所处的空间中使用等)。基于用户基于其他环境信息被识别为未跌倒，电子设备100可以将用户识别为未跌倒。
通过识别通过DVS 230-1获得的跌倒信息是错误的，电子设备100可以重新训练对应于DVS 230-1的人工智能模型520。电子设备100可以通过将经重新训练的人工智能模型发送到外部设备200来更新包括外部设备200中的人工智能模型520。
图7是示出了根据本公开的实施例的电子设备的控制方法的流程图。
首先，基于跌倒事件被外部设备200中包括的多个传感器中的至少一个检测到(S710-Y)，电子设备100可以接收由外部设备200的所述多个传感器获得的跌倒信息(S720)。接收到的跌倒信息可以是通过将由所述多个传感器中的每一个获得的感测值输入到人工智能模型而获得的信息。
电子设备100可以通过使用跌倒信息来识别跌倒是否已经发生(S730)。电子设备100可以基于具有高准确度的传感器识别用户跌倒是否已经发生，并且基于除了从外部设备200接收到的跌倒信息之外的各种环境信息来识别用户跌倒是否已经发生。
电子设备100可以基于用户跌倒是否已经发生的识别结果来识别错误地识别跌倒是否已经发生的传感器(S740)。例如，基于用户被识别为未跌倒，电子设备100可以识别与获得用户已经跌倒的跌倒信息的人工智能模型相对应的传感器。
电子设备100可以重新训练通过使用由错误地识别跌倒是否已经发生的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型(S750)。
在上述实施例中，所有的所述多个传感器已经被描述为被包括在一个外部设备200中，但是这仅仅是一个实施例，并且所述多个传感器可以被单独地包括在位于相同空间中的多个外部设备中。
此外，在上述实施例中，已经将电子设备100和外部设备200描述为实现为单独的设备，但是这仅仅是一个实施例，并且电子设备100和外部设备200可以实现为一个设备。也就是说，基于电子设备100和外部设备200被实现为一个设备，这一个设备可以通过直接获得感测值来识别跌倒信息，并且重新训练错误地识别跌倒信息的人工智能模型。
此外，在上述实施例中，人工智能模型被描述为包括在外部设备200中并且获得跌倒信息，但是这仅仅是一个实施例，并且外部设备200可以将获得的感测值发送到电子设备100，并且电子设备100可以获得跌倒信息。
图8是示出根据本公开的实施例的用于训练和使用人工智能模型的外部设备200的配置的框图。
参考图8，外部设备200可以包括学习器810和识别器820中的至少一个。根据实施例，在电子设备100获得跌倒信息的实施例中，图8的外部设备200可以被实现为电子设备100。
学习器810可以通过使用训练数据生成或训练具有用于获得跌倒信息的标准的人工智能模型。可替换地，学习器810可以通过使用收集的训练数据生成具有识别标准的人工智能模型。
在一个示例中，学习器810可以生成、训练或更新人工智能模型，以通过使用由外部设备200检测到的感测值作为训练数据来获得关于用户跌倒是否已经发生的跌倒信息。学习器810可以为每个传感器生成、训练或更新不同的人工智能模型。
识别器820可以通过使用由传感器获得的感测值作为经训练的人工智能模型的输入数据来获得跌倒信息。在一个示例中，识别器820可以通过使用由传感器获得的感测值作为输入数据来获得(或者，假定、推断)跌倒信息，该跌倒信息包括关于用户跌倒是否已经发生的信息。
根据实施例，学习器810和识别器820可以被包括在外部设备中，但是这仅仅是一个实施例，并且学习器810和识别器820中的至少一些可以被安装在电子设备100内部。特别地，学习器810中的至少一些和识别器820中的至少一些可以被实现为软件模块，或者被制造成至少一个硬件芯片形式并安装在外部设备200或电子设备100中。例如，学习器810和识别器820中的至少一个可以以专用于人工智能(AI)的硬件芯片的形式制造，或者作为根据相关技术的通用处理器(例如，CPU或应用处理器)或仅图形处理器(例如，GPU)的一部分来制造，并且可以安装在上述外部设备200或电子设备100上。在本文中，专用于人工智能的硬件芯片可以是用于概率计算的专用处理器，其中该专用处理器表现出比根据相关技术的通用处理器更高的并行处理性能，并且可以快速处理人工智能(诸如机器学习)领域中的计算任务。当学习器810和识别器820用软件模块(或包括指令的程序模块)实现时，软件模块可以存储在计算机可读的非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)或预定的应用提供。可替换地，软件模块的一些可以由OS提供，而剩余的一些可以由预定的应用提供。
学习器810和识别器820可以安装在一个电子设备中，或者可以分别安装在单独的电子设备中。例如，学习器810和识别器820中的一个可以被包括在电子设备100中，并且剩余的另一个可以包括在外部设备200中。此外，学习器810和识别器820可以通过有线或无线方法向识别器820提供由学习器810构建的模型信息，或者输入到学习器810的数据可以作为附加训练数据提供给学习器810。此外，学习器810和识别器820中的一部分可以被包括在除了电子设备100和外部设备200之外的单独的外部服务器中。
图9A是示出了根据各种实施例的学习器810和识别器820的框图。
参考图9A，根据一些实施例的学习器810可以包括训练数据获得器810-1和模型学习器810-4。此外，学习器810可以选择性地进一步包括训练数据预处理器810-2、训练数据选择器810-3和模型评估器810-5中的至少一个。
训练数据获得器810-1可以获得用于获得跌倒信息的人工智能模型所需的训练数据。在实施例中，训练数据获得器810-1可以获得由外部设备200中提供的传感器获得的感测值、由电子设备获得的感测值等作为训练数据。
模型学习器810-4可以通过利用训练数据来训练具有用于获得跌倒信息的标准的人工智能模型。在一个示例中，模型学习器810-4可以通过监督学习来训练人工智能模型，其中该监督学习利用训练数据中的至少一些作为用于获得跌倒信息的标准。可替换地，模型学习器810-4可以例如通过在没有特定监督的情况下使用训练数据自行训练，通过无监督学习来训练人工智能模型，其中该无监督学习发现用于获得跌倒信息的标准。此外，模型学习器810-4可以例如通过强化学习来训练人工智能模型，其中该强化学习利用关于根据训练的识别结果是否正确的反馈。此外，模型学习器810-4可以例如通过利用包括误差反向传播或梯度下降的学习算法等来训练人工智能模型。
此外，模型学习器810-4可以通过使用输入数据来学习关于其哪些训练数据用于获得跌倒信息的选择标准、或者关于其哪些训练数据用于获得事件的输出信息的选择标准。
基于预先构建的人工智能模型存在多个，模型学习器810-4可以将在输入训练数据和基本训练数据之间具有高相关性的人工智能模型识别为要训练的人工智能模型。基本训练数据可以根据数据类型预先分类，人工智能模型可以根据数据类型预先构建。例如，可以根据各种标准(诸如但不限于其中生成训练数据的区域、生成训练数据的时间、训练数据的大小、训练数据的类型、训练数据的创建者、训练数据内的对象的类型等)对基本训练数据进行预分类。
此外，模型学习器810-4可以为每个传感器训练或生成不同的人工智能模型。
基于人工智能模型被训练，模型学习器810-4可以存储经训练的人工智能模型。模型学习器810-4可以将经训练的人工智能模型存储在外部设备200的存储器中。可替换地，模型学习器810-4可以经由有线或无线网络将经训练的人工智能模型存储在与外部设备200耦合的服务器中，或者存储在电子设备100的存储器中。
学习器810可以增强人工智能模型的识别结果，或者进一步包括训练数据预处理器810-2和训练数据选择器810-3，以减少生成人工智能模型所需的资源或时间。
训练数据预处理器810-2可以预处理获得的数据，以便将获得的数据(例如，感测值)用于获得跌倒信息的训练中。训练数据预处理器810-2可以将获得的数据处理成预设格式，使得获得的数据可以用于模型学习器810-4以获得跌倒信息。此外，训练数据预处理器810-2可以处理图像输入以保护用户隐私并获得仅剩余轮廓的图像。
训练数据选择器810-3可以从训练数据获得器810-1中获得的数据或训练数据预处理器810-2中预处理的数据中选择训练所需的数据。所选择的训练数据可以提供给模型学习器810-4。训练数据选择器810-3可以基于预设的选择标准从获得的或预处理的数据中选择训练所需的训练数据。此外，训练数据选择器810-3可以通过模型学习器810-4根据预设的选择标准来选择训练数据。
学习器810可以进一步包括模型评估器810-5，以增强人工智能模型的识别结果。
模型评估器810-5可以向人工智能模型输入评估数据，并且如果从评估数据输出的识别结果不满足预定标准，模型评估器810-5可以让模型学习器810-4再次训练。评估数据可以是用于评估人工智能模型的预定义数据。
例如，从经训练的人工智能模型相对于评估数据的识别结果中，当识别结果超过其中识别结果不准确的评估数据的数量或比率时，模型评估器810-5可以评估为不满足预定标准。
基于经训练的人工智能模型存在多个，模型评估器810-5可以针对多个经训练的人工智能模型中的每一个评估是否满足预定标准，并且将满足预定标准的模型识别为最终的人工智能模型。基于满足预定标准的模型有多个，模型评估器810-5可以按照最高评估分数的顺序将预设的任何一个或预定数量的模型识别为最终的人工智能模型。
参考图9A(b)，根据一些实施例的识别器820可以包括输入数据获得器820-1和识别结果提供器820-4。
此外，识别器820可以选择性地进一步包括输入数据预处理器820-2、输入数据选择器820-3和模型更新器820-5中的至少一个。
输入数据获得器820-1可以获得数据以获得跌倒信息。识别结果提供器820-4可以通过将从输入数据获得器820-1获得的输入数据应用于经训练的人工智能模型作为输入值来获得跌倒信息。识别结果提供器820-4可以通过将由输入数据预处理器820-2(将在下文中描述)或输入数据选择器820-3选择的数据作为输入值应用于人工智能模型来获得识别结果。
在实施例中，识别结果提供器820-4可以通过将从输入数据获得器820-1获得的数据(即感测值)应用于经训练的人工智能模型来获得跌倒信息。
识别器820可以增强人工智能模型的识别结果，或者进一步包括输入数据预处理器820-2和输入数据选择器820-3，以减少用于提供识别结果的资源或时间。
输入数据预处理器820-2可以对获得的数据进行预处理，以获得要使用的跌倒信息。输入数据预处理器820-2可以将获得的数据处理成预定义的格式，以便识别结果提供器820-4能够使用获得的数据来获得跌倒信息。
输入数据选择器820-3可以从输入数据获得器820-1中获得的数据或输入数据获得器820-1中的预处理数据中选择识别所需的数据。所选择的数据可以提供给识别结果提供者820-4。输入数据选择器820-3可以基于用于识别的预设选择标准，从获得的或预处理的数据中选择一部分或全部。此外，输入数据选择器820-3可以根据由模型学习器810-4训练预设的选择标准来选择数据。
模型更新器820-5可以基于对由识别结果提供器820-4提供的识别结果的评估，控制要更新的人工智能模型。例如，模型更新器820-5可以通过向模型学习器810-4提供由识别结果提供器820-4提供的识别结果，请求模型学习器810-4进一步训练或更新人工智能模型。模型更新器820-5可以基于根据用户输入的反馈信息来重新训练人工智能模型。
图9B是示出通过彼此交互来学习和识别数据的外部设备200和电子设备100的示例的图。
参考图9B，电子设备100可以学习用于获得跌倒信息的标准，并且外部设备200可以基于电子设备100的学习结果通过跌倒信息提供该标准。
电子设备100的模型学习器810-4可以执行图8中所示的学习器810的功能。也就是说，电子设备100的模型学习器810-4可以学习关于如何通过使用感测值来获得跌倒信息的标准。
此外，外部设备200的识别结果提供器820-4可以通过将由输入数据选择器820-3选择的数据应用于由电子设备100生成的人工智能模型来获得跌倒信息。可替换地，外部设备200的识别结果提供器820-4可以从电子设备100接收由电子设备100生成的人工智能模型，并且通过使用接收到的人工智能模型来获得跌倒信息。
此外，电子设备100可以重新训练识别错误跌倒信息的人工智能模型，并将该人工智能模型发送到外部设备200。
在上述实施例中，电子设备100已经被描述为训练/生成人工智能模型，但是这仅仅是一个实施例，并且外部单独的服务器S可以训练/生成人工智能模型，并且电子设备100可以重新训练人工智能模型。
一个或多个实施例可以用包括存储在机器可读存储介质(例如，计算机)中的指令的软件来实现。机器可以调用存储在存储介质中的指令，并且作为能够根据所调用的指令进行操作的设备，可以包括根据实施例的电子设备(例如，电子设备100)。基于由处理器执行的指令，处理器可以使用不同的元件直接或在处理器的控制下执行对应于该指令的功能。指令可以包括由编译器生成或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。在本文中，“非暂时性”仅仅意味着存储介质是有形的，并且不包括信号，并且不区分数据是半永久地还是临时地存储在存储介质中。
根据实施例，可以在计算机程序产品中提供根据一个或多个实施例的方法。计算机程序产品可以作为商品在卖方和买方之间交换。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PLAYSTORETM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储在存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中或者临时生成。
根据各种实施例的元件(例如，模块或程序)的每一个可以由单个实体或多个实体构成，并且可以省略上述子元件中的一些子元件，或者不同的子元件可以进一步包括在各种实施例中。可替代地或附加地，一些元件(例如，模块或程序)可以被集成到一个实体中，以执行在集成之前由每个相应元件执行的相同或相似的功能。由模块、程序或其他元件执行的根据各种实施例的操作可以顺序地、并行地、重复地或启发式地执行，或者至少一些操作可以以不同的顺序执行，可以省略至少一些操作，或者可以添加不同的操作。

Claims (13)

1.一种电子设备的控制方法，所述方法包括：
基于用户跌倒事件被外部设备中包括的多个传感器中的一个检测到，接收由所述外部设备中的多个传感器获得的跌倒信息；
获得关于用户所处的空间中的另一电子设备是否在操作的信息；
通过使用由所述多个传感器获得的跌倒信息以及关于所述另一电子设备是否在操作的信息，来识别用户跌倒是否已经发生；
基于用户跌倒是否已经发生，识别通过其所获得的跌倒信息是错误的传感器；以及
重新训练通过使用由所识别的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
2.根据权利要求1所述的方法，其中，所述外部设备包括第一传感器和第二传感器，并且
其中，所述接收包括，
基于跌倒事件根据通过将由所述第一传感器获得的感测值输入到第一人工智能模型而获得的第一跌倒信息和通过将由所述第二传感器获得的感测值输入到第二人工智能模型而获得的第二跌倒信息中的至少一个而被检测到，通过通信器接收所述第一跌倒信息和所述第二跌倒信息。
3.根据权利要求2所述的方法，其中，识别用户跌倒是否已经发生包括通过使用由所述第一传感器和所述第二传感器中具有更高准确度的传感器获得的跌倒信息来识别用户跌倒是否已经发生。
4.根据权利要求2所述的方法，其中，所述重新训练包括：
基于所述第一传感器被识别为错误地识别跌倒是否已经发生的传感器，重新训练所述第一人工智能模型；以及
基于所述第二传感器被识别为错误地识别跌倒是否已经发生的传感器，重新训练所述第二人工智能模型。
5.根据权利要求1所述的方法，还包括：
将经重新训练的人工智能模型发送到所述外部设备。
6.根据权利要求1所述的方法，包括：
将经重新训练的人工智能模型发送到另一外部设备，所述另一外部设备包括错误地识别跌倒是否已经发生的传感器。
7.根据权利要求1所述的方法，其中，所述多个传感器包括视频传感器、超宽带(UWB)雷达传感器、红外(IR)传感器和麦克风中的至少一个。
8.一种电子设备，包括：
通信器；
存储器，包括至少一条指令；
处理器，与所述通信器和所述存储器耦合，并被配置为控制所述电子设备，
其中，所述处理器通过执行所述至少一条指令，来被配置为：
基于用户跌倒事件被外部设备中包括的多个传感器中的一个检测到，通过所述通信器接收由所述外部设备中的多个传感器获得的跌倒信息；
获得关于用户所处的空间中的另一电子设备是否在操作的信息；通过使用由所述多个传感器获得的跌倒信息以及关于所述另一电子设备是否在操作的信息，来识别用户跌倒是否已经发生；
基于用户跌倒是否已经发生，识别通过其所获得的跌倒信息是错误的传感器；以及
重新训练通过使用由所识别的传感器获得的感测值来识别跌倒是否已经发生的人工智能模型。
9.根据权利要求8所述的电子设备，其中，所述外部设备包括第一传感器和第二传感器，并且
其中，所述处理器被配置为，
基于跌倒事件根据通过将由所述第一传感器获得的感测值输入到第一人工智能模型而获得的第一跌倒信息和通过将由所述第二传感器获得的感测值输入到第二人工智能模型而获得的第二跌倒信息中的至少一个来被检测到，通过所述通信器接收所述第一跌倒信息和所述第二跌倒信息。
10.根据权利要求9所述的电子设备，其中，所述处理器被配置为通过使用由所述第一传感器和所述第二传感器中具有更高准确度的传感器获得的跌倒信息来识别用户跌倒是否已经发生。
11.根据权利要求9所述的电子设备，其中，所述处理器被配置为：
基于所述第一传感器被识别为错误地识别跌倒是否已经发生的传感器，重新训练所述第一人工智能模型；以及
基于所述第二传感器被识别为错误地识别跌倒是否已经发生的传感器，重新训练所述第二人工智能模型。
12.根据权利要求8所述的电子设备，其中，所述处理器被配置为控制所述通信器将经重新训练的人工智能模型发送到所述外部设备。
13.一种非暂时性计算机可读记录介质，包括用于执行根据权利要求1-7中任一所述的电子设备的控制方法的程序。
CN201980031756.3A 2018-05-11 2019-05-13 电子设备及其控制方法 Active CN112106121B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0054035 2018-05-11
KR1020180054035A KR102449905B1 (ko) 2018-05-11 2018-05-11 전자 장치 및 이의 제어 방법
PCT/KR2019/005731 WO2019216732A1 (ko) 2018-05-11 2019-05-13 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
CN112106121A CN112106121A (zh) 2020-12-18
CN112106121B true CN112106121B (zh) 2022-09-02

Family

ID=68467041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031756.3A Active CN112106121B (zh) 2018-05-11 2019-05-13 电子设备及其控制方法

Country Status (5)

Country Link
US (1) US11270565B2 (zh)
EP (1) EP3748596A4 (zh)
KR (1) KR102449905B1 (zh)
CN (1) CN112106121B (zh)
WO (1) WO2019216732A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235464B (zh) * 2019-06-28 2022-05-31 华为技术有限公司 一种基于跌倒检测的呼救方法及电子设备
WO2021016484A1 (en) * 2019-07-25 2021-01-28 Apple Inc. Machine-learning based gesture recognition
KR102415820B1 (ko) * 2019-12-09 2022-06-30 한림대학교 산학협력단 인공지능 기반 표면 인식 방법을 통한 스마트 기기 시스템의 제어 방법, 장치 및 프로그램
CN112971741A (zh) * 2019-12-17 2021-06-18 青岛海信日立空调系统有限公司 一种家用电器
CN111166342B (zh) * 2020-01-07 2022-10-14 四川宇然智荟科技有限公司 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法
CN112666550B (zh) * 2020-12-25 2024-01-16 北京灵汐科技有限公司 运动物体检测方法及装置、融合处理单元、介质
CN113450537B (zh) * 2021-06-25 2023-05-30 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质
WO2023063582A1 (en) * 2021-10-14 2023-04-20 Samsung Electronics Co., Ltd. Method, and device for providing human wellness recommendation based on uwb based human activity detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102048521A (zh) * 2009-11-03 2011-05-11 香港理工大学 跌倒监测和预防系统及方法
CN102117533A (zh) * 2011-03-11 2011-07-06 北京航空航天大学 人体跌倒检测保护与报警装置
CN102750803A (zh) * 2012-07-16 2012-10-24 深圳市富晶科技有限公司 跌倒报警仪、跌倒报警检测装置及方法
CN103021131A (zh) * 2012-12-28 2013-04-03 中科院微电子研究所昆山分所 跌倒检测系统和检测方法
CN103040547A (zh) * 2012-12-24 2013-04-17 中国科学院深圳先进技术研究院 便携式跌倒防护装置
DE202015005019U1 (de) * 2015-07-18 2016-10-20 Rudolf King Methode zur Anbindung und Nutzung von externen Serverkapazitäten bei mobilen persönlichen und anderen Sicherheitssystemen und Trennung von Sensoren, Funktionsbereichen und Rechenkapazitäten mittels Alarmverlagerung auf externe Computer und Server

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4307177B2 (ja) 2003-08-08 2009-08-05 学校法人同志社 在宅者支援システム
US20060282021A1 (en) * 2005-05-03 2006-12-14 Devaul Richard W Method and system for fall detection and motion analysis
JP4668684B2 (ja) * 2005-05-20 2011-04-13 住友大阪セメント株式会社 監視装置及びソフトウエアプログラム
US8217795B2 (en) * 2006-12-05 2012-07-10 John Carlton-Foss Method and system for fall detection
KR100827613B1 (ko) 2007-05-04 2008-05-07 삼성전자주식회사 휴대용 단말기의 마이크 제어 장치 및 방법
AU2009247584A1 (en) * 2008-05-13 2009-11-19 Koninklijke Philips Electronics N.V. Fall detection system
US9011352B2 (en) 2008-08-28 2015-04-21 Koninklijke Philips N.V. Fall detection and/or prevention systems
US20100052896A1 (en) * 2008-09-02 2010-03-04 Jesse Bruce Goodman Fall detection system and method
US9060714B2 (en) * 2008-12-04 2015-06-23 The Regents Of The University Of California System for detection of body motion
JP5515875B2 (ja) * 2010-03-08 2014-06-11 セイコーエプソン株式会社 転倒検出装置、転倒検出方法
US8880221B2 (en) * 2011-03-21 2014-11-04 Honda Motor Co., Ltd. Damage reduction control for humanoid robot fall
CA3177719A1 (en) * 2011-04-04 2012-10-04 Alarm.Com Incorporated Fall detection and reporting technology
JPWO2014132340A1 (ja) 2013-02-26 2017-02-02 株式会社日立製作所 見守りシステム
US20140276238A1 (en) 2013-03-15 2014-09-18 Ivan Osorio Method, system and apparatus for fall detection
US8933801B2 (en) * 2013-04-19 2015-01-13 Linear Llc Fall detection system and method
US9990836B2 (en) 2013-07-16 2018-06-05 Rockwilli RMR LLC Systems and methods for automated personal emergency responses
CN104468943A (zh) 2013-09-16 2015-03-25 联想(北京)有限公司 一种控制方法及电子设备
US9405377B2 (en) 2014-03-15 2016-08-02 Microsoft Technology Licensing, Llc Trainable sensor-based gesture recognition
CN104510475A (zh) * 2014-12-15 2015-04-15 中国科学院计算技术研究所 一种人体跌倒检测方法及系统
CN105023022B (zh) * 2015-07-09 2019-03-12 深圳天珑无线科技有限公司 跌倒检测方法及系统
KR101833753B1 (ko) 2015-12-21 2018-03-02 한국과학기술연구원 돌발상황 검지 및 능동적 대응을 위한 시스템
JP6243956B2 (ja) 2016-04-15 2017-12-06 クラウディアン ホールディングス インク 情報処理システム、情報処理装置及び情報処理方法
KR20180010441A (ko) 2016-07-21 2018-01-31 주식회사 썬웨이브텍 낙상 예방 시스템 및 낙상 예방 방법
KR101867299B1 (ko) 2016-08-10 2018-06-14 숭실대학교산학협력단 정보 유출 위험도 판단 방법 및 장치
KR20180035455A (ko) 2016-09-29 2018-04-06 (주)더비엔알 성범죄 예방시스템장치
US9972187B1 (en) * 2016-11-13 2018-05-15 Agility4Life Biomechanical parameter determination for emergency alerting and health assessment
KR101773898B1 (ko) * 2017-02-16 2017-09-01 (주)하이디어 솔루션즈 보호객체 낙상 모니터링 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102048521A (zh) * 2009-11-03 2011-05-11 香港理工大学 跌倒监测和预防系统及方法
CN102117533A (zh) * 2011-03-11 2011-07-06 北京航空航天大学 人体跌倒检测保护与报警装置
CN102750803A (zh) * 2012-07-16 2012-10-24 深圳市富晶科技有限公司 跌倒报警仪、跌倒报警检测装置及方法
CN103040547A (zh) * 2012-12-24 2013-04-17 中国科学院深圳先进技术研究院 便携式跌倒防护装置
CN103021131A (zh) * 2012-12-28 2013-04-03 中科院微电子研究所昆山分所 跌倒检测系统和检测方法
DE202015005019U1 (de) * 2015-07-18 2016-10-20 Rudolf King Methode zur Anbindung und Nutzung von externen Serverkapazitäten bei mobilen persönlichen und anderen Sicherheitssystemen und Trennung von Sensoren, Funktionsbereichen und Rechenkapazitäten mittels Alarmverlagerung auf externe Computer und Server

Also Published As

Publication number Publication date
US20210049890A1 (en) 2021-02-18
EP3748596A1 (en) 2020-12-09
CN112106121A (zh) 2020-12-18
KR102449905B1 (ko) 2022-10-04
US11270565B2 (en) 2022-03-08
KR20190134911A (ko) 2019-12-05
EP3748596A4 (en) 2021-03-31
WO2019216732A1 (ko) 2019-11-14

Similar Documents

Publication Publication Date Title
CN112106121B (zh) 电子设备及其控制方法
US11671386B2 (en) Electronic device and method for changing chatbot
KR102497042B1 (ko) 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
KR102643027B1 (ko) 전자 장치, 그의 제어 방법
KR102515023B1 (ko) 전자 장치 및 그 제어 방법
CN114615319B (zh) 电子设备及控制该电子设备的方法
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
KR102455056B1 (ko) 컨텍스트에 따라 이벤트의 출력 정보를 제공하는 전자 장치 및 이의 제어 방법
EP3523709B1 (en) Electronic device and controlling method thereof
KR102469712B1 (ko) 전자 장치 및 이의 자연어 생성 방법
US11468270B2 (en) Electronic device and feedback information acquisition method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant