CN110998614B - 电子设备及其操作方法 - Google Patents

电子设备及其操作方法 Download PDF

Info

Publication number
CN110998614B
CN110998614B CN201880051420.9A CN201880051420A CN110998614B CN 110998614 B CN110998614 B CN 110998614B CN 201880051420 A CN201880051420 A CN 201880051420A CN 110998614 B CN110998614 B CN 110998614B
Authority
CN
China
Prior art keywords
data
electronic device
context data
image
surrounding image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880051420.9A
Other languages
English (en)
Other versions
CN110998614A (zh
Inventor
丁载镒
朴灿种
张磊
张埈翼
李韩圣
洪淳赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110998614A publication Critical patent/CN110998614A/zh
Application granted granted Critical
Publication of CN110998614B publication Critical patent/CN110998614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Manipulator (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了电子装置和操作方法。该电子装置包括存储器、至少一个传感器和至少一个处理器，该至少一个处理器被配置为在电子装置移动时通过使用至少一个传感器捕获周围图像，当在电子装置移动时不能移动的情况发生时生成包括从不能移动的情况已经发生的时间起的预定时间内捕获的周围图像的上下文数据，在存储器中存储与已经发生的不能移动的情况相对应的所生成的上下文数据，以及通过使用一个或多个数据识别模型来学习所存储的上下文数据。

Description

电子设备及其操作方法
技术领域
本公开涉及电子装置及其操作方法。更特别地，本公开涉及辅助机器人的移动的电子装置和方法。
此外，本公开涉及一种人工智能(artificial intelligence，AI)系统，以用于通过使用机器学习算法(诸如深度学习)和AI系统的应用技术来模拟人脑的功能(诸如认知和判断)。
背景技术
人工智能(AI)系统是一种实现人类水平智能的计算机系统，并且与现有的基于规则的智能系统不同，人工智能系统允许机器自己学习、做出决定并且变得更智能。随着AI系统被使用，AI系统提高了识别率，并且准确地理解用户的偏好，因此，现有的基于规则的智能系统正逐渐被基于深度学习的AI系统取代。
AI技术包括机器学习(深度学习)和使用机器学习的基本技术。
机器学习是一种自己分类/学习输入数据特性的算法技术，并且元素技术是使用机器学习算法(诸如深度学习)的技术，并且包括诸如语言理解、视觉理解、推理/预测、知识表示、操作控制等技术领域。
AI技术被采用于各种领域。例如，语言理解是一种识别和应用/处理人类语言/文本的技术，并且语言理解包括自然语言处理、机器解译(interpretation)、对话系统、问答处理、语音识别/合成等。视觉理解是以与人类视觉系统相同的方式识别和处理对象的技术，并且视觉理解包括对象识别、对象跟踪、图像搜索、人识别、场景理解、空间理解、图像增强等。推理/预测是确定信息并且基于该信息执行逻辑推理和预测的技术，并且推理/预测包括基于知识/概率的推理、优化预测、基于偏好的计划/推荐等。知识表示是将人类经验信息自动化为知识数据的技术，并且知识表示包括知识建立(数据创建/分类)、知识管理(数据利用)等。操作控制是一种控制车辆的自主的驾驶和机器人的运动的技术，并且操作控制包括运动控制(导航、碰撞、驾驶)、操纵控制(动作控制)等。
发明内容
技术问题
本公开的一方面是提供辅助机器人的移动的电子装置和方法。
本公开的另一方面是提供一种其上已经记录有程序的非暂时性计算机可读记录介质，该程序用于在由计算机执行时，执行辅助机器人的移动的方法。
解决问题的技术方案
根据本公开的方面，提供了一种电子装置。该电子装置包括存储器、至少一个传感器和至少一个处理器，该至少一个处理器被配置为当电子装置移动时通过使用至少一个传感器捕获周围图像，当在电子装置移动时不能移动的情况发生时生成包括从不能移动的情况已经发生的时间起的预定时间内捕获的周围图像的上下文数据，在存储器中存储与已经发生的不能移动的情况相对应的所生成的上下文数据，并且通过使用一个或多个数据识别模型来学习所存储的上下文数据。
附图说明
图1是示出根据本公开实施例的用于辅助机器人的移动的电子装置如何操作的过程的图；
图2是根据本公开实施例的电子装置的操作方法的流程图；
图3是示出根据本公开实施例的捕获周围图像的过程的图；
图4是示出根据本公开实施例的生成上下文数据的过程的图；
图5是示出根据本公开实施例的生成虚拟图像的过程的流程图；
图6是示出根据本公开实施例的生成虚拟图像的过程的图；
图7是示出根据本公开实施例的决定入口点信息的过程的流程图；
图8是示出根据本公开实施例的决定入口点信息的过程的图；
图9是示出根据本公开实施例的学习不能移动的情况和估计不能移动的情况的过程的流程图；
图10是示出根据本公开实施例的估计不能移动的情况的过程的流程图；
图11是示出根据本公开实施例的决定移动路径以用于避开不能移动的情况的过程的流程图；
图12是示出根据本公开实施例的决定移动路径以用于避开不能移动的情况的过程的图；
图13是示出根据本公开实施例的确定不能移动的情况的过程的流程图；
图14是示出根据本公开的另一实施例的确定不能移动的情况的过程的图；
图15是根据本公开实施例的电子装置的框图；
图16是根据本公开实施例的电子装置的框图；
图17是根据本公开实施例的机器人的框图；
图18是根据本公开实施例的处理器的框图；
图19是根据本公开实施例的数据学习单元的框图；
图20是根据本公开实施例的数据识别单元的框图；以及
图21是示出根据本公开实施例的当电子装置和服务器彼此交互时被学习和识别的数据的图。
具体实施方式
最佳方式
根据本公开的一方面，提供了一种电子装置。该电子装置包括存储器、至少一个传感器和至少一个处理器，该至少一个处理器被配置为当电子装置移动时通过使用至少一个传感器捕获周围图像，当在电子装置移动时不能移动的情况发生时生成包括从不能移动的情况已经发生的时间起的预定时间内捕获的周围图像的上下文(context)数据，在存储器中存储与已经发生的不能移动的情况相对应的所生成的上下文数据，并且通过使用一个或多个数据识别模型来学习所存储的上下文数据。
根据本公开的另一方面，提供了一种电子装置。该电子装置包括：存储器，被配置为存储包括周围图像和关于周围图像已经在哪里被捕获的位置信息的上下文数据，该上下文数据与多个不能移动的情况中的每一个相对应；至少一个传感器；以及至少一个处理器，被配置为当电子装置移动时通过使用至少一个传感器获得周围图像和位置信息，通过使用一个或多个数据识别模型，确定当在电子装置移动时获得的周围图像和位置信息是否与存储在存储器中的上下文数据匹配，并且当在电子装置移动时获得的周围图像和位置信息与上下文数据匹配时，估计与匹配的上下文数据相对应的不能移动的情况发生。
根据本公开的另一方面，提供了一种电子装置的操作方法。该方法包括：当电子装置移动时，捕获周围图像；当在电子装置移动时不能移动的情况发生时，生成包括从不能移动的情况已经发生的时间起的预定时间内捕获的周围图像的上下文数据；存储与已经发生的不能移动的情况相对应的所生成的上下文数据；并且通过使用一个或多个数据识别模型来学习所存储的上下文数据。
根据本公开的另一方面，非暂时性计算机可读记录介质包括其上已经记录有程序的记录介质，该程序用于在由计算机执行时，执行电子装置的方法。
本公开的方式
在以下描述和权利要求中使用的术语和词语不限制于文献意义，而是仅由发明人使用以使得本公开的理解是清楚和一致的。因此，对于本领域技术人员来说明显的是，提供本公开的各种实施例的以下描述仅是为了说明的目的，而不是为了限制由所附权利要求及其等同物定义的本公开。
在整个公开内容中，当部分“包括”元件时，应该理解，只要没有特定的相反叙述，该部分附加地包括其他元件而不排除其他元件。此外，在本公开中使用的术语，诸如“…单元”、“-或”、“模块”等，指示处理至少一个功能或运动的单元，并且该单元可以被实现为硬件或软件或者通过硬件和软件的组合来实现。
现在将参考附图更全面地描述实施例，使得本领域普通技术人员可以毫无困难地实践这些实施例。然而，各种实施例可以具有不同的形式，并且不应该被理解为限制于这里阐述的描述。
在下文中，将参考附图描述各种实施例。
在本文中描述的机器人1(图1和图17)可以包括用于辅助或控制机器人1的移动的电子装置100(图15至图17)(在下文中称为电子装置100)。根据实施例的电子装置100可以包括在机器人1(例如，机器人吸尘器)中以操作，并且因此可以自主地移动。
图1是示出根据本公开实施例的用于辅助机器人的移动的电子装置如何操作的过程的图。
参考图1，当根据本公开实施例机器人1自主地移动时，不能移动的情况可能发生。根据实施例的不能移动的情况可以是包括电子装置100的机器人1在自主地移动时由于接触的外部元件而停止移动(例如，由于地板、结构等的材料、形状和弯曲而被卡住)并且不能通过机器人1的自主的控制重新开始移动的情况。
例如，在移动时，机器人吸尘器可能由于地板的材料或形状而变得不能再移动，或者可能碰巧进入家具(诸如椅子)下面并且被卡住，因此可能变得不能再移动。
根据实施例的电子装置100可以在通过使用传感器110(图15和图16)捕获周围图像时移动，并且当电子装置100被卡在结构15(例如，椅子)下面并且不能再移动的不能移动的情况发生时，可以通过使用基于神经网络(诸如，深度神经网络(deep neural network，DNN))的数据识别模型来学习不能移动的情况。通过学习不能移动的情况，电子装置100可以在随后相同的不能移动的情况发生之前预估计不能移动的情况的发生，并且可以通过改变移动路径来移动以防止不能移动的情况的发生。
根据本公开实施例，通过学习不能移动的情况，电子装置100可以控制移动操作以预测和避开不能移动的情况，因此可以提供更安全的和更有效的机器人移动环境。
图2是根据本公开实施例的电子装置的操作方法的流程图。图3是示出根据本公开实施例的捕获周围图像的过程的图。图4是示出根据本公开实施例的生成上下文数据的过程的图。将参考图3和图4的图描述图2的流程图。
参考图2，在操作S201中，根据实施例的电子装置100可以在电子装置100移动时通过使用传感器110(图16)来捕获周围图像。根据实施例的传感器110(图16)可以包括能够捕获图像的图像传感器228(图16)。
参考图3，当机器人1移动时，电子装置100的处理器120(图15)可以控制传感器110在捕获正面图像时获得多个图像帧30。
根据本公开实施例，电子装置100的处理器120可以从获得的多个图像帧中提取多个关键点。使用从图像帧提取的关键点，处理器120可以生成具有转换成向量数据的图像数据的图像描述符。处理器120可以将图像描述符存储在存储单元140中。
根据本公开实施例，在下面描述的图9和图10中，在图像匹配期间，可以使用匹配方法，该匹配方法使用图像描述符，并且图像匹配方法不限于此。
根据本公开实施例，处理器120可以控制在机器人1移动时捕获的周围图像被存储在存储单元140的临时存储区域中，并且当超过预设容量时，可以控制最旧(oldest)的图像数据首先被删除。
在图2的操作S202中，当在移动期间不能移动的情况发生时，根据实施例的电子装置100可以生成包括从不能移动的情况已经发生的时间起的预定时间内捕获的周围图像的上下文数据。
参考图4，当在电子装置100移动时不能移动的情况发生时，可以生成包括从不能移动的情况已经发生的时间起的预定时间范围内(例如，从不能移动的情况已经发生的时间起的一分钟内)捕获的图像帧41、42和43的上下文数据。
在图2的操作S203中，根据实施例的电子装置100可以将与不能移动的情况相对应的上下文数据存储在存储单元140(图15)中。
例如，参考图4，可以存储包括与不能移动的情况相对应的图像帧41、42和43的上下文数据(上下文1)。
此外，通过使用能够感测位置信息的传感器110(图16)，根据实施例的电子装置100可以在电子装置100移动时获得指示电子装置100的位置的位置信息。
参考图4，电子装置100可以获得与在移动期间图像帧41、42和43被捕获的时间相对应的各条位置信息。例如，电子装置100可以存储还包括与每个图像帧41相对应的位置信息45的上下文数据。
此外，根据实施例的电子装置100可以从获得的图像帧41、42和43中的每个提取特征信息。根据本公开实施例，电子装置100可以存储还包括从每个图像帧41(图4)提取的特征信息46(图4)的上下文数据。
例如，特征信息可以是用于标识包括在图像中的对象(例如，包括在图像中的家具、结构等)的标识信息。
此外，例如，特征信息可以是关于相对于多个图像帧已经被捕获的点和不能移动的情况已经发生的点的相对距离和方向的信息。
此外，例如，特征信息可以是指示从捕获的周围图像估计的移动路径的路径信息。
根据实施例的电子装置100的处理器120(图15)可以将根据不能移动的情况生成的上下文数据存储在不同于存储在机器人移动期间捕获的周围图像的存储单元140的临时存储区域的区域中。处理器120可以将与不能移动的情况相对应的上下文数据存储在存储单元140的永久存储区域中，以防止上下文数据被任意地删除。
在图2的操作S204中，根据实施例的电子装置100可以通过使用一个或多个数据识别模型来学习上下文数据。
根据本公开实施例，电子装置100的处理器120可以通过使用基于神经网络的数据识别模型来学习与不能移动的情况相对应的上下文数据。
根据本公开实施例，处理器120可以学习与不能移动的情况相对应的图像数据和从该图像数据转换的图像描述符。
此外，根据本公开实施例，处理器120可以通过使用数据识别模型基于与不能移动的情况相对应的周围图像数据生成虚拟图像，并且可以学习还包括虚拟图像的上下文数据。下面将参考图5和图6描述虚拟图像的生成。
此外，根据本公开实施例，处理器120可以通过使用数据识别模型，基于与不能移动的情况相对应的上下文数据，决定包括与导致不能移动的情况已经发生的点的入口点相对应的图像帧和位置信息的入口点信息。处理器120可以通过使用数据识别模型来学习还包括入口点信息的上下文数据。下面将参考图7和图8描述入口点信息。
此外，根据本公开实施例，处理器120可以通过使用数据识别模型来比较分别从多个图像帧提取的描述符，并且可以学习描述符之间的关系。处理器120可以生成还包括多个描述符之间的关系信息的上下文数据。
根据本公开实施例，处理器120可以学习上下文数据，因此可以修改和细化数据识别模型。图1至图4被示出以描述本公开实施例，并且本公开不限于此。
图5是示出根据本公开实施例的生成虚拟图像的过程的流程图。
图6是示出根据本公开实施例的生成虚拟图像的过程的图。将参考图6的图描述图5的流程图。
参考图5，在图5的操作S501中，根据实施例的电子装置100可以通过使用一个或多个数据识别模型，基于包括周围图像的上下文数据来生成虚拟图像。
根据本公开实施例，虚拟图像可以是当从不同的方向接近与上下文数据相对应的不能移动的情况已经发生的点时估计要获得的图像。
参考图6，基于包括在上下文数据(上下文1)中的多个图像帧50，电子装置100可以假设并生成可以在假设机器人1从不同的方向接近不能移动的情况已经发生的点时获得的虚拟图像帧60。
此外，例如，多个虚拟图像帧可以是当在具有不同亮度的环境中接近不能移动的情况已经发生的点时估计要获得的图像帧。
此外，例如，基于与在不能移动的情况已经发生的点处碰撞的结构被放置在不同的位置的假设，多个虚拟图像帧可以是假设图像帧内除了结构之外的区域是不同的而生成的图像。
在图5的操作S502中，根据实施例的电子装置100可以将还包括虚拟图像的上下文数据存储在存储单元140(图15)中。此外，根据实施例的处理器120可以通过使用数据识别模型来学习还包括虚拟图像的上下文数据。
图5和图6示出了根据本公开实施例生成虚拟图像。
图7是示出根据本公开实施例的决定入口点信息的过程的流程图。图8是示出根据本公开实施例的决定入口点信息的过程的图。将参考图8的图描述图7的流程图。
参考图7，根据本公开实施例，通过分析当机器人1在移动期间进入某个空间时的几秒钟后不能移动的情况会不可避免地发生的入口点，可以控制机器人1以从不同的方向上避开该入口点。
在图7的操作S701中，根据实施例的电子装置100可以通过使用一个或多个数据识别模型，基于上下文数据来决定与导致不能移动的情况已经发生的点的入口点相对应的入口点信息。
参考图8，例如，处理器120可以从与不能移动的情况相对应的多个图像帧81、82和83中决定与作为导致不能移动的情况已经发生的点的原因的入口点相对应的图像帧81。
处理器120可以决定包括用于标识与入口点相对应的图像帧的信息和入口点的位置信息的入口点信息85。
在图7的操作S702中，根据实施例的电子装置100可以将还包括入口点信息的上下文数据存储在存储单元140(图15)中。此外，根据实施例的处理器120可以通过使用数据识别模型来学习还包括入口点信息的上下文数据。
图7和8示出了根据本公开实施例的决定入口点信息。
图9是示出根据本公开实施例的学习不能移动的情况和估计不能移动的情况的过程的流程图。
参考图9，在操作S901中，根据实施例的电子装置100可以移动。根据实施例的电子装置100可以被包括在机器人1(图1)(例如，机器人吸尘器)中以操作，并且因此可以自主地移动。
在图9的操作S902中，根据实施例的电子装置100可以捕获周围图像。通过使用包括图像传感器228的传感器110，电子装置100可以在电子装置100移动时捕获周围图像。
在图9的操作S903中，根据实施例的电子装置100可以确定在移动时不能移动的情况为已经发生。当电子装置100由于移动时接触的外部元件(例如，卡在地板上或结构之间等)而停止移动并且不能通过机器人1的自主的控制重新开始移动时，根据实施例的电子装置100可以确定不能移动的情况为已经发生。
在图9的操作S904中，根据实施例的电子装置100可以将与不能移动的情况相对应的上下文数据存储在存储单元140(图15)中。根据本公开实施例，电子装置100可以存储包括与不能移动的情况相对应的周围图像、具有转换成向量数据的图像的图像描述符、位置信息等的上下文数据。
在图9的操作S905中，根据实施例的电子装置100可以通过使用数据识别模型来学习上下文数据。根据本公开实施例，电子装置100可以通过使用数据识别模型，基于包括在上下文数据中的图像生成虚拟图像，并且可以学习还包括虚拟图像的上下文数据。此外，根据本公开实施例，电子装置100可以通过使用数据识别模型来生成和学习还包括从图像提取的特征信息、入口点信息等的上下文数据。
在图9的操作S906中，根据实施例的电子装置100可以确定捕获的周围图像是否与上下文数据匹配。当在操作S901的移动期间、在操作S902捕获周围图像时，根据实施例的电子装置100可以在操作S904确定捕获的周围图像是否与存储在存储单元中的上下文数据匹配。
当确定在移动时捕获的周围图像为与存储在存储单元中的上下文数据匹配时，根据实施例的电子装置100可以在操作S907估计与所匹配的上下文数据相对应的不能移动的情况将发生。
在操作S908中，根据实施例的电子装置100可以决定移动路径以用于避开不能移动的情况。根据实施例的电子装置100可以基于决定以避开不能移动的情况的移动路径继续移动。
在操作S906中，当在移动时捕获的周围图像被确定为与存储在存储单元中的上下文数据不匹配时，根据实施例的电子装置100可以在操作S902在继续移动时执行捕获周围图像的操作。
图10是示出根据本公开实施例的估计不能移动的情况的过程的流程图。图11是示出根据本公开实施例的决定移动路径以用于避开不能移动的情况的过程的流程图。图12是示出根据本公开实施例的决定移动路径以用于避开不能移动的情况的过程的图。将参考图12的图描述图10和图11的流程图。
参考图10，在操作S1001中，根据实施例的电子装置100可以在移动时通过使用传感器110(图15)来获得周围图像和位置信息。
根据本公开实施例，电子装置100可以通过使用传感器110(图16)来获得周围图像。此外，电子装置100可以通过使用传感器110(图16)来获得位置信息。
在图10的操作S1002中，根据实施例的电子装置100可以通过使用一个或多个数据识别模型来确定在电子装置100移动时获得的周围图像和位置信息是否与存储在存储单元140(图15)中的上下文数据匹配。
在图10的操作S1003中，作为匹配上下文数据的结果，根据实施例的电子装置100可以估计与所匹配的上下文数据相对应的不能移动的情况将发生。
参考图11，在操作S1101中，根据实施例的电子装置100可以通过使用一个或多个数据识别模型，基于不能移动的情况已经发生的点的位置信息，来决定相对于电子装置100的当前位置信息的相对距离和方向。
在图11的操作S1102中，根据实施例的电子装置100可以基于在操作S1101中决定的相对距离和方向来决定移动路径以用于避开不能移动的情况。
根据本公开实施例，电子装置100可以通过使用数据识别模型来分析从当前位置相对于不能移动的情况已经发生的点的相对距离和方向，并且可以分析电子装置100应该朝哪个方向移动以避开不能移动的情况。
参考图12，电子装置100可以确定在移动时捕获的周围图像是否与存储在存储单元140(图15)中的上下文数据21、22和23匹配。当在移动时获得的周围图像被确定为与上下文数据21匹配时，电子装置100可以估计与上下文数据21相对应的不能移动的情况将发生，并且可以改变(25)移动路径以避开不能移动的情况。
根据本公开实施例，通过存储和学习关于当机器人1接触某个结构时不能移动的情况发生的情况的上下文数据，可以估计不能移动的情况，并且当机器人1后来再次接近同一结构时，可以控制不能移动的情况以预先避开。
图13是示出根据本公开实施例的确定不能移动的情况的过程的流程图。图14是示出根据本公开实施例的确定不能移动的情况的过程的图。将参考图14的图描述图13的流程图。
参考图13，如上参考图1所述，当电子装置100由于移动时接触的外部元件(例如，卡在地板上或结构之间等)而停止移动并且不能通过机器人1的自主的控制重新开始移动时，根据实施例的电子装置100可以确定不能移动的情况为已经发生。
作为另一示例，当根据实施例的电子装置100将预设用户手势确定为包括在移动时获得的图像中时，电子装置100可以将不能移动的情况确定为已经在图13的操作S1301发生。
参考图14，电子装置100可以在移动时通过使用传感器110来捕获周围图像。当电子装置100获得包括预设用户手势1410(例如，用户向电子装置100张开和抬起他或她的手掌的手势)的周围图像时，电子装置100可以确定不能移动的情况为已经发生。
例如，用户可能需要设置机器人吸尘器1不进入某个空间(例如，婴儿室)。在这点上，当用户朝向电子装置100做出在电子装置100上预设的手势(例如，张开和抬起他或她的手掌的手势)时，电子装置100可以以与不能移动的情况相同的方式处理用户手势被输入的空间。
在图13的操作S1302中，根据实施例的电子装置100可以生成与不能移动的情况相对应的上下文数据。
根据本公开实施例，电子装置100可以根据不能移动的情况的发生来执行操作。电子装置100可以基于获得包括预设用户手势的图像的时间来生成上下文数据。电子装置100可以通过使用数据识别模型来学习上下文数据。
图15是根据本公开实施例的电子装置的框图。
参考图15，电子装置100可以包括传感器110、存储单元140和处理器120。在图15中，仅与该实施例相关的电子装置100的元件被示出。因此，本领域普通技术人员将理解，除了图15示出的元件之外，可以还包括其他通用元件。
根据本公开实施例，当机器人1移动时，传感器110可以捕获机器人1的周围图像。此外，传感器110可以在机器人1移动时获得机器人1的位置信息。
传感器110可以包括用于获得机器人1的周围图像的多个传感器。例如，传感器110可以包括图像传感器228，诸如照相机。
此外，传感器110可以包括用于获得机器人1的位置信息的多个传感器。例如，传感器110可以包括距离传感器，诸如RADAR(雷达)传感器226、LIDAR(激光雷达)传感器227和里程计传感器230。
此外，传感器110可以包括被配置为改变多个传感器的位置和/或方位的一个或多个致动器，并且因此可以在前向、后向以及侧向中的每一个上捕获图像。
存储单元140可以包括磁盘驱动器、光盘驱动器和闪存。可替代地，存储单元140可以是便携式通用串行总线(universal serial bus，USB)数据存储设备。存储单元140可以存储用于执行与应用相关的示例的系统软件。
用于执行与应用相关的示例的系统软件可以存储在便携式存储介质中。
根据本公开实施例，存储单元140可以存储与不能移动的情况相对应的上下文数据。
此外，根据本公开实施例，存储单元140可以存储在电子装置100移动时捕获的周围图像。
根据本公开实施例，处理器120可以包括至少一个处理器。
根据本公开实施例，当电子装置100移动时，处理器120可以通过使用传感器110捕获周围图像。
此外，当在电子装置100移动时不能移动的情况发生时，处理器120可以生成包括从不能移动的情况已经发生的时间起的预定时间内捕获的周围图像的上下文数据。
此外，处理器120可以将与不能移动的情况相对应的上下文数据存储在存储单元140中。
此外，处理器120可以通过使用一个或多个数据识别模型来学习存储在存储单元140中的上下文数据。
此外，处理器120可以通过使用一个或多个数据识别模型，基于包括周围图像的上下文数据，生成当从不同的方向接近与上下文数据相对应的不能移动的情况已经发生的点时估计要获得的虚拟图像。
此外，处理器120可以将还包括所生成的虚拟图像的上下文数据存储在存储单元140中。
此外，通过使用传感器110，处理器120可以在电子装置100移动时获得指示电子装置100的位置的位置信息。
此外，当在电子装置100移动时不能移动的情况发生时，处理器120可以将还包括与不能移动的情况已经发生的点相对应的位置信息的上下文数据存储在存储单元140中。
此外，通过使用一个或多个数据识别模型，处理器120可以从包括在上下文数据中的周围图像提取特征信息，并且可以将还包括所提取的特征信息的上下文数据存储在存储单元140中。
此外，处理器120可以通过使用一个或多个数据识别模型，基于包括周围图像的上下文数据，决定包括与导致不能移动的情况已经发生的点的入口点相对应的图像帧和位置信息的入口点信息。
此外，处理器120可以将还包括入口点信息的上下文数据存储在存储单元140中。
此外，通过使用一个或多个数据识别模型，处理器120可以确定在电子装置100移动时捕获的周围图像是否与存储在存储单元140中的上下文数据匹配。
此外，当捕获的周围图像与上下文数据匹配时，处理器120可以估计与所匹配的上下文数据相对应的不能移动的情况将发生。
当估计不能移动的情况要发生时，处理器120可以通过使用一个或多个数据识别模型，基于包括在所匹配的上下文数据中的、不能移动的情况已经发生的点的位置信息，来决定相对于电子装置100的当前位置信息的相对距离和方向。此外，处理器120可以基于该相对距离和方向来决定移动路径以用于避开不能移动的情况。
此外，当获得包括预设用户手势的图像时，处理器120可以将不能移动的情况确定为已经发生。
图16是根据本公开实施例的电子装置的框图。
参考图16，除了上面参考图15描述的传感器110、处理器120和存储单元140之外，电子装置100还可以包括输出接口130、输入接口150和通信器160。
传感器110可以包括被配置为感测关于机器人1所处环境的信息的多个传感器，并且可以包括被配置为改变传感器的位置和/或方位的一个或多个致动器。例如，传感器110可以包括全球定位系统(global positioning system，GPS)224、惯性测量单元(inertialmeasurement unit，IMU)225、RADAR传感器226、LIDAR传感器227、图像传感器228以及里程计传感器230。此外，传感器110可以包括温度/湿度传感器232、红外传感器233、大气压力传感器235、接近传感器236、以及红、绿、蓝(red,green,blue，RGB)传感器(照度传感器)237中的至少一个，但是本公开不限于此。本领域普通技术人员可以从每个传感器的名称中直观地推断出其功能，因此，下面省略对这些传感器的详细描述。
此外，传感器110可以包括能够感测机器人1的运动的运动传感器238。运动传感器238可以包括地磁传感器229、加速度传感器231和陀螺仪传感器234。
GPS 224可以是被配置为估计机器人1的地理位置的传感器。例如，GPS224可以包括被配置为估计机器人1相对于地球的位置的收发器。
IMU 225可以是被配置为基于惯性加速度感测机器人1的位置和方位的变化的传感器的组合。例如，传感器的组合可以包括加速度计和陀螺仪。
RADAR传感器226可以是被配置为通过使用无线电信号感测机器人1所处环境内的对象的传感器。此外，RADAR传感器226可以被配置为感测对象的速度和/或方向。
LIDAR传感器227可以是被配置为通过使用激光感测机器人1所处环境内的对象的传感器。此外，LIDAR传感器227可以包括被配置为发射激光的激光光源和/或激光扫描仪，以及被配置为检测激光的反射的检测器。LIDAR传感器227可以被配置为在相干(例如，使用外差检测)或非相干检测模式下操作。
图像传感器228可以是被配置为记录机器人1的外部环境的静态照相机或摄像机。例如，图像传感器228可以包括多个照相机，并且多个照相机可以被布置在机器人1外部上的多个位置。里程计传感器230可以估计机器人1的位置，并且可以测量移动距离。例如，里程计传感器230可以通过使用机器人1的车轮的转数来测量机器人1的位置变化值。
通信器160可以包括用于与另一设备无线通信的至少一个天线。例如，通信器160可以用于经由Wi-Fi或蓝牙(Bluetooth，BT)与蜂窝网络或另一无线协议以及系统进行无线通信。由处理器120控制的通信器160可以发送和接收无线电信号。例如，处理器120可以执行包括在存储单元140中的程序，以允许通信器160用蜂窝网络发送和接收无线电信号。
输入接口150是指用于控制机器人1的输入数据的部件。输入接口150的示例可以包括键盘、圆顶开关、触摸板(触摸型电容触摸板、压力型电阻覆盖触摸板、红外线感测触摸板、表面声波传导触摸板、集成型张力测量触摸板、压电效应型触摸板等)、滚轮以及微动开关，但是本公开不限于此。此外，输入接口150可以包括被配置为从用户接收音频(例如，语音命令)的麦克风。
输出接口130可以输出音频信号或视频信号，并且输出接口130可以包括显示器281和声音输出接口282。
显示器281可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器、三维(three-dimensional，3D)显示器以及电泳显示器中的至少一个。根据实现输出接口130的形式，输出接口130可以包括两个或多个显示器281。
声音输出接口282输出从通信器160接收或存储在存储单元140中的音频数据。此外，声音输出接口282可以包括扬声器、蜂鸣器等。
输入接口150和输出接口130可以包括网络接口，并且可以实现为触摸屏。
处理器120一般可以通过执行存储在存储单元140中的程序来控制传感器110、通信器160、输入接口150、存储单元140和输出接口130。
图17是根据本公开实施例的机器人的框图。
参考图17，机器人1可以包括电子装置100和运转装置200。在图17中，仅与实施例相关的机器人1的元件被示出。因此，本领域普通技术人员将理解，除了图17示出的元件之外，可以还包括其他通用元件。
电子装置100可以包括传感器110、存储单元140和处理器120。
上面已经参考图15和图16描述了传感器110、存储单元140和处理器120，因此，下面省略对它们的描述。
运转装置200可以包括制动单元221、转向单元222和节气门223。
转向单元222可以是被配置为调节机器人1的方向的机制的组合。
节气门223可以是被配置为通过控制引擎/马达的运行速度来控制机器人1的速度的机制的组合。
制动单元221可以是被配置为使机器人1减速的机制的组合。例如，制动单元221可以使用摩擦来降低机器人1的车轮的速度。
图18是根据本公开实施例的处理器的框图。
参考图18，处理器120可以包括数据学习单元1310和数据识别单元1320。
数据学习单元1310可以学习用于情况确定的准则。数据学习单元1310可以学习关于哪些数据将被用于确定某种情况的准则以及如何通过使用数据来确定情况的准则。数据学习单元1310可以获得用于学习的数据，并且可以通过将所获得的数据应用于下述的数据识别模型来学习用于情况确定的准则。
数据识别单元1320可以基于数据确定情况。数据识别单元1320可以通过使用经训练的数据识别模型从某些数据中识别情况。数据识别单元1320可以根据通过学习而预设的准则获得某些数据，并且可以通过使用以所获得的数据作为输入值的数据识别模型，基于这些数据来确定某种情况。此外，由以所获得的数据作为输入值的数据识别模型输出的结果值可以用于修改和细化数据识别模型。
数据学习单元1310和数据识别单元1320中的至少一个可以以至少一个硬件芯片的形式制造，并且装备在电子装置中。例如，数据学习单元1310和数据识别单元1320中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，中央处理单元(central processing unit，CPU)或应用处理器)或图形专用处理器(例如，图形处理单元(graphics processing unit，GPU))的一部分制造，并且装备在上述各种类型的电子装置中。
在这种情况下，数据学习单元1310和数据识别单元1320可以装备在一个电子装置中，或者可以分别装备在单独的电子装置中。例如，数据学习单元1310和数据识别单元1320中的一个可以包括在电子装置中，并且另一个可以包括在服务器中。此外，数据学习单元1310和数据识别单元1320可以以有线或无线方式向数据识别单元1320提供由数据学习单元1310构建的模型信息，并且在本公开的一些实施例中，向数据识别单元1320输入的数据可以作为附加的学习数据被提供给数据学习单元1310。
数据学习单元1310和数据识别单元1320中的至少一个可以实现为软件模块。当数据学习单元1310和数据识别单元1320中的至少一个被实现为软件模块(或包括指令的程序模块)时，该软件模块可以存储在非暂时性计算机可读记录介质中。在这种情况下，至少一个软件模块可以由操作系统(operating system，OS)提供，或者可以由某个应用提供。
可替代地，至少一个软件模块的一部分可以由OS提供，并且另一部分可以由某个应用提供。
图19是根据本公开实施例的数据学习单元的框图。
图19是根据本公开实施例的数据学习单元1310的框图。
参考图19，数据学习单元1310可以包括数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5。
数据获得单元1310-1可以获得情况确定所需的数据。数据获得单元1310-1可以获得用于情况确定的学习所需的数据。
根据本公开实施例，当不能移动的情况发生时，数据获得单元1310-1可以获得关于不能移动的情况的上下文数据。例如，数据获得单元1310-1可以接收与不能移动的情况已经发生的时间相对应的机器人1的周围图像。作为示例，数据获得单元1310-1可以经由电子装置的输入设备(例如，麦克风、照相机或传感器)接收数据。可替代地，数据获得单元1310-1可以经由与电子装置进行通信的外部装置获得数据。
根据本公开实施例，周围图像可以包括多个图像(或帧)。作为示例，数据获得单元1310-1可以经由包括数据学习单元1310的电子装置的照相机、或者能够与包括数据学习单元1310的电子装置进行通信的外部照相机(例如，闭路电视(closed-circuit television，CCTV)或黑匣子)接收视频。
在这点上，照相机可以包括一个或多个图像传感器(例如，前传感器或后传感器)、透镜、图像信号处理器(image signal processor，ISP)或闪光灯(例如，发光二极管(light-emitting diode，LED)或氙灯)。
预处理器1310-2可以预处理获得的数据，以允许所获得的数据被用于情况确定的学习。预处理器1310-2可以将所获得的数据处理成预设格式，以允许下述的模型训练单元1310-4在学习中使用获得的数据来确定情况。例如，基于包括在构成输入视频的至少一部分的多个图像(或帧)的每一个中的公共区域，预处理器1310-2可以通过至少部分地重叠该多个图像来生成一个合成图像。在这种情况下，可以从一个视频生成多个合成图像。公共区域可以是在该多个图像的每一个中包括相同或相似的公共对象(例如，物体、动物以及植物、或人)的区域。可替代地，公共区域可以是在该多个图像的每一个中具有相同或相似的颜色、色度、RGB值、CMYK值等的区域。
学习数据选择单元1310-3可以从经预处理的数据当中选择学习所需的数据。所选择的数据可以被提供给模型训练单元1310-4。学习数据选择单元1310-3可以根据用于情况确定的预设准则，从经预处理的数据当中选择学习所需的数据。此外，学习数据选择单元1310-3可以根据由于下述的模型训练单元1310-4通过学习而预设的准则来选择数据。
例如，可以选择关于家具、结构等可以影响机器人1的不能移动的情况已经发生的移动路径的数据。
模型训练单元1310-4可以基于学习数据学习关于如何确定情况的准则。此外，模型训练单元1310-4可以学习关于哪些学习数据用于情况确定的准则。
根据本公开实施例，模型训练单元1310-4可以基于关于不能移动的情况已经发生的上下文数据，学习关于要估计哪个不能移动的情况的准则。
此外，模型训练单元1310-4可以通过使用学习数据来训练用于情况确定的数据识别模型。在这种情况下，数据识别模型可以是预先构建的模型。例如，数据识别模型可以是预先通过接收基本学习数据(例如，样本图像)而构建的模型。
可以通过考虑诸如数据识别模型的应用领域、学习的目的或装置的计算机性能等因素来构建数据识别模型。例如，数据识别模型可以是基于神经网络的模型。例如，诸如深度神经网络(DNN)、递归神经网络(recurrent neural network，RNN)或双向递归深度神经网络(bidirectional recurrent deep neural network，BRDNN)的模型可以用作数据识别模型，但是本公开不限于此。
根据本公开的各种实施例，当存在多个预先构建的数据识别模型时，模型训练单元1310-4可以确定其中输入学习数据和基本学习数据具有高相关性的数据识别模型为将被训练的数据识别模型。在这种情况下，基本学习数据可以根据数据的类型被预先分类，并且数据识别模型可以根据数据的类型被预先构建。例如，基本训练数据可以根据各种准则(诸如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的生成器、学习数据内的对象的类型等)被预先分类。
此外，模型训练单元1310-4可以通过使用包括例如误差反向传播方法或梯度下降方法的学习算法来训练数据识别模型。
此外，模型训练单元1310-4可以例如经由以学习数据作为输入值的监督学习来训练数据识别模型。此外，模型训练单元1310-4可以例如经由无监督学习来训练数据识别模型，在无监督学习中，通过在没有监督的情况下自己学习确定情况所需的数据类型来发现用于情况确定的准则。此外，模型训练单元1310-4可以例如经由使用关于根据学习确定情况的结果是否是正确的反馈的强化学习来训练数据识别模型。
另外，当训练数据识别模型时，模型训练单元1310-4可以存储经训练的数据识别模型。在这种情况下，模型训练单元1310-4可以将经训练的数据识别模型存储在包括数据识别单元1320的电子装置的存储器中。可替代地，模型训练单元1310-4可以将经训练的数据识别模型存储在包括下述的数据识别单元1320的电子装置的存储器中。可替代地，模型训练单元1310-4可以将经训练的数据识别模型存储在经由有线或无线网络连接到电子装置的服务器的存储器中。
在这种情况下，存储经训练的数据识别模型的存储器还可以存储例如与电子装置的至少一个其他组件相关的命令或数据。此外，存储器可以存储软件和/或程序。该程序可以包括例如内核、中间件、应用编程接口(application programming interface，API)和/或应用程序(或“应用”)。
模型评估单元1310-5可以向数据识别模型输入评估数据，并且当从评估数据输出的识别结果不满足某种准则时，模型评估单元1310-5可以允许模型训练单元1310-4再次执行训练。在这种情况下，评估数据可以是用于评估数据识别模型的预设数据。
例如，当用于评估数据的经训练的数据识别模型的分类结果当中识别结果不准确的多条评估数据的数量或百分比超过预设阈值时，模型评估单元1310-5可以评估某个准则为不满足的。例如，在某种准则被定义为2％的情况下，当经训练的数据识别模型对于总共1000条评估数据当中的20条以上的评估数据输出错误的识别结果时，模型评估单元1310-5可以评估经训练的数据识别模型为不合适的。
当存在多个经训练的数据识别模型时，模型评估单元1310-5可以评估经训练的数据识别模型中的每一个是否满足某种准则，并且可以决定满足这种准则的模型为最终的数据识别模型。在这种情况下，当多个模型满足这种准则时，模型评估单元1310-5可以以更高的评估分数的顺序决定任何一个预设模型或某些数量的模型作为最终的数据识别模型。
数据学习单元1310中的数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5中的至少一个可以以至少一个硬件芯片的形式制造，并且装备在电子装置中。例如，数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5中的至少一个可以以用于AI的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分制造，并且装备在上述各种类型的电子装置中。
此外，数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5可以装备在一个电子装置中，或者可以分别装备在单独的电子装置中。例如，数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5中的一些可以包括在电子装置中，并且其他的可以包括在服务器中。
此外，数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5中的至少一个可以实现为软件模块。当数据获得单元1310-1、预处理器1310-2、学习数据选择单元1310-3、模型训练单元1310-4和模型评估单元1310-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读记录介质中。此外，在这种情况下，至少一个软件模块可以由OS提供或者可以由某个应用提供。可替代地，至少一个软件模块的一部分可以由OS提供，而另一部分可以由某个应用提供。
图20是根据本公开实施例的数据识别单元的框图。
图20是根据本公开实施例的数据识别单元1320的框图。
参考图20，数据识别单元1320可以包括数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4以及模型修改和细化单元1320-5。
数据获得单元1320-1可以获得情况确定所需的数据，并且预处理器1320-2可以预处理所获得的数据以将所获得的数据用于情况确定。预处理器1320-2可以将所获得的数据处理成预设格式，以允许下述的识别结果提供器1320-4将所获得的数据用于情况确定。
识别数据选择单元1320-3可以从经预处理的数据当中选择情况确定所需的数据。所选择的数据可以被提供给识别结果提供器1320-4。识别数据选择单元1320-3可以根据用于情况确定的预设准则选择经预处理的数据的一部分或全部。此外，，识别数据选择单元1320-3可以根据由于下述的模型训练单元1310-4通过学习而预设的准则来选择数据。
识别结果提供器1320-4可以通过将选择的数据应用于数据识别模型来确定情况。识别结果提供器1320-4可以根据数据识别的目的提供识别结果。识别结果提供器1320-4可以使用由识别数据选择单元1320-3选择的数据作为输入值，并且因此可以将所选择的数据应用于数据识别模型。此外，识别结果可以由数据识别模型决定。
根据本公开实施例，可以使用文本、语音、视频、图像、指令(例如，应用执行指令、模块功能执行指令等)等来提供机器人1的估计的不能移动的情况。
模型修改和细化单元1320-5可以基于关于由识别结果提供器1320-4提供的识别结果的评估来修改和细化数据识别模型。例如，模型修改和细化单元1320-5可以通过向模型训练单元1310-4提供由识别结果提供器1320-4提供的识别结果以允许模型训练单元1310-4修改和细化数据识别模型。
数据识别单元1320中的数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4和模型修改和细化单元1320-5中的至少一个可以以至少一个硬件芯片的形式制造，并且被装备在电子装置中。例如，数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4和模型修改和细化单元1320-5中的至少一个可以以用于AI的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分制造，并且被装备在以上描述的各种类型的电子装置中。
此外，数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4和模型修改和细化单元1320-5可以装备在一个电子装置中，或者可以分别装备在单独的电子装置中。例如，数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4和模型修改和细化单元1320-5中的一些可以包括在电子装置中，并且其他的可以包括在服务器中。
此外，数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4和模型修改和细化单元1320-5中的至少一个可以实现为软件模块。当数据获得单元1320-1、预处理器1320-2、识别数据选择单元1320-3、识别结果提供器1320-4和模型修改和细化单元1320-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读记录介质中。此外，在这种情况下，至少一个软件模块可以由OS提供，或者可以由某个应用提供。可替代地，至少一个软件模块的一部分可以由OS提供，而另一部分可以由某个应用提供。
图21是示出根据本公开实施例的当电子装置和服务器彼此交互时被学习和识别的数据的图。
图21是示出根据本公开实施例的当电子装置100和服务器200彼此交互时被学习和识别的数据的图。
参考图21，服务器2000可以学习用于情况确定的准则，并且电子装置100可以基于服务器2000的学习结果来确定情况。服务器2000可以包括数据获得单元2310、预处理器2320、学习数据选择单元2330、模型训练单元2340和模型评估单元2350。
在这种情况下，服务器2000的模型训练单元2340可以执行图19示出的模型训练单元1310-4的功能。服务器2000的模型训练单元2340可以学习关于哪些数据将被用于确定某种情况以及如何通过使用数据来确定情况的准则。模型训练单元2340可以获得将被用于学习的数据，并且可以通过将所获得的数据应用于下述的数据识别模型来学习用于情况确定的准则。
此外，电子装置100的识别结果提供器1320-4可以通过将由识别数据选择单元1320-3选择的数据应用于由服务器2000生成的数据识别模型来确定情况。例如，识别结果提供器1320-4可以将识别数据选择单元1320-3选择的数据发送到服务器2000，并且可以请求服务器2000通过将由识别数据选择单元1320-3选择的数据应用于确定模型来确定情况。此外，识别结果提供器1320-4可以从服务器2000接收关于由服务器2000确定的情况的信息。
例如，电子装置100可以向服务器2000发送与机器人1的不能移动的情况相对应的上下文数据，并且可以请求服务器2000通过将上下文数据应用于数据识别模型来估计机器人1的不能移动的情况。此外，电子装置100可以从服务器2000接收关于服务器2000估计的不能移动的情况的信息。可替代地，电子装置100的识别结果提供器1320-4可以从服务器2000接收由服务器2000生成的确定模型，并且可以通过使用接收到的确定模型来确定情况。在这种情况下，电子装置100的识别结果提供器1320-4可以通过将由识别数据选择单元1320-3选择的数据应用于从服务器2000接收的数据识别模型来确定情况。
例如，电子装置100可以通过将与机器人1的不能移动的情况相对应的上下文数据应用于从服务器2000接收到的数据识别模型来估计机器人1的不能移动的情况。
本公开的某些方面也可以实施为非暂时性计算机可读记录介质上的计算机可读代码。非暂时性计算机可读记录介质是可以存储随后可以被计算机系统读取的数据的任何数据存储设备。非暂时性计算机可读记录介质的示例包括只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random-Access Memory，RAM)、光盘(Compact Disc-ROM，CD-ROM)、磁带、软盘和光学数据存储设备。非暂时性计算机可读记录介质也可以分布在网络耦合的计算机系统上，使得计算机可读代码以分布式方式存储和执行。此外，用于完成本公开的功能程序、代码和代码段可以容易地被本公开所属领域的程序员理解。
此时，应当注意，如上所述的本公开的各种实施例通常在一些程度上涉及输入数据的处理和输出数据的生成。这种输入数据处理和输出数据生成可以在硬件或者在与硬件结合的软件中实现。例如，可以在移动设备或相似的或者相关的电路中采用特定的电子组件来实现与如上所述的本公开的各种实施例相关联的功能。可替代地，根据存储的指令操作的一个或多个处理器可以实现与如上所述的本公开的各种实施例相关联的功能。如果是这种情况，则这种指令可以存储在一个或多个非暂时性处理器可读介质上也是在本公开的范围内的。处理器可读介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备。处理器可读介质也可以分布在网络耦合的计算机系统上，使得指令以分布式方式存储和执行。此外，用于完成本公开的功能计算机程序、指令和指令段可以容易地被本公开所属领域的程序员理解。
可以根据功能块组件和各种处理步骤来描述实施例。这种功能块可以由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，一个或多个实施例可以采用各种集成电路组件，例如存储器元件、处理元件、逻辑元件、查找表等，这些组件可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。由于元件可以使用软件编程或软件元件来实现，所以实施例可以用任何编程或脚本语言(诸如C、C++、Java、汇编语言等)来实现，各种算法可以用数据结构、对象、过程、例程或其他编程元件的任何组合来实现。此外，实施例可以采用用于电子配置、信号处理和/或数据处理等的任何数量的技术。词语“机制”、“元件”、“部件”以及“配置”可以被广泛使用，并且不限制于机械的或物理的实施例，而是可以包括结合处理器的软件例程等。

Claims (10)

1.一种电子装置，包括：
存储器；
至少一个传感器；以及
至少一个处理器，被配置为：
当在所述电子装置移动时不能移动的情况发生时，生成包括从所述不能移动的情况已经发生的时间起的预定时间内捕获的第一周围图像的周围图像数据的上下文数据，
在所述存储器中存储所生成的上下文数据，
向服务器发送所生成的上下文数据，
从所述服务器接收一个或多个数据识别模型，其中，在所述一个或多个数据识别模型中，使用所生成的上下文数据作为学习数据，学习针对所述不能移动的情况的准则，
当所述电子装置移动时，使用所述至少一个传感器捕获第二周围图像，
通过使用所述一个或多个数据识别模型，确定所述第二周围图像的周围图像数据是否与所存储的上下文数据匹配，
当所述第二周围图像的周围图像数据与所存储的上下文数据匹配时，估计与所匹配的上下文数据相对应的所述不能移动的情况的发生，以及
进行控制以避免所述不能移动的情况的发生。
2.根据权利要求l所述的电子装置，其中，所述至少一个处理器还被配置为：
通过使用所述一个或多个数据识别模型，基于包括所述第一周围图像的周围图像数据的所述上下文数据，生成当从不同的方向接近与所述上下文数据相对应的所述不能移动的情况已经发生的点时估计要获得的虚拟图像，以及
存储进一步包括所生成的虚拟图像的所述上下文数据。
3.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
在所述电子装置移动时，通过使用所述至少一个传感器获得指示所述电子装置的位置的位置信息，以及
当在所述电子装置移动时所述不能移动的情况发生时，在所述存储器中存储进一步包括与所述不能移动的情况已经发生的点相对应的位置信息的所述上下文数据。
4.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
通过使用所述一个或多个数据识别模型从包括在所述上下文数据中的所述第一周围图像的周围图像数据提取特征信息，以及
存储进一步包括所提取的特征信息的所述上下文数据。
5.根据权利要求4所述的电子装置，其中，所述特征信息包括以下中的至少一者：
用于标识包括在所述第一周围图像中的对象的标识信息；
关于相对于多个图像帧已经被捕获的点和所述不能移动的情况已经发生的点的相对距离和方向的信息；或者
指示从所述第一周围图像估计的移动路径的路径信息。
6.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
通过使用所述一个或多个数据识别模型，基于包括所述第一周围图像的周围图像数据的所述上下文数据，获得包括与导向所述不能移动的情况已经发生的点的入口点相对应的图像帧和位置信息的入口点信息，以及
存储进一步包括所述入口点信息的所述上下文数据。
7.根据权利要求l所述的电子装置，其中，所述至少一个处理器还被配置为：
当估计所述不能移动的情况要发生时，通过使用所述一个或多个数据识别模型，基于所述不能移动的情况已经发生的点的位置信息，获得相对于所述电子装置的当前位置信息的相对距离和方向，其中，所述位置信息包括在所匹配的上下文数据中，以及
基于所述相对距离和方向，获得移动路径以用于避开所述不能移动的情况。
8.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为当获得包括预设用户手势的图像时确定所述不能移动的情况为已经发生。
9.一种电子装置的操作方法，所述方法包括：
当在所述电子装置移动时不能移动的情况发生时，生成包括从所述不能移动的情况已经发生的时间起的预定时间内捕获的第一周围图像的周围图像数据的上下文数据；
存储所生成的上下文数据；
向服务器发送所生成的上下文数据；
从所述服务器接收一个或多个数据识别模型，其中，在所述一个或多个数据识别模型中，使用所生成的上下文数据作为学习数据，学习针对所述不能移动的情况的准则；
当所述电子装置移动时，捕获第二周围图像；
通过使用所述一个或多个数据识别模型，确定所述第二周围图像的周围图像数据是否与所存储的上下文数据匹配；
当所述第二周围图像的周围图像数据与所存储的上下文数据匹配时，估计与所匹配的上下文数据相对应的所述不能移动的情况的发生；以及
进行控制以避免所述不能移动的情况的发生。
10.根据权利要求9所述的方法，还包括：
通过使用所述一个或多个数据识别模型，基于包括所述第一周围图像的周围图像数据的所述上下文数据，生成当从不同的方向接近与所述上下文数据相对应的所述不能移动的情况已经发生的点时估计要获得的虚拟图像；以及
存储进一步包括所生成的虚拟图像的所述上下文数据。
CN201880051420.9A 2017-08-08 2018-08-07 电子设备及其操作方法 Active CN110998614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170100435A KR102448287B1 (ko) 2017-08-08 2017-08-08 전자 장치 및 그 동작 방법
KR10-2017-0100435 2017-08-08
PCT/KR2018/008988 WO2019031825A1 (ko) 2017-08-08 2018-08-07 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
CN110998614A CN110998614A (zh) 2020-04-10
CN110998614B true CN110998614B (zh) 2024-03-01

Family

ID=65271490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051420.9A Active CN110998614B (zh) 2017-08-08 2018-08-07 电子设备及其操作方法

Country Status (5)

Country Link
US (1) US11592825B2 (zh)
EP (1) EP3605409B1 (zh)
KR (2) KR102448287B1 (zh)
CN (1) CN110998614B (zh)
WO (1) WO2019031825A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102448287B1 (ko) * 2017-08-08 2022-09-28 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20200115696A (ko) * 2019-03-07 2020-10-08 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111860851A (zh) * 2019-04-30 2020-10-30 百度时代网络技术（北京）有限公司 用于识别图像的方法和系统
IT201900012777A1 (it) * 2019-07-24 2021-01-24 Thales Alenia Space Italia Spa Con Unico Socio Odometria a flusso ottico basata sulla tecnologia dei sensori dei mouse ottici
CN110490126B (zh) * 2019-08-15 2023-04-18 成都睿晓科技有限公司 一种基于人工智能的保险柜安全管控系统
KR102287460B1 (ko) * 2019-08-16 2021-08-10 엘지전자 주식회사 인공지능 무빙 에이전트
KR20190105214A (ko) * 2019-08-23 2019-09-16 엘지전자 주식회사 인공 지능을 통해 구속 상황을 회피하는 로봇 청소기 및 그의 동작 방법
KR20190106874A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 인공 지능을 통해 구속 상황을 인식하는 로봇 청소기 및 그의 동작 방법
KR20210047431A (ko) * 2019-10-21 2021-04-30 엘지전자 주식회사 구속 위험 영역 정보를 공유하는 인공 지능 장치 및 그 방법
US11656628B2 (en) * 2020-09-15 2023-05-23 Irobot Corporation Learned escape behaviors of a mobile robot

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596517A (zh) * 2009-07-28 2012-07-18 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
CN104414590A (zh) * 2013-08-23 2015-03-18 Lg电子株式会社 机器人吸尘器及其控制方法
CN105074600A (zh) * 2013-02-27 2015-11-18 夏普株式会社 周围环境识别装置、使用其的自主移动系统以及周围环境识别方法
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090057881A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 인간지각을 이용한 네트워크 로봇 및 제어 방법
KR101782057B1 (ko) * 2010-05-03 2017-09-26 삼성전자주식회사 지도 생성 장치 및 방법
KR101366860B1 (ko) * 2011-09-20 2014-02-21 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
KR102280210B1 (ko) 2013-12-04 2021-07-22 삼성전자주식회사 청소 로봇 및 그 제어 방법
US9480380B2 (en) 2013-12-04 2016-11-01 Samsung Electronics Co., Ltd. Cleaning robot and control method thereof
WO2016028021A1 (ko) 2014-08-20 2016-02-25 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102527645B1 (ko) 2014-08-20 2023-05-03 삼성전자주식회사 청소 로봇 및 그 제어 방법
US9704043B2 (en) 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
WO2016123421A1 (en) 2015-01-31 2016-08-04 Mini-Mole Llc Automatic floor cleaning robot
KR102023966B1 (ko) * 2015-02-10 2019-09-23 에브리봇 주식회사 로봇 청소기 및 그의 제어 방법
KR102411619B1 (ko) * 2015-05-11 2022-06-21 삼성전자주식회사 전자 장치 및 그 제어 방법
US9953648B2 (en) 2015-05-11 2018-04-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
JP6630515B2 (ja) * 2015-08-25 2020-01-15 株式会社トプコン 位置誘導装置、位置誘導方法、プログラム
CN105511478B (zh) 2016-02-23 2019-11-26 百度在线网络技术（北京）有限公司 应用于扫地机器人的控制方法、扫地机器人及终端
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
TWI652034B (zh) * 2016-05-17 2019-03-01 Ｌｇ電子股份有限公司 清掃機器人
KR102448287B1 (ko) * 2017-08-08 2022-09-28 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20190105214A (ko) * 2019-08-23 2019-09-16 엘지전자 주식회사 인공 지능을 통해 구속 상황을 회피하는 로봇 청소기 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596517A (zh) * 2009-07-28 2012-07-18 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
CN105074600A (zh) * 2013-02-27 2015-11-18 夏普株式会社 周围环境识别装置、使用其的自主移动系统以及周围环境识别方法
CN104414590A (zh) * 2013-08-23 2015-03-18 Lg电子株式会社 机器人吸尘器及其控制方法
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation

Also Published As

Publication number Publication date
EP3605409A4 (en) 2020-03-04
EP3605409B1 (en) 2021-10-20
US11592825B2 (en) 2023-02-28
CN110998614A (zh) 2020-04-10
KR20190016333A (ko) 2019-02-18
EP3605409A1 (en) 2020-02-05
WO2019031825A1 (ko) 2019-02-14
KR20220136312A (ko) 2022-10-07
US20200174489A1 (en) 2020-06-04
KR102623574B1 (ko) 2024-01-11
KR102448287B1 (ko) 2022-09-28

Similar Documents

Publication Publication Date Title
CN110998614B (zh) 电子设备及其操作方法
KR102060662B1 (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
KR20190078543A (ko) 이미지 획득 장치 및 그의 제어 방법
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
US11931906B2 (en) Mobile robot device and method for providing service to user
KR102480416B1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
US20200050842A1 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
US11508158B2 (en) Electronic device and method for vehicle driving assistance
KR20200085142A (ko) 청소 공간의 지도 데이터를 생성하는 장치 및 방법
KR20210072362A (ko) 인공 지능 모델에 대한 학습 데이터를 생성하는 인공 지능 장치 및 그 방법
US10872438B2 (en) Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
KR102464906B1 (ko) 패션 상품을 추천하는 전자 장치, 서버 및 그 동작 방법
US11464380B2 (en) Artificial intelligence cleaner and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant