CN114586009A - 电子设备和用于控制电子设备的方法 - Google Patents

电子设备和用于控制电子设备的方法 Download PDF

Info

Publication number
CN114586009A
CN114586009A CN202080072583.2A CN202080072583A CN114586009A CN 114586009 A CN114586009 A CN 114586009A CN 202080072583 A CN202080072583 A CN 202080072583A CN 114586009 A CN114586009 A CN 114586009A
Authority
CN
China
Prior art keywords
object recognition
level
recognition model
electronic device
volatile memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080072583.2A
Other languages
English (en)
Other versions
CN114586009B (zh
Inventor
金正旭
金在德
宋胄容
林俊昊
申宰旭
林爱兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190160075A external-priority patent/KR20210048385A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114586009A publication Critical patent/CN114586009A/zh
Application granted granted Critical
Publication of CN114586009B publication Critical patent/CN114586009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

电子设备包括相机、存储至少一个指令和多个对象识别模型的非易失性存储器、易失性存储器和处理器，该处理器连接到非易失性存储器、易失性存储器和相机，并被配置为控制电子设备。通过执行至少一个指令，处理器被配置为基于电子设备的操作模式，将具有与操作模式对应的层级结构的层级对象识别模型加载到易失性存储器，该层级对象识别模型包括多个对象识别模型中的对象识别模型，通过将通过相机获得的对象图像输入到层级对象识别模型来获得关于对象的信息，并基于关于对象的信息确定电子设备的操作。

Description

电子设备和用于控制电子设备的方法
技术领域
本公开涉及电子设备和用于控制该电子设备的方法，并且更具体地，涉及能够操作具有层级结构的对象识别模型的电子设备，该层级结构可以根据电子设备的操作模式以各种方式配置。
背景技术
随着利用对象识别技术的电子设备的功能的进步，要由电子设备识别的对象的数量不断增加。因此，已经研究和开发了使用人工智能(AI)模型的各种对象识别技术。
相关技术中，已使用通过人工智能模型识别对象的技术，并且随着要识别的对象的数量的增加，存储器的大小和计算消耗量不断增加。相关技术中，在执行对象识别时，整个人工智能模型，而不仅是按照特定情况的特定模型，被加载在存储器上，存在存储器未被有效使用的缺点。
因此，用户设备的对象识别能力存在限制，仅通过改进一个人工智能模型本身的功能可能在存储器、计算能力和通信能力方面存在限制。
发明内容
技术方案
提供了一种电子设备及其控制方法，该电子设备用于选择和组合具有与电子设备中确定的操作模式对应的层级结构的至少一个识别模型以加载到易失性存储器中，并通过加载在存储器中的具有层级结构的所选择和组合的识别模型来确定要执行的操作。
附加的方面将部分地在随后的描述中阐述，并且部分地将从描述中变得明显，或者可以通过所呈现的实施例的实践而习得。
按照本公开的一方面，一种电子设备包括：相机、存储至少一个指令和多个对象识别模型的非易失性存储器、易失性存储器和处理器，该处理器连接到非易失性存储器、易失性存储器和相机，并被配置为控制电子设备，并且通过执行至少一个指令，处理器被配置为：基于确定的电子设备的操作模式，将多个对象识别模型中的具有与确定的操作模式对应的层级结构的至少一个对象识别模型加载到易失性存储器，通过将通过相机获得的对象图像输入到加载的对象识别模型来获得关于对象的信息，以及基于关于对象的信息确定电子设备的操作。
至少一个处理器还可以被配置为：基于将操作模式确定为第一操作模式，将多个对象识别模型中用于标识对象是否是回避目标的第一级别对象识别模型加载到易失性存储器，该第一级别对象识别模型在多个级别中的层级对象识别模型中的第一级别处，以及基于通过将对象图像输入到第一级别对象识别模型获得的对象的特征数据，标识对象是否是回避目标。
至少一个处理器还可以被配置为：基于将操作模式确定为第二操作模式，将多个对象识别模型中的第一级别对象识别模型和用于标识对象的类型的至少两个第二级别对象识别模型加载到易失性存储器，至少两个第二级别对象识别模型在比多个级别中的层级对象识别模型中的第一级别低的第二级别处，以及基于对象是否是回避目标，在至少两个第二级别对象识别模型中标识来自第一级别对象识别模型的对象的特征数据将被输入到的至少一个第二级别对象识别模型。
至少一个处理器还可以被配置为：通过将通过第一级别对象识别模型获得的对象的特征数据输入到至少一个第二级别对象识别模型来标识对象的类型。
至少一个处理器还可以被配置为：基于标识出的对象的类型，控制电子设备以不同地执行与第二操作模式对应的操作。
至少一个处理器还可以被配置为：基于将操作模式确定为第三操作模式，将多个对象识别模型中的第一级别对象识别模型、至少一个第二级别对象识别模型和至少一个第三级别对象识别模型加载到易失性存储器，至少一个第三级别对象识别模型被加载在比多个级别中的层级对象识别模型中的第二级别低的第三级别处，并且能够识别人的面部。
至少一个处理器还可以被配置为：基于通过至少一个第二级别对象识别模型将对象的类型标识为人，通过将人的特征数据输入到至少一个第三级别对象识别模型而标识对象图像中包括的人脸是否是预先注册的人脸。
至少一个处理器还可以被配置为：基于将通过相机获得的新对象的图像作为对象图像，将操作模式确定为学习模式，获得新对象的特征数据，基于新对象的特征数据和关于多个对象识别模型的信息，在多个对象识别模型中确定与新对象对应的对象识别模型，以及控制以基于新对象的特征数据来训练多个对象识别模型中的确定的对象识别模型和另一个对象识别模型，该另一个对象识别模型作为多个级别中的层级对象识别模型中确定的对象识别模型的较高级别可连接。
至少一个处理器还可以被配置为：基于将操作模式确定为学习模式，控制显示器以显示指示多个对象识别模型的用户界面(UI)，基于在将通过相机获得的新对象的图像作为对象图像的同时通过UI选择与新对象对应的对象识别模型，通过将新对象的图像输入到选择的对象识别模型来获得新对象的特征数据，基于由用户输入与新对象对应的类的名称，将新对象的特征数据标识为输入了名称的与新对象对应的类的数据，以及控制以基于与新对象对应的类的数据训练多个对象识别模型中的选择的对象识别模型和另一个对象识别模型，该另一个对象识别模型作为多个级别中的层级对象识别模型中选择的对象识别模型的较高级别可连接。
根据本公开的一方面，提供了一种控制电子设备的方法，该电子设备包括易失性存储器和存储多个对象识别模型的非易失性存储器，该方法包括：基于电子设备的操作模式被确定，将多个对象识别模型中具有与确定的操作模式对应的层级结构的至少一个对象识别模型加载到易失性存储器；通过将通过相机获得的对象图像输入到加载的对象识别模型来获得关于对象的信息；以及基于关于对象的信息确定电子设备的操作。
加载还可以包括：基于将操作模式确定为第一操作模式，将多个对象识别模型中用于标识对象是否是回避目标的第一级别对象识别模型加载到易失性存储器，第一级别对象识别模型在多个级别中的层级对象识别模型中的第一级别处；以及基于通过将对象图像输入到第一级别对象识别模型获得的对象的特征数据，标识对象是否是回避目标。
加载还可以包括：基于将操作模式确定为第二操作模式，将多个对象识别模型中的第一级别对象识别模型和用于标识对象的类型的至少两个第二级别对象识别模型加载到易失性存储器，至少两个第二级别对象识别模型在比多个级别中的层级对象识别模型中的第一级别低的第二级别处；以及基于对象是否是回避目标，在至少两个第二级别对象识别模型中标识来自第一级别对象识别模型的对象的特征数据将被输入到的至少一个第二级别对象识别模型。
该方法还可以包括：通过将通过第一级别对象识别模型获得的对象的特征数据输入到至少一个第二级别对象识别模型来标识对象的类型。
确定电子设备的操作还可以包括：基于标识出的对象的类型，控制电子设备以不同地执行与第二操作模式对应的操作。
加载还可以包括：基于将操作模式确定为第三操作模式，将多个对象识别模型中的第一级别对象识别模型、至少一个第二级别对象识别模型和至少一个第三级别对象识别模型加载到易失性存储器，至少一个第三级别对象识别模型被加载在比多个级别中的层级对象识别模型中的第二级别低的第三级别处，并且能够识别人的面部。
该方法还可以包括：基于通过至少一个第二级别对象识别模型将对象的类型标识为人，通过将人的特征数据输入到至少一个第三级别对象识别模型而标识对象图像中包括的人脸是否是预先注册的人脸。
确定电子设备的操作还可以包括：基于标识出人脸不是预先注册的人脸，提供警报消息；以及基于标识出人脸是预先注册的人脸，控制电子设备在回避其面部被标识为预先注册的人脸的人的同时移动。
加载还可以包括：基于将通过相机获得的新对象的图像作为对象图像，将操作模式确定为学习模式；获得新对象的特征数据；基于新对象的特征数据和关于多个对象识别模型的信息，在多个对象识别模型中确定与新对象对应的对象识别模型；以及基于新对象的特征数据来训练多个对象识别模型中的确定的对象识别模型和另一个对象识别模型，该另一个对象识别模型作为多个级别中的层级对象识别模型中确定的对象识别模型的较高级别可连接。
加载还可以包括：基于将操作模式确定为学习模式，显示指示多个对象识别模型的用户界面(UI)；基于在将通过相机获得的新对象的图像作为对象图像的同时通过UI选择与新对象对应的对象识别模型，通过将新对象的图像输入到选择的对象识别模型来获得新对象的特征数据；基于由用户输入与新对象对应的类的名称，将新对象的特征数据标识为输入了名称的与新对象对应的类的数据；以及基于与新对象对应的类的数据训练多个对象识别模型中的选择的对象识别模型和另一个对象识别模型，该另一个对象识别模型作为多个级别中的层级对象识别模型中选择的对象识别模型的较高级别可连接。
发明的有益效果
根据如上所述的各种实施例，电子设备可以仅将与确定的操作模式对应的分层对象识别模型加载到易失性存储器，并通过加载的对象识别模型获得关于对象的信息，从而减少整个模型的计算量和存储器消耗量。
根据一实施例的电子设备可以仅训练与与新对象对应的对象识别模型相关的模型，以训练新对象，并且因此，用户可以更加迅速和高效地训练和利用应用了人工智能模型的对象识别技术。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和/或其他方面、特征和优点将更加明显，在附图中：
图1A、图1B、图1C、图1D和图1E是根据实施例的示出用于将具有层级结构的对象识别模型加载到易失性存储器的电子设备的配置和操作的示意图；
图2是根据实施例的详细示出电子设备的配置的示意图；
图3A是根据实施例的示出对象识别模型的配置和操作的示意图；
图3B是根据实施例的示出具有层级结构的对象识别模型的配置和操作的示意图；
图4是根据实施例的示出控制电子设备的方法的流程图；
图5是根据实施例的示出当电子设备的操作模式为第一操作模式时电子设备的操作的示意图；
图6是根据实施例的示出当电子设备的操作模式为第二操作模式时电子设备的操作的示意图；
图7是根据实施例的示出当电子设备的操作模式为第三操作模式时电子设备的操作的示意图；
图8是根据实施例的示出当电子设备的操作模式为第一操作模式时电子设备的操作的示意图；
图9是根据实施例的示出当电子设备的操作模式为第二操作模式时电子设备的操作的示意图；
图10是根据实施例的示出当电子设备的操作模式为第三操作模式时电子设备的操作的示意图；
图11是根据实施例的示出电子设备的学习方法的流程图；以及
图12是根据实施例的示出电子设备的学习的方法的流程图。
具体实施方式
根据实施例，电子设备根据请求的操作模式标识级别信息，通过使用存储在非易失性存储器中的具有多个级别的分层整体模型结构和与每个操作模式对应的级别信息，从整个模型结构中的顶级别到标识的级别加载与分层模型结构对应的识别模型，以及通过使用加载的识别模型来执行操作模式。
根据一实施例，提供了用于构造识别模型的方法，并且电子设备标识与请求的操作模式对应的层级结构和层级结构模板信息的配置信息，加载与分层模型结构对应的识别模型，其被配置为根据层级结构和层级结构模板信息的配置信息将层级结构的特定级别链接到层级结构的特定级别，以及通过使用加载的识别模型执行操作模式。
在根据一实施例的用于构造识别模型的方法中，电子设备在易失性存储器中加载由多个级别组成的分层识别模型，并且每个级别中的子模型包括用于提取输入源数据的特征值的特征提取单元和用于在特定参考上对特征值进行分类的分类器，其中，较高级别模型的特征提取单元被激活，而较低级别模型的特征提取单元被去激活，使得从较高级别的子模型中输出的提取值可以在较低级别的模型中使用。
在根据一实施例的用于配置识别模型的方法中，当向由多个级别组成的分层识别模型添加新的类时，可以通过用户定义的方法或特征相似性比较方法确定新的类被添加到的特定位置级别的特定子模型，并且可以更新确定的子模型和与确定的子模型相关联地链接的至少较高级别子模型和顶级别子模型。
以下将参照附图详细描述实施例。
图1A是示出将具有层级结构的对象识别模块加载到易失性存储器130的电子设备100的配置和操作的示意图。
如图1A所示，根据一实施例的电子设备100可以包括相机110、非易失性存储器120、易失性存储器130和处理器140。图1A是一实施例的示例性示意图，并且如本领域技术人员认为适当的，硬件和软件配置可以另外地包括在电子设备100中。
相机110被配置为获得电子设备100的周边的一个或多个图像。在一实施例中，相机110可以捕获存在于电子设备100的周边的对象以获得该对象的图像。如本文所使用的，“对象的图像”是通过相机110获得的电子设备100周围的对象的图像，并且用于指代输入到对象识别模型的对象的图像。
相机110可以包括多个相机，并且可以用红-绿-蓝(RGB)相机、三维(3D)相机、深度相机等不同地实现。相机110可以位于电子设备100的前面，但这不是限制性的，并且可以位于电子设备100的后部、上部等。相机110可以位于电子设备100的外部，并与其电连接或通信地连接。
非易失性存储器120是指即使停止供电也能够维持存储的信息的存储器。例如，非易失性存储器120可以包括闪存、可编程只读存储器(PROM)、磁阻随机存取存储器(MRAM)和电阻RAM(RRAM)中的至少一种。
易失性存储器130是指要求持续供电以维持存储的信息的存储器。例如，易失性存储器130可以包括动态随机存取存储器(DRAM)或静态RAM(SRAM)中的至少一种。
在一实施例中，假设易失性存储器130是与处理器140分离的配置，但这仅用于描述电子设备100的操作，并且可以将根据实施例的易失性存储器130实现为包括在处理器140中的组件。
根据一实施例的非易失性存储器120可以存储至少一个指令、多个对象识别模型10-1至10-N和操作模式数据20。指令是作为编程语言的用于电子设备100的一个动作语句，并且是电子设备100可以直接执行的程序的最小单元。
多个对象识别模型10-1至10-N中的每一个是能够使用通过相机110获得的对象的图像输出关于对象的信息的人工智能模型。对象识别模型可以通过使用对象图像输出对象的特征数据，并且基于输出对象的特征数据输出关于对象的信息。关于对象的信息可以包括关于对象被分类到预定类中的哪个类的信息。类是具有相同或相似属性的对象的集合。多个对象识别模型10-1至10-N中的每一个可以存储用于将对象分类到预定类中的类的数据。
如图1A所示，多个对象识别模型可以分离地存储在非易失性存储器120中，但这不是限制性的，并且具有多个层级结构的对象识别模型可以存储在非易失性存储器120中。具有固定层级结构的对象识别模型是一种模型，其中至少一个个体对象识别模型可以在形成层级结构的同时将特定对象分类到预定类之一中，并且可以根据电子设备100的类型来不同地实现。层级结构(或树形结构)表示一种数据结构，其中上层节点可以具有一个或多个下层节点，但下层节点需要具有一个上层节点。
操作模式数据20可以包括与与电子设备100的多个操作模式中的每一个对应的操作模式的层级结构相关联的信息。在一实施例中，操作模式数据20可以包括关于与每个操作模式对应的层级结构的级数的信息、关于可以放置在与每个操作模式对应的层级结构的每个级别处的对象识别模型的类型的信息、以及关于对象识别模型之间的关联关系的信息。对象识别模型之间的关联关系可以表示可以设置在层级结构中的特定级别和该特定级别的较低级别处的对象识别模型之间的连接关系。因此，关于对象识别模型之间的关联关系的信息可以包括关于可以作为对象识别模型的特定级别的子节点连接的模型的信息。
操作模式数据20可以被设置为关系数据库，但这仅是示例而不是限制性的。例如，操作模式数据20可以被设置为如下表1。
[表1]
Figure BDA0003597854670000081
如表1所示构造的操作模式数据20可以包括如下信息：与电子设备的多个操作模式中的第三操作模式对应的层级结构的级数为3，A对象识别模型可以设置在第一级别处，B和C在第二级别处，D和E在第三级别处，作为B的子节点连接的模型是D，以及作为C的子节点连接的模型是E。级数为3可以表示层级结构从作为根级别的第一级别配置到第三级别。在一实施例中，操作模式数据20可以包括多个层级模板、能够标识每个层级模板的索引号、以及与操作模式对应的层级结构的配置信息70，如图1B所示。层级模板是具有层级形式的模板，使得多个对象识别模型可以链接到特定节点。例如，如图1B所示，操作模式数据20可以包括如下信息：其中两个第二级别节点50-1和50-2连接到第一级别节点的层级模板的索引号是数字1，以及其中两个第三级别节点60-1、60-2连接到具有索引号1的层级模板的第二级别节点中的右节点50-2的层级模板的索引号是数字2等。可以基于用户命令添加、删除和/或修改层级模板。链接可以指将对象识别模型放置到层级模板的特定级别的特定节点位置的动作。
层级结构的配置信息70可以包括与每个操作模式对应的层级结构模板的索引号和关于可以链接到具有该索引号的层级模板的每一级别的对象识别模型的类型的信息。层级结构的配置信息可以构造为如图1B所示的关系数据库，但这不是限制性的。
例如，如图1B所示，层级结构的配置信息可以包括如下信息：与第一操作模式对应的层级模板的索引号为1，对象识别模型A可以链接到第一层级结构模板的第一级别节点，以及B链接到连接到第一级别的左分支的第二级别节点50-1，以及C链接到连接到右分支的第二级别节点50-2。例如，层级结构的配置信息可以包括如下信息：与第二操作模式对应的层级结构模板的索引号为2，A对象识别模型可以加载在第一级别节点中，B和C对象识别模型可以从右起分别加载在第二级别节点50-1、50-2中，以及F、G对象识别模型可以从右起分别加载在第三级别节点60-1和60-2中。
作为一实施例，处理器140可以通过执行至少一个指令来控制电子设备的整体操作。处理器140可以连接到相机110、非易失性存储器120和易失性存储器130以控制电子设备100的整体操作。在一实施例中，处理器140可以是一个或多个处理器。一个或多个处理器140可以是通用处理器(诸如中央处理单元(CPU))、应用处理器(AP)、仅图形处理器(诸如图形处理单元(GPU))、视觉处理单元(VPU)、仅AI的处理器(诸如神经网络处理单元(NPU))等。
特别地，处理器140可以使用存储在非易失性存储器120中的操作模式数据20以多种方式构建多个对象识别模型中的具有与确定的操作模式对应的层级的至少一个对象识别模型。如图1A所示，处理器140可以将具有配置的层级结构的至少一个对象识别模型加载到易失性存储器130中。加载是指存储在非易失性存储器120中的数据被检索并被存储在易失性存储器130中以供处理器140访问的操作。
在一实施例中，处理器140可以基于通过操作模式数据20标识的层级的模板、能够标识每个层级结构模板的索引号、以及层级结构的配置信息来构造具有层级结构的对象识别模型。例如，如果电子设备100的操作模式被确定为处于第一操作模式，则处理器140可以经由操作模式数据20的层级结构的配置信息来标识与第一操作模式对应的层级模板的索引号为1，并且在第一层级模板的第一级别中，可以链接A对象识别模型，并且B和C可以链接到第二级别。如图1B所示，处理器140可以通过将称为A的模型链接到第一层级结构模板的第一级别，并将B和C模型链接到A模型作为第二级别来构造具有层级结构的对象识别模型，并且可以将配置的对象识别模型加载到易失性存储器130中。
在一实施例中，处理器140可以基于如下信息来构造具有层级结构的对象识别模型：与经由存储在非易失性存储器120中的操作模式数据20标识的操作模式对应的层级结构的级数、可以放置在层级的每个级别处的对象识别模型的类型、以及对象识别模型之间的关联关系的。例如，如上表1所示，如果电子设备100的操作模式被确定为第三操作模式，则处理器140可以经由操作模式数据20标识与第三操作模式对应的层级的级数为三，并且可以标识在第三操作模式下时可以放置在第一到第三级别处的对象识别模型的类型以及每个对象识别模型的关联关系信息(例如，关于作为对象识别模型的每个第二级别的子节点连接的对象识别模型的信息)。
如图1C所示，处理器140可以使用与标识的第三操作模式对应的级数(例如，3)和可以放置在每个级别处的对象识别模型的类型(例如，A在第一级别处，B和C在第二级别处，以及D和E在第三级别处)来布置每个级别的对象识别模型。如图1D所示，处理器140可以通过使用关于标识的对象识别模型之间的关联关系的信息将针对每个级别布置的对象识别模型连接到分支来构造具有层级结构的对象识别模型。处理器140然后可以将配置的对象识别模型加载到易失性存储器130中。
在一实施例中，一旦确定了电子设备100的操作模式，处理器140就可以将存储在非易失性存储器120中的具有多个固定层级结构的对象识别模型和基于操作模式数据20具有与操作模式对应的层级结构的对象识别模型加载到易失性存储器130中。具体地，当确定了电子设备100的操作模式时，处理器140可以标识与通过如上表1所示构造的操作模式数据20确定的操作模式对应的层级结构的级别。处理器140可以将具有固定层级结构的对象识别模型中的从第一级别起分层到与标识的级数相同级别的对象识别模型加载到易失性存储器130。如果根节点被实现在零级别处，处理器140可以将分层对象识别模型从第一级别起到小于具有固定层级结构的对象识别模型的总级数的级别加载到易失性存储器130中。在一实施例中，如图1E所示，非易失性存储器120可以存储有具有固定层级结构的对象识别模型80。如果电子设备100的操作模式被确定为处于第三操作模式，则处理器140可以通过操作模式数据20标识与第三操作模式对应的层级结构的级数为3。处理器140然后可以将分层识别模型从由总共四个级别组成的层级结构的第一级别起到第三级别加载到易失性存储器130中。根据上述方法，如果仅标识了与操作模式对应的级数而不必分离地配置层级结构，则处理器140可以将具有与该操作模式对应的层级结构的对象识别模型加载到易失性存储器130中。
在一实施例中，处理器140可以将通过相机110获得的对象图像输入到加载的对象识别模型以获得对象的特征数据。处理器140可以通过将对象图像输入到具有层级结构的对象识别模型中的对象识别模型(或与层级结构上的根节点对应的对象识别模型)中来获得对象的特征数据。对象的特征数据可以以向量的形式来实现，但这不是限制性的，并且可以不同地实现为矩阵、图形等。处理器140可以基于对象的特征数据获得关于对象的信息。对象的信息可以包括关于对象被分类成预设类中的哪个类的信息。
处理器140可以基于获得的关于对象的信息，在较低级别的对象识别模型中标识对象识别模型以输入对象的特征数据。具体地，当通过较高级别的对象识别模型获得对象被分类到第一类中的信息时，处理器140可以将与第一类对应的对象识别模型标识为较低级别的对象识别模型以输入对象的特征数据。例如，参照图1A，当加载在易失性存储器130中的具有层级结构的对象识别模型中的第一级别的对象识别模型30-1获得关于对象的信息(例如，对象已被分类为第一类的信息)时，处理器140可以通过获得的关于对象的信息在多个第二级别对象识别模型40-1和40-2中标识与第一类对应的对象识别模型。处理器140可以将对象的特征数据输入到与第一类对应的标识的对象识别模型。
处理器140可以基于关于对象的信息确定电子设备100的操作。具体地，如果输出关于对象的信息的对象识别模型被标识为位于层级结构的末端节点(或叶节点)处的模型，则处理器140可以基于关于对象的信息确定要由电子设备100执行的操作。如果仅第一级别(或根节点)的对象识别模型被加载到易失性存储器130中，则处理器140可以基于通过第一级别的对象识别模型获得的关于对象的信息来确定电子设备100的操作。
在一实施例中，如果操作模式被确定为学习模式，则处理器140可以以各种方式训练具有层级结构的多个对象识别模型。
在一实施例中，当操作模式是学习模式时，如果新对象图像是通过相机110获得的，则处理器140可以使用多个对象识别模型中的至少一个来获得新对象的特征数据。当多个对象识别模型将对象分类到预设类中时，“新对象”可以包括可能未以超过阈值的准确度被分类的对象。
处理器140可以基于新对象的特征数据和关于多个对象识别模型的信息，确定多个对象识别模型中与新对象对应的对象识别模型。处理器140可以获得新对象的特征数据与包括在多个对象识别模型中的每一个中的类的数据之间的相似性值。处理器140可以将与具有最高相似性值的类别的数据对应的对象识别模型标识为与新对象对应的对象识别模型。
处理器140可以基于新对象的特征数据训练对象识别模型，该对象识别模型可以作为与新对象对应的对象识别模型的较高级别被连接。具体地，处理器140可以通过操作模式数据20标识可以作为与新对象对应的对象识别模型的祖先节点连接的对象识别模型。处理器140然后可以训练可以作为标识的祖先节点连接的对象识别模型。处理器140可以仅训练与新对象对应的对象识别模型和可以作为模型的较高级别连接的对象识别模型，而不是训练整个对象识别模型，从而减少要训练的模型的数量。
在一实施例中，如果操作模式是学习模式，则处理器140可以控制显示器160以显示代表多个存储的对象识别模型的用户界面(UI)。当在通过相机110获得新对象图像的同时通过UI选择与新对象对应的对象识别模型时，处理器140可以将新对象图像输入到选择的对象识别模型以获得新对象图像的特征数据。处理器140可以训练基于新对象的特征数据选择的对象识别模型和可以作为所选择的对象识别模型的较高级别连接的对象识别模型。
与人工智能相关的功能通过非易失性存储器120、易失性存储器130和处理器140操作。
一个或多个处理器140控制输入数据根据存储在非易失性存储器120和易失性存储器130中的预定义操作规则或AI模型来处理。这里，通过学习得到可以指通过将学习算法应用于各种训练数据来得到设置为执行期望特征的预定操作规则或AI模型。学习可以在其中执行人工智能的电子装置中实现或者可以通过分离的服务器和/或系统来实现。
AI模型可以由多个神经网络层组成。每一层具有多个权重值，并且通过前一层的计算和多个权重的运算执行层运算。神经网络的示例可以包括，但不限于，卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、受限玻尔兹曼机器任务(RBM)、深度信念网络(DBN)、双向深度神经网络(BRDNN)和深度Q网络。
学习算法是一种使用多个学习数据训练预定目标设备(例如，机器人)以由预定目标设备自行进行确定或预测的方法。学习算法的示例包括监督学习、无监督学习、半监督学习或强化学习，但学习算法不限于所描述的示例。
图2根据实施例详细示出了电子设备100的配置。如图2所示，电子设备100可以包括相机110、非易失性存储器120、易失性存储器130、处理器140、通信器150、显示器160、驱动器170、扬声器180、输入器190和传感器195。上面描述了相机110、非易失性存储器120、易失性存储器130和处理器140。
通信器150可以包括电路，并且可以与服务器或外部设备通信。处理器140可以通过通信器150从所连接的服务器或外部设备接收各种数据或信息，并且可以向服务器或外部设备发送各种数据或信息。
通信器150可以包括各种通信模块以与外部设备通信。例如，通信器150可以包括无线通信模块，例如使用长期演进(LTE)、先进LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、第5代(5G)、全球移动通信系统(GSM)等中的至少一种的蜂窝通信模块。例如，无线通信模块可以包括例如无线保真(WiFi)、蓝牙、低功耗蓝牙(BLE)、ZigBee等。
显示器160可以根据处理器140的控制来显示各种信息。在一实施例中，显示器160可以根据处理器140的控制来显示指示多个对象识别模型的UI。
显示器160可以实现为液晶显示器(LCD)设备、有机发光二极管(OLED)显示器等，并且可以实现为柔性显示器、透明显示器等。显示器160可以实现为带有触摸面板的触摸屏。然而，实施例不限于此，并且显示器160可以取决于电子设备100的类型而不同地实现。
驱动器170被配置为移动电子设备100并且可以包括马达和多个轮子。驱动器170可以根据处理器140的控制来移动电子设备100。
扬声器180被配置为输出各种警报声音或语音消息以及各种音频数据，其由音频处理器解码或放大，以及执行各种处理操作，诸如噪声过滤。当电子设备100的操作完成时，扬声器180可以输出操作已经完成的警报消息。在一实施例中，如果包括在对象图像中的人脸不是当操作模式为第三操作模式时通过第三级别的对象识别模型预先注册的人，则扬声器180可以通过处理器140的控制输出警报消息。
扬声器180仅是示例并且可以实现为能够输出音频数据的另一输出端。
输入器190可以包括电路并且处理器140可以通过输入器190接收用于控制电子设备100的操作的用户命令。输入器190可以包括触摸传感器、(数字)笔传感器、压力传感器、键和/或麦克风。触摸传感器可以使用，例如，静电型、压敏型、红外型和超声波型中的至少一种。
在一实施例中，如果操作模式是学习模式，则输入器190可以从用户接收输入以选择与新对象对应的对象识别模型。输入器190可以将接收的输入发送到处理器140。
传感器195可以感测电子设备100的各种状态信息。例如，传感器195可以包括能够感测各种物理量(诸如用户的存在或距离或者电子设备100的对象信息)的传感器(例如，超声波传感器、接近传感器、光学传感器、红外(IR)传感器、超宽带(UWB)传感器、光检测和测距(LiDAR)传感器等)、能够感测电子设备100周围的环境信息的传感器(例如，温度传感器、湿度传感器、气压传感器等)、可以感测位置信息的传感器(例如，全球定位系统(GPS)传感器)等。
图3A是根据实施例的示出存储在非易失性存储器120中的对象识别模型300的配置和操作的示意图。如图3A所示，对象识别模型300可以包括特征数据提取模块320和分类器模块330。特征数据提取模块320和分类器模块330中的每一个可以由处理器140控制。
特征数据提取模块320可以输出经由对象图像310输入的对象的特征数据。这仅是示例，并且特征数据提取模块320可以输出语音、文本等的特征数据。
特征数据提取模块320可以用卷积神经网络(CNN)来实现，但这仅是示例，并且可以用各种人工智能神经网络来实现，诸如深度神经网络(DNN)、循环神经网络(RNN)等。
分类器模块330可以基于通过特征数据提取模块320获得的对象的特征数据输出对象的信息340。在一实施例中，对象的信息340可以包括关于对象是否被分类到任何预定类的信息等。也就是说，分类器模块330可以输出关于当根据预定条件对对象的特征数据进行分类时对象属于哪个类的信息。在一实施例中，包括在对象识别模型中的标识对象是否服从回避(以下称为回避目标)的分类器模块330可以基于获得的对象的特征数据输出关于将对象分类为回避目标或非回避目标的结果的信息。
分类器模块330可以包括类的数据。类的数据是可以根据预定条件将对象分类到多个类中的数据的集合。包括在每个对象识别模型中的分类器模块330具有不同的预定条件，并且因此类的数据可以不同，但这仅是示例，并且可以包括重复类的数据。在一实施例中，标识对象是否是回避目标的包括在对象识别模型中的分类器模块可以包括可以将对象分类到回避目标或非回避目标中的一个类中的数据。图3B是根据实施例的示出具有层级结构的对象识别模型的构造和操作的示意图。
在一实施例中，如图3B所示，当第一级别对象识别模型300-1和第二级别对象识别模型300-2和300-3被电子设备100分层并加载到易失性存储器130中时，第一级别对象识别模型300-1可以基于输入的对象图像310输出关于对象的信息。具体地，第一级别的对象识别模型300-1可以通过对象图像提取对象的特征数据，并且可以输出关于对象的信息，其为根据预定条件对所提取的对象的特征数据进行分类的结果。
电子设备100可以在第二级别对象识别模型300-2、300-3中标识与获得的关于对象的信息对应的模型。电子设备100可以将与获得的关于对象的信息对应的模型标识为将向其输入通过第一级别对象识别模型获得的对象的特征数据的模型。
例如，当第一级别对象识别模型300-1是标识对象是否是回避目标的模型，并输出对象被分类为回避目标的信息时，电子设备100可以标识第二级别对象识别模型300-2和300-3中的能够将回避目标分类到预设类中的对象识别模型。电子设备100可以标识可以将回避目标分类到预设类中的对象识别模型作为用于输入通过第一级别的对象识别模型300-1获得的对象的特征数据的模型。电子设备100可以将对象的特征数据输入到第二级别的第二级别对象识别模型300-2和300-3中的与按对象分类的类对应的对象识别模型。
在具有包括至少两个级别的层级结构的对象识别模型的示例中，电子设备100可以仅激活包括在顶级别的模型中的特征数据提取模块，并且可以去激活包括在剩余的较低级别的模型中的特征数据提取模块。去激活模块的操作可以包括控制模块以不执行特定操作。例如，参照图3B，电子设备100可以包括特征数据提取模块320-1和分类器模块330-1。电子设备100可以激活包括在第一级别对象识别模型300-1中的特征数据提取模块320-1，并且可以去激活包括在作为较低级别的模型的第二级别对象识别模型300-2、300-3中的特征数据提取模块320-2、320-3。
相应地，第二级别的第二级别对象识别模型300-2和300-3中的对象的特征数据被输入其中的模型中包括的分类器模块330-2和330-3可以使用对象的特征数据输出对象的信息340-1和340-2。第二级别的第二级别对象识别模型300-2和300-3可以通过利用从第一级别的对象识别模型输出的对象的特征数据来提取关于对象的信息，并且包括在每个模型中的特征数据提取模块320-3和320-3可以被去激活以便不执行提取对象的特征数据。
在一实施例中，当在位于末端节点处的对象识别模型中输出关于对象的信息时，电子设备100可以基于关于对象的信息确定动作。在一实施例中，如图3B所示，如果输出对象的信息340-1和340-2的第二级别对象识别模型是位于层级结构的末端节点处的模型，则电子设备100可以基于关于对象的信息来确定动作。
图4是根据实施例的示出控制电子设备100的方法的流程图。
在操作S410中，当确定了电子设备100的操作模式时，电子设备100可以将多个对象识别模型中的具有与确定的操作模式对应的层级结构的至少一个对象识别模型加载到易失性存储器130中。具体地，电子设备100可以使用存储在非易失性存储器120中的多个对象识别模型和操作模式数据以各种方式配置具有与操作模式对应的层级结构的对象识别模型，并且将配置的对象识别模型加载到易失性存储器130中。
在一实施例中，电子设备100可以通过存储在非易失性存储器120中的操作模式数据来标识关于与操作模式对应的层级结构的级数的信息、可以被放置在层级结构的每个级别处的对象识别模型的类型、以及对象识别模型之间的关联关系。电子设备100可以通过标识的相应信息来构造具有与操作模式对应的层级结构的对象识别模型，并将其加载到易失性存储器130中。由于以上参照表1和图1E进行了详细描述，因此将省略重复描述。
在一实施例中，电子设备100可以标识操作模式数据的多个层级结构模板、能够识别每个层级结构模板的索引号、以及与操作模式对应的层级结构的配置信息。电子设备100可以通过所标识的相应信息来构造具有与操作模式对应的层级结构的对象识别模型，并将其加载到易失性存储器130中。由于以上参照图1B详细描述了上述方法，因此将省略重复描述。
在一实施例中，电子设备100可以经由操作模式数据标识与操作模式对应的级数。电子设备100可以将存储在非易失性存储器120中的具有固定层级的多个对象识别模型中的分层的对象识别模型，从第一级别(根级别)起到标识的级数，加载到易失性存储器130中。由于以上参照图1E进行了详细描述，因此将省略重复描述。
在操作S420中，电子设备100可以将通过相机110获得的对象图像输入到加载的对象识别模型以获得关于对象的信息。具体地，电子设备100可以将获得的对象图像输入到顶级别对象识别模型以获得对象的特征数据。电子设备100可以基于对象的特征数据获得关于对象的信息。如果输出关于对象的信息的对象识别模型不是与层级结构上的末端节点对应的模型，则电子设备100可以基于关于对象的信息标识较低级别的对象识别模型中向其输入了对象的特征数据的对象识别模型。
在操作S430中，电子设备100可以基于关于对象的信息确定操作。如果输出关于对象的信息的对象识别模型是与层级结构上的上层节点对应的模型，则电子设备100可以基于关于对象的信息确定操作。
图5至图10是根据实施例的示出根据每个操作模式加载到易失性存储器130中的具有层级结构的对象识别模型的结构和操作的示意图。以上详细描述了将存储在非易失性存储器120中的多个对象识别模型加载到易失性存储器130中的过程，因此将省略重复的详细描述。
图5至图7是当将电子设备100实现为清洁机器人时的实施例，以及图8至图10是当将电子设备100实现为零售机器人时的实施例。
根据实施例的电子设备100可以包括：智能手机、平板个人计算机(PC)、台式PC、膝上型PC、上网本计算机、服务器、个人数字助理(PDA)、医疗设备或可穿戴设备中的至少一个。在一些实施例中，电子设备100可以包括：电视机、冰箱、空调、空气净化器、机顶盒、机器人、媒体盒(例如：Samsung HomeSyncTM、Apple TVTM或Google TVTM)等中的至少一个，但不限于此。
可以根据电子设备100的类型以各种方式实现多个操作模式，并且可以以各种方式实现与每个操作模式对应的对象识别模型。具有层级结构的多个对象识别模型不限于图5至图10。
图5是示出当根据一实施例的电子设备100用清洁机器人来实现并且操作模式被确定为是第一操作模式时加载到易失性存储器130的对象识别模型的示意图。
如果操作模式被确定为是作为第一操作模式的正常清洁模式，则电子设备100可以将标识对象是否是回避目标的回避标识模型500(即第一级别对象识别模型)加载到易失性存储器130中。电子设备100可以将通过相机110获得的对象图像310输入到回避标识模型500中。回避标识模型500可以基于输入的对象图像输出对象的特征数据。回避标识模型500可以输出基于对象的特征数据将对象分类为回避目标或非回避目标的结果信息。因此，电子设备100可以通过从回避标识模型500输出的结果信息来标识存在于电子设备100周边的对象是否是回避目标。
如果操作模式是普通清洁模式，则易失性存储器130中加载的对象识别模型是作为第一级别对象识别模型的回避标识模型500，并且电子设备100可以基于从回避标识模型500获得的结果信息确定操作。如果在结果信息中包括对象是回避目标的信息，则电子设备100可以在回避对象的同时移动(操作510)。如果在结果信息中包括对象是非回避目标的信息，则电子设备100可以在不回避对象的情况下在对象的周边移动的同时开始清洁(操作520)。
图6是根据一实施例的示出当电子设备100用清洁机器人来实现并且操作模式被确定为是第二操作模式时加载到易失性存储器130中的对象识别模型的示意图。
如果操作模式被确定为是作为第二操作模式的特定位置清洁模式，则电子设备100可以加载用于标识对象是否是回避目标的回避标识模型500作为第一级别对象识别模型，并且可以向易失性存储器130加载能够使用作为第一级别的较低级别的第二级别对象识别模型来标识对象的类型的第二级别对象识别模型600、610，即对象类型标识模型。在一实施例中，如图1B所示，如果确定了第二操作模式，则电子设备100可以通过操作模式数据的层级结构的配置信息来标识与第二操作模式对应的层级模板是第一模板。此外，电子设备100可以通过层级结构的配置信息，基于第一模板，标识回避标识模型500可以链接到第一级别，并且标识回避目标的类型的第二级别对象识别模型600和标识非回避目标类型的第二级别对象识别模型610可以链接到第二级别。因此，电子设备100可以基于所标识的信息将具有层级结构的对象识别模型加载到易失性存储器130中，如图6所示。回避标识模型500已参照图5进行了描述，并且，因此将省略重复的描述。
电子设备100可以基于从回避标识模型500中输出的结果信息标识多个第二级别对象识别模型600和610中的通过回避标识模型500获得的对象的特征数据被输入到的对象识别模型。在一实施例中，在获得对象被分类为回避目标的类的信息后，电子设备100可以将第二级别对象识别模型600、610中的第二级别对象识别模型600标识为对象的特征数据将被输入到的模型，该第二级别对象识别模型600标识与被分类的类对应的回避目标的类型。例如，在获得对象被分类为非回避目标的类的信息后，电子设备100可以将第二级别对象识别模型600、610中的第二级别对象识别模型610标识为对象的特征数据将被输入到的模型，该第二级别对象识别模型610标识与被分类的类对应的非回避目标的类型。
作为一实施例，第二级别对象识别模型600、610中的每一个可以输出基于输入对象的特征数据对对象的类型进行分类的结果信息。电子设备100可以通过第二级别对象识别模型600、610中的每一个来标识对象的类型。
当操作模式被确定为是特定定位模式时，电子设备100可以从用户获得关于特定位置的信息。在一实施例中，电子设备100可以从用户接收包括关于特定位置的信息的用户语音(例如，“在沙发周围打扫”)。在一实施例中，电子设备100可以显示用于选择特定位置的UI并且通过所显示的UI从用户接收用于选择特定位置的信号。
在一实施例中，当标识的对象对应于特定位置清洁模式时，电子设备100可执行与特定位置清洁模式对应的操作。也就是说，如果标识的对象对应于用户请求清洁的对象，则电子设备100可以在标识的对象周围开始清洁。例如，如果操作模式被确定为是特定位置清洁模式并且从用户输入了清洁沙发的命令，则电子设备100可以在沙发位置处开始清洁(操作620)。例如，如果对象被标识为不是沙发的对象，则电子设备100可以在回避对象的同时移动直到标识出作为沙发的对象(操作630)。
图7是示出当用清洁机器人实现电子设备100并且操作模式被确定为是第三操作模式加载到易失性存储器130的对象识别模型的示意图。
在一实施例中，如果操作模式被确定为是作为第三操作模式的安全模式，则电子设备100可以向易失性存储器加载用于标识对象是否是回避目标的回避识别模型500作为第一级别的对象识别模型，能够标识对象的类型的第二级别对象识别模型600作为低于第一级别的第二级别处的第二级别对象识别模型，以及用于识别人脸的面部识别模型700作为第二级别的较低级别的第三级别的对象识别模型。回避标识模型500和第二级别对象识别模型600如上所述，并且将不重复描述。
如果操作模式被确定为是安全模式，则电子设备100可以不将作为对象识别模型的第二级别的标识非回避目标的类型的第二级别对象识别模型610加载到易失性存储器130中。安全模式可以是用于通过作为第三级别对象识别模型的面部识别模型700标识对象是否为注册的人的模式。当对象的类型是非人的非回避目标时，如果操作模式是安全模式，则不标识对象的类型，电子设备100可以不将用于标识非回避目标的类型的第二级别对象识别模型610作为层级结构上的第二级别的对象识别模型加载到易失性存储器130。
作为一实施例，如图7所示，如果通过标识回避目标的类型的第二级别对象识别模型600将对象的类型标识为人，则电子设备100可以将从回避标识模型500获得的对象的特征数据输入到面部识别模型700，该面部识别模型700为第三级别的对象识别模型。
根据实施例，面部识别模型700可以输出基于对象的特征数据将包括在对象图像中的人脸分类为注册的人脸或未注册的人脸的结果信息。因此，电子设备100可以通过面部识别模型700标识包括在对象图像中的人脸是否是预先注册的人脸。
在一实施例中，如果标识出包括在对象图像中的人脸不是预先注册的人脸，则电子设备100可以提供警告消息(操作720)。例如，电子设备100可以向预设的人或组织(例如，预先注册的人、安保公司、警察等)发送未注册的人脸被标识的消息。例如，电子设备100可以输出未注册的人被标识的警报。
在一实施例中，如果标识出包括在对象图像中的人脸是预先注册的人脸，则电子设备100可以在移动回避标识出的人脸的同时执行安全模式(操作710)。
另外，如图7所示，如果对象通过回避标识模型500被标识为非回避目标，或者第二级别对象识别模型600标识出不是人的回避目标的类型，则电子设备100可以移动回避标识的对象的同时执行安全模式(操作730)。
图8是根据实施例的示出当电子设备100被实现为零售机器人并且操作模式被确定为是第一操作模式时加载到易失性存储器130的对象识别模型的示意图。
如果操作模式被确定为是作为第一操作模式的忙碌模式，则电子设备100可以向易失性存储器130加载标识对象是否是回避目标的回避标识模型500作为第一级别的对象识别模型。
在一实施例中，电子设备100可以通过回避标识模型500标识对象是非回避目标还是回避目标。具体地，电子设备100可以将对象的对象图像310输入到回避标识模型500中。回避标识模型500可以基于对象的对象图像310输出对象的特征数据。回避标识模型500可以输出基于对象的特征数据将对象分类为非回避目标的客人或回避目标的客人的结果信息。在一实施例中，如果标识出对象不是人，则回避标识模型500可以输出将对象分类为回避目标的结果信息。在一实施例中，如果对象被识别为注册的人，诸如商店员工，则回避标识模型500可以输出将对象分类为回避目标的结果信息。因此，电子设备100可以基于从回避标识模型500中输出的结果信息来标识对象是诸如客人的非回避目标还是回避目标。
如果操作模式是忙碌模式，则加载在易失性存储器130中的对象识别模型是作为第一级别对象识别模型的回避标识模型500，并且电子设备100可以基于从回避标识模型500获得的结果信息确定要执行的操作。如果结果信息包括对象是作为非回避目标的客人的信息，则电子设备100可以执行客人响应操作(例如，显示提供商店位置信息、物品的价格信息等的UI))(操作810)。如果在结果信息中包括对象是回避目标的信息，则电子设备100可以回避对象的同时移动(操作820)。
图9是示出当电子设备100被实现为零售机器人并且操作模式被确定为是第二操作模式时加载到易失性存储器130的对象识别模型的示意图。
当操作模式被确定为是作为第二操作模式的正常模式时，电子设备100可以在易失性存储器130中加载用于标识对象是否是回避目标的回避标识模型500，并且可以加载能够标识非回避目标的类型的模型作为第二级别的对象识别模型，该第二级别是第一级别的较低级别。可以用可以识别客人的年龄组的年龄组识别模型910(即，作为第二级别对象识别模型)实现能够标识非回避目标的类型的模型，但这不是限制性的，并且能够标识非回避目标的类型的模型可以以各种方式实现为客人的身高识别模型、客人的个人物品识别模型等。由于上面描述了回避标识模型500，因此将省略重复的描述。
如图9所示，第二级别对象识别模型是一个年龄组识别模型910，并且因此，如果对象被识别为服从回避的客人，则电子设备100可以将通过回避标识模型500获得的对象的特征数据输入到年龄组识别模型910。
电子设备100可以通过年龄组识别模型910识别作为对象的客人的年龄组。在一实施例中，如图9所示，年龄组识别模型910可以输出基于输入的对象的特征数据将客人的年龄组分类为老年人、成人、儿童等的结果信息。电子设备100可以基于通过年龄组识别模型910获得的结果信息来识别客人的年龄组。
在第二操作模式下，作为第二级别的对象识别模型的年龄组识别模型910是与层级结构上的末端节点对应的模型，使得电子设备100可以基于通过年龄组识别模型910获得的结果信息确定操作。在一实施例中，如果客人的年龄组被标识为老年人，则电子设备100可以执行简单且详细的客人响应操作(操作920)。例如，如果客人的年龄组被识别为成年人，则电子设备100可以执行预定的普通客人响应操作(操作930)。例如，如果客人的年龄组被识别为儿童，则电子设备100可以用儿歌的语音来执行客人响应操作(操作940)。如果通过回避标识模型500将对象标识为回避目标，则电子设备100可以在回避对象的同时移动(操作820)。
图10是示出当电子设备100被实现为零售机器人并且操作模式被确定为是第三操作模式时加载到易失性存储器130的对象识别模型的示意图。
在一实施例中，如图10所示，如果操作模式被确定为是作为第三操作模式的非常重要的人(VIP)模式，则电子设备100可以向易失性存储器130加载用于标识对象是否是回避目标的回避标识模型500作为第一级别对象识别模型、用于标识客人是否为预先注册的VIP客人的第一VIP识别模型1000作为第一级别的较低级别的第二对象识别模型、用于标识个体VIP客人的第二VIP识别模型1010和年龄组识别模型910作为第二级别的较低级别的第三级别对象识别模型。
如图10所示，第二级别对象识别模型是一个第一VIP识别模型1000，并且因此，如果对象被标识为作为回避目标的客人，则电子设备100可以将通过回避标识模型500获得的对象的特征数据输入到第一VIP识别模型1000。
电子设备100可以通过第一VIP识别模型1000来标识客人是否是预先注册的VIP客人。在一实施例中，第一VIP识别模型1000可以输出基于输入的对象的特征数据将作为对象的客人分类为VIP客人或不是VIP的普通客人的结果信息。因此，电子设备100可以基于通过第一VIP识别模型1000获得的结果信息来标识客人是否是预先注册的VIP客人。
在一实施例中，电子设备100可以基于客人是否是预先注册的VIP客人在第三级别对象识别模型(例如，第二VIP识别模型1010和年龄组识别模型910)中标识通过第一VIP识别模型1000获得的对象的特征数据将被输入到的对象识别模型。在一实施例中，当第一VIP识别模型1000获得客人被分类为预先注册的VIP客人的类的信息时，电子设备100可以使用第二VIP识别模型1010作为第三级别对象识别模型来标识对象的特征数据。例如，如果通过第一VIP识别模型1000将作为对象的客人分类为普通客人而不是预先注册的VIP客人的类的信息，则电子设备100可以使用年龄组识别模型910作为第三级别对象识别来标识对象的特征数据。
在一实施例中，如果客人被标识为VIP，则电子设备100可以通过将特定数据输入到第二VIP识别模型1010来标识个体VIP客人。第二VIP识别模型1010可以基于输入的对象的特征数据来输出关于客人的分类的结果信息。电子设备100可以基于从第二VIP识别模型1010中获得的结果信息，在预先注册的VIP客人中标识出谁是包括在对象图像中的客人。
第二VIP识别模型1010是与层级结构中的末端节点对应的模型，并且因此，电子设备100可以基于通过第二VIP识别模型1010获得的结果信息来确定操作。在一实施例中，电子设备100可以执行与标识出的预先注册的VIP客人对应的响应操作(例如，操作1020、1030、1040)。例如，如果对象被标识为第一VIP客人，则电子设备100可以执行操作，例如，显示关于与第一VIP客人对应的最近购买的产品的信息的操作(操作1020)。
在一实施例中，如果作为对象的客人被标识为普通客人，而不是VIP客人，则电子设备100可以通过将对象的特征数据输入到年龄组识别模型910来识别客人的年龄组，并执行与识别出的年龄组对应的操作。使用年龄组识别模型910的操作在以上参照图9进行了描述。
图11是根据实施例的示出当输入对象的图像时电子设备100基于每个对象识别模型可以分类的类数据附加地训练对象识别模型的实施例的流程图。
在操作S1110中，基于在操作模式是学习模式时通过相机获得新对象图像，电子设备100可以获得新对象的特征数据。电子设备100可以使用多个对象识别模型之一来获得新对象的特征数据。
电子设备100可以基于新对象的特征数据和关于多个对象识别模型的信息来确定多个对象识别模型中与新对象对应的对象识别模型。在操作S1120中，电子设备100可以获得新对象的特征数据和关于包括在存储在非易失性存储器120中的多个对象识别模型中的每一个中的类的数据之间的相似性。在操作S1130中，电子设备100可以在多个对象识别模型中标识并确定包括具有最高相似性的类的数据的对象识别模型作为与新对象对应的对象识别模型。
在操作S1140中，电子设备100可以基于新对象的特征数据训练与新对象对应的对象识别模型和可作为模型的较高级别连接的对象识别模型。电子设备100可以训练确定的对象识别模型以增加可以对对象进行分类的类的数量。具体地，电子设备100可以通过存储在非易失性存储器120中的操作模式数据标识可以作为与新对象对应的对象识别模型的较高级别连接的对象识别模型。电子设备100可以仅训练与新对象对应的对象识别模型和可以作为模型的较高级别连接的对象识别模型，而不是训练整个对象识别模型。
在一实施例中，电子设备100可以基于新对象的特征数据同时或在阈值时间内训练作为与新对象对应的对象识别模型的较高级别或较低级别可连接的对象识别模型。例如，如果与新对象对应的对象识别模型不是要设置在层级结构上的叶节点中的模型，则电子设备100可以通过操作模式数据标识可连接到与新对象对应的对象识别模型的、作为较高级别或较低级别可连接的对象识别模型，并基于对象的特征数据训练标识出的对象识别。
图12是根据实施例的示出由电子设备100基于新对象的特定数据训练由用户选择的对象识别模型的过程的流程图。
如果操作模式是学习模式，则在操作S1210中，电子设备100可以显示指示存储在易失性存储器130中的多个对象识别模型的UI。在指示多个对象识别模型的UI中，每个对象识别模型可以实现为图标或文本，但不限于此。在一实施例中，电子设备100可以显示指示多个个体识别模型的UI，但这仅仅是示例，并且电子设备100可以显示指示多个固定对象识别模型的UI。
在操作S1220中，当在通过相机获得新对象图像的同时通过UI从用户选择多个对象识别模型中与新对象对应的对象识别模型时，电子设备100可以将新对象图像输入到选择的对象识别模型以获得新对象的特征数据。在操作S1230中，如果从用户输入与新对象对应的类的名称，则电子设备100可以将获得的特征数据标识为输入了名称的与新对象对应的类的数据。例如，如果从用户选择标识回避目标的类型的模型，并且与新对象对应的类的名称被输入为“空气净化器”，则电子设备100可以通过选择的模型获得与新对象对应的数据，并将获得的数据标识为名为“空气净化器”的类的数据。
在操作S1240中，电子设备100可以训练选择的对象识别模型和作为选择的对象识别模型的较高级别可连接的对象识别模型。电子设备100可以通过操作模式数据标识作为选择的对象识别模型的较高级别可连接的对象识别模型，并基于关于与新对象对应的类的数据来训练选择的对象识别模型和标识的对象识别模型。
在一实施例中，如果选择的对象识别模型不是要放置在末端节点处的模型，则电子设备100可以经由操作模式数据标识可作为选择的对象识别模型的较高级别和较低级别连接的对象识别模型。电子设备100可以基于与新对象对应的类的数据来训练可以作为选择的对象识别模型的较高级别或较低级别连接的对象识别模型或者模型。
如本文所使用的，表述“具有”、“可以具有”、“包括”或“可以包括”可用于表示特征(例如，数值、功能、操作、部件的元件)的存在，并且不排除附加特征的存在。
如本文所使用的，表述“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”等包括所列项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”包括(1)至少一个A，(2)至少一个B，(3)至少一个A和至少一个B一起。
如本文所使用的，诸如“第一个”或“第一”以及“第二个”或“第二”的术语可以不考虑重要性或顺序来修饰对应的组件，并且用于将一个组件与另一个组件区分开来而不限制组件。
应当理解，一个元件(例如，第一元件)“与”另一元件(例如，第二元件)“可操作地或通信地耦合”/一个元件(例如，第一元件)“可操作地或通信地耦合到”另一元件(例如，第二元件)是指任何这样的元件可以直接连接到另一元件或者可以经由另一个元件(例如，第三元件)连接。另一方面，当一个元件(例如，第一元件)“直接连接”或“直接访问”到另一元件(例如，第二元件)时，可以理解在其他元件之间不存在其他元件(例如，第三元件)。
本文中，表述“配置为”可以与例如“适合于”、“具有……的能力”、“设计为”、“适应于”、“制造为”或“能够”可互换地使用。表述“配置为”不一定意味着硬件意义上的“专门设计为”。相反，在某些情况下，“配置为……的设备”可以指示这样的设备可以与另一设备或部件一起执行操作。例如，表述“被配置为执行A、B和C的处理器”可以指示用于执行对应操作的专用处理器(例如，嵌入式处理器)，或者可以通过执行存储在存储器设备中的一个或多个软件程序来执行对应操作的通用处理器(例如，CPU或AP)。
根据各种实施例的电子设备可以包括，例如，智能手机、平板PC、台式PC、膝上型PC、上网本计算机、工作站、服务器、PDA或可穿戴设备中的至少一个。在一些实施例中，电子设备可以包括，例如，电视、冰箱、空调、空气净化器、机顶盒、媒体盒(示例：SamsungHomeSyncTM、Apple TVTM或Google TVTM)。
如本文所使用的，术语“用户”可以指使用电子设备的人或者使用电子设备的装置(示例：人工智能电子装置)。
实施例可以被实现为包含存储在机器可读(例如，计算机可读)存储介质(例如，内部存储器或外部存储器)中的一个或多个指令的软件。处理器可以从存储介质中调用指令并且可根据被调用的指令进行操作，包括电子装置(例如，电子设备100)。当指令由处理器执行时，处理器可以使用其他组件直接或在处理器的控制下执行与指令对应的功能。指令可以包含由编译器做出的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，“非暂时性”是指存储介质不包含信号并且是有形的，但不区分数据是永久存储还是临时存储在存储介质中。例如，“非暂时性存储介质”可以包括其中数据是临时存储的缓冲器。
根据实施例，方法可以被提供为计算机程序产品的软件。计算机程序产品可以作为商品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘ROM(CD-ROM))的形式分发或者通过应用商店(例如，PlayStore)在线分发或者在两个用户设备(例如，智能手机)之间直接在线分发(例如，下载或上传)。在在线分发的情况下，计算机程序产品的至少一部分(例如，可下载的应用程序)可以临时或至少临时地存储在存储介质中，诸如制造商的服务器、应用商店中的服务器、或中继服务器中的存储器。
根据实施例的每个组件(例如，模块或程序)可以由一个或多个对象组成，并且可以省略上述子组件中的一些子组件，或者还可以在实施例中包括其他子组件。可替代地或附加地，一些组件(例如，模块或程序)可以被集成到一个实体中以执行在集成之前由每个相应组件执行的相同或相似的功能。根据实施例，由模块、程序或其他组件执行的操作可以顺序地、以并行、重复或启发式的方式执行，或者至少一些操作可以以不同的顺序执行、省略或可以添加其他操作。
虽然已经参照附图具体地示出和描述了实施例，但是提供实施例是为了说明的目的，并且本领域普通技术人员将理解，可以根据本公开做出各种修改和等效的其他实施例。因此，本公开的真实技术范围由所附权利要求的技术精神限定。

Claims (15)

1.一种电子设备，包括：
相机；
存储至少一个指令和多个对象识别模型的非易失性存储器；
易失性存储器；和
至少一个处理器，连接到所述非易失性存储器、所述易失性存储器和所述相机，并被配置为控制所述电子设备，
其中，通过执行所述至少一个指令，所述至少一个处理器被配置为：
基于所述电子设备的操作模式，将具有与所述操作模式对应的层级结构的层级对象识别模型加载到所述易失性存储器，所述层级对象识别模型包括所述多个对象识别模型中层级地布置在多个级别中的对象识别模型，
通过将通过所述相机获得的对象图像输入到所述层级对象识别模型来获得关于对象的信息，以及
基于关于所述对象的信息确定所述电子设备的操作。
2.如权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
基于将所述操作模式确定为第一操作模式，将所述多个对象识别模型中用于标识所述对象是否是回避目标的第一级别对象识别模型加载到所述易失性存储器，所述第一级别对象识别模型在所述多个级别中的所述层级对象识别模型中的第一级别处，以及
基于通过将所述对象图像输入到所述第一级别对象识别模型获得的所述对象的特征数据，标识所述对象是否是回避目标。
3.如权利要求2所述的电子设备，其中，所述至少一个处理器还被配置为：
基于将所述操作模式确定为第二操作模式，将所述多个对象识别模型中的所述第一级别对象识别模型和用于标识所述对象的类型的至少两个第二级别对象识别模型加载到所述易失性存储器，所述至少两个第二级别对象识别模型在比所述多个级别中的所述层级对象识别模型中的所述第一级别低的第二级别处，以及
基于所述对象是否是回避目标，在所述至少两个第二级别对象识别模型中标识来自所述第一级别对象识别模型的所述对象的特征数据将被输入到的至少一个第二级别对象识别模型。
4.如权利要求3所述的电子设备，其中，所述至少一个处理器还被配置为：通过将通过所述第一级别对象识别模型获得的所述对象的特征数据输入到所述至少一个第二级别对象识别模型来标识所述对象的类型。
5.如权利要求4所述的电子设备，其中，所述至少一个处理器还被配置为：基于标识出的所述对象的类型，控制所述电子设备以不同地执行与所述第二操作模式对应的操作。
6.如权利要求4所述的电子设备，其中，所述至少一个处理器还被配置为：
基于将所述操作模式确定为第三操作模式，将所述多个对象识别模型中的所述第一级别对象识别模型、所述至少一个第二级别对象识别模型和至少一个第三级别对象识别模型加载到所述易失性存储器，所述至少一个第三级别对象识别模型被加载在比所述多个级别中的所述层级对象识别模型中的所述第二级别低的第三级别处，并且能够识别人的面部。
7.如权利要求6所述的电子设备，其中，所述至少一个处理器还被配置为：基于通过所述至少一个第二级别对象识别模型将所述对象的类型标识为人，通过将人的所述特征数据输入到所述至少一个第三级别对象识别模型而标识所述对象图像中包括的人脸是否是预先注册的人脸。
8.如权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
基于将通过所述相机获得的新对象的图像作为所述对象图像，将所述操作模式确定为学习模式，
获得所述新对象的特征数据，
基于所述新对象的特征数据和关于所述多个对象识别模型的信息，在所述多个对象识别模型中确定与所述新对象对应的对象识别模型，以及
控制以基于所述新对象的特征数据来训练所述多个对象识别模型中的所述确定的对象识别模型和另一个对象识别模型，所述另一个对象识别模型作为所述多个级别中的所述层级对象识别模型中确定的对象识别模型的较高级别可连接。
9.如权利要求1所述的电子设备，还包括：
显示器，
其中，所述至少一个处理器还被配置为：
基于将所述操作模式确定为学习模式，控制所述显示器以显示指示所述多个对象识别模型的用户界面(UI)，
基于在将通过所述相机获得的新对象的图像作为所述对象图像的同时通过UI选择与所述新对象对应的对象识别模型，通过将所述新对象的图像输入到选择的对象识别模型来获得所述新对象的特征数据，
基于由用户输入与所述新对象对应的类的名称，将所述新对象的特征数据标识为输入了所述名称的与所述新对象对应的所述类的数据，以及
控制以基于与所述新对象对应的所述类的数据训练所述多个对象识别模型中的所述选择的对象识别模型和另一个对象识别模型，所述另一个对象识别模型作为所述多个级别中的所述层级对象识别模型中所述选择的对象识别模型的较高级别可连接。
10.一种控制电子设备的方法，所述电子设备包括易失性存储器和存储多个对象识别模型的非易失性存储器，所述方法包括：
基于所述电子设备的操作模式，将具有与所述操作模式对应的层级结构的层级对象识别模型加载到所述易失性存储器，所述层级对象识别模型包括所述多个对象识别模型中层级地布置在多个级别中的对象识别模型；
通过将通过相机获得的对象图像输入到所述层级对象识别模型来获得关于对象的信息；以及
基于关于所述对象的信息确定所述电子设备的操作。
11.如权利要求10所述的方法，其中，所述加载还包括：
基于将所述操作模式确定为第一操作模式，将所述多个对象识别模型中用于标识所述对象是否是回避目标的第一级别对象识别模型加载到所述易失性存储器，所述第一级别对象识别模型在所述多个级别中的所述层级对象识别模型中的第一级别处；以及
基于通过将所述对象图像输入到所述第一级别对象识别模型获得的所述对象的特征数据，标识所述对象是否是回避目标。
12.如权利要求11所述的方法，其中，所述加载还包括：
基于将所述操作模式确定为第二操作模式，将所述多个对象识别模型中的所述第一级别对象识别模型和用于标识所述对象的类型的至少两个第二级别对象识别模型加载到所述易失性存储器，所述至少两个第二级别对象识别模型在比所述多个级别中的所述层级对象识别模型中的所述第一级别低的第二级别处；以及
基于所述对象是否是回避目标，在所述至少两个第二级别对象识别模型中标识来自所述第一级别对象识别模型的所述对象的特征数据将被输入到的至少一个第二级别对象识别模型。
13.如权利要求12所述的方法，还包括：
通过将通过所述第一级别对象识别模型获得的所述对象的特征数据输入到所述至少一个第二级别对象识别模型来标识所述对象的类型。
14.如权利要求13所述的方法，其中，确定所述电子设备的所述操作还包括：
基于标识出的所述对象的类型，控制所述电子设备以不同地执行与所述第二操作模式对应的操作。
15.如权利要求15所述的方法，还包括：
基于通过所述至少一个第二级别对象识别模型将所述对象的类型标识为人，通过将人的所述特征数据输入到至少一个第三级别对象识别模型而标识所述对象图像中包括的人脸是否是预先注册的人脸。
CN202080072583.2A 2019-10-23 2020-10-08 电子设备和用于控制电子设备的方法 Active CN114586009B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962924853P 2019-10-23 2019-10-23
US62/924,853 2019-10-23
KR10-2019-0160075 2019-12-04
KR1020190160075A KR20210048385A (ko) 2019-10-23 2019-12-04 전자 장치 및 이의 제어 방법
PCT/KR2020/013711 WO2021080220A1 (en) 2019-10-23 2020-10-08 Electronic device and method for controlling the electronic device

Publications (2)

Publication Number Publication Date
CN114586009A true CN114586009A (zh) 2022-06-03
CN114586009B CN114586009B (zh) 2024-06-04

Family

ID=75585865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080072583.2A Active CN114586009B (zh) 2019-10-23 2020-10-08 电子设备和用于控制电子设备的方法

Country Status (4)

Country Link
US (1) US11651621B2 (zh)
EP (1) EP3973375A4 (zh)
CN (1) CN114586009B (zh)
WO (1) WO2021080220A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830859B (zh) * 2024-03-05 2024-05-03 农业农村部南京农业机械化研究所 基于图像处理的果树靶标自动识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998429A (zh) * 2018-01-05 2019-07-12 艾罗伯特公司 用于情境感知的移动清洁机器人人工智能
CN110013197A (zh) * 2019-04-16 2019-07-16 上海天诚通信技术股份有限公司 一种扫地机器人物体识别方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043075B2 (en) 2001-09-27 2006-05-09 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
US7680748B2 (en) 2006-02-02 2010-03-16 Honda Motor Co., Ltd. Creating a model tree using group tokens for identifying objects in an image
US8422781B2 (en) 2008-12-03 2013-04-16 Industrial Technology Research Institute Methods and systems for creating a hierarchical appearance model
US9710760B2 (en) 2010-06-29 2017-07-18 International Business Machines Corporation Multi-facet classification scheme for cataloging of information artifacts
KR101919831B1 (ko) 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
US20150078655A1 (en) 2013-09-18 2015-03-19 Canon Kabushiki Kaisha Devices, systems, and methods for large-scale linear discriminant analysis of images
JP6726442B2 (ja) 2014-06-30 2020-07-22 日本信号株式会社 ロボット装置
KR102380979B1 (ko) 2015-01-05 2022-04-01 삼성전자 주식회사 이미지의 메타데이터 관리 방법 및 장치
KR101904192B1 (ko) 2016-05-30 2018-10-05 한국과학기술원 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
KR102308871B1 (ko) 2016-11-02 2021-10-05 삼성전자주식회사 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치
US10528799B2 (en) 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
KR102063150B1 (ko) 2017-01-25 2020-01-07 엘지전자 주식회사 사람을 식별하여 대인 동작을 수행하는 방법 및 이를 구현하는 로봇
US11869237B2 (en) 2017-09-29 2024-01-09 Sony Interactive Entertainment Inc. Modular hierarchical vision system of an autonomous personal companion
US10579897B2 (en) 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
KR102254138B1 (ko) 2019-06-03 2021-05-21 삼성전자주식회사 객체 인식을 위한 전자 장치 및 그 제어 방법
WO2020246753A1 (en) 2019-06-03 2020-12-10 Samsung Electronics Co., Ltd. Electronic apparatus for object recognition and control method thereof
KR102298541B1 (ko) * 2019-07-23 2021-09-07 엘지전자 주식회사 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998429A (zh) * 2018-01-05 2019-07-12 艾罗伯特公司 用于情境感知的移动清洁机器人人工智能
CN110013197A (zh) * 2019-04-16 2019-07-16 上海天诚通信技术股份有限公司 一种扫地机器人物体识别方法

Also Published As

Publication number Publication date
CN114586009B (zh) 2024-06-04
WO2021080220A1 (en) 2021-04-29
US11651621B2 (en) 2023-05-16
EP3973375A1 (en) 2022-03-30
US20210124909A1 (en) 2021-04-29
EP3973375A4 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
CN111557012B (zh) 跨传感器预测性推断
US11218429B2 (en) Electronic device and method for changing chatbot
US20200242771A1 (en) Semantic image synthesis for generating substantially photorealistic images using neural networks
US20200242736A1 (en) Method for few-shot unsupervised image-to-image translation
CN108431809A (zh) 使用语义含义向量的跨语言搜索
US20210263963A1 (en) Electronic device and control method therefor
KR20200046188A (ko) 인공 지능 모델을 재구성하기 위한 전자 장치 및 그의 제어 방법
US20190228294A1 (en) Method and system for processing neural network model using plurality of electronic devices
CN112424768A (zh) 电子设备及其控制方法
CN109154945A (zh) 基于数据属性的新连接推荐
US20240095143A1 (en) Electronic device and method for controlling same
CN110168591A (zh) 确定行业相似性以增强职位搜索
EP4040320A1 (en) On-device activity recognition
KR20190119547A (ko) 카트 로봇
CN116992008B (zh) 知识图谱多跳问答推理方法、装置和计算机设备
KR102398386B1 (ko) 복수 개의 메시지들을 필터링하는 방법 및 이를 위한 장치
KR20230169016A (ko) 전자 장치 및 그의 제어방법
CN114586009B (zh) 电子设备和用于控制电子设备的方法
US11586942B2 (en) Granular binarization for extended reality
US11468270B2 (en) Electronic device and feedback information acquisition method therefor
CN113795880A (zh) 电子设备及其控制方法
Yu et al. Robust spatial-temporal deep model for multimedia event detection
KR20210048385A (ko) 전자 장치 및 이의 제어 방법
US9892462B1 (en) Heuristic model for improving the underwriting process
KR102158989B1 (ko) 기억 모델을 형성하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant