CN113906438A - 用于对象标识的电子设备及其控制方法 - Google Patents

用于对象标识的电子设备及其控制方法 Download PDF

Info

Publication number
CN113906438A
CN113906438A CN202080040876.2A CN202080040876A CN113906438A CN 113906438 A CN113906438 A CN 113906438A CN 202080040876 A CN202080040876 A CN 202080040876A CN 113906438 A CN113906438 A CN 113906438A
Authority
CN
China
Prior art keywords
artificial intelligence
information
electronic device
processor
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080040876.2A
Other languages
English (en)
Inventor
金恩曙
金叡薰
徐钻源
罗麟鹤
严明镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190122580A external-priority patent/KR102254138B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113906438A publication Critical patent/CN113906438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/383Indoor data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及了一种电子设备。该电子设备包括传感器、相机、存储器、相机和处理器。存储器存储被训练为识别对象的多个人工智能模型,并存储关于地图的信息。第一处理器向第二处理器提供关于区域的区域信息,所述区域是基于从传感器获得的感测数据,从在地图中所包括的多个区域中确定的电子设备位于的区域。第二处理器基于区域信息将多个人工智能模型中的至少一个人工智能模型加载到易失性存储器,并且通过将通过相机获得的图像输入到加载的人工智能模型来识别对象。

Description

用于对象标识的电子设备及其控制方法
技术领域
本公开涉及用于对象标识的电子设备。更具体地,本公开涉及一种被配置为使用与电子设备的位置相对应的人工智能模型来执行对象标识的电子设备。
背景技术
最近,随着人工智能模型被用于对象标识技术,电子设备的对象标识能力已经大大提高。
然而,随着更先进的形式的人工智能模型被用于更精确地标识更多的对象,执行的处理量成比例地增加,并且电子设备需要非常大的存储器容量或存储器速度。
因此,通过简单地仅改进人工智能模型本身的功能,在克服用户装置的对象标识能力方面存在局限性,特别是在存储器、处理能力和通信能力方面。
发明内容
技术问题
本公开提供了一种被配置为使用与电子设备的位置相对应的人工智能模型来执行对象标识的电子设备及其操作方法。
本公开涉及一种通过选择性地仅使用适合情况的人工智能模型来执行高效对象标识的电子设备。
更具体地,本公开提供了一种能够标识各种类型的对象的电子设备,而与其有限的处理能力相比,它能够相对快速地标识对象。
技术方案
附加的方面将在下面的描述中部分阐述,并且部分将从描述中显而易见,或者可以通过所呈现的实施例的实践来了解。
根据本公开的一个方面,一种电子设备包括:传感器;相机;储存器,用于存储被训练为识别对象的多个人工智能模型,并用于存储关于地图的信息;第一处理器,被配置为控制电子设备;以及第二处理器,被配置为标识对象,其中,第一处理器被配置为基于从传感器获得的感测数据,从在地图中所包括的多个区域中确定电子设备位于的区域,并且向第二处理器提供关于所确定的区域的区域信息,并且其中第二处理器包括易失性存储器,并且被配置为:基于由第一处理器提供的区域信息,将存储在储存器中的多个人工智能模型中的人工智能模型加载到易失性存储器,以及将通过相机获得的图像输入到加载的人工智能模型以识别对象。
多个人工智能模型中的每个人工智能模型可以包括卷积层和被训练为基于从卷积层提取的特征信息来识别对象的全连接层(fully-connected layer)的全连接层。卷积层可以是多个人工智能模型中的公共层,并且第二处理器可以还被配置为将与所确定的区域的人工智能模型的卷积层和全连接层加载到易失性存储器。
这里,多个人工智能模型可以包括与多个区域中的第一区域相对应的第一模型和与多个区域中的第二区域相对应的第二模型。并且,第二处理器还可以被配置为基于电子设备位于第一区域将与第一模型相对应的全连接层和卷积层加载到易失性存储器,并且基于电子设备位于第二区域将与第二模型相对应的全连接层和卷积层加载到易失性存储器。
关于地图的信息可以包括关于多个区域的结构的信息。并且,第一处理器还可以被配置为将关于结构的信息与从传感器获得的感测数据比较,以从多个区域中确定电子设备位于的区域。
第一处理器还可以被配置为基于从传感器获得的感测数据来获得关于电子设备位于的地方的结构的信息。在这样的情况下,第一处理器可以基于所获得的关于结构的信息将地点划分为多个区域,并且生成关于地图的信息并将生成的关于地图的信息存储在储存器中,所述关于地图的信息包括关于所划分的多个区域的每个区域的结构的信息。
第二处理器还可以被配置为当电子设备位于多个区域中的特定区域时,将通过相机获得的图像输入到所存储的多个人工智能模型中的至少一个人工智能模型,以识别存在于特定区域中的对象。并且,第二处理器可以向第一处理器提供关于所识别的对象的信息。在这样的情况下,第一处理器可以基于所提供的关于所识别的对象的信息,获得与特定区域相对应的人工智能模型。
这里,所存储的多个人工智能模型中的每个人工智能模型可以包括卷积层和被训练为基于从卷积层提取的特征信息来识别多个对象的全连接层。并且,第一处理器可以基于多个对象中的第一对象基于关于存在于第一区域中的对象的信息被识别为存在于第一区域,获得包括卷积层和被训练为识别第一对象的全连接层的第一部分的第一模型。并且,第一处理器可以基于多个对象中的第二对象基于关于存在于第二区域中的对象的信息被识别为存在于第二区域,获得包括卷积层和被训练为识别第二对象的全连接层的第二部分的第二模型。
当电子设备位于多个区域中的区域时,第二处理器可以将通过相机获得的图像输入到加载到易失性存储器以识别在区域处存在的对象的多个人工智能模型中的至少一个人工智能模型,并且向第一处理器提供关于所识别的对象的信息。并且,第一处理器可以基于从第二处理器提供的关于所识别的对象的信息来更新与区域相对应的人工智能模型。
在这样的情况下,存储器可以存储关于多个区域的每个区域处存在的对象的信息。
这里,第一处理器可以基于存储在储存器中的关于多个区域的每个区域处存在的对象的信息,从多个区域中确定存在于区域中的至少一个对象。并且,第一处理器可以基于从第二处理器提供的关于所识别的对象的信息,从所确定的至少一个对象中确定在区域中未被识别的对象,以及通过从与区域相对应的人工智能模型中移除被训练为识别所确定的未识别对象的部分来更新与区域相对应的人工智能模型。
另一方面,第一处理器可以基于存储在储存器中的多个区域的每个区域处存在的对象的信息,确定区域中存在的至少一个对象。在这样的情况下,第一处理器可以基于从第二处理器提供的关于所识别的对象的信息,确定所识别的对象是否不被包括在存在于区域中的至少一个所确定的对象中,以及基于所识别的对象被确定为不被包括在所确定的存在于该区域中的至少一个对象中,将用于识别所识别的对象的训练部分添加到与区域相对应的人工智能模型中,以更新与区域相对应的人工智能模型。
根据本公开的另一方面,一种电子设备包括:相机;传感器;储存器,用于存储被训练为识别对象的多个人工智能模型,并用于存储关于地图的信息;以及处理器,被配置为控制电子设备,其中所述处理器包括易失性存储器,并且其中所述处理器被配置为:基于从所述传感器获得的感测数据,从在地图中所包括的多个区域中确定电子设备位于的区域,基于所确定的区域,从存储在储存器中的多个人工智能模型中加载人工智能模型,以及将通过所述相机获得的图像输入到加载的人工智能模型以识别对象。
根据本公开的另一方面,一种使用对象标识模型的电子设备的控制方法包括:基于存储在电子设备的存储器中的关于地图的信息来识别地图中包括的多个区域;基于从传感器获得的感测数据,从多个区域中确定电子设备位于的区域;基于所确定的区域,将存储在存储器中的多个人工智能模型中的人工智能模型加载到易失性存储器;以及通过将通过相机获得的图像输入到加载的人工智能模型来识别对象。
多个人工智能模型中的每个人工智能模型可以包括卷积层和被训练为基于从卷积层提取的特征信息来识别对象的全连接层。这里,卷积层可以是多个人工智能模型中的公共层,全连接层可以是单独提供给多个人工智能模型中的每个人工智能模型的层。在这样的情况下,加载到易失性存储器包括:基于电子设备位于多个区域中的第一区域,将与多个人工智能模型的第一模型相对应的全连接层和卷积层加载到易失性存储器,以及基于电子设备位于多个区域中的第二区域,将与多个人工智能模型的第二模型相对应的全连接层和卷积层加载到易失性存储器。
关于地图的信息包括关于多个区域的每个区域的结构的信息。这里,确定电子设备位于的区域可以包括将关于结构的信息与从传感器获得的感测数据进行比较,以从多个区域中确定电子设备位于的区域。
所述控制方法还可以包括:基于从传感器获得的感测数据获得关于电子设备位于的地点的结构的信息;基于所获得的关于结构的信息将该地点划分为多个区域;以及生成关于地图的信息并将生成的关于地图的信息存储在储存器中,所述关于地图的信息包括关于所划分的多个区域的每个区域的结构的信息。
这里,控制方法可以进一步包括:当电子设备位于多个区域中的特定区域时,将通过相机获得的图像输入到所存储的人工智能模型中的至少一个人工智能模型,以识别存在于特定区域中的对象,并且基于关于所识别的对象的信息获得与特定区域相对应的人工智能模型。
在这样的情况下,所存储的多个人工智能模型中的每个人工智能模型可以包括卷积层和被训练为基于从卷积层提取的特征信息来识别多个对象的全连接层。并且,获得人工智能模型可以包括,基于多个对象中的第一对象基于关于存在于第一区域中的对象的信息被识别为存在于第一区域,获得包括卷积层和被训练为识别全连接层的第一对象的全连接层的第一部分的第一模型,以及基于多个对象中的第二对象基于关于存在于第二区域中的对象的信息被识别为存在于第二区域,获得包括卷积层和被训练为识别第二对象的全连接层的第二部分的第二模型。
所述控制方法还可以包括:当电子设备位于多个区域中的区域时,将通过所述相机获得的图像输入到加载到易失性存储器中以识别在区域处存在的对象的所述多个人工智能模型中的至少一个人工智能模型,并基于关于所识别的对象的信息来更新与区域相对应的人工智能模型。
并且,储存器可以存储关于多个区域的每个区域处存在的对象的信息。
在这样的情况下,更新人工智能模型可以包括,基于存储在储存器中的关于多个区域的每个区域处存在的对象的信息,从多个区域中确定存在于区域中的至少一个对象,基于关于所识别的对象的信息,从所确定的至少一个对象中确定在区域中未被识别的对象,以及从与区域相对应的人工智能模型中移除被训练为识别所确定的未识别的对象的部分。
另一方面,更新人工智能模型可以包括,基于存储在储存器中的关于多个区域的每个区域处存在的对象的信息,确定存在于区域中的至少一个对象,基于关于所识别的对象的信息,确定所识别的对象是否不被包括在存在于区域中的所确定的至少一个对象中,以及基于所识别的对象被确定为不被包括在存在于区域中的至少一个所确定的对象中,将被训练为识别所识别的对象的部分添加到与区域相对应的人工智能模型中。
根据本公开的另一方面,一种电子设备包括:储存器;以及至少一个处理器,包括易失性存储器,并且被配置为:基于所确定的区域,从被包括在地图中的多个区域中确定电子设备位于的区域,从存储在储存器中的多个人工智能模型中加载与所确定的区域相对应的人工智能模型,以及将通过相机获得的图像输入到加载的人工智能模型以识别对象。
有益效果
本文描述的电子设备和电子设备的控制方法不仅可以使用所有人工智能模型来标识各种类型的对象,而且还具有快速准确地标识对象的效果。
具体地,因为根据一个或多个实施例的电子设备和控制方法选择性地仅加载适合于电子设备位于的区域的人工智能模型以用于对象标识,所以根据一个实施例的电子设备和控制方法的优点在于,通过仅处理相对少量,可以在非常短的时间段内标识许多类型的对象。
根据一个或多个实施例的电子设备和控制方法的优点还在于,可以根据情况更新每个区域的人工智能模型,以快速保持或进一步提高对象标识率。
根据一个或多个实施例的电子设备不仅能够不考虑与服务器的通信而仅使用自存储的人工智能模型来执行大范围类型的对象标识,而且优点在于,尽管处理能力有限,但是相对快速的对象标识也是可能的。
附图说明
结合附图,从以下描述中,本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显,附图中:
图1是示出根据实施例的使用针对每个区域(例如,客厅和厨房)的不同人工智能模型来识别对象的电子设备的示例的图;
图2是示出根据实施例的电子设备的配置的框图;
图3a是示出从多个区域中确定电子设备位于的区域的电子设备的实施例的图;
图3b是示出从多个区域中确定电子设备位于的区域的电子设备的实施例的图;
图4是示出存储在电子设备的储存器中的多个人工智能模型的示例的表格的图;
图5是示出从由卷积层和全连接层组成的多个人工智能模型中选择性地加载与所确定的区域相对应的人工智能模型的具体示例的图;
图6a是示出通过LiDAR传感器生成第一维度地图的电子设备的示例的图;
图6b是示出使用识别墙壁、门等的结果将第一维度地图划分为多个区域的电子设备的示例的图;
图6c是示出标识每个划分区域中的对象以识别在所识别的多个区域的每个区域中使用的电子设备的示例的图;
图6d是示出通过与外部设备的通信来识别所划分的多个区域的每个区域的目标的电子设备的示例的图;
图7a是示出使用位于多个区域的每个区域中的对象来获得与多个区域的每个区域相对应的人工智能模型的电子设备的示例的图;
图7b是示出使用位于多个区域的每个区域中的对象来获得与多个区域的每个区域相对应的人工智能模型的电子设备的示例的图;
图7c是示出使用位于多个区域的每个区域中的对象来获得与多个区域的每个区域相对应的人工智能模型的电子设备的示例的图;
图8a是示出在位于多个区域中的一个区域的对象被识别为不再位于相关的区域的情况下,电子设备更新与相关的区域相对应的人工智能模型的示例的图;
图8b是示出在位于多个区域中的一个区域的对象被识别为不再位于相关的区域的情况下,电子设备更新与相关的区域相对应的人工智能模型的示例的图;
图8c是示出在位于多个区域中的一个区域的对象被识别为不再位于相关的区域的情况下,电子设备更新与相关的区域相对应的人工智能模型的示例的图;
图9a是示出在新对象被识别为被添加到多个区域中的一个区域的情况下,电子设备更新与相关的区域相对应的人工智能模型的示例的图;
图9b是示出在新对象被识别为被添加到多个区域中的一个区域的情况下,电子设备更新与相关的区域相对应的人工智能模型的示例的图;
图9c是示出在新对象被识别为被添加到多个区域中的一个区域的情况下,电子设备更新与相关的区域相对应的人工智能模型的示例的图;
图10是示出根据各种实施例的电子设备的配置的框图;
图11是示出基于与包括服务器设备和外部终端设备的外部设备的通信来执行对象标识的电子设备的各种实施例的图;
图12a是示出包括处理器的电子设备的配置的框图;
图12b是示出包括处理器的电子设备的配置的框图;
图13是示出根据实施例的电子设备的控制方法的流程图;
图14是示出根据实施例的生成关于地图的信息,并且识别存在于多个区域的每个区域中的对象,以获得与多个区域的每个区域相对应的人工智能模型的电子设备的控制方法的实施例的流程图;和
图15是示出根据实施例的根据识别存在于多个区域的每个区域中的对象的结果来更新与多个区域的每个区域相对应的人工智能模型的电子设备的控制方法的示例的算法的图。
具体实施方式
在描述以下实施例之前,描述了本公开和附图的描述方法。
首先,本公开中使用的术语是考虑到本公开的各种实施例的功能而识别的通用术语。然而,这些术语可以根据相关领域技术人员的意图、法律或技术解释、新技术的出现等而变化。此外,申请人可以选择一些任意术语。这些术语可以基于本文定义的含义来解释,并且在没有描述该术语的具体定义的情况下,可以基于本公开的整体内容和相关领域技术人员的技术常识来解释。
此外,在本文所附的每个附图中公开的相同的附图标记或字符指示执行基本相同功能的组件或元件。为了便于描述和理解,相同的附图标记或字符可用于描述不同的实施例。也就是说,即使在所有多个附图中示出了具有相同附图标记的元件,多个附图也不一定仅指一个实施例。
此外,包括诸如“第一”和“第二”的序数的术语可用于区分本公开中的元件。这些序数仅用于区分相同或相似的元件,不应理解为由于使用这些序数而限制了术语的含义。例如,与序数相关联的元件不应该在顺序或数字的使用顺序上受到限制。如有必要,每个序数可以互换使用。
本公开中的单数表达包括复数表达,除非上下文中另有明确说明。应当理解,诸如“包括”或“由…组成”的术语在本文中用于表示特征、数字、步骤、操作、元件、组件或其组合的存在,并且不排除添加一个或多个其他特征、数字、步骤、操作、元件、组件或其组合的存在或可能性。
在说明书中,诸如“模块”、“单元”和“部分”的术语可以用来指执行至少一个功能或操作的元件,并且这些元件可以实现为硬件或软件,或者硬件和软件的组合。此外,除了当多个“模块”、“单元”、“部件”等中的每一个需要在单独的硬件中实现时,组件可以集成在至少一个模块或芯片中,并且可以在至少一个处理器中实现。
此外,在实施例中,当任何部分被指示为连接到其他部分时,这不仅包括直接连接,还包括通过其他介质的间接连接。此外,当特定部分包括特定元件时,可以进一步包括另一元件,而不是排除该另一元件,除非另有说明。
图1是示出根据实施例的使用针对每个区域(例如,客厅和厨房)的不同人工智能模型来识别对象的电子设备的示例的图。
图1示出了根据实施例的实现为机器人清洁器的电子设备10的对象标识过程。图1示出了用于标识诸如电视(TV)、沙发、床、壁橱、衣服、异物、椅子、水槽和空调等各种对象的多个人工智能模型存储在电子设备10的非易失性存储器或储存器中的情况。
参考图1,作为机器人清洁器的电子设备10可以在拍摄各种对象的图像的地图1上的区域1-1、1-2和1-3周围移动,并且可以将拍摄的图像输入到多个人工智能模型以标识图像内的对象。
在这样的情况下,电子设备10的易失性存储器的容量或处理速率可能不足以使电子设备10加载存储在诸如储存器的非易失性存储器中的多个人工智能模型并执行对象标识。
因此,电子设备10可以从地图1上的区域确定电子设备10位于的区域,并且从存储的多个人工智能模型中仅将与电子设备10位于的区域相对应的人工智能模型加载到易失性存储器,以标识拍摄的对象的图像中的对象。
为此,为不同区域存储的多个人工智能模型中的每个人工智能模型可以预先存储在电子设备10中。
例如,参考图1中的表(2),客厅模型2-1可以标识通常位于客厅中的空调、电视等。另一方面,客厅模型2-1可能无法标识通常不位于客厅中的冰箱、床等。
此外,参考表(2),卧室模型2-2在标识空调、电视、床等时可能无法标识冰箱。
因此,如果电子设备10位于客厅1-1中,则电子设备10可以选择性地从存储的多个人工智能模型中的仅将客厅模型2-1加载到处理器的易失性存储器中,以标识空调、电视等,并使用加载的客厅模型2-1对从客厅1-1拍摄的图像中的对象执行标识。
另一方面,如果电子设备10位于卧室1-2中,则电子设备10可以选择性地从存储的多个人工智能模型中仅将卧室模型2-2加载到处理器的易失性存储器中,以标识空调、电视、床等,并使用加载的卧室模型2-2对从卧室1-2拍摄的图像中的对象执行标识。
下面更详细地描述根据各种实施例的电子设备10、100的配置和操作。
图2是示出根据实施例的电子设备100的配置的框图。
参考图2,电子设备100可以包括传感器110、相机120、储存器130、第一处理器140-1和第二处理器140-2。电子设备100可以是设置有移动机构或装置、或是能够连接和拆卸移动装置的辅助装置的移动机器人。电子设备100可以被实现为各种类型的可穿戴设备。此外,电子设备100可以被实现为各种终端设备,诸如智能手机、平板个人计算机(PC)、笔记本PC等。
作为用于确定电子设备100的位置的配置,传感器110可以被实现为光检测和测距(light detection and ranging,LiDAR)传感器、超声波传感器等,但不限于此。
相机120是用于获得或捕获电子设备100周围的一个或多个图像的配置。相机120可以被实现为红/绿/蓝(RGB)相机、三维(3D)相机等。
储存器130是用于可变地存储与电子设备100的功能相关的各种信息的配置。储存器130可以被实现为诸如硬盘、固态驱动器(solid state drive,SSD)和闪存(例如,或非型闪存(NOR-type flash memory)或与非型闪存(NAND-type flash memory))的非易失性存储器。
储存器130可以存储有关于地图的信息131。地图可以指指示操作电子设备100的地方的物理地形的数据。虽然地图可以图像形式存储在储存器130上,但是应当理解,一个或多个其他实施例不限于此。
关于地图的信息或者地图本身可以包括操作电子设备100的地方的地形信息。还可以包括地图中包括的多个区域的每个区域的区域信息、与地图相关的附加信息等。
地形信息可以包括关于地点的结构(例如,形状和/或大小)的信息、被包括在空间中的多个区域的每个区域的结构(例如,形状和/或大小)的信息、关于多个区域的每个区域的地点内的位置的信息等。
区域信息可以指用于识别多个区域的每个区域的信息。区域信息可以由指示多个区域的每个区域的标识名称、标识号等组成或包括指示多个区域的每个区域的标识名称、标识号等。此外,区域信息可以包括关于多个区域的每个区域的使用的信息,并且根据区域信息的多个区域的每个区域可以被定义为例如,客厅、浴室、卧室等。
附加信息可以包括关于地点(例如,家、工作地、健身房等)、位置、名称、用户等,以及在多个区域的每个区域通过相机120获得的图像数据的使用的信息。
储存器130可以存储一个或多个人工智能模型132。具体地,根据实施例,被训练为识别对象的多个人工智能模型132可以被存储在储存器130中。例如,被训练为识别输入图像中包括的对象的人工智能模型可以以多个存储。
识别对象可以理解为获得关于对象的信息,诸如对象的名称和类型。在这样的情况下,关于对象的信息可以是关于由识别的相关的对象的多个人工智能模型输出的识别的对象的信息。
第一处理器140-1可以与传感器110和储存器130连接,以控制电子设备100。此外,第一处理器140-1可以作为主处理器连接到第二处理器140-2,以控制第二处理器140-2。
第二处理器140-2可以连接到相机120、储存器130和第一处理器140-1,以执行对象标识功能。
参考图2,第一处理器140-1可以从地图中包括的多个区域中确定电子设备100位于的区域(操作S110)。具体地,第一处理器140-1可以使用由多个区域划分的关于地图的信息来识别地图中包括的多个区域,并且使用通过传感器110获得的感测数据来从地图上的多个区域中确定电子设备100位于的区域。
第一处理器140-1可以将关于所确定区域的区域信息传送到连接到第一处理器140-1的第二处理器140-2(操作S120)。第一处理器140-1可以电信号或数据的形式将区域信息传送到第二处理器140-2。
第二处理器140-2可以基于从第一处理器140-1传送的区域信息,将存储在储存器130中的多个人工智能模型132中的至少一个人工智能模型(即,模型1、模型2)加载到易失性存储器145。具体地,第二处理器140-2可以从多个人工智能模型132中加载与所确定区域相对应的人工智能模型。
在这样的情况下,第二处理器140-2可以使用存储在储存器130中的多个人工智能模型132和多个区域之间的逻辑映射信息来识别和加载映射到所确定的区域的人工智能模型。
逻辑映射信息可以是用于将一个或多个人工智能模型映射到多个区域的每个区域中的信息。逻辑映射信息可以包括关于用于从指示多个区域的每个区域的信息中输出指示多个人工智能模型132中的至少一个的信息的参数的信息。逻辑映射信息可以包括关于与存储在储存器130中的每个区域相对应的人工智能模型的地址的信息。
逻辑映射信息可以由用户预设,和/或可以由第一处理器140-1生成和存储,第一处理器140-1根据例如下面描述的图7a至图7c的实施例获得与多个区域的每个区域相对应(映射)的人工智能模型。此外,基于根据例如下面描述的图8a至图8c和图9a至图9c的实施例的与多个区域的每个区域相对应的人工智能模型的更新的结果,逻辑映射信息也可以被更新。
第一处理器140-1可以使用所确定区域上的逻辑映射信息来识别与所确定区域相对应的人工智能模型。当(或基于)关于所识别的人工智能模型的信息被传送到第二处理器140-2时,第二处理器140-2可以加载相应的人工智能模型。
第二处理器140-2可以将通过相机120获得的图像输入到加载的人工智能模型以识别对象(操作S140)。在这样的情况下,第二处理器140-2可以使用加载模型的输出来识别被包括在通过相机120获得的图像中的对象。
因此,因为第二处理器140-2可以从存储在储存器130中的多个人工智能模型132中仅加载与所确定区域相对应的人工智能模型以用于对象标识,所以可以在第二处理器140-2的处理能力内执行相对准确和快速的对象标识。
在这点上,如果电子设备100位于的区域改变,则在加载与改变的区域相对应的不同人工智能模型以执行对象标识时,第二处理器140-2可以在改变位置之前从易失性存储器145移除加载在易失性存储器145中的人工智能模型。也就是说,第二处理器140-2至少可以从多个人工智能模型132中仅加载电子设备100位于的每个区域所需的人工智能模型,并使用人工智能模型。
第一处理器140-1和第二处理器140-2可以实现为一个处理器或多个处理器来执行操作。
具体地,参考图2,包括第一处理器140-1和第二处理器140-2的处理器141可以从地图上的多个区域中确定电子设备100位于的区域,基于区域信息加载多个人工智能模型132中的至少一个模型,并且使用加载的模型来识别通过相机120获得的图像中的对象。
图3a和图3b是示出从多个区域中识别电子设备100位于的区域的电子设备100的示例的图。
第一处理器140-1可以使用存储在储存器130中的关于地图的信息和感测数据来确定电子设备100位于的区域。
作为具体示例,如果传感器110是LiDAR传感器,则第一处理器140-1可以比较从传感器110接收到的感测数据和存储在储存器130中的关于地图的信息,以确定电子设备100位于的区域。
感测数据可以包括关于电子设备100周围的结构的信息。关于周围结构的信息可以包括关于结构化对象或周围事物的形状和/或大小的信息。
在这样的情况下,第一处理器140-1可以将感测数据中包括的关于电子设备100周围的结构(即,形状和/或尺寸)的信息与地图信息中包括的地图上的多个区域的每个区域的结构(即,形状和/或尺寸)的信息进行比较,以从地图上的多个区域中确定电子设备100位于的区域。
参考图3a,实现为机器人清洁器的电子设备100可以使用从实现为LiDAR传感器的传感器110接收到的感测数据,基于距周围结构化对象的距离或距对象中每个点(或多个点中的每个点)的距离来识别周围结构301。此外,电子设备100可以在地图300上识别与所识别的周围结构301一致的点,以确定电子设备100在地图300上的位置。电子设备100可以使用所确定的位置以及地图300上的多个区域300-10、300-20、300-30和300-40中的每个区域的位置来确定电子设备100是否位于多个区域300-10、300-20、300-30和300-40中的厨房300-30中。
第一处理器140-1还可以使用通过相机120获得的关于周围图像的数据来确定电子设备100位于多个区域中的哪个区域。
例如,如果关于地图的信息包括关于多个区域的每个区域的三维(3D)图像的数据,则第一处理器140-1可以使用被包括在关于地图的信息中的多个区域的每个区域的图像与通过实现为3D相机的相机120获得的3D图像进行比较的结果来确定电子设备100位于的区域。
参考图3b,实现为机器人清洁器的电子设备100可以将通过相机120获得的图像302与存储在储存器130中的多个区域300-10、300-20、300-30和300-40的内部图像进行比较,以确定电子设备100是否位于卧室300-20中。
可选地,第一处理器140-1还可以从电子设备100位于的区域识别通过相机120获得的图像中的一个或多个对象,以确定电子设备100位于的区域。
作为具体示例,第一处理器140-1可以将通过相机120拍摄的图像从电子设备100所在的区域输入到存储的多个人工智能模型132中的至少一个人工智能模型,以识别图像中的对象。如果所识别的对象是沙发和电视,则第一处理器140-1可以使用每个区域一个或多个对象的预设信息来识别沙发和电视与“客厅”相对应。
此外,第一处理器140-1可以使用包括惯性传感器、加速度传感器等的传感器110来确定电子设备100在地图300上位于的点,以及从地图上的多个区域中确定包括所确定的点的区域作为电子设备100位于的区域。
第一处理器140-1确定电子设备100位于的区域的过程不限于上述实施例,并且可以通过各种其他方法来执行。
图4是示出存储在电子设备100的储存器130中的多个人工智能模型的示例的表格的图。
参考图4,在储存器130中,可以存储一个或多个训练的人工智能模型,诸如训练为识别空调的空调模型401和训练为识别冰箱的冰箱模型402,以分别识别相应的对象。
在储存器130中,可以存储被训练为识别多个对象的一个或多个人工智能模型。参考图4,存储在储存器130中的多个人工智能模型的卧室模型410可以是能够识别诸如空调、电视、床、椅子、杯子和玻璃瓶的对象的模型。参考图4,存储在储存器130中的多个人工智能模型中的厨房模型430可以是能够识别诸如空调、冰箱、椅子、杯子、玻璃瓶和盘子等对象的模型。
当第一处理器140-1确定电子设备100位于卧室中时,第二处理器140-2可以将卧室模型410加载到易失性存储器145中。另一方面,如果第一处理器140-1确定电子设备100位于厨房中,则第二处理器140-2可以将厨房模型430加载到易失性存储器145中。
尽管图4示出了被训练为识别与“家”相关的对象的人工智能模型401、402以及存储为与“家”中的多个区域的每个区域相对应的人工智能模型401、402、430、440...,人工智能模型用于识别被包括在除了家之外的各个地点(即,图书馆、博物馆、广场、运动场等)的一个或多个对象,和被存储为与被包括在除了家之外的地点的多个区域的每个区域相对应的多个人工智能模型。
存储在储存器130中的人工智能模型可以由多个神经网络层组成或包括多个神经网络层。每个层可以包括多个加权值,并且通过先前层的计算结果和多个加权值的计算来执行该层的计算。神经网络的示例可以包括卷积神经网络(convolutional neuralnetwork,CNN)、深度神经网络(deep neural network,DNN)、递归神经网络(recurrentneural network,RNN)、受限玻尔兹曼机(restricted Boltzmann machine,RBM)、深度信念网络(deep belief network,DBN)、双向递归深度神经网络(bidirectional recurrentdeep neural network,BRDNN)和深度Q网络。此外,除非另有说明,否则本公开中的神经网络不限于上述示例。
人工智能模型可以由基于本体的数据结构组成或包括基于本体的数据结构,其中各种概念、条件、关系或约定的知识以计算机可处理的形式表示。
存储在储存器130中的人工智能模型可以通过电子设备100或单独的服务器/系统通过各种学习算法来训练。学习算法可以是训练预定目标设备(例如,机器人)的方法,使得预定目标设备能够使用多个训练数据自行确定或预测。学习算法的示例可以包括监督学习、无监督学习、半监督学习或强化学习。应当理解,除非另有说明,否则本公开中的学习算法不限于上述示例。
人工智能模型的形式/类型不限于上述示例。
存储在储存器130中的多个人工智能模型中的每个人工智能模型可以包括卷积层和被训练为基于通过卷积层提取的特征信息来识别至少一个对象的全连接层。
在这样的情况下,卷积层可以是存储在储存器130中的多个人工智能模型132中的公共层,并且全连接层可以是单独提供给多个人工智能模型132中的每个人工智能模型的层。
组成或包括在多个人工智能模型中的每个全连接层可以是被训练为根据卷积层输出的特征信息来识别至少一个对象的层。在这样的情况下,每个全连接层也可以输出每个对象的相关图像中包括的至少一个对象的概率值。
作为使用包括卷积层和全连接层的人工智能模型来执行对象标识的电子设备100的具体示例,第二处理器140-2可以将通过相机120获得的图像输入到卷积层。当通过卷积层输出的特征信息然后被输入到全连接层时,第二处理器140-2可以使用通过全连接层输出的数据来获得预定对象被包括在图像中的概率。
当将获得的概率与阈值进行比较时,第一处理器140-1和第二处理器140-2可以基于获得的概率大于阈值来识别预定对象被包括在输入图像中。
图5是示出从由卷积层和全连接层组成或包括卷积层和全连接层的多个人工智能模型中选择性地加载与所识别区域相对应的人工智能模型的具体示例的图。
在图5中,可以假设存储在储存器130中的通过图4示出和描述的多个人工智能模型。参考图4,存储在储存器130中的多个人工智能模型可以包括卧室模型410、客厅模型420、厨房模型430等。
参考图5,存储在储存器130中的多个人工智能模型500可以由卷积层501和全连接层502组成或包括卷积层501和全连接层502,卷积层501在输入图像数据时(或基于图像数据)提取特征信息,全连接层502被训练为在输入提取的特征信息时识别一个或多个对象。
参考图5,全连接层502可以被划分成多个相互独立的全连接层510、520、530...。相互独立的全连接层510、520、530...可以是被训练为在输入(或基于)提取的特征信息时识别一个或多个彼此不同的对象的层。
图4的卧室模型410可以包括图5的卷积层501和全连接层510,图4的客厅模型420可以由图5的卷积层501和全连接层520组成,并且图4的厨房模型430可以由图5的卷积层501和全连接层530组成。
也就是说,图4的多个人工智能模型410、420、430...可以共同使用卷积层501,并且通过被训练为识别彼此不同的对象的全连接层510、520、530...来彼此区分。
第二处理器140-2可以将与所确定区域相对应的人工智能模型的卷积层和全连接层加载到易失性存储器145。
例如,基于确定电子设备100位于“卧室”,第二处理器140-2可以将卷积层501和全连接层510加载到易失性存储器145以使用卧室模型410。
可以假设多个人工智能模型500包括与多个区域中的第一区域相对应的第一模型和与多个区域中的第二区域相对应的第二模型。
第二处理器140-2可以基于电子设备100位于第一区域,将与第一模型相对应的全连接层和卷积层加载到易失性存储器145,并且基于电子设备100位于第二区域,将与第二模型相对应的全连接层和卷积层加载到易失性存储器145。
例如,基于确定电子设备100位于“卧室”,第二处理器140-2可以加载卷积层501和全连接层510。如果电子设备100的位置被确定为已经改变到“客厅”,则第二处理器140-2可以将卷积层501保持在加载的状态,并且在从易失性存储器145移除全连接层510之后加载新的全连接层520。
存储在储存器130中的地图的信息可以由第一处理器140-1生成/更新。
图6a至图6d是示出生成关于地图的信息的电子设备100的各种示例的图。
第一处理器140-1可以基于从传感器110接收到的感测数据来获得关于电子设备100位于的地点的结构的信息。
参考图6,第一处理器140-1可以控制电子设备100的移动装置或机构,以使电子设备100在相关地点内移动。当电子设备100在移动时,第一处理器140-1然后可以使用通过传感器110(可以是LiDAR传感器)接收到的感测数据来获得关于相关地点的结构的信息。
在这样的情况下,第一处理器140-1可以使用通过传感器110(可以是LiDAR传感器)接收到的感测数据来识别距电子设备100的周围结构化对象的距离和距对象中的点的距离,并基于所识别的距离来获得关于周围结构(即,形状和/或尺寸)的信息。
此外,当电子设备100在移动时,第一处理器140-1可以获得关于通过相机120拍摄的图像的数据,相机120可以被实现为3D相机。第一处理器140-1然后可以使用获得的图像获得关于相关地点的结构(即,形状和/或大小)的信息。
参考图6a,第一处理器140-1可以使用关于所获得的结构的信息来获得与第一维度地图600相关的图像数据,该第一维度地图600看起来好像从特定方向观看了相关地点的一部分或全部。
第一处理器140-1可以基于关于所获得的结构的信息,将电子设备100所处的地点划分为多个区域。
在这样的情况下,第一处理器140-1可以使用各种算法来划分地图的多个区域。例如,第一处理器140-1可以通过通过传感器110(可以是LiDAR传感器)获得的感测数据和/或通过相机120获得的图像来识别地板上存在分界线或突起(或阈值)的点、可移动宽度变窄的点、存在墙壁的点、墙壁的尽头的点、存在门的点等。第一处理器140-1可以通过使用所识别的点作为区域之间的限界来划分地图上的每个区域。
在图6b中,第一处理器140-1可以通过图像(例如,3D图像)来确定电子设备100在第一维度地图600上的位置,该图像是通过被包括在传感器110和/或相机120中的LiDAR传感器获得的感测数据获得的。
第一处理器140-1然后可以使用通过LiDAR传感器获得的感测数据来识别“墙的尽头的点”。此外,第一处理器140-1可以控制第二处理器140-2将通过相机120获得的图像650(例如,RGB图像)输入到存储在储存器130中的多个人工智能模型中的至少一个,以识别图像650中包括的“墙的尽头的点”651、“门”652等。
第一处理器140-1可以使用上述点651和652以及墙壁的结构来在第一维度地图600上划分/定义包括电子设备100当前位于的点的一个独立区域600-20。第一处理器140-1然后可以使用除此之外的其他各种算法来分别划分第一维度地图600上的剩余区域600-10、600-30和600-40。
然而,应当理解,将电子设备100位于的地点划分为多个区域不仅局限于上述实施例,各种其他方法和/或设备可以在一个或多个其他实施例中实现。
第一处理器140-1可以生成关于地图的信息,该信息包括关于划分的多个区域的每个区域的结构的信息,并且将关于生成的地图的信息存储(或控制存储)在储存器130中。
第一处理器140-1可以生成/存储关于地图的信息,该信息包括每个划分的区域的内部图像和关于每个划分的区域的特征的信息。每个划分的区域的特征可以涉及每个区域的目标、大小等。
当电子设备100位于划分的多个区域的每个区域时,第一处理器140-1可以将通过相机120获得的多个区域的每个区域的内部图像添加到关于地图的信息。
例如,第一处理器140可以在电子设备100每次位于多个区域上的各个点时获得通过相机120获得的多角度图像,并且可以将获得的多角度图像存储为关于地图的信息。
第二处理器140-2可以当电子设备100位于划分的多个区域的每个区域时将通过相机120获得的图像输入到存储在储存器130中的多个人工智能模型中的至少一个,以识别位于多个区域的每个区域的对象。第一处理器140-1然后可以获得关于被识别为位于多个区域的每个区域的对象的信息,作为关于在多个区域的每个区域处存在的对象的信息,并将获得的信息存储在储存器130中。
关于在多个区域的每个区域处存在的对象的信息可以是与多个人工智能模型的至少一个输出相关的信息。也就是说,关于对象的信息可以包括存储在储存器130中的多个人工智能模型132中的至少一个人工智能模型的结果(即,所识别的对象的名称、大小、类型等),通过接收从多个区域获得的图像的输入来识别对象,并输出关于所识别的对象的信息。如果对象是人,则关于对象的信息还可以包括关于人的身份的信息。
由于可以为多个区域的每个区域预先存储关于对象的信息,所以可以存储/匹配关于在多个区域的每个区域处存在的对象的信息,以匹配由多个人工智能模型输出的信息,从而识别至少一个对象。关于在多个区域的每个区域处存在的对象的信息可以通过诸如名称和类型(即,家用电器、家具、健身器材等)的类别来分类和管理以方便每个人工智能模型的搜索/处理。
第一处理器140-1可以使用关于在多个区域的每个区域处存在的对象的信息来识别多个区域的每个区域的目标。
参考图6c,当电子设备100位于相关的区域600-10中时,第一处理器140-1可以控制第二处理器140-2向存储在储存器130中的一个或多个人工智能模型输入通过相机120获得的区域600-10的一个或多个图像。
因此,第一处理器140-1和第二处理器140-2可以识别出电视661和沙发662位于区域600-10中。第一处理器140-1然后可以使用每个预先存储区域的对象信息,使得一个或多个对象与诸如“客厅”、“厨房”和“卧室”的一个或多个区域的每个区域相对应,以将与电视661和沙发662相对应的区域识别为“客厅”。第一处理器140-1然后可以识别区域600-10的目标或身份是“客厅”
第一处理器140-1然后可以使用在剩余区域600-20、600-30和600-40的每一个中识别的对象来识别剩余区域600-20、600-30和600-40的目标或身份分别是“卧室”、“厨房”和“浴室”。
第一处理器140-1可以根据从电子设备100接收到的用户输入来划分每个区域或者获得关于每个区域的信息。
例如,当通过作为LiDAR传感器的传感器110的感测数据生成的与第一维度地图相对应的图像显示在电子设备100的显示器上时,第一处理器140-1可以根据用户对于被包括在所显示的第一维图像的图像中的至少一些区域的触摸输入,将与第一维度地图相对应的图像划分为多个区域。
此外,当与被划分成多个区域的第一维度地图相对应的图像被显示在电子设备100的显示器上时,第一处理器140-1可以识别根据选择被划分的多个区域中的至少一个的用户的触摸输入和选择/输入被选择区域的目标的用户的触摸输入而被划分的多个区域中的至少一个区域的目标或身份。
用于划分每个区域或定义关于每个区域的信息(例如,目标)的用户输入不仅可以在电子设备100中直接接收,还可以通过诸如智能手机和PC的外部设备间接接收。在这样的情况下,通过外部设备接收到的关于用户输入的信息可以由电子设备100从外部设备接收。
例如,图6d是示出电子设备100根据通过外部设备200接收到的用户输入来识别第一维度地图上的多个区域的目标的图。
参考图6d,作为机器人清洁器的电子设备100可以在执行如图6a和图6b中的处理之后,向外部设备200发送关于划分成多个区域的第一维度地图600的信息。
参考图6d,外部设备200可以在屏幕上显示在第一区域201中接收到的第一维度地图600。
如图6d所示,当(或基于)用户670对划分在第一维度地图600上的多个区域600-10、600-20、600-30和600-40中的区域600-10的一些区域671的触摸被输入时,外部设备200可以将区域600-10识别为已经被选择。在这样的情况下,外部设备200可以通过调整被包括在所选区域600-10中的区域的颜色来可视地指示相关的区域600-10已经被选择。
然后,外部设备200可以显示图形用户界面(graphical user interface,GUI),用于接收对屏幕上的第二区域202的所选区域600-10的目标的输入。
参考图6d,第二区域202上的GUI可以包括用户可以为了区域600-10的目标而选择的多个菜单项681。此外,第二区域202上的GUI还可以包括供用户直接输入区域600-10的目标的项682。当输入用户对相关项682的触摸时,用于用户输入文本的键盘可以显示在外部设备200的屏幕上。
外部设备200然后可以将关于所选区域600-10的信息和关于由GUI选择/输入的目标的信息发送到电子设备100。
电子设备100然后可以通过接收到的信息在第一维度地图600上划分的多个区域中识别所选区域600-10的目标。
通过图6d示出和描述的屏幕的配置、接收用户输入的形式(即,触摸)等仅仅是示例,并且除此之外,通常已知的各种技术方法也可以适用。此外,尽管图6d示出了当第一维度地图600已经被划分成多个区域时接收用户输入,但是在各种实施例中,通过外部设备接收将第一维度地图600划分成多个区域的用户输入也是可能的。
电子设备可以新定义/获得与通过图6b和/或图6c的过程划分的多个区域的每个区域相对应的多个人工智能模型。为此,电子设备可以使用被训练为识别预先存储在存储器中的多个对象的人工智能模型。
具体地,当被训练为识别多个对象的人工智能模型被存储在储存器130中时,第二处理器140-2可以在电子设备100位于多个区域的每个区域时将通过相机120获得的图像输入到人工智能模型,以识别多个区域的每个区域处存在的对象。尽管该过程可以与图6c的过程分开执行,其中在电子设备位于的地方识别对象,但是该过程也可以与图6c的过程一起执行。
此外,第二处理器140-2可以向第一处理器140-1传送(或提供)关于所识别的对象的信息。在这样的情况下,第一处理器140-1可以基于从第二处理器140-2传送的关于所识别的对象的信息,从所存储的人工智能模型中获得与多个区域的每个区域相对应的人工智能模型。
图7a至图7c是示出使用在多个区域的每个区域中识别的对象来获得与多个区域的每个区域相对应的人工智能模型的电子设备100的示例的图。
图7a是简要示出关于在储存器130中存储的多个区域的每个区域处识别的对象的信息作为关于多个区域的每个区域处存在的对象的信息的表格的示意图。
参考图7a,空调11、电视13、床21、椅子23等存在于卧室51中,并且空调11、电视13、沙发22等存在于客厅52中。
图7b是示出在获得与多个区域的每个区域相对应的多个人工智能模型之前存储在储存器130中的人工智能模型700的数据结构的图。
参考图7b,人工智能模型700可以由全连接层702构成,所述全连接层702用于使用卷积层701和从卷积层701提取的特征信息来识别多个对象。
图7b是示出输出空调被包括在输入图像中的概率的节点711、输出冰箱被包括在输入图像中的概率的节点712、输出电视被包括在输入图像中的概率的节点713、输出床被包括在输入图像中的概率的节点721、输出沙发被包括在输入图像中的概率的节点722以及输出椅子被包括在输入图像中的概率的节点723的图。另外,节点731、节点732和节点733是分别与杯子、玻璃瓶和盘子相关的节点。
第一处理器140-1可以基于存储在储存器130中的多个区域的每个区域处存在的对象的信息当中的关于第一区域处存在的对象的信息,识别第一对象存在于第一区域处。
在这样的情况下,第一处理器140-1可以识别存储在储存器130中的人工智能模型的全连接层中的、被训练为识别第一对象的全连接层的一部分。
第一处理器140-1然后可以获得(定义)包括存储在储存器130中的人工智能模型的卷积层和所识别的全连接层的一部分的第一模型,并将第一模型存储在储存器130中。在这样的情况下,第一处理器140-1可以生成将第一模型与第一区域连接(匹配)的逻辑映射信息,并将生成的信息存储在储存器130中。
第一处理器140-1可以基于存储在储存器130中的多个区域的每个区域处存在的对象的信息当中的关于第二区域处存在的对象的信息,识别第二对象存在于第二区域处。
在这样的情况下,第一处理器140-1可以识别存储在储存器130中的人工智能模型的全连接层中的、被训练为识别第二对象的完全连接层的不同部分。
第一处理器140-1然后可以获得(定义)包括存储在储存器130中的人工智能模型的卷积层和所识别的全连接层的不同部分的第二模型,并将第二模型存储在储存器130中。在这样的情况下,第一处理器140-1可以生成将第二模型与第二区域连接(匹配)的逻辑映射信息,并将生成的信息存储在储存器130中。
例如,第一处理器140-1可以使用图7a中的信息来识别空调11、电视13、床21、椅子23等存在于“卧室”51中。
第一处理器140-1可以定义新的全连接层751’,包括与空调11、电视13、床21和椅子23相关的节点711、713、721和723,以及在推断过程中使用的部分,以从图7b所示的全连接层702生成相应节点711、713、721和723的输出。
尽管全连接层751’可以与用于生成与全连接层702的冰箱相关的节点712的输出的推断过程相关,但是全连接层751’可以不包括与用于生成与空调11和电视机13相关的节点711和713的输出的推断过程无关的部分。
此外,参考图7c,第一处理器140-1可以获得包括卷积层701和全连接层751’的新卧室模型751。
例如,第一处理器140-1可以使用图7a的信息来识别空调11、电视13、沙发22等存在于“客厅”52中。
第一处理器140-1可以定义/获得新的全连接层752’,其包括与空调11、电视13、沙发22相关的节点711、713和722,以及推断过程中使用的部分以从图7b所示的全连接层702生成相应节点711、713和722的输出。
尽管全连接层752’可能与用于生成与全连接层702的床21相关的节点721的输出的推断过程相关,但是全连接层752’可能不包括与用于生成与沙发22相关的节点722的输出的推断过程无关的部分。
参考图7c,第一处理器140-1可以获得包括卷积层701和全连接层752’的客厅模型752。
第一处理器140-1然后可以将获得的人工智能模型存储在储存器130中与每个区域相对应的人工智能模型之中。
第一处理器140-1可以将全连接层702中的、被包括在卧室模型751中的全连接层751’与卧室51映射的逻辑映射信息存储在储存器130中。此外,第一处理器140-1可以将全连接层702中的、被包括在客厅模型752中的全连接层752’与客厅52映射的逻辑映射信息存储在储存器130中。
例如,如果电子设备100被确定为位于卧室51中,则第二处理器140-2可以根据第一处理器140-1的控制,仅将存储在储存器130中的人工智能模型700的卧室模型751加载到易失性存储器145中。具体地,第二处理器140-2可以加载全连接层751’,该全连接层751’与与卧室51相关的逻辑映射信息一起被映射到卷积层701。
或者,例如,如果电子设备100被确定为位于客厅52中,则第二处理器140-2可以根据第一处理器140-1的控制,仅将存储在储存器130中的人工智能模型700的客厅模型752加载到易失性存储器145中。具体地,第二处理器140-2可以加载全连接层752’,该全连接层752’与与客厅52相关的逻辑映射信息一起被映射到卷积层701。
除了在生成关于地图的信息时识别存在于电子设备100位于的地方的对象的图6c的过程之外,第一处理器140-1可以执行扫描来识别多个区域的每个区域处存在的对象。在这样的情况下,第一处理器140-1可以控制电子设备100的移动装置或机构(例如,轮子)在多个区域周围移动,在控制第二处理器140-2从通过相机120在多个区域的每个区域处获得的图像中识别多个区域的每个区域处存在的对象。
第一处理器140-1可以根据接收到的用户命令来执行扫描,或者可以根据预设间隔执行上述扫描,而不管用户命令。
此外,第一处理器140-1可以仅在包括多个区域的地方没有用户时执行上述扫描。在这样的情况下,第一处理器140-1可以通过接收到的用户输入来识别在相应的地方没有用户。此外,第一处理器140-1可以控制第二处理器140-2通过通过相机120在多个区域获得的图像来标识用户是否存在,并且基于由第二处理器140-2加载的人工智能模型的输出来识别在相应的地方没有用户存在。在这样的情况下,人工智能模型可以是被训练为识别输入图像中是否包括用户的人工智能模型。
电子设备100可以根据多个区域上的扫描结果来更新与多个区域的每个区域相对应的人工智能模型。
具体地,第二处理器140-2可以当电子设备100位于多个区域中的一个区域时将通过相机120获得的图像输入到加载在易失性存储器145中的多个人工智能模型中的至少一个,以识别存在于相应区域中的对象,并且可以将关于所识别的对象的信息传送到第一处理器。在这样的情况下,多个人工智能模型可以不同时加载到易失性存储器145中,而是可以每次顺序加载一个或两个模型。
第一处理器140-1然后可以基于从第二处理器140-2传送的所识别的对象的信息来更新与相关的区域相对应的人工智能模型。
例如,当关于多个区域的每个区域处存在的对象的信息被存储时,第一处理器140-1可以基于存储在储存器130中的关于多个区域的每个区域处存在的对象的信息,确定多个区域中的一个区域处存在的至少一个对象,并且基于从第二处理器140-2传送的关于来自对应区域的所识别的对象的信息,从所确定的对象确定对应区域中的未识别的对象。
第一处理器140-1然后可以从与多个人工智能模型的相关的区域相对应的人工智能模型中移除训练的部分以识别未识别的对象,以更新与相关的区域相对应的人工智能模型。
图8a至图8c是示出在存在于多个区域中的一个区域中的对象被识别为不再存在于相关的区域的情况下,电子设备100更新与相关的区域相对应的人工智能模型的示例的图。
图8a至图8c示出了关于多个区域的每个区域处存在的对象的信息的示例,该信息如图7a所示被存储在储存器130中。关于存储在储存器130中的多个区域的每个区域处存在的对象的信息可以是预设信息,或者可以是关于通过图6c的过程在多个区域的每个区域处识别的对象的信息。此外,图8a至图8c示出了与如图7c中那样构成并存储在储存器130中的多个区域的每个区域相对应的多个人工智能模型的示例。
参考图8a,实现为机器人清洁器的电子设备100的第一处理器140-1可以控制电子设备100的移动装置或机构(装置),使得电子设备100可以在地图800指示的地点上的多个区域800-10、800-20、800-30和800-40周围移动。
此外,当电子设备100位于多个区域800-10、800-20、800-30和800-40中的每个区域时,第二处理器140-2可以加载存储在储存器130中的多个人工智能模型中的至少一个人工智能模型,并且将通过相机120获得的图像输入到加载的人工智能模型,以识别位于多个区域的每个区域的对象。
为此,第一处理器140-1可以控制电子设备100的移动,以至少一次或多次通过所有多个区域800-10、800-20、800-30和800-40。
参考图8,电子设备100可以识别“客厅”800-10中的“空调”11和“电视”13。然而,参考图8a,因为先前存在于“客厅”800-10中的“沙发”22不再存在于“客厅”800-10中,所以电子设备100可能不再能够识别“客厅”800-10中的“沙发”22。
当“沙发”22不再在“客厅”800-10中被识别时,例如,当“沙发”22在阈值时间(例如,阈值时间可以被不同地预设为两天、一周等)在“客厅”800-10中没有被识别时,第一处理器140-1可以根据存储在储存器130中的多个区域的每个区域处存在的对象的信息来更新“客厅”52中存在的对象的信息。
因此,参考图8b,存储在储存器130中的关于存在于“客厅”52中的对象的信息可以被更新,以便不再包括“沙发”22。
在这样的情况下,参考图8c,第一处理器140-1可以获得人工智能模型852,其中全连接层702中的被训练为识别“沙发”22的部分从与“客厅”52相对应的人工智能模型752中被移除或被获得。
被训练为识别“沙发”22的部分可以指全连接层702的、在推断过程中用来在“沙发”22上生成节点722的输出的部分。然而,尽管该部分可以在推断过程中用于生成节点722的输出,但是如果该部分也在推断过程中用于生成与“空调”11和“电视”13相关的节点的输出,则第一处理器140-1可以不移除相关部分。
第一处理器140-1然后可以更新(或移除)从与“客厅”52相对应的人工智能模型752获得的人工智能模型852,以存储在储存器130中。
当(或基于)关于多个区域的每个区域处存在的对象的信息被存储在储存器130中时,第一处理器140-1可以基于存储在储存器130中的关于多个区域的每个区域处存在的对象的信息,确定多个区域中的一个区域处存在的至少一个对象。此外,基于从第二处理器140-2传送的关于来自相关的区域的所识别的对象的信息,第一处理器140-1可以确定在来自相关的区域的所识别的对象中的所确定的至少一个对象中未包括的对象。
在这样的情况下,第一处理器140-1可以向多个人工智能模型当中的、与相关的区域相对应的人工智能模型添加被训练为识别所确定的至少一个对象中未包括的对象的全连接层,以更新与相关的区域相对应的人工智能模型。
图9a至图9c是示出在新对象被识别为被添加到多个区域中的一个区域的情况下,更新与相关的区域相对应的人工智能模型的示例的图。
图9a至图9c的实施例描述了如同存储在储存器130中的图8b的右侧表格中的“客厅”52中存在的对象有关的信息的情况。此外,可以假设与被存储为图8c的客厅模型852的“客厅”52相对应的人工智能模型。
参考图9a,电子设备100可以识别“客厅”800-10中的“空调”11和“电视”13。此外,参考图9a,因为先前“客厅”800-10中不存在的“椅子”23现在存在于“客厅”800-10中,所以电子设备100也可以识别“客厅”800-10中的“椅子”23。
当先前“客厅”800-10中不存在的“椅子”23被新识别时,第一处理器140-1可以根据存储在储存器130中的多个区域的每个区域区域处存在的对象的信息来更新“客厅”52中存在的对象的信息。
因此,参考图9b,存储在储存器130中的关于存在于“客厅”52中的对象的信息可以被更新,以包括除了“空调”11和“电视”12之外的“椅子”23。
在这样的情况下,参考图9c,第一处理器140-1可以将训练的部分(例如,包括节点723)添加到与“客厅”52相对应的人工智能模型852,以识别全连接层702的“椅子”23,以获得人工智能模型952。被训练为识别“椅子”23的部分可以指在推断过程中用来生成与全连接层702的“椅子”23相关的节点723的输出的部分。
尽管“床”21、“椅子”23和“沙发”22的所有节点在图7b中被示为包括在一个独立的全连接层中,但是根据其他实施例,用于识别“椅子”的节点可以被包括在单独的独立的全连接层中。在这样的情况下,被训练为识别“椅子”23的部分可以是包括识别“椅子”23的节点的独立的全连接层。
此外,第一处理器140-1可以将与“客厅”52相对应的人工智能模型更新为获得的人工智能模型952,并将其存储在储存器130中。
当人工智能或电子设备100位于多个区域中的一个区域时,如果(或基于)相关的区域的对象没有被识别,即使当第二处理器140-2将与相关的区域相对应的人工智能模型加载到易失性存储器145时,第二处理器140-2也可以顺序加载多个人工智能模型中的不同人工智能模型来识别相关的对象。
如果(或基于)通过不同的人工智能模型来识别相关的对象,则第一处理器140-1可以使用关于所识别的对象的信息来改变关于多个区域的每个区域处存在的对象的信息当中的关于相关的区域处存在的对象的信息。此外,第一处理器140-1可以使用关于改变的对象的信息来更新与相关的区域相对应的人工智能模型。作为具体示例,被训练为标识所识别的对象的全连接层可以被添加到与相关的区域相对应的人工智能模型中。
可以通过电子设备100接收的用户输入和/或电子设备100从外部设备接收并存储在储存器130中的数据来生成和更新关于多个区域的每个区域处存在的对象的信息。在这样的情况下,第一处理器140-1还可以使用生成的/更新的“关于多个区域的每个区域处存在的对象的信息”来更新与多个区域的每个区域相对应的人工智能模型。
根据一个或多个实施例,与多个区域的每个区域相对应的人工智能模型的获取和/或更新可以基于多个区域的每个区域处存在的仅“固定类型对象”(而不是非固定类型对象)的信息的变化来执行。
固定类型对象可以指在人的实际生活中几乎没有移动的对象,例如,床、沙发、电视等,而非固定类型对象可以指在人的实际生活中经常移动的对象,例如,杯子、盘子、球、玩具等。
即使电子设备100位于多个区域中的任何区域,第二处理器140-2也可以总是将被训练为识别非固定类型对象的人工智能模型加载到易失性存储器145。在这样的情况下,存储在储存器130中的与多个区域的每个区域相对应的多个人工智能模型可以是被训练为识别固定类型对象的人工智能模型。
图10是示出根据实施例的包括第一处理器140-1和第二处理器140-2的电子设备100的详细配置的框图。
参考图10,除了传感器110、相机120、储存器130、第一处理器140-1和第二处理器140-2之外,电子设备100还可以包括第一存储器150-1、第二存储器150-2、包括电路160的通信器、用户输入器170(或用户输入设备)、输出器180(或输出设备)和驱动控制器190中的至少一个。
传感器110可以被实现为光检测和测距(LiDAR)传感器、超声波传感器等。当传感器110被实现为LiDAR传感器时,根据传感器110的感测结果生成的感测数据可以包括关于周围存在的结构化对象和/或至少一部分事物(或对象)与电子设备100之间的距离的信息。关于上述距离的信息可以形成或者是关于存在于电子设备100周围的结构化对象/事物的结构(即,形状和/或大小)的信息的基础。
相机120可以被实现为RGB相机、3D相机等。3D相机可以被实现为飞行时间(TOF)相机,包括TOF传感器和红外(IR)光。3D相机可以包括IR立体传感器。相机120可以包括传感器,诸如电荷耦合装置(charge-coupled device,CCD)和互补金属氧化物半导体(complementary metal-oxide semiconductor,CMOS),但不限于此。如果相机120包括CCD,CCD可以被实现为红/绿/蓝(RGB)CCD、IR CCD等。
存储在储存器130中的关于地图的信息可以包括关于多个区域的每个区域的目标的信息。如果包括多个区域的地图涉及例如“家”的地图,则多个区域的每个区域的目标可以涉及“客厅”、“卧室”、“厨房”、“浴室”等
在储存器130中,除了多个人工智能模型和关于地图的信息之外,还可以存储关于地图上的多个区域的每个区域中存在的对象的信息。
关于多个区域的每个区域处存在的对象的信息可以包括多个区域的每个区域处存在的对象的名称、类型等。如果对象是人,则关于对象的信息可以包括关于人的身份的信息。可以存储/管理关于多个区域的每个区域处存在的对象的信息,以匹配由多个人工智能模型输出的信息,以从通过多个区域中的相机120获得的图像中识别至少一个对象。
关于多个区域的每个区域处存在的对象的信息可以由在多个区域的每个区域执行对象标识的电子设备100预先存储或获得。
第一处理器140-1可以由一个或多个处理器组成或包括一个或多个处理器。一个或多个处理器可以是通用处理器,诸如中央处理单元(CPU)和应用处理器(AP),以及图形专用处理器,诸如图形处理单元(GPU)和视觉处理单元(VPU)等。
第一处理器140-1可以通过执行存储在第一存储器150-1或连接到第一处理器140-1的储存器130中的至少一个指令来控制电子设备100中包括的各种配置。
为此,控制电子设备100中包括的各种配置的信息或指令可以存储在第一存储器150-1中。
第一存储器150-1可以包括只读存储器(ROM)、随机存取存储器(RAM),例如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)和双数据速率SDRAM(double data rate SDRAM,DDR SDRAM)等,并且可以与第一处理器140-1一起在一个芯片1001上实现。
第二处理器140-2也可以被实现为一个或多个处理器。第二处理器140-2可以实现为人工智能专用处理器,诸如神经处理单元(NPU),并且可以包括用于加载至少一个人工智能模型的易失性存储器145。易失性存储器145可以被实现为一个或多个状态RAM(SRAM)。
第二存储器150-2可以存储有用于控制由第二处理器140-2执行的用于对象标识的功能的信息或指令。第二存储器150-2还可以包括ROM、RAM(例如,DRAM、SDRAM、DDRSDRAM)等,并且可以与第二处理器140-2一起在一个芯片1002上实现。
包括电路160的通信器是用于电子设备100通过执行与至少一个外部设备的通信来发送和接收信号/数据的配置。
包括电路160的通信器可以包括无线通信模块、有线通信模块等。
无线通信模块可以包括Wi-Fi通信模块、蓝牙模块、红外数据通讯(IrDA)通信模块、第三代(3G)移动通信模块、第四代(4G)移动通信模块和4G长期演进(LTE)通信模块中的至少一个,以从外部服务器或外部设备接收内容。
有线通信模块可以被实现为有线端口,诸如例如迅雷端口、USB端口等。
第一处理器140-1可以使用通过包括电路160的通信器从外部接收的数据来生成/更新关于地图的信息。
第一处理器140-1和/或第二处理器140-2可以使用通过包括电路160的通信器从外部接收的数据来生成/更新与多个区域的每个区域相对应的人工智能模型。
基于通过包括电路160的通信器接收到控制信号,第一处理器140-1可以控制第二处理器140-2开始/结束对位于多个区域中的至少一个区域中的对象的标识。此时,可能已经从用于控制电子设备100的远程控制或存储有电子设备100上的具有远程控制应用的智能手机接收到控制信号。
存储在储存器130中的多个人工智能模型的至少一部分可以是被包括在通过包括电路160的通信器从诸如服务器设备的外部设备接收到电子设备100的数据中的人工智能模型。
当第二处理器140-2尽管使用了存储在储存器130中的所有多个人工智能模型,但是无法标识通过相机120获得的图像中包括的对象时,第一处理器140-1可以通过包括电路160的通信器将关于获得的图像的数据发送到服务器设备。
此时,电子设备100可以通过包括电路160的通信器从服务器设备接收关于标识被包括在所获得的图像中的对象的结果的数据。
此外,第一处理器140-1可以通过包括电路160的通信器从外部设备接收被训练为识别标识的对象的人工智能模型的数据,并且可以将接收到的人工智能模型存储在储存器130中。
当通过包括电路160的通信器从外部设备接收到指示电子设备100的位置的数据时,第一处理器140-1可以使用接收到的数据来确定电子设备100位于哪个区域。
基于通过用户输入器170接收的用户输入,第一处理器140-1可以更新关于地图的信息和/或存在于多个区域中的至少一个区域中的对象的至少一部分信息。此外,处理器140-1可以使用根据用户输入接收到的数据来生成关于地图的信息。
基于通过用户输入器170接收的用户输入,第一处理器140-1可以控制电子设备100的移动装置或机构在多个区域中的至少一个区域周围移动,并且可以控制第二处理器140-2开始/结束对象标识。
当通过用户输入器170接收到指示电子设备100的位置的用户输入时,第一处理器140-1可以使用接收到的用户输入来确定电子设备100位于哪个区域。
用户输入器170可以包括按钮、键盘、鼠标等中的一个或多个。此外,用户输入器170可以包括与显示器或单独的触摸面板一起实现的触摸面板。
用户输入器170可以包括麦克风以接收用户命令或信息的语音输入,并且可以与相机120一起实现以标识运动或手势形式的用户命令或信息。
输出器180可以是用于电子设备100向用户提供所获得的信息的配置。
例如,输出器180可以包括显示器、扬声器、音频终端等,以视觉/听觉地向用户提供对象标识结果。
作为控制电子设备100的移动装置或机构的配置,驱动控制器190可以包括用于向电子设备100的移动装置或机构提供动力的致动器。第一处理器140-1可以通过驱动控制器190控制电子设备100的移动装置或机构,以移动电子设备100。
除此之外,电子设备100还可以包括图10中未示出的各种配置。
已经基于存储在储存器130中的多个人工智能模型描述了上述实施例,但是应当理解,一个或多个其他实施例不限于此。例如,根据一个或多个其他实施例,多个人工智能模型可以存储在外部服务器设备中,并且可以通过电子设备100对每个区域进行对象标识。
此外,电子设备可以通过与实现为智能手机、平板PC等的外部终端设备的通信来执行每个区域的对象标识。
图11是示出基于与包括服务器装置300和外部终端装置200-1和200-2的外部装置的通信来执行对象标识的电子装置100的各种实施例的图。
参考图11,在本示例中是机器人清洁器的电子设备100可以执行与诸如智能手机和服务器设备300的外部设备200-1和200-2的通信。在这样的情况下,电子设备100还可以通过配置有路由器等的中继设备400来执行与外部设备200-1、200-2和300的通信。
电子设备100可以基于作为智能手机的外部设备200-1或从外部设备200-2接收的控制信号来执行存在于多个区域的对象的标识。此外,电子设备100可以向外部设备200-1和/或外部设备200-2发送关于标识的对象的信息。
图11示出了多个人工智能模型中的每个人工智能模型,这些人工智能模型被训练为标识存储在服务器设备300中而不是(或不一定是)电子设备100的储存器130中的至少一个对象。
在这样的情况下,存储在服务器设备300中的关于多个人工智能模型的信息(即,关于多个人工智能模型中的每个人工智能模型可标识的对象的信息)可以由电子设备100通过包括电路160的通信器从服务器设备300接收。
处理器140-1然后可以从存储在服务器设备300中的多个人工智能模型中选择与被确定为电子设备100位于的区域相对应的人工智能模型。
第一处理器140-1然后可以控制包括电路160的通信器向服务器装置300发送关于所选人工智能模型的信息。
当通过包括电路160的通信器从服务器装置300接收到关于所选人工智能模型的数据时,第一处理器140-1可以控制第二处理器140-2将所选人工智能模型(数据)加载到易失性存储器145。第二处理器140-2然后可以通过将通过相机120获得的图像输入到加载的人工智能模型来执行对象标识。
在这样的情况下,第一处理器140-1可以将关于接收的人工智能模型的数据存储到储存器130。
根据另一实施例,电子设备100可以包括一个处理器。
图12a和图12b是示出包括处理器140’的电子设备100的配置的框图。
参考图12a,电子设备100可以包括控制电子设备100并连接到传感器110’、相机140’和储存器130’的处理器140’。另外,电子设备100可以包括传感器110’、相机140’和储存器130’。
处理器140’可以被实现为通用处理器,诸如CPU和AP,图形专用处理器,诸如GPU和视觉处理单元(VPU),人工智能专用处理器,诸如NPU等,并且可以包括用于加载至少一个人工智能模型的易失性存储器。
处理器140’可以执行由第一处理器140-1或第二处理器140-2执行的操作,如在上述各种实施例中。
具体地,处理器140’可以基于存储在储存器130’中的关于地图的信息来识别地图中包括的多个区域,基于从传感器110’接收到的感测数据从多个区域中确定电子设备100位于的区域,并且将与存储在储存器130中的多个人工智能模型中确定的区域相对应的人工智能模型加载到易失性存储器中。处理器140’可以将通过相机120’获得的图像输入到加载的人工智能模型中,以识别对象。
参考图12b,包括处理器140’的电子设备100可以进一步包括存储器150’、包括如图10所示连接到处理器140’的电路的通信器160’、用户输入器170’、输出器180’、驱动控制器190’等。
存储器150’是用于存储用于控制电子设备100的元件的整体操作的操作系统(OS)和与电子设备100的元件相关的数据的配置。存储器150’可以包括与电子设备100的一个或多个元件相关的至少一个指令。
存储器150’可以包括ROM、RAM(例如,DRAM、SDRAM和DDR SDRAM)等,并且可以被实现为在一个芯片1201中与处理器140’连接。
图13至图15描述了根据一个或多个实施例的电子设备100的控制方法。
图13是示出根据本公开实施例的使用对象标识模型的电子设备100的控制方法的流程图。
参考图13,控制方法可以基于存储在电子设备100的存储器中的关于地图的信息来识别地图中包括的多个区域(操作S1310)。关于地图的信息可以包括关于地点结构的信息、关于被包括在地图中的多个区域的每个区域的结构的信息、关于多个区域的每个区域在地图上的位置的信息、关于多个区域的每个区域的目标的信息等中的至少一个。
然后,可以基于从传感器接收到的感测数据来确定多个区域中电子设备100位于的区域(操作S1320)。
在这样的情况下,可以使用存储在存储器中的地图信息和通过传感器接收到的感测数据来确定电子设备100位于的区域。作为具体示例,如果传感器是LiDAR传感器,则可以比较从传感器接收到的感测数据和存储在储存器中的关于地图的信息,并且可以确定电子设备100位于的区域。
此时,可以将被包括在感测数据中的关于电子设备100周围的结构(即,形状和/或尺寸)的信息与被包括关于地图的信息中的地图上的多个区域的每个区域的结构(即,形状和/或尺寸)的信息比较,并且可以从地图上的多个区域中确定电子设备100位于的区域。
通过使用通过相机获得的关于周围图像的数据,可以确定电子设备100位于多个区域中的哪个区域。例如,如果关于地图的信息包括关于多个区域的3D图像的数据,则可以使用被包括在关于地图的信息中的多个区域的每个区域的图像与通过实现为3D相机的相机获得的3D图像的比较结果来确定电子设备100位于的区域。
此外,电子设备100位于的区域可以通过在电子设备位于的区域中从通过相机获得的图像中识别一个或多个对象来确定。
作为具体示例,可以通过将通过电子设备100位于的区域中的相机拍摄的图像输入到存储的多个人工智能模型中的至少一个来识别图像中的对象。如果所识别的对象是床,则每个区域的一个或多个对象可以使用预先存储的信息来识别与“卧室”相对应的床。此外,电子设备100位于的区域可以被确定为“卧室”。电子设备100位于的区域然后可以被确定为“卧室”。
此外,可以使用惯性传感器、加速度传感器等在地图上确定电子设备100位于的点,并且可以将地图上的多个区域中包括所确定的点的区域确定为电子设备100位于的区域。
确定电子设备100位于的区域的过程不限于上述实施例,并且可以应用其他各种方法。
该控制方法可以包括从存储在存储器中的多个人工智能模型中将与所确定区域相对应的人工智能模型加载到易失性存储器(操作S1330)。
多个人工智能模型中的每个人工智能模型可以包括卷积层和被训练为基于从卷积层提取的特征信息来识别对象的全连接层。此时,卷积层可以是多个人工智能模型的公共层,全连接层可以是单独提供给多个人工智能模型中的每个人工智能模型的层。
如果(或基于)电子设备100位于第一区域,则与多个人工智能模型中的第一模型相对应的全连接层和卷积层可以被加载到易失性存储器。如果(或基于)电子设备100位于第二区域,则与多个人工智能模型中的第二模型相对应的全连接层和卷积层可以被加载到易失性存储器。
第一模型可以与多个区域中的第一区域相对应,第二模型可以与多个区域中的第二区域相对应。在这样的情况下,映射第一区域中的第一模型的逻辑映射信息和映射第二区域中的第二模型的逻辑映射信息可以存储在存储器中,并且控制方法可以使用存储在存储器中的逻辑映射信息来加载与每个区域相对应的人工智能模型。
通过相机获得的图像然后可以被输入到加载的人工智能模型以识别对象(操作S1340)。具体地,因为可以获得由加载的人工智能模型输出的关于对象的信息,所以关于对象的信息可以根据诸如对象的名称、类型等人工智能模型属性而变化。
控制方法可以生成关于电子设备100所处位置的地图的信息,以存储在存储器中。此外,控制方法可以新获得/定义与地图中包括的多个区域的每个区域相对应的人工智能模型。
图14是示出根据实施例的生成关于地图的信息,并且识别存在于多个区域的每个区域中的对象,以获得与多个区域的每个区域相对应的人工智能模型的电子设备100的控制方法的实施例的流程图。
参考图14,控制方法可以基于从传感器接收到的感测数据来获得关于电子设备100位于的地点的结构的信息(操作S1410)。
在示例中,关于电子设备位于的地点的结构(即,形状和/或尺寸)的信息可以使用从传感器接收到的感测数据来获得,该传感器被实现为LiDAR传感器。
然后,基于关于所获得的结构的信息,电子设备100位于的地点可以被划分为多个区域(操作S1420)。
在这样的情况下,可以使用第一算法在地图上划分多个区域。例如,地板上有分界线或突起(或阈值)的点、可移动宽度变窄的点、存在墙壁的点、墙壁的尽头的点、存在门的点等可以通过传感器获得的感测数据和/或通过相机获得的图像来识别。此外,使用所识别的点作为区域之间的限界,地图上的每个区域可以被划分。然而,除此之外,也可以应用其他方法。
然后,可以生成关于地图的信息,该信息包括关于划分的多个区域的每个区域的结构的信息,并且可以将关于生成的地图的信息存储在存储器中(操作S1430)。
当被训练为识别多个对象的人工智能模型被存储在电子设备100的存储器中时,控制方法可以将当电子设备100位于多个区域的每个区域中时通过相机获得的图像输入到存储的人工智能模型中,并且识别多个区域的每个区域处存在的对象(操作S1440)。
存储的人工智能模型可以包括卷积层和被训练为基于从卷积层提取的特征信息来识别多个对象的全连接层。
然后,可以在多个区域的第一区域中识别第一对象,并且可以在多个区域的第二区域中识别第二对象。
然后,可以基于关于所识别的对象的信息,从存储的人工智能模型中获得与多个区域的每个区域相对应的人工智能模型(操作S1450)。
具体地,当(或基于)多个对象中的第一对象基于多个区域的第一区域处存在的对象的信息被识别为存在于第一区域中时,可以获得包括被训练为从所存储的人工智能模型的卷积层和所存储的人工智能模型的全连接层中识别第一对象的部分的第一模型。
此外,当多个对象中的第二对象基于多个区域的第二区域处存在的对象的信息被识别为存在于第二区域中时,可以获得包括被训练为从所存储的人工智能模型的卷积层和所存储的人工智能模型的全连接层中识别第二对象的其他部分的第二模型。
该控制方法可以根据预设间隔、用户输入等来识别多个区域的每个区域处存在的对象,并且使用关于所识别的对象的信息来更新与多个区域的每个区域相对应的人工智能模型。
具体地,当电子设备100位于多个区域中的一个区域时,通过相机获得的图像可以被输入到加载在易失性存储器中的多个人工智能模型,并且可以识别在相关的区域处存在的对象。在这样的情况下,可以顺序加载易失性存储器中的多个人工智能模型中的至少一个,并且可以将从相关的区域获得的图像输入到加载的人工智能模型。基于关于所识别的对象的信息,可以更新与相关的区域相对应的人工智能模型。
例如,当关于多个区域的每个区域处存在的对象的信息被存储在电子设备的存储器中时,控制方法可以基于关于存储在存储器中的多个区域的每个区域处存在的对象的信息来确定多个区域中的一个区域处存在的至少一个对象。
在这样的情况下,基于在相关的区域中识别的对象的信息,可以从确定的对象中确定在相关的区域中没有识别的对象。在与多个人工智能模型中的相关的区域相对应的人工智能模型中,被训练为识别先前被确定为没有被识别的对象的部分可以被移除。
在另一示例中,当关于多个区域的每个区域处存在的对象的信息被存储在电子设备100的存储器中时,控制方法可以基于存储在存储器中的关于多个区域的每个区域处存在的对象的信息来确定存在于多个区域中的一个区域中的至少一个对象。
在这样的情况下,基于关于在相关的区域中识别的对象的信息,可以确定在相关的区域中识别的对象的所确定的至少一个对象中不包括的对象。此时,被训练为识别不被包括在至少一个确定的对象中的对象的全连接层可以被添加到多个人工智能模型中与相关的区域相对应的人工智能模型。
图15是示出根据实施例的根据识别存在于多个区域的每个区域中的对象的结果来更新与多个区域的每个区域相对应的人工智能模型的电子设备100的控制方法的示例的算法的图。
参考图15,控制方法可以将通过多个区域中的一个区域中的相机获得的图像输入到多个人工智能模型中的至少一个,以识别对象(操作S1510)。
然后,可以将关于相关的区域的预先存储的对象的信息与关于所识别的对象的信息比较(操作S1520)。
如果关于所识别的对象的信息与关于预先存储的对象的信息相匹配(操作S1530-是),则存储为与相关的区域相对应的人工智能模型可以不被更新。
如果关于所识别的对象的信息与关于预先存储的对象的信息不匹配(操作S1530-否),并且如果除了关于所识别的对象的信息之外还包括关于新添加的对象的信息以及关于预先存储的对象的信息(操作S1540-是),则可以更新与相关的区域相对应的人工智能模型,使得被存储为与相关的区域相对应的人工智能模型也可以识别添加的对象(操作S1550)。
例如,虽然在相关的区域中识别的对象可以是电视和沙发,但是如果在相关的区域上预先存储的对象是电视,则与相关的区域相对应的人工智能模型可以更新相关人工智能模型以识别除了电视之外的沙发。在这样的情况下,被训练为识别沙发的单独的全连接层可以被添加到相关人工智能模型的全连接层。
即使关于所识别的对象的信息与关于预先存储的对象的信息不匹配(操作S1530-否),并且从关于预先存储的对象的信息中存在没有被包括在关于所识别的对象的信息中的对象(操作S1540-否),也可能需要或执行更新与相关的区域相对应的人工智能模型。也就是说,因为先前相关的区域处存在的对象不再存在于相关的区域,所以被训练为识别不再存在于相关的区域中的对象的部分可以被移除(操作S1560)。
例如,虽然在相关的区域中识别的对象可以是电视和沙发,但是如果在相关的区域上预先存储的对象是电视、沙发和椅子,则在与相关的区域相对应的人工智能模型中被训练为识别椅子的部分可以被移除。具体地,在推断过程中用于生成指示椅子存在可能性的节点输出的部分可以从相关人工智能模型的全连接层中移除。然而,即使该部分与用于生成指示椅子存在的可能性的节点的输出的推断过程相关,如果该部分与用于生成指示电视或沙发存在的可能性的节点的输出的推断过程相关,则该部分也可以不被移除。
上面参考图13至图15描述的电子设备的控制方法可以通过上面参考图2和图11示出和描述的电子设备100以及上面参考图12a和图12b示出和描述的电子设备100来实现。
上面参考图13至图15描述的电子设备的控制方法可以通过电子设备100和包括一个或多个外部设备的系统来实现。
上述各种实施例可以在可记录介质中实现,该可记录介质可以由计算机或类似于计算机的设备使用软件、硬件或软件和硬件的组合来读取。
通过硬件实现,本公开中描述的实施例可以使用例如但不限于专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行其他功能的电气单元中的至少一个来实现。
在一些情况下,这里描述的实施例可以由处理器本身实现。根据软件实现,诸如这里描述的过程和功能的实施例可以用单独的软件模块来实现。上述软件模块中的每一个都可以执行这里描述的一个或多个功能和操作。
用于在根据上述各种实施例的电子设备100中执行处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由特定设备的处理器执行时,存储在该非暂时性计算机可读介质中的计算机指令使得上述特定设备在根据上述各种实施例的电子设备100中执行处理操作。
非暂时性计算机可读介质可以指例如半永久存储数据而不是短时间存储数据的介质,诸如寄存器、高速缓存、和存储器,并且可由设备读取。非暂时性计算机可读介质的具体示例可以包括光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
虽然上面已经示出和描述了实施例,但是本领域技术人员将理解,在不脱离本公开的真实精神和全部范围的情况下,可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备,包括:
传感器;
相机;
储存器,用于存储被训练为识别对象的多个人工智能模型,并用于存储关于地图的信息;
第一处理器,被配置为控制电子设备;和
第二处理器,被配置为标识对象,
其中,第一处理器被配置为基于从传感器获得的感测数据,从地图中所包括的多个区域中确定电子设备位于的区域,并将关于所确定的区域的区域信息提供给第二处理器,并且
其中,第二处理器包括易失性存储器,并且被配置为:
基于由第一处理器提供的区域信息,将存储在储存器中的所述多个人工智能模型中的人工智能模型加载到易失性存储器,以及
将通过相机获得的图像输入到加载的人工智能模型以识别对象。
2.根据权利要求1所述的电子设备,其中:
所述多个人工智能模型中的每个人工智能模型包括卷积层和被训练为基于从卷积层提取的特征信息来识别对象的全连接层;
卷积层是所述多个人工智能模型中的公共层;和
第二处理器还被配置为将与所确定的区域相对应的人工智能模型的卷积层和全连接层加载到易失性存储器。
3.根据权利要求2所述的电子设备,其中:
所述多个人工智能模型包括与所述多个区域中的第一区域相对应的第一模型和与所述多个区域中的第二区域相对应的第二模型;和
第二处理器还被配置为:
基于电子设备位于第一区域,将与第一模型相对应的全连接层和卷积层加载到易失性存储器,以及
基于电子设备位于第二区域,将与第二模型相对应的全连接层和卷积层加载到易失性存储器。
4.根据权利要求1所述的电子设备,其中:
关于地图的信息包括关于所述多个区域的结构的信息;和
第一处理器还被配置为将关于结构的信息与从传感器获得的感测数据比较,以从所述多个区域中确定电子设备位于的区域。
5.根据权利要求1所述的电子设备,其中,第一处理器还被配置为:
基于从传感器获得的感测数据,获得关于电子设备位于的地点的结构的信息,
基于所获得的关于结构的信息将地点划分为所述多个区域,
生成关于地图的信息并将生成的关于地图的信息存储在储存器中,所述关于地图的信息包括关于所划分的多个区域中的每个区域的结构的信息。
6.根据权利要求5所述的电子设备,其中:
所述第二处理器还被配置为将当电子设备位于所述多个区域中的特定区域时通过相机获得的图像输入到所存储的多个人工智能模型中的至少一个人工智能模型,以识别存在于特定区域中的对象,并将关于所识别的对象的信息提供给第一处理器;和
第一处理器还被配置为基于所提供的关于所识别的对象的信息,获得与特定区域相对应的人工智能模型。
7.根据权利要求6所述的电子设备,其中:
所存储的多个人工智能模型中的每个人工智能模型包括卷积层和被训练为基于从卷积层提取的特征信息来识别多个对象的全连接层;和
第一处理器还被配置为:
根据基于关于存在于第一区域中的对象的信息第一区域中的所述多个对象中的第一对象被识别为存在,获得包括卷积层和被训练为识别第一对象的全连接层的第一部分的第一模型,以及
根据基于关于存在于第二区域中的对象的信息第二区域中的所述多个对象中的第二对象被识别为存在,获得包括卷积层和被训练为识别第二对象的全连接层的第二部分的第二模型。
8.根据权利要求1所述的电子设备,其中:
第二处理器还被配置为将当电子设备位于所述多个区域中的区域时通过相机获得的图像输入到加载到易失性存储器以识别在区域处存在的对象的所述多个人工智能模型中的至少一个人工智能模型,并将关于所识别的对象的信息提供给所述第一处理器;和
第一处理器还被配置为基于从第二处理器提供的关于所识别的对象的信息来更新与区域相对应的人工智能模型。
9.根据权利要求8所述的电子设备,其中:
储存器存储关于所述多个区域中的每个区域处存在的对象的信息;和
第一处理器还被配置为:
基于存储在储存器中的关于所述多个区域中的每个区域处存在的对象的信息,确定存在于所述多个区域中的所述区域中的至少一个对象,
基于从第二处理器提供的关于所识别的对象的信息,从所确定的至少一个对象中确定在所述区域中未被识别的对象,以及
通过从与所述区域相对应的人工智能模型中移除被训练为识别所确定的未被识别的对象的部分,更新与所述区域相对应的人工智能模型。
10.根据权利要求8所述的电子设备,其中:
储存器存储关于所述多个区域中的每个区域处存在的对象的信息;和
第一处理器还被配置为:
基于存储在存储器中的关于所述多个区域中的每个区域处存在的对象的信息,确定存在于所述区域中的至少一个对象,
基于从第二处理器提供的关于所识别的对象的信息,确定所识别的对象是否不被包括在存在于所述区域中的所确定的至少一个对象中,以及
基于所识别的对象被确定为不被包括在存在于所述区域中的所确定的至少一个对象中,将用于识别所识别的对象的被训练的部分添加到与所述区域相对应的人工智能模型,以更新与所述区域相对应的人工智能模型。
11.一种电子设备,包括:
相机;
传感器;
储存器,用于存储被训练为识别对象的多个人工智能模型,并用于存储关于地图的信息;和
处理器,被配置为控制电子设备,
其中,处理器包括易失性存储器,并且
其中,处理器被配置为:
基于从传感器获得的感测数据,从在地图中所包括的多个区域中确定电子设备位于的区域,
基于所确定的区域,从存储在储存器中的所述多个人工智能模型中加载人工智能模型,以及
将通过相机获得的图像输入到加载的人工智能模型以识别对象。
12.一种使用对象标识模型的电子设备的控制方法,所述控制方法包括:
基于存储在电子设备的储存器中的关于地图的信息,识别被包括地图中的多个区域;
基于从传感器获得的感测数据,从所述多个区域中确定电子设备位于的区域;
基于所确定的区域,将存储在储存器中的所述多个人工智能模型中的人工智能模型加载到易失性存储器;和
通过将通过相机获得的图像输入到加载的人工智能模型来识别对象。
13.根据权利要求12所述的控制方法,其中:
所述多个人工智能模型中的每个人工智能模型包括卷积层和被训练为基于从卷积层提取的特征信息来识别对象的全连接层;
卷积层是所述多个人工智能模型中的公共层;
全连接层是单独提供给所述多个人工智能模型中的每个人工智能模型的层;和
加载到易失性存储器包括:
基于电子设备位于所述多个区域中的第一区域,将与所述多个人工智能模型中的第一模型相对应的全连接层和卷积层加载到易失性存储器,以及
基于电子设备位于所述多个区域中的第二区域,将与所述多个人工智能模型中的第二模型相对应的全连接层和卷积层加载到易失性存储器。
14.根据权利要求12所述的控制方法,其中:
关于地图的信息包括关于所述多个区域中的每个区域的结构的信息;和
确定电子设备位于的区域包括将关于结构的信息与从传感器获得的感测数据进行比较,以从所述多个区域中确定电子设备位于的区域。
15.根据权利要求12所述的控制方法,还包括:
基于从传感器获得的感测数据,获得关于电子设备位于的地点的结构的信息;
基于所获得的关于结构的信息将地点划分为所述多个区域;和
生成关于地图的信息并将生成的关于地图的信息存储在储存器中,所述关于地图的信息包括关于所划分的多个区域中的每个区域的结构的信息。
CN202080040876.2A 2019-06-03 2020-05-29 用于对象标识的电子设备及其控制方法 Pending CN113906438A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20190065519 2019-06-03
KR10-2019-0065519 2019-06-03
KR20190099904 2019-08-14
KR10-2019-0099904 2019-08-14
KR10-2019-0122580 2019-10-02
KR1020190122580A KR102254138B1 (ko) 2019-06-03 2019-10-02 객체 인식을 위한 전자 장치 및 그 제어 방법
PCT/KR2020/006968 WO2020246753A1 (en) 2019-06-03 2020-05-29 Electronic apparatus for object recognition and control method thereof

Publications (1)

Publication Number Publication Date
CN113906438A true CN113906438A (zh) 2022-01-07

Family

ID=73549726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080040876.2A Pending CN113906438A (zh) 2019-06-03 2020-05-29 用于对象标识的电子设备及其控制方法

Country Status (4)

Country Link
US (3) US11151357B2 (zh)
EP (1) EP3915048A4 (zh)
CN (1) CN113906438A (zh)
WO (1) WO2020246753A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255273B1 (ko) * 2019-01-04 2021-05-24 삼성전자주식회사 청소 공간의 지도 데이터를 생성하는 장치 및 방법
KR20210040613A (ko) 2019-10-04 2021-04-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
CA3158124A1 (en) * 2019-10-15 2021-04-22 Alarm.Com Incorporated Navigation using selected visual landmarks
US11651621B2 (en) 2019-10-23 2023-05-16 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10973344B2 (en) * 2012-04-30 2021-04-13 Xsensor Technology Corporation Bedding system with a CNN based machine vision process
EP3120300A4 (en) 2014-03-19 2017-11-22 Neurala Inc. Methods and apparatus for autonomous robotic control
US9824578B2 (en) 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
KR101629649B1 (ko) * 2014-09-30 2016-06-13 엘지전자 주식회사 로봇 청소기 및 로봇 청소기의 제어방법
US9264861B1 (en) * 2015-01-29 2016-02-16 Ringcentral, Inc. Generating spatial models using crowdsourcing
JP2016192096A (ja) 2015-03-31 2016-11-10 大日本印刷株式会社 物体認識選択装置、物体認識選択方法及びプログラム
US10335949B2 (en) 2016-01-20 2019-07-02 Yujin Robot Co., Ltd. System for operating mobile robot based on complex map information and operating method thereof
KR101844744B1 (ko) * 2016-01-20 2018-04-05 주식회사 유진로봇 이동로봇을 원격으로 제어하는 원격 제어 장치 및 시스템과 그의 수행방법
US10175688B2 (en) 2016-01-20 2019-01-08 Yujin Robot Co., Ltd. Apparatus and system for remotely controlling a moving robot and method thereof
JP6528723B2 (ja) 2016-05-25 2019-06-12 トヨタ自動車株式会社 物体認識装置、物体認識方法及びプログラム
WO2017218234A1 (en) 2016-06-15 2017-12-21 Irobot Corporation Systems and methods to control an autonomous mobile robot
CN106203398B (zh) * 2016-07-26 2019-08-13 东软集团股份有限公司 一种检测车道边界的方法、装置和设备
US10229317B2 (en) 2016-08-06 2019-03-12 X Development Llc Selectively downloading targeted object recognition modules
US10168709B2 (en) * 2016-09-14 2019-01-01 Irobot Corporation Systems and methods for configurable operation of a robot based on area classification
CN108133223B (zh) 2016-12-01 2020-06-26 富士通株式会社 确定卷积神经网络cnn模型的装置和方法
US10528799B2 (en) 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
KR102530045B1 (ko) * 2016-12-23 2023-05-09 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20180075176A (ko) 2016-12-26 2018-07-04 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR101976424B1 (ko) 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
KR102048992B1 (ko) 2017-07-21 2019-11-27 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
WO2019029802A1 (en) * 2017-08-09 2019-02-14 Telefonaktiebolaget Lm Ericsson (Publ) SYSTEM AND METHOD FOR SELECTING ANTENNA BEAM
KR102463175B1 (ko) 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
US20200249047A1 (en) * 2017-10-25 2020-08-06 Ford Global Technologies, Llc Proactive vehicle positioning determinations
CN112689757A (zh) * 2017-10-26 2021-04-20 Essenlix公司 使用crof和机器学习的基于图像测定的系统和方法
US11274935B2 (en) * 2017-12-05 2022-03-15 Google Llc Landmark-assisted navigation
US10970900B2 (en) * 2018-03-12 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US10725176B2 (en) * 2018-03-14 2020-07-28 Nathan J. DeVries System and method of intrusion detection
WO2020227128A1 (en) * 2019-05-03 2020-11-12 Image Stream Medical, Inc. Context and state aware operating room
WO2020262721A1 (ko) * 2019-06-25 2020-12-30 엘지전자 주식회사 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템
CN114008681A (zh) * 2019-07-09 2022-02-01 三星电子株式会社 电子设备及其控制方法
US11222464B2 (en) * 2019-08-22 2022-01-11 The Travelers Indemnity Company Intelligent imagery
KR20210057582A (ko) * 2019-11-12 2021-05-21 삼성전자주식회사 잘못 흡입된 객체를 식별하는 로봇 청소기 및 그 제어 방법
US10735212B1 (en) * 2020-01-21 2020-08-04 Capital One Services, Llc Computer-implemented systems configured for automated electronic calendar item predictions and methods of use thereof

Also Published As

Publication number Publication date
EP3915048A1 (en) 2021-12-01
US20200380242A1 (en) 2020-12-03
US11151357B2 (en) 2021-10-19
US20220027600A1 (en) 2022-01-27
US11719544B2 (en) 2023-08-08
EP3915048A4 (en) 2022-03-30
WO2020246753A1 (en) 2020-12-10
US20230366682A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
CN113906438A (zh) 用于对象标识的电子设备及其控制方法
EP3338433B1 (en) Apparatus and method for user-configurable interactive region monitoring
US11784845B2 (en) System and method for disambiguation of Internet-of-Things devices
KR20200085142A (ko) 청소 공간의 지도 데이터를 생성하는 장치 및 방법
US20210161351A1 (en) Pollution source determination robot cleaner and operating method thereof
US9477302B2 (en) System and method for programing devices within world space volumes
US11900722B2 (en) Electronic apparatus and control method thereof
JP2022122984A (ja) 画像処理システム、画像処理方法及びプログラム
KR102254138B1 (ko) 객체 인식을 위한 전자 장치 및 그 제어 방법
US20240095143A1 (en) Electronic device and method for controlling same
US11641994B2 (en) Mistakenly ingested object identifying robot cleaner and controlling method thereof
US20230205218A1 (en) Electronic apparatus and controlling method thereof
KR20240049534A (ko) 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법
KR102254157B1 (ko) 와핑된 이미지를 통해 바닥 객체를 식별하는 전자 장치 및 그 제어 방법
US10776952B2 (en) Image-recording and target-counting device
US11651621B2 (en) Electronic device and method for controlling the electronic device
KR102553598B1 (ko) 영상 처리 장치 및 그 제어 방법
CN114073454A (zh) 房间划分方法、装置、设备及可读存储介质
US20220004805A1 (en) Electronic device for recognizing object and operating method thereof
KR20200037657A (ko) 냉장고, 서버 및 냉장고의 객체 인식 방법
US20240119709A1 (en) Method of training object recognition model by using spatial information and computing device for performing the method
KR20200075069A (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 매체.
US20230107917A1 (en) System and method for a hybrid unsupervised semantic segmentation
Gami Smart Motion Sensor Design for Energy Saving and Surveillance
US20230245337A1 (en) Electronic device and control method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination