CN114303148A - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN114303148A
CN114303148A CN202080060894.7A CN202080060894A CN114303148A CN 114303148 A CN114303148 A CN 114303148A CN 202080060894 A CN202080060894 A CN 202080060894A CN 114303148 A CN114303148 A CN 114303148A
Authority
CN
China
Prior art keywords
information
electronic device
user
feature information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060894.7A
Other languages
English (en)
Inventor
朴要燮
廓世珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114303148A publication Critical patent/CN114303148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Accounting & Taxation (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Bioethics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Fuzzy Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种电子设备及其控制方法。所述电子设备包括：相机，被配置为捕获图像；通信接口；存储器，被配置为存储至少一个指令；以及处理器，被配置为：基于所述图像获得用户的特征信息；基于用户的所述特征信息被获得，识别与所述特征信息对应的第一信息是否被存储在存储器中；基于对应的第一信息未被存储在存储器中，产生与用户的所述特征信息对应的标识信息；执行对用户的所述特征信息和所述标识信息的映射并存储在存储器中；以及将用户的所述特征信息和所述标识信息发送到第二电子设备。

Description

电子设备及其控制方法
技术领域
本公开涉及一种电子设备及其控制方法，并且更具体地，涉及一种用于向用户提供服务的电子设备及其控制方法。
背景技术
随着电子技术的最新发展，各种类型的电子设备正在被开发和发布。
特别地，代替人类的电子设备(诸如自助服务终端或机器人)正被积极地供应给商店、咖啡馆、餐馆等。诸如上述的电子设备可以处理客户的点单，或者执行诸如递送给客户的操作。
目前，虽然许多电子设备(诸如自助服务终端或机器人)仅仅代替简单的人工劳动，但是越来越需要自动化以通过利用和共享客户相关信息来提供一致的客户服务或定制服务。
通常，为了为客户提供一致的服务或定制的服务，必须管理敏感的个人信息。相应地，对信息泄漏和客户个人信息的黑客攻击的关注日益增加。
发明内容
技术问题
-
技术方案
根据实施例，提供了一种电子设备，包括：相机，被配置为捕获图像；通信接口；存储器，被配置为存储至少一个指令；以及处理器。处理器被配置为：基于所述图像获得用户的特征信息；基于用户的所述特征信息被获得，识别与所述特征信息对应的第一信息是否被存储在存储器中；基于对应的第一信息未被存储在存储器中，产生与用户的所述特征信息对应的标识信息；执行对用户的所述特征信息和所述标识信息的映射并存储在存储器中；以及控制通信接口将用户的所述特征信息和所述标识信息发送到第二电子设备，其中，所述电子设备和第二电子设备位于特定空间中，并且所述电子设备和第二电子设备中的每个被配置为执行在所述特定空间中提供的服务中的至少一个服务。
所述处理器还被配置为：基于对应的第一信息被存储在存储器中，从存储器获得映射在对应的第一信息中的用户的所述标识信息，以及基于获得的所述标识信息来执行服务中的所述至少一个服务。
所述处理器还被配置为：基于服务中的所述至少一个服务被执行，控制通信接口向服务器发送与服务中的所述至少一个服务相关的特征信息中除面部识别信息之外的第二信息。
处理器还被配置为：基于服务中的所述至少一个服务正在被执行，控制通信接口通过对等(P2P)通信将与执行的服务有关的第一信息和所述特征信息发送到第二电子设备，其中，所述特征信息包括用户的面部识别信息。
所述处理器还被配置为：控制通信接口将所述特征信息中除面部识别信息之外的第二信息发送到服务器，从服务器接收针对第二信息的服务执行信息，并且基于接收的服务执行信息提供推荐服务信息。
所述处理器还被配置为：基于包括在所述推荐服务信息中的多个服务信息中的一个服务信息被用户选择，提供关于选择的推荐服务信息的附加服务信息，以及基于多个附加服务信息中一个附加服务信息被用户选择，控制通信接口向服务器发送更新针对推荐服务信息的附加服务信息的请求。
所述处理器还被配置为：在存储器中存储通过通信接口从第二电子设备接收的用户的所述标识信息和所述特征信息。
所述处理器还被配置为：基于多个用户的各个特征信息从所述图像被获得，产生与所述多个用户的各个特征信息中的每个对应的各个标识信息，并且通过对多个标识信息进行分组来产生组标识信息，基于所述多个用户的各个特征信息中的至少一个来产生组特征信息，以及控制通信接口向第二电子设备发送所述多个用户中的每个用户的各个标识信息、各个特征信息、组标识信息和组特征信息。
所述处理器还被配置为：基于服务中的所述至少一个服务被执行，控制通信接口向服务器发送与执行的服务中的所述至少一个服务有关的第一信息和所述组特征信息。
所述处理器还被配置为：基于在获得所述特征信息之后识别出经过了预定时间、经过了预定时段或用户离开所述特定空间中的至少一个，从存储器中删除用户的所述特征信息和所述标识信息。
所述存储器被配置为：存储被训练为基于输入图像获得用户的所述特征信息的学习网络模型，并且所述处理器还被配置为通过将所述图像输入到学习网络模型来获得用户的所述特征信息。
所述电子设备或第二电子设备中的至少一个是在所述特定空间内移动的移动机器人。
根据实施例，提供了一种电子设备的控制方法，所述方法包括：基于由电子设备的相机捕获的图像来获得用户的特征信息；基于用户的所述特征信息被获得，识别与所述特征信息对应的第一信息是否被存储在电子设备中；基于对应的第一信息未被存储在电子设备中，产生与用户的所述特征信息对应的标识信息；映射并存储用户的所述特征信息和所述标识信息；以及将用户的所述特征信息和所述标识信息发送到第二电子设备，其中，所述电子设备和第二电子设备位于特定空间中，并且所述电子设备和第二电子设备中的每个执行在所述特定空间中提供的服务中的至少一个服务。
所述方法还包括：基于对应的第一信息被存储在电子设备中，从电子设备获得映射在对应的第一信息中的用户的所述标识信息；以及基于获得的所述标识信息来执行服务中的所述至少一个服务。
所述方法还包括：基于服务中的所述至少一个服务被执行，向服务器发送与服务中的所述至少一个服务相关的所述特征信息中除面部识别信息之外的第二信息。
所述方法还包括：基于服务中的所述至少一个服务被执行，通过对等(P2P)通信将与执行的服务相关的第一信息和所述特征信息发送到第二电子设备，其中，所述特征信息包括用户的面部识别信息。
所述方法还包括：将所述特征信息中除面部识别信息之外的第二信息发送到服务器；从服务器接收与第二信息相关的服务执行信息；并且基于接收的服务执行信息提供推荐服务信息。
所述方法还包括：基于包括在推荐服务信息中的多个服务信息中的一个被用户选择，提供关于所选择的推荐服务信息的附加服务信息，以及基于多个附加服务信息中的一个附加服务信息被用户选择，向服务器发送更新关于推荐服务信息的附加服务信息的请求。
所述方法还包括：将从第二电子设备接收的用户的所述识别信息和所述特征信息存储在电子设备中。
所述方法还包括：基于多个用户的各个特征信息从所述图像被获得，产生与所述多个用户的各个特征信息中的每个对应的各个标识信息；通过对多个标识信息进行分组来产生组标识信息；基于所述多个用户的各个特征信息中的至少一个来产生组特征信息；以及向第二电子设备发送所述多个用户中的每个用户的各个标识信息、各个特征信息、组标识信息和组特征信息。
有益效果
根据各种实施例，可以通过使用电子设备向客户提供在最小化泄漏和黑客攻击风险时有效地保持和管理客户的敏感个人信息的一致且定制的服务。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施例来学习。
附图说明
通过以下结合附图的详细描述，特定实施例的以上和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据实施例的电子设备的配置的框图；
图2是示出根据实施例的电子设备和其他电子设备的示意性配置的示图；
图3是示出根据实施例的用户的特征信息和标识信息的示图；
图4是示出根据实施例的在特定空间中提供的服务的示图；
图5是示出根据实施例的发送到服务器的信息的示图；
图6是示出根据实施例的发送到服务器的信息的示图；
图7是示出根据实施例的推荐服务信息的示图；
图8是示出根据实施例的附加服务信息的示图；
图9是示出根据实施例的组标识信息和组特征信息的示图；
图10是示出根据实施例的在多个电子设备之间共享的信息的示图；
图11是示出根据实施例的电子设备的示意性配置的示图；
图12是示出根据实施例的电子设备的控制方法的流程图；以及
图13是示出根据实施例的电子设备、其他电子设备和服务器的操作的序列图。
最佳模式
-
具体实施方式
将简要描述本文使用的术语，并且将在下面更详细地描述本公开。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅用于使得能够清楚和一致地理解本公开。相应地，对于本领域技术人员显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
本公开的实施例可以进行各种修改，并且可以包括其中的各种实施例。提供一些实施例及其详细描述以帮助全面理解本公开。然而，应当注意，各种实施例不旨在将本公开的范围限制于特定实施例，而是应当被解释为包括实施例的所有修改、组合、等同和/或替代。在描述实施例时，在确定相关或已知技术的详细描述可能不必要地混淆本公开的主旨的情况下，将省略其详细描述。
术语(诸如“第一”和“第二”)可以用于描述各种元件，但是元件可以不受术语限制。这些术语可以仅用于将一个元件与另一元件区分开的目的。
除非在上下文中另有明确说明，否则单数表达可以包括复数表达。应当理解，诸如“包括”或“由...组成”的术语在本文中用于指定特征、数字、步骤、操作、元件、组件或其组合的存在，并且不排除存在或可能添加一个或更多个其他特征、数字、步骤、操作、元件、组件或其组合。
在本公开中，诸如“模块”或“部分”的术语可以用于执行至少一个功能或操作，并且可以被实现为硬件或软件，或者硬件和软件的组合。此外，除了当“模块”或“部分”需要在特定硬件中实现时，多个“模块”或多个“部分”可以集成到至少一个模块以实现为至少一个处理器。
已经参照附图详细描述了本公开的实施例，以帮助本领域普通技术人员理解。然而，本公开可以以各种不同的形式实现，并且应当注意，本公开不限于本文描述的各种实施例。此外，在附图中，可以省略与描述无关的部分，并且可以使用相同的附图标号来指示相同的元件。
图1是示出根据实施例的电子设备的配置的框图。
如图1所示，根据实施例的电子设备100可以在各种形式的装置(诸如例如但不限于用户终端设备、显示设备、机顶盒、平板个人计算机(PC)、智能电话、电子书阅读器、台式PC、膝上型PC、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、自助服务终端等)中实现。然而，电子设备100不限于此，并且可以被实现为各种形式的电子设备(诸如例如但不限于与配件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))或织物或服装嵌入类型(例如，电子服装)中的至少一种类型对应的可穿戴设备、包括驱动部的机器人、投影仪、服务器等)。
根据实施例的电子设备100可以被实现为机器人。机器人可以指具有自行执行功能的能力的各种形式的机器。在示例中，机器人可以指除了执行简单的重复功能之外，还基于传感器、相机等实时检测周围环境、收集信息并自主操作的智能机器。
机器人可以包括包含致动器或电机的驱动部。机器人可以使用驱动部来控制多关节型机器人的移动。驱动部可以包括轮、制动器等，并且机器人可以使用驱动部来实现为能够在特定空间中自行移动的移动机器人。另外，多关节型机器人可以指机器人的用于替代人类手臂或人类手的功能的组件。
基于领域或可执行功能，机器人可以被分类为商业用途、医疗用途、家庭用途、军事用途、探索用途等。例如，商业用途机器人还可以被分类为在工厂产品制造处理中使用的机器人、在商店或餐馆中执行客户接待、接收点单、服务等的机器人等。然而，这些仅是一些示例，并且机器人可以根据使用领域、功能和目的进行各种分类，并且实施例可以不限于上述示例。
为了便于描述，电子设备100被假设为机器人并在下面进行描述。
如图1所示，电子设备100可以包括相机110、通信接口120、存储器130和处理器140。
相机110被配置为拍摄或捕获静止图像或运动图像。相机110可以在特定时间点拍摄静止图像，但是也可以连续地拍摄静止图像。相机110可以将获得的图像提供给处理器140。
相机110可以根据处理器140的控制获得包括用户的面部的图像。例如，如果用户被识别为位于电子设备100附近，则处理器140可以控制相机110在朝向用户的方向上移动以获得包括用户的面部的图像。
根据实施例，可以存在多个相机110。例如，多个相机110可以包括前表面相机和后表面相机。
通信接口120可以接收各种类型的内容的输入。例如，通信接口120可以使用通信网络(诸如但不限于基于接入点(AP)的Wi-Fi(例如，Wi-Fi、无线LAN网络)、蓝牙、ZigBee、有线/无线局域网(LAN)、广域网(WAN)、以太网、IEEE 1394、高清多媒体接口(HDMI)、USB、移动高清链路(MHL)、音频工程协会/欧洲广播联盟(AES/EBU)、光学、同轴等)通过流传输或下载从外部设备(例如，源装置)、外部存储介质(例如，通用串行总线(USB)存储器)、外部服务器(例如，云服务器)等接收图像信号。图像信号可以是标清(SD)图像、高清(HD)图像、全HD图像或超HD图像中的任何一个的数字图像信号，但是实施例不限于此。
电子设备100可以通过经由通信接口120以对等(P2P)形式与其他电子设备执行通信来共享信息。在示例中，电子设备100可以以Ad Hoc模式与其他电子设备执行通信，其中，Ad Hoc模式在没有接入点(AP)的情况下以P2P形式在装置之间发送或接收信息。下面将参照图2提供其详细描述。
图2是示出根据实施例的电子设备和其他电子设备的示意性配置的示图。
参照图2，电子设备100可以获得关于用户10的信息。然后，电子设备100可以将获得的信息发送到其他电子设备200。关于用户10的信息可以包括基于包括通过相机110拍摄的用户的面部的图像获得的用户10的特征信息。例如，用户10的特征信息可以包括诸如用户10的面部、性别、年龄组、体型、语音等的特征。
在另一示例中，电子设备100还可以从其他电子设备200接收用户10的信息。例如，其他电子设备200可以获得关于用户10的信息，并且将获得的信息发送到电子设备100。
如图2所示，电子设备100和其他电子设备200可以彼此共享用户10的信息。下面将描述关于用户10的信息共享的详细描述。
图2所示的电子设备100和其他电子设备200可以位于特定空间内，并且可以是在特定空间中执行提供给用户10的至少一些服务的设备。例如，特定空间可以包括商店、餐馆等，并且电子设备100和其他电子设备200中的每个可以执行在商店、餐馆等中提供的至少一些服务(诸如接收点单、服务、客户接待或支付)。用户10可以指商店或餐馆的用户或顾客，但是为了便于描述，在下文中将统称为用户10。
返回参照图1，存储器130可以被实现为内部存储器(诸如只读存储器(ROM)(例如，电可擦除可编程只读存储器(EEPROM))和随机存取存储器(RAM)或与处理器140分离的存储器)。存储器130可以被实现为根据数据存储用途嵌入在电子设备100中的存储器形式，或者被实现为可附接到/可拆卸到电子设备100的存储器形式。例如，用于驱动电子设备100的数据可以存储在嵌入到电子设备100的存储器中，并且用于电子设备100的扩展功能的数据可以存储在可附接到/可拆卸到电子设备100的存储器中。嵌入在电子设备100中的存储器可以被实现为易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器(HDD)或固态驱动器(SSD))中的至少一个。在存储器可附接到/可拆卸到电子设备100的情况下，存储器可以以诸如存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(micro-SD)、迷你安全数字(mini-SD)、极端数字(xD)、多媒体卡(MMC)等)或可连接到USB端口的外部存储器(例如，USB存储器)等的形式实现。
存储器130可以基于处理器140的控制来存储基于从其他电子设备200接收的关于用户10的图像或信息而获得的用户10的信息。例如，关于用户10的信息可以包括特征信息、标识信息等。
另外，存储器130可以存储训练的学习网络模型以基于图像获得用户10的特征信息。学习网络模型可以是具有基于多个样本图像学习的机器的人工智能(AI)模型。
可以通过处理器和存储器来操作根据实施例的与人工智能相关的功能。处理器可以包括一个或多个处理器。一个或多个处理器可以是通用处理器(诸如CPU、AP或数字信号处理器(DSP))、图形专用处理器(诸如GPU或视觉处理单元(VPU))或人工智能专用处理器(诸如NPU)。一个或多个处理器可以根据存储在存储器中的预定义操作或人工智能模型来控制将被处理的输入数据。可选地，如果一个或多个处理器是人工智能专用处理器，则人工智能专用处理器可以被设计为专门处理特定人工智能模型的硬件结构。
可以通过机器学习产生预定义的操作规则或人工智能模型。可以通过使用学习数据的学习算法来训练通过学习来创建以执行期望特征的预定义操作规则或人工智能模型。学习可以在执行人工智能的机器自身中执行，或者通过单独的服务器和/或系统执行。学习算法的示例可以包括监督学习、无监督学习、半监督学习或强化学习，但是实施例不限于此。
人工智能模型可以包括多个神经网络层。多个神经网络层中的每个可以包括多个权重值，并且可以通过先前层的处理结果与多个权重值之间的处理来执行神经网络处理。可以通过人工智能模型的学习结果来优化对应的多个神经网络层中的多个权重值。例如，可以更新多个权重值，以使在学习处理期间由人工智能模型获得的损失值或代价值被减少或优化。人工神经网络可以包括深度神经网络(DNN)，并且其示例可以包括卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、深度Q网络等，但是实施方式不限于上述示例。
学习网络模型可以基于处理器140的控制从图像获得用户10的特征信息。
处理器140可以控制电子设备100的整体操作。
根据实施例，处理器140可以被实现为处理数字图像信号的数字信号处理器(DSP)、微处理器、人工智能(AI)处理器和定时控制器(T-CON)。然而，实施例不限于此，并且处理器140可以包括中央处理器(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)或高级RISC机器(ARM)处理器中的一个或更多个，或者可以由对应的术语定义。另外，处理器140可以实现为具有内置处理算法的片上系统(SoC)和大规模集成(LSI)，或者以现场可编程门阵列(FPGA)形式实现。
处理器140可以基于通过相机110获得的图像来获得用户10的特征信息。下面将参照图3提供其详细描述。
图3是示出根据实施例的特征信息和标识信息的示图。
参照图3，处理器140可以通过将包括用户10的图像输入到存储在存储器130中的学习网络模型来获得用户10的特征信息11。包括用户10的图像不限于包括用户10的面部的图像，而是还可以是包括用户10的整个身体的图像或用户的部分捕获的图像。
用户10的特征信息11可以指能够指定用户10的所有类型的信息。例如，用户10的特征信息11可以包括面部识别信息(例如，面部ID)、性别信息、年龄组信息、用户的体型信息(例如，身高)或关于用户10穿戴的衣服的信息等。如图3所示，作为用户10的特征信息11的面部识别信息(例如，面部ID)、年龄组、身高和性别仅是一个示例，并且特征信息11可以包括可以指定用户10的各种类型的信息。例如，特征信息11可以包括用户10的语音信息(例如，声音)、指纹信息等。另外，特征信息11还可以包括用户10进入特定空间的时间(例如，进入商店的时间)和离开时间(例如，离开商店的时间)。
处理器140可以识别基于图像获得的用户的特征信息11是否存储在存储器130中。如果与特征信息11对应的信息未存储在存储器130中，则处理器140可以产生与用户10的特征信息11对应的标识信息12。参照图3，指示用户10的标识信息12可以是客人#1。图3所示的标识信息12的形式仅仅是一个示例，并且不一定限于此。例如，处理器140可以产生能够指示用户10和用户10的特征信息11的各种形式的ID。
处理器140可以执行用户10的特征信息11和用户的标识信息12的映射并存储在存储器130中。然后，处理器140可以控制通信接口120将特征信息11和标识信息12发送到其他电子设备200。
处理器可以基于与基于存储在存储器中的图像获得的特征信息11对应的信息，从存储器130获得映射在相应信息中的用户的标识信息12。在示例中，处理器140可以基于与存储在存储器130中的多个特征信息11的相似度相关的预定阈值来识别特征信息11。具体地，例如，处理器140可以从基于图像获得的特征信息11中识别出面部识别信息。也就是说，基于由相机110捕获并由处理器140接收的图像，处理器140可以通过将图像与存储在存储器130中的多个特征信息11中的每个进行比较并且基于预定阈值确定图像与多个特征信息11中的一个对应来识别图像的特征信息11。在另一示例中，处理器140可以将不同的权重值添加到特征信息11中包括的面部识别信息、年龄组信息、体型信息或性别信息中的每个，然后识别存储在存储器130中的多个特征信息中的相似度为预定阈值或更大的特征信息11。根据实施例，处理器140还可以向面部识别信息添加比其余信息(例如，年龄组信息、体型信息或性别信息)相对高的权重值。
处理器140可以获得映射在识别出的特征信息11中的标识信息12。例如，处理器140可以获得与存储在存储器130中的多个特征信息11中的用户10的特征信息11对应的信息，并且获得映射在获得的信息中的标识信息12。参照图3，根据与基于预先存储在存储器130中的图像获得的特征信息11对应的信息，处理器140可以加载映射在预先存储的特征信息11中的标识信息12，而不是产生用于指示用户10和获得的特征信息11的标识信息12。
处理器140可以基于获得的标识信息来控制电子设备100执行在特定空间中提供的至少一些服务。下面将参照图4提供其详细描述。
图4是示出根据实施例的在特定空间中提供的服务的示图。
参照图4，根据实施例的特定空间可以是商店或餐馆，并且电子设备100可以是接收用户10的点单历史并发送到其他电子设备200的机器人。在这种情况下，除了用户10的特征信息11和标识信息12之外，处理器140还可以将从用户10接收的点单历史发送到其他电子设备200。
例如，如图4所示，电子设备100可以将用户10的点单历史(例如，“披萨”)与用户的特征信息11和标识信息12一起发送到其他电子设备200。处理器140还可以将关于从用户10接收点单历史的时间的信息发送到其他电子设备200。
在与由电子设备100执行的服务相关的信息13(例如，“披萨”)中示出了从用户10接收的点单历史。
也就是说，处理器140可以根据电子设备100的使用领域、功能、使用目的等执行特定服务，并且可以将与执行的服务相关的信息13与用户10的特征信息11和标识信息12一起发送到其他电子设备200。
在另一示例中，电子设备100可以设置在商店中，并且可以从用户10接收点单、执行支付交易、供应食物等。在这种情况下，处理器140可以获得关于是否已经进行支付、支付金额、是否需要供应食物、供应食物的用户的座位位置等的信息作为与所执行的服务相关的信息13。
在又一示例中，电子设备100可以获得包括用户10的其他请求的用户10的话语历史(诸如对应的请求是否已经被解决等)作为与所执行的服务相关的信息13。
根据实施例，其他电子设备200可以是用于接收用户10的点单历史的设备，并且电子设备100可以是用于根据用户10的点单历史供应烹饪好的食物的设备。在这种情况下，电子设备100可以基于通过相机110获得的图像来获得用户10的特征信息11。然后，电子设备100可以基于获得的特征信息11被识别为与从其他电子设备200接收的特征信息对应，基于从其他电子设备200接收的与服务相关的信息13来执行服务。与服务相关的信息13可以是在其他电子设备200中产生的信息，并且可以包括关于用户10的点单、用户10的座位位置等的信息。
此外，处理器140可以控制通信接口120将除了用户10的特征信息的面部识别信息之外的信息和与执行的服务相关的信息13发送到服务器。下面将参照图5提供其详细描述。
图5是示出根据实施例的发送到服务器的信息的示图。
参照图5，处理器140可以向服务器300发送从特征信息11和与所执行的服务相关的信息13中排除面部识别信息(例如，面部ID)14的信息。面部识别信息可以是从由相机110捕获的用户10的图像获得的信息。面部识别信息以及指纹、语音、虹膜识别信息等是与生物特征信息对应的用户的个人信息。然而，如果将在没有用户10同意的情况下存储或保持用户10的敏感个人信息，则可能存在在保持和保护这样的个人信息方面涉及的安全问题。
相应地，根据实施例的处理器140可以仅将特征信息11中除了与个人信息对应的面部识别信息、虹膜识别信息等之外的剩余信息14发送到服务器300。为了便于描述，用户10特有的个人信息和生物特征信息将被统称为面部识别信息。
如图5所示，电子设备100可以仅保持用户10的特征信息的不包括敏感个人信息的年龄组信息、体型信息、性别信息等，并将这样的个人信息发送到服务器300。另外，电子设备100可以向服务器300发送除特征信息的面部识别信息14和与所执行的服务相关的信息13之外的信息。
在图5中，与服务相关的信息13已经被描述为从用户10的点单历史(例如，“披萨”)获得的信息，但是与服务相关的信息13不限于点单历史或请求历史，并且还可以包括用户10的话语历史以及与电子设备100相关的使用历史。例如，处理器140可以通过使用用于将用户10的话语语音转换为字符串的语音到文本(STT)引擎或用于获得自然语言的意图信息的自然语言处理(NLP)引擎中的至少一种算法，基于用户10的话语语音来确定用户10的意图，并且可以将获得的意图信息识别为与所执行的服务相关的信息13。
如上所述，根据实施例的处理器140可以将用户的特征信息11中除面部识别信息14之外的信息发送到服务器300。然后，处理器140可以接收与发送的信息14相关的服务执行信息。下面将参照图6提供其详细描述。
图6是示出根据实施例的发送到服务器的信息的示图。
根据实施例的处理器140可以根据基于用户20的图像获得用户20的特征信息11来识别与获得的特征信息11对应的信息是否存储在存储器130中。处理器140可以基于预先存储在存储器130中的相应信息来获得映射在相应信息中的标识信息12。只要与获得的特征信息11对应的信息未存储在存储器130上，处理器140就可以将标识信息12添加到获得的特征信息11。换句话说，如果可以基于特征信息11识别已经存储在存储器130中的标识信息12，则处理器140可以省略产生新的识别信息并将其添加到特征信息11的处理，而不是每次获得用户20的特征信息11时将新的标识信息12添加到对应的特征信息11。
参照图6，如果与获得的特征信息11对应的信息被存储在存储器130中，则处理器140可以从存储器130获得指示用户20的标识信息12(例如，客人#2)和用户20的特征信息。
然后，处理器140可以将特征信息11中除面部识别信息之外的信息14发送到服务器300，并且接收与发送的信息14相关的服务执行信息。
图7是示出根据实施例的推荐服务信息的示图。下面将参照图7提供其详细描述。
参照图6和图7，处理器140可以将特征信息11的除面部识别信息14之外的信息(例如，年龄组信息、体型信息或性别信息中的至少一个)发送到服务器300，并接收与发送的信息14相关的服务执行信息。
根据实施例，服务器300可以接收与从多个设备(诸如电子设备100和其他电子设备200)执行的服务相关的信息13。例如，处理器140可以将年龄组信息和与该年龄组信息对应的与针对用户20执行的服务相关的信息13发送到服务器300。另外，其他电子设备200还可以将年龄组信息和与该年龄组信息相对应的与针对用户20执行的服务相关的信息13发送到服务器300。例如，服务器300可以分别从电子设备100和其他电子设备200接收作为年龄组信息的“二十多岁”和作为与执行的服务相关的信息13的“意大利面”，以及作为年龄组信息的“三十多岁”和作为与执行的服务相关的信息13的“牛排”。
然后，服务器300可以仅识别与执行的服务相关的多个信息13中的包括与从电子设备100发送的信息对应的信息14的信息。例如，服务器300可以基于接收到年龄组信息“二十多岁”来获得“意大利面”作为与接收到的年龄组信息相关的服务执行信息，并发送到电子设备100。
如果基于用户20的特征信息11，用户20在他们的“二十多岁”，则电子设备100可以基于从服务器300接收的服务执行信息向用户20提供推荐服务信息。例如，电子设备100可以在他们的“二十多岁”时向用户20提供“意大利面”作为推荐服务信息。
为了便于描述，已经描述了仅考虑年龄组信息的情况，但是实施例不限于此。例如，如图6所示，处理器140可以将年龄组信息、体型信息和性别信息作为从用户20的特征信息11中排除面部识别信息14的信息发送到服务器300，并且接收与从服务器300发送的信息14对应的对用户执行的服务信息。例如，处理器140可以基于用户20的特征信息将“二十多岁”、“身高160cm”和“女性”发送到服务器300，并且从服务器300接收对与“二十多岁”、“身高160cm”和“女性”对应的用户执行的服务信息。
处理器140还可以基于从服务器300接收的服务执行信息提供多个推荐服务信息。根据实施例的处理器140可以基于对与“二十多岁”、“身高160cm”和“女性”对应的用户执行的服务的执行频率，向多个推荐服务中的每个添加不同的优先级顺序。
如图7所示，处理器140可以基于优先级顺序提供多个推荐服务信息。例如，处理器140可以基于从服务器300接收的与“二十多岁”、“身高160cm”和“女性”相关的服务执行信息，在推荐服务信息中提供“意大利面”作为主要选择，并提供“牛排”作为次要选择。
根据实施例的电子设备100可以包括显示器150，并且可以控制显示器150显示推荐服务信息。然而，实施例不限于此，并且电子设备100还可以通过使用输出器(诸如扬声器)在音频信号中提供推荐服务信息。显示器150可以被实现为各种形式的显示器(诸如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)等)。在显示器150中，可以包括能够以诸如但不限于非晶硅(A-Si)TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等形式实现的驱动电路、背光单元等。显示器150可以被实现为与触摸传感器耦接的触摸屏、柔性显示器、3D显示器等。
另外，根据实施例，显示器150不仅可以包括输出图像的显示面板，还可以包括容纳显示面板的边框。根据实施例，边框可以包括用于检测用户交互的触摸传感器150。
处理器140可以基于关于正在接收的推荐服务信息中的任何一个的用户20输入，将根据用户20的特征信息、识别信息和用户20输入的点单历史发送到其他电子设备200。
另外，处理器140可以将基于用户20输入的用户20的特征信息11中除面部识别信息之外的信息14和点单历史发送到服务器300。
此外，处理器140可以基于包括在推荐服务信息中的多个服务信息中的一个被选择和/或对选择的推荐服务信息的附加服务信息被用户20选择，来控制通信接口120向服务器300发送更新关于选择的推荐服务信息的附加服务信息的请求。下面将参照图8提供其详细描述。
图8是示出根据实施例的附加服务信息的示图。
参照图8，根据实施例的处理器140可以提供推荐服务信息，并且通过基于用户20的输入更新推荐服务信息来向服务器300发送推荐服务信息。
在示例中，处理器140可以基于从服务器300接收的服务执行信息来提供多个推荐服务信息。然后，当用户20选择多个推荐服务信息中的一个推荐服务信息时，处理器140可以将用户20选择的推荐服务信息发送到服务器300。参照图8，如果用户20在多个推荐服务信息“意大利面”和“牛排”中选择“牛排”，则处理器140可以将从用户20的特征信息11中除了面部识别信息之外的信息14和用户20选择的“牛排”发送到服务器300。在这种情况下，随着“牛排”的服务执行频率的增加，可以向用户推荐“牛排”作为主要选择，“意大利面”作为次要选择。这里，例如，执行频率可以是用户20基于提供给用户20的推荐服务信息选择特定点单(例如，“牛排”)的计数。然而，执行频率不限于此，并且可以以各种方式确定。
另外，处理器140可将用户20的特征信息11、标识信息12和选择的推荐服务信息发送到其他电子设备200。其他电子设备200可以是放置在商店中的机器人厨师、机器人服务器、机器人收银员等。
根据实施例，机器人厨师可以基于从电子设备100接收的信息来执行点单的烹饪，并且机器人服务器可以基于用户20的特征信息中包括的特定空间中的就座位置来向用户20执行服务。
在另一示例中，基于用户20选择了关于用户20选择的服务信息的附加服务信息，处理器140可以针对选择的服务信息更新附加服务信息并发送到服务器300。例如，基于对选择的服务信息的附加(或特定)请求被识别，处理器140可以更新针对选择的服务信息的相应请求并发送到服务器300。参照图8，如果用户20选择的服务信息是“牛排”并且选择了作为关于相应服务信息的附加服务信息的“烹饪程度”，则处理器140可以执行从用户20的特征信息11中除了面部识别信息14之外的信息、选择的服务信息和附加服务信息的映射，并发送到服务器300。
基于根据获得的图像获得了多个用户的特征信息，根据实施例的处理器140可以产生与多个用户的特征信息中的每个对应的标识信息，并且通过对产生的多个标识信息进行分组来产生组标识信息。然后，处理器140可以基于多个用户的特征信息中的至少一些特征信息来产生组特征信息，并且控制通信接口将多个用户中的每个用户的标识信息和特征信息以及组标识信息和组特征信息发送到其他电子设备。下面将参照图9提供其详细描述。
图9是示出根据实施例的组标识信息和组特征信息的示图。
参照图9，处理器140可以基于通过相机110获得的一个或更多个图像获得的多个用户10和用户20的特征信息来产生与多个用户10和用户20的每个特征信息对应的标识信息。在示例中，处理器140可以产生指示第一用户10的特征信息的第一标识信息，并且产生指示第二用户20的特征信息的第二标识信息。然后，处理器140可以通过对多个标识信息进行分组来产生组标识信息30。
在示例中，基于根据获得的图像识别出多个用户10和20已经同时或在预定时间差内进入特定空间，处理器140可以通过对与多个用户10和20中的每个对应的标识信息进行分组来产生组标识信息30。例如，如果基于获得的图像将第一用户10和第二用户20识别为已经一起进入商店，则处理器140可以通过将第一用户10与第二用户20分组以作为组单元提供服务来产生组标识信息30。
然后，处理器140可以基于多个用户10和用户20的特征信息中的至少一些特征信息来产生组特征信息31。例如，处理器140可以基于第一用户10的面部识别信息和第二用户20的面部识别信息来产生组特征信息31，并且可以执行产生的组特征信息31和组标识信息30的映射。然后，处理器140可以控制通信接口120将组特征信息31发送到其他电子设备200。在这种情况下，其他电子设备200可以执行第一用户10和第二用户20的分组，并且作为组单元提供服务。
基于在特定空间中提供的服务中的至少一些服务被执行到对应的组，处理器140可以控制通信接口120将与执行的服务相关的信息和组特征信息31发送到服务器300。
根据实施例，发送到服务器300的组特征信息31可以是除面部识别信息之外的信息。例如，组特征信息31可以包括组中包括的多个用户10和用户20中的每个的性别信息和年龄组信息。
基于根据图像识别出多个用户10和20的特征信息，处理器140可以将从对应的特征信息中除面部识别信息之外的信息发送到服务器300，并且接收针对相应组执行的服务信息。例如，处理器140可以基于一组男性和女性对被识别，将性别信息发送到服务器300，并从服务器300接收关于对一组男性和女性对最频繁执行的服务的信息。然后，处理器140可以基于从服务器300接收的信息向男性和女性对的组提供推荐服务信息。
图10是示出根据实施例的在多个电子设备之间共享的信息的示图。
参照图10，根据实施例，多个电子设备100-1、100-2和100-3可以设置在特定空间中。为了便于描述，已经将特定空间描述为餐馆，但是实施例不必限于此。例如，特定空间可以指电子设备100识别随机的用户组的商店，并且向识别的用户提供各种形式的服务。
多个电子设备100-1、100-2和100-3中的每个可以是执行彼此不同功能的机器人。例如，第一电子设备100-1可以是执行使用户10就座并从用户10接收点单的机器人。
第一电子设备100-1可以获得用户10的特征信息11，并且可以识别与获得的特征信息对应的信息是否存储在存储器130中。
如果对应的信息未存储在存储器130中，则第一电子设备100-1可以产生与用户10的特征信息11对应的标识信息12(例如，访客#1)。然后，第一电子设备100-1可以将用户10的特征信息11、标识信息12、点单(或请求)和就座位置发送到第二电子设备100-2。
第二电子设备100-2可以是用于根据点单烹饪食物的烹饪机器人或用于供应烹饪好的食物的机器人服务器。第二电子设备100-2可以通过独立提供的相机获得用户10的特征信息，或者基于从第一电子设备100-1接收的具有预定阈值或更大的相似度的特征信息11，基于从第一电子设备100-1接收的标识信息12来识别用户10。
第二电子设备100-2可以基于特定空间中的位置信息和用户10的点单向用户10供应食物。第二电子设备100-2可以向第三电子设备100-3发送关于是否向用户10执行了食物的供应、用户是否做出了附加请求等的信息以及用户10的特征信息11和标识信息12。
第三电子设备100-3可以是接收由用户10表达的对食物的满意级别或执行支付交易的机器人。第三电子设备100-3可以通过独立提供的相机获得用户10的特征信息，并且如果从第二电子设备100-2接收的特征信息11与独立获得的特征信息具有预定阈值或更大的相似度，则第三电子设备100-3可以基于从第二电子设备100-2接收的标识信息12来识别用户10。根据实施例的第三电子设备100-3可以基于用户10的另一图像来识别用户10的满意度级别。在示例中，存储在存储器130中的学习网络模型可以基于图像获得用户10的情绪、响应、满意级别等。第三电子设备100-3可以通过将在用户10的支付阶段期间拍摄用户10的图像应用于学习网络模型来识别用户10表达的满意级别。然后，第三电子设备100-3可以将向用户10执行的服务信息、用户10的点单历史和用户10的满意级别发送到服务器300。由服务器300发送到第三电子设备100-3的服务执行信息可以包括满意度结果，并且第三电子设备100-3不仅可以基于满意度结果排除多个推荐服务中的任何一个，而且还可以在多个推荐服务之间添加不同的优先级顺序。
第三电子设备100-3可以基于用户10的点单执行支付交易。第三电子设备100-3可以向服务器300发送用户10的特征信息11中除了面部识别之外的信息、用户10的点单、对点单的满意级别等。基于第一电子设备100-1向服务器300发送从用户10的特征信息11中除面部识别信息之外的信息14，第一电子设备100-1此后可以提供与用户10处于相同年龄组、性别和体型的多个用户的点单作为用户10的推荐服务信息。
为了便于描述，第一电子设备100-1已经被描述为向第二电子设备100-2发送信息，并且第二电子设备100-2已经被描述为向第三电子设备100-3发送信息，但是实施例不限于此。例如，第一电子设备100-1还可以将获得的特征信息11和标识信息12发送到位于特定空间中的任何一个电子设备或电子设备的组合。另外，多个电子设备100-1、100-2和100-3还可以共享特征信息11、标识信息12以及与在它们之间执行的服务相关的信息。
由于在没有用户同意的情况下存储和保持用户10的特征信息中的个人信息(诸如面部识别信息)、生物信息等在安全性方面可能是有问题的，因此电子设备100可以仅通过P2P通信与其他电子设备200共享信息，而不向服务器300发送。
另外，如果预定时间已经过去，则根据实施例的电子设备100可以删除用户10的特征信息11，或者用户10在获得特征信息11之后离开特定空间。
例如，电子设备100可以与放置在商店中的多个传感器执行通信。电子设备100可以基于通过多个传感器识别出用户10已经离开商店，删除用户10的特征信息11。
在另一示例中，如果在获得用户10的特征信息11之后已经过去预定时间，则电子设备100可以从存储器130删除用户10的特征信息11。在又一示例中，电子设备100还可以以预定时段间隔删除存储在存储器130中的多个特征信息11。
在又一示例中，电子设备100可以从用户10的特征信息11中仅删除面部识别信息，并且在不删除的情况下保持一些生物识别信息。例如，电子设备100可以基于用户10的话语语音获得语音验证信息(例如，声带)，并且在不删除的情况下保持特征信息11的语音识别信息。
电子设备100可以执行用户的标识信息12、语音识别信息和与对用户10执行的服务相关的信息的映射，并存储和保持该信息。电子设备100可以从用户10的特征信息11中获得语音识别信息，并且如果基于获得的语音识别信息被识别为预先存储在存储器130中而将用户10识别为通常在特定时间段内访问特定空间的频繁访问者，则电子设备100还可以基于与对用户10执行的服务相关的信息向用户10提供推荐服务信息。
即使包括在用户10的特征信息11中的面部识别信息没有被发送到服务器300，因为电子设备100自己存储和保持面部识别信息在诸如黑客等的安全性方面可能是有问题的，如果发生预定事件，则电子设备100可以删除特征信息11。放置在特定空间内的电子设备100和其他电子设备200都可以基于是否发生预定事件来删除特征信息11。例如，预定事件可以由电子设备100的操作者手动删除特征信息或自动设置预定间隔(例如，一个月中的第1天)作为预定事件发生的触发器并删除特征信息来触发。然而，实施例不限于此。预定事件可以是能够触发处理器140删除存储在存储器130中的特征信息11的任何预设事件。
图11是示出根据另一实施例的电子设备的示意性配置的示图。
根据实施例的电子设备100也可以被实现为自助服务终端。
与机器人不同，自助服务终端可以不包括驱动部，并且可以设置在特定空间内的固定位置处。根据实施例，自助服务终端可通过相机110获得用户的特征信息11，并且执行与特征信息11对应的标识信息12的映射，并发送到特定空间内的其他电子设备200。其他电子设备200可以包括具有驱动部的机器人、根据用户10的点单请求执行特定功能的电子设备、机器人收银员等。
根据实施例的电子设备100可以将通过相机110获得的特征信息11的除了面部识别信息之外的信息14发送到服务器300，并且基于与发送的信息14相关的服务执行信息来提供推荐服务信息。
如图11所示，电子设备100可以向用户10提供推荐菜单，并且接收关于推荐菜单的用户10输入并发送到其他电子设备200。
图12是示出根据实施例的电子设备的控制方法的流程图。
根据实施例的电子设备的控制方法可以包括：基于通过设置在电子设备中的相机获得的用户的图像来识别用户的特征信息是否存储在电子设备中(S1210)。
基于确定对应的特征信息未存储在电子设备中，可以基于通过电子设备的相机获得的图像来产生标识信息(S1220)。
然后，执行并存储用户的特征信息和标识信息的映射(S1230)。
然后，电子设备可以将用户的特征信息和标识信息发送到其他电子设备(S1240)。
电子设备和其他电子设备可以位于特定空间内，并且每个电子设备可以执行在特定空间内提供的服务中的至少一个服务。
根据实施例的控制方法可以包括：基于存储在电子设备中的相应信息，从电子设备获得映射在相应信息中的用户的标识信息，并且基于获得的标识信息执行服务中的至少一些服务。
根据实施例的控制方法可以包括：基于服务中的至少一些服务被执行，将与执行的服务相关的信息和特征信息中除面部识别信息之外的信息发送到服务器。
根据实施例的控制方法可以包括：基于服务中的至少一些服务被执行，通过对等(P2P)通信将与执行的服务相关的信息和特征信息发送到其他电子设备，并且特征信息可以包括用户的面部识别信息。
根据实施例的控制方法可以包括：将从获得的特征信息中除面部识别信息之外的信息发送到服务器，接收与从服务器发送的信息相关的服务执行信息，以及基于接收的服务执行信息提供推荐服务信息。
另外，根据实施例的控制方法可以包括：基于包括在推荐服务信息中的多个服务信息中的一个被用户选择以及关于选择的推荐服务信息的附加服务信息被用户选择，向服务器发送更新针对选择的推荐服务信息的附加服务信息的请求。
根据实施例的控制方法可以包括：将从其他电子设备接收的用户的标识信息和特征信息存储到电子设备，并且识别所述信息是否存储在电子设备中的步骤可以包括：基于根据获得的图像获得了用户的特征信息，识别与获得的特征信息对应的所述信息是否存储在电子设备中。
根据实施例的控制方法可以包括：基于根据获得的图像获得了多个用户的特征信息，产生与多个用户的特征信息中的每个特征信息对应的标识信息，通过对产生的多个标识信息进行分组来产生组标识信息，基于所述多个用户的特征信息中的至少一些特征信息产生组特征信息，以及发送所述多个用户中的每个用户的标识信息和特征信息，以及向其他电子设备发送组标识信息和组特征信息。
图13是示出根据实施例的电子设备、其他电子设备和服务器的操作的序列图。
参照图13，根据实施例的电子设备100可以执行用户10的特征信息11和标识信息12的映射，并发送到其他电子设备200(S1310)。另外，电子设备100可以将特征信息11中除面部识别信息之外的信息14发送到服务器300(S1320)。
其他电子设备200可以基于从电子设备100接收的特征信息11和标识信息12来识别用户10，并且将向识别的用户10执行的服务信息发送到电子设备100(S1330)。
其他电子设备200可以向服务器300发送从特征信息11和关于执行的服务的信息中除面部识别信息之外的信息14(S1340)。
这里，由其他电子设备200执行的每个步骤也可以由电子设备100执行。
另外，根据实施例的服务器300可以发送与从电子设备100或其他电子设备200接收的特征信息11中除面部识别信息之外的信息14对应的服务执行信息(S1350)。然后，电子设备100可以基于从服务器300接收的服务执行信息向用户10提供推荐服务信息。
根据实施例的电子设备100或其他电子设备200可以基于预定事件发生来删除用户10的特征信息11(S1360)。例如，如果用户被识别为离开特定空间，则电子设备100可以删除用户10的特征信息11。另外，根据实施例的电子设备100还可以向其他电子设备200发送请求删除用户的特征信息11的控制信号。
上述各种实施例可以在可由计算机或与计算机相似的使用软件、硬件或软件和硬件的组合的装置读取的可记录介质中实现。在一些情况下，本文描述的实施例可以由处理器本身实现。根据软件实现，诸如本文描述的过程和功能的实施例可以用单独的软件模块来实现。上述软件模块中的每个可以执行本文描述的功能和操作中的一个或更多个。
另外，用于在根据上述各种实施例的电子设备100中执行处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由电子设备100的处理器执行时，存储在该非暂时性计算机可读介质中的计算机指令可以使上述实施例由电子设备100执行。
非暂时性计算机可读介质(诸如寄存器、高速缓存、存储器等)可以指半永久地存储数据而不是在非常短的时间内存储数据的介质，并且可由设备读取。非暂时性计算机可读介质的具体示例包括例如但不限于光盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
虽然已经参考本公开的各种示例实施例示出和描述了本公开，但是本公开不限于上述具体实施例。本领域技术人员将理解，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
相机，被配置为捕获图像；
通信接口；
存储器，被配置为存储至少一个指令；以及
处理器，被配置为：
基于所述图像获得用户的特征信息；
基于用户的所述特征信息被获得，识别与所述特征信息对应的第一信息是否被存储在存储器中；
基于对应的第一信息未被存储在存储器中，产生与用户的所述特征信息对应的标识信息；
执行对用户的所述特征信息和所述标识信息的映射并存储在存储器中；以及
控制通信接口将用户的所述特征信息和所述标识信息发送到第二电子设备，
其中，所述电子设备和第二电子设备位于特定空间中，并且所述电子设备和第二电子设备中的每个被配置为执行在所述特定空间中提供的服务中的至少一个服务。
2.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
基于所述对应的第一信息被存储在存储器中，从存储器获得映射在所述对应的第一信息中的用户的所述标识信息，以及
基于获得的所述标识信息来执行所述服务中的所述至少一个服务。
3.如权利要求1所述的电子设备，其中，所述处理器还被配置为：基于所述服务中的所述至少一个服务被执行，控制通信接口向服务器发送与所述服务中的所述至少一个服务相关的特征信息中除面部识别信息之外的第二信息。
4.如权利要求1所述的电子设备，其中，所述处理器还被配置为：基于所述服务中的所述至少一个服务被执行，控制通信接口通过对等P2P通信将与执行的服务有关的第一信息和所述特征信息发送到第二电子设备，以及
其中，所述特征信息包括用户的面部识别信息。
5.如权利要求1所述的电子设备，其中，所述处理器还被配置为：控制通信接口将所述特征信息中除面部识别信息之外的第二信息发送到服务器，从服务器接收针对第二信息的服务执行信息，并且基于接收的服务执行信息提供推荐服务信息。
6.如权利要求5所述的电子设备，其中，所述处理器还被配置为：基于包括在所述推荐服务信息中的多个服务信息中的一个服务信息被用户选择，提供关于选择的推荐服务信息的附加服务信息，以及
基于多个附加服务信息中一个附加服务信息被用户选择，控制通信接口向服务器发送更新针对推荐服务信息的附加服务信息的请求。
7.如权利要求1所述的电子设备，其中，所述处理器还被配置为：在存储器中存储通过通信接口从第二电子设备接收的用户的所述标识信息和所述特征信息。
8.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
基于多个用户的各个特征信息从所述图像被获得，产生与所述多个用户的各个特征信息中的每个对应的各个标识信息，并且通过对多个标识信息进行分组来产生组标识信息，
基于所述多个用户的各个特征信息中的至少一个来产生组特征信息，以及
控制通信接口向第二电子设备发送所述多个用户中的每个用户的各个标识信息、各个特征信息、组标识信息和组特征信息。
9.如权利要求8所述的电子设备，其中，所述处理器还被配置为，
基于服务中的所述至少一个服务被执行，控制通信接口向服务器发送与执行的服务中的所述至少一个服务有关的第一信息和所述组特征信息。
10.如权利要求1所述的电子设备，其中，所述处理器还被配置为：基于在获得所述特征信息之后识别出经过了预定时间、经过了预定时段或用户离开所述特定空间中的至少一个，从存储器中删除用户的所述特征信息和所述标识信息。
11.如权利要求1所述的电子设备，其中，所述存储器被配置为：存储被训练为基于输入图像获得用户的所述特征信息的学习网络模型，并且
其中，所述处理器还被配置为通过将所述图像输入到学习网络模型来获得用户的所述特征信息。
12.如权利要求1所述的电子设备，其中，所述电子设备或第二电子设备中的至少一个是在所述特定空间内移动的移动机器人。
13.一种电子设备的控制方法，所述方法包括：
基于由电子装置的相机捕获的图像来获得用户的特征信息；
基于用户的所述特征信息被获得，识别与所述特征信息对应的第一信息是否被存储在电子设备中；
基于对应的第一信息未被存储在电子设备中，产生与用户的所述特征信息对应的标识信息；
映射并存储用户的所述特征信息和所述标识信息；以及
将用户的所述特征信息和所述标识信息发送到第二电子设备，
其中，所述电子设备和第二电子设备位于特定空间中，并且所述电子设备和第二电子设备中的每个执行在所述特定空间中提供的服务中的至少一个服务。
14.如权利要求13所述的控制方法，所述方法还包括：
基于对应的第一信息被存储在电子设备中，从电子设备获得映射在对应的第一信息中的用户的所述标识信息；以及
基于获得的所述标识信息来执行所述服务中的所述至少一个服务。
15.如权利要求13所述的控制方法，所述方法还包括：
基于所述服务中的所述至少一个服务被执行，向服务器发送与所述服务中的所述至少一个服务相关的所述特征信息中的除面部识别信息之外的第二信息。
CN202080060894.7A 2019-10-11 2020-10-07 电子设备及其控制方法 Pending CN114303148A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0126312 2019-10-11
KR1020190126312A KR20210043306A (ko) 2019-10-11 2019-10-11 전자 장치 및 그 제어 방법
PCT/KR2020/013668 WO2021071249A1 (en) 2019-10-11 2020-10-07 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
CN114303148A true CN114303148A (zh) 2022-04-08

Family

ID=75383280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060894.7A Pending CN114303148A (zh) 2019-10-11 2020-10-07 电子设备及其控制方法

Country Status (5)

Country Link
US (1) US12105780B2 (zh)
EP (1) EP3980874B1 (zh)
KR (1) KR20210043306A (zh)
CN (1) CN114303148A (zh)
WO (1) WO2021071249A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983785B2 (en) * 2021-07-19 2024-05-14 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296077A (ja) 1994-04-28 1995-11-10 Kokusai Electric Co Ltd レストランオーダーシステム及びその制御方法
JP2003162771A (ja) 2001-09-11 2003-06-06 Sanyo Electric Co Ltd 無線通信装置および無線通信システム
JP2005293052A (ja) 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
JP5040186B2 (ja) 2006-06-22 2012-10-03 富士通株式会社 案内ロボットおよび案内方法
JP2010531169A (ja) * 2007-06-21 2010-09-24 アボット ダイアベティス ケア インコーポレイテッド 健康監視装置
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
WO2013049486A2 (en) * 2011-09-30 2013-04-04 Sealed Air Corporation (Us) Visually adaptive process improvement system for order taking
US11031790B2 (en) * 2012-12-03 2021-06-08 ChargeItSpot, LLC System and method for providing interconnected and secure mobile device charging stations
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
US10108793B2 (en) * 2014-10-30 2018-10-23 Delta ID Inc. Systems and methods for secure biometric processing
US20160189149A1 (en) * 2014-12-30 2016-06-30 Ebay Inc. Biometric systems and methods for authentication and determination of group characteristics
KR102175995B1 (ko) 2015-02-23 2020-11-06 전대연 스마트무인운송물체를 이용한 배송완료시스템
JP6617442B2 (ja) 2015-06-19 2019-12-11 Ｒｅ＆Ｄｏ株式会社 サービス提供システム
JP6884413B2 (ja) 2015-10-28 2021-06-09 バー−イラン ユニバーシティ ロボット連携システム
EP3374915B1 (en) * 2016-03-01 2021-06-30 Google LLC Facial template and token pre-fetching in hands free service requests
JP7083809B2 (ja) * 2016-08-02 2022-06-13 アトラス５ディー， インコーポレイテッド プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
CN106295299A (zh) * 2016-08-15 2017-01-04 歌尔股份有限公司 一种智能机器人的用户注册方法和装置
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
US20190108566A1 (en) * 2017-10-05 2019-04-11 Novo Labs, Inc. Contextual Restaurant Ordering System
US10891394B2 (en) * 2018-02-28 2021-01-12 Karl Storz Imaging, Inc. System and method for identifying and authenticating a user of a medical device, and controlling access to patient data generated by the medical device
US11413764B2 (en) * 2019-06-07 2022-08-16 Lg Electronics Inc. Serving robot and method for receiving customer using the same

Also Published As

Publication number Publication date
US12105780B2 (en) 2024-10-01
KR20210043306A (ko) 2021-04-21
EP3980874A1 (en) 2022-04-13
US20210112037A1 (en) 2021-04-15
EP3980874B1 (en) 2023-12-13
EP3980874A4 (en) 2022-08-03
WO2021071249A1 (en) 2021-04-15
EP3980874C0 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
US10992839B2 (en) Electronic device and method for controlling the electronic device
KR102363794B1 (ko) 정보 제공 방법 및 이를 지원하는 전자 장치
CN108664829B (zh) 用于提供与图像中对象有关的信息的设备
US20190318545A1 (en) Command displaying method and command displaying device
US11908465B2 (en) Electronic device and controlling method thereof
CN108513060B (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
US10134370B2 (en) Smart mirror with focus control
KR102444932B1 (ko) 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
US9792878B2 (en) Method for content adaptation based on ambient environment of electronic device and electronic device thereof
KR102303534B1 (ko) 사용자 맞춤형 상품 정보 제공 장치
US20210033405A1 (en) Electronic apparatus and control method thereof
KR102321354B1 (ko) 서비스를 제공하기 위한 방법 및 그 전자 장치
CN107665232A (zh) 检测类似应用的方法及其适配的电子装置
KR20230169016A (ko) 전자 장치 및 그의 제어방법
US20160104226A1 (en) Method and apparatus for providing content service
EP3980874B1 (en) Electronic apparatus and control method thereof
KR102690524B1 (ko) 사용자 입력에 대응하는 섬네일을 출력하는 전자 장치 및 방법
KR102449350B1 (ko) 재고 관리 서비스를 제공하는 시스템 및 그 동작 방법
KR102351885B1 (ko) 비즈니스 정보를 제공하는 방법 및 그 시스템
KR20150117385A (ko) 이미지 태깅 방법 및 장치
US11233953B2 (en) Image editing method and electronic device supporting same
KR20220065625A (ko) 전자 문서에 기반하여 회원권 명의 변경을 지원하는 전자 시스템
KR102680409B1 (ko) 전자 장치 및 그의 배송 정보 제공 방법
KR102192375B1 (ko) 쇼핑몰 관련 웹사이트를 제공하는 서버 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination