CN111819590B - 电子装置及其认证方法 - Google Patents

电子装置及其认证方法 Download PDF

Info

Publication number
CN111819590B
CN111819590B CN201980016533.XA CN201980016533A CN111819590B CN 111819590 B CN111819590 B CN 111819590B CN 201980016533 A CN201980016533 A CN 201980016533A CN 111819590 B CN111819590 B CN 111819590B
Authority
CN
China
Prior art keywords
user
authentication
information
financial service
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980016533.XA
Other languages
English (en)
Other versions
CN111819590A (zh
Inventor
赵庆善
金辰洙
慎峻范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111819590A publication Critical patent/CN111819590A/zh
Application granted granted Critical
Publication of CN111819590B publication Critical patent/CN111819590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/405—Establishing or using transaction specific rules
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data
    • G07F7/1025—Identification of user by a PIN code
    • G07F7/1083—Counting of PIN attempts
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Collating Specific Patterns (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

提供了一种电子装置。所述电子装置包括：相机；存储器，被配置为存储被学习以确定对金融服务执行认证的用户是否处于威胁情况的模型；以及处理器，被配置为基于对金融服务执行认证的用户的生物特征信息来对金融服务执行认证。处理器可通过经由相机拍摄执行认证的用户来获取图像，利用从图像获取的信息作为学习模型的输入，从学习模型获取关于执行认证的用户是否处于威胁情况的信息，并根据获取的信息对金融服务执行认证。学习模型的至少一部分是可根据机器学习、神经网络或深度学习算法中的至少一个来执行的人工智能算法。

Description

电子装置及其认证方法
技术领域
本公开涉及一种电子装置及其认证方法。更具体地，本公开涉及一种能够提供金融服务的电子装置及其认证方法。
背景技术
近来，随着电子技术的发展，以逐渐方便的方式向用户提供金融服务。
例如，用户可通过诸如智能电话的便携式装置运行金融应用，并且接收由金融公司提供的各种金融服务。特别地，当对金融服务执行认证时，用户可通过生物特征信息以更方便的方式执行认证。
随着各种社会犯罪的增加，经常发生用户由于威胁、恐吓或胁迫而违背他或她的意愿将钱转账到另一人的账户。
因此，需要一种保护用户和用户的账户的解决方案。
以上信息作为背景信息被呈现仅用于帮助理解本公开。至于以上信息中的任何信息是否可应用为针对本公开的现有技术，尚未作出确定并且尚未进行声明。
发明内容
技术问题
本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一方面在于提供一种使用学习模型来获取关于对金融服务执行认证的用户是否处于威胁情况的信息并执行认证的电子装置及其认证方法。
附加的方面将在下面的描述中部分地阐述，并且部分地，将通过描述而显而易见，或者可通过本实施例的实践来获知。
技术方案
根据本公开的一方面，提供了一种电子装置。所述电子装置包括：相机；存储器，被配置为存储被学习以确定对金融服务执行认证的用户是否处于威胁情况的学习模型；以及处理器，被配置为通过经由相机拍摄执行认证的用户来获取图像，利用从图像获取的信息作为学习模型的输入，从学习模型获取关于执行认证的用户是否处于威胁情况的信息，并且根据获取的信息对金融服务执行认证。
学习模型可使用关于用户的眼睛的运动、脉搏率、面部颜色改变、面部表情、用户所在的地点或与用户周围的其他人的相关性中的至少一个的信息来确定用户是否处于威胁情况。
学习模型可接收与脉搏率、眼睛运动、面部颜色改变和面部表情相关的用户的个性化信息和多个任意用户的公共信息的输入，并且基于所述个性化信息、所述公共信息和从图像获取的信息来确定用户是否处于威胁情况。
处理器可基于对金融服务执行认证的用户的生物特征信息来对金融服务执行认证，其中，生物特征信息可包括用户的语音、面部或指纹中的至少一个。
处理器可使用来自用户的语音、面部、指纹或面部和指纹的组合中的预定的特定生物特征信息来对金融服务执行认证。
学习模型可基于对金融服务的认证通过用户的语音被执行来确定执行认证的用户处于威胁情况。
学习模型可基于用户通过面部做出特定姿态或在指纹的识别期间通过手指做出特定手势来确定执行认证的用户处于威胁情况。
处理器可基于从学习模型获取到指示用户未处于威胁情况的信息，基于生物特征信息对金融服务执行认证，并且基于从学习模型获取到指示用户处于威胁情况的信息，拒绝对金融服务的认证或者执行伪认证。
处理器可基于伪认证被执行来提供指示金融服务被正常执行的用户界面(UI)，并且将锁定做出金融服务的交易账户的请求发送到金融公司服务器。
根据本公开的另一方面，提供了一种电子装置的认证方法。所述电子装置的认证方法包括：通过经由相机拍摄执行认证的用户来获取图像，利用从图像获取的信息作为存储在电子装置的存储器中的学习模型的输入，从学习模型获取关于执行认证的用户是否处于威胁情况的信息，并且根据获取的信息对金融服务执行认证。
执行认证的步骤包括基于对金融服务执行认证的用户的生物特征信息来对金融服务执行认证，其中，生物特征信息包括用户的语音、面部或指纹中的至少一个。
执行认证的步骤可包括使用来自用户的语音、面部、指纹以及面部和指纹的组合中的预定的特定生物特征信息来对金融服务执行认证。
执行认证的步骤可包括：基于从学习模型获取到指示用户未处于威胁情况的信息，基于生物特征信息对金融服务执行认证，并且基于从学习模型获取到指示用户处于威胁情况的信息，拒绝对金融服务的认证或者执行伪认证。
所述认证方法还可包括：基于伪认证被执行，提供指示金融服务被正常执行的UI，并且将锁定做出金融服务的交易账户的请求发送到金融公司服务器。
有益效果
根据本公开的各种实施例，可有效地保护处于危险情况的用户和用户的账户。
根据结合附图进行的公开了本公开的各种实施例的以下详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
根据结合附图进行的以下描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
图1A是被提供以描述根据本公开的实施例的用于通过电子装置执行金融服务的方法的示图；
图1B是被提供以描述根据本公开的实施例的用于通过电子装置执行金融服务的方法的示图；
图2A和图2B是简要示出根据本公开的各种实施例的电子装置的配置的框图；
图3是被提供以描述根据本公开的实施例的认证方法的示图；
图4A和4B是被提供以描述根据本公开的实施例的认证方法的示图；
图5A和5B是被提供以描述根据本公开的各种实施例的认证方法的示图；
图6A、6B和6C是被提供以描述根据本公开的各种实施例的认证方法的示图；
图7A、7B、7C和7D是被提供以描述根据本公开的各种实施例的认证方法的示图；
图8A、8B和8C是被提供以描述根据本公开的各种实施例的认证方法的示图；并且
图9是用于描述根据本公开的实施例的认证方法的流程图。
在整个附图中，应注意，相同的参考标号用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。其包括各种具体细节以帮助理解，但这些将被认为仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简洁，可省略对公知功能和构造的附加描述。
在以下描述和权利要求中使用的术语和词语不限于书目含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员应显而易见的是，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是用于限制由所附权利要求及其等同物限定的本公开的目的。
应理解，除非上下文另有明确指示，否则单数形式包括复数指示物。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
在描述中，术语“具有”、“可具有”、“包括”或“可包括”指示相应特征(例如，数值、功能、操作或诸如组件的构成元件)的存在，但不排除附加特征的存在。
在说明书中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”可包括一起列举的项的所有可能组合。例如，术语“A或B”或“A或/和B中的至少一个”可指定(1)至少一个A、(2)至少一个B、或(3)至少一个A和至少一个B两者。
在说明书中，术语“第一、第二等”用于描述不同的元件而不管它们的顺序和/或重要性如何，并且用于将一个元件与其他元件区分开，但不限制相应的元件。例如，第一用户设备和第二用户设备可指示不同的用户设备，而不管它们的顺序或重要性如何。在不脱离如本文描述的范围的情况下，第一元件可被称为第二元件，或者类似地，第二元件可被称为第一元件。
诸如“模块”、“单元”、“部件”等的术语用于指执行至少一个功能或操作的元件，并且这样的元件可被实现为硬件或软件、或者硬件和软件的组合。此外，除了当多个“模块”、“单元”、“部件”等中的每一个需要被实现在单独的硬件中时，组件可被集成在至少一个模块或芯片中并且被实现在至少一个处理器中。
如果描述了元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地耦合”/“可操作地或通信地耦合到”另一元件(例如，第二元件)或“连接到”另一元件(例如，第二元件)，则可理解，该元件可直接地或通过另一元件(例如，第三元件)被连接到所述另一元件。当提及一个元件(例如，第一元件)与另一元件(例如，第二元件)“直接耦合”或“直接连接到”另一元件(例如，第二元件)时，可理解为在该元件与所述另一元件之间不存在元件(例如，第三元件)。
在本文中，表述“被配置为”可与例如“适合于”、“具有……的能力”、“被设计为”、“被适配为”、“被制造为”或“能够”互换使用。表述“被配置为”不一定意味着在硬件意义上“被专门设计为”。相反，在一些情况下，“被配置为……的装置”可指示这样的装置可与另一装置或部件一起执行操作。例如，表述“被配置为执行A、B和C的处理器”可指示执行相应操作的专用处理器(例如，嵌入式处理器)，或者可通过运行存储在存储器装置中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
根据本公开的实施例的电子装置可被实现为智能电话。此外，电子装置可被实现为平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗仪器、相机、物联网或可穿戴装置。
图1A和图1B是被提供以描述根据本公开的各种实施例的用于通过电子装置执行金融服务的方法的示图。
参照图1A，电子装置100可提供金融服务。金融服务可包括与金融相关的各种服务，诸如账户转账、汇款、存款等。
可通过由诸如银行和证券公司的金融公司提供的金融交易服务应用(以下被称为金融应用)来提供金融服务。电子装置100可从应用商店(例如，PlayStoreTM)下载并安装金融应用。
电子装置100可根据用户的输入运行金融应用，并显示由金融应用提供的屏幕。电子装置100可通过由金融应用提供的屏幕接收金融信息(例如，取款账号、取款账户密码、存款账号、账户转账金额等)，并且将包括输入的金融信息的对金融服务的请求发送到金融公司服务器200。因此，金融公司服务器200可根据从电子装置100接收到的对金融服务的请求来执行提供金融服务的程序。
电子装置100可使用生物特征信息来执行认证，以便提供金融服务。这里，生物特征信息可包括关于语音、面部、虹膜或指纹中的至少一个的信息。
电子装置100可使用快速身份在线(FIDO)方法来执行认证。电子装置100可将用户的生物特征信息预存储在单独分配给电子装置100的安全区域或各种芯片(例如，通用用户识别模块(USIM)芯片、集成电路(IC)芯片或硬件安全模块(HSM)芯片)中，并且将存储的生物特征信息与从用户获取的生物特征信息进行比较，并且执行认证。
为了执行诸如登录和账户转账的各种金融服务，可执行使用生物特征信息的认证。
参照图1B(A)，对于账户转账，电子装置100可显示接收取款账号、取款账户密码、存款账号和账户转账金额的屏幕。在这种情况下，用户可通过屏幕输入进行账户转账所需的各种金融信息，并输入账户转账命令。
电子装置100可将对包括输入的金融信息的金融服务的请求发送到金融公司服务器200，并且金融公司服务器200可在根据对金融服务的请求进行金融服务过程之前向电子装置100请求认证。
电子装置100可在从金融公司服务器200接收到认证请求时使用生物特征信息来执行认证。
参照图1B(B)，当使用指纹执行认证时，电子装置100可显示请求输入指纹的用户界面(UI)屏幕10。当用户通过手指触摸按钮20时，电子装置100可通过设置在按钮20中的指纹识别传感器从被触摸的手指读取指纹图像并获取指纹信息。
电子装置100可识别通过指纹识别传感器获取的指纹信息，将识别的指纹信息与先前登记在电子装置100中的指纹进行比较，并且确定指纹是否彼此匹配。如果确认指纹彼此匹配，则可完成使用指纹的认证。
电子装置100可将指示使用指纹的认证完成的认证完成信息发送到金融公司服务器200。因此，金融公司服务器200可根据从电子装置100接收到的对金融服务的请求来执行用于运行账户转账的过程。
作为另一示例，如图1B(C)所示，如果使用虹膜执行认证，则电子装置100可显示请求虹膜输入的UI屏幕30，并且通过设置在电子装置100的正面上的相机40拍摄(或捕捉)图像。
在这种情况下，电子装置100可显示通过相机40拍摄的图像50，并从拍摄的图像获取用户的虹膜信息。电子装置100可将获取的虹膜信息与预先登记在电子装置100中的虹膜进行比较，以确定虹膜是否彼此匹配。如果确认虹膜彼此匹配，则可完成使用虹膜的认证。
电子装置100可将指示使用虹膜的认证完成的认证完成信息发送到金融公司服务器200。因此，金融公司服务器200可根据从电子装置100接收到的对金融服务的请求来执行用于运行账户转账的过程。
上述认证过程可通过认证应用被执行。为此，当从金融公司服务器200接收到认证请求时，电子装置100可运行认证应用。电子装置100可从应用商店下载并安装认证应用。
认证应用是由生物特征信息管理服务器(未示出)提供的应用，并且可提供诸如生物特征信息登记、生物特征信息输入请求、生物特征信息识别、生物特征信息匹配确定等的各种服务，并且可管理存储在电子装置100中的预先登记的生物特征信息。
生物特征信息管理服务器(未示出)可以是与金融公司服务器200分离或包括在金融公司服务器200中的服务器。
金融应用和认证应用可彼此连接并提供服务。电子装置100可通过金融应用与认证应用中的一个应用调用另一应用，并运行该另一应用。此外，电子装置100可同时运行金融应用和认证应用，并且可显示和激活金融应用和认证应用中的一个。
金融应用和认证应用可作为单独的应用被发布并分别被安装在电子装置100中，或者作为一个应用被发布以通过一个应用实现每个应用的功能。
在近来社会犯罪增加的情况下，经常发生用户由于另一人的威胁、恐吓、胁迫等而违背他或她的意愿将钱转账到另一人的账户。
根据本公开的实施例的电子装置100可在通过生物特征信息对金融服务执行认证时确认关于用户是否处于威胁情况的信息，并且如果用户不处于威胁情况，则电子装置100可正常地进行认证。然而，如果用户处于威胁情况，则即使为了认证而获取的生物特征信息与预存储的生物特征信息匹配，电子装置100也可拒绝认证或者执行伪认证。
电子装置100可从学习模型获取关于用户是否处于威胁情况的信息。电子装置100可拍摄执行认证的用户，从包括用户的图像或包括用户和用户周围的背景的图像获取信息，将获取的信息用作学习模型的输入数据，并且获取关于用户是否处于威胁情况的信息。
学习模型可考虑识别模型的应用领域或装置的计算机性能等被构建。例如，学习模型可被学习以通过使用从图像获取的信息作为输入数据来决定(或估计、确定)执行认证的用户是否处于威胁情况。
学习模型可以是基于神经网络的模型。学习模型可包括可被设计成在计算机上模拟人脑结构并且模拟人类神经网络的神经元的多个加权网络节点。所述多个网络节点可各自建立连接关系，使得神经元模拟神经元通过突触发送和接收信号的突触活动。学习模型可包括例如神经网络模型或从神经网络模型发展的深度学习模型。在深度学习模型中，多个网络节点可位于不同的深度(或层)，并且根据卷积连接关系通信传输数据。对象识别模型的示例可包括但不限于深度神经网络(DNN)、循环神经网络(RNN)、双向循环深度神经网络(BRDNN)。
为了获取关于用户是否处于威胁情况的信息，电子装置100可使用人工智能(AI)代理。AI代理是提供基于AI的服务的专用程序，并且可由以前的通用处理器(例如，CPU)或单独的AI专用处理器(例如，图形处理单元(GPU)等)运行。特别地，AI代理可控制将在后面描述的各种模块。
AI代理可在用户对金融服务执行认证时进行操作。AI代理可通过拍摄来获取图像，基于从图像获取的信息来获取关于用户是否处于威胁情况的信息，并且提供该信息。
另外，在对金融服务的认证开始之前，AI代理可处于AI代理已经被运行的状态。在这种情况下，当对金融服务执行认证时，电子装置100的AI代理可通过拍摄获取图像，基于从图像获取的信息获取关于用户是否处于威胁情况的信息，并提供该信息。例如，当由AI专用处理器运行AI代理时，在用户执行认证之前由通用处理器运行电子装置100的功能，并且当检测到用于认证的生物特征信息的输入时，可由AI专用处理器运行电子装置100的功能。
此外，AI智能代理可在对金融服务的认证开始之前处于待机状态。待机状态是接收预定义的用户输入以控制AI代理的操作定时的状态。在AI代理处于待机状态时，当检测到用于金融服务的认证的生物特征信息的输入时，电子装置100可运行AI代理，使用AI代理执行拍摄以获取图像，基于从图像获取的信息获取关于用户是否处于威胁情况的信息，并提供获取的信息。
在对金融服务的认证开始之前，AI代理可处于终止状态。在AI代理终止时，如果检测到用于金融服务的认证的生物特征信息的输入，则电子装置100可运行AI代理，使用AI代理执行拍摄以获取图像，基于从图像获取的信息获取关于用户是否处于威胁情况的信息，并提供该信息。
AI代理可控制各种装置或模块。这将在稍后更详细地描述。
图2A是简要示出根据本公开的实施例的电子装置的配置的框图。
图2A示出根据本公开的实施例的电子装置100的框图。
参照图2A，电子装置100包括相机110、存储器120和处理器130。图2A的配置是实现本公开的实施例的示例，并且对于本领域技术人员显而易见的硬件/软件配置可附加地包括在电子装置100中。
相机110是用于拍摄(或捕捉)图像的组件。在这种情况下，电子装置100可分别在电子装置100的正面和背面包括相机110。处理器130可使用相机110拍摄执行金融服务的用户、该用户周围的用户和背景。
存储器120可存储与电子装置100的至少一个其他元件相关的指令或数据。特别地，存储器120可被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器120由处理器130访问，并且数据的读取/记录/修改/删除/更新可由处理器130执行。在本公开中，术语存储器可包括存储器120、处理器130内部的只读存储器(ROM)(未示出)、随机存取存储器(RAM)(未示出)或安装到电子装置100的存储卡(未示出)(例如，微型安全数字(SD)卡、记忆棒)。此外，存储器120可存储程序和数据以配置将在电子装置100的显示器(未示出)中显示的各种屏幕。
存储器120可存储用于提供关于对金融服务执行认证的用户是否处于威胁情况的信息的AI代理，并且可存储学习模型。学习模型可以是已经被学习以利用从包括对金融服务执行认证的用户、用户周围的用户和背景的图像获取的信息作为输入数据来确定用户是否处于威胁情况的模型。
如图2B中所示，存储器120可存储眼睛确认模块131、脉搏改变确认模块132、面部颜色改变确认模块133、面部表情识别/确认模块134、其他用户关系估计模块135、背景图像含义估计模块136、威胁情况识别模块137等。尽管在图2B中单独地示出了这些模块，但可组合地实现至少两个模块。
如图2B中所示，存储器120可包括个人数据库121和公共数据库122，其中，个人数据库121中存储有关于用户的脉搏率、眼睛运动、面部颜色改变、面部表情等的各种信息，公共数据库122中存储有关于多个任意用户的脉搏率、眼睛运动、面部颜色改变、面部表情等的各种信息。
存储在数据库121和122中的信息可以是关于当电子装置100的用户或多个任意用户通常执行金融服务时出现的脉搏率、眼睛运动、面部颜色改变、面部表情等的信息。
每当用户执行金融服务时，存储在个人数据库121中的信息可由电子装置100检测和存储。当多个任意用户使用其电子装置进行金融服务时，存储在公共数据库122中的信息可由电子装置检测并提供给服务器(未示出)，并且服务器(未示出)可周期性地将相应的信息发送到电子装置100，以将该信息存储在公共数据库122中并更新该信息。
处理器130可被电连接到相机110和存储器120并控制电子装置100的全部操作和功能。
处理器130可基于对金融服务执行认证的用户的生物特征信息来对金融服务执行认证。
处理器130可通过相机110拍摄执行认证的用户并获取图像。图像可包括用户或用户周围的用户和背景。背景不仅可包括用户周围的背景，还可包括存在于用户周围的其他人。
在对金融服务执行认证时，处理器130可利用从图像获取的信息作为学习模型的输入从学习模型获取执行认证的用户是否处于威胁情况的信息，并根据获取的信息对金融服务执行认证。
因此，当处理器130从学习模型获取指示用户未处于威胁情况的信息(即，认证与正常认证相应的信息)时，处理器130可基于生物特征信息对金融服务执行认证。然而，当处理器130从学习模型获取指示用户处于威胁情况的信息(即，指示认证与异常认证相应的信息)时，处理器130可拒绝对金融服务的认证或者执行伪认证。
稍后将用图2B描述处理器130的详细描述。
图2B示出根据本公开的实施例的电子装置100的框图。
参照图2B，电子装置100包括相机110、存储器120、处理器130、显示器140、通信器150、传感器160、麦克风170、扬声器180。相对于与图2A中描述的部分重叠的部分，将不详细描述相机110、存储器120和处理器130。
显示器140可显示各种屏幕。特别地，显示器140可显示用于金融服务的屏幕。金融服务可包括诸如账户转账、汇款、存款等的各种金融相关服务。用于金融服务的屏幕可接收金融服务所需的诸如身份证件(ID)/密码、取款账号、取款账户密码、存款账号、账户转账金额等的金融信息，并且可包括与通过其提供的各种金融服务相关的屏幕。
为此，显示器140可被实现为诸如液晶显示器(LCD)、有机发光二极管(OLED)等的显示器。此外，显示器140可被实现为与触摸面板组合的具有层结构的触摸屏。触摸屏不仅具有显示功能，而且具有检测触摸输入位置和触摸面积以及触摸输入压力的功能。此外，触摸屏可不仅具有检测真实触摸的功能而且具有检测接近触摸的功能。
处理器130可在显示器140上显示用于金融服务的屏幕。当接收到用于运行安装在电子装置100中的金融应用的用户输入时，处理器130可运行应用并在显示器140上显示用于金融服务的屏幕。在这种情况下，用户输入可以是用于触摸与显示在显示器140上的金融应用相应的图标的用户命令。
处理器130可基于通过用于金融服务的屏幕输入的信息向用户提供金融服务。
电子装置100可包括用于与提供金融服务的金融公司服务器(图1的200)通信的通信器150，并且通信器150可被电连接到处理器130。
例如，当输入诸如取款账号、取款账户密码、存款账号和账户转账金额的金融信息并且输入用于运行账户转账的用户输入时，处理器130可通过通信器150将包括输入的金融信息的金融服务请求发送到金融公司服务器200。
处理器130可通过生物特征信息执行认证。生物特征信息可包括语音、面部、虹膜或指纹中的至少一个的信息。
例如，当从电子装置100接收到对金融服务的请求时，在根据对金融服务的请求进行金融服务过程之前，金融公司服务器200可向电子装置100请求认证。
当通过通信器150从金融公司服务器200接收到认证请求时，处理器130可基于生物特征信息执行认证。然而，即使没有从金融公司服务器200接收到认证请求，处理器130也可对金融服务执行认证。处理器130可获取用户的生物特征信息，将获取的生物特征信息与预先登记在电子装置100中的生物特征信息进行比较以确定它们是否彼此匹配，并且如果确认生物特征信息彼此匹配，则可完成使用生物特征信息的认证。
在这种情况下，处理器130可使用预先设置的生物特征信息来执行认证。处理器130可使用从可用于认证的多种手段(例如，语音、面部、虹膜和指纹，以及它们中的至少两个的组合)中由用户预定的手段来获取生物特征信息，并使用获取的生物特征信息执行认证。
例如，如果语音被设置为用于认证的手段，则处理器130可通过麦克风170接收执行认证的用户的语音，将关于接收到的语音的信息与预先登记在电子装置100中的语音信息进行比较，并根据它们是否彼此匹配来执行认证。
作为另一示例，当虹膜或面部被设置为用于认证的手段时，处理器130可通过经由相机110拍摄执行认证的用户来获取图像，将从图像获取的用户的虹膜信息或面部信息与预先登记在电子装置100中的虹膜信息和面部信息进行比较，并根据它们是否彼此匹配来执行认证。
作为另一示例，当指纹被设置为用于认证的手段时，处理器130可通过设置在电子装置100的按钮(图1的20)中的指纹识别传感器从触摸按钮20的用户的手指读取指纹的图像以获取指纹，将获取的指纹的特征值与预先登记在电子装置100中的值进行比较，并根据它们是否彼此匹配来执行认证。
可由用户设置将用于认证的手段。
图3是被提供以描述根据本公开的各种实施例的认证方法的示图。
参照图3，处理器130可显示用于设置认证手段的UI 310，并将用户从显示在UI310上的认证手段中选择的认证手段设置为用于金融服务的认证手段。
当生物特征信息与预先登记的生物特征信息匹配时，处理器130可将指示使用生物特征信息的认证完成的认证完成信息发送到金融公司服务器200。金融公司服务器200可根据从电子装置100接收到的对金融公司的金融服务的请求来执行用于运行金融服务的过程。
当生物特征信息不匹配时，处理器130可重复接收生物特征信息多达预设次数(例如，三次或五次)。处理器130可确定重复接收的生物特征信息是否与预先登记在电子装置100中的生物特征信息匹配，并且如果它们仍然彼此不匹配，则处理器130可将指示未正常执行认证的认证未完成信息发送到金融公司服务器200。在这种情况下，金融公司服务器200可停止金融服务。即使在向电子装置100请求认证之后，在预定时间内没有从电子装置100接收到认证完成信息的情况下，金融公司服务器200也可停止金融服务。
当对金融服务执行认证时，处理器130可确认执行认证的用户是否处于威胁情况。
当用户不处于威胁情况时，处理器130可正常地进行认证过程，但当用户处于威胁情况时，处理器130可停止认证过程或者执行伪认证。
处理器130可在对金融服务执行认证时通过相机110拍摄用户并获取图像。在这种情况下，图像可包括用户或用户周围的用户和背景。背景不仅可包括用户周围的背景，还可包括用户周围的其他人。
在这种情况下，处理器130可通过仅拍摄一次来获取一个图像，或者通过在预定时间间隔中拍摄多次来获取多个图像。
处理器130可根据为生物特征认证设置的手段来执行拍摄。
具体地，当面部或虹膜被用作用于认证的手段时，通过相机110拍摄用户以获取关于面部或虹膜的信息。在这种情况下，处理器130可使用获取的图像来获取生物特征信息，而无需单独拍摄。
如果语音或指纹被用作用于认证的手段，则除了获取生物特征信息之外，处理器130还可通过相机110额外拍摄用户并获取图像。
处理器130可通过使用从图像获取的信息作为学习模型的输入，从学习模型获取关于对金融服务执行认证的用户是否处于威胁情况的信息。
学习模型为基于神经网络或深度学习的识别模型。该模型可以是被学习以通过使用从图像获取的信息作为输入数据来确定执行认证的用户是否处于威胁情况的模型。
当图像被输入时，眼睛确认模块131可从图像检测眼睛(即，瞳孔或虹膜)，并且确定检测到的眼睛的运动。例如，眼睛确认模块131可确定眼睛的运动程度。
此外，当图像被输入时，眼睛确认模块131可从图像检测用户的眼睛，并且确定检测到的眼睛的眼白中的毛细血管图案或瞳孔中的毛细血管图案。
此外，当图像被输入时，脉搏改变确认模块132可检测图像中的用户的面部的颜色，确定检测到的面部颜色(即，皮肤色调)的亮度改变，并且基于确定的亮度改变，确定脉搏的改变。例如，脉搏改变确认模块132可确定用户的脉搏改变的程度。
此外，当图像被输入时，面部颜色改变确认模块133可检测图像中的用户的面部，并确定检测到的面部的颜色改变。例如，面部颜色改变确认模块133可确定用户的面部颜色改变的程度。
当图像被输入时，面部表情识别/确认模块134可检测包括在图像中的用户和另一人的面部，从检测到的面部分析诸如眉毛和眼尾的面部图案，并且确定面部表情。例如，面部表情识别/确认模块134可确定用户或其他人的面部表情(例如，焦虑或恼怒的面部表情、害怕的面部表情、威胁或生气的面部表情等)。
当图像被输入时，其他用户关系估计模块135可从图像检测用户周围的至少一个其他人，并且确定用户与其他人之间的关系。
在这种情况下，其他用户关系估计模块135可分析存储在电子装置100中的照片或上传到用户的社交网络服务(SNS)账户的照片，以确定用户与其他人之间的关系。例如，如果包括在图像中的其他人存在于存储在电子装置100中的照片中或上传到用户的SNS账户的照片中，则其他用户关系估计模块135可确定用户与其他人具有相关性，并且如果包括在图像中的其他人不存在于上传到用户的SNS账户的照片中，则可确定用户与该其他人没有相关性。
这些模块可通过使用图像作为学习的面部识别模型的输入数据来确认与面部信息相关的用户，并且根据面部颜色改变、表情等来估计包括用户的眼睛运动、面部颜色改变和脉搏率改变的用户的特征信息。学习的面部识别模型可以是例如神经网络或基于深度学习的识别模型。
此外，当接收到图像时，背景图像含义估计模块136可通过包括在图像中的周围背景来确定背景空间。例如，背景图像含义估计模块136可使用用户周围的区域的图像的颜色和色调以及从传感器160的全球定位系统(GPS)传感器(未示出)获取的位置信息来估计用户所在的地点。在这种情况下，背景图像含义估计模块136可使用关于用户周围的区域的图像和位置信息作为学习模型的输入数据来估计用户的地点。该模型可以是通过使用各个地点的图像和该地点的位置信息作为学习数据而学习的模型。
威胁情况识别模块137可基于从眼睛确认模块131、脉搏改变确认模块132、面部颜色改变确认模块133、面部表情识别/确认模块134、其他用户关系估计模块135和背景图像含义估计模块136确定的信息来确定用户是否处于威胁情况。
威胁情况识别模块137可使用学习模型。学习模型可通过使用关于用户的眼睛的运动、脉搏率、面部颜色改变、面部表情、与用户周围的其他人的相关性、用户所在的地点等中的至少一个的信息作为输入数据来确定用户是否处于威胁情况。
在这种情况下，该模型是被学习以通过使用所述信息作为输入数据来确定用户是否处于威胁情况的模型。例如，该模型可以是基于神经网络或深度学习的识别模型。
例如，如果用户的脉搏率是恒定的并且用户正在做出平静的表情并且在用户的家中，但用户的眼睛或面部颜色没有改变，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。这是因为，在用户的眼睛或面部颜色没有改变的情况下，可能通过伪造的手段(诸如照片)而不是实际的用户来执行生物特征认证。
作为另一示例，如果用户的脉搏率是恒定的并且用户正在做出平静的面部表情，但毛细血管图案和视网膜毛细血管图案与用户的毛细血管图案不匹配，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况，这是因为除了用户之外的人可能在未经许可的情况下使用用户的生物特征信息执行认证。
作为另一示例，当存在用户的眼睛或面部颜色的改变并且用户的脉搏率显著改变时，作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。用户脉搏率的显著改变可归因于用户在紧张或紧急情况下执行金融服务的情况。
作为另一示例，如果用户的眼睛、面部颜色和脉搏率没有显著改变并且用户正在做出惊恐的面部表情，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。这是因为用户做出惊恐的面部表情可能意味着用户出于恐惧而进行金融服务。
作为另一示例，如果用户的面部颜色和脉搏率没有显著改变并且用户正在做出平静的面部表情，但与用户不具有相关性的其它人以惊恐的表情存在于用户附近，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。这是因为在用户周围存在除了用户以外的惊恐面部表情的人可能意味着用户受他人的胁迫等来进行金融服务。
作为另一示例，当用户做出平静的面部表情，但根据指示用户通常到访的地点的位置历史信息在除了用户通常到访的地点之外的地点执行认证时，作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。这是因为用户在用户通常没有到访的地点进行金融服务可能意味着用户被绑架或被胁迫带到另一地点，并且违背他或她的意愿进行金融服务。
学习模型可接收与脉搏率、眼睛运动、面部颜色改变、面部表情相关的用户的个性化信息和多个任意用户的公共信息的输入，并且基于个性化信息、公共信息和从图像获取的信息来确定用户是否处于威胁情况。
用户的个性化信息可包括存储在个人数据库121中的信息，并且多个任意用户的公共信息可包括存储在公共数据库122中的信息。
在这种情况下，威胁情况识别模块137可额外使用从个人数据库121和公共数据库122获取的信息作为输入数据，并且确定用户是否处于威胁情况。
例如，如果用户的脉搏率显著改变，但该改变与在正常时间执行金融服务时的改变程度没有很大偏离，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户未处于威胁情况。这是因为执行金融服务的用户的脉搏率显著地改变，但在正常时间也观察到该改变，因此看起来用户照常执行金融服务。
上述示例仅仅是示例性的，并且学习模型可基于通过以综合方式考虑输入信息而获取的概率来确定用户是处于威胁情况还是未处于威胁情况。
在上述示例中，已经描述了确定用户是否处于威胁情况是基于从图像获取的信息，但这仅仅是示例性的。处理器130利用除了从图像获取的信息之外的各种信息作为学习模型的输入数据，可获取关于用户是否处于威胁情况的信息。
例如，为了获取关于用户是否处于威胁情况的信息，学习模型可使用用户的语音、用户周围的其他人的语音、环境噪声的大小、消息发送和接收历史、应用使用历史、认证失败历史、从其他装置接收到的信息、存储在外部服务器(未示出)或云服务器(未示出)中的用户相关数据等。
为此，处理器130可控制电子装置100的元件在对金融服务执行认证时获取信息。例如，处理器130可通过麦克风170获取用户的音频或环境音频，从存储器120获取与应用相关的各种数据，或者通过通信器150从外部服务器(未示出)或云服务器(未示出)接收各种数据。
在这种情况下，学习模型是被学习以通过使用相应的信息作为输入数据确定用户是否处于威胁情况的模型，例如，该模型可以是基于神经网络或深度学习的识别模型。
例如，尽管用户的脉搏率不显著改变，并且用户做出平静的表情，但通过麦克风170获取的用户的语音可能具有焦虑或紧张状态下的语音特征，或者当除了用户以外的人的语音具有威胁状态或愤怒状态下的语音特征，或者环境噪声过度大于预设阈值时，威胁情况识别模块137可确定用户处于危险情况。
在这种情况下，可通过使用用户语音作为学习数据的学习模型来执行关于包括在音频中的语音是否是用户语音的确定，或者通过分析通过电话呼叫等预先获取的用户语音确定诸如用户语音的音调、频率、节奏、动态的语音特征并且预先存储语音特征，可根据预先存储的语音特征是否与包括在音频中的语音特征匹配来确认用户语音。
作为另一示例，如果用户在执行金融服务时正在做出平静的面部表情并且用户在平常的地点(例如，在家中)，但如果对金融服务的认证失败超过预定次数、钱被转账到没有账户转账历史的账户、对金融服务输入的存款账号是已经用于电话诈骗等的账号、账户转账已经由用户通过金融服务应用执行到在预定时间段内没有用于账户转账的存款账号，或者账户转账已经对与用户无关的人做出，则作为将该信息应用到学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。
作为另一示例，如果用户做出平静的面部表情并且眼睛以与往常相同的水平运动，但从连接到电子装置100的另一装置(例如，可穿戴装置)接收到的脉搏率显著改变，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。
作为另一示例，如果用户的脉搏率类似于正常脉搏率并且用户正在做出平静的表情，但用户在认证之前通过电话应用进行呼叫的电话号码不是预先存储在联系人信息中的号码，用户或另一方在认证之前执行的呼叫期间或在用户执行认证之前发出特定语音(例如，要求钱的语音或谩骂)，如果用户发送消息或用户接收消息的电话号码是尚未预先存储在联系人信息中的电话号码，如果发送或接收的消息包括特定单词(诸如要求钱的单词或谩骂)，或者在执行认证之前，如果帖子被上传到与用户关于SNS应用的用户账户无关的账户，如果帖子或由用户上传的帖子包括特定单词(例如，要求钱的单词或谩骂)，则作为将该信息应用于学习模型的结果，威胁情况识别模块137可确定用户处于威胁情况。
在这种情况下，威胁情况识别模块137可将从用于管理应用的外部服务器(未示出)(例如，金融公司服务器200、或提供SNS服务器的SNS服务器(未示出))接收到的关于用户的整个使用历史的信息应用于学习模型，以确定用户是否处于威胁情况。
当用户运行金融应用或SNS应用时，针对应用的整个使用历史中的仅一部分可被存储在电子装置100中，并且整个使用历史可被存储在外部服务器(未示出)中。因此，威胁情况识别模块137可从外部服务器(未示出)接收关于用户对应用的整个使用历史的信息，将该信息应用于学习模型，并且确定用户是否处于威胁情况。
类似地，威胁情况识别模块137可接收由用户上传到云服务器(未示出)的各种信息，将该信息应用于学习模型，并且确定用户是否处于威胁情况。
为了描述方便，上述示例仅仅是而示例性的。学习模型可基于通过以综合方式考虑输入的信息而获取的概率来确定用户是否处于威胁情况。
如上所述，处理器130可使用预设的生物特征信息来执行认证。例如，处理器130可使用来自用户的语音、面部、指纹以及面部和指纹的组合中的预定的特定生物特征信息来对金融服务执行认证。
在这种情况下，可为可用于认证的多种手段设置不同的安全级别。例如，可针对语音设置最低安全级别，可针对面部设置次高安全级别，可针对指纹设置次高安全级别，并且可针对指纹和面部的组合设置最高安全级别。可按照语音→面部→指纹→指纹+面部的顺序设置高安全级别。
在这种情况下，威胁情况识别模块137可使用关于针对认证而设置的手段的信息作为学习模型的输入数据。
因此，学习模型可考虑认证手段的安全级别来确定用户是否处于威胁情况。该模型可以是根据认证手段的安全级别来确定用户是否处于威胁情况的学习模型。
例如，当通过用户的语音对金融服务执行认证时，学习模型可确定用户处于威胁情况。当通过被设置为最低安全级别的语音执行认证时，学习模型可不考虑其他输入信息并且确定用户处于威胁情况。
可由用户设置是否考虑认证手段和认证手段的安全级别来确定威胁情况。
图4A和图4B是被提供以描述根据本公开的实施例的认证方法的示图。
参照图4A，处理器130可显示用于设置认证手段是否将用于确定威胁情况的UI410，并且处理器130可基于通过UI 410输入的用户输入命令来确定是否将考虑认证手段来确定威胁情况。
参照图4B，处理器130可显示用于设置认证手段的安全级别的UI 420，并基于通过UI 420输入的用户命令来设置认证手段的安全级别。
考虑到执行认证的用户的姿态(或姿势)，可确定用户是否处于威胁情况。
威胁情况识别模块137可使用关于执行认证的用户的姿态的信息作为学习模型的输入数据。学习模型可考虑由执行认证的用户采取的姿态来确定用户是否存在于威胁情况中。该模型可以是根据由执行认证的用户采取的姿态来确定用户是否处于威胁情况的学习模型。
为此，处理器130可从例如执行认证的用户的图像获取关于用户采取的姿态的信息，或者，当通过指纹对金融服务执行认证时，从由识别传感器获取的指纹图像获取关于用户采取的手势的信息。
例如，学习模型可以是用户通过用户的面部采取特定姿态(例如，眨眼的姿态或将面部转动特定角度的姿态)或在手指的识别期间通过手指的手势(例如，触摸按钮并在特定方向上旋转手指的手势)的模型，该模型可确定用户处于威胁情况。
当用户通过面部或手指采取特定姿态时，学习模型可确定用户处于威胁情况，而无需考虑其他输入信息。
在以上示例中，当用户采取特定姿态时，学习模型确定用户处于威胁情况，但这仅是示例。如果用户采取特定姿态，则学习模型可确定用户未处于威胁情况。
可由用户设置是否考虑用户的姿态和姿态的类型来确定威胁情况。
图5A和5B是被提供以描述根据本公开的实施例的认证方法的示图。
参照图5A，处理器130可显示用于设置是否使用用于确定威胁情况的姿态的UI510，并基于通过UI 510输入的用户命令通过考虑姿态来确定威胁情况。
参照图5B，处理器130可显示用于设置将被考虑用于威胁情况的姿态的类型的UI520，并基于通过UI 520输入的用户命令来设置姿态的类型。
考虑到特定信息(例如，位置信息或时间信息)，可确定用户是否处于威胁情况。例如，当在特定地点或特定时间执行认证时，学习模型可确定用户处于威胁情况，或者相反地，用户未处于威胁情况。在这种情况下，可由用户设置特定信息。
在上述示例中，威胁情况识别模块137使用学习模型来确定用户是否处于威胁情况。
根据本公开的各种实施例，威胁情况识别模块137可通过基于规则来确定用户是否处于威胁情况。基于从拍摄执行金融服务的用户的图像、用户的语音、用户周围的另一人的语音、环境噪声的大小、呼叫历史、消息发送和接收历史、应用使用历史、从另一装置接收到的信息、存储在外部服务器或云服务器中的用户相关数据等获取的信息，如果获取的信息根据预定规则满足特定条件，则威胁情况识别模块137可确定用户处于威胁情况。
例如，如果存在确定用户处于威胁情况的规则，则当用户正在做出惊吓的面部表情时，威胁情况识别模块137可根据预设规则确定用户处于威胁情况，当用户正在做出惊吓的面部表情时，则威胁情况识别模块137可根据从用户的图像获取的信息确定用户处于威胁情况。
如上所述，根据本公开的各种实施例，可确定执行金融服务的用户是否处于威胁情况。
当处理器130从学习模型获取用户未处于威胁情况的信息时，处理器可基于生物特征信息对金融服务执行认证。处理器130可在对金融服务的认证时将从用户获取的生物特征信息与预先登记在电子装置100中的生物特征信息进行比较，确定生物特征信息是否与预先登记的电子装置100中的生物特征信息匹配，并且如果确定生物特征信息匹配，则处理器130可通过通信器150将指示使用生物特征信息的认证完成的认证完成信息发送到金融公司服务器200。然而，如果生物特征信息不匹配，则处理器130可重复地接收生物特征信息达预定次数(例如，三次或五次)。
因此，金融公司服务器200可根据从电子装置100接收到的对金融公司的金融服务的请求来执行执行金融服务的程序。
当根据正常认证完成金融服务时，处理器130可提供指示正常执行金融服务的UI。
图6A至图6C是被提供以描述根据本公开的实施例的认证方法的示图。
参照图6A，处理器130可在显示器140上显示包括诸如“账户转账认证，谢谢”的文本的UI 610。
处理器130在从学习模型获取用户处于威胁情况的信息时，可拒绝对金融服务的认证或者执行伪认证。当处理器130从学习模型获取指示用户处于威胁情况的信息时，即使在对金融服务的认证期间从用户获取的生物特征信息与预先登记在电子装置100中的生物特征信息匹配，处理器130也可拒绝对金融服务的认证或者执行伪认证。
首先，当拒绝对金融服务的认证时，处理器130可将指示未正常执行认证的认证未完成信息发送到金融公司服务器200，并提供指示拒绝金融服务的UI。参照图6B，处理器130可在显示器140上显示包括文本“批准拒绝。你是非认证用户”的UI 620。
伪认证指的是这样的假认证：认证看起来被正常执行，但实际上金融服务未被正常执行。这考虑了处于危险情况下的用户极有可能与威胁用户的人在一起的事实。
当执行伪认证时，处理器130可提供指示金融公司等存在问题并且因此可能不能正常执行金融服务的UI。在这种情况下，即使生物特征信息与预先存储的生物特征信息匹配，处理器130也可不将认证完成信息发送到金融公司服务器200。例如，参照图6C，处理器130可在显示器140上显示包括文本“出现临时问题，请稍后使用该服务”的UI 630。
当执行伪认证时，处理器130可提供指示正常执行金融服务的UI(例如，图6A)，但可通过通信器150将锁定执行金融服务的交易账户的请求发送到金融公司服务器200。
当生物特征信息与预先存储的生物特征信息匹配时，处理器130可将认证完成信息发送到金融公司服务器200。此时，可向金融公司服务器200发送锁定进行金融服务的交易账户的请求。金融公司服务器200可根据锁定请求在预定时间段内防止执行账户的存款和取款。
当用户处于威胁情况时，处理器130可使用预设联系人信息执行紧急呼叫。可由用户设置紧急呼叫的另一方的联系人信息，可默认设置警察或安全机构等的联系人信息。
在这种情况下，处理器130可将经由麦克风170获取的用户周围的音频发送到进行紧急呼叫的另一方，并且还可将预定语音消息发送到进行紧急呼叫的另一方。预定语音消息可包括用于告知用户当前处于危险情况或用户的当前位置信息的语音消息。处理器130可将紧急呼叫连接作为背景，并且将由用户执行的认证作为伪认证。
通信器150可基于各种类型的通信方法与各种类型的外部装置或外部服务器进行通信。例如，通信器150可与诸如可穿戴装置(未示出)的外部装置进行通信，并且可与诸如金融公司服务器200、SNS服务器(未示出)的服务器进行通信。
通信器150可包括能够在电子装置100与通信系统(例如，移动通信系统)之间、在电子装置100与另一电子装置之间、或者在电子装置100与外部服务器之间进行无线通信的一个或更多个模块。此外，通信器150可包括用于将电子装置100连接到一个或更多个网络的至少一个模块。
通信器150可包括广播接收芯片(未示出)、无线通信芯片(未示出)或近场通信芯片(未示出)中的至少一个。处理器130可使用通信器150与外部装置或外部服务器进行通信。
传感器160可包括用于感测电子装置100内部的信息、电子装置100的周围环境信息和使用信息中的至少一个的一个或更多个传感器。
例如，传感器160可包括GPS传感器、接近传感器、照度传感器、触摸传感器、加速度传感器、磁性传感器、重力传感器(G传感器)、陀螺仪传感器、运动传感器、红绿蓝(RGB)传感器、红外(IR)传感器、手指扫描传感器、超声波传感器、光学传感器(例如，相机)、麦克风、电池量表、环境传感器(例如，气压计、湿度计、温度计、辐射检测传感器、热检测器、气体检测传感器等)、化学传感器(例如，电子鼻、医疗保健传感器、生物特征识别传感器等)中的至少一个。处理器130可利用由这些传感器检测到的信息。
麦克风170是获取音频的元件。处理器130可使用麦克风170获取从用户和用户的周围产生的音频。
扬声器180可输出音频。扬声器180可输出在呼叫期间由电子装置100接收的呼叫的另一方的语音。
在上述示例中，描述了一种方法，所述方法用于通过利用关于执行金融服务的用户和周围情况的各种信息作为学习模型的输入数据，从学习模型获取关于用户是否处于威胁情况的信息，并且根据用户是否处于威胁情况进行适当的处理，来保护用户和用户的账户。
电子装置100可根据用户用于认证的认证手段以不同的方式分配访问权限(或访问控制)。为此，电子装置100可根据认证手段具有不同的访问权限。例如，假设认证手段是面部、指纹以及面部和指纹的组合。在这种情况下，最低访问权限级别被设置在面部上，次高访问权限级别被设置在指纹上，并且最高访问权限级别可被设置在面部和指纹的组合上。可按照面部→指纹→面部+指纹的顺序设置较高的访问权限级别。
访问权限级别可由用户设置。例如，处理器130可在显示器140上显示用于设置每个认证手段的访问权限的级别的UI，并且用户可设置认证手段的访问权限的级别。
处理器130可限制电子装置100的功能或由安装在电子装置100中的应用提供的功能。
认证可包括应用中的特定功能所需的认证(例如，针对金融应用的登录或针对金融应用中提供的特定金融服务的认证)和针对电子装置100的特定功能的认证(例如，解锁电子装置100的认证等)。
为此，处理器130可确认哪种手段被用户用于认证。当认证被执行时，处理器130可通过相机110或传感器160的指纹识别传感器(未示出)接收用于认证的生物特征信息，将输入的生物特征信息与预先登记的生物特征信息进行比较以执行认证，并确认执行认证的手段。
例如，处理器130可从通过相机110拍摄的图像检测面部，将检测到的面部与预存储的面部信息进行比较，并且如果检测到的面部与预存储的面部信息彼此匹配，则处理器130可确认用户经由面部执行认证。
在另一示例中，处理器130可从通过指纹识别传感器触摸的手指获取指纹信息，将获取的指纹信息与预存储的指纹信息进行比较，并且如果获取的指纹信息与预存储的指纹信息彼此匹配，则处理器130可确认用户经由指纹执行认证。
在另一示例中，处理器130可从通过相机110拍摄的图像检测面部，从通过指纹识别传感器触摸的手指获取指纹信息，将检测到的面部和获取的指纹信息与预先存储的面部和指纹信息进行比较，并且如果检测到的面部和获取的指纹信息与预先存储的面部和指纹信息彼此匹配，则处理器130可确认用户经由面部和指纹执行认证。
根据针对认证手段的访问权限级别，处理器130可以以受限制的方式提供电子装置100的功能或由应用提供的功能。当访问权限级别最高时，处理器130可如正常情况一样不受限制地提供电子装置100的功能或由应用提供的功能，但访问权限的级别越低，可以以分层限制的方式提供的由电子装置100或应用提供的功能越多。
例如，假设处于锁定状态的电子装置100被解锁。
图7A至图7D是被提供以描述根据本公开的实施例的认证方法的示图。
参照图7A，当电子装置100处于锁定状态时，处理器130可在显示器140上显示锁定屏幕710。可在解锁屏幕上显示关于时钟、日期、剩余电池电平等的信息。
在锁定屏幕被显示时，当解锁的认证完成时，处理器130可对电子装置100进行解锁，并显示包括指示安装在电子装置100中的应用的图标的背景屏幕。
处理器130可根据认证手段限制显示在背景屏幕上的图标。
参照图7B，如果通过作为最高访问权限级别的面部和手指的组合执行认证，则处理器130可照常显示包括安装在电子装置100中的所有应用的图标(例如，图7B的app1至app6)的屏幕720。
当通过具有次高访问权限级别的手指执行认证时，如图7C中所示，处理器130可不在屏幕730中显示安装在电子装置100中的应用中的一些应用的图标(例如，app5、app6)。
当通过具有最低访问权限级别的面部执行认证时，如图7D中所示，与通过指纹执行认证的情况相比，在安装在电子装置100中的应用中，更多的图标(例如，app3至app6)可不被显示在屏幕740中。
如上所述，处理器130可根据访问权限级别限制显示的图标，并根据访问权限级别限制用户对应用的访问。
根据访问权限级别，访问权限级别越低，可限制的关于与私人生活或金融服务相关联的应用的图标的显示越多。
例如，可假设安装了呼叫应用、消息应用、相机应用、照片应用、SNS应用和金融应用。当通过具有最高访问权限级别的手段执行认证时，处理器130可显示与呼叫应用、消息应用、相机应用、照片应用、SNS应用和金融应用相关联的图标。
此外，当通过具有次高访问权限级别的手段执行认证时，处理器130可显示与呼叫应用、消息应用和相机应用相关联的图标。也就是说，处理器130可不显示与照片应用、SNS应用和金融应用相关联的图标。
此外，当通过具有最低访问权限级别的手段执行认证时，处理器130可显示关于呼叫应用的图标。处理器130可不显示与除了呼叫应用之外的其他应用相关联的图标。
这仅仅是示例性的，并且可由用户设置根据访问权限级别限制地显示的图标。
根据各种实施例，处理器130可根据认证手段来限制由应用提供的功能。
例如，无论使用哪种手段用于认证，处理器130都可在背景屏幕上显示关于安装在电子装置100中的金融应用的图标。
处理器130可根据认证手段的访问权限级别限制由金融应用提供的服务。
图8A至图8C是被提供以描述根据本公开的实施例的认证方法的示图。
参照图8A，当通过具有最高访问权限级别的面部和指纹的组合来执行金融应用的登录时，处理器130可提供由金融应用提供的所有服务。处理器130可显示包括用于执行由金融应用提供的所有金融服务的菜单的UI 810(菜单1至菜单5)。
当通过作为次高访问权限级别的指纹执行金融应用的登录时，处理器130可限制由金融应用提供的服务的一部分。如图8B中所示，处理器130可显示不包括由金融应用提供的金融服务中的关于受限制的服务的菜单的UI 820(菜单1至菜单3)。
当通过具有最低访问权限级别的面部执行金融应用的登录时，处理器130可从由金融应用提供的服务中限制比通过指纹执行登录的情况更多的服务。如图8C中所示，处理器130可显示不包括由金融应用提供的金融服务中的受限制的服务的菜单的UI 830(菜单1和菜单2)。
在这种情况下，可根据服务的重要性来确定受限制的服务。
例如，假设通过金融应用提供账户转账服务、交易历史检查服务、账户余额查询服务和撤销服务。
当通过具有最高访问权限级别的面部和指纹的组合来执行金融应用的登录时，处理器130可提供账户转账服务、交易历史检查服务、账户余额查询服务和撤销服务。
当通过具有中间访问权限级别的指纹执行金融应用的登录时，处理器130可限制账户转账服务和账户余额查询服务，以保护用户的账户不受其他人的影响。
当通过具有最低访问权限级别的面部执行金融应用的登录时，除了账户转账服务和账户余额查询服务之外，处理器130还可限制交易历史检查服务。这样，为了保护用户的账户不受其他人的影响，处理器130可优先限制在用户的账户中转账或检查账户余额的服务。
当用户执行认证时，处理器130可仅在用户采取特定姿态时为认证手段分配不同的访问权限。仅当用户通过用户的面部做出特定姿态(例如，眨眼的姿态或将面部转动特定角度的姿态)，或者用户在手指的识别期间通过手指做出手势(例如，触摸按钮并在特定方向上旋转手指的手势)时，处理器130可以以受限制的方式提供电子装置100的功能或应用的功能。
例如，当通过指纹对电子装置100进行解锁时，假设用户在没有特定手势的情况下触摸按钮，然后在特定方向上旋转手指的情况。
当用户未做出特定姿态时，处理器130可对电子装置100进行解锁，并照常将关于安装在电子装置100中的所有应用的图标显示在背景屏幕上。
当用户触摸按钮并在特定方向上旋转手指时，处理器130可根据针对指纹设置的访问权限级别不显示关于安装在电子装置100中的应用中的一些应用的图标。
图9是用于描述根据本公开的实施例的认证方法的流程图。
参照图9，在操作S910，通过经由相机拍摄执行认证的用户来获取图像。
在操作S920，利用从图像获取的信息作为学习模型的输入来获取关于执行认证的用户是否处于威胁情况的信息。
在操作S930，根据获取的信息执行关于金融服务的认证。
学习模型可使用从图像获取的关于眼睛运动、脉搏率、面部颜色改变、面部表情、用户所在的地点或与用户周围的其他人的相关性中的至少一个的信息来确定用户是否处于威胁情况。
学习模型可接收关于脉搏率、眼睛运动、面部颜色改变、面部表情的关于用户的个性化信息和多个任意用户的公共信息，并且基于个性化信息、公共信息和从图像获取的信息来确定用户是否处于威胁情况。
生物特征信息可包括用户的语音、面部或指纹中的至少一个。
执行认证的步骤可包括使用来自语音、面部、指纹以及面部和指纹的组合中的预定的特定生物特征信息来对金融服务执行认证。
当通过用户的语音对金融服务执行认证时，学习模型可确定执行认证的用户处于威胁情况。
当用户通过用户采取特定姿态或者用户在识别手指时通过手指采取特定手势时，执行认证的用户可能处于威胁情况。
执行认证可包括基于生物特征信息对金融服务执行认证，当用户从学习模型获取用户未处于威胁情况的信息时，并且当用户获取用户处于威胁情况的信息时，可拒绝对金融服务的认证或者可执行伪认证。
当执行伪认证时，可提供指示正常执行金融服务的UI，并且可将锁定进行金融服务的交易账户的请求发送到金融公司服务器。
上面已经描述了认证方法的详细描述。
本公开的各种实施例可被实现为包括可存储在机器可读存储介质中的可由机器(例如，计算机)读取的指令的软件。装置可从存储介质调用指令并且可根据调用的指令操作，其中，该装置包括电子设备(例如，电子装置(A))。当所述指令由处理器运行时，处理器可使用其他组件直接地或在处理器的控制下执行与所述指令相应的功能。所述指令可包括由编译器或解释器生成或运行的代码。机器可读存储介质可以以非暂时性存储介质的形式被提供。这里，“非暂时性”意味着存储介质不包括信号并且是有形的，但不在数据是永久地存储在存储介质中还是临时地存储在存储介质中进行区分。
根据上述实施例的方法可被提供为被包括在计算机程序产品中。计算机程序产品可作为产品在卖方与买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘ROM(CD-ROM))的形式在线发布、或通过应用商店(例如，PlayStoreTM和AppStoreTM)的形式在线发布、或直接在用户(例如，智能电话)之间在线发布(例如，下载或上传)。在在线发布的情况下，计算机程序产品的至少一部分可至少被临时存储或临时生成在制造商的服务器、应用商店的服务器或诸如转发服务器的存储器的机器可读存储介质中。
上述元件中的各个元件(例如，模块或程序)可包括单个实体或多个实体。可省略上述相应元件中的至少一个元件或操作，或者可添加至少一个其它元件或操作。可选地或另外地，多个组件(例如，模块或程序)可被组合以形成单个实体。在这种情况下，集成实体可以以与由集成之前的多个元件中的相应元件执行的方式相同或相似的方式来执行多个元件中的每一个中的元件的至少一个功能的功能。根据各种实施例的模块、程序模块或由其他元件运行的操作可连续地、并行地、重复地或以启发式的方式被运行，或者至少一些操作可根据不同的顺序被运行、可被省略、或者可向其添加其他操作。
尽管已经参照本公开的各种实施例示出和描述了本公开，但本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (14)

1.一种电子装置，包括：
相机；
存储器，被配置为存储被学习以确定对金融服务执行认证的用户是否处于威胁情况的学习模型；以及
处理器，被配置为：
基于对金融服务执行认证的用户的生物特征信息来对金融服务执行认证，
在对金融服务执行认证时：
通过经由相机拍摄执行认证的用户和用户周围的背景来获取图像，
将所述图像应用于学习模型以获得关于在用户与用户周围的背景中的其他用户之间的估计关系的信息和关于其他用户的面部表情的信息，
基于从所述图像获取的关于估计关系的信息和关于其他用户的面部表情的信息，确定执行认证的用户是否处于威胁情况，并且
根据所述生物特征信息对金融服务执行认证，
其中，所述学习模型被训练为使用与用户相关的多个预存储图像来识别与用户相关的多个关系，并基于在所述图像中包括的其他用户被识别出，从所述多个关系中获得在用户与其他用户之间的估计关系，
其中，处理器还被配置为：
基于包括其他用户的至少一个预存储图像从所述多个预存储图像中被识别出，获得基于所述至少一个预存储图像的估计关系，并基于估计关系确定用户未处于威胁情况，
基于包括其他用户的至少一个预存储图像未从所述多个预存储图像中被识别出，使用关于其他用户的面部表情的信息确定执行认证的用户处于威胁情况，
基于用户未处于威胁情况，基于所述生物特征信息对金融服务执行认证，并且
基于用户处于威胁情况，拒绝对金融服务的认证或者执行伪认证。
2.如权利要求1所述的电子装置，其中，所述学习模型还被配置为：使用关于用户的眼睛的运动、脉搏率、面部颜色改变、面部表情、用户所在的地点中的至少一个的信息来确定用户是否处于威胁情况。
3.如权利要求2所述的电子装置，其中，所述学习模型还被配置为：
接收与脉搏率、眼睛运动、面部颜色改变和面部表情相关的用户的个性化信息和多个任意用户的公共信息的输入，并且
基于所述个性化信息、所述公共信息和从所述图像获取的信息来确定用户是否处于威胁情况。
4.如权利要求1所述的电子装置，其中，所述生物特征信息包括用户的语音、面部或指纹中的至少一个。
5.如权利要求1所述的电子装置，其中，处理器还被配置为：使用预定的特定生物特征信息来对金融服务执行认证。
6.如权利要求5所述的电子装置，
其中，所述预定的特定生物特征信息包括用户的语音的生物特征信息，
其中，所述学习模型还被配置为：基于对金融服务的认证通过用户的语音被执行来确定执行认证的用户处于威胁情况。
7.如权利要求5所述的电子装置，
其中，所述预定的特定生物特征信息包括用户的面部或指纹的生物特征信息，
其中，所述学习模型还被配置为：基于用户通过面部做出特定姿态或在指纹的识别期间通过手指做出特定手势来确定执行认证的用户处于威胁情况。
8.如权利要求1所述的电子装置，其中，处理器还被配置为：
基于所述伪认证被执行，提供指示金融服务被正常执行的用户界面(UI)，并且
将锁定做出金融服务的交易账户的请求发送到金融公司服务器。
9.一种电子装置的认证方法，所述方法包括：
基于对金融服务执行认证的用户的生物特征信息来对金融服务执行认证，
在对金融服务执行认证时，通过经由相机拍摄执行认证的用户和用户周围的背景来获取图像；
将所述图像应用于学习模型以获得关于在用户与用户周围的背景中的其他用户之间的估计关系的信息和关于其他用户的面部表情的信息；
基于从所述图像获取的关于估计关系的信息和关于其他用户的面部表情的信息，确定执行认证的用户是否处于威胁情况；并且
根据获取的信息对金融服务执行认证，
其中，所述学习模型被训练为使用与用户相关的多个预存储图像来识别与用户相关的多个关系，并基于在所述图像中包括的其他用户被识别出，从所述多个关系中获得在用户与其他用户之间的估计关系，
其中，所述方法还包括：
基于包括其他用户的至少一个预存储图像从所述多个预存储图像中被识别出，获得基于所述至少一个预存储图像的估计关系，并基于估计关系确定用户未处于威胁情况，
基于包括其他用户的至少一个预存储图像未从所述多个预存储图像中被识别出，使用关于其他用户的面部表情的信息确定执行认证的用户处于威胁情况，
基于用户未处于威胁情况，基于所述生物特征信息对金融服务执行认证，并且
基于用户处于威胁情况，拒绝对金融服务的认证或者执行伪认证。
10.如权利要求9所述的认证方法，其中，所述学习模型还被配置为：使用关于用户的眼睛的运动、脉搏率、面部颜色改变、面部表情、用户所在的地点中的至少一个的信息来确定用户是否处于威胁情况。
11.如权利要求10所述的认证方法，其中，所述学习模型还被配置为：
接收与脉搏率、眼睛运动、面部颜色改变和面部表情相关的用户的个性化信息和多个任意用户的公共信息的输入，并且
基于所述个性化信息、所述公共信息和从图像获取的信息来确定用户是否处于威胁情况。
12.如权利要求9所述的认证方法，其中，所述生物特征信息包括用户的语音、面部或指纹中的至少一个。
13.如权利要求10所述的认证方法，其中，执行认证的步骤包括：使用预定的特定生物特征信息来对金融服务执行认证。
14.如权利要求13所述的认证方法，其中，所述预定的特定生物特征信息包括用户的语音的生物特征信息，
其中，所述学习模型还被配置为：基于对金融服务的认证通过用户的语音被执行来确定执行认证的用户处于威胁情况。
CN201980016533.XA 2018-03-22 2019-03-22 电子装置及其认证方法 Active CN111819590B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180033342A KR102584459B1 (ko) 2018-03-22 2018-03-22 전자 장치 및 이의 인증 방법
KR10-2018-0033342 2018-03-22
PCT/KR2019/003383 WO2019182409A1 (en) 2018-03-22 2019-03-22 Electronic device and authentication method thereof

Publications (2)

Publication Number Publication Date
CN111819590A CN111819590A (zh) 2020-10-23
CN111819590B true CN111819590B (zh) 2024-05-31

Family

ID=67985402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016533.XA Active CN111819590B (zh) 2018-03-22 2019-03-22 电子装置及其认证方法

Country Status (5)

Country Link
US (1) US11605145B2 (zh)
EP (1) EP3714419A4 (zh)
KR (1) KR102584459B1 (zh)
CN (1) CN111819590B (zh)
WO (1) WO2019182409A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228581B2 (en) * 2019-03-07 2022-01-18 Motorola Mobility Llc Secure delayed FIDO authentication
US10839060B1 (en) * 2019-08-27 2020-11-17 Capital One Services, Llc Techniques for multi-voice speech recognition commands
WO2021097827A1 (zh) * 2019-11-22 2021-05-27 连云港伍江数码科技有限公司 信息确认方法、装置、计算机设备和存储介质
KR102327186B1 (ko) * 2020-01-20 2021-11-17 주식회사 지엔아이티 딥 러닝 기반 전자 신분증을 이용한 승선 관리 시스템 및 방법
KR102139548B1 (ko) * 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 안면인식 기술 기반 분산화된 신원증명 시스템 및 방법
CN112132117A (zh) * 2020-11-16 2020-12-25 黑龙江大学 一种辅助胁迫检测的融合身份认证系统
KR102586559B1 (ko) * 2021-03-31 2023-10-06 효성티앤에스 주식회사 금융자동화기기 및 이의 제어방법, 금융자동화시스템
CN114125145B (zh) * 2021-10-19 2022-11-18 华为技术有限公司 显示屏解锁的方法、电子设备及存储介质
WO2023105586A1 (ja) * 2021-12-06 2023-06-15 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
KR20230087017A (ko) 2021-12-09 2023-06-16 (주)마이벨로 인휠 모터 장치
US11729309B1 (en) * 2022-02-22 2023-08-15 Wells Fargo Bank, N.A. Ring and hardware characteristic identification techniques to identify call devices
US20230403268A1 (en) * 2022-05-25 2023-12-14 Paypal, Inc. Reducing false positives in entity matching based on image-linking graphs

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717701A (zh) * 2003-07-11 2006-01-04 松下电器产业株式会社 认证系统
KR20130108041A (ko) * 2012-03-23 2013-10-02 아이포콤 주식회사 현금 인출기용 부정 금융 거래 시도 판단 장치
JP2014106593A (ja) * 2012-11-26 2014-06-09 International Business Maschines Corporation 取引認証方法、及びシステム
CN104574088A (zh) * 2015-02-04 2015-04-29 华为技术有限公司 支付认证的方法和装置
CN105389491A (zh) * 2014-08-28 2016-03-09 凯文·艾伦·杜西 包括路径参数的面部识别认证系统
KR20160090994A (ko) * 2015-01-23 2016-08-02 박현수 유보 코드를 이용한 전자기기와 그 전자기기를 갖는 보안 시스템 및 그 보안 방법
WO2017052276A1 (ko) * 2015-09-23 2017-03-30 주식회사 하렉스인포텍 휴대단말을 이용한 자동입출금서비스 제공 시스템 및 방법
US9648171B1 (en) * 2016-05-23 2017-05-09 Intuit Inc. Emotion recognition to match support agents with customers
CN107016608A (zh) * 2017-03-30 2017-08-04 广东微模式软件股份有限公司 一种基于身份信息验证的远程开户方法及系统
US9891792B1 (en) * 2015-10-30 2018-02-13 Intuit Inc. Method and system for building and utilizing interactive software system predictive models using biometric data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4439481B2 (ja) 2006-03-06 2010-03-24 富士通株式会社 安全性判断方法、安全性判断システム、認証装置、プログラム及び安全性判断装置
US20100106573A1 (en) * 2008-10-25 2010-04-29 Gallagher Andrew C Action suggestions based on inferred social relationships
KR101840644B1 (ko) 2011-05-31 2018-03-22 한국전자통신연구원 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법
CN102289898B (zh) * 2011-09-08 2013-05-29 广州广电运通金融电子股份有限公司 自助交易自动紧急避险系统
US20140201537A1 (en) * 2011-09-27 2014-07-17 George P. Sampas Mobile device-based authentication with enhanced security measures providing feedback on a real time basis
US20130239191A1 (en) 2012-03-09 2013-09-12 James H. Bostick Biometric authentication
KR20130122306A (ko) 2012-04-30 2013-11-07 전자부품연구원 위험요소 예측 기반 스마트 보안시스템
WO2015023109A1 (ko) * 2013-08-12 2015-02-19 바쉔 주식회사 부가 코드를 이용한 보안 시스템, 장치, 및 그 방법
US9892413B2 (en) * 2013-09-05 2018-02-13 International Business Machines Corporation Multi factor authentication rule-based intelligent bank cards
US9313190B2 (en) * 2014-02-07 2016-04-12 Bank Of America Corporation Shutting down access to all user accounts
KR20150115392A (ko) 2014-04-04 2015-10-14 이혁재 위험 감지 시스템 및 방법
EP3147798A4 (en) * 2014-05-22 2018-01-17 Sony Corporation Information processing device, information processing method, and program
KR20160005204A (ko) 2014-07-03 2016-01-14 재단법인 다차원 스마트 아이티 융합시스템 연구단 사람의 얼굴 또는 사람의 형체 감지를 이용한 보안 시스템 및 방법
US9773364B2 (en) * 2014-07-28 2017-09-26 Dan Kerning Security and public safety application for a mobile device with audio/video analytics and access control authentication
US9883370B2 (en) * 2014-07-28 2018-01-30 Dan Kerning Security and public safety application for a mobile device with enhanced incident reporting capabilities
US9071618B1 (en) * 2014-08-04 2015-06-30 Bank Of America Corporation Providing multiple access levels to a single user account using different login credentials
US10425814B2 (en) 2014-09-24 2019-09-24 Princeton Identity, Inc. Control of wireless communication device capability in a mobile device with a biometric key
KR20160072682A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 생체 정보를 이용한 인증 방법 및 이를 위한 전자 장치
KR101529462B1 (ko) 2014-12-17 2015-06-18 (주)리감 모바일 안전 감시 시스템 및 방법
US9887995B2 (en) * 2015-03-20 2018-02-06 Cyberdeadbolt Inc. Locking applications and devices using secure out-of-band channels
KR20160131678A (ko) 2015-05-08 2016-11-16 이재운 카메라를 구비한 보호용 휴대 장치 및 영상 촬영 방법
JP6895431B2 (ja) * 2015-10-23 2021-06-30 オラクル・インターナショナル・コーポレイション アクセス管理のためのパスワードレス認証
US20170223017A1 (en) * 2016-02-03 2017-08-03 Mastercard International Incorporated Interpreting user expression based on captured biometric data and providing services based thereon
US10089809B1 (en) * 2017-06-14 2018-10-02 International Business Machines Corporation Cognitive intercom assistant

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717701A (zh) * 2003-07-11 2006-01-04 松下电器产业株式会社 认证系统
KR20130108041A (ko) * 2012-03-23 2013-10-02 아이포콤 주식회사 현금 인출기용 부정 금융 거래 시도 판단 장치
JP2014106593A (ja) * 2012-11-26 2014-06-09 International Business Maschines Corporation 取引認証方法、及びシステム
CN105389491A (zh) * 2014-08-28 2016-03-09 凯文·艾伦·杜西 包括路径参数的面部识别认证系统
KR20160090994A (ko) * 2015-01-23 2016-08-02 박현수 유보 코드를 이용한 전자기기와 그 전자기기를 갖는 보안 시스템 및 그 보안 방법
CN104574088A (zh) * 2015-02-04 2015-04-29 华为技术有限公司 支付认证的方法和装置
WO2017052276A1 (ko) * 2015-09-23 2017-03-30 주식회사 하렉스인포텍 휴대단말을 이용한 자동입출금서비스 제공 시스템 및 방법
US9891792B1 (en) * 2015-10-30 2018-02-13 Intuit Inc. Method and system for building and utilizing interactive software system predictive models using biometric data
US9648171B1 (en) * 2016-05-23 2017-05-09 Intuit Inc. Emotion recognition to match support agents with customers
CN107016608A (zh) * 2017-03-30 2017-08-04 广东微模式软件股份有限公司 一种基于身份信息验证的远程开户方法及系统

Also Published As

Publication number Publication date
KR20190111329A (ko) 2019-10-02
US20190295203A1 (en) 2019-09-26
EP3714419A1 (en) 2020-09-30
KR102584459B1 (ko) 2023-10-05
US11605145B2 (en) 2023-03-14
WO2019182409A1 (en) 2019-09-26
EP3714419A4 (en) 2020-09-30
CN111819590A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111819590B (zh) 电子装置及其认证方法
US10896248B2 (en) Systems and methods for authenticating user identity based on user defined image data
US20210286870A1 (en) Step-Up Authentication
CN107665426B (zh) 使用生物特征认证进行支付的方法和电子设备
US10884597B2 (en) User interface customization based on facial recognition
US10346605B2 (en) Visual data processing of response images for authentication
US20180314536A1 (en) Method and apparatus for invoking function in application
EP3743836B1 (en) System and method for resource access authentication
US8447273B1 (en) Hand-held user-aware security device
CN107735999B (zh) 基于设备功能和用户请求通过多个途径的认证
US9659158B2 (en) Technologies for determining confidence of user authentication
US20170255938A1 (en) Blocking fraudulent transactions in an nfc device
US20200004939A1 (en) Biometric authentication
US8494961B1 (en) Image authentication and security system and method
US20160226865A1 (en) Motion based authentication systems and methods
EP3035243A1 (en) Method of updating biometric feature pattern and electronic device for same
US20180144110A1 (en) Multi-input user interaction and behavioral based authentication system for context aware applications
CN108334809B (zh) 用于虹膜识别的电子装置及其操作方法
US20190245851A1 (en) Implicit authentication for unattended devices that need to identify and authenticate users
US11171951B2 (en) Device interface output based on biometric input orientation and captured proximate data
WO2024037056A1 (zh) 指纹识别的方法和装置
US20220075855A1 (en) Identity verification method and apparatus
CA2910929C (en) Systems and methods for authenticating user identity based on user-defined image data
Trojahn et al. Towards coupling user and device locations using biometrical authentication on smartphones
CN110895688A (zh) 辨识用户身分的系统及辨识用户身分的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant