CN115552399A - 生物认证系统及其电子装置 - Google Patents

生物认证系统及其电子装置 Download PDF

Info

Publication number
CN115552399A
CN115552399A CN202180033550.1A CN202180033550A CN115552399A CN 115552399 A CN115552399 A CN 115552399A CN 202180033550 A CN202180033550 A CN 202180033550A CN 115552399 A CN115552399 A CN 115552399A
Authority
CN
China
Prior art keywords
electronic device
image
display
processor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180033550.1A
Other languages
English (en)
Inventor
李承恩
姜旼奭
金暖姬
金胜年
金次谦
徐慧圆
元钟勋
崔炳皙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115552399A publication Critical patent/CN115552399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种可折叠电子装置，包括：第一外壳；第二外壳；至少一个传感器；显示器；相机，可操作在第一模式或第二模式；处理器；以及可操作地连接到处理器的存储器。可折叠电子装置在显示器上显示关于事件的通知信息；如果使用至少一个传感器感测的可折叠电子装置的折叠状态满足指定条件，则在第一模式下使用相机来获取至少一个第一图像；基于使用相机获取的至少一个第一图像确定是否存在面部；如果确定至少一个第一图像中存在面部，则在第二模式下使用相机来获取至少一个第二图像；使用至少一个第二图像的至少一部分执行基于面部辨识的生物认证；并且如果生物认证成功，则在显示器上显示事件的内容。从说明书推断的各种实施例也是可能的。

Description

生物认证系统及其电子装置
技术领域
本说明书中公开的各种实施例涉及一种用于执行生物认证的方法和用于生物认证的电子装置。
背景技术
虽然随着数字装置的增加，安全性的重要性也在增加，但为了用户信息的安全性，使用了各种认证方法，诸如生物认证。生物认证是指提取诸如指纹、虹膜、汗腺结构、面部和/或血管的个人特有的生物信息，并且使用所提取的生物信息对用户进行认证的认证方法。生物认证出于各种目的而用于电子装置。例如，生物认证被应用于各种领域，诸如为使用电子装置而解锁主屏幕，以及进行电子商务支付时的用户认证。
此外，正在开发用于增加电子装置的显示表面的技术。可以改变电子装置的形式以改进移动装置的便携性和显示大小。例如，电子装置的一部分可以折叠或伸展。
发明内容
技术问题
随着电子装置的类型多样化，需要一种方便地提供根据现有技术提供的服务的手段。例如，用户可以采用处于半折叠状态(例如，桌上显示模式)的可折叠电子装置。通过将电子装置的一部分放置在诸如桌子的平坦表面上，用户可以使用电子装置观看内容而无需抓握电子装置。当电子装置在半折叠状态下接收到事件时，用户可需要执行生物认证以识别事件的内容。为了执行生物认证，用户需要用手抓握处于桌上显示模式的电子装置。
为了在不抓住电子装置的情况下执行生物认证，电子装置可以监控用户的生物信息。例如，电子装置可以确定使用相机是否检测到用户的生物信息。电子装置可以通过激活相机并使用相机获得图像来监控生物信息。例如，电子装置可以确定特定形状是否存在于所获得图像中。在这个过程中，电子装置的功耗可能会由于相机的激活而增加。
问题解决方案
根据本说明书中所公开的一个实施例，一种电子装置可以包括：第一外壳；第二外壳；可折叠结构，所述可折叠结构位于所述第一外壳与所述第二外壳之间；至少一个传感器；显示器；相机，所述相机能够在针对用户辨识提供的第一模式或针对用户认证提供的且操作功率高于所述第一模式的第二模式下操作；处理器；以及可操作地连接到所述处理器的存储器。所述存储器可以存储一个或多个指令，所述一个或多个指令在被执行时致使所述处理器：在所述显示器上显示所述可折叠电子装置的事件的通知信息；当通过使用所述至少一个传感器检测到的所述可折叠电子装置的折叠状态满足指定条件时在所述第一模式下使用所述相机获得至少一个第一图像；基于通过使用所述相机获得的所述至少一个第一图像确定是否存在面部；当确定所述至少一个第一图像中存在所述面部时在所述第二模式下通过使用所述相机获得至少一个第二图像；通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证；并且当所述生物认证成功时在所述显示器上显示所述可折叠电子装置的所述事件的内容。
根据本说明书中所公开的一个实施例，一种可折叠电子装置提供通知功能的方法可以包括：在显示器上显示所述可折叠电子装置的事件的通知信息；确定通过使用至少一个传感器检测到的所述可折叠电子装置的折叠状态是否满足指定条件；当满足所述指定条件时，在针对用户辨识提供的第一模式下通过使用相机获得至少一个第一图像；基于通过使用所述相机获得的所述至少一个第一图像确定是否存在面部；当确定所述至少一个第一图像中存在所述面部时，在针对用户认证的第二模式下通过使用所述相机获得至少一个第二图像；通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证；以及当所述生物认证成功时，在所述显示器上显示所述可折叠电子装置的所述事件的内容。
有益效果
根据本说明书中所公开的各种实施例，电子装置可以响应于形状变化而执行针对用户优化的生物认证功能。
电子装置可以基于折叠角度、基于通过相机获得的图像的信息来执行有效的生物认证功能。
根据说明书中所公开的各种实施例，电子装置可以允许像素被选择性地用于执行生物认证功能，从而降低功耗并有效地执行处理器的数据处理或计算。
另外，可以提供通过本说明书直接或间接理解的多种效果。
附图说明
图1是根据各种实施例的网络环境中的电子装置的框图。
图2是示出根据各种实施例的相机模块的框图。
图3是根据各种实施例的是电子装置的框图。
图4示出根据各种实施例的电子装置的框图。
图5示出根据各种实施例的其形状被改变的电子装置。
图6a示出根据各种实施例的其形状被改变的电子装置。
图6b示出根据各种实施例的其形状被改变的电子装置。
图7a示出根据实施例的用户与电子装置之间的根据用户采用电子装置的形状而变化的距离。
图7b示出根据实施例的在基于面部辨识的生物认证过程中由相机获得的用户的面部图像。
图8是根据实施例的用于描述图像传感器的结构的框图。
图9示出根据实施例的根据电子装置的操作状态的图像传感器的状态。
图10示出根据实施例的选择性地读出图像的电子装置。
图11示出根据实施例的当检测到多个面部时电子装置的通知操作。
图12示出根据实施例的电子装置根据应用的各种通知操作。
图13示出根据各种实施例的电子装置的生物认证操作的流程图。
图14示出根据各种实施例的概念性地示出由电子装置执行的认证方法的操作流程图。
关于附图的描述，相同或相似的部件将由相同或相似的附图标记来标记。
具体实施方式
在下文中，可以参考附图描述本公开的各种实施例。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例做出各种修改、等同物和/或替代。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SI M)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(I SP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可代替主处理器121控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(I R)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMI C)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(I rDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(I MSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFI C))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MI PI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASI C)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Pl aySt oreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2是示出根据各种实施例的相机模块180的图框200。参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(I R)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、I R传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图3是示出根据各种实施例的显示装置160的图框300。参照图3，显示装置160可包括显示器310和用于控制显示器310的显示驱动器集成电路(DDI)330。DDI 330可包括接口模块331、存储器333(例如，缓冲存储器)、图像处理模块335或映射模块337。DDI 330可经由接口模块331从电子装置101的另一部件接收包含图像数据的图像信息或与用于控制图像数据的命令相应的图像控制信号。例如，根据实施例，可从处理器130(例如，主处理器131(例如，应用处理器))或辅助处理器133(例如，图形处理单元)接收图像信息，其中，辅助处理器133独立于主处理器131的功能进行操作。DDI 330可经由接口模块331与例如触摸电路350或传感器模块176通信。DDI 330还可例如逐帧地将接收到的图像信息的至少一部分存储在存储器333中。
图像处理模块335可针对图像数据的至少一部分执行预处理或后处理(例如，对分辨率、亮度或尺寸的调整)。根据实施例，例如，可至少部分基于图像数据的一个或更多个特征或显示器310的一个或更多个特征来执行预处理或后处理。
映射模块337可产生与由图像处理模块335预处理或后处理的图像数据相应的电压值或电流值。根据实施例，例如，可至少部分基于像素的一个或更多个属性(例如，像素的阵列(诸如RGB条纹或pent i l e结构)或每个子像素的尺寸)执行电压值或电流值的产生。例如，可至少部分基于电压值或电流值来驱动显示器310的至少一些像素，从而可经由显示器310来显示与图像数据相应的视觉信息(例如，文本、图像或图标)。
根据实施例，显示装置160还可包括触摸电路350。触摸电路350可包括触摸传感器351和用于控制触摸传感器351的触摸传感器I C 353。触摸传感器I C 353可控制触摸传感器351感测针对显示器310上的特定位置的触摸输入或悬浮输入。为此，例如，触摸传感器351可检测(例如，测量)与显示器310上的特定位置相应的信号(例如，电压、光量、电阻或者一个或更多个电荷量)。触摸电路350可将指示经由触摸传感器351检测的触摸输入或悬浮输入的输入信息(例如，位置、区域、压力或时间)提供给处理器130。根据实施例，可将触摸电路350的至少一部分(例如，触摸传感器I C 353)形成为显示器310或DDI 330的一部分，或形成为位于显示装置160外部的另一部件(例如，辅助处理器123)的一部分。
根据实施例，显示装置160还可包括传感器模块176的至少一个传感器(例如，指纹传感器、虹膜传感器、压力传感器或照度传感器)或用于所述至少一个传感器的控制电路。在这样的情况下，可将所述至少一个传感器或用于所述至少一个传感器的控制电路嵌入在显示装置160的部件(例如，显示器310、DDI 330或触摸电路350)的一部分中。例如，当嵌入在显示装置160中的传感器模块176包括生物传感器(例如，指纹传感器)时，生物传感器可获取与经由显示器310的一部分接收到的触摸输入相应的生物信息(例如，指纹图像)。作为另一示例，当嵌入在显示装置160中的传感器模块176包括压力传感器时，压力传感器可获取与经由显示器310的部分区域或整个区域接收到的触摸输入相应的压力信息。根据实施例，可将触摸传感器351或传感器模块176布置在显示器310的像素层中的像素之间，或布置在像素层的上方或下方。
图4示出根据各种实施例的电子装置的图框400。
参考图4，电子装置(例如，图1的电子装置101)可以包括处理器120、存储器130、显示装置160、传感器模块176和/或相机模块180。除非另有说明，否则具有与图1相同标识号的配置的描述可以参考参照图1给出的描述。
处理器120可以与电子装置101内的其他部件(例如，存储器130、显示装置160、传感器模块410和/或相机模块180)可操作地连接。处理器120可以控制电子装置的部件。例如，处理器120可以根据存储在存储器130中的一个或多个指令来控制电子装置101的部件。
存储器130可以存储输出到显示装置160的电子装置101的操作历史。当电子装置101具有多个显示装置160时，存储器130可以存储输出到每个显示装置160的电子装置101的操作历史。例如，操作历史可以包括用户接口的区域，所述区域包括分别在显示装置160中执行的不同应用和/或关于所述应用的信息。
显示装置160可以输出由电子装置101处理的信息。例如，显示装置160可以使用相机模块180输出与生物认证功能相关的用户接口或图形用户接口(GUI)。此外，显示装置160可以输出包括与由电子装置101接收的事件相关的细节的通知对象。显示装置160可以包括各种类型的显示器(例如，图3的显示器310)。显示器310可以是柔性显示器、三维(3D)显示器和可折叠显示器中的至少一种。此外，电子装置101可以包括多个显示器310。例如，处理器120可以将输出区域分成多个区域并且可以执行将不同内容输出到每个区域的分屏模式。此时，电子装置101可以仅在其以指定角度折叠时以分屏模式操作。在分屏模式下，显示器310可以被分成多个显示区域。例如，显示器310可以相对于折叠部分(例如，铰链部分)被划分成第一显示区域和第二显示区域。例如，第一显示区域与第二显示区域之间的划分可以是显示区域的逻辑划分。例如，显示器310可以输出通过另外分割显示区域而获得的第三显示区域。第三显示区域可以是相对于折叠部分形成的区域。第三显示区域可以是形成为在逻辑上区分第一显示区域和第二显示区域的区域。同时，上述显示区域的划分不限于逻辑划分。第一显示区域和第二显示区域可以意指物理地划分的区域。例如，第一显示区域和第二显示区域可以意指包括在一个电子装置中的单独显示装置的一个区域。分割区域的数量、每个大小、分辨率和/或能够输出的内容是否受到限制不限于上述示例。例如，分割区域的数量、每个大小、分辨率和/或能够输出的内容是否受到限制可以根据用户的意图而改变。例如，处理器120可以识别与从第一显示区域、第二显示区域和/或第三显示区域中的每一者输出的内容相关的信息，并且可以将所述信息存储在存储器130中。
相机模块180可以包括多个相机。根据一个实施例，相机模块180可以位于电子装置101的一侧(例如，前部和/或后部)上，并且电子装置的一个表面可以包括与其上设置有显示装置160的表面相同或不同的表面。例如，多个相机可以被配置为分别获得不同分辨率的图像。多个相机中的每一个可以包括至少一个传感器。例如，一些传感器可以是图像传感器，所述图像传感器在电子装置101执行生物认证时确定用户的面部是否存在于通过镜头捕获的图像中。
传感器模块176可以包括至少一个传感器(例如，霍尔I C传感器、数字霍尔I C传感器、加速度传感器、陀螺仪传感器和/或6轴传感器)。电子装置101可以基于使用传感器模块176获得的信息(例如，电子装置101的折叠角度)来识别电子装置101的类型。例如，传感器模块176可以包括用于辨识电子装置的折叠角度的传感器。例如，传感器模块176可以通过检测电子装置101的形状变化(例如，折叠/展开)来辨识包括折叠角度的信息，可以基于折叠角度识别电子装置101的当前形状，并且可以将包括关于形状的信息的信号递送到处理器120。处理器120可以基于从传感器模块176接收的信号辨识电子装置101的折叠/展开形状和/或折叠角度。
根据一个实施例，处理器120可以基于包括使用传感器模块176获得的折叠角度的信息来确定电子装置101的折叠角度是否在指定范围内(例如，约90度至130度)。电子装置101在指定范围内折叠的状态可以被定义为半折叠状态。处理器120可以将指示电子装置101处于半折叠状态的信息递送到应用，并且应用可以提供参考所述信息优化的用户接口。例如，在半折叠状态下，处理器120可以允许显示装置160分割屏幕并在多个区域中输出不同内容。当电子装置101处于半折叠状态时，用户可以在将电子装置101放在桌子上时使用电子装置101，并且这可以被定义为桌上模式(t abl e mode)。表1示出根据电子装置101的折叠角度的操作状态。同时，即使折叠角度满足基于电子装置101的安装状态的指定条件，电子装置101在处理器120的控制下可以不在半折叠状态下操作。可以通过将要描述的图6a和图6b的描述来更详细地给出安装状态的描述。
[表1]
折叠角度 0°～90° 90°～130° 130°～180°
半折叠状态 X O X
根据实施例，当电子装置101接收到事件时，处理器120可以允许显示装置160显示包括对应于所述事件的信息的通知对象。在这种情况下，在处理器120的控制下，可以将通知对象输出到仅分割区域的至少一部分。例如，当电子装置101在桌上模式下使用时，处理器120可以允许显示装置160在第一显示区域(例如，位于电子装置101的上部部分处的显示区域)中连续输出先前输出的内容，并且在仅第二显示区域(例如，位于电子装置101的下部部分处的显示区域)中输出通知对象。除了将通知对象输出到显示装置160之外，处理器120还可以在电子装置101接收到事件时提供各种类型的通知功能。例如，可以使用边缘照明和触觉功能直观地提供通知功能，而无需将关于所接收事件的具体细节输出到显示器。
根据实施例，处理器120可以通过相机模块180获得至少一个图像并且可以处理所获得的至少一个图像。例如，处理器120可以从所获得图像提取指定对象(例如，面部)。当确定图像中存在一个面部对象时，处理器120可以使用所述对象执行用户认证(例如，生物认证)的功能。生物认证可以是虹膜认证或面部认证。作为另一示例，当确定图像中存在多个面部对象时，处理器120可以不执行用户认证功能。
图4所示的电子装置101的配置仅仅是示例，并且本公开的实施例不限于此。例如，电子装置101可以不包括图4所示的部件中的至少一个。作为另一个示例，电子装置101还可以包括图4中未示出的部件。
图5示出根据各种实施例的其形状被改变的电子装置。
电子装置500(如图1的电子装置101)的形状可以在折叠/展开时物理地改变。例如，电子装置可以包括外壳和显示器，它们中的每一者在外壳和显示器的至少一部分中具有柔性。电子装置可以围绕具有电子装置500的柔性的部分折叠(例如，闭合)或展开(例如，打开)。例如，电子装置500的具有柔性的部分可以被称为折叠部分。折叠部分是指在其中电子装置500的形状能够改变的部分(例如，铰链)或区域，并且不限于特定结构。
根据实施例，电子装置500(例如，图1的电子装置101)可以上下折叠。例如，电子装置500可以包括显示器530(例如，图3的显示器310)和外壳510，它们中的每一者在对应于至少一个折叠部分520的部分中具有柔性。电子装置500可以围绕折叠部分520上下折叠。图5示出电子装置500是其中显示器530向内折叠的向内折叠电子装置。然而，本公开的实施例不限于此。例如，在折叠部分520处，电子装置500可以向外折叠，或者可以既向内折叠又向外折叠。作为另一个示例，示出了显示器530具有一个显示器，但本公开的实施例不限于此。电子装置500可以包括基于折叠部分520分开的多个显示器。外壳510还可以包括基于折叠部分520分开的多个外壳。作为另一个示例，电子装置500可以是多个电子装置的组合，该多个电子装置耦接以围绕折叠部分520折叠。在这种情况下，多个电子装置可以通过单独的结构(例如，外壳和/或铰链)彼此耦接。
图5所示的电子装置500的物理形状变化是示例，并且本公开的实施例不限于此。例如，电子装置可以围绕任何轴线折叠或展开。
图6a示出根据各种实施例的其形状被改变的电子装置。
参考图6a，根据各种实施例，电子装置101(例如，图5的电子装置500)可以响应于折叠角度而以各种操作形式(例如，移动模式601、桌上模式602和平板模式603)使用。
在移动模式601下，电子装置101可以以与一般直板型智能电话相同的形式使用。例如，在移动模式601下，电子装置101可以向柔性显示器(例如，图3中的显示器310)的一个区域提供内容。在移动模式601下，折叠角度可为0度。
在桌上模式602下，电子装置101可以在被放置在桌子上或用户的手上时用作笔记本电脑。在桌上模式602下，折叠角度(a2)可以在90度至130度之间。在桌上模式602下，在电子装置101的控制下，可以基于折叠部分(例如，图5的折叠部分520)划分显示区域，并且然后可以将不同内容分别输出到所划分区域。例如，当电子装置101接收到事件时，在电子装置101的控制下，可以将事件的通知输出到下部区域，并且可以将先前输出的内容连续输出到上部区域。根据实施例，当电子装置101在桌上模式602下提供生物认证功能时，电子装置101可以应用不同于移动模式601和平板模式603中的认证算法。例如，在桌上模式602下，与其他模式相比，电子装置101与用户的距离可能相对较长，从而应用认证算法来增加面部辨识的可允许范围(例如，电子装置与用户之间的距离或面部的角度)。根据本说明书的各种实施例，在桌上模式下，由于用户的面部与电子装置之间的相机角度，检测到面部的下部部分的可能性可能很高，从而应用通过对面部的下部部分的特征进行加权来执行认证的算法。
同时，可以参考下文将要描述的图7a和图7b更详细地描述上述面部辨识可允许范围。
在平板模式603下，电子装置101可以以与一般平板PC相同的形状使用。例如，电子装置101可以向柔性显示器(例如，图3中的显示器310)的一个区域提供内容。在平板模式603下，电子装置101的折叠角度(a3)可为180度。
图6b示出根据各种实施例的其形状被改变的电子装置。
根据本说明书的各种实施例，在以指定角度(例如，90度至130度)折叠时，电子装置101可以以各种形状(例如，第一安装状态604和第二安装状态605)安装和使用。
根据实施例，用户可以在第一安装状态604下采用电子装置101。第一安装状态604可以是指电子装置101的侧部部分在电子装置101以指定角度折叠时放置在地板上的状态。电子装置101可以将内容输出到柔性显示器(例如，图3的显示器310)的一个区域(例如，第一显示区域610或第二显示区域620)。
根据实施例，第二安装状态605可以是指用户在电子装置101折叠时将包括第一显示区域610的外壳放置在地板上的状态。电子装置101可以将内容输出到柔性显示器(例如，图3的显示器310)的一个区域(例如，第一显示区域610或第二显示区域620)。
处理器(例如，图1的处理器120)可以基于使用传感器模块(例如，图1的传感器模块176)获得的电子装置101的折叠角度来确定电子装置101的操作模式(例如，移动模式、桌上模式或平板模式)。然而，即使折叠角度在安装状态(第一安装状态604或第二安装状态605)下满足指定条件，电子装置101也可能不会在桌上模式状态下操作。
图7a示出根据实施例的用户与电子装置之间的根据用户采用电子装置的形状而变化的距离。
根据本说明书的各种实施例，可折叠电子装置101可以根据折叠角度、用户抓握它的形状等用于各种布置，例如布置701和布置702。例如，用户可以通过在移动模式状态(例如，图6a的移动模式601)下以他/她的手抓握下部部分来采用电子装置101。作为另一个示例，用户可以在桌上模式(例如，图6a的桌上模式602)下采用电子装置101。
用户的面部与电子装置101之间的距离D1和D2可以根据用户采用电子装置101的形状而彼此不同。例如，距离D1(例如，20cm至50cm)可以小于距离D2(例如，20cm至90cm)。
根据实施例，电子装置101可以使用相机模块(例如，图4的相机模块180)获得包括用户的面部的至少一个图像。包括在由相机模块180获得的至少一个图像中的面部的大小可以由用户与电子装置101之间的距离来确定。在这种情况下，电子装置101可以被配置为成功进行面部辨识，只要包括在至少一个图像中的面部的大小不小于指定大小即可。
参考图7a的参考数字701，根据实施例，用户可以在折叠角度为0度时以移动模式(例如，图6a的移动模式601)采用电子装置101。当电子装置101接收到事件时，显示装置(图4的显示装置160)可以提供通知功能以在一个区域(例如，第一显示区域610或第二显示区域620)中输出包括关于所接收事件的信息的通知对象。用户可以通过面部辨识来识别与事件相关的附加细节。当与电子装置的距离为D1时，用户可能会尝试辨识面部。
参考图7a的参考数字702，根据一个实施例，用户可以在折叠角度在90度至130度内时以桌上模式(例如，图6a的桌上模式602)采用电子装置101。当电子装置101接收到事件时，显示装置(图4的显示装置160)可以提供通知功能以在一个区域(例如，第一显示区域610或第二显示区域620)中输出包括关于所接收事件的信息的通知对象。用户可以通过面部辨识来识别与事件相关的附加细节。当与电子装置的距离为D2时，用户可能会尝试辨识面部。在参考数字702中，包括在由电子装置101获得的至少一个图像中的面部的大小可以小于参考数字701中的面部大小。电子装置101可以应用在参考数字702处增加面部辨识可允许范围的认证算法。例如，如在参考数字702中，当用户在半折叠状态下以桌上模式采用电子装置101时，处理器(例如，图4的处理器120)可以根据电子装置101与用户之间的距离来扩展和应用面部辨识可允许范围。表2示出了根据电子装置101的操作模式的面部辨识可允许范围。
[表2]
Figure BDA0003929079170000191
图7b示出根据实施例的在基于面部辨识的生物认证过程中由相机获得的用户的面部图像。
根据本说明书的各种实施例，对于面部辨识功能的操作，电子装置101可以使用相机模块(例如，图4的相机模块180)获得包括用户的面部的至少一个图像。参考图7b的参考数字703，根据一个实施例，由电子装置101获得的用户的面部图像可以是指各种半径(710、720、730、740)。
根据实施例，当用户在半折叠状态下以桌上模式采用电子装置101时，处理器(如图4的处理器120)可以根据电子装置101与用户之间的距离来扩展面部辨识可允许范围。表3示出了根据电子装置101的操作模式的面部辨识可允许范围。
[表3]
Figure BDA0003929079170000201
图8是根据各种实施例的用于描述图像传感器的结构的图框800。
根据本说明书的实施例，图像传感器810(例如，图2的图像传感器230)可以是设置在电子装置(例如，图1的电子装置101)中的相机模块(例如，图1的相机模块)的部件。
参考图8，根据各种实施例，图像传感器810可以包括像素阵列820、行驱动器830、列读出电路840、控制器850、存储器860以及接口870中的至少一者。
像素阵列820可以包括多个像素811至819。例如，像素阵列820可以具有多个像素811至819以M×N矩阵布置的结构(“M”和“N”是自然数)。多个像素811至819以M×N二维形状布置的像素阵列820可以具有“M”行和“N”列。像素阵列820可以包括多个光感测元件，例如光电二极管或钉扎光电二极管。像素阵列820可以使用多个光感测元件来检测光，并且可以将光转换成模拟电信号以生成图像信号。
行驱动器830可以以行为单位驱动像素阵列820。例如，行驱动器830可以向像素阵列820输出用于控制传输晶体管的传输控制信号、用于控制复位晶体管的复位控制信号或用于控制选择晶体管的选择控制信号。包括在像素阵列820中的多个像素811至819中的每一个包括传输晶体管、复位晶体管或选择晶体管。行驱动器830可以确定将要读出的行。列读出电路840可以接收由像素阵列820生成的模拟电信号。例如，列读出电路840可以从选自构成像素阵列820的多个列之中的列线接收模拟电信号。列读出电路840可以包括能够将从所选择列线接收的模拟电信号转换成像素数据(或数字信号)的模数转换器(以下称为“ADC”)845并输出像素数据。同时，从像素阵列820接收模拟电信号、使用ADC 845将所接收的模拟电信号转换成像素数据并输出像素数据的列读出电路840的操作可以被称为“读出”。列读出电路840和ADC 845可以确定将要读出的列。
根据实施例，图像传感器810的列读出电路840可以包括多个ADC 845。ADC 845可以分别与包括在像素阵列820中的多个光电二极管并联连接。ADC845可以基于并行结构快速将从多个光电二极管同时接收的模拟电信号转换成像素数据。
根据实施例，对于电子装置的低功率状态下的操作，图像传感器810的列读出电路840可以低帧速率(如每秒10帧(fps))执行读出。例如，以10fps执行读出的含义可以意味着执行从像素阵列820接收模拟电信号、使用ADC 845将所接收的模拟电信号转换成像素数据并且每1/10秒输出像素数据的操作。也即，以10fps执行读出可意味着每秒输出十个图像帧。
控制器850可以基于从列读出电路840接收的像素数据获得图像帧。控制器850可以通过接口870将图像帧输出到外部电路880(例如，图像信号处理器(I SP)、处理器、通信电路或外部服务器)。根据实施例，控制器850可以在多个像素811至819的每一个中生成用于控制传输晶体管的传输控制信号、用于控制复位晶体管的复位控制信号或用于控制选择晶体管的选择控制信号，并且可以将所生成信号提供给行驱动器830。此外，控制器850可以生成用于在构成像素阵列820的多条列线中选择至少一条列线的选择控制信号，并且可以将所生成信号提供给列读出电路840。例如，基于从控制器850提供的选择控制信号，列读出电路840可以启用多条列线之中的一些列线并且可以禁用其其他列线。此外，控制器850可以被实现为包括中央处理单元(CPU)或应用处理器(AP)的处理器(例如，图1的处理器120)，或者被实现为块或模块的类型。
根据实施例，存储器860可以存储以第N帧速率(如60fps)或第M帧速率(如30f ps)从列读出电路840读出的至少一个图像帧，并且可以通过接口870将所存储的至少一个图像帧递送到外部电路880(例如，I SP、处理器、通信电路或外部服务器)。也即，存储器860可以存储每1/60秒一次或每1/30秒一次从列读出电路840读出的至少一个图像帧，并且可以通过接口870将所存储的至少一个图像帧递送到外部电路880。将图像帧递送到外部电路880的速度没有限制。例如，电子装置(如图1中的电子装置101)可以通过接口870直接将读出的图像帧递送到外部电路880，而不将读出的图像帧存储在存储器860中。
同时，控制器850可以仅将通过列读出电路840以第N帧速率(例如，10fps)读出的第N图像帧之中的一些图像帧存储在存储器860中，从而基本上获得与获得以第M帧速率(例如，5fps)读出的第M图像帧相同的效果。例如，控制器850可以在存储器860中仅存储以10fps在8/10秒内读出的八个图像帧中的一个图像帧。当从以10fps读出的图像帧之中仅以1:8的比率选择的图像帧被存储在存储器860中时，存储在存储器860中的图像帧可以与通过列读出电路840以5fps读出的图像帧基本上相同。例如，当将仅由以1/5秒的时段获得的图像帧组成的视频定义为“5fps的视频”时，仅由从以10fps读出的图像帧之中以1:8的比率选择的图像帧组成的视频可以定义为5fps的视频。此外，也可以将仅由通过列读出电路840以120f ps读出的图像帧组成的视频定义为5fps的视频。
根据实施例，列读出电路840可以以小于指定FPS(如60fps)的第一FPS(如10f ps至30fps)执行读出。例如，对于显示器在低功率状态(例如，低功率预览模式)下的操作，控制器850可以将多个图像帧存储在存储器860中，这些图像帧通过列读出电路840以第一fps读出。
控制器850可以允许相机模块180处理或编辑从处理器120接收的像素信息。基于从处理器120接收的像素信息，处理器120可以允许控制器850仅操作包括在像素阵列820中的多个像素811至819中的一些。例如，控制器850可以允许行驱动器830生成用于从多条行线中选择一条行线的选择信号。例如，一条行线可以意指偶数行线或奇数行线。例如，控制器850可以允许列读出电路840生成用于从多条列线选择一条列线的选择信号。例如，一条列线可以意指偶数列线或奇数列线。作为另一个示例，图像信号处理器可以基于通过相机获得的至少一个图像数据将缩小尺寸的图像递送到显示器。例如，当电子装置101执行面部辨识功能时，处理器120可以通过仅读出所获得的至少一个图像之中对应于面部的区域来允许以低功率驱动电子装置101。可以在低功率状态下在显示器上输出缩小尺寸的图像。这样，电子装置可以选择性地使用像素，从而降低功耗并有效地执行处理器120的数据处理或计算。可以参考下文将要描述的图9和图10更详细地描述如上所述的图像传感器810的操作内容。
图8所示的图像传感器810的配置仅仅是示例，并且本公开的实施例不限于此。例如，图像传感器810可以不包括图8所示的部件中的至少一个。作为另一个示例，图像传感器810还可以包括图8中未示出的部件。
图9示出根据实施例的指示根据电子装置的操作状态的图像传感器的各种状态的表900。
根据本说明书的各种实施例，电子装置101可以允许图像传感器以低功率执行面部辨识和/或生物认证功能。
根据实施例，电子装置(如图1的电子装置101)可以在处理器(如图1的处理器120)基于使用传感器模块(如图4中的传感器模块176)获得的电子装置101的折叠角度确定其是否处于半折叠状态时关闭图像传感器。当确定电子装置101在半折叠状态下在桌上模式(例如，图6a中的桌上模式602)下操作时，处理器120可以激活图像传感器(例如，图2的图像传感器230))并且可以执行面部辨识和/或生物认证功能(例如，基于面部辨识或虹膜辨识的生物认证)。
根据实施例，电子装置101可以确定用户的面部是否存在于使用相机模块180获得的至少一个图像中。在确定面部是否存在的过程中，相机模块180可以在针对用户辨识提供的第一模式下操作。与将要描述的第二模式相比，第一模式可以以更少的电流消耗进行操作。例如，在第一模式下，相机模块180可以允许图像传感器以第一输出速度(例如，15fps)执行读出。作为另一个示例，在第一模式下，相机模块180可以允许图像传感器获得具有第一分辨率(例如，640×480)的图像。当确定存在面部时，电子装置101可以执行基于面部辨识的生物认证功能。在确定面部是否存在的过程中，图像传感器可以以第一输出速度输出具有第一分辨率的图像。处理器120可以基于第一分辨率的图像确定用户的面部是否存在。
根据实施例，当在面部辨识过程中确定用户的面部存在时，电子装置101可以执行生物认证功能。在执行生物认证功能的过程中，相机模块180可以在针对用户认证提供的第二模式下操作。第二模式可以以高于第一模式的电流消耗操作。例如，在第二模式下，相机模块180可以允许图像传感器以第二输出速度(如30fps)执行读出。作为另一个示例，在第二模式下，相机模块180可以允许图像传感器获得具有第二分辨率(如1920×1080)的图像。第二输出速度(如30fps)和第二分辨率(如1920×1080)可以是指高于第一输出速度(如15fps)和第一分辨率(如640×480)的值。在这种情况下，图像传感器可以以第二输出速度输出第二分辨率的图像。处理器120可以基于第二分辨率的图像执行生物认证功能。
同时，在执行生物认证功能时，电子装置101可以允许图像传感器仅读出由相机模块180在第二模式下获得的至少一个图像的部分区域。例如，在第二模式下，电子装置101可以使用相机模块180基于面部辨识来执行生物认证。在这种情况下，在第二模式下，电子装置101可以通过仅读出由相机模块180获得的至少一个图像之中对应于用户的面部的区域来执行生物认证。例如，对应于用户的面部的区域可以是电子装置101在于第一模式下确定是否存在面部的过程中使用的区域。以此方式，电子装置101可以有效地执行生物认证功能。例如，由于只需要提取和读出对应于面部的区域，因此可以在更短的时间内执行生物认证处理。
在本说明书中使用的帧速率(15fps和30fps)和分辨率(640×480和1920×1080)可以根据电子装置(如图1的电子装置101)的设置或接口(如图1的接口177)的性能而变化。
图10示出根据实施例的选择性地读出图像的电子装置。
根据实施例，电子装置101可以在半折叠状态下以桌上模式(例如，图6a中的桌上模式602)操作。在桌上模式602下，电子装置101可以通过第一显示区域1010和/或第二显示区域1020向用户提供各条内容。当电子装置101接收到事件时，用于提供接收到事件的通知的通知对象可以显示在第二显示区域1020中。在这种情况下，第一显示区域1010可以连续输出最初提供的内容，而不管是否接收到事件。在显示通知对象之后，电子装置101可以基于使用相机模块180获得的至少一个图像来执行面部辨识和/或生物认证功能。
根据实施例，在执行面部辨识和/或生物认证功能的过程中，电子装置101可以从至少一个图像之中仅提取和读出对应于用户的面部的区域1030。同时，当面部辨识和/或生物认证功能在至少一个图像上未成功执行时(例如，当面部比指定距离范围更近或更远时)，电子装置101可以提供成功生物认证的指南。例如，指南可以以图像和/或文本的形式提供，所述图像和/或文本包括用于提供用户的位置以使得外部对象(例如，面部)位于距电子装置101的指定距离范围内的信息。例如，可以在第一显示区域1010和/或第二显示区域1020上以弹出形式提供指南。
在完成认证过程之后，电子装置可以在第一显示区域1010和/或第二显示区域1020上输出与所接收事件相关的内容。
图11示出根据实施例的当检测到多个面部时电子装置的通知操作1100。
根据本说明书的各种实施例，当用户连同外部用户一起以桌上模式状态(例如，图6a中的桌上模式602)采用电子装置101时，可以限制性地提供对由电子装置101接收到的事件的通知功能。例如，电子装置101可以向第一显示区域1010提供内容。当接收到事件时，电子装置101可以向第二显示区域1020提供通知对象1150。
根据实施例，当在执行面部辨识功能的过程中识别出两个或更多个面部对象1110和1120时，电子装置101可以输出通知对象1150，用于限制性地显示对应于所接收事件的内容，而不执行生物认证功能。通知对象1150可以包括事件接收时间、发送方信息、所接收事件的数量、消息内容等。通知功能的限制范围可以因用户的设置而异。例如，当识别出两个或更多个面部对象1110和1120时，电子装置101可以被配置为提供通知功能以在排除包括在通知对象1150中的内容中的至少一个之后显示对象。
根据实施例，当在执行面部辨识功能的过程中识别出两个或更多个面部对象1110和1120时，电子装置101可以改变用于显示与所接收事件相对应的通知对象1150的位置。例如，电子装置101可以在所识别的两个或更多个面部对象1110和1120之中提取与电子装置101相对应的用户的面部对象1110的位置，并且可以在对应于所述位置的区域中显示通知对象1150。例如，所述区域可以是靠近用户的面部对象1110的区域。
图12示出根据实施例的电子装置根据应用程序的各种通知操作。
根据本说明书的各种实施例，电子装置101可以提供通知功能以针对每个应用不同地显示通知对象的内容。例如，电子装置101可以存储适合每个应用的安全级别，并且可以根据所述安全级别限制性地提供通知功能。
参考图12的参考数字1201，根据实施例，电子装置101可以接收即时消息并且可以提供通知功能以显示与所述消息相对应的第一通知对象1210。
根据实施例，第一通知对象1210可以显示在第二显示区域1020上。第一通知对象1210可以包括第一用户接口1220(例如，包括“确定(OK)”、“回复”和“更多”按钮的用户接口)。在成功执行面部辨识和/或生物认证之后，电子装置101可以通过触摸包括在第一用户接口1220中的按钮来提供对应功能。
参考图12的参考数字1202，根据实施例，电子装置101可以提供通知功能，所述通知功能包括与从社交网络服务(SNS)应用接收的事件相对应的第二通知对象1230。
根据实施例，第二通知对象1230可以显示在第二显示区域1020上。第二通知对象1230可以包括第二用户接口1240(例如，包括“确定”和“转到应用”按钮的用户接口)。在成功执行面部辨识和/或生物认证之后，电子装置101可以通过触摸包括在第二用户接口1240中的按钮来提供对应功能。
图13示出根据各种实施例的电子装置的生物认证过程1300的流程图。
参考图13，根据实施例，在操作1305中，电子装置(例如，图1的电子装置101)可以接收事件并且可以在显示器上显示通知信息。例如，通知信息可以包括与事件相对应的内容(例如，事件接收时间、发送方信息、所接收事件的数量或消息内容)。
在操作1310中，电子装置101可以确定通过传感器模块(例如，图1的传感器模块176)检测到的折叠状态是否满足指定条件。例如，指定条件可以意味着电子装置101的折叠角度需要在90度至130度内。这可以定义为折叠状态的满足指定条件的半折叠状态。
当在操作1310中电子装置101的折叠状态满足指定条件时(例如，操作1310-是)，电子装置可以执行操作1315。
当在操作1310中电子装置101的折叠状态未满足指定条件时(例如，操作1310-否)，电子装置101可以继续执行操作1310。
根据实施例，在操作1315中，电子装置101可以在第一模式下使用相机模块(例如，图1的相机模块180)获得至少一个第一图像。例如，第一模式可以是相机模块以比第二模式低的功率操作的操作模式。电子装置101可以限制相机模块的操作时间。操作时间可以由用户设定。例如，当相机模块的操作时间在第一模式下超过指定时间时，电子装置101可以允许相机模块终止相机模块的操作并且可以允许显示器被停用。
根据实施例，在操作1320中，电子装置101可以基于所获得的至少一个第一图像来确定是否存在面部。电子装置101可以从至少一个第一图像搜索面部对象。例如，当识别出两个或更多个面部对象时，电子装置101可以确定面部辨识失败。作为另一个示例，当识别出两个或更多个面部对象时，电子装置101可以确定与电子装置101相对应的用户的面部。在这种情况下，电子装置101可以提取用户的面部对象的位置并且可以在与所述位置相对应的区域中显示通知对象。例如，与所述位置相对应的区域可以是靠近用户的面部对象的区域。
当在操作1320中确定在至少一个第一图像中存在面部时(例如，操作1320-是)，电子装置可以执行操作1325。
当在操作1320中确定在至少一个第一图像中不存在面部时(例如，操作1320-否)，电子装置101可以继续执行操作1315。
根据实施例，在操作1325中，电子装置101可以在第二模式下使用相机模块获得至少一个第二图像。例如，第二模式可以是相机模块以高于第一模式的功率操作的操作模式。电子装置101可以限制相机模块的操作时间。操作时间可以由用户设定。当确定面部存在时，电子装置101可以在显示器上显示与事件相关的至少部分内容(例如，事件接收时间、发送方信息、所接收事件的数量或消息内容)。
根据实施例，在操作1330中，电子装置101可以使用至少一个第二图像来执行生物认证功能。例如，生物认证可以是基于面部辨识的生物认证。电子装置101可以从至少一个第二图像仅读出一个区域。例如，电子装置101可以通过仅读出一个区域(例如包括面部对象的区域)来执行面部辨识。当通过至少一个第二图像的生物认证失败时，电子装置101可以在显示器上显示用于提供生物认证成功的指南的用户接口。例如，用户接口可以以图像和/或文本的形式提供，所述图像和/或文本包括用于提供用户的位置以使得面部位于距电子装置101的指定距离范围内的信息。例如，可以在第一显示区域(例如，图10的第一显示区域1010)和/或第二显示区域(例如，图10的第二显示区域1020)上以弹出形式提供用户接口。
当在操作1330中生物认证成功时(例如，操作1330-是)，电子装置可以执行操作1335。
当在操作1330中生物认证失败时(例如，操作1330-否)，电子装置101可以继续执行操作1325。
根据实施例，在操作1335中，电子装置101可以在显示器上显示与所接收事件相关的内容。例如，与事件相关的内容可以包括事件接收时间、发送方信息、所接收事件的数量和/或消息内容。在这种情况下，电子装置101可以将与事件相关的内容输出到第二显示区域的至少一部分。
图14示出根据各种实施例的概念性地示出由电子装置执行的认证过程1400的操作流程图。
根据实施例，在操作1405中，电子装置(例如，图1的电子装置101)可以在以指定角度折叠时以桌上模式(例如，图6a的桌上模式602)执行初级认证。例如，初级认证可以是面部辨识(例如，确定面部是否存在)。当在桌面模式602下提供用户认证功能时，电子装置101可以应用不同于其他操作模式(例如，移动模式和/或平板模式)的认证算法。例如，在桌上模式602下，与其他模式相比，电子装置101与用户的距离可能相对较长，并且电子装置101可因此应用认证算法来增加面部辨识的可允许范围(例如，电子装置与用户之间的距离或面部的角度)。当初级认证成功时，电子装置101可以执行操作1410。
在操作1410中，电子装置101可以在执行初步解锁之后限制性地提供功能。例如，当电子装置接收到事件时，电子装置可以限制与事件相对应的内容的至少一部分，并且可以在显示器上显示所限制内容。作为另一个示例，可以通过针对每个应用设定不同的安全级别来限制性地显示从具有指定安全级别或更高级别的应用接收到的事件的内容。需要个人信息的应用在运行时可能会设定为较高的安全级别。安全级别可以由用户的设定指定。
在操作1415中，电子装置101可以执行次级认证。例如，次级认证可以是基于面部辨识的生物认证。在这种情况下，当生物认证失败时，电子装置101可以在显示器上提供包括生物认证成功的指南的用户接口。在提供用户接口之后，电子装置101可以根据使用图像传感器检测用户的面部组成变化或使用加速度传感器检测装置移动来再次执行次级认证。当次级认证成功时，电子装置101可以执行操作1420。
在操作1420中，电子装置101可以在完全解锁状态下提供附加功能。例如，可以在显示器上显示与所接收事件相对应的内容之中的在第一次解锁之后被限制显示的内容。作为另一个示例，可以显示包括从具有指定安全级别或更高安全级别的应用接收到的事件的内容的信息。
根据各种实施例，一种可折叠电子装置可以包括：第一外壳；第二外壳；可折叠结构，所述可折叠结构位于所述第一外壳与所述第二外壳之间；至少一个传感器；显示器；相机，所述相机能够在针对用户辨识提供的第一模式或针对用户认证提供的且操作功率高于第一模式的第二模式下操作；处理器；以及可操作地连接到所述处理器的存储器。
根据一个实施例，所述存储器可以存储一个或多个指令，所述一个或多个指令在被执行时致使所述处理器：在所述显示器上显示所述可折叠电子装置的事件的通知信息；当通过使用所述至少一个传感器检测到的所述可折叠电子装置的折叠状态满足指定条件时在所述第一模式下使用所述相机获得至少一个第一图像；基于通过使用所述相机获得的所述至少一个第一图像确定是否存在面部；当确定所述至少一个第一图像中存在所述面部时在所述第二模式下通过使用所述相机获得至少一个第二图像；通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证；并且当所述生物认证成功时在所述显示器上显示所述可折叠电子装置的所述事件的内容。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：在所述第一模式下当所述相机的操作时间超过指定时间时，终止所述相机的操作并停用所述显示器。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：当所述至少一个第一图像中存在多个面部时，在所述显示器上连续显示所述可折叠电子装置的所述事件的所述通知信息而不执行所述生物认证。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：从包括在所述至少一个第一图像中的所述多个面部之中提取对应于可折叠电子装置的用户的面部的位置；并且在所述显示器上对应于所述位置的区域中显示所述事件的所述通知信息。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：当通过所述至少一个第二图像的所述生物认证不成功时，在所述显示器上显示为所述生物认证提供指南的用户接口。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：显示所述用户接口；并且基于通过使用所述至少一个传感器检测到用户的面部组成变化或检测到装置移动，再次执行所述生物认证。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：通过仅读出所述至少一个第二图像的部分区域来执行所述生物认证。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：在执行生物认证的过程中，基于通过使用所述至少一个传感器检测到的所述可折叠电子装置的所述折叠状态是否满足指定条件，应用不同的面部辨识算法。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：当确定所述面部存在于所述至少一个第一图像中时，在显示器上显示与所述事件相对应的所述内容的至少一部分。
根据一个实施例，所述一个或多个指令可以在被执行时致使所述处理器：当所述生物认证成功时，除了先前显示的内容之外，进一步包括来自与所述事件相对应的所述内容之中的附加内容，并且将所述附加内容和所述先前显示的内容显示在显示器上。
根据各种实施例，一种可折叠电子装置提供通知功能的方法可以包括：在显示器上显示所述可折叠电子装置的事件的通知信息；确定通过使用至少一个传感器检测到的所述可折叠电子装置的折叠状态是否满足指定条件；当满足所述指定条件时，在针对用户辨识提供的第一模式下通过使用相机获得至少一个第一图像；基于通过使用所述相机获得的所述至少一个第一图像确定是否存在面部；当确定所述至少一个第一图像中存在所述面部时，在针对用户认证的第二模式下通过使用所述相机获得至少一个第二图像；通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证；以及当所述生物认证成功时，在所述显示器上显示所述可折叠电子装置的所述事件的内容。
根据一个实施例，所述获得所述至少一个第一图像可以包括：在所述第一模式下当所述相机的操作时间超过指定时间时，终止所述相机的操作并停用显示器。
根据一个实施例，所述基于通过使用所述相机获得的所述至少一个第一图像确定是否存在所述面部还可以包括：当确定所述至少一个第一图像中存在多个面部时，在所述显示器上连续显示所述可折叠电子装置的所述事件的所述通知信息而不执行所述生物认证。
根据一个实施例，所述基于通过使用所述相机获得的所述至少一个第一图像确定是否存在所述面部还可以包括：从包括在所述至少一个第一图像中的所述多个面部之中提取对应于可折叠电子装置的用户的面部的位置；并且在所述显示器上对应于所述位置的区域中显示所述事件的所述通知信息。
根据一个实施例，所述通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证还可以包括：当通过所述至少一个第二图像的生物认证失败时，在所述显示器上显示用于为所述生物认证提供指南的用户接口。
根据一个实施例，所述通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证还可以包括：显示所述用户接口；并且基于通过使用所述至少一个传感器检测到用户的面部组成变化或检测到装置移动，再次执行所述生物认证。
根据一个实施例，所述通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证还可以包括：通过仅读出所述至少一个第二图像的部分区域来执行生物认证。
根据一个实施例，所述通过使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证还可以包括：在执行生物认证的过程中，基于通过使用所述至少一个传感器检测到的所述可折叠电子装置的所述折叠状态是否满足指定条件，应用不同的面部辨识算法。
根据一个实施例，当确定所述至少一个第一图像中存在面部时在针对用户认证的第二模式下通过使用所述相机获得至少一个第二图像还可以包括：在获得所述至少一个第二图像时在所述显示器上显示与所述事件相对应的内容的至少一部分。
根据一个实施例，当所述生物认证成功时在所述显示器上显示所述可折叠电子装置的所述事件的内容可以包括：在显示器上显示除所述至少一部分之外的其他内容。

Claims (15)

1.一种可折叠电子装置，包括：
第一外壳；
第二外壳；
可折叠结构，位于所述第一外壳与所述第二外壳之间；
至少一个传感器；
显示器；
相机，所述相机能够在针对用户辨识提供的第一模式或针对用户认证提供的第二模式下操作；
处理器；以及
可操作地连接到所述处理器的存储器，其中所述存储器存储一个或多个指令，所述一个或多个指令在被执行时致使所述处理器：
在所述显示器上显示关于所述可折叠电子装置的事件的通知信息；
基于使用所述至少一个传感器检测到的所述可折叠电子装置的折叠状态满足指定条件，在所述第一模式下使用所述相机获得至少一个第一图像；
基于通过使用所述相机获得的所述至少一个第一图像确定是否存在面部；
基于确定所述至少一个第一图像中存在所述面部，在所述第二模式下使用所述相机获得至少一个第二图像；
使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证；以及
基于所述生物认证成功，在所述显示器上显示所述可折叠电子装置的所述事件的内容。
2.根据权利要求1所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
在所述第一模式下基于所述相机的操作时间超过指定时间，终止所述相机的操作并停用所述显示器。
3.根据权利要求1所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
基于所述至少一个第一图像中存在多个面部，在所述显示器上连续显示关于所述可折叠电子装置的所述事件的通知信息而不执行所述生物认证。
4.根据权利要求3所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
从包括在所述至少一个第一图像中的所述多个面部之中提取对应于所述可折叠电子装置的用户的面部的位置；并且
在所述显示器上对应于所述位置的区域中显示关于所述事件的所述通知信息。
5.根据权利要求1所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
基于通过所述至少一个第二图像的所述生物认证不成功，在所述显示器上显示为所述生物认证提供指南的用户接口。
6.根据权利要求5所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
显示所述用户接口；并且
基于使用所述至少一个传感器检测到用户的面部组成变化或装置移动，再次执行所述生物认证。
7.根据权利要求1所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
通过仅读出所述至少一个第二图像的部分区域来执行所述生物认证。
8.根据权利要求1所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
在执行生物认证的过程中，基于使用所述至少一个传感器检测到的所述可折叠电子装置的所述折叠状态是否满足指定条件，应用不同的面部辨识算法。
9.根据权利要求1所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
基于确定所述面部存在于所述至少一个第一图像中，在所述显示器上显示与所述事件相对应的内容的至少一部分。
10.根据权利要求9所述的可折叠电子装置，其中，所述一个或多个指令在被执行时致使所述处理器：
基于所述生物认证成功，除了先前显示的内容之外，进一步包括来自与所述事件相对应的所述内容之中的附加内容，并且将所述附加内容和所述先前显示的内容显示在所述显示器上。
11.根据权利要求1所述的可折叠电子装置，其中，所述第二模式以高于所述第一模式的功率操作。
12.一种可折叠电子装置提供通知功能的方法，所述方法包括：
在显示器上显示关于所述可折叠电子装置的事件的通知信息；
确定使用至少一个传感器检测到的所述可折叠电子装置的折叠状态是否满足指定条件；
基于满足所述指定条件，在针对用户辨识提供的第一模式下使用相机获得至少一个第一图像；
基于通过使用所述相机获得的所述至少一个第一图像确定是否存在面部；
基于确定所述至少一个第一图像中存在所述面部，在针对用户认证的第二模式下使用所述相机获得至少一个第二图像；
使用所述至少一个第二图像的至少一部分执行基于面部辨识的生物认证；以及
基于所述生物认证成功，在所述显示器上显示所述可折叠电子装置的所述事件的内容。
13.根据权利要求12所述的方法，其中获得所述至少一个第一图像包括：
在所述第一模式下基于所述相机的操作时间超过指定时间，终止所述相机的操作并停用所述显示器。
14.根据权利要求12所述的方法，其中，基于通过使用所述相机获得的所述至少一个第一图像确定是否存在所述面部包括：
基于确定所述至少一个第一图像中存在多个面部，在所述显示器上连续显示关于所述可折叠电子装置的所述事件的所述通知信息而不执行所述生物认证。
15.根据权利要求14所述的方法，其中，基于通过使用所述相机获得的所述至少一个第一图像确定是否存在所述面部还包括：
从包括在所述至少一个第一图像中的所述多个面部之中提取对应于所述可折叠电子装置的用户的面部的位置；以及
在所述显示器上对应于所述位置的区域中显示关于所述事件的所述通知信息。
CN202180033550.1A 2020-04-08 2021-03-11 生物认证系统及其电子装置 Pending CN115552399A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0042479 2020-04-08
KR1020200042479A KR20210125167A (ko) 2020-04-08 2020-04-08 생체 인증 방법 및 이를 위한 전자 장치
PCT/KR2021/003031 WO2021206298A1 (ko) 2020-04-08 2021-03-11 생체 인증 방법 및 이를 위한 전자 장치

Publications (1)

Publication Number Publication Date
CN115552399A true CN115552399A (zh) 2022-12-30

Family

ID=78022941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033550.1A Pending CN115552399A (zh) 2020-04-08 2021-03-11 生物认证系统及其电子装置

Country Status (5)

Country Link
US (1) US20230026684A1 (zh)
EP (1) EP4116850A4 (zh)
KR (1) KR20210125167A (zh)
CN (1) CN115552399A (zh)
WO (1) WO2021206298A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101615379B1 (ko) * 2009-10-14 2016-04-26 삼성전자주식회사 플렉서블 디스플레이부를 구비하는 휴대단말기 및 휴대단말기의 정보표시 방법
US9851887B2 (en) * 2013-10-10 2017-12-26 Nec Corporation Display device and image transforming method
WO2016108439A1 (en) * 2014-12-29 2016-07-07 Samsung Electronics Co., Ltd. Foldable device and method of controlling the same
US10263982B2 (en) * 2015-03-31 2019-04-16 Samsung Electronics Co., Ltd. Foldable device and method of controlling the same
KR101942950B1 (ko) * 2015-03-31 2019-01-28 삼성전자주식회사 폴더블 디바이스 및 그 제어 방법
CN106933330A (zh) * 2017-03-13 2017-07-07 维沃移动通信有限公司 一种显示控制方法及移动终端
US10481856B2 (en) * 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
KR102350781B1 (ko) * 2017-06-15 2022-01-14 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
WO2021206298A1 (ko) 2021-10-14
US20230026684A1 (en) 2023-01-26
KR20210125167A (ko) 2021-10-18
EP4116850A4 (en) 2023-08-09
EP4116850A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
EP3700184B1 (en) Electronic device and method for changing magnification of image using multiple cameras
US11153520B2 (en) Electronic device including camera module in display and method for compensating for image around camera module
US11048923B2 (en) Electronic device and gesture recognition method thereof
US11057577B2 (en) Camera module having multi-cell structure and portable communication device including the same
EP3641294B1 (en) Electronic device and method for obtaining images
EP4199496A1 (en) Image stabilization method and electronic device therefor
US20200310637A1 (en) Electronic device performing function according to gesture input and operation method thereof
EP4187896A1 (en) Electronic device and method for controlling preview image
US20230262318A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
EP4283979A1 (en) Electronic device comprising plurality of cameras and operating method therefor
US11601590B2 (en) Interface connected to image sensor and electronic device comprising interfaces connected among plurality of processors
CN111788568B (zh) 利用相机感测多个波长带宽生成多个信息的方法及其设备
US20230388441A1 (en) Electronic device and method for capturing image by using angle of view of camera module
US20220359597A1 (en) Electronic device, and method for performing autofocus
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
US11636675B2 (en) Electronic device and method for providing multiple services respectively corresponding to multiple external objects included in image
EP4116850A1 (en) Biometric authentication system and electronic device for same
US20240086512A1 (en) Electronic device including image sensor and dynamic vison sensor, and operation method thereof
US20230412920A1 (en) Method for executing application, and electronic device supporting same
US12073031B2 (en) Method for photographing in multiple directions through one camera and electronic device thereof
US10805518B2 (en) Electronic device for obtaining security image using security processing module
US20230353863A1 (en) Electronic device capable of adjusting angle of view and operating method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination