CN113468942A - 电子设备 - Google Patents

电子设备 Download PDF

Info

Publication number
CN113468942A
CN113468942A CN202110309106.XA CN202110309106A CN113468942A CN 113468942 A CN113468942 A CN 113468942A CN 202110309106 A CN202110309106 A CN 202110309106A CN 113468942 A CN113468942 A CN 113468942A
Authority
CN
China
Prior art keywords
information
electronic device
authentication
display
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110309106.XA
Other languages
English (en)
Inventor
中田征志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113468942A publication Critical patent/CN113468942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/80—Constructional details
    • H10K50/86—Arrangements for improving contrast, e.g. preventing reflection of ambient light
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Chemical & Material Sciences (AREA)
  • Inorganic Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Optics & Photonics (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种电子设备，在对显示器的滑动动作时实现指纹认证。电子设备具备显示器和光学指纹传感器。所述显示器具备显示面，所述显示面在第一方向以及与所述第一方向相交的方向上阵列状地配置发光像素。所述光学指纹传感器具备拍摄元件，所述拍摄元件在与所述第一方向以及所述第二方向相交的第三方向上的与所述显示器的所述显示面相反一侧、在所述第一方向以及所述第二方向上阵列状地设置受光元件，所述受光元件分别在相同定时传送由光电转换而得的电荷。

Description

电子设备
技术领域
本公开涉及电子设备。
背景技术
光学式指纹传感器在指纹的获取时，需要使手指静止预定时间，从UI方面来看便利性低。另外，很多时候，在通过指纹认证登录的终端中，之后的操作可以在不进行指纹认证等的状态下进行。例如，很多时候，在进行了一次基于指纹的个人认证后，就能够从浏览器进行基于信用卡结账的购物，也存在安全问题。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2012/0258773号说明书
发明内容
本公开一方面提供一种电子设备，在对显示器的滑动动作中实现指纹认证。
根据一实施方式，电子设备具备显示器和光学指纹传感器。所述显示器具备显示面，所述显示面在第一方向以及与所述第一方向相交的方向上阵列状地设置发光像素。所述光学指纹传感器具备拍摄元件，所述拍摄元件在与所述第一方向以及所述第二方向相交的第三方向上的与所述显示器的所述显示面相反一侧、在所述第一方向以及所述第二方向上阵列状地设置受光元件，所述受光元件分别在相同定时传送由光电转换而得的电荷。
所述拍摄元件也可以具备暂时存储各个所述受光元件的受光信息的像素存储器，也可以从所述受光元件向所述像素存储器的信息的传送在相同定时执行。
从所述受光元件向所述像素存储器的信息的传送也可以通过对传送晶体管在相同定时施加传送控制信号而执行，所述传送晶体管将在所述受光元件累积的电荷传送向所述像素存储器。
所述电子设备也可以还具备信息处理部，该信息处理部执行所述拍摄元件所读出的指纹信息的信息处理。
所述信息处理部也可以在至少包括手指的滑动动作的动作中读出所述指纹信息。
所述电子设备也可以还具备感测对于所述显示器的接触信息的触摸面板，也可以在所述触摸面板中推定所述滑动动作的速度。
所述信息处理部也可以基于所述拍摄元件所读出的信息，来推定所述滑动动作的速度。
也可以基于所要求的认证精度，输出减缓所述滑动动作的速率的指示。
也可以在所述显示器输出所述滑动动作的所述速率的指示。
所述指示也可以在所述显示器显示出速率向导。
也可以在所述速率快于预定速率的情况下，对所述速率过快的情况进行输出。
所述速率过快时的输出也可以是向所述显示器的输出、声音的输出和震动的输出中的至少一者。
所述信息处理部也可以在所述速率比预定的速率快的情况下，缩短所述光学指纹传感器的曝光时间。
所述信息处理部也可以根据在不同时间拍摄的所述指纹信息，来生成认证信息。
所述发光像素也可以在所述受光元件的所述显示面一侧输出不同波长的光，所述受光元件基于不同波长的反射光来获取所述指纹信息。
在所述受光元件与所述显示面之间也可以具备偏光滤光片，也可以是所述受光元件感测经由所述偏光滤光片偏光后的光。
在所述受光元件与所述显示面之间也可以具备获取血红蛋白的状态的滤光片，也可以是所述信息处理部获取所述血红蛋白的信息进行生物体认证。
所述信息处理部也可以基于与所述显示面接触的手指的随时间的形状改变的信息来执行生物体认证。
所述受光元件也可以检测多个手指的所述滑动动作。
所述信息处理部也可以在多个手指的所述滑动动作中，使用多个手指的组合执行所述指纹认证。
基于所要求的认证精度，多个手指的组合也可以不同。
所述信息处理部也可以在执行认证的期间或无法执行认证的时间，检测手指的信息并累积所述指纹信息。
所述信息处理部也可以累积手指的变化而提高认证精度。
所述信息处理部也可以获取并累积未登录的手指以外的手指中的所述指纹信息。
所述受光元件也可以被设置为在与所述滑动动作的方向相交的方向上的元件数量大于在所述滑动动作的方向上的元件数量。
所述受光元件也可以被设置为在与所述滑动动作的方向相交的方向上的元件数量大于在所述滑动动作的方向上的元件数量的两倍。
也可以在所述显示器显示在与设置所述受光元件多的方向相交的方向上执行所述滑动动作的向导。
也可以具备界面，所述界面通过在所述显示器显示具备所述受光元件的区域，并配置商品的信息和购买按钮，以通过所述区域的方式将所述商品信息从所述商品的信息向所述购买按钮进行所述滑动动作，从而能够进行所述商品的购买，也可以基于所述指纹认证的结果，向服务器发送所述购买信息。
也可以在所述显示器以包含具备所述受光元件的区域的方式显示动态的对象。
所述对象也可以在用户的手指接触时形状发生变化。
所述对象也可以在用户的手指接触时发光状态发生变化。
所述发光状态也可以发生变化，以适于所述指纹信息的获取。
所述对象也可以在用户的手指通过后，基于所述指纹信息的获取状况、或个人认证状况而动态地发生变化。
可以还具备检测所述显示器的水平方向上的倾斜的倾斜检测部，基于所述倾斜检测部检测出的倾斜，执行所述指纹信息的认证。
附图说明
图1是示意性示出一实施方式所涉及的电子设备的图。
图2是示意性示出一实施方式所涉及的电子设备的剖视图的图。
图3是示出一实施方式所涉及的电子设备的构成的一例的框图。
图4A是示意性示出一实施方式所涉及的电子设备的剖视图的图。
图4B是示意性示出一实施方式所涉及的电子设备的剖视图的图。
图5A是示意性示出一实施方式所涉及的受光像素的图。
图5B是示意性示出一实施方式所涉及的受光像素的连接的图。
图6是示出一实施方式所涉及的个人认证的处理的流程图。
图7是示出一实施方式所涉及的电子设备的构成的一例的框图。
图8是示意性示出一实施方式所涉及的电子设备的图。
图9是示意性示出一实施方式所涉及的电子设备的图。
图10是示出一实施方式所涉及的电子设备的构成的一例的框图。
图11是示意性示出一实施方式所涉及的电子设备的图。
图12是示意性示出一实施方式所涉及的电子设备的图。
图13是示出一实施方式所涉及的电子设备的用户界面的一例的图。
图14是示出一实施方式所涉及的电子设备的构成的一例的框图。
图15是示意性示出一实施方式所涉及的电子设备的图。
图16是示意性示出一实施方式所涉及的电子设备的图。
附图标记说明：
1：电子设备；2：显示部；3：摄像头模块；4：显示面板；5：圆偏光板；6：触摸面板；7：盖玻璃；8：拍摄部；8a：光电转换部；8b：像素存储器；9：光学系统；10：信息处理部；100：A/D转换部；101：箝位部；102：颜色区别输出部；103：缺陷校正部；104：线性矩阵部；105：帧存储器；106：认证部；107：输出部；108：速度检测部；109：校正量计算部；11：存储部。
具体实施方式
下面，参照附图来说明电子设备的实施方式。下面，以电子设备的主要构成部分为中心进行说明，但在电子设备中可存在未图示或未说明的构成部分或功能。下面的说明并非排除未图示或未说明的构成部分或功能。另外，为了说明，有时会变更尺寸、形状、纵横比等，但它们在安装时具有适当的尺寸、形状、纵横比等。
此外，在下面的说明中，所获取的信号记载为图像信息或拍摄信息，但该图像信息、拍摄信息是广义的概念，是还包括静止图像、动态图像或影像中的1帧的图像等的概念。另外，“大于”“小于”也可以相互分别改述为“以上”“以下”。
(第一实施方式)
图1是示意性示出一实施方式所涉及的电子设备的图。另外，图2是示意性示出一实施方式所涉及的电子设备的截面的图。电子设备1是例如智能手机、便携式电话、平板型终端、个人电脑等具备显示功能和摄影功能的任意设备。
电子设备1具备显示部2和摄像头模块3。从图1的左图观察，显示画面1a扩展到电子设备1的外形尺寸的附近，位于显示画面1a的周围的边框1b的宽度也可以设为例如几mm以下。在电子设备1中，很多时候在边框1b内具备指纹认证部，但在本实施方式，如虚线所示，在显示画面1a内具备摄像头模块3。如图1的左图所示，通过将进行用于指纹认证的摄影的摄像头模块3设置于显示画面1a的内表面侧，能够减小边框1b的宽度。
此外，在图1中，在显示画面1a的大致中央附近的内表面侧配置摄像头模块3，但位置不限于该图，只要是显示画面1a的内表面即可。例如，既可以在显示画面1a的周边部的附近配置摄像头模块3，也可以与右图相比更靠中央下方配置。另外，在图中是配置在一个部位，但配置部位也可以并非为一个部位，而为多个部位。另外，在该图中，在电子设备1的一面具备显示部2以及摄像头模块3，但不限于此。例如也可以在电子设备1的两面具备显示部2以及摄像头模块3。
显示部2是作为显示光学系统，是层叠有显示面板4、圆偏光板5、触摸面板6以及盖玻璃7的构造体。此外，它们的排列方式没有特别限定，可以适当地加以替换，或者相同的构成可以存在2以上，还可以包括其他构成。
显示面板4例如也可以以阵列状的方式具备：OLED(Organic Light EmittingDiode：有机电致发光二极管)、液晶、MicroLED、基于其他显示原理的发光元件。例如，发光元件在包括第一方向以及第二方向的平面内阵列状地设置。OLED等的显示面板4由多个层构成。显示面板4很多时候配置有滤色片层等透过率低的部件。如下所述，显示面板4中的透过率低的部件也可以与摄像头模块3的配置场所对应地形成贯通孔。如果通过贯通孔的被摄体光入射到摄像头模块3，则能够提高由摄像头模块3拍摄的图像的画质。
圆偏光板5是为了减少刺眼或在明亮的环境下也能够提高显示画面1a的目视确认性等而设置的。在触摸面板6中组装有触摸传感器。触摸传感器有静电电容型、电阻膜型、感压型等各种方式，但也可以使用任一方式。另外，也可以将触摸面板6和显示面板4一体化。盖玻璃7为了保护显示面板4等而设置。这些各要素也可以通过光学上影响少的粘结剂而粘结。
摄像头模块3具备拍摄部8和光学系统9。光学系统9配置于拍摄部8的光的入射面侧即接近于显示部2的一侧，使通过了显示部2的光聚集于拍摄部8。光学系统9也可以具备一个或多个透镜。例如，该拍摄部8作为光学指纹传感器进行动作而获取用户的指纹信息。
作为光学指纹传感器进行动作的拍摄部8具备多个光电转换部。在各个光电转换部配置有透镜。该透镜使构成各个像素的光电转换部接收由光学系统9适当向拍摄部8射出的光。光电转换部对经由显示部2入射的光进行光电转换。光电转换部也可以是CMOS(Complementary Metal-Oxide-Semiconductor Field-Effect Transistor：互补金属氧化物半导体)传感器，也可以是CCD(Charge Coupled Device：电荷耦合元件)传感器。光电转换部例如在包括第一方向以及第二方向的平面中阵列状地设置。再有，光电转换部也可以沿第一方向以及第二方向阵列状地设置。例如，光电转换部的受光元件被设置为沿着与显示部的发光像素相同的朝向的阵列状的受光像素。
另外，光电转换部可以具备光电二极管，也可以具备有机光电转换膜。多个光电转换部能够以任意的方式排列。多个光电转换部的排列方法例如可以是拜耳排列，也可以行间排列，也可以是方格排列，也可以是条纹排列，也可以是其他排列。
在本公开中，光电转换部的输出值或基于该输出值被加以预定的转换的值称为受光像素值。
在本实施方式，在手指通过显示器的摄像头模块3所存在的区域的定时，获取用户的指纹信息，使用该指纹信息执行个人认证。例如，如图1的左图所示，在商品信息和购买按钮显示于显示器的情况下，在将商品的图像拖拽到购买按钮的定时，摄像头模块3从进行滑动、轻击、拂拭等的手指获取指纹信息。如下所述使用全局快门进行执行该获取。另外，摄像头模块3在适当的曝光时间，执行该全局快门的动作。
图3是示出本实施方式所涉及的电子设备1的框图的一例的图。省略图1、图2所述的显示部2的内部。电子设备1具备从上述说明的摄像头模块3和触摸面板6输出信息而执行该信息处理的信息处理部10和存储部11。
为了实现上述的全局快门的动作，摄像头模块3的拍摄部8具备光电转换部8a(光电转换元件)的同时还具备与各个光电转换部8a对应的像素存储器8b。光电转换部8a感测的信息在相同定时分别传送到对应的像素存储器8b。并且，从该像素存储器8b在任意的定时向信息处理部10输出受光结果。
信息处理部10例如具备CPU(Central Processing Unit：中央处理器)或ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等而构成。该信息处理部10也可以如以下说明那样，分割为进行各种动作的一部分或全部的块，也可以通过CPU进行基于软件的信息处理来具体实现各动作的一部分或全部。
存储部11例如具备各种存储器、储存装置等。也可以在该存储部11中非暂时地存储例如电子设备1动作所需的程序、数据等的信息。另外，存储器也可以具备缓存区域这样的暂时的存储区域。
信息处理部10具备：A/D转换部100、箝位部101、颜色区别输出部102、缺陷校正部103、线性矩阵部104、帧存储器105、认证部106和输出部107。帧存储器105也可以作为存储部11的一部分，而不设置于信息处理部10。
A/D转换部100将光电转换部8a接收并转换的数据即在预定的定时存储于像素存储器8b的模拟信号按各像素转换为数字信号。A/D转换部100将转换的数字信号输出为图像数据。
箝位部101例如规定黑电平，从A/D转换部100输出的图像数据减去该规定的黑电平进行输出。箝位部101也可以按设于像素的各光电转换元件设定接地电平，在这种情况下，基于按所获取的各光电转换元件设定的接地电平，执行信号值的接地校正。
颜色区别输出部102在例如在光电转换部8a中按颜色区别获取模拟信号的情况下，按颜色输出亚像素图像的数据。在光电转换部8a具有例如R(红)、G(绿)、B(蓝)的滤色镜等。各个光电转换部8a通过这些滤光片等进行按各颜色的感测信息的输出。在光电转换部8a中也可以不具备滤色镜，光电转换部8a通过有机光电转换膜按各颜色获取模拟信号。
通过箝位部101，基于这些滤光片调节接地电平，颜色区别输出部102将箝位部101输出的信号按颜色区别输出。在光电转换部8a中获取的模拟信号不附加颜色信息。因此，颜色区别输出部102也可以存储与按光电转换部8a中的各受光元件配置的颜色有关的数据，基于该数据进行按各颜色的输出。
此外，光电转换部8a例如也可以具备接收近红外光的元件、等离子体滤光片等的获取复杂光谱等的滤光片。在这些情况下，作为单一的颜色的信息表现是困难的，但颜色区别输出部102如果能够以光的波长区分，则也可以将这些信息与波长信息建立关联而处理。在这样的情况下，波长信息也可以作为具有范围的信息由颜色区别输出部102进行处理。
缺陷校正部103执行图像数据中的缺陷的校正。图像数据的缺陷由于例如设置在像素内的光电转换元件的缺陷所产生的像素缺失或信息缺失、或者光学系统9中的因光的饱和导致的信息丢失等而产生。缺陷校正部103也可以基于例如周围的像素的信息或具有同一颜色信息的周边的像素的信息等进行插补，由此执行缺陷校正处理。
线性矩阵部104通过执行对于颜色信息的矩阵运算，进行颜色再现。线性矩阵部104通过例如进行关于多个波长的运算，获取期望的分光。在本实施方式中，线性矩阵部104也可以执行例如适于肤色的检测的输出。而且，线性矩阵部104可以为了获取静脉等的生物体认证信息，执行运算以成为从黄色到红色的波长区域的适于检测的输出。
帧存储器105也可以如上所述例如作为存储部11的一部分而设置。该帧存储器105在进行上述处理后暂时存储从光电转换部8a在相同定时输出的由像素存储器8b获取的信息。例如，信息处理部10将在相同定时获取的指纹信息进行各种上述处理而作为最终由线性矩阵部104颜色再现的一块图像数据保存于帧存储器105。
认证部106使用存储在帧存储器105的指纹信息来执行个人认证。例如，该个人认证通过提取指纹数据中的特征点，比较所提取的特征点和保存于存储部11的认证信息来执行。另外，认证部106也可以不仅基于RGB信息，还基于例如近红外线的受光信息、经由等离子体滤光片获取的信息来执行防止冒充的生物体认证。例如，通过是否正常获取存储于帧存储器105的数据中的与血红蛋白对应的波长的信息，执行生物体认证。这些也可以通过统计处理判断特征点等，作为其他例，也可以使用由机械学习完成训练的网络模型进行认证。
例如，认证部106将预先获取的特定的用户的指纹信息存储于存储部11。基于该存储的用户的信息来执行个人认证。在进行多个用户的认证的情况下，能够适当存储多个用户的指纹信息。另外，存储的指纹信息也可以将各个指纹信息的图像或从各个指纹信息获取的特征点的信息加密。
输出部107输出基于认证部106的认证结果。例如，如果是基于电子商务(e-commerce)等的购物，则也可以以基于认证结果进行结账处理的方式向服务器等发送。这样，输出部107也可以使用无线通信发送认证结果。另外，作为其他例，也可以在电子设备1内使用该指纹认证等的认证结果来代替基于密码等的认证。
图4A是更详细说明图1中的摄像头模块3和显示面板4的关系的图。摄像头模块3如上所述例如具备拍摄部8和光学系统9。光学系统9配置在拍摄部8的光的入射面侧即接近显示部2的一侧。透过了显示部2的显示面的光通过光学系统9向拍摄部8传播。
拍摄部8例如也可以具备图3所示的光电二极管等光电转换部8a和像素存储器8b。通过光学系统9被集光、折射、扩散等而发生传导的光由设于拍摄部8的光电转换部8a接收，并输出为模拟信号。光电转换部8a也可以在各个拍摄元件的入射面侧设置有例如拜耳排列等的滤色片等，也可以设置有层叠型的滤色片。另外，如上述那样也可以不设置有滤色片，而设置有其他滤光片，或通过有机光电转换膜等的其他元件构成。另外，关于输出，虽然未图示，但设置有其他输出受光以及模拟信号所需的元件、电路等。
光学系统9例如也可以设为包括透过率低的部件中的贯通孔的概念。贯通孔例如包括设置于显示面板4尤其是显示面板4内的透过率低的基板a的开口。光学系统9例如包括设置于显示面板4的开口和配置于比该开口更接近于拍摄部8的位置的透镜。通过该透镜和开口，光学系统9也可以定义为摄像头模块3中的开口数Na(Numerical Aperture：数值孔径)，F值(F-Number)等的光学特征。
此外，开口和透镜示出为一例，光学系统9的构成不一定限定于这些组合。另外，在图中，对一个开口设置一个或多个透镜，但不限于此。例如如图4B所示，也可以在光学系统9中对一个透镜设置有多个开口。可以在不存在开口的区域设置有例如显示面板4的发光元件，以穿过这些发光元件之间的方式设置开口。通过这样配置，能够不破坏显示地设置摄像头模块3。
图5A是示意性示出一实施方式所涉及的受光像素的剖视图。受光像素具备例如上述的光电转换部8a和像素存储器8b。此外，在本公开中，作为一例示出，因此省略详细的说明。另外，本公开中的受光像素不限于具有图5A和图5B所示的构成的受光像素，作为全局快门动作的构成即可。
光电转换部8a通过设置于光学系统9以及受光像素的透镜等，在图中光电转换部8a的上部描绘的受光区域8R进行受光。该受光部通过遮挡部8d而与相邻的像素的受光区域8R分离。遮挡部8d如图所示设置为使光不通向在像素存储器8b的上部即光电转换部8a具有受光区域8R的面。
遮挡部8d例如由金属生成，该遮挡部8d与光电转换部8a及像素存储器8b通过绝缘部8e分离。绝缘部8e是例如氧化膜。
光电转换部8a在受光区域8R受光时，根据接收的光的强度来累积电荷。所累积的电荷通过在预定的定时对电极8c施加电压，从而向像素存储器8b传送。从像素存储器8b在下一定时接收的电荷的传送前，通过其他晶体管等向A/D转换部100输出模拟信号。向该A/D转换部100的传送也可以不在相同定时进行。
从光电转换部8a向像素存储器8b的电荷的传送通过存在于受光像素阵列的多个光电转换部8a在相同定时执行。相同定时并非是指严格相同的瞬间，也可以存在没有快门失真的程度的偏差。由此，拍摄部8将由多个光电转换部8a接收的光执行全局快门的动作，从而可输出基于在相同定时接收的光的模拟信号。并且，在信息处理部10中，能够获取基于在相同定时接收的光的图像。即，拍摄部8能够作为光学指纹传感器获取相同定时的用户的指纹信息。
图5B是在多个像素中示意性示出图5A所示的光电转换部8a与像素存储器8b的连接的俯视图。如该图所示，作为一例，在图5A中电极8c也可以是传送晶体管的栅极。在图5B中，省略了光电转换部8a与像素存储器8b间的控制线以外的布线等，但当然可适当地设置从像素存储器8b向信息处理部10的布线等。
各受光像素的光电转换部8a与像素存储器8b的连接通过传送晶体管来控制。在传送像素存储器8b的电荷并将像素存储器8b所具有的电荷进行放电后，对各受光像素的各自的电极8c在相同定时以相同时间的期间，施加从光电转换部8a向像素存储器8b传送电荷的电压。该电压例如是在传送晶体管是n型的MOSFET的情况下，充分高于用于从漏极向源极流过电荷的阈值电压的电压。通过在相同定时施加电压，在相同定时由光电转换获取的电荷被传送向各个像素存储器8b。其结果是，在各个像素存储器8b暂时累积在相同定时获取的图像的模拟信息(电荷)。
从像素存储器8b的输出也可以不为相同定时，适当地被传送向信息处理部10。例如，从像素存储器8b向信息处理部10的传送按每行在预定的定时执行。
此外，在上述中，作为一例，像素存储器8b设为保存电荷状态，但不限于此。像素存储器8b作为其他例，也可以保存电压状态、数字值或关于受光的强度信息的其他状态。
另外，在图5A、图5B中，该像素存储器8b与受光元件设置于相同基板，但不限于此。另外，像素存储器8b例如也可以设置于与拍摄元件层叠连接的芯片内。在这种情况下，传送晶体管也可以设置于任意的层或层间。这些层也可以通过例如导通孔、微凸块、微衬垫、等离子体接合等而连接。这些连接也可以通过例如CoC(Chip on Chip：多芯片层叠)，CoW(Chip on Wafer：芯片晶圆层叠)或WoW(Wafer on Wafer：多晶圆层叠)的方式层叠。
综合图1至图5A、图5B来看，拍摄部8也可以在第三方向上设置拍摄元件，该拍摄元件在与作为显示器的显示部2的显示面相反一侧且在第一方向以及第二方向上阵列状地设置受光元件。并且，这些受光元件分别在相同定时实现读出受光信息的全局快门的动作。在相同定时读出受光信息可以是表示将在受光元件(光电转换部)中由光电转换而得的电荷的信息在相同定时传送向设置于各受光元件的存储器。此外，也可以不是图5A、图5B所示那样，受光像素采用实现与全局快门同等的动作的其他方式。
如上所述，信息处理部10执行该拍摄部8即光学指纹传感器所读出的指纹信息的信号处理。并且，用户例如通过使手指在显示部2的显示面上滑过(进行滑动动作)，能够由该光学指纹传感器获取指纹信息，来执行个人认证等。下面，对滑动动作的情况进行说明，但不局限于滑动，只要是轻击、拂拭等在触摸面板上滑过即可。
图6是一实施方式所涉及的个人认证处理的流程图。
首先，电子设备1判断是否开始个人认证(S100)。如果不是开始个人认证的定时(S100：否)，则继续待机状态。认证的开始也可以例如如图3中虚线所示，使用触摸面板6的感测信息。也可以在例如触摸面板6中的感测信息达到摄像头模块3的范围内后转到指纹信息的获取处理。作为之前的阶段，也可以是为了进行认证，将在网站等中执行认证处理这内容通知给电子设备1，电子设备1成为待命状态。
成为认证开始状态时(S100：是)，拍摄部8开始用于个人认证的受光(S102)。通过例如将摄像头模块3在指纹认证用时启动，转到指纹信息的获取的待机状态，在必要的定时进行受光。
拍摄部8的光电转换部8a在执行指纹认证的情况下，如上述那样在相同定时向像素存储器8b传送受光的强度(S102)。例如在相同定时，对多个电极8c施加用于传送的电压而执行该传送。
接着，A/D转换部100对在相同定时向像素存储器8b传送的数据进行A/D转换(S106)。在此，将光电转换部8a获取而像素存储器8b输出的模拟信号转换为数字信号。
接着，信息处理部10执行转换后的数字信号的A/D转换以外的信号处理、图像处理(S108)。该处理例如是如上所述箝位、颜色区别输出、缺陷校正、颜色再现的处理、再有向帧存储器105的存储的处理。此外，上述是举出一例，除了这些以外，也可以进一步执行适当的处理。
接着，认证部106使用包括所获取的指纹信息的图像执行认证(S110)。如上所述，认证例如也可以提取特征点而进行比较处理，也可以使用完成训练的神经网络执行。此外，电子设备1也可以在与摄像头模块3相同的基板内，具备能够执行上述信息处理以及神经网络的处理的芯片。
输出部107将认证结果向必要的部位输出(S112)。例如，也可以在进行网上购物的情况下的进行个人认证时，向打开了网站的浏览器或受理认证结果的应用通知个人认证结果。这样，输出部107能够在所需部位执行输出。
输出部107例如也可以在未能认证的情况下，通知应该再一次进行认证动作的认证失败的内容。另外，也可以从输出部107再次向拍摄部8进行拍摄指示。
认证部106也可以在以连续的帧获取图像的情况下，使用多个指纹信息来执行认证处理。例如，若在多个指纹信息中的一个信息中能够认证，则可以在该定时向输出部107通知认证成功的内容。
认证部106也可以在谋求高精度下的认证的情况下，基于认证精度来更改认证成功、失败的阈值。例如，在谋求高的认证精度的情况下，能够通过提高认证的阈值、例如指纹的一致度的阈值来提高认证精度。提高认证精度也可以是提高例如特征点的一致度的阈值。另外，也可以在使用神经网络模型的情况下，提高一致度的阈值。需要高精度下的认证的情况例如是指想要买入高价的商品时、想要访问机密度高的信息时，等等。
另外，也可以在拍摄部8具有近红外线滤光片等离子体滤光片等的情况下，与个人认证一起进行是否是生物体的认证。该认证例如基于由近红外线等获取的信息，认证是否是透过了静脉等血红蛋白的光的波长。也可以在执行该认证的情况下，从显示部2发出红外线等光，获取该反射状态而进行判定。
不限于这些，也可以例如显示面板4发出各种颜色的光，基于该发出的光的反射来对生物体进行认证。在这种情况下也可以具备如上所述获取各种颜色的滤光片，获取所谓多光谱、高光谱的信息来进行分析。例如，能够基于表示生物体，尤其是人类特有的肌肤或从肌肤的内部的反射这类的信息来进行判断。
对于生物体的认证不仅使用基于拍摄部8的获取，例如也可以使用触摸面板6的感测信息。例如，认证部106也可以判断在触摸面板6中感测区域是否具有弹性，来认证生物体。这也可以使用拍摄部8，判断在拍摄部8中获取的手指的图像在时间上来看是否具有弹性。判断弹性也可以基于例如手指所占的区域的形状的变化、大小的变化。另外，也可以在触摸面板6具备感压传感器，基于该感压传感器的感测信息判断弹性。
另外，也可以通过在多个定时获取指纹信息，来提高认证精度。例如，也可以是拍摄部8在多个定时获取指纹信息，该指纹信息被累积于帧存储器105。并且，也可以使用所累积的指纹信息来执行认证。例如，也可以通过参照指纹信息彼此，校正在图像获取时产生的图像的缺陷等。更简单而言，也可以在调节指纹的位置、角度后，求出按各时间获取的指纹信息的加权平均。并且，也可以将由该平均运算获取的指纹信息设为认证的对象。
拍摄部8也可以具备除此以外的滤光片。例如，通过将偏光滤光片设置于受光像素，能够获取偏光后的指纹信息。通过获取偏光后的信息，能够更明确地获取指纹的凹凸。信息处理部10也可以合成这样的偏光的信息并提取出特征点。
另外，拍摄部8即使进行全局滤光片的动作，有时也会因快门速度而产生动态模糊等。为了应对该动态模糊，信息处理部10也可以具备对于帧存储器105所具备的图像进行劣化校正的图像校正部。
如上所述，根据本实施方式，能够实现通过使用位于显示器下的摄像头模块达到精度高的个人认证。而且，通过对人体进行认证，还能够防止冒充。另外，在拍摄部8中，能够以全局快门的动作获取图像，因此能够实现对于依赖于图像的快门的抖动等的可靠的指纹认证。
(第二实施方式)
在前述的第一实施方式中，没有考虑用户的滑动速度。在第二实施方式中，对用户的手指的速度进行判断，并执行基于该速率的指纹信息的校正。
图7是示出本实施方式所涉及的电子设备1的框图的一例的图。电子设备1除了图3中说明的构成要素之外，还具备速度检测部108。
速度检测部108例如基于触摸面板6的感测信息，在摄像头模块3获取指纹的图像的定时，获取用户的手指的移动的速度。即，在用户进行滑动动作的情况下，摄像头模块3从受光信息获取指纹信息的同时，触摸面板6从感测信息获取手指的速度信息。例如，速度检测部108基于预定时间内的触摸面板6所感测到的用户的手指的区域的移动量获取手指的速度。
速度检测部108例如在进行认证的定时用户的手指在触摸屏上触摸的情况下，从触摸面板6获取用于速度感测的信息。速度检测部108例如在用户的手指移动的情况下，获取某时刻的触摸面板6的感测信息和预定时刻后的触摸面板6的感测信息。
触摸面板6的感测信息也可以在例如进行了手指的区域的感测的情况下，从该手指的区域的中心点例如重心的位置获取。重心的位置能够分别算出例如感测区域的点的第一方向以及第二方向的加法平均来获取。并且，速度检测部108通过求出某时刻和预定时刻后的重心的位置，检测用户的手指的滑动速度。
在手指的速度比预定速度快的情况下，速度检测部108例如也可以如图8所示，进行催促用户减缓在显示部2滑动的速度的输出。另外，作为其他例，速度检测部108也可以向输出部107通知速度过快，经由输出部107向显示部2输出。此外，在这种情况下，输出部107不限于显示于显示部2，也可以是例如从扬声器通过声音向用户通知、或使震动器震动。
另外，输出部107也可以基于期望的认证精度来确定速率。在这样的情况下，例如在需要高的认证精度的情况下，输出部107降低对于速度检测部108检测的速度的阈值，能够向用户输出以更慢的速率的状态缓慢地滑动。
图9示出输出的其他例。输出部107也可以进行从例如从左图向右图那样，在预定时刻内显示的三角记号逐渐变多的显示。该三角记号的增加的速率也可以是拍摄部8获取精度高的指纹信息的速率。这样，输出部107也可以输出在显示器表示速率的指标(速率向导)。该指标不限于图9那样的三角，也可以是例如箭头延伸指向的图，不限于此，只要是向用户表示速率那样的界面则也可以是任意的图形、形状等。
另外，速度检测部108基于触摸面板6的感测信息来检测速率，但不限于此。例如，也可以基于拍摄部8获取的拍摄信息来检测速率。速度检测部108例如参照帧存储器105，基于从获取到用户的手指的图像的定时起到变得不能获取用户的手指的图像为止的定时，并基于花费在该定时彼此之间的时间和指纹获取区域的大小，来检测用户的手指的速率。不限于此，也可以推定从某时刻经一帧或多个帧后手指有多大程度的移动来检测速率。
如以上那样，根据本实施方式，通过检测用户的手指的滑动速度，能够提高指纹获取的精度或获取的指纹的认证的精度。另外，根据需要，也可以以成为适于指纹获取的速率的方式进行催促用户的输出。
此外，速度检测部108检测出的速度能够用于除此以外的用途。例如，摄像头模块3也可以基于该速度信息，以适当的曝光时间获取指纹信息。摄像头模块3也可以在例如速度慢的情况下缩短曝光时间，速度越快曝光时间越长。
(第三实施方式)
也可以在第二实施方式的构成进一步增加进行基于速度的校正的处理。
图10是示出本实施方式所涉及的电子设备1的框图的一例的图。电子设备1除了图7中说明的构成要素以外，还具备校正量计算部109。
校正量计算部109获取基于速度检测部108检测的速度的校正量。也可以基于该校正量，对存储于帧存储器105的指纹信息进行图像处理。该图像处理是基于例如动态模糊的图像处理。也可以基于手指的速度以及快门速度，生成点分布函数(PSF：Point SpreadFunction)，对指纹信息执行逆滤光片处理(反褶积滤光片处理)。
通过执行这样的处理，能够进一步提高认证精度。
(第四实施方式)
在上述中，作为代表例，通过一根手指实现认证。也可以例如使用食指的认证。而且，也可以进行使用多个手指的认证。
例如，拍摄部8也可以在相同滑动的定时不仅获取食指的信息，还获取中指的信息，执行基于两根手指的个人认证。而且，也可以使用三根至五根手指，也可以使用食指和无名指这样隔开的手指进行认证。显然，在这些多个手指的组合中也可以不包括食指。
上述设为相同定时，但也可以在不同的定时，例如，在用食指执行第一认证后，用中指执行第二认证，等等。在这种情况下，也可以使用右手和左手这两只手的信息。
在以相同定时获取多根手指的信息的情况下，并非执行按每一根手指的认证，也可以将滑动多根手指的信息获取为一个认证信息。
如上所述，也可以执行在任意的定时使用任意的根数、组合的手指的认证。通过这样增加认证信息，能够进一步高精度地防止误检测、冒充。基于多根手指的认证也可以基于需要的认证精度的高度而进行变更。例如，也可以在需要高的认证精度的情况下，也可以使用多根手指，或使用特定的组合的手指。
(第五实施方式)
前述的各实施方式中的电子设备1例如是智能手机等设备。在具备这样的触摸面板的设备中，在指纹认证的定时以外，有时手指也会在摄像头模块3上通过。
因此，本实施方式所涉及的电子设备1通过拍摄部8在任意的定时获取这样的手指的信息。并且，也可以通过认证部106，在能够认证为正在登录的用户的情况下，将该摄影后的指纹信息存储于存储部11。不过，也可以在进行认证的情况下，在认证成功的情况下将获取到的指纹信息存储于存储部11。
并且，信息处理部10也可以基于在任意的定时累积的信息更新用于认证的信息。也可以在例如将指纹信息获取为图像信息的情况下，校准在相同方向以及相同位置累积的信息，以越新的信息赋予越重的权重的方式算出加权平均来作为用于认证的信息。
另外，也可以在预定的手指中进行个人认证的情况下，在用户使用其他手指的定时，将该手指获取为该用户的其他指的信息，存储于存储部11。通过这样应对，在上述多根手指的情况下也能够提高认证精度。
如以上那样，根据本实施方式，能够更新用于认证的信息。通过更新，能够获取在年龄增长所引起的手指(指纹)的微妙的变化、环境所引起的变化等时也适用的、用于认证的信息。其结果是，能够维持高的个人认证的精度。
(第六实施方式)
图11以及图12是示意性示出本实施方式所涉及的电子设备1的图。在本实施方式中，摄像头模块3配置为与滑动方向垂直的方向较长。例如，如图11所示在从上到下或从下到上(第二方向)进行滑动的情况下，使用在横向(第一方向)具有宽的拍摄部8所存在的区域的摄像头模块3。如图12所示，在从左至右或从右至左(第一方向)进行滑动的情况下，使用在纵向(第二方向)具有宽的拍摄部8所存在的区域的摄像头模块3。
例如，拍摄部8通过在图11、图12中虚线所示的范围内具备光电转换部8a(受光像素)，能够进行这样的安装。该受光像素的大小也可以例如是宽的一方的配置数为窄的一方的配置数的两倍以上。例如，在图11中，也可以是沿第一方向设置的受光像素为沿第二方向设置的受光像素的两倍以上。
并且，也可以进一步以横跨受光像素所在的范围的方式，如图12所示显示表示滑动的方向的向导。作为其他例，也可以在显示器上显示由滑动动作进行指纹认证的范围、即图11、图12中由虚线示出的范围。通过这样地显示，还能够向用户示出在哪里进行滑动能够执行个人认证。
(第七实施方式)
也可以通过显示于电子设备1的显示部2的对象，使用户容易明白滑动区域。该对象也可以动态地变化。
图13是示出显示于电子设备1的显示部2的GUI(Graphical User Interface：图形用户界面)的一例的图。在显示部2显示出例如如左图所示水滴那样的圆状的对象。并且，也可以是用户以横跨该圆状的对象的方式进行滑动时，如右图所示，进行对象被打散那样的动作。
另外，为了在等待滑动的状态下，更明确地示出滑动区域，左图的对象例如也可以进行抖动，或在预定区域内进行移动。通过用户的手指接触，该形状、大小也可以发生变化。另外，也可以在滑动后以淡出的方式消失。
对象的显示不限于图13那样的水珠，例如，也可以显示如川流那样具有流动的对象。通过设为这样的显示，也可以向用户示出滑动的方向等。不限于这些例子，例如，显示预定的符号，或显示动态的对象，等等，进行用户容易明白的显示即可。
也可以是在用户的手指触摸到该对象区域时，使发光元件的发光状态产生变化。也可以通过使发光状态变化，使用户的手指接触的显示面板4中的反射光的波长发生变化，根据该波长的变化，容易进行指纹信息的获取。例如，也可以通过将发出的光的波长设为黄～红的波长，设为容易明白来自用户的肤色或静脉的反射的状况，反之，也可以通过发出具有接近补色的波长的青色等的光，从而能够使反射的光的波长适于指纹信息的获取。
并且，对象也可以基于指纹信息的获取状况，动态地进行变化。例如，也可以在正常地获取了指纹信息的情况下，对象的颜色发生变化，或形状发生变化，或以淡出的方式消失。也可以在无法正常获取指纹信息的情况下，显示初始状态的对象，或变化为不同于正常获取颜色、形状的情况。另外，也可以如上述的实施方式那样，显示速率向导、场所的向导。信息处理部10也可以具备获取判定指纹信息的指纹信息获取判定部。指纹信息的获取也可以基于在例如预定的区域内是否感测到预定数以上的凹凸等。
这也可以基于认证信息。例如，也可以在个人认证成功的情况和个人认证失败的情况下，如上所述使对象发生变化。当然，基于指纹信息的获取状况、认证的是否成功状况，发生两级的变化。
如上所述，根据本实施方式，能够使摄像头模块3中的拍摄部8存在的区域在与滑动方向相交的方向上扩展。通过这样具备光学指纹传感器，能够安装对于位置偏差具有稳定性的光学指纹传感器。
(第八实施方式)
图14是示出本实施方式所涉及的电子设备1的一例的框图。电子设备1还具备倾斜检测部12。
倾斜检测部12例如具备陀螺仪或加速度传感器。倾斜检测部12检测获取到指纹信息的定时的电子设备1的倾斜。倾斜是指相对于例如重力(铅直方向)或水平方向的显示器的倾斜。
图15及图16是示出电子设备1的倾斜的一例的图。例如，如图15所示，将电子设备1中的第一方向及第二方向表示为重力方向和与其相交的水平方向的分量之和。在第一方向的重力方向成分的绝对值小于第二方向的重力方向的成分的绝对值的情况下，认证部106优先使用手指朝向右图所示的附图上朝向那样的匹配用的数据执行指纹认证。
另一方面，如图16所示，在电子设备1中的第一方向的重力方向分量的绝对值大于第二方向的重力方向的分量的绝对值的情况下，认证部106优先使用手指朝向右图所示的附图左朝向那样的用于匹配的数据执行指纹认证。
另外，也可以使用各方向上的重力方向的大小和符号。在该情况下，例如，四边中某一方位于下方且能够优先使用将指纹每90度旋转的用于匹配的数据来执行指纹认证。
如上所述，根据本实施方式，通过根据重力的倾斜来选择或优先选择使用用于匹配的数据，从而能够提高匹配的精度、或提高匹配的速度。作为一例，对每180度或每90度进行了说明，但角度的间隔也可以更小。
另外，虽然设为对匹配的图案进行选择，但不限于此。例如，也可以基于倾斜检测的结果，旋转校正指纹信息来执行个人认证处理。
此外，本技术能够采取以下那样的构成。
(1)一种电子设备，具备：
显示器；以及
光学指纹传感器，
所述显示器具备显示面，所述显示面在第一方向以及与所述第一方向相交的第二方向上阵列状地设置发光像素，
所述光学指纹传感器具备拍摄元件，该拍摄元件在与所述第一方向以及所述第二方向相交的第三方向上的与所述显示器的所述显示面相反一侧、在所述第一方向以及所述第二方向上阵列状地设置受光元件，所述受光元件分别在相同定时传送由光电转换而得的电荷。
(2)根据(1)所述的电子设备，其中，
所述拍摄元件具备暂时存储各个所述受光元件的受光信息的像素存储器，从所述受光元件向所述像素存储器的信息的传送在相同定时执行。
(3)根据(2)所述的电子设备，其中，
从所述受光元件向所述像素存储器的信息的传送通过对传送晶体管在相同定时施加传送控制信号而执行，所述传送晶体管将在所述受光元件累积的电荷向所述像素存储器传送。
(4)根据(1)至(3)所述的电子设备，其中，
所述电子设备还具备信息处理部，所述信息处理部执行所述拍摄元件所读出的指纹信息的信息处理。
(5)根据(4)所述的电子设备，其中，
所述信息处理部在至少包括手指的滑动动作的动作中读出所述指纹信息。
(6)根据(5)所述的电子设备，其中，
所述电子设备还具备触摸面板，所述触摸面板感测对于所述显示器的接触信息，
在所述触摸面板中推定所述滑动动作的速度。
(7)根据(5)或(6)所述的电子设备，其中，
所述信息处理部基于所述拍摄元件读出的信息，推定所述滑动动作的速度。
(8)根据(5)至(7)中任一项所述的电子设备，其中，
基于要求的认证精度，输出减缓所述滑动动作的速率的指示。
(9)根据(8)所述的电子设备，其中，
向所述显示器输出所述滑动动作的所述速率的指示。
(10)根据(8)或(9)所述的电子设备，其中，
所述指示是在所述显示器显示速率向导。
(11)根据(8)至(10)中任一项所述的电子设备，其中，
在所述速率比预定速率快时，对所述速率过快这一情况进行输出。
(12)根据(11)所述的电子设备，其中，
所述速率过快这一情况的输出是向所述显示器的输出、通过声音的输出和通过震动的输出中的至少一者。
(13)根据(6)所述的电子设备，其中，
所述信息处理部在所述速率比预定的速率快时，缩短所述光学指纹传感器的曝光时间。
(14)根据(5)至(13)中任一项所述的电子设备，其中，
所述信息处理部根据在不同时间拍摄的所述指纹信息来生成认证信息。
(15)根据(14)所述的电子设备，其中，
所述发光像素在所述受光元件的所述显示面一侧输出不同波长的光，
所述受光元件基于不同波长的反射光来获取所述指纹信息。
(16)根据(14)或(15)所述的电子设备，其中，
在所述受光元件与所述显示面之间具备偏光滤光片，
所述受光元件感测经由所述偏光滤光片偏光后的光。
(17)根据(14)至(16)中任一项所述的电子设备，其中，
在所述受光元件与所述显示面之间具备获取血红蛋白的状态的滤光片，
所述信息处理部获取所述血红蛋白的信息进行生物体认证。
(18)根据(14)至(17)中任一项所述的电子设备，其中，
所述信息处理部基于与所述显示面接触的手指的时间上的形状改变的信息来进行生物体认证。
(19)根据(5)至(18)中任一项所述的电子设备，其中，
所述受光元件检测多个指中的所述滑动动作。
(20)根据(19)所述的电子设备，其中，
所述信息处理部在多个手指的所述滑动动作中，使用多个手指的组合来执行所述指纹认证。
(21)根据(20)所述的电子设备，其中，
基于要求的认证精度，多个手指的组合不同。
(22)根据(4)至(21)中任一项所述的电子设备，其中，
所述信息处理部在执行认证的期间或无法执行认证的时间，检测手指的信息并累积所述指纹信息。
(23)根据(22)所述的电子设备，其中，
所述信息处理部累积手指的变化来提高认证精度。
(24)根据(22)或(23)所述的电子设备，其中，
所述信息处理部获取并累积未登录的手指以外的手指中的所述指纹信息。
(25)根据(5)至(24)中任一项所述的电子设备，其中，
所述受光元件设置为与所述滑动动作的方向相交的方向上的元件数大于所述滑动动作的方向上的元件数。
(26)根据(25)所述的电子设备，其中，
所述受光元件设置为与所述滑动动作的方向相交的方向上的元件数大于所述滑动动作的方向上的元件数的两倍。
(27)根据(25)或(26)所述的电子设备，其中，
在所述显示器在与设置所述受光元件多的方向相交的方向上显示出执行所述滑动动作的向导。
(28)根据(5)至(27)中任一项所述的电子设备，其中，
所述电子设备具备界面，所述界面通过在所述显示器显示出具备所述受光元件的区域，并配置商品的信息和购买按钮，以通过所述区域的方式将所述商品信息从所述商品的信息向所述购买按钮进行所述滑动动作，从而能够进行所述商品的购买，
基于使用所述指纹信息的认证的结果，向服务器发送所述购买信息。
(29)根据(1)至(27)中任一项所述的电子设备，其中，
在所述显示器以包括所述受光元件所设置的区域的方式显示动态的对象。
(30)根据(29)所述的电子设备，其中，
所述对象在用户的手指接触时形状发生变化。
(31)根据(29)所述的电子设备，其中，
所述对象在用户的手指接触时发光状态发生变化。
(32)根据(31)所述的电子设备，其中，
所述发光状态以适于所述指纹信息的获取的方式发生变化。
(33)根据(29)至(32)中任一项所述的电子设备，其中，
所述对象在用户的手指通过后，基于所述指纹信息的获取状况或个人认证状况而动态地发生变化。
(34)根据(1)至(33)中任一项所述的电子设备，其中，
还具备检测所述显示器的在水平方向上的倾斜的倾斜检测部，
基于所述倾斜检测部检测出的倾斜，来执行所述指纹信息的认证。
本公开的方式不限于上述各个实施方式，还包括本领域技术人员可想到的各种变形，本公开的效果也不限于上述内容。即，在不脱离从权利要求书所规定的内容及其等同物推导出的本公开的概念上的思想和主旨的范围内，可以进行各种追加、变更以及部分删除。

Claims (20)

1.一种电子设备，其特征在于，具备：
显示器；以及
光学指纹传感器，
所述显示器具备显示面，所述显示面在第一方向以及与所述第一方向相交的第二方向上阵列状地设置发光像素，
所述光学指纹传感器具备拍摄元件，所述拍摄元件在与所述第一方向以及所述第二方向相交的第三方向上的与所述显示器的所述显示面相反一侧、在所述第一方向以及所述第二方向上阵列状地设置受光元件，所述受光元件分别在相同定时传送由光电转换而得的电荷。
2.根据权利要求1所述的电子设备，其中，
所述拍摄元件具备暂时存储各个所述受光元件的受光信息的像素存储器，从所述受光元件向所述像素存储器的信息的传送在相同定时执行。
3.根据权利要求1所述的电子设备，其中，
所述电子设备还具备信息处理部，所述信息处理部执行所述拍摄元件所读出的指纹信息的信息处理。
4.根据权利要求3所述的电子设备，其中，
所述信息处理部在进行至少包括手指的滑动动作的动作时读出所述指纹信息。
5.根据权利要求4所述的电子设备，其中，
所述电子设备还具备感测对于所述显示器的接触信息的触摸面板，
在所述触摸面板中推定所述滑动动作的速度。
6.根据权利要求4所述的电子设备，其中，
所述信息处理部基于所述拍摄元件所读出的信息，来推定所述滑动动作的速度。
7.根据权利要求5所述的电子设备，其中，
基于所要求的认证精度，输出减缓所述滑动动作的速度的指示。
8.根据权利要求7所述的电子设备，其中，
在所述显示器输出所述滑动动作的速度的指示。
9.根据权利要求8所述的电子设备，其中，
所述滑动动作的速度过快时的输出是向所述显示器的输出、声音的输出和震动的输出中的至少一者。
10.根据权利要求5所述的电子设备，其中，
所述信息处理部在所述滑动动作的速度比预定的速度快的情况下，缩短所述光学指纹传感器的曝光时间。
11.根据权利要求4所述的电子设备，其中，
所述信息处理部根据在不同时间所拍摄的所述指纹信息，来生成认证信息。
12.根据权利要求11所述的电子设备，其中，
所述发光像素在所述受光元件的所述显示面一侧输出不同波长的光，
所述受光元件基于不同波长的反射光来获取所述指纹信息。
13.根据权利要求11所述的电子设备，其中，
在所述受光元件与所述显示面之间具备偏光滤光片，
所述受光元件感测经由所述偏光滤光片偏光后的光。
14.根据权利要求11所述的电子设备，其中，
在所述受光元件与所述显示面之间具备获取血红蛋白的状态的滤光片，
所述信息处理部获取所述血红蛋白的信息来进行生物体认证。
15.根据权利要求11所述的电子设备，其中，
所述信息处理部基于与所述显示面接触的手指的随时间的形状改变的信息来执行生物体认证。
16.根据权利要求4所述的电子设备，其中，
所述受光元件检测多个手指的所述滑动动作。
17.根据权利要求16所述的电子设备，其中，
所述信息处理部在多个手指进行所述滑动动作时，基于使用有多个手指的组合的所述指纹信息来执行认证。
18.根据权利要求3所述的电子设备，其中，
所述信息处理部在执行认证的期间或未执行认证的时间，检测手指的信息并累积所述指纹信息。
19.根据权利要求4所述的电子设备，其中，
所述受光元件被设置为在与所述滑动动作的方向相交的方向上的元件数量多于在所述滑动动作的方向上的元件数量。
20.根据权利要求4所述的电子设备，其中，
所述电子设备具备界面，所述界面通过在所述显示器显示出具备所述受光元件的区域，并配置商品的信息和购买按钮，以通过所述区域的方式使所述商品信息从所述商品的信息向所述购买按钮进行所述滑动动作，从而能够进行所述商品的购买，
基于使用所述指纹信息的认证的结果，向服务器发送购买信息。
CN202110309106.XA 2020-03-30 2021-03-23 电子设备 Pending CN113468942A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-061485 2020-03-30
JP2020061485 2020-03-30

Publications (1)

Publication Number Publication Date
CN113468942A true CN113468942A (zh) 2021-10-01

Family

ID=77868352

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110309106.XA Pending CN113468942A (zh) 2020-03-30 2021-03-23 电子设备
CN202120600538.1U Active CN215910907U (zh) 2020-03-30 2021-03-23 电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202120600538.1U Active CN215910907U (zh) 2020-03-30 2021-03-23 电子设备

Country Status (7)

Country Link
US (1) US20230144032A1 (zh)
EP (1) EP4131919A4 (zh)
JP (1) JPWO2021199769A1 (zh)
KR (1) KR20220159378A (zh)
CN (2) CN113468942A (zh)
TW (1) TW202207690A (zh)
WO (1) WO2021199769A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334646A (ja) * 1994-06-08 1995-12-22 Nippon Telegr & Teleph Corp <Ntt> 指紋撮像装置
JP2008006146A (ja) * 2006-06-30 2008-01-17 Oki Electric Ind Co Ltd 指紋認証方法とその装置
JP4535104B2 (ja) * 2007-09-06 2010-09-01 ミツミ電機株式会社 画像補正装置及び画像補正方法及びこれらを用いた指紋画像読取装置及び指紋画像読取方法
US8965449B2 (en) 2011-04-07 2015-02-24 Apple Inc. Devices and methods for providing access to internal component
JP2015023250A (ja) * 2013-07-23 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
TWI592854B (zh) * 2014-12-18 2017-07-21 指紋卡公司 使用觸控感測器資料的指紋認證
US20180074627A1 (en) * 2016-09-13 2018-03-15 Samsung Electronics Co., Ltd. Electronic device including display emitting light to provide optics-based fingerprint detection
FR3070094B1 (fr) * 2017-08-11 2019-09-06 Isorg Systeme d'affichage comprenant un capteur d'images
KR102496531B1 (ko) * 2018-01-24 2023-02-07 삼성전자주식회사 지문 인식을 위한 방법, 전자 장치 및 저장 매체

Also Published As

Publication number Publication date
WO2021199769A1 (ja) 2021-10-07
KR20220159378A (ko) 2022-12-02
TW202207690A (zh) 2022-02-16
JPWO2021199769A1 (zh) 2021-10-07
EP4131919A4 (en) 2023-08-23
CN215910907U (zh) 2022-02-25
US20230144032A1 (en) 2023-05-11
EP4131919A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
US20210342566A1 (en) Under-display-type fingerprint authentication sensor module and under-display-type fingerprint authentication device
CN112889266B (zh) 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法
US11611734B2 (en) Devices and methods for an imaging system with a dual camera architecture
KR101340688B1 (ko) 루미넌스 및 크로미넌스 센서들을 이용한 이미지 캡처
US20200389575A1 (en) Under-display image sensor
CN110088769B (zh) 指纹采集的方法、系统和电子设备
US9392196B2 (en) Object detection and tracking with reduced error due to background illumination
US9819853B2 (en) Imaging device and focusing control method
US11917306B2 (en) Electronic device that corrects images captured on a side opposite a displaying surface
WO2021199768A1 (ja) 電子機器
CN114846784B (zh) 机械红外光滤波器
CN109073859B (zh) 对焦控制装置、镜头装置、摄像装置、对焦控制方法、对焦控制程序
CN215910907U (zh) 电子设备
US11418707B2 (en) Electronic device and notification method
EP4209940A1 (en) Electronic device
EP4096212A1 (en) Electronic device
CN112514370B (zh) 图像处理装置、摄像装置、图像处理方法及记录介质
WO2023244266A1 (en) Using multi-perspective image sensors for topographical feature authentication
KR20210050653A (ko) 모바일 장치에서 보안 처리 모듈을 이용하여 보안 이미지를 획득하는 방법
JP2002190987A (ja) カード型撮像装置およびその製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination