CN113170045B - 固态成像装置、固态成像方法、以及电子装备 - Google Patents

固态成像装置、固态成像方法、以及电子装备 Download PDF

Info

Publication number
CN113170045B
CN113170045B CN201980079314.6A CN201980079314A CN113170045B CN 113170045 B CN113170045 B CN 113170045B CN 201980079314 A CN201980079314 A CN 201980079314A CN 113170045 B CN113170045 B CN 113170045B
Authority
CN
China
Prior art keywords
captured image
authentication
solid
unit
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980079314.6A
Other languages
English (en)
Other versions
CN113170045A (zh
Inventor
奥池和幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113170045A publication Critical patent/CN113170045A/zh
Application granted granted Critical
Publication of CN113170045B publication Critical patent/CN113170045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/108—Network architectures or network communication protocols for network security for controlling access to devices or network resources when the policy decisions are valid for a limited amount of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供一种固态成像装置，包括：成像单元(211)，捕获第一捕获图像；存储控制单元(2332)，基于与从第一捕获图像检测目标的第一行为有关的信息从第一捕获图像中提取目标的第一特征量，并将提取的第一特征量存储到存储单元中；以及发送控制单元(2331)，基于从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量，控制第二捕获图像或基于第二捕获图像的数据的发送。

Description

固态成像装置、固态成像方法、以及电子装备
技术领域
本公开涉及一种固态成像装置、固态成像方法、以及电子装备。
背景技术
近年来，已知一种用于增强由摄像机成像的人(以下也被称为“成像目标”)的隐私保护的技术。例如，为了在成像人不希望如此做之时防止使用蜂窝电话的内置摄像机对成像人进行成像，公开了一种在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术(例如，参考专利文献1)。
[引用列表]
[专利文献]
[专利文献1]
日本专利特开公开号2015-133624
发明内容
[技术问题]
然而，需要提供一种能够进一步增强由摄像机成像的人的隐私保护的技术。
[问题的解决方案]
根据本公开，提供一种固态成像装置，包括：成像单元，被配置为捕获第一捕获图像；存储控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中；以及发送控制单元，被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。
根据本公开，提供一种固态成像方法，包括：捕获第一捕获图像；并且由处理器基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中，并且当从第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。
根据本公开，提供一种电子装备，包括：应用；成像单元，被配置为捕获第一捕获图像；以及发送控制单元，被配置为基于与从第一捕获图像内检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中，并且被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制将第二捕获图像或基于第二捕获图像的数据的发送至应用。
附图说明
[图1]是描述根据本公开的实施方式的固态成像系统的配置例的示图。
[图2]是描述图像传感器的结构的第一实施例的示图。
[图3]是描述图像传感器的结构的第二实施例的示图。
[图4]是描述根据本公开的第一实施方式的固态成像系统的详细配置例的示图。
[图5]是描述信号处理单元的详细配置例的示图。
[图6]是描述本地认证单元的详细配置例的示图。
[图7]是描述数据发送决策单元的详细配置例的示图。
[图8]是描述根据本公开的第一实施方式的图像传感器的操作例的流程图。
[图9]是描述根据实施方式的数据发送可用性决策的详细操作例的流程图。
[图10]是描述指示发送可用的姿势的实施例的示图。
[图11]是描述根据实施方式的变形1的数据发送可用性决策的详细操作例的流程图。
[图12]是描述根据实施方式的变形2的数据发送可用性决策的详细操作例的流程图。
[图13]是描述指示发送不可用的姿势的实施例的示图。
[图14]是描述根据实施方式的变形3的数据发送可用性决策的详细操作例的流程图。
[图15]是描述根据实施方式的变形4的数据发送可用性决策的详细操作例的流程图。
[图16]是描述根据本公开的第二实施方式的固态成像系统的详细配置例的示图。
[图17]是描述根据实施方式的图像传感器的操作例的流程图。
[图18]是描述根据本公开的第三实施方式的固态成像系统的详细配置例的示图。
[图19]是描述根据本公开的第四实施方式的固态成像系统的详细配置例的示图。
具体实施方式
在下文中，参考附图对本公开的优选实施方式进行详细描述。应注意，在本说明书和附图中，以相同的参考标号表示具有大致相同的功能配置的部件，并且省去其重复性描述。
进一步地，在本说明书和附图中，有时通过将不同的标号附加至相同的参考标号而对具有大致相同的功能配置的多个部件彼此进行区分。然而，在不需要具体区分彼此具有大致相同的功能配置的多个部件的情况下，仅以相同的参考标号表示这些部件。进一步地，有时通过将不同的阿拉伯字母附加至相同的参考标号而对具有相同或相似的功能配置的多个部件彼此进行区分。然而，在不需要具体区分彼此具有相同或相似的功能配置的多个部件的情况下，仅以相同的参考标号表示这些部件。
应注意，按照下列顺序给出描述。
0.概况
1.实施方式的细节
1.1.系统的配置例
1.2.图像传感器的配置例
1.3.第一实施方式
1.4.第二实施方式
1.5.第三实施方式
1.6.第四实施方式
2.结论
<0.概况>
近年来，已知一种用于增强由摄像机成像的人(以下也被称为“成像目标”)的隐私保护的技术。例如，为了在成像人不希望如此做之时防止使用蜂窝电话的内置摄像机对成像人进行成像，公开了一种在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术。然而，需要提供一种能够进一步增强由摄像机成像的人的隐私保护的技术。
更具体地，根据在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术，存在由恶意应用创建器创建应用的可能性，因此，即使内置摄像机在操作，也不发出这种效果的通知。进一步地，根据在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术，因为将通过成像目标的成像而获得的数据自动发送至图像传感器的外面，所以成像目标的隐私保护不充分。
因此，在本公开的实施方式中，主要给出了通过控制将由于成像目标的成像而获得的数据发送至图像传感器的外面而进一步增强成像目标的隐私保护的技术的描述。
本公开的实施方式的概况如上所述。
<1.实施方式的细节>
[1.1.系统的配置例]
现在，参考图1对根据本公开的实施方式的固态成像系统的配置例进行描述。参考图1，根据本公开的实施方式的固态成像系统1包括电子装备10、服务器装置40、以及网络50。电子装备10与服务器装置40通过网络50彼此通信。应注意，在图1描述的实施例中，尽管电子装备10连接至网络50，然而，多件电子装备10可以连接至网络50并且每件电子装备10可以通过网络50与服务器装置40进行通信。
电子装备10包括图像传感器20和应用30。图像传感器20用作固态成像装置的实施例并且包括CIS(接触图像传感器)210、逻辑电路220、DSP(数字信号处理器)230、存储器240、以及选择器250。
此处，CIS 210与成像单元的实施例对应并且包括成像元件、光源、光接收透镜、A/D转换器等。逻辑电路220包括对来自CIS 210的输出信号等执行信号处理的信号处理单元。进一步地，本公开的实施方式主要假设了其中电子装备10是摄像机的情况。然而，如果其是具有图像传感器20的装备，则电子装备10并不局限于摄像机并且可以是任意其他类型的装备(例如，智能手机、蜂窝电话等)。同时，由内置于电子装备10中的处理器执行应用30。
在本公开的实施方式中，通过图像传感器20捕获视频。通过连续捕获多帧(捕获图像)的图像传感器20获得视频。本公开的实施方式主要假设了其中将通过图像传感器20捕获的帧(捕获图像)或基于帧(捕获图像)的数据(以下被称为“元数据”)发送至服务器装置40的情况。然而，还如下面所描述的，捕获图像或元数据的发送目的地可以是应用30或可以是电子装备10的外部记录介质。
根据本公开的实施方式的固态成像系统1的配置例如上所述。
[1.2.图像传感器的配置例]
随后，对根据本公开的实施方式的图像传感器20的结构的实施例进行描述。图2是描述图像传感器20的结构的第一实施例的示图。图3是描述图像传感器20的结构的第二实施例的示图。参考图2，图像传感器20包括第一半导体芯片L1和第二半导体芯片L2。参考图3，图像传感器20包括第一半导体芯片L1、第二半导体芯片L2、以及第三半导体芯片L3。
以这种方式，图像传感器20包括多个半导体芯片，并且多个半导体芯片以分层方式进行配置并且电连接至彼此。图像传感器20中所包括的半导体芯片的数量并不局限于两个或三个并且可以是一个或四个或多个。
参考图2，CIS 210包括在第一半导体芯片L1中。进一步地，存储器240、DSP 230、以及逻辑电路220包括在第二半导体芯片L2中。参考图3，CIS 210包括在第一半导体芯片L1中。进一步地，存储器240与DSP 230包括在第二半导体芯片L2中。逻辑电路220包括在第三半导体芯片L3中。然而，CIS 210、存储器240、DSP 230、以及逻辑电路220各自可以包括在任意半导体芯片中。
在图2和图3所描述的实施例中，下面所描述的本地认证单元231(第一认证单元)可以包括在第二半导体芯片L2中。更具体地，通过第二半导体芯片L2中所包括的DSP 230可以实现本地认证单元231(第一认证单元)。下面所描述的数据发送决策单元233还可以包括在第二半导体芯片L2中。更具体地，通过第二半导体芯片L2中所包括的DSP 230可以实现数据发送决策单元233。
进一步地，在图3所描述的实施例中，信号处理单元221可以包括在第三半导体芯片L3的逻辑电路220中。可替代地，在图2所描述的实施例中，信号处理单元221可以包括在第二半导体芯片L2的逻辑电路220中。进一步地，在图3所描述的实施例中，下面所描述的本地认证数据存储单元232可以包括在第三半导体芯片L3的存储器240中。可替代地，在图2所描述的实施例中，本地认证数据存储单元232可以包括在第二半导体芯片L2的存储器240中。
图像传感器20的结构的实施例如上所述。
[1.3.第一实施方式]
现在，对根据本公开的第一实施方式的固态成像系统1的详细配置进行描述。图4是描述根据本公开的第一实施方式的固态成像系统1的详细配置例的示图。应注意，在图4及后续的附图中，为便于示出，省去了应用30和网络50。参考图4，对图像传感器20和服务器装置40进行描述。
图像传感器20包括成像元件211、A/D转换器212、信号处理单元221、本地认证单元231、本地认证数据存储单元232、数据发送决策单元233、数据发送可用性列表存储单元234、选择器250、数据发送单元261、以及数据接收单元262。同时，服务器装置40包括数据接收单元410、服务器认证单元(第二认证单元)420、服务器认证数据存储单元430、以及数据发送单元440。
成像元件211将从成像目标接收的光的光信号转换成电信号。A/D转换器212将电信号从模拟信号转换成数字信号并且输出数字信号。信号处理单元221对来自A/D转换器212的输出信号(捕获图像)执行各种各样的信号处理并且输出经过处理之后的信号(捕获图像)。此处，对由信号处理单元221执行的信号处理的实施例进行描述。然而，信号处理单元221不一定必须执行下面所述的全部信号处理，并且信号处理单元221可以仅执行信号处理的一部分或信号处理单元221可以执行与信号处理不同的处理。
图5是描述信号处理单元221的详细配置例的示图。如图5中描述的，信号处理单元221可以包括执行阴影校正的阴影校正单元2211、执行颜色混合校正的颜色混合校正单元2212、以及执行数字增益调整的数字增益调整单元2213。进一步地，信号处理单元221可以包括调整白平衡增益的白平衡增益调整单元2214、执行波检测的波检测单元2215、执行去马赛克处理的去马赛克处理单元2216、以及执行伽马校正的伽马校正单元2217。
返回参考图4继续进行描述。将经过信号处理单元221的处理之后的信号(捕获图像)输出至选择器250、数据发送决策单元233、以及本地认证单元231。首先，对本地认证单元231的详细配置例进行描述。图6是描述本地认证单元231的详细配置例的示图。如图6中所描述的，本地认证单元231包括归一化处理单元2311和本地认证处理单元2312。
归一化处理单元2311执行本地认证处理单元2312(例如，神经网络)的处理所需的预处理。例如，预处理可以是第二捕获图像的范围调整、尺寸调整等。在从第二捕获图像中提取与第一特征量一致或相似的第二特征量的情况下，本地认证处理单元2312基于第二捕获图像执行第一认证。例如，通过第一认证获得的数据可以是基于第二捕获图像的数据(元数据)。该元数据可以是从第二捕获图像识别的成像目标(人)的识别信息。
应注意，本地认证单元231可以包括经过机器学习的神经网络(第一神经网络)。假设这提高了认证的准确性。例如，神经网络可以是深度学习网络。在刚刚描述的这种情况下，假设进一步提高了认证准确性。然而，通过不需要学习的配置可以执行本地认证单元231的第一认证。将第一认证的认证结果(成功/失败)及通过第一认证所获得的数据(元数据)输出至选择器250。
现在，对数据发送决策单元233的详细配置例进行描述。图7是描述数据发送决策单元233的详细配置例的示图。如图7中所描述的，数据发送决策单元233包括发送控制单元2331和存储控制单元2332。
本公开的实施方式主要假设了其中数据发送决策单元233对从信号处理单元221输入的视频的每个帧(捕获图像)执行处理的情况。然而，数据发送决策单元233的处理目标并不局限于从信号处理单元221输入的视频的每个帧(捕获图像)，而是可以是多个帧的各个集合。此处，将在特定时刻输入至数据发送决策单元233的帧称为“第一捕获图像”，并且将在第一捕获图像之后输入至数据发送决策单元233的帧称为“第二捕获图像”。
首先，将通过成像元件211捕获的第一捕获图像输入至数据发送决策单元233。存储控制单元2332基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像内提取成像目标的第一特征量。存储控制单元2332将所提取的第一特征量存储到数据发送可用性列表存储单元234中。
然后，将通过成像元件211捕获的第二捕获图像输入至数据发送决策单元233。发送控制单元2331尝试查找是否从第二捕获图像中提取与第一特征量一致或相似的第二特征量。在从第二捕获图像中提取与第一特征量一致或相似的第二特征量的情况下，发送控制单元2331控制将第二捕获图像或基于第二捕获图像的数据(元数据)发送至服务器装置40。应注意，如果发送控制单元2331控制从选择器250输出第二捕获图像或基于第二捕获图像的元数据中的哪一个、以使得将其中任一个发送至服务器装置40则足以。
根据上述所述该配置，可以控制将通过成像目标的成像而获得的第二捕获图像或第二捕获图像的元数据发送至图像传感器20的外部。这使得可以进一步增强成像目标的隐私保护。
例如，在本地认证单元231的第一认证成功的情况下，如果发送控制单元2331控制将基于第二捕获图像的数据(元数据)发送至服务器装置40则足以。另一方面，在本地认证单元231的第一认证失败的情况下，发送控制单元2331控制将第二捕获图像发送至服务器装置40已足以。
第一行为不受限制。例如，假设了其中当成像目标允许成像目标自身成像时、成像目标执行特定姿势(位置姿势)的情况。在刚刚描述的这种情况下，位置姿势能够与第一行为对应。在这种情况下，当从第一捕获图像中检测到第一行为时，存储控制单元2332提取第一特征量，以将第一特征量存储到数据发送可用性列表存储单元234中。然而，还如下面所描述的，第一行为可以是成像目标抑制成像目标自身成像时所执行的姿势(消极姿势)。
使用经过机器学习的神经网络(第三神经网络)可以提取第一特征量和第二特征量。假设这提高了提取特征量的准确性。例如，神经网络可以是深度学习网络。在刚刚描述的这种情况下，假设进一步提高了提取特征量的准确性。然而，通过并不需要学习的配置可以提取第一特征量和第二特征量。应注意，数据发送决策单元233中能够包括经过机器学习的神经网络(第三神经网络)。
在数据发送决策单元233的控制下，通过数据发送单元261将第二捕获图像或基于第二捕获图像的数据(元数据)发送至服务器装置40。在服务器装置40中，通过数据接收单元410接收第二捕获图像或基于第二捕获图像的数据(元数据)。服务器认证单元420基于第二捕获图像执行第二认证。例如，通过第二认证获得的数据可以是基于第二捕获图像的数据(元数据)。该元数据可以是从第二捕获图像中识别的成像目标(人)的识别信息。
应注意，服务器认证单元420可以包括经过机器学习的神经网络(第二神经网络)。假设这提高了认证准确性。例如，神经网络可以是深度学习网络。在刚刚描述的这种情况下，假设进一步提高了认证准确性。然而，通过并不需要学习的配置可以执行第二认证单元420的第二认证。通过数据发送单元440将第二认证的认证结果(成功/失败)和经由第二认证获得的数据(元数据)发送至图像传感器20。
在图像传感器20中，通过数据接收单元262接收第二认证的认证结果(成功/失败)和经过第二认证获得的数据(元数据)。
在第一认证成功的情况下，由图像传感器20执行基于通过第一认证所获得的数据(元数据)的处理。还是在第二认证成功的情况下，由图像传感器20执行基于通过第二认证所获得的数据(元数据)的处理。基于元数据的处理并非限制性。例如，在元数据是成像目标的识别信息的情况下，基于元数据的处理可以是用于在屏幕上显示与基于识别信息所识别的成像目标对应的化身的处理。
应注意，存在服务器认证单元420中所包括的第二神经网络的第二参数可能比本地认证单元231中所包括的第一神经网络的第一参数对高分辨率准确性更多的可能性。作为参数，假设了权重、偏置等。因此，希望基于服务器认证单元420中所包括的第二神经网络的第二参数在预定时刻对本地认证单元231中所包括的第一神经网络的第一参数进行更新。
具体地，在服务器认证单元420基于第二捕获图像的第二认证成功的情况下，服务器认证单元420可以从服务器认证数据存储单元430中获取服务器认证单元420中所包括的第二神经网络的第二参数并且通过数据发送单元440将第二参数发送至图像传感器20。此时，在图像传感器20中，通过数据接收单元262接收第二参数，并且本地认证单元231可以基于第二参数对本地认证单元231中所包括的第一神经网络的第一参数(存储在本地认证数据存储单元232中)进行更新。
随后，对根据本公开的第一实施方式的图像传感器20的操作例进行描述。图8是描述根据本公开的第一实施方式的图像传感器20的操作例的流程图。如图8中所描述的，数据发送决策单元233判断数据发送可用性(S11)。参考图9对数据发送可用性决策进行描述。
图9是描述根据本公开的第一实施方式的数据发送可用性决策的详细操作例的流程图。如图9中所描述的，在数据发送可用性决策S11中，数据发送决策单元233尝试从被输入其中的捕获图像中检测面部(面部的特征量)(S111)。应注意，可以使用成像目标的另一特征量代替面部的特征量。在未检测到面部(面部的特征量)的情况下(在S111，“否”)，数据发送决策单元233判断数据发送不可用(S112)。另一方面，在检测到面部的情况下(在S111，“是”)，数据发送决策单元233判断所检测到的面部是否是数据发送可用性列表中所包括的面部(S113)。
在所检测到的面部是数据发送可用性列表中包括的面部的情况下(在步骤S113，“是”)，数据发送决策单元233判断数据发送是可用的(S116)。另一方面，在所检测到的面部不是数据发送许可列表中所包括的面部的情况下(在S113，“否”)，数据发送决策单元233判断所输入的捕获图像是否包括指示发送可用的姿势(S114)。指示发送可用的姿势与上述所述位置姿势的实施例对应。
图10是描述指示发送的姿势可用的实施例的示图。参考图10，对所输入的捕获图像M10进行描述。在捕获图像M10中，使指示发送可用的面部F10和姿势F20成像。在刚刚描述的这种情况下，从捕获图像M10中检测面部F10，并且在数据发送可用性列表中未发现面部F10的情况下，从捕获图像M10中判断存在指示发送可用的姿势F20。应注意，尽管图10指示大拇指朝上的姿势作为指示发送可用的姿势F20的实施例，然而，指示发送可用的姿势F20并不局限于该实施例。
返回参考图9继续进行描述。在数据发送决策单元233判断所输入的捕获图像不包括指示发送可用的姿势的情况下(在S114，“否”)，数据发送决策单元233判断数据发送不可用(S112)。另一方面，在数据发送决策单元233判断所输入的捕获图像包括指示发送可用的姿势的情况下(在S114，“是”)，数据发送决策单元233将所检测到的面部(面部的特征量)注册到数据发送可用性列表中(S115)并且判断数据发送可用(S116)。
返回参考图8继续进行描述。在判断数据发送不可用的情况下(在S11，“未通过(NG)”)，数据发送不可用(S12)。另一方面，在判断数据发送可用的情况下(在S11，“通过(OK)”)，本地认证单元231执行本地认证(S13)。本地认证能够与上述所述第一认证对应。在本地认证成功的情况下(在S13，“OK”)，通过数据发送单元261将元数据发送至服务器装置40(S14)，从而使得认证成功(S15)。另一方面，在本地认证失败的情况下(在S13，“NG”)，通过数据发送单元261将捕获图像发送至服务器装置40。此时，可以发出表示数据发送状态的通知(S16)。
然后，执行服务器装置40的服务器处理(S17)。具体地，通过数据发送单元440接收捕获图像(S18)，并且基于捕获图像执行服务器认证(S19)。服务器认证能够对上述所述第二认证对应。在服务器认证成功的情况下(在S19，“通过”)，利用服务器认证数据对本地认证数据进行更新(S21)，从而使得认证成功(S15)。另一方面，在服务器认证失败的情况下(在S19，“未通过”)，认证失败(S20)。
随后，对本公开的第一实施方式的变形1进行描述。上述描述表示了这样的实施例，即，其中，在从第二捕获图像中提取与第一特征量一致或相似的第二特征量的情况下，发送控制单元2331在无任何具体限制的情况下控制将第二捕获图像或基于第二捕获图像的数据(元数据)发送至服务器装置40。然而，在第一特征量存储到数据发送可用性列表存储单元234中之后的流逝时间段超过预定时间段的情况下，发送控制单元2331可以停止第二捕获图像或基于第二捕获图像的数据的发送。期望这进一步增强了成像目标的隐私保护。
图11是描述根据本公开的第一实施方式的变形1的数据发送可用性决策的详细操作例的流程图。如图11中所描述的，与图9中所描述的实施例不同，在数据发送可用性决策S11中，在所检测到的面部是数据发送可用性列表中所包括的面部的情况下(在S113，“是”)，数据发送决策单元233判断当前时间点是否在面部(面部的特征量)被注册到数据发送可用性列表中之后的预定时间段内(S118)。在当前时间点在面部(面部的特征量)被注册到数据发送可用性列表中之后的预定时间段内的情况下(在S118，“是”)，数据发送决策单元233判断数据发送可用(S116)。另一方面，在当前时间点不在面部(面部的特征量)被注册到数据发送可用性列表中之后的预定时间段内的情况下(在S118，“否”)，数据发送决策单元233判断数据发送不可用(S112)。
随后，对本公开的第一实施方式的变形2进行描述。上述描述面向其中使用成像目标许可成像目标自身成像时所使用的姿势(位置姿势)作为第一行为的实施例。然而，作为第一行为，可以使用成像目标抑制成像目标自身成像时所使用的姿势(位置姿势)。换言之，当未检测到第一行为时，存储控制单元2332可以提取第一特征量，以将第一特征量存储到数据发送可用列表存储单元234中。
图12是描述根据本公开的第一实施方式的变形2的数据发送可用性决策的详细操作例的流程图。如图12中所描述的，与图9中所描述的实施例不同，在所检测到的面部不是数据发送可用性决策S11的数据发送可用性列表中所包括的面部的情况下(在S113，“否”)，数据发送决策单元233判断所输入的捕获图像是否包括指示发送不可用的姿势(S119)。指示发送不可用的姿势与上述所述消极姿势的实施例对应。
图13是描述指示发送不可用的姿势的实施例的示图。参考图13，对所输入的捕获图像M20进行描述。在捕获图像M20中，使指示发送不可用的面部F10和姿势F30成像。在刚刚描述的这种情况下，从捕获图像M20中检测面部F10，并且在数据发送可用性列表中未发现面部F10的情况下，从捕获图像M20中判断存在指示发送不可用的姿势F30。应注意，尽管图13将双臂交叉的姿势描述为指示发送不可用的姿势F30的实施例，然而，指示发送不可用的姿势F30并不局限于该实施例。
返回参考图12继续进行描述。在数据发送决策单元233判断所输入的捕获图像包括指示发送不可用的姿势的情况下(在S199，“是”)，数据发送决策单元233判断数据发送不可用(S112)。另一方面，在数据发送决策单元233判断所输入的捕获图像不包括指示发送不可用的姿势的情况下(在S119，“否”)，数据发送决策单元233将所检测到的面部(面部的特征量)注册到数据发送可用性列表中(S115)并且判断数据发送是可用的(S116)。
随后，对本公开的第一实施方式的变形3进行描述。上述描述面向这样的实施例，即，其中，在第二捕获图像或基于第二捕获图像的数据的发送开始之后，无论成像目标的行为如何，继续发送。然而，在数据发送决策单元233从第二捕获图像中检测到成像目标的第二行为的情况下，数据发送决策单元233可以停止第二捕获图像或基于第二捕获图像的数据的发送。例如，第二行为可以是指示成像目标未感知到自身被成像的行为。如此，在成像目标未感知到自身被成像的情况下，防止将通过成像目标的成像而获得的数据发送至图像传感器20的外部，并且因此，增强成像目标的隐私保护。
此处，希望数据发送决策单元233通过使用循环神经网络RNN而检测第二行为。如此，不仅能够从第二捕获图像中识别成像目标的行为，而且还能够从第二捕获图像及在第二捕获图像之前输入的捕获图像中识别成像目标的行为。因此，期望以更高的准确度识别指示成像目标未感知到自身被成像的行为。
图14是描述根据本公开的第一实施方式的变形3的数据发送可用性决策的详细操作例的流程图。如图14中所描述的，与图9中所描述的实施例不同，在数据发送可用性决策S11中，在所检测到的面部是数据发送可用性列表中所包括的面部的情况下(在S113，“是”)，数据发送决策单元233通过使用RNN评估成像目标是否感知到自身被成像(S120)。在数据发送决策单元233判断成像目标未感知到自身被成像的情况下(在S121，“否”)，数据发送决策单元233判断数据发送不可用(S112)。另一方面，在数据发送决策单元233判断成像目标感知到自身被成像的情况下(在S121，“是”)，数据发送决策单元233判断数据发送可用(S116)。
随后，对本公开的第一实施方式的变形4进行描述。在上述描述中，在其中从捕获图像中检测到面部(面部的特征量)的情况下的变形3中指出了实施例(在S111，“是”)，判断所检测到的面部是否是数据发送列表中所包括的面部。然而，不可以判断所检测到的面部是否是数据发送列表中所包括的面部。
图15是描述根据本公开的第一实施方式的变形4的数据发送可用性决策的详细操作例的流程图。如图15中所描述的，与图14中所描述的实施例不同，在数据发送可用性决策S11中，在检测到面部(面部的特征量)的情况下(在S111，“是”)，数据发送决策单元233通过使用RNN评估成像目标是否感知到自身被成像(S120)。在数据发送决策单元233判断成像目标未感知到自身被成像的情况下(在S121，“否”)，数据发送决策单元233判断数据发送不可用(S112)。另一方面，在数据发送决策单元233判断成像目标感知到自身被成像的情况下(在S121，“是”)，数据发送决策单元233判断数据发送可用(S116)。
本公开的第一实施方式如上所述。
[1.4.第二实施方式]
随后，对本公开的第二实施方式进行描述。描述了根据本公开的第二实施方式的固态成像系统1的详细配置。图16是描述根据本公开的第二实施方式的固态成像系统1的详细配置例的示图。如图16中所描述的，本公开的第二实施方式与本公开的第一实施方式的不同在于，图像传感器20并不包括本地认证单元231和本地认证数据存储单元232。在这种情况下，不将元数据从图像传感器20发送至服务器装置40。
随后，对根据本公开的第二实施方式的图像传感器20的操作例进行描述。图17是描述根据本公开的第二实施方式的图像传感器20的操作例的流程图。如图17中所描述的，与图8中所描述的实施例不同，在判断数据发送可用的情况下(在S11，“通过”)，通过数据发送单元261将捕获图像发送至服务器装置40。此时，可以发出表示数据发送状态的通知(S16)。
然后，执行服务器装置40的服务器处理(S17)。具体地，通过数据发送单元440接收捕获图像(S18)，并且基于捕获图像执行服务器认证(S19)。服务器认证能够与上述所述第二认证对应。在服务器认证成功的情况下(在S19，“通过”)，认证成功(S15)。另一方面，在服务器认证失败的情况下(在S19，“未通过”)，认证失败(S20)。
本公开的第二实施方式如上所述。
[1.5.第三实施方式]
随后，对本公开的第三实施方式进行描述。描述了根据本公开的第三实施方式的固态成像系统1的详细配置。图18是描述根据本公开的第三实施方式的固态成像系统1的详细配置例的示图。如图18中所描述的，本公开的第三实施方式与本公开的第一实施方式的不同在于，固态成像系统1包括检测装置60。在这种情况下，通过检测装置60能够检测第一行为。例如，在检测装置60包括麦克风作为第一行为的情况下，可以使用预定语音的话语代替从捕获图像中所识别的姿势。可替代地，在检测装置60包括输入装置(例如，触摸面板等)作为第一行为的情况下，可以使用预定的输入操作(例如，对触摸面板的触摸操作等)。
本公开的第三实施方式如上所述。
[1.6.第四实施方式]
随后，对本公开的第四实施方式进行描述。描述了根据本公开的第四实施方式的固态成像系统1的详细配置。图19是描述根据本公开的第四实施方式的固态成像系统1的详细配置例的示图。如图19中所描述的，本公开的第四实施方式与本公开的第一实施方式的不同在于，固态成像系统1包括外部记录介质70代替服务器装置40。在这种情况下，可以将第二捕获图像或基于从图像传感器20发送的第二捕获图像的数据(元数据)记录在外部记录介质70中。应注意，可以将第二捕获图像或基于第二捕获图像的数据(元数据)从图像传感器20输出至应用30。
本公开的第四实施方式如上所述。
<2.结论>
如上所述，根据本公开的实施方式，提供一种固态成像装置，包括：成像单元，被配置为捕获第一捕获图像；存储控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息而从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中；以及发送控制单元，被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。
根据刚刚描述的该配置，因为控制将通过成像目标的成像而获得的数据发送至图像传感器的外部，所以能够进一步增强成像目标的隐私保护。
尽管参考所附附图对本公开的优选实施方式进行了详细描述，然而，本公开的技术范围并不局限于该实施方式。显而易见，在权利要求描述的技术构思的范围内，具有本公开的技术领域的常识的技术人员能够构思各种更改或改造，并且视为其自然属于本公开的技术范围。
例如，在上述描述中，已经描述了本公开的第一实施方式、本公开的第一实施方式的变形1至4、本公开的第二实施方式、本公开的第三实施方式、以及本公开的第四实施方式。从各种改实施方式及变形中，可以通过适当的方式对若干配置进行选择性地组合。
进一步地，本说明书中所描述的有利效果到最后是说明性或示出性的并且并非限制性。简言之，代替或除上述所述有利效果之外，根据本公开的技术能够从本说明书的描述中实现对本领域技术人员显而易见的其他有利效果。
应注意，如下所述的这种配置也落在本公开的技术范围内。
(1)一种固态成像装置，包括：
成像单元，被配置为捕获第一捕获图像；
存储控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中；以及
发送控制单元，被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。
(2)根据上面(1)所述的固态成像装置，还包括：
第一认证单元，被配置为在从第二捕获图像中提取第二特征量的情况下，基于第二捕获图像执行第一认证；其中，
发送控制单元在第一认证成功的情况下控制基于第二捕获图像的数据的发送，并且在第一认证失败的情况下控制第二捕获图像的发送。
(3)根据上面(2)所述的固态成像装置，其中，
第一认证单元包括经过机器学习的第一神经网络。
(4)根据上面(3)所述的固态成像装置，其中，
包括经过机器学习的第二神经网络的第二认证单元存在于第二捕获图像的发送目的地中；并且
在第二认证单元执行的基于第二捕获图像的第二认证成功的情况下，第一认证单元基于第二神经网络的第二参数对第一神经网络的第一参数进行更新。
(5)根据上面(2)至(4)中任一项所述的固态成像装置，还包括：
多个半导体芯片，其中，
第一认证单元包括在多个半导体芯片之中、与包括成像单元的第一半导体芯片不同的第二半导体芯片中。
(6)根据上面(5)所述的固态成像装置，其中，
由第二半导体芯片中所包括的DSP实现第一认证单元。
(7)根据上面(5)或(6)所述的固态成像装置，还包括：
信号处理单元，被配置为对来自成像单元的输出信号执行信号处理；其中，
信号处理单元包括在多个半导体芯片之中、与第一半导体芯片和第二半导体芯片不同的第三半导体芯片中或第二半导体芯片中。
(8)根据上面(5)至(7)中任一项所述的固态成像装置，其中，
存储单元包括在多个半导体芯片之中、与第一半导体芯片和第二半导体芯片不同的第三半导体芯片中或第二半导体芯片中。
(9)根据上面(1)至(8)中任一项所述的固态成像装置，其中，
在第一特征量存储到存储单元中之后的流逝时间段超过预定时间段的情况下，发送控制单元停止第二捕获图像或基于第二捕获图像的数据的发送。
(10)根据上面(1)至(9)中任一项所述的固态成像装置，其中，
在从第二捕获图像中检测到成像目标的第二行为的情况下，发送控制单元停止第二捕获图像或基于第二捕获图像的数据的发送。
(11)根据上面(10)所述的固态成像装置，其中，
发送控制单元通过使用循环神经网络而对第二行为进行检测。
(12)根据上面(1)至(11)中任一项所述的固态成像装置，其中，
使用经过机器学习的第三神经网络提取第一特征量和第二特征量。
(13)根据上面(1)至(12)中任一项所述的固态成像装置，其中，
当检测到第一行为时，存储控制单元提取第一特征量，并将第一特征量存储到存储单元中。
(14)根据上面(1)至(12)中任一项所述的固态成像装置，其中，
当未检测到第一行为时，存储控制单元提取第一特征量，以将第一特征量存储到存储单元中。
(15)根据上面(1)至(14)中任一项所述的固态成像装置，其中，
发送控制单元控制将第二捕获图像或基于第二捕获图像的数据发送至应用、服务器装置、或外部记录介质。
(16)根据上面(2)至(8)中任一项所述的固态成像装置，其中，
在第一认证成功的情况下，执行基于通过第一认证而获得的数据的处理。
(17)根据上面(16)所述的固态成像装置，其中，
通过第一认证获得的数据包括从第二捕获图像中所识别的成像目标的识别信息。
(18)根据上面(4)所述的固态成像装置，其中，
在第二认证成功的情况下，执行基于通过第二认证而获得的数据的处理。
(19)一种固态成像方法，包括：
捕获第一捕获图像；并且
由处理器基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，并将第一特征量存储到存储单元中，并且当从第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。
(20)一种电子装备，包括：
应用；
成像单元，被配置为捕获第一捕获图像；以及
发送控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，并将第一特征量存储到存储单元中，并且被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制将第二捕获图像或基于第二捕获图像的数据的发送至应用。
[参考标号列表]
1：固态成像系统
10：电子装备
20：图像传感器
210:CIS
211：成像元件
212：A/D转换器
220：逻辑电路
221：信号处理单元
2211：阴影校正单元
2212：颜色混合校正单元
2213：数字增益调整单元
2214：白平衡增益调整单元
2215：波检测单元
2216：去马赛克处理单元
2217：伽马校正单元
230：DSP
231：本地认证单元
2311：归一化处理单元
2312：本地认证处理单元
232：本地认证数据存储单元233：数据发送决策单元2331：发送控制单元
2332：存储控制单元234：数据发送可用性列表存储单元240：存储器
250：选择器
261：数据发送单元
262：数据接收单元
30：应用
40：服务器装置
410：数据接收单元
420：服务器认证单元430：服务器认证数据存储单元440：数据发送单元
50：网络
60：检测装置
70：外部记录介质
L1：第一半导体芯片
L2：第二半导体芯片
L3：第三半导体芯片。

Claims (18)

1.一种固态成像装置，包括：
成像单元，被配置为捕获第一捕获图像；
存储控制单元，被配置为基于与从所述第一捕获图像检测成像目标的第一行为有关的信息从所述第一捕获图像中提取所述成像目标的第一特征量，以将所述第一特征量存储到存储单元中；以及
发送控制单元，被配置为当从通过所述成像单元捕获的第二捕获图像中提取与所述第一特征量一致或相似的第二特征量时，控制所述第二捕获图像或基于所述第二捕获图像的数据的发送，
其中，在所述第一特征量存储到所述存储单元中之后的流逝时间段超过预定时间段的情况下，所述发送控制单元停止所述第二捕获图像或基于所述第二捕获图像的所述数据的发送，所述固态成像装置还包括：
第一认证单元，被配置为在从所述第二捕获图像中提取所述第二特征量的情况下，基于所述第二捕获图像执行第一认证；其中，
所述发送控制单元在所述第一认证成功的情况下控制基于所述第二捕获图像的所述数据的发送，并且在所述第一认证失败的情况下控制所述第二捕获图像的发送。
2.根据权利要求1所述的固态成像装置，其中，
所述第一认证单元包括经过机器学习的第一神经网络。
3.根据权利要求2所述的固态成像装置，其中，
包括经过机器学习的第二神经网络的第二认证单元存在于所述第二捕获图像的发送目的地中；并且
在所述第二认证单元执行的基于所述第二捕获图像的第二认证成功的情况下，所述第一认证单元基于所述第二神经网络的第二参数对所述第一神经网络的第一参数进行更新。
4.根据权利要求1所述的固态成像装置，还包括：
多个半导体芯片，其中，
所述第一认证单元包括在所述多个半导体芯片之中、与包括所述成像单元的第一半导体芯片不同的第二半导体芯片中。
5.根据权利要求4所述的固态成像装置，其中，
由所述第二半导体芯片中所包括的DSP实现所述第一认证单元。
6.根据权利要求4所述的固态成像装置，还包括：
信号处理单元，被配置为对来自所述成像单元的输出信号执行信号处理；其中，
所述信号处理单元包括在所述多个半导体芯片之中、与所述第一半导体芯片和所述第二半导体芯片不同的第三半导体芯片中或所述第二半导体芯片中。
7.根据权利要求4所述的固态成像装置，其中，
所述存储单元包括在所述多个半导体芯片之中、与所述第一半导体芯片和所述第二半导体芯片不同的第三半导体芯片中或所述第二半导体芯片中。
8.根据权利要求1所述的固态成像装置，其中，
在从所述第二捕获图像中检测到所述成像目标的第二行为的情况下，所述发送控制单元停止所述第二捕获图像或基于所述第二捕获图像的所述数据的发送。
9.根据权利要求8所述的固态成像装置，其中，
所述发送控制单元通过使用循环神经网络而对所述第二行为进行检测。
10.根据权利要求1所述的固态成像装置，其中，
使用经过机器学习的第三神经网络提取所述第一特征量和所述第二特征量。
11.根据权利要求1所述的固态成像装置，其中，
当检测到所述第一行为时，所述存储控制单元提取所述第一特征量，并将所述第一特征量存储到所述存储单元中。
12.根据权利要求1所述的固态成像装置，其中，
当未检测到所述第一行为时，所述存储控制单元提取所述第一特征量，以将所述第一特征量存储到所述存储单元中。
13.根据权利要求1所述的固态成像装置，其中，
所述发送控制单元控制将所述第二捕获图像或基于所述第二捕获图像的所述数据发送至应用、服务器装置、或外部记录介质。
14.根据权利要求1所述的固态成像装置，其中，
在所述第一认证成功的情况下，执行基于通过所述第一认证而获得的数据的处理。
15.根据权利要求14所述的固态成像装置，其中，
通过所述第一认证获得的所述数据包括从所述第二捕获图像中所识别的所述成像目标的识别信息。
16.根据权利要求3所述的固态成像装置，其中，
在所述第二认证成功的情况下，执行基于通过所述第二认证而获得的数据的处理。
17.一种固态成像方法，包括：
捕获第一捕获图像；并且
由处理器基于与从所述第一捕获图像检测成像目标的第一行为有关的信息从所述第一捕获图像中提取所述成像目标的第一特征量，并将所述第一特征量存储到存储单元中，并且当从第二捕获图像中提取与所述第一特征量一致或相似的第二特征量时，控制所述第二捕获图像或基于所述第二捕获图像的数据的发送，
其中，在所述第一特征量存储到所述存储单元中之后的流逝时间段超过预定时间段的情况下，停止所述第二捕获图像或基于所述第二捕获图像的所述数据的发送，所述固态成像方法还包括：
在从所述第二捕获图像中提取所述第二特征量的情况下，基于所述第二捕获图像执行第一认证；其中，
在所述第一认证成功的情况下控制基于所述第二捕获图像的所述数据的发送，并且在所述第一认证失败的情况下控制所述第二捕获图像的发送。
18.一种电子装备，包括：
应用；
成像单元，被配置为捕获第一捕获图像；以及
发送控制单元，被配置为基于与从第一捕获图像内检测成像目标的第一行为有关的信息从所述第一捕获图像中提取所述成像目标的第一特征量，并将所述第一特征量存储到存储单元中，并且被配置为当从通过所述成像单元捕获的第二捕获图像中提取与所述第一特征量一致或相似的第二特征量时，控制将所述第二捕获图像或基于所述第二捕获图像的数据发送至所述应用，
其中，在所述第一特征量存储到所述存储单元中之后的流逝时间段超过预定时间段的情况下，所述发送控制单元停止将所述第二捕获图像或基于所述第二捕获图像的所述数据发送至所述应用，所述电子装备还包括：
第一认证单元，被配置为在从所述第二捕获图像中提取所述第二特征量的情况下，基于所述第二捕获图像执行第一认证；其中，所述发送控制单元在所述第一认证成功的情况下控制基于所述第二捕获图像的所述数据的发送，并且在所述第一认证失败的情况下控制所述第二捕获图像的发送。
CN201980079314.6A 2018-12-07 2019-11-22 固态成像装置、固态成像方法、以及电子装备 Active CN113170045B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018229603 2018-12-07
JP2018-229603 2018-12-07
PCT/JP2019/045745 WO2020116197A1 (ja) 2018-12-07 2019-11-22 固体撮像装置、固体撮像方法および電子機器

Publications (2)

Publication Number Publication Date
CN113170045A CN113170045A (zh) 2021-07-23
CN113170045B true CN113170045B (zh) 2023-11-21

Family

ID=70975392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079314.6A Active CN113170045B (zh) 2018-12-07 2019-11-22 固态成像装置、固态成像方法、以及电子装备

Country Status (6)

Country Link
US (1) US20220006952A1 (zh)
EP (1) EP3893487A4 (zh)
JP (1) JP7337094B2 (zh)
CN (1) CN113170045B (zh)
TW (1) TW202037147A (zh)
WO (1) WO2020116197A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734919B1 (en) * 2022-04-19 2023-08-22 Sas Institute, Inc. Flexible computer architecture for performing digital image analysis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412357A (zh) * 2015-08-03 2017-02-15 富士施乐株式会社 认证设备和处理设备
EP3153976A1 (en) * 2014-06-03 2017-04-12 Sony Corporation Information processing device, photographing device, image sharing system, information processing method, and program
CN107358079A (zh) * 2017-06-16 2017-11-17 微梦创科网络科技（中国）有限公司 实时人脸识别登录验证方法及系统
CN108038179A (zh) * 2017-12-07 2018-05-15 泰康保险集团股份有限公司 身份信息认证方法与装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR102057531B1 (ko) * 2013-02-20 2020-01-23 삼성전자주식회사 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
JP6324079B2 (ja) 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR102204675B1 (ko) * 2014-05-14 2021-01-19 삼성전자 주식회사 디스플레이 장치, 서버, 시스템 및 그 정보제공 방법
KR102184272B1 (ko) * 2014-06-25 2020-11-30 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
JP2016038621A (ja) * 2014-08-05 2016-03-22 アルパイン株式会社 空間入力システム
US9769367B2 (en) * 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US9946355B2 (en) * 2015-09-01 2018-04-17 Samsung Electronics Co., Ltd. System and method for operating a mobile device using motion gestures
US10733446B2 (en) * 2016-01-06 2020-08-04 Orcam Technologies Ltd. Wearable apparatus and methods for causing a paired device to execute selected functions
JP2017157936A (ja) * 2016-02-29 2017-09-07 カシオ計算機株式会社 撮像装置、送信制御方法及びプログラム
JP2018107538A (ja) * 2016-12-23 2018-07-05 シャープ株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3153976A1 (en) * 2014-06-03 2017-04-12 Sony Corporation Information processing device, photographing device, image sharing system, information processing method, and program
CN106412357A (zh) * 2015-08-03 2017-02-15 富士施乐株式会社 认证设备和处理设备
CN107358079A (zh) * 2017-06-16 2017-11-17 微梦创科网络科技（中国）有限公司 实时人脸识别登录验证方法及系统
CN108038179A (zh) * 2017-12-07 2018-05-15 泰康保险集团股份有限公司 身份信息认证方法与装置

Also Published As

Publication number Publication date
JPWO2020116197A1 (ja) 2021-10-14
WO2020116197A1 (ja) 2020-06-11
CN113170045A (zh) 2021-07-23
US20220006952A1 (en) 2022-01-06
EP3893487A1 (en) 2021-10-13
TW202037147A (zh) 2020-10-01
JP7337094B2 (ja) 2023-09-01
EP3893487A4 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
CN109508694B (zh) 一种人脸识别方法及识别装置
CN108399349B (zh) 图像识别方法及装置
JP4734980B2 (ja) 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
KR101611440B1 (ko) 이미지 처리 방법 및 장치
KR102477923B1 (ko) 이미지-기반 스푸프 검출을 위해 초점 스택들을 이용하는 시스템들 및 방법들
EP3481048B1 (en) Electronic device for recording image using multiple cameras and operating method thereof
US9152846B2 (en) Authentication apparatus that authenticates object, authentication method, and storage medium
KR20200081450A (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
EP2370857B1 (en) Method, apparatus and computer program product for automatically taking photos of oneself
JP4663700B2 (ja) 撮影装置、及び撮影方法
EP3925206A1 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
WO2021080231A1 (en) Method for obtaining face data and electronic device therefor
CN112597886A (zh) 乘车逃票检测方法及装置、电子设备和存储介质
KR20190101841A (ko) 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
CN113170045B (zh) 固态成像装置、固态成像方法、以及电子装备
US9615059B2 (en) Imaging apparatus, medium, and method for imaging
CN113170046B (zh) 固态成像装置、固态成像方法和电子设备
KR102632901B1 (ko) 이미지 센서의 프레임 레이트를 제어하기 위한 전자 장치 및 그에 관한 방법
JP4772756B2 (ja) 撮像装置及び撮像プログラム
WO2023024473A1 (zh) 活体检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品
US20050237397A1 (en) Image capture
JP2016085594A (ja) 肖像権保護プログラム、情報通信装置及び肖像権保護方法
CN112017346A (zh) 门禁管理方法、门禁终端、门禁系统及存储介质
CN112470455B (zh) 成像设备、电子装置及通知方法
JP2018151782A (ja) 画像処理装置、画像処理システム、および、制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant