CN110633576A - 数据处理 - Google Patents

数据处理 Download PDF

Info

Publication number
CN110633576A
CN110633576A CN201910541299.4A CN201910541299A CN110633576A CN 110633576 A CN110633576 A CN 110633576A CN 201910541299 A CN201910541299 A CN 201910541299A CN 110633576 A CN110633576 A CN 110633576A
Authority
CN
China
Prior art keywords
data
neural network
secure
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910541299.4A
Other languages
English (en)
Inventor
达仁·克罗克斯福德
李志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
Apical Ltd
ARM Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Ltd, ARM Co Ltd filed Critical Apical Ltd
Publication of CN110633576A publication Critical patent/CN110633576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2125—Just-in-time application of countermeasures, e.g., on-the-fly decryption, just-in-time obfuscation or de-obfuscation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及数据处理。公开了一种用于包括神经网络的对象识别系统的数据处理的方法。所述方法包括，在安全环境中：获得第一感测数据，所述第一感测数据表示通过传感器测量的物理量。在所述安全环境中使用所述神经网络来处理所述第一感测数据，以在所述第一感测数据中识别对象。所述方法包括确定所识别的对象属于预定对象类。响应于确定，所述第一感测数据的第一部分被分类为要保护的数据，并且所述第一感测数据的第二部分被分类为不要保护的数据。从至少所述第二部分导出的第二感测数据作为非安全数据被输出。

Description

数据处理
技术领域
本发明涉及用于处理数据的方法和设备。
背景技术
可以处理表示通过传感器测量的物理量的感测数据(诸如表示图像的图像数据)以检测感测数据的特性。例如，可以处理图像数据以在图像中检测对象。感测数据(例如图像)可能包含敏感信息；其丢失、误用或修改或对其未经授权的访问可能不利地影响个人或组织的隐私、福利或安全。因此期望改进用于寻求保护这样的敏感信息的数据处理方法。
发明内容
根据本公开的第一方面，提供了一种用于包括神经网络的对象识别系统的数据处理的方法，所述方法包括，在安全环境中：
获得第一感测数据，所述第一感测数据表示通过传感器测量的物理量；
使用所述神经网络来处理所述第一感测数据，以在所述第一感测数据中识别对象；
确定所识别的对象属于预定对象类；
响应于确定，将所述第一感测数据的第一部分分类为要用至少一个安全特征保护的数据，并且将所述第一感测数据的第二部分分类为未应用所述至少一个安全特征的数据；以及
将从至少所述第二部分导出的第二感测数据输出作为非安全数据。
根据本公开的第二方面，提供了一种包括神经网络的对象识别系统，所述对象识别系统被配置为执行安全数据处理操作，所述安全数据处理操作包括：
获得第一感测数据，所述第一感测数据表示通过传感器测量的物理量；
使用所述神经网络来处理所述第一感测数据，以在所述第一感测数据中识别对象；
确定所识别的对象属于预定对象类；
响应于所述确定，将所述第一感测数据的第一部分分类为要用至少一个安全特征保护的数据，并且将所述第一感测数据的第二部分分类为未应用所述至少一个安全特征的数据；以及
将从至少所述第二部分导出的第二感测数据输出作为非安全数据。
根据示例的参考附图进行的以下描述，另外的特征和优点将变得显而易见。
附图说明
图1示出了根据示例的图示用于包括神经网络的对象识别系统的图像处理的方法的流程图。
图2示意性地示出了包括用于与本文描述的图像处理方法一起使用的对象识别系统的示例图像处理系统。
图3示意性地示出了根据示例的卷积神经网络。
图4示意性地示出了示例神经网络加速器。
图5示意性地示出了根据示例的耦合到示例去卷积神经网络的图3的卷积神经网络。
具体实施方式
参考附图，根据示例的系统和方法的细节将通过以下描述变得显而易见。在此说明书中，出于解释的目的，阐述了某些示例的许多具体细节。在说明书中对“示例”或类似语言的引用意味着连同该示例一起描述的特定特征、结构或特性被包括在至少该一个示例中，但是不一定被包括在其他示例中。应进一步注意的是，某些示例被示意性地描述，而为了易于说明和理解作为示例基础的构思，省略和/或必要地简化了某些特征。
本文描述了与处理感测数据有关的系统和方法，所述感测数据表示通过传感器测量的物理量。传感器可以是被配置为测量物理量(诸如光或声音)并且将其转换成信号(例如电信号)的装置。传感器的示例包括图像传感器和麦克风。例如，图像传感器可以将光转换成数字信号。与图像传感器相关联的感测数据因此可以是表示通过传感器捕获的图像的图像数据。在下面参考图描述的示例涉及处理图像数据。然而，在其他示例中，感测数据可以是表示声音(例如通过麦克风来测量)的音频数据，或者可以是表示不同的物理量(例如通过不同种类的传感器来测量)的另一种类的感测数据。
图1是示出根据示例的用于包括神经网络的对象识别系统的图像处理的方法100的流程图。对象识别系统(例如，有时称为对象检测系统或对象分类系统)允许在图像中检测属于特定对象类的对象。例如，在类是人脸的情况下，对象识别系统可以用于在图像中检测人脸的存在。在一些情况下，对象识别系统允许识别对象的特定实例。例如，实例可以是特定人脸。在此示例中，对象识别系统因此可以用于识别检测到的人脸是对象识别系统被布置为识别的特定人脸。可以通过对象识别系统来实现图1的图像处理方法100，所述对象识别系统是诸如作为图像处理系统(在下面描述)的一部分示意性地在图2中示出的对象识别系统。
神经网络通常包括许多互连的节点，其可以被称为人工神经元或神经元。神经元的内部状态(有时称为神经元的“激活”)通常取决于由神经元接收到的输入。神经元的输出然后可以取决于输入、权重、偏差和激活函数(activation function)。一些神经元的输出可以连接到其他神经元的输入，从而形成有向加权图，其中图的顶点(与神经元相对应)或边(与连接相对应)分别与权重相关联。可以将神经元分层布置，使得信息可以从一个层中的给定神经元流向神经网络的连续层中的一个或多个神经元。在下面更详细地描述了神经网络架构的示例。
方法涉及在安全环境中实现图1中所示的项目101至105。例如，安全环境可以包括可信执行环境。可以使用由例如英国剑桥的Arm Limited开发的
Figure BDA0002102637860000031
技术来在对象识别系统上实现安全环境，所述
Figure BDA0002102637860000041
技术提供用于在诸如图像处理系统之类的数据处理设备中实施安全边界的机制。本质上，安全环境(或“安全域”)内的组件在图像处理系统(例如，包括对象识别系统)内是可信的并且因此被允许例如在图像处理系统内访问安全敏感数据，然而不允许安全环境外部(例如在“非安全域”中)的组件访问这样的安全敏感数据。例如，安全环境中的组件可以能够访问某些存储装置，例如安全的或“受保护的”存储器区域，其不可被安全环境外部的组件和系统访问。例如，应该防止执行非安全操作(例如，非安全图像处理操作)的组件和装置访问任何存储装置，例如存储器的区域，其被定义为安全的。然而，安全环境内的组件(例如其可以执行安全图像处理操作)可以访问安全存储装置中的至少一些(并且在某些情况下为全部)。某些存储装置(例如非安全存储装置)可以存在于安全环境外部，在安全环境外部(例如在非安全环境中)的组件可以对其进行访问。在一些情况下，例如除了对安全存储装置的任何访问之外，安全环境内的组件还可以访问这样的非安全存储装置。例如，可以将存储装置划分成安全区域和非安全区域。安全环境内的组件可以访问两个区域，然而安全环境外部的组件可以仅访问非安全区域。如上所述，可以使用诸如
Figure BDA0002102637860000042
的
Figure BDA0002102637860000043
之类的嵌入式硬件技术来实现这样的划分和访问控制。
在方法100的项目101处，获得与图像相关联的第一图像数据。在一些情况下，例如，第一图像数据表示图像。在其他示例中，第一图像数据是从表示图像的图像数据导出的，如在下面示例中所描述的。
方法100的项目102涉及使用神经网络来处理第一图像数据，以在图像中识别对象。例如，神经网络可以被配置为确定属于一个或多个预定对象类的对象是否存在于与第一图像数据相对应的图像中。
项目103涉及确定所识别的对象属于预定对象类。例如，神经网络可以被配置为在图像中识别信用卡。因此，预定对象类可以是“信用卡”，并且例如，神经网络可以被配置为确定属于该类(即信用卡)的对象是否存在于图像中。在项目103处神经网络确定属于预定类(例如信用卡)的对象存在于图像中。
在项目104处，并且响应于确定所识别的对象属于预定对象类，第一图像数据的第一部分被分类为要用至少一个安全特征保护的图像数据，而第一图像数据的第二部分被分类为未应用所述至少一个安全特征的图像数据。例如，在预定对象类是“信用卡”的示例中，可以将与所识别的图像中的信用卡相对应的第一图像数据的第一部分分类为要保护的图像数据。可以将被确定为不包含属于预定类(例如信用卡)的对象的图像的其余部分分类为第二部分，例如不要用至少一个安全特征保护。在一些示例中，存在多种预定对象类。所述多种预定对象类中的一种或多种可以形成类的子集，使得方法100(在项目104处)涉及响应于确定所识别的对象属于类的子集中的一个，将第一图像数据的第一部分分类为要用至少一个安全特征保护的图像数据，并且将第一图像数据的第二部分分类为不要用至少一个安全特征保护的图像数据。
可以根据所实现的安全环境来应用至少一个安全特征。例如，将至少一个安全特征应用于数据可以将数据保留在安全环境内，然而不应用至少一个安全特征可以允许从安全环境释放数据。在一些示例中，要保护的数据(例如第一图像数据)被如此(例如使用元数据)标记，使得仅具有一定访问级别的某些组件可访问安全数据。例如，可以设置与要保护的数据相关联的比特字段或“标志”，使得对其的访问基于具有适当的访问权限(例如对应的标志)的组件被限制。因此，在这样的情况下，将至少一个安全特征应用于第一图像数据的第一部分可以包括设置与第一图像数据的限制对其的访问的第一部分相对应的数据值。该数据值可以是与第一图像数据的第一部分相对应的标志或其他数据(例如元数据)的值。
作为示例，第一图像数据的第一部分可以通过设置与其相关联的安全标志的值被标记为安全。例如，可以将所关联的安全标志设置为预定值(例如设置为指示数据安全的值‘1’，而不是指示数据不安全的值‘0’)。此后，安全图像数据可以仅被存储在被相应地标记为安全的存储装置中，并且/或者可以仅被具有对安全数据(和/或安全存储装置)的访问权限的组件(例如处理器)访问。在此示例中，可以通过还以与将图像数据标记为安全类似的方式设置与组件相关联的相应安全标志的值(例如设置为指示组件安全的值‘1’)，将组件标记为安全。因此，第一图像数据的第一部分可以仅被存储到安全组件和/或被安全组件访问，然而例如具有对应的安全标志值‘0’的非安全第二图像数据(从至少第二部分导出)可以被存储到非安全组件和/或被非安全组件访问。在示例中，可以限制由安全组件对非安全第二图像数据的存储和/或处理。例如，非安全图像数据可能不可存储在安全存储装置中和/或不可由安全处理器处理。安全环境可以实现规则，例如使得组件可以仅访问具有相同的安全标志值的数据。例如，安全处理器(例如具有关联的安全标志值‘1’)可以访问安全数据(例如具有关联的安全标志值‘1’)而不是非安全数据(例如具有关联的安全标志值‘0’或者没有安全标志)。如上所述，在其他规则示例中，安全组件可以访问安全和非安全存储装置或数据(例如具有相应关联的标志值‘1’或‘0’)。例如，可以使用上面引用的
Figure BDA0002102637860000061
技术来实现在这样的示例中设置安全标志值并控制访问权限。在其他示例中，可以使用其他技术来实现安全环境和/或应用至少一个安全特征。此外，例如根据用于实现安全环境的技术，可以附加地或可替代地在其他示例中应用其他类型的安全特征。
方法100的项目105涉及输出从至少第二部分导出的第二图像数据作为非安全图像数据。如上所述，例如根据所实现的安全环境，非安全图像数据可以包括未应用至少一个安全特征的图像数据。例如，将第二图像数据输出为非安全图像数据可以涉及将第二图像数据写入到非安全存储装置(例如未应用至少一个安全特征并且因此不在安全环境内的存储组件)。附加地或替代地，可以将第二图像数据输出到非安全域以用于进一步处理。例如，如上所述，可以使用与实现方法100的安全环境不同的硬件和/或利用与实现方法100的安全环境不同的安全协议来实现非安全域。在某些情况下，通过远程装置上的对象识别系统来实现方法100，例如所述对象识别系统使用远程装置上的图像传感器来捕获第一图像数据，并且经由通信地耦合远程装置和计算装置的网络将第二图像数据从远程装置输出到计算装置(例如服务器)。计算装置(例如通过第三方软件来实现)可以控制第二图像数据的进一步处理。
在一些示例中，第二图像数据包括第一图像数据的第二部分。在上面的示例中，“信用卡”类可能已被设置为预定对象类，使得图像的被确定为不包含信用卡的部分可作为非安全数据被从对象识别系统释放，例如进入到非安全域中。预定对象类的其他示例可以对应于包含私密或敏感信息的其他对象，诸如孩子的身份文件(例如护照)或人脸。在一些示例中，预定对象类可以对应于可以包括真实性将保持安全的信息的对象。例如，预定对象类可以涉及交通标志，例如限速标志，其包含要保持安全的交通信息，例如限速信息。例如，对象识别系统可以耦合到板载计算机装置或者形成板载计算机装置的一部分，所述板载计算机装置在这样的情况下耦合到或者安装在道路车辆内。
在示例中，第二图像数据包括第一图像数据的修改版本，其中第一部分在修改版本中被混淆。例如，将第一图像数据的第一部分分类为要保护的图像数据可以涉及：作为所描述的方法100的一部分，确定所识别的对象在图像中的位置。然后可以基于所确定的位置定义第一部分。例如，在一些示例中，第一部分可以包含所识别的对象，使得整个对象将被混淆为第一部分的一部分。在其他示例中，第一部分可以包括对象的一部分，例如信用卡的包括字母数字字符的某个部分，使得仅在修改版本中使对象的所述部分混淆。
在一些示例中，在使用神经网络来处理第一图像数据以在图像中识别对象之后，进一步处理第一图像数据以确定所识别的对象在图像中的位置。在其他示例中，用于确定所识别的对象在图像中的位置的处理可以作为以下操作的一部分或与以下操作同时被执行：处理第一图像数据以识别图像中的对象。
例如在第一图像数据的修改版本中使第一部分混淆可以涉及例如模糊、隐藏和编校第一部分中的至少一种。第一部分的其他类型的混淆是可能的。通常，可以修改第一图像数据以更改第一部分在作为非安全图像数据输出的第二图像数据中的外观。例如，可以更改与第一部分相对应的像素值以当例如在显示装置上显示第二图像数据时使第一部分混淆。以这种方式，当第二图像数据被显示时第一部分可以是难理解的。这允许第二图像数据作为非安全数据被使用，例如显示或者进一步处理，而不用从安全环境释放第一图像数据的原始第一部分(与属于预定类的对象相对应)。因此，例如，可在安全环境外部进一步处理包含信用卡的图像的修改版本，其中信用卡上的字母数字信息(诸如信用卡号)被混淆，例如以检测属于其他类的对象。例如，信用卡可以搁置在图像中的表面上，并且进一步处理可以被配置为在图像中检测这样的表面(例如用于用虚拟对象扩增图像)。因此，可以允许在安全环境外部进行对包括给定类型的对象(例如信用卡)的图像的进一步使用，然而不用从安全环境中释放与给定类型的对象相关联的特定信息。特定信息可能是敏感的、私密的等，并且旨在保持安全，例如未释放到非安全域。
在一些示例中，除了输出包括与第一部分(例如与所识别的对象的确定位置相对应的混淆区域)相对应的混淆的第二图像数据之外，还可以输出指示在第二图像数据中使混淆区域混淆的元数据。在示例中，元数据可以作为第二图像数据的一部分被包括。在其他示例中，可以单独地输出元数据。例如，元数据可以指示可在进一步处理期间忽视第二图像数据中的混淆。例如，如所描述的，可以在非安全域中进一步处理第二图像数据，例如以识别属于至少一个其他预定对象类的对象。指示进一步处理可以说明(例如忽视)混淆的数据(例如元数据)可降低在进一步处理中出错的可能性。例如，在预定对象类对应于孩子的脸的情况下，通过对象识别系统输出的第二图像数据可以包括与孩子的脸在图像中的位置相对应的图像数据的混淆。因此，如果要在非安全域中进一步处理第二图像数据，例如以识别人们并将他们定位在图像中，则由于混淆可能无法识别具有混淆脸的孩子。因此，元数据可以指示可以说明混淆(例如孩子的脸的)，例如可以不处理混淆区域，使得与处理第二图像数据而不说明其中的混淆相比较，未识别孩子的可能性降低(或者识别孩子的可能性仍然增加)。此外，指示进一步处理可以说明(例如忽视)第二图像数据中的混淆的数据(例如元数据)可减少针对第二图像数据的(一个或多个)对应区域的存储访问和/或计算的数量。
在示例中，除了第二图像数据之外，还可以输出数据(例如元数据)以指示感兴趣的位置或区域。例如，可以通过处理第一图像数据来在图像中检测属于另一类的另一对象。因此，除了第二图像数据之外，还可以输出指示与所检测到的另一对象在图像中的位置相对应的感兴趣区域的元数据。在例如通过非安全环境中的另一神经网络来进一步处理非安全第二图像数据的示例中，这可以允许进一步处理集中于感兴趣区域。例如，可以相对于感兴趣区域执行比图像的其余部分更多的存储访问和/或计算。
在某些情况下，如上所述，它是与要保持安全的某种类型的对象相关联的信息的真实性。例如，返回到预定对象类与交通标志或特别是限速标志相关的示例，第一部分可以与包含限速信息的交通标志上的字母数字字符对应。因此，例如由于已经被确定为不包含图像中识别的交通标志而被分类为不使用至少一个安全特征来保护的从第二部分导出的图像数据是根据图像处理方法100的项目105被输出为非安全数据的。第一部分可以被混淆并作为非安全图像数据的一部分被输出，例如在图像的修改版本中，如示例中所描述的。在其他示例中，第一部分可以不作为非安全图像数据的一部分被输出——例如，第二图像数据可以不包括与被分类为要保护的图像数据的第一部分相对应的图像数据。因此，与所识别的对象相关联的信息(例如，限速信息)可以不作为第二图像数据的一部分被输出并且所以未从安全环境释放。以这种方式，可进一步使用(例如处理)所输出的图像数据，而不用修改限速信息，使得其真实性被维持。
在一些示例中，例如在方法100的项目101处获得的第一图像数据被写入到安全存储装置。例如，除了输出图像(或特征图)的修改版本作为非安全图像数据之外，还可以安全地存储原始捕获的图像(或从其中导出的特征数据)。因此，与原始图像相关联的真实信息可以继续可被对象识别系统或对象识别系统耦合到或者为其一部分的计算装置访问。例如，所述计算装置可以是耦合到道路车辆(例如汽车)或者安装在道路车辆内的板载装置，并且预定对象类可以是限速标志，如示例中所描述的。因此，通过对象识别系统作为非安全数据所输出的第二图像数据可以在计算装置内被进一步处理，或者由此发送到外部装置，并且可以获得与图像相关联的进一步信息，例如属于另一对象类的对象的实例。进一步信息可以由计算装置使用，例如以显示给道路车辆的乘客。计算装置可以附加地或替代地从安全地存储的第一图像数据访问真实限速信息，例如作为第一部分的一部分的信息可能在第二图像数据中已被混淆或者根本未输出。真实限速信息可以由计算装置使用，例如，以引起对道路车辆的速度的控制。在其他示例中，计算装置可以在车辆内(例如在仪表板显示器上)显示真实限速信息或对应的警报消息。
在示例中，第一图像数据例如在被写入到安全存储装置或者在安全环境内的组件之间传送时被加密。例如，可以实现加密方案，使得第一图像数据在被存储或者传送之前被加密。可以通过对第一图像数据应用加密算法来对第一图像数据进行加密。在一些示例中，可以对第一图像数据应用散列函数(例如密码散列函数)。对第一图像数据进行加密和/或散列可以确保第一图像数据在获得它时尚未被篡改，例如以用于进一步处理。可以例如通过对象识别系统来对从安全环境输出的任何数据应用加密和/或散列，以类似地确保所输出的数据(例如非安全第二图像数据)在被外部装置接收之前未被修改。
图2示意性地示出用于与作为图像处理系统200的一部分的、本文描述的图像处理方法100一起使用的对象识别系统240。图2的图像处理系统200可以耦合到计算机装置或者形成计算机装置的一部分，所述计算机装置诸如是可以耦合到诸如汽车的车辆或者安装在诸如汽车的车辆内的个人计算机、膝上型电脑、智能电话或板载计算机装置。
图像处理系统200包括图像传感器210。图像传感器通常包括传感器像素的阵列，其可以是用于捕获图像的任何适合的光电传感器。例如，典型的传感器像素包括光敏元件，诸如可将入射光转换成电子信号或数据的光电二极管。传感器像素可以例如是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。此示例中的图像传感器210被布置为捕获表示图像的图像数据。图像可以形成视频的一部分，所述视频通常是顺序地捕获的图像的系列。例如，图像可以对应于视频的帧。
在图2中，图像传感器210被布置成经由相机串行接口(CSI)225将图像数据215传送到图像处理系统200的图像信号处理器(ISP)220。ISP 220可以执行图像数据215的初始处理以为显示准备图像数据。例如，ISP 220可以执行饱和度校正、再归一化、白平衡调整和/或去马赛克，但是这不应被视为限制性的。ISP 220可以是安全的，例如位于如图2中所示的安全环境205内。由ISP 220例如基于传送到其的图像数据215而生成的中间数据以及由ISP输出的图像数据230可以是安全的。例如，没有适当的访问权限的组件可能无法访问这样的安全中间数据和/或输出图像数据230。
图2的对象识别系统240被布置为从ISP 220接收图像数据230，其可以是由图像传感器210输出的图像数据215的处理后的版本。然而在其他示例中，对象识别系统240可以直接从图像传感器210接收图像数据215。例如，对象识别系统240可以包括用于执行从图像传感器210传送的图像数据215的初始处理的处理器。在另外的示例中，对象识别系统240可以从视频解码器(例如被实现为视频会议系统的一部分)接收图像数据215。例如，图像数据215可以对应于视频的一个或多个帧。
如上所述，对象识别系统240包括神经网络。神经网络可以用于处理由对象识别系统240接收到的图像数据，例如第一图像数据230。对象识别系统240然后可以例如依照上述的方法100的项目105来输出第二图像数据245。在图3中示意性地示出了神经网络300的示例。
神经网络300包括许多不同的层310、320、330、340、350。在图3中，神经网络300是卷积神经网络(CNN)。CNN的示例是VGG-16CNN，但是可以替代地使用其他CNN。典型的CNN包括输入层310、多个卷积层(在图3中示出了其中两个320、330)、多个全连接层(在图3中示出了其中的一个340)和输出层350。输入层310例如对应于神经网络300的输入，其在此示例中是图像数据。
图像数据例如宽224个像素且高224个像素并且包括3个颜色通道(诸如红色通道、绿色通道和蓝色通道)。卷积层通常从输入数据中提取特定特征，以创建特征图，并且可以在图像的小部分上操作。全连接层然后将特征图用于分类。
在图3的示例中，第二层320的输出在它被输入到第三层330之前经历池化(pooling)。池化例如允许聚合或者组合图像的区域或特征图的值，例如通过取区域内的最高值。例如，利用2×2最大池化，第二层320的输出在从第二层320输出的特征图的2×2补片内的最高值被用作第三层330的输入，而不是将第二层320的整个输出传送到第三层330。这减少神经网络300的后续层的计算量。这在图3中被示意性地示出为第三层330与第二层340相比较的大小减少。在第三层330与第四层340之间并且在第四层340与第五层350之间执行进一步池化。应当领会的是，为了易于图示已经大大简化了图3的神经网络300并且典型的神经网络可以是显著更复杂的。
通常，诸如图3的神经网络300这样的神经网络可以经历所称的“训练阶段”，其中神经网络被训练用于特定目的。如所描述的，神经网络通常包括形成有向加权图的许多互连的神经元，在所述有向加权图中，图的顶点(与神经元相对应)或边(与连接相对应)分别与权重相关联。可以在整个训练期间调整权重，从而更改个别神经元的输出并因此总体上更改整个神经网络的输出。在CNN中，全连接层通常将一个层中的每一神经元连接到另一层中的每一神经元，并且因此可以用于识别图像的总体特性，诸如图像是否包括特定类的对象或属于该特定类的特定实例。
在图3的示例中，神经网络300已被训练来通过处理图像数据来执行对象识别，例如以确定预定对象类的对象是否存在于通过图像数据所表示的图像中(但是在其他示例中，神经网络300可能已被训练来替代地识别图像的其他图像特性)。例如以这种方式训练神经网络300生成与至少一些层(诸如神经网络300的除输入层310和输出层350以外的层)相关联的一个或多个内核。因此，训练的输出可以是与预定神经网络架构相关联的多个内核(例如其中不同的内核与多层神经网络架构的不同的相应层相关联)。内核数据可以被认为对应于表示要应用于图像数据的权重的权重数据，因为内核的每个元素可以被认为分别对应于权重。这些权重中的每一个均可以被乘以图像补片的对应像素值，以如下所述将图像补片与内核进行卷积。
内核可以允许识别图像的特征。例如，内核中的一些可以用于识别通过图像数据所表示的图像中的边，而其他内核可以用于在图像中识别水平或垂直特征(但是这不是限制性的，并且其他内核是可能的)。内核识别的精确特征可以取决于神经网络300被训练来检测的图像特征，诸如对象类。内核可以具有任何大小。作为示例，每个内核可以是3×3矩阵，其可以按步幅1与图像数据进行卷积。内核可以与图像补片(或通过内核与图像补片的卷积而获得的特征图)进行卷积)以识别内核被设计来检测的特征。卷积通常涉及将图像补片(在此示例中为3×3图像补片)的每个像素或特征图的每个元素乘以内核中的权重，然后将此操作的结果加到应用于邻近像素或邻近特征图元素的相同操作的结果。步幅例如指代内核在每个操作之间被移动了的像素或特征图元素的数量。步幅1因此表明，在针对给定3×3图像补片计算出卷积之后，内核跨越图像滑动了1个像素并且针对后续图像补片计算卷积。可以重复此过程直到已经将内核与图像的全体(或要计算卷积的图像的整个部分)或者要与内核进行卷积的特征图的全体进行卷积为止。内核有时可以被称为过滤器内核或过滤器。卷积通常涉及乘法运算和加法运算(有时称为乘累加运算)。因此，被配置为实现神经网络(诸如图4的神经网络)的处理器或神经网络加速器可以包括被配置为执行这些运算的乘法器-累加器(MAC)单元。
在训练阶段之后，神经网络300(其可以被称为训练后的神经网络300)可以用于在输入图像中检测预定对象类的对象的存在。此过程可以被称为“分类”或“推理”。分类通常涉及将在训练阶段期间获得的内核与输入到神经网络300的图像的图像补片进行卷积以生成特征图。然后可以使用至少一个全连接层来处理该特征图以对图像进行分类。
在图3的示例中，第二层320涉及64个不同的内核与输入层310的图像数据的卷积。64个内核中的每一个均例如被布置为识别图像数据的不同的相应特征。在图像数据的大小为224×224个像素、具有3个颜色通道并且与大小为3×3个像素的64个内核进行卷积的说明性示例中，神经网络300的层104a涉及224×224×3×(3×3)×64个乘累加运算，即8600万次乘累加运算。还将存在与神经网络300的第三层330和第四层340中的每一个相关联的大量进一步的乘累加运算，其在此示例中涉及分别将前一层的输出与256个内核和512个内核进行卷积，其中神经网络300是VGG-16卷积神经网络。然而，如将领会的，其他神经网络可以涉及与不同数量的内核的卷积。然而，处理图像以识别图像特性(诸如预定类的对象或对象的特定实例的存在)通常涉及大量的数据处理操作，其中的每一个均消耗电力。
在图3的示例中，使用层320、330、340来处理通过神经网络300的输入层310接收到的图像数据以生成特征数据。图像数据可以表示通过图像传感器捕获的光的至少一个特性，诸如通过每个传感器像素捕获的光的强度，其可以与通过该传感器像素捕获的光子的数量成比例。强度可以表示所捕获的光的辉度，其例如是每单位面积的光的强度的量度而不是绝对强度。在其他示例中，图像数据可以表示捕获的光的亮度，其可以被认为对应于辉度的感知，所述感知可以或者可以不与辉度成比例。通常，图像数据可以表示可以用于表示通过图像数据所表示的图像的视觉外观的任何光度量或特性，或者可以从任何这样的光度量或特性导出。图像数据可以具有任何适合的格式，诸如原始图像格式。例如，可以从图像传感器流式传输图像数据，有或没有被保存到帧缓冲器，而不用将原始图像数据保存到存储器。在这样的情况下，然而，可以将在处理原始图像数据之后获得的图像数据写入到存储器。
在此示例中，神经网络300的层320、330、340可以用于生成表示图像的至少一个特征的特征数据。特征数据可以表示输出特征图，其可以被从诸如图3的神经网络300这样的CNN的卷积层输出。在神经网络300中可以存在比图3中所示的那些层或多或少的层。在神经网络300在输入层310与全连接层340和/或输出层350之间包括多个层320、330的示例中，如图3中所示，所述多个层320、330中的每一个均可以用于生成表示图像的至少一个特征的中间特征数据。可以将从这些层中的一个(例如层320)输出的中间特征数据输入到神经网络300的后续层(例如层330)，以识别通过输入到神经网络300的图像数据所表示的图像的另外的特征。
尽管在图3中未示出，然而应当领会的是，在已经通过图像传感器获得图像数据之后并且在通过神经网络300的层处理图像数据之前，可以对图像数据应用进一步处理。所述进一步处理可以通过图像处理系统的其他组件来执行或者作为神经网络300它本身的一部分被执行。
在神经网络300是CNN的示例中，如在图3中一样，神经网络300的至少一个层(在此示例中，层320、330中的每一个)分别可以是卷积层。神经网络300还包括全连接层340，其在图3中被布置为从卷积层330接收输出特征数据，所述输出特征数据例如表示输出特征图，并且处理该输出特征数据以生成对象数据。对象数据例如与神经网络300的输出层350对应。通过全连接层340所生成的对象数据可以提供神经网络300是否已在与图像数据相关联的图像中检测到预定类的对象的指示。在图3中，神经网络300仅包括一个全连接层340。然而，在其他示例中，神经网络300可以包括多个全连接层，其中这些全连接层中的一个的输出被后续全连接层接收为输入。
返回到图2，对象识别系统240包括至少一个处理器。例如，对象识别系统240可以包括中央处理器单元(CPU)。然而，在其他示例中，对象识别系统240可以包括其他或替代处理器，诸如被设计来执行本文描述的功能的微处理器、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其任何适合的组合。对象识别系统240还可以或者可替代地包括作为计算装置的组合实现的处理器，例如DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器或任何其他这样的配置。对象识别系统240还可以或者可选代地包括至少一个图形处理单元(GPU)。在示例中可以通过这些处理器中的一个或多个来实现图3的神经网络300。
在某些情况下，图2的对象识别系统240可以附加地或可替代地包括至少一个神经网络加速器。神经网络加速器例如是专用于使用神经网络来至少实现数据的分类的处理器。该至少一个神经网络加速器可以被配置为依照上述的神经网络示例(例如图3的神经网络300)来实现神经网络。在一些示例中，该至少一个神经网络加速器可以是被配置为实现多个神经网络(包括上述的示例神经网络300)的神经网络加速器(诸如单个或单一神经网络加速器)。在对象识别系统240将实现多个神经网络的其他示例中，可以通过对应的神经网络加速器来实现每个神经网络。
在示例中，被配置为实现神经网络300的对象检测系统240的至少一个处理器(例如神经网络加速器、GPU、CPU和/或DSP)可以支持单个安全域。例如，至少一个处理器可以保持在安全环境205中。在这样的情况下，对象检测系统240可以包括另外的至少一个处理器以获得第二图像数据245，例如以对其执行进一步处理。另外的至少一个处理器可以保持在安全环境205外部，例如在非安全域中。例如，可以对对象检测系统240进行分区，使得安全分区保持在安全环境205内并且非安全分区保持在安全环境205外部。在某些情况下，可以将对象检测系统240的一个或多个单独的处理器分割成相应的安全分区和非安全分区。在其他示例中，被配置为实现对象检测系统的神经网络300的至少一个处理器可以在安全域(例如安全环境205)与非安全域(例如在安全环境205外部)之间切换，如本文示例中所描述的。
在图4中示意性地示出了示例神经网络加速器的内部组件。神经网络加速器400包括多个ALU 410a、410b、410c、410d，统称为附图标记410。ALU 410被各自布置为执行乘累加运算，例如以便执行上面讨论的卷积。ALU 410还可以被布置为各自执行另外的运算，例如池化和/或激活运算。
神经网络加速器400包括接口440，经由所述接口440可以例如从对象识别系统240的其他组件(诸如另一处理器(例如CPU)的驱动器或存储装置)接收神经网络400的输入。每个ALU 410通常包括至少一个MAC单元(通常是MAC单元的阵列)，但是其他ALU是可能的。通常，ALU 410可以被认为是可以对二进制数执行算术和按位运算的任何电子电路。
可以通过神经网络加速器400经由接口440接收的输入的示例包括表示要使用神经网络来分类的图像的图像数据以及表示与训练之后的神经网络相关联的内核的内核数据。例如，可以通过对象识别系统240或者通过外部计算机装置或计算机系统(例如使用GPU)来训练神经网络。训练的输出可以是与预定神经网络架构相关联的多个内核(例如，其中不同的内核与多层神经网络架构的不同的相应层相关联)。内核数据可以被认为对应于表示要应用于图像数据的权重的权重数据，因为内核的每个元素可以被认为分别对应于权重。这些权重中的每一个均可以被乘以图像补片的对应的像素值，作为内核与图像补片的卷积的一部分。
图4的神经网络加速器400还包括直接存储器访问(DMA)430，其可以允许神经网络加速器400直接(例如独立于CPU)访问对象识别系统240的存储装置。这可以提高神经网络加速器400能够执行输入数据的分类的速度。例如，神经网络加速器400可以直接从存储装置(其可以是主存储器或系统存储器)访问要输入到分类过程的输入，而不必等待CPU可用。例如，图像数据、内核数据和/或参数数据可以被存储在对象识别系统240的存储装置中并且通过神经网络加速器400从存储装置中检索。
神经网络加速器400包括静态随机存取存储器(SRAM)420，其可以用于存储通过ALU 410实现的分类过程的输入。例如，SRAM 420可以是神经网络加速器400的片上或本地存储器，其通常访问起来比对象识别系统240的存储装置快。SRAM 420可以包括多个单独的存储区域。例如，图像数据可以被存储在与内核数据不同的存储区域中(但是在一些情况下，它们可以被存储在相同的存储区域中)。
图2的包括如所描述的神经网络的对象识别系统240可以执行安全图像处理操作，例如包括上面参考图1所描述的图像处理方法100的项目101-105中的一个或多个。在一些示例中，对象识别系统具有安全模式，在所述安全模式下对象识别系统被配置为执行安全图像处理操作，并且对象识别系统还具有非安全模式，在所述非安全模式下对象识别系统被配置为执行非安全图像处理操作。例如，可以例如通过控制器在安全模式与非安全模式之间切换对象识别系统240。在某些情况下，对象识别系统240的安全模式和非安全模式可以分别与对象识别系统240的至少一个处理器的安全模式和非安全模式对应。通过对象识别系统240(例如至少一个处理器)在执行安全图像处理操作时生成的中间数据可以是安全的。例如，可以将至少一个安全特征应用于这样的中间数据，例如以限制由其他组件对其的访问。
当处于安全模式下时，至少一个处理器(例如神经网络加速器)可以具有特定存储访问限制。这可确保神经网络加速器的操作将不会引起安全数据从安全域中泄漏的风险，例如泄漏到在对象识别系统的主处理器(CPU)上实现的操作系统。
在一个实施例中，作为整体的至少一个处理器(例如神经网络加速器)在非安全模式与安全操作模式之间切换(即至少一个处理器在任何一个时间仅做非安全处理或者仅做安全处理)。这可避免对于在加速器内部复杂地实现安全的需要。
在另一实施例中，安全模式与非安全模式之间的切换在地址空间基础上进行，使得至少一个处理器可以同时执行安全处理(操作)和非安全处理(操作)两者。在这种情况下，可以使用可信固件来执行模式切换。
切换过程可以确保从一旦对象检测系统(例如神经网络加速器)已被切换到其非安全操作模式就保持的安全操作模式起在对象检测系统中没有状态(例如数据等)(例如存储在其存储器中)。这帮助降低数据从安全域泄漏到非安全域的可能性。因此，在一个实施例中，将对象检测系统从其安全模式切换到其非安全操作模式的过程包括从安全操作清除任何存储的数据(例如，存储数据的高速缓存、寄存器等)(例如，触发任何存储的数据的清除)。从非安全模式到安全模式的反向切换可以不涉及清除加速器的内部状态。
在模式之间切换可以被以任何适合的方式执行，但是在示例中通过以下各项中的一个(或多个)来执行：使用可信固件来控制切换；与可信主机软件相结合地使用开放固件进行切换；完全通过可信软件；或者使用硬件实现的机制(例如其中对象识别系统具有能在从安全模式切换到非安全操作模式时被触发的硬件内部状态清除机制)。
在使用可信固件来控制切换的情况下，可以使用(可信)微控制器(MCU)来对非安全处理与安全模式处理之间的转换进行调度。例如，这可以作为神经网络加速器(子)系统的一部分被实现。可是，可以使用控制切换的其他方式。例如，在一种情况下硬件机制用于控制对象检测系统从安全模式到非安全模式的切换并且反之亦然。在这种情况下，可以存在可用于将对象检测系统(例如神经网络加速器)设置在其安全处理模式下(和/或在其非安全处理模式下)的硬件机制。
图像传感器210和ISP 220可以在安全环境205内形成安全子系统。因此，当对象识别系统240被切换成安全模式时，可以扩展安全环境205以包括对象识别系统。在其他示例中，整个图像处理系统200(例如包括图像传感器210、ISP 220和对象识别系统240)可能可在安全模式与非安全(例如“正常”)模式之间切换。例如，如上面参考对象识别系统240的至少一个处理器所描述的，图像处理系统200的图像传感器210和ISP 220可以在非安全模式与安全模式之间切换，例如在不同的模式下具有不同的存储访问能力。例如，当处于它们相应的安全模式下时，图像传感器210和ISP 220可以将图像数据输出到安全存储装置，当处于它们相应的非安全模式下时，图像传感器210和ISP 220(或任何其他组件)不可访问所述安全存储装置。即使在已经在图像中识别了与所述信息相关联的对象之前，这也可以允许不从安全环境205释放包括在图像中的信息。因此，可以不从安全环境205释放要保护的信息，因为通过对象识别系统240输出的非安全第二图像数据245可以不包含被分类为要保护的图像数据的图像数据(或者可以使这样的图像数据被混淆)。如上面示例中所描述的，图像处理系统200可以包括图像传感器210和ISP 220的附加或替代组件，诸如视频解码器。在某些情况下，图像处理系统200的组件可能可在安全模式与非安全模式之间切换。在其他情况下，组件可以是被配置为生成安全中间数据并输出安全数据的安全组件(例如在安全环境205中永久地操作)。可替代地可以存在安全且可切换的组件的混合物，例如被永久安全地布置为将数据输出到可在安全模式与非安全模式之间切换的对象识别系统240的ISP220或视频解码器。
如先前参考图1的项目105所描述的，对象识别系统240可以被配置为输出从至少第一图像数据的第二部分导出的第二图像数据作为非安全图像数据。这个输出操作是可通过对象识别系统240执行的安全图像处理操作中的一个。因此，在对象识别系统240可在安全模式与非安全模式之间切换的示例中，输出操作(项目105)可通过对象识别系统240在处于安全模式下时执行。在一些示例中，对象识别系统240可以被配置为当处于非安全模式下时，获得第二图像数据并且对其执行非安全图像处理操作。例如，作为当对象识别系统240处于安全模式下时输出第二图像数据(例如给外部计算机系统以用于进一步处理)的补充或替代，可以替代地将对象识别系统240切换成非安全模式以进一步处理第二图像数据。例如，可以在非安全模式下使用对象识别系统240的至少一个神经网络来处理第二图像数据，例如以确定与第二图像数据相对应的图像是否包括属于与预定对象类不同的另一对象类的对象。
在一些示例中，作为将第二图像数据输出为非安全图像数据的一部分，将第二图像数据传送到非安全环境中的另一神经网络。例如，另一神经网络可以是另一图像处理系统的一部分，所述另一图像处理系统被配置为接收第二图像数据，诸如作为第一部分被混淆的第一图像数据的修改版本，并且处理第二图像数据。另一神经网络可以具有与对象识别系统的神经网络的结构类似或相同的结构。例如，神经网络和另一神经网络可以在相应的安全和非安全操作模式下包括单个神经网络，如上面参考可在安全模式与非安全模式之间切换的对象识别系统所描述的。在其他示例中，另一神经网络是单独的神经网络，例如其可能已针对不同的图像处理操作被单独地培训。
在示例中，使用另一神经网络的至少一个层来处理第二图像数据以在图像中识别另一对象。例如，另一神经网络可以具有与图3中所示的示例神经网络300类似的结构。另一神经网络可以在输入层处接收第二图像数据，并且使用一个或多个另外的层来处理第二图像数据。例如，另一神经网络可以使用至少一个卷积层来处理第二图像数据以生成特征数据，例如一个或多个特征图。可以将另一神经网络的每层的输出作为输入馈送给另一神经网络的相应的后续层。另一神经网络可以包括至少一个全连接层，所述至少一个全连接层被布置为使用所生成的特征数据，例如特征图，以用于对象分类(如先前所描述的)。
在一些示例中，(在项目105处)作为非安全图像数据输出的第二图像数据包括特征数据，例如通过神经网络被布置为处理第一图像数据以在相关图像中识别对象(项目102)的层来生成。例如，参考图3的示例神经网络300，完连接层340被布置为接收并处理来自卷积层330的输出特征数据以生成对象数据(例如与输出层350对应)，所述对象数据可以提供神经网络300是否已在与第一图像数据相关联的图像中检测到预定类的对象的指示。从至少第一图像数据的第二部分导出(第二部分响应于确定图像包括属于预定对象类的对象而被分类为未被应用至少一个安全特征的图像数据)的第二图像数据可以包括通过神经网络300的中间层320、330所生成的特征数据。如所描述的，第二图像数据(例如包括特征数据)是从至少第一图像数据的第二部分导出的。
在某些情况下，神经网络300的一个或多个初始层可以对应于另一神经网络的一个或多个初始层，例如可以将非安全第二图像数据传送到另一神经网络的一个或多个初始层以用于进一步处理。例如，被训练来检测或者识别不同的图像特征或特性(例如不同的具体特征和/或对象)的神经网络仍然往往具有非常类似或相同的初始层。例如，神经网络的初始层可以识别更一般图像特征，其可以存在于各式各样的不同场景或对象的图像中。作为说明性示例，如果一个神经网络被训练来在图像中识别汽车并且不同的神经网络被训练来在图像中识别猫，则这些神经网络可以仍然共享类似或相同的初始层，其识别诸如图像中的边、拐角或脊这样的一般图像特征。然而，取决于神经网络已被训练来检测什么，这些神经网络中的后续层可以是不同的，以便执行较低级图像特征是否对应于特定对象类(例如汽车或猫)的较高级确定。可以在本文描述的示例中应用这种原理来减少对象识别方法和系统中的处理。例如，这些神经网络中的每一个的初始层可以用于从输入图像数据中提取彼此相同的较高级特征。
由于两个神经网络的初始层的功能中的这种重叠，可以绕过另一神经网络的一个或多个初始层。例如，可以将包括特征数据(例如输出特征图(OFM))的第二图像数据从原始神经网络300传送到另一神经网络的继其一个或多个初始层之后的层，例如而不将特征数据传送到其一个或多个初始层。在示例中，第二图像数据(例如从层320输出的特征数据)被写入到(非安全)存储装置，并且随后通过另一神经网络的继其一个或多个初始层之后的层来从存储装置中检索。
利用此方法，不是重做与通过神经网络的一个或多个初始层所执行的相同的初始处理，而是另一神经网络可以替代地读取从神经网络300的初始层输出的特征数据(例如从存储装置或者经由特征数据的直接传送)，这更高效并且可以减少通过另一神经网络所执行的处理量。在一些示例中，当另一神经网络被用于分类时，可以省略另一神经网络的一个或多个初始层(与神经网络300的那些初始层相对应)。例如，可以训练另一神经网络，使得其一个或多个初始层对应于神经网络300的一个或多个初始层。然而，一个或多个初始层可可能不一定存在于被布置为实现另一神经网络的处理器中或其他系统中。例如，在用于分类的另一神经网络的实现期间，这样的处理器或系统可以不包括或者访问与和一个或多个初始层相关联的权重相对应的权重数据。
在第二图像数据包括特征数据的一些示例中，第二图像数据可以不包括与第一部分相对应的特征数据。例如，被分类为要保护的图像数据的、与第一部分相对应的特征数据可以不作为非安全图像数据的一部分被输出。在其他示例中，第二图像数据可以包括与第一部分相对应的特征数据，其中第一部分被混淆。例如，返回到信用卡示例，包括特征数据的第二图像数据可以包括与识别的信用卡相对应的混淆区域。例如，在用于在相关图像中识别信用卡的处理期间生成的特征图可以具有与信用卡在特征图中的确定位置相对应的混淆区域。例如，混淆可以包括如先前所描述的模糊、隐藏和编校中的至少一种。
在某些示例中，第二图像数据包括依照上面示例的特征数据(例如特征图)以及与图像的修改版本相对应的图像数据。例如，第二图像数据可以包括特征图和修改的图像，其中第一部分在特征图和图像两者中被混淆。被配置为处理第二图像数据的处理器(例如神经网络加速器)然后可以选择特征图或修改的图像作为输入。例如，可以将第二图像数据输出到多个处理器，其中的一些被配置为处理作为输入数据的特征图，并且其他处理器被配置为处理作为输入数据的图像。因此，给定处理器可以酌情为给定处理器选择特征映射或修改的图像作为输入数据。
以另一神经网络可以获得作为第二图像数据输出的特征数据以用于处理的相同方式—在一些示例中，与图像相关联并通过神经网络300获得以用于处理的第一图像数据可以包括表示图像的至少一个特征的第一特征数据。例如，表示图像的原始图像数据可能已例如被不同的神经网络处理，以在通过对象识别系统作为第一图像数据被获得之前生成第一特征数据(并且可选地预处理)。因此，在示例中第二图像数据可以包括表示图像的至少一个特征(并且使用神经网络300来从第一图像数据的第二部分导出)的第二特征数据。
如先前描述的，将第一图像数据的第一部分分类为要用至少一个安全特征保护的图像数据可以涉及确定所识别的对象在与第一图像数据相关联的图像中的位置。在一些示例中，确定所识别的对象在图像中的位置可以涉及使用去卷积神经网络来处理通过神经网络在处理第一图像数据以在图像中识别对象期间输出的对象数据。如所描述的，对象数据(例如通过神经网络300的全连接层340来生成)可以提供是否已经在与第一图像数据相关联的图像中检测到预定类的对象的指示。
去卷积神经网络—也称为“去卷积网络”或“转置卷积神经网络”的一种神经网络—可以被认为是逆卷积神经网络，例如被布置为执行逆卷积模型的神经网络。在图5中示意性地示出了去卷积神经网络的示例。
去卷积神经网络500包括输入层510，例如其与去卷积神经网络500的输入对应。在此示例中，去卷积神经网络500的输入包括通过图5中所示的卷积神经网络300所输出的对象数据，所述图5中所示的卷积神经网络300对应于上述的图3的神经网络300—所对应的描述相应地适用。
去卷积神经网络500还包括全连接层520、去卷积层530、540和输出层550。在图5的示例中，输入层510的输出在它被输入到第二层520之前经历反池化(unpooling)。反池化例如操作来基本上反转通过卷积神经网络300所应用的池化。例如，反池化可以允许用于图像的区域或特征图的先前聚合或组合的值被解除组合。此反池化在图5中被示意性地示出为第二层520与输入层510相比较的大小增加。在第二层520与第三层530之间且在第三层530与第四层540之间执行进一步池化。应当领会的是，为了易于说明已经大大简化了图5的去卷积神经网络500并且典型的去卷积神经网络可以是显著更复杂的。
如先前所描述的，可以出于特定目的而训练去卷积神经网络。可以在整个训练中调整与去卷积神经网络的神经元或神经元之间的连接相关联的权重，从而更改个别神经元的输出并因此总体上更改神经网络的输出。在图5的示例中，去卷积神经网络500已被训练来基于获得的与图像相关联的对象数据确定识别对象在图像中的位置。内核可以与输入到去卷积神经网络500的层的图像数据(例如对象数据、特征数据)进行去卷积。例如，去卷积层530、540被布置为对由此接收到的数据应用去卷积操作以便定位通过卷积神经网络300所识别的对象。去卷积神经网络500的输出层550可以对应于被确定(例如估计)为包含所识别的对象的图像或特征图的位置(例如区域)。
在图5的示例中，卷积神经网络300具有第一多个层310-350，并且去卷积神经网络500具有与所述第一多个层相对应的第二多个层510-550。例如，所述第二多个层510-550中的至少一些可能可基于第一多个层310-350的对应层导出。例如，去卷积层530、540分别可以是卷积层330、320的转置版本。去卷积神经网络500可以被认为在其结构和/或处理方面镜像卷积神经网络300。在其他示例中，去卷积神经网络500可以包括比卷积神经网络300或多或少的层。在一些示例中，去卷积神经网络500可以具有不基于卷积神经网络300的结构的结构。
在一些示例中，如先前所描述的，通过对象识别系统所输出的第二图像数据包括通过卷积神经网络300的给定卷积层320、330所生成的特征数据，例如特征图。在这样的情况下，去卷积神经网络500可以具有与卷积神经网络300的给定卷积层320、330和后续层340、350相对应的层。例如，第二图像数据可以包括通过卷积神经网络300的第三层330所生成的特征数据，例如特征图，并且去卷积神经网络500因此可以具有与卷积神经网络300的第三层330和后续层340、350相对应的层510、520、530。在示例中，去卷积神经网络500可以在给定层330之前不包括与卷积神经网络300的任何层310、320相对应的层。因此，去卷积神经网络500可以对图像数据进行去卷积，直到与作为第二图像数据的一部分传送的特征图相对应的层。
上述示例将被理解为说明性的。设想了另外的示例。例如，在参考图所描述的示例中描述图像数据的情况下，例如作为所获得的第一感测数据，在其他示例中可以使用表示声音的音频数据。例如，第一感测数据可以包括第一音频数据。在一些示例中，第一感测数据可包括表示声音的至少一个特征的第一特征数据。例如，可以使用神经网络来处理音频数据以与针对图像数据所描述的方式类似的方式生成表示声音的至少一个特征的特征图。当(使用神经网络)处理音频数据时的对象类可以对应于音频数据的特性，诸如声音的来源，例如说话的特定人或发出声音的一种车辆。一些类可以涉及语音的特定方面，例如所说的语言、说话者的性别或语音的内容，例如特定单词或短语。
作为示例，第一感测数据可以包括表示所说的发言的音频数据。例如，返回到要使信用卡信息保持安全的情况，发言可以包括信用卡号。因此可以使用神经网络来处理音频数据以识别与所说的信用卡号相对应的对象并且确定该对象属于预定“信用卡号”对象类。例如，神经网络可以随着信用卡号被说出而学习信用卡号的格式(例如以四个为组说出的十六个数字的串)或者可以检测指示属于预定类的对象的其他对象(例如，像“我的信用卡号是...”这样的短语对象常常后面有属于信用卡号对象类的短语对象)。响应于确定，音频数据的第一部分(例如包括信用卡号对象)被分类为要用安全特征保护的数据，然而音频数据的第二部分(例如发言的其余部分)被分类为未应用安全特征的数据。从至少输入音频数据的第二部分导出的音频数据作为非安全数据被输出。
在一些示例中，与要保护的第一部分相对应的音频数据可以不作为输出音频数据的一部分被输出。在其他示例中，可以在输出音频数据中使第一部分混淆(如参考图像数据示例所描述的)。在输出音频数据中使第一部分混淆可以涉及使音频数据的第一部分失真，使得相应的音频(例如与所识别的属于预定类的对象相对应，诸如信用卡号或特定人说话)在播放输出音频数据时是难理解的。在示例中，可以通过减小第一部分的幅度或音量来使第一部分混淆，使得当播放输出音频数据时所对应的音频是听不见的。在另外的示例中，分可以通过用另一声音(例如音调或白噪声)掩蔽或者替换所对应的音频来使音频数据的第一部混淆。
在一些示例中，代替图2的图像信号处理器220或者除了图2的图像信号处理器220之外，还可以使用另一种数字信号处理器。例如，在第一感测数据包括第一音频数据的情况下，可以使用音频信号处理器。类似地，对视频解码器的引用可以用另一类型的解码器或编解码器(例如在处理音频数据的示例中为音频编解码器)替换。在音频数据作为第一感测数据被处理的替代示例中，图像传感器210可以替代地是诸如麦克风这样的音频传感器，或者通过诸如麦克风这样的音频传感器来补充。
还设想了其他示例，其中第一感测数据包括多于一种类型的感测数据，例如音频数据和图像(或“视觉”)数据两者。例如，预定对象类可以对应于特定人。可以将音频数据和视觉数据(例如图像数据、视频数据)处理为第一感测数据以识别其中的特定人。例如，可以将人识别为出现在第一感测数据的图像中，和/或第一感测数据的音频数据中的说话。被分类为要保护的数据的第一部分因此可以包括音频数据的相应第一部分和/或图像数据的相应第一部分。因此，在第一部分在非安全输出数据中被混淆的示例中，音频数据和/或图像数据可以包括经混淆的第一部分。例如，特定人可以在输出图像数据和/或输出音频数据中被混淆，例如移除或者掩蔽。在另一示例中，特定人可能在输出图像数据中被模糊(例如使得人是难以辨认的)，并且与人相对应的语音可能在输出音频数据中失真(例如使得人是难以辨认的)。
应当理解的是，关于任何一个示例所描述的任何特征可以被单独或者与所描述的其他特征相结合地使用，并且还可以被与任何其他示例的一个或多个特征或任何其他示例的任何组合相结合地使用。此外，在不脱离所附权利要求的范围的情况下，还可以采用上面未描述的等同物和修改。

Claims (10)

1.一种用于对象识别系统的数据处理的方法，所述对象识别系统包括神经网络，所述方法包括在安全环境中执行以下操作：
获得第一感测数据，所述第一感测数据表示通过传感器测量的物理量；
使用所述神经网络来处理所述第一感测数据，以在所述第一感测数据中识别对象；
确定所识别的对象属于预定对象类；
响应于确定，将所述第一感测数据的第一部分分类为要用至少一个安全特征保护的数据，并且将所述第一感测数据的第二部分分类为未应用所述至少一个安全特征的数据；以及
将从至少所述第二部分导出的第二感测数据作为非安全数据输出。
2.根据权利要求1所述的方法，其中，所述第一感测数据包括：
表示图像的第一图像数据；
表示所述图像的至少一个特征的第一特征数据；
表示声音的第一音频数据；或
表示所述声音的至少一个特征的第一特征数据。
3.根据权利要求1所述的方法，其中，输出所述第二感测数据包括：
将所述第二感测数据写入到非安全存储装置；以及/或者
将所述第二感测数据传送到非安全环境中的另一神经网络，
输出所述第二感测数据可选地进一步包括：使用所述另一神经网络的层来处理所述第二感测数据以在感测数据中识别另一对象，
可选地其中，所述神经网络和所述另一神经网络分别包括处于安全操作模式和非安全操作模式下的单个神经网络。
4.根据权利要求1所述的方法，包括将所述第一感测数据写入到安全存储装置。
5.根据权利要求1所述的方法，其中，将所述第一感测数据的所述第一部分分类为要保护的数据包括：
确定所识别的对象在所述第一感测数据中的位置；以及
基于所确定的位置限定所述第一部分。
6.根据权利要求5所述的方法，其中，确定所识别的对象在所述第一感测数据中的位置包括：使用去卷积神经网络来处理对象数据，所述对象数据是由所述神经网络基于处理所述第一感测数据以识别所述对象来输出的，
可选地其中，所述神经网络包括具有第一多个层的卷积神经网络，并且所述去卷积神经网络包括与所述第一多个层相对应的第二多个层。
7.根据前述权利要求中的任一项所述的方法，其中，所述第二感测数据：
包括所述第一感测数据的第二部分；或者
包括使用所述神经网络来从所述第一感测数据的所述第二部分导出的第二特征数据；并且/或者
是从所述第一部分和所述第二部分导出的，其中，与所述第一部分相对应的数据在所述第二感测数据中被混淆；并且/或者
包括所述第一感测数据的修改版本，其中，所述第一部分在所述修改版本中被混淆。
8.一种对象识别系统，所述对象识别系统包括神经网络，所述对象识别系统被配置为执行安全数据处理操作，所述安全数据处理操作包括：
获得第一感测数据，所述第一感测数据表示通过传感器测量的物理量；
使用神经网络来处理所述第一感测数据，以在所述第一感测数据中识别对象；
确定所识别的对象属于预定对象类；
响应于确定，将所述第一感测数据的第一部分分类为要用至少一个安全特征保护的数据，并且将所述第一感测数据的第二部分分类为未应用所述至少一个安全特征的数据；以及
将从至少所述第二部分导出的第二感测数据作为非安全数据输出。
9.根据权利要求8所述的对象识别系统，其中，所述对象识别系统包括：
安全模式，在所述安全模式下所述对象识别系统被配置为执行所述安全数据处理操作；以及
非安全模式，在所述非安全模式下所述对象识别系统被配置为执行非安全数据处理操作。
10.一种数据处理系统，所述数据处理系统包括：
根据权利要求8或9所述的对象识别系统；以及
被配置为执行安全数据处理操作的组件；
其中，所述对象识别系统被布置为从所述组件接收所述第一感测数据。
CN201910541299.4A 2018-06-22 2019-06-21 数据处理 Pending CN110633576A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1810306.9 2018-06-22
GB1810306.9A GB2574891B (en) 2018-06-22 2018-06-22 Data processing

Publications (1)

Publication Number Publication Date
CN110633576A true CN110633576A (zh) 2019-12-31

Family

ID=63042752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541299.4A Pending CN110633576A (zh) 2018-06-22 2019-06-21 数据处理

Country Status (4)

Country Link
US (1) US11062121B2 (zh)
KR (1) KR20200000361A (zh)
CN (1) CN110633576A (zh)
GB (1) GB2574891B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401541A (zh) * 2020-03-10 2020-07-10 湖南国科微电子股份有限公司 一种数据传输控制方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11740932B2 (en) 2018-05-04 2023-08-29 Apple Inc. Systems and methods for task switching in neural network processor
TW202044798A (zh) * 2019-01-30 2020-12-01 日商索尼股份有限公司 密碼化裝置、密碼化方法
US11507702B2 (en) * 2019-11-05 2022-11-22 Apple Inc. Secure mode switching in neural processor circuit
KR20210107288A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4136575A4 (en) * 2020-04-16 2023-06-14 Visa International Service Association COMPUTER SYSTEM, METHOD AND PRODUCT-PROGRAM FOR SCRAMBLING SENSITIVE DATA
US20210350264A1 (en) * 2020-05-07 2021-11-11 Baidu Usa Llc Method for obfuscated ai model training for data processing accelerators
US20220036158A1 (en) * 2020-07-29 2022-02-03 Apple Inc. Task skew management for neural processor circuit
US20220172700A1 (en) * 2020-12-01 2022-06-02 Western Digital Technologies, Inc. Audio privacy protection for surveillance systems
US11164046B1 (en) * 2020-12-07 2021-11-02 Deeping Source Inc. Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
CN112632564B (zh) * 2020-12-30 2024-04-05 绿盟科技集团股份有限公司 一种威胁评估方法及装置
EP4060554A1 (en) * 2021-03-17 2022-09-21 Robert Bosch GmbH A sensor for generating tagged sensor data
US20220318551A1 (en) * 2021-03-31 2022-10-06 Arm Limited Systems, devices, and/or processes for dynamic surface marking
US11995904B2 (en) 2021-03-31 2024-05-28 Arm Limited Systems, devices, and/or processes for dynamic surface marking
US11706381B2 (en) * 2021-05-24 2023-07-18 Getac Technology Corporation Selective obfuscation of objects in media content
US11652721B2 (en) * 2021-06-30 2023-05-16 Capital One Services, Llc Secure and privacy aware monitoring with dynamic resiliency for distributed systems
US20230056439A1 (en) * 2021-08-18 2023-02-23 The Boeing Company Credential-based data access and synthesis
KR20230069729A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 디스플레이 장치 및 그의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103089A (zh) * 2013-06-28 2015-11-25 谷歌公司 用于基于视频输入生成准确传感器校正的系统和方法
CN106295521A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 一种基于多输出卷积神经网络的性别识别方法、装置及计算设备
US20170316285A1 (en) * 2016-04-28 2017-11-02 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
CN107533642A (zh) * 2015-05-11 2018-01-02 奇跃公司 用于使用神经网络的生物特征用户识别的设备、方法和系统
CN107967917A (zh) * 2016-10-19 2018-04-27 福特全球技术公司 通过神经网络机器学习的车辆周围音频分类

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793756B2 (en) * 2006-12-20 2014-07-29 Dst Technologies, Inc. Secure processing of secure information in a non-secure environment
US8345921B1 (en) * 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
US20130035979A1 (en) * 2011-08-01 2013-02-07 Arbitron, Inc. Cross-platform audience measurement with privacy protection
US9565176B2 (en) * 2015-03-10 2017-02-07 Citrix Systems, Inc. Multiscreen secure content access
US20170309108A1 (en) * 2015-05-18 2017-10-26 Alex Sadovsky Network-implemented methods and systems for authenticating a check
US10242294B2 (en) * 2017-05-01 2019-03-26 Intel Corporation Target object classification using three-dimensional geometric filtering
EP3673413A4 (en) * 2017-08-22 2020-11-18 Alarm.com Incorporated PRIVACY WITH SURVEILLANCE
US10498973B1 (en) * 2018-10-26 2019-12-03 At&T Intellectual Property I, L.P. Physical object-based visual workspace configuration system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103089A (zh) * 2013-06-28 2015-11-25 谷歌公司 用于基于视频输入生成准确传感器校正的系统和方法
CN107533642A (zh) * 2015-05-11 2018-01-02 奇跃公司 用于使用神经网络的生物特征用户识别的设备、方法和系统
US20170316285A1 (en) * 2016-04-28 2017-11-02 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
CN106295521A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 一种基于多输出卷积神经网络的性别识别方法、装置及计算设备
CN107967917A (zh) * 2016-10-19 2018-04-27 福特全球技术公司 通过神经网络机器学习的车辆周围音频分类

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401541A (zh) * 2020-03-10 2020-07-10 湖南国科微电子股份有限公司 一种数据传输控制方法及装置

Also Published As

Publication number Publication date
US11062121B2 (en) 2021-07-13
KR20200000361A (ko) 2020-01-02
GB2574891A (en) 2019-12-25
US20190392194A1 (en) 2019-12-26
GB2574891B (en) 2021-05-12
GB201810306D0 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
US11062121B2 (en) Data processing
US11893486B2 (en) Digital watermarking of machine-learning models
US20240086681A1 (en) Secure convolutional neural networks (cnn) accelerator
US20200257913A1 (en) Liveness test method and apparatus
US11087562B2 (en) Methods of data processing for an augmented reality system by obtaining augmented reality data and object recognition data
CN113330499B (zh) 传感器装置和加密方法
WO2021137946A1 (en) Forgery detection of face image
Amerini et al. Deep learning for multimedia forensics
US10915734B2 (en) Network performance by including attributes
CN112052830A (zh) 人脸检测的方法、装置和计算机存储介质
US20200342285A1 (en) Data processing using a neural network system
CN113918990A (zh) 数据脱敏的处理方法和装置
CN112052832A (zh) 人脸检测的方法、装置和计算机存储介质
US20220116513A1 (en) Privacy-preserving reconstruction for compressed sensing
Bernacki Robustness of digital camera identification with convolutional neural networks
WO2022199395A1 (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
US11823433B1 (en) Shadow removal for local feature detector and descriptor learning using a camera sensor sensitivity model
CN112116565B (zh) 篡改翻拍图像的对抗样本生成方法、设备及存储介质
WO2020158539A1 (ja) 暗号化装置、暗号化方法
WO2020158541A1 (ja) センサ装置、暗号化方法
US20210049366A1 (en) Detecting Fake Videos
WO2021139169A1 (zh) 卡片识别方法、装置、设备及存储介质
TWI698757B (zh) 具有多個動態設定檔的智慧型引擎及操作智慧型引擎的方法
US11868446B2 (en) Method of operating neural network model using DRM package and method of processing data using the same
Cichowski et al. Visual data encryption for privacy enhancement in surveillance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220808

Address after: Britain Camb

Applicant after: Arm Ltd.

Address before: Cambridge County, England

Applicant before: Apical Ltd.

Applicant before: ARM Ltd.

TA01 Transfer of patent application right