CN113348644A - 传感器装置和加密方法 - Google Patents

传感器装置和加密方法 Download PDF

Info

Publication number
CN113348644A
CN113348644A CN202080010806.2A CN202080010806A CN113348644A CN 113348644 A CN113348644 A CN 113348644A CN 202080010806 A CN202080010806 A CN 202080010806A CN 113348644 A CN113348644 A CN 113348644A
Authority
CN
China
Prior art keywords
encryption
image
unit
target
sensor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080010806.2A
Other languages
English (en)
Inventor
高塚进
河本献太
铁川弘树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113348644A publication Critical patent/CN113348644A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/065Encryption by serially and continuously modifying data stream elements, e.g. stream cipher systems, RC4, SEAL or A5/3
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/001Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using chaotic signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541Rights Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • H04N21/43853Multiplex stream processing, e.g. multiplex stream decrypting involving multiplex stream decryption
    • H04N21/43856Multiplex stream processing, e.g. multiplex stream decrypting involving multiplex stream decryption by partial decryption, e.g. decrypting a multiplex stream that has been partially encrypted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627Rights management associated to the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实现了图像加密,其中,防止了信息的过度隐藏,同时通过消除图像接收侧采取措施防止个人信息泄漏的需要来实现成本的降低。根据本发明的传感器装置包括:阵列传感器,其中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;检测单元,基于通过用阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域;以及加密单元,基于由检测单元检测到的目标区域的信息,执行针对图像信号中的目标区域的加密。这使得可以在图像传感器中对通过阵列传感器成像而获得的图像信号进行加密,至少加密到不能识别出个人的程度。此外,根据在图像的接收侧保存解密密钥的状态,可以在隐藏个人信息的同时可视地识别图像的一部分内容。

Description

传感器装置和加密方法
技术领域
本技术涉及传感器装置和加密方法,尤其涉及与阵列传感器获得的图像信号的加密相关的技术领域。
背景技术
例如,基于通过用监视摄像机成像而获得的图像信号,可以使用存在于摄像机外部的图像分析装置(例如,云服务器等)来执行对图像中投影的对象(例如,人)的属性和行为的分析。例如,可以想象,通过分析由设置在商店中的监视摄像机捕捉的图像,可以获得诸如顾客性别和年龄等属性信息,并且可以识别顾客在商店中的行为(流线)并用于营销。
此外,作为相关的现有技术,下面的专利文献1公开了捕捉图像的加密。
现有技术文献
专利文献
专利文献1JP 2009-027333 A
发明内容
[技术问题]
在此处,在人自己或者能够识别该人的信息被投影到由相机捕捉的图像上的情况下,在近年来强烈要求个人信息保护的情况下,需要管理由相机捕捉的图像的一方(即,接收相机图像的一方)确保高水平的安全性,以防止个人信息的泄漏,这导致成本增加。
鉴于上述情况而提出本技术,其目的是实现图像加密,其中,防止了信息的过度隐藏,同时通过消除图像接收侧采取措施防止个人信息泄漏的需要来实现成本的降低。
[问题的解决方案]
根据本技术的传感器装置包括:阵列传感器,其中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;检测单元,基于通过用阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域;以及加密单元,基于由检测单元检测到的目标区域的信息,执行针对图像信号中的目标区域的加密。
因此,可以在图像传感器中对通过阵列传感器成像而获得的图像信号进行加密,至少加密到不能识别个人的程度。
此外,根据在图像的接收侧保存解密密钥的状态,可以在隐藏个人信息的同时可视地识别图像的一部分内容。
在根据上述本技术的传感器装置中,可以想到,在图像信号的加密中,加密单元基于第一加密密钥对整个图像进行加密,并且基于第一加密密钥和不同于第一加密密钥的第二加密密钥对目标区域进行加密。
因此,可以被解密的图像的一部分由图像的接收侧保存的解密密钥来区分。具体地,在仅保存对应于第一加密密钥的解密密钥的情况下,仅可以解密图像中除目标区域之外的区域,并且在保存对应于第一加密密钥和第二加密密钥的解密密钥的情况下,可以解密包括目标区域的整个图像。
在根据上述本技术的传感器装置中,可以想到,检测单元执行识别目标的特定部分的处理,并且加密单元基于目标区域中特定部分的区域和其他区域的不同加密密钥来执行加密。
因此,可以根据图像接收侧保存的解密密钥来改变目标的隐藏级别。例如,在目标是人的情况下,可以对隐藏级别进行分类,例如,全身的隐藏和仅面部的隐藏。
在根据上述本技术的传感器装置中,可以想到,包括:分析单元,分析目标的属性或动作;以及输出单元,输出表示由分析单元执行的分析结果的信息。
因此,即使在图像的接收侧不具有解密密钥的情况下,也可以提供目标的属性和动作的分析结果。
在根据上述本技术的传感器装置中,可以想到,检测单元通过使用即时法解密基于第一加密密钥加密的图像信号来执行对目标的检测。
因此,可以降低明文状态的图像信号泄漏的可能性。
在根据上述本技术的传感器装置中,可以想到,加密单元基于通过合成多个加密密钥而获得的合成密钥来加密图像信号。
因此,可以减少实现个人信息的隐藏级别逐渐改变的加密所需的加密处理的执行次数。
在根据上述本技术的传感器装置中,可以想象,加密单元在跟踪目标的同时执行针对目标区域的加密。
因此,在要加密的图像是运动图像的情况下,可以适当地隐藏运动目标。
在根据上述本技术的传感器装置中,可以想到,加密单元使用流密码法对图像信号进行加密。
因此,不需要图像信号加密的预处理。
在根据上述本技术的传感器装置中,可以想到,阵列传感器、检测单元和加密单元被配置在一个封装中。
因此,可以在硬件方面提高防篡改性。
在根据上述本技术的传感器装置中,可以想到,加密单元基于光电随机数生成加密密钥,并且基于所生成的加密密钥执行对图像信号的加密,所述光电随机数是基于由所述阵列传感器执行的光电转换而获得的随机数。
因此,可以实现比使用伪随机数的情况更难解密加密密钥的加密。
在根据上述本技术的传感器装置中,可以想到,加密单元对来自阵列传感器的像素的读取信号进行加密。
因此,可以防止明文图像信号在加密时存储在存储器中。
根据本技术的加密方法是一种加密方法,包括:基于通过用阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域,在阵列传感器中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;以及基于检测到的目标区域的信息,执行针对图像信号中的目标区域的加密。
利用这种加密方法,也可以获得与根据本技术的传感器装置相同的操作。
附图说明
图1是根据本技术的实施例的传感器装置的框图;
图2是示出基于光电随机数生成加密过滤器(加密密钥)的方法的示例的示图;
图3是示出根据实施例的由幅度控制电路执行的读取信号的加密图像的示图;
图4是示出在加密作为数字信号生成的读取信号的情况下传感器装置的配置示例的示图;
图5是示出实施例的传感器装置的结构示例的示图;
图6是示出实施例的传感器装置的结构的另一示例的示图;
图7是示出实施例的传感器装置的结构的又一示例的示图;
图8是示出为了实现第一实施例的加密而要执行的处理的过程的流程图;
图9是第一实施例中的分析结果数据的输出的说明图;
图10是用于解释将用于解密的密钥安全地传送到图像的接收侧的方法的示例的示图;
图11是示出在目标类别是人的情况下逐步加密的图像的示图;
图12是示出在目标类别是车辆的情况下逐步加密的图像的示图;
图13是用于解释逐步加密的具体方法的示例的示图;
图14是隐藏级别变化的示例的说明图;
图15是用于解释第二实施例的特定加密方法的示例的示图;
图16是用于解释第二实施例中的ROI的变型例的示图;
图17是示出第二实施例中的与从种子帧的成像到作为加密密钥的来源的随机数的存储的处理对应的处理的流程图;
图18是示出基于在第二实施例中生成的加密密钥加密目标图像的处理的流程图;
图19是第二实施例中的分析结果数据的输出的说明图;
图20是生成加密密钥的示例的说明图,其中,为每个颜色单元分配了随机值。
具体实施方式
在下文中,将按以下顺序描述实施例。
<1.第一实施例>
[1-1.传感器装置的配置]
[1-2.关于用于加密的随机数]
[1-3.关于作为处理目标的信号]
[1-4.关于防篡改性]
[1-5.处理程序]
[1-6.分析信息的输出示例]
[1-7.关于密钥传送]
<2.第二实施例>
[2-1.第二实施例的加密方法]
[2-2.处理程序]
[2-3.分析信息的输出示例]
<3.变型例>
<4.实施例的概述>
<5.本技术>
此外,在下面描述的实施例中,将例示用作图像传感器的传感器装置1,该图像传感器具有光接收元件阵列并且输出图像信号作为检测信号。特别地,本实施例的传感器装置1是通过图像分析具有对象检测功能的装置,并且可以被称为智能阵列传感器。
<1.第一实施例>
[1-1.传感器装置的配置]
图1示出了传感器装置1的配置示例。此外,图1还示出了作为与传感器装置1执行数据通信的外部装置的外部处理器11和外部传感器12。假设外部处理器11是连接到传感器装置1用于通信的通用处理器。
作为硬件,传感器装置1具有用作图像传感器装置、诸如DRAM(动态随机存取存储器)等存储装置和AI(人工智能)功能处理器的配置部分。此外,这三个部分通过形成为三层层叠结构、所谓的具有一层的平置结构或两层层叠结构(例如,存储器装置和AI功能处理器在同一层上)而被配置为集成装置。
如图1所示,传感器装置1具有阵列传感器2、幅度控制电路10、ADC(模数转换器)/像素选择器3、缓冲器4、逻辑单元5、存储器6、接口单元7和计算单元8。
阵列传感器2被配置为使得检测元件由可见光或不可见光的光接收元件形成,并且均具有光接收元件的多个像素一维或二维排列。例如,大量像素在行方向和列方向上二维排列,并且由于每个像素的光接收元件中的光电转换,输出二维图像信号。
另外,在以下描述中,用作图像传感器的阵列传感器2输出二维图像信号,但是传感器装置1中的阵列传感器2可以由设置声波检测元件的传感器阵列模块、设置触觉信息检测元件的传感器阵列模块等来配置。
幅度控制电路10对由阵列传感器2光电转换的电信号(模拟信号)执行幅度控制。在本示例中,幅度控制电路10被配置为使得可以基于来自计算单元8的指令来改变放大系数,这一点将在后面描述。
由阵列传感器2光电转换的电信号经由幅度控制电路10输入到ADC/像素选择器3。ADC/像素选择器3将作为模拟信号的输入电信号转换成数字数据,并输出作为数字数据的图像信号。
此外,ADC/像素选择器3具有用于阵列传感器2的像素(成像元件)的像素选择功能。因此,可以获取光电转换信号,并且仅针对阵列传感器2中的所选像素将其作为数字数据输出。即,ADC/像素选择器3通常输出光电转换信号,作为构成一帧图像的所有有效像素的数字数据,但是也可以仅输出光电转换信号,作为所选像素的数字数据。
ADC/像素选择器3以帧为单位获取图像信号,并且每一帧的图像信号被临时存储在缓冲器4中,在适当的时间被读出,并且用于逻辑单元5中的处理。
逻辑单元5对每帧的输入图像信号执行各种必要类型的信号处理(图像处理)。
例如,假设逻辑单元5通过诸如颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓增强处理等处理来执行图像质量的调整。此外,假设逻辑单元5执行用于改变数据大小的处理,例如,数据压缩处理、分辨率转换、帧速率转换等。
为由逻辑单元5执行的每种类型的处理设置用于每种类型的处理的参数。例如,具有诸如颜色和亮度校正系数、增益值、压缩率和帧速率的设置值。逻辑单元5使用为每种处理类型设置的参数来执行必要的处理。在本实施例中,计算单元8可以设置这些参数。
由逻辑单元5处理的图像信号存储在由例如DRAM等构成的存储器6中。
此外,假设存储器6是DRAM、SRAM(静态随机存取存储器)、MRAM(磁阻随机存取存储器)等。MRAM是一种磁性存储数据的存储器,已知它使用TMR(隧道磁阻)元件来代替磁芯。TMR元件具有由夹在磁性材料之间的几个原子构成的极薄绝缘层,并且其电阻根据磁性材料层的磁化方向而变化。即使当电源关闭时,TMR元件的磁化方向也不改变,从而产生非易失性存储器。由于随着尺寸变得更小,需要更大的写入电流,以便使存储单元更小,使用自旋注入磁化反转方法(自旋扭矩转移(STT))的STT-MRAM方法是已知的,在该方法中,具有均匀自旋的电子在不使用磁场的情况下流动用于写入。存储器6的具体示例还可以包括其他存储元件。
存储在存储器6中的图像信号由接口单元7在所需的时间发送并输出到外部处理器11等。
外部处理器11对从传感器装置1发送的图像信号执行图像分析和图像识别处理,以执行必要的对象检测等。
外部处理器11还可以参考外部传感器12的检测信息。
在此处,外部处理器11被认为以有线或无线方式连接到传感器装置1。
此外,包括传感器装置1的成像装置可以具有网络通信功能,并且还可以采用一种配置,其中,由传感器装置1获得的图像信号(捕捉图像信号)可以经由网络(例如,经由诸如互联网或局域网(LAN)等网络)被传输到成像装置外部的计算机装置(例如,云服务器等)。例如,在这种情况下,外部处理器11可以是例如云计算系统中的处理器。
计算单元8由例如一个AI处理器构造。另外,作为可执行的计算功能,如图所示,包括关键帧选择单元81、对象区域识别单元82、类别识别单元83、参数选择单元84、加密控制单元85和未授权访问检测单元86。此外,这些计算功能可以由多个处理器来配置。
关键帧选择单元81根据预定算法或指令执行从图像信号的帧中选择关键帧作为运动图像的处理。
对象区域识别单元82相对于由阵列传感器2光电转换并由ADC/像素选择器3获取的图像信号的帧,执行对象的区域的检测,该对象的区域用作围绕检测目标对象的图像(帧)中的检测目标对象的区域(边界框)的检测和识别处理的候选。
从图像信号中检测到的对象是为了从图像中识别的目的而可以作为检测目标的对象。尽管待检测对象的种类根据传感器装置1和外部处理器11的检测目的、处理能力、应用类型等而不同,但是此处任何对象都可以是检测目标对象。虽然仅示出了一些,但是例如任何类型的对象都是适用的,例如,动物、移动对象(汽车、自行车、飞机等)、自然对象(蔬菜、植物等)、工业产品和部件、建筑物、设施、山脉、海洋、河流、星星、太阳、云等。
此外,本示例中的对象区域识别单元82执行计算ROI(感兴趣区域)的处理,该ROI是基于边界框指示应该是处理目标的区域(感兴趣区域)的区域信息。
类别识别单元83执行由对象区域识别单元82检测的对象的分类。
类别是表示对象类别的信息,并且是通过对要检测的对象进行分类而获得的类别,例如,“人”、“汽车”、“飞机”、“轮船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”、“马”等。
参数选择单元84根据每个类别存储用于信号处理的参数,并且使用由类别识别单元83识别的检测对象的类别、边界框等来选择与其对应的一个或多个参数。此外,在逻辑单元5中设置一个或多个参数。
在此处,由上述计算单元8执行的各种功能的处理是通常不会在图像传感器中执行的处理,并且在本实施例中,在图像传感器中执行对象检测、类别识别和基于这些的控制。因此,可以将提供给外部处理器11的图像信号作为用于检测目的的适当信号,并且可以在不导致检测性能的恶化的前提下适当地减少数据量。
加密控制单元85执行控制,使得通过利用阵列传感器2成像而获得的图像信号被加密。此外,将再次描述由加密控制单元85执行的用于加密这种图像信号的处理的具体示例。
未授权访问检测单元86检测来自传感器装置1外部的未授权访问。具体地,本示例中的未授权访问检测单元86检测从外部对存储在存储器6中的数据的未授权访问。
在未授权访问检测单元86检测到未授权访问的情况下,其日志信息(例如,指示检测日期和时间、未授权访问的类型等的信息)记录在存储器6的预定区域中。
[1-2.关于用于加密的随机数]
虽然本实施例的传感器装置1在此处加密图像信号,但是传统上,作为用于加密的随机数,经常使用由软件生成的伪随机数。然而,由于伪随机数是由计算数值的算法生成的,并且不能生成真随机数,因此存在加密密钥可能被解密和复制的风险。
考虑到这一点,在本示例中,使用光电随机数来生成加密密钥。
光电随机数是基于阵列传感器2执行的光电转换获得的随机数。具体地,在本实施例中,获取通过阵列传感器2的光电转换获得的每个像素的电信号的值,作为光电随机数,以生成加密密钥。
图2示出了基于光电随机数生成加密过滤器(加密密钥)的方法的示例。
首先,在图的左侧示出了通过阵列传感器2的光电转换获得的每个像素的电信号值。具体地,在本示例中,通过阵列传感器2成像而获得的图像(静止图像)的每个像素值(亮度值)用作光电随机数。
在下文中,为了获得光电随机数而捕捉的帧图像(换言之,作为光电随机数的来源的帧图像)被称为“种子帧”。
在本示例中,每个像素的电信号的值本身不用作加密密钥,但是如在图的右侧所示,生成加密密钥,在该加密密钥的格式中,每个像素的电信号的至少一些值被分配给与从中获得电信号值的像素位置不同的像素位置。换言之,像素位置相对于作为光电随机数获得的每个像素的电信号的值变换,以生成加密密钥。
因此,与使用加密密钥的情况相比,其中,每个像素区域的电信号值直接分配给获得电信号值的像素位置,难以解密加密密钥,并且可以提高安全性。
在此处,在生成加密密钥时,也可以使用预定算法来调制和使用每个像素的电信号的值。例如,通过将每个像素的电信号值乘以预定系数获得的值可以用作像素的随机值。或者,在每个像素的电信号的值包括小数点后的值的情况下,也可以采用这样的方法:通过将最后几个小数位的值转换成整数而获得的值用作像素位置处的随机值。
此外,在生成加密密钥时,如上所述变换像素位置不是必需的,并且每个像素的电信号的值本身可以用作加密密钥。
[1-3.关于作为处理目标的信号]
传统上,在加密通过阵列传感器2成像而获得的图像信号的情况下,通常将从阵列传感器2读取的图像信号以明文状态临时存储在存储器中,并且对存储的图像信号执行加密。
然而,在采用这种加密方法的情况下,通过使用恶意软件等在加密时故意引起错误,将存储器的内容输出到转储文件中,以及复制放置在存储器中的明文,就有可能进行黑客攻击。
因此,在本实施例中,来自阵列传感器2的像素的读取信号被加密,使得明文图像信号不存储在存储器中。
具体地,在本示例中,由图1所示的幅度控制电路10执行根据对应于图2所示的用于从阵列传感器2的像素读取信号的加密密钥的系数的幅度控制,从而实现读取信号的加密。
图3是示出由幅度控制电路10执行的读取信号的加密图像的示图。
如图所示,来自阵列传感器2中的每个像素的读取信号(在这种情况下是电荷信号),通过幅度控制电路10中提供的放大器与对应于加密密钥的系数相乘。在图1所示的传感器装置1中,在模拟信号状态下控制每个像素的读取信号的幅度之后,该信号由ADC/像素选择器3进行A/D,并经由缓冲器4和逻辑单元5存储在存储器6中。
加密控制单元85在上述放大器中设置对应于加密密钥的系数,因此来自阵列传感器2中的每个像素的读取信号被加密。
此外,图3仅仅是图像图,并且不必为幅度控制电路10中的每个像素提供放大器。例如,在如在CCD(电荷耦合装置)图像传感器中执行批量读取的情况下,幅度控制电路10中包括的放大器可以是每个像素共用的一个放大器。此外,在这种情况下,通过时分来执行每个像素的幅度控制。
在此处,可以说,每个像素的读取信号是构成图像信号的信号。即,每个像素的读取信号在构成图像信号的一部分的意义上属于图像信号。
尽管上面给出了对作为模拟信号的读取信号进行加密的示例,作为对读取信号进行加密的示例,但是也可以对作为A/D转换后的数字信号的读取信号进行加密。
图4示出了在将读取信号加密为数字信号的情况下传感器装置1的配置示例。
在这种情况下,传感器装置1设置有幅度控制电路10A,代替幅度控制电路10,该幅度控制电路10A控制由ADC/像素选择器3转换成数字信号的读取信号的幅度。
此外,由于在这种情况下由加密控制单元85执行的处理是相同的,除了对应于加密密钥的每个像素的系数的设置目标从幅度控制电路10改变到幅度控制电路10A,所以将省略其重复描述。
在此处,当按照上述方法对模拟读取信号进行加密时,从外部未经授权地获取模拟信号是非常困难的,因此可以提高安全性。
此外,在模拟读取信号被加密的情况下,存在通过解密加密图像而获得的图像的再现性可能降低的问题。
然而,例如,在使用目标图像来分析诸目标(例如,人)的属性和行为的情况下,如果能够检测和分析目标,则图像再现性被认为是足够的,并且不存在实际问题。
另一方面,在数字读取信号被加密的情况下,可以提高加密处理的精度,并且可以提高图像再现性。
在此处,如上所述对读取信号执行的加密是一种使用流密码法的加密。流密码法是一种加密方法,其以预定的数据单元(例如,比特单元或字节单元)加密明文。
在流密码法中,不需要使加密目标信号的数据长度一致,因此,不需要对目标信号进行加密的预处理。因此,通过采用流密码法,可以加快加密处理。
[1-4.关于防篡改性]
在本示例的传感器装置1中,如图5所示,阵列传感器2、存储器6和计算单元8的每个芯片被封装在一个封装中,以便在硬件方面提高防篡改性。在图5的示例中,作为存储器6的芯片层叠在作为计算单元8的芯片上,并且作为阵列传感器2的芯片进一步层叠在作为存储器6的芯片上。
在本示例中,加密读取信号的加密单元形成在芯片中,例如,作为阵列传感器2。
此外,加密控制单元85包括在作为计算单元8的芯片中,该加密控制单元85基于光电随机数生成加密密钥,并使加密单元基于加密密钥执行加密。
在本示例中,使用Cu-Cu连接来实现芯片之间的电连接,其中,连接Cu(铜)焊盘,并且当试图拆卸传感器装置1时,这些芯片的电连接部分被破坏。即,这使得可以在硬件方面提高防篡改性。
图6示出了传感器装置1的结构的另一示例,与图5的不同之处在于,计算单元8和存储器6之间的垂直关系互换。
图7示出了传感器装置1的结构的又一示例,并且与图5的不同之处在于,存储器6的多个芯片被层叠(在该图的示例中为两层)。
此外,虽然未示出,但是传感器装置1可以具有两层结构,其中,存储器6形成在与计算单元8相同的层中,或者也可以具有一层结构,其中,阵列传感器2、存储器6和计算单元8形成在相同的层中。
通过采用如图5至图7所示的单封装配置,可以采取措施来增加对由于拆卸而从存储器6获取未授权信息的抵抗力,例如,上述Cu-Cu连接,并且可以在硬件方面提高防篡改性。
[1-5.处理程序]
接下来,将参考图8的流程图描述由计算单元8执行的处理程序,以便实现上述第一实施例的加密。
此外,下面描述的处理的至少一部分可以被实现为由硬件执行的处理。
首先,作为前提,本示例的计算单元8在激活时并且响应于由未授权访问检测单元86执行的未授权访问的检测,开始图8所示的处理。
通过响应于未授权访问的检测而开始图8所示的处理,响应于未授权访问的检测而执行光电随机数的获取(S101)和加密密钥的生成(S105)。即,响应于未授权访问的检测,重新获取光电随机数,并且基于重新获取的光电随机数重新生成加密密钥。因此,可以在软件方面提高防篡改性。
此外,图8所示的处理可以基于其他条件来开始,例如,响应于外部指令(例如,响应于操作输入的指令)而开始,或者以规则的间隔开始。
在图8中,计算单元8在步骤S101中执行静止图像捕捉处理。该静止图像捕捉处理是用于捕捉作为生成加密密钥的来源的静止图像的处理,并且计算单元8控制并使阵列传感器2捕捉一帧的图像(读出每个像素的电荷)。
在此处,作为生成加密密钥的来源的一帧图像(静止图像)在下面被称为“种子帧”。
通过在步骤S101中执行静止图像捕捉处理,作为种子帧的图像数据被存储在存储器6中。
在步骤S101之后的步骤S102中,计算单元8执行像素值均匀性检查处理。该均匀性检查处理是用于检查种子帧的每个像素的亮度值之间的均匀性的处理,具体地,计算单元8对亮度值为零或具有饱和值(最大值)的像素的数量进行计数。
此外,还可以通过针对读取信号的值执行均匀性检查处理来执行像素值均匀性检查处理。
在步骤S102之后的步骤S103中,计算单元8确定均匀性是否过度。具体地,确定在步骤S102中计数的像素数是否等于或大于预定阈值(例如,对应于有效像素数的30%至50%的值)。
在步骤S102中计数的像素数等于或大于上述阈值并且获得均匀性过度的确定结果的情况下,计算单元8前进到步骤S104,以执行擦除种子帧的处理,即擦除作为存储在存储器6中的种子帧的图像数据的处理,然后返回到步骤S101。
因此,种子帧可以响应于种子帧的像素值的随机性低的情况而被重新成像。即,响应于光电随机数的随机性低的情况,可以重新获取光电随机数。
因此,可以防止由基于具有低随机性的随机数的加密密钥执行加密,并且可以提高安全性。
另一方面,在步骤S103中,在获得计数像素数不等于或大于上述阈值并且均匀性不过度的确定结果的情况下,计算单元8前进到步骤S105,以生成加密密钥。具体地,在本示例中,基于种子帧中的每个像素的亮度值,生成表示为幅度控制电路10(或10A)中的每个放大器设置的系数的加密密钥。
在此处,在本示例中的步骤S105的处理中,不生成每个像素的亮度值被直接分配给从中获得亮度值的像素位置的格式的加密密钥,而是生成每个像素的至少一些亮度值被分配给与从中获得亮度值的像素位置不同的像素位置的格式的加密密钥。
这使得加密密钥难以解密,并且可以提高安全性。
在步骤S105之后的步骤S106中,计算单元8执行擦除种子帧的处理,即,通过步骤S101的图像捕捉处理擦除作为存储在存储器6中的种子帧的图像数据的处理。
通过执行该种子帧擦除处理,可以防止泄漏作为光电随机数的来源的图像和估计光电随机数。
例如,在计算单元8的处理能力大、种子帧的图像尺寸小等的情况下,没有必要将种子帧临时存储在存储器6中。在这种情况下,计算单元8(加密控制单元85)从例如幅度控制电路10(或10A)接收光电随机数,并经由步骤S102和S103的处理在步骤S105中生成加密密钥。在这种情况下,步骤S106的擦除处理是不必要的(当然,步骤S104的擦除处理也是不必要的)。
在接下来的步骤S107中,计算单元8擦除现有的密钥(如果有的话)。例如,在图8所示的处理以规则的间隔开始的情况下,通过过去执行的步骤S108的处理,加密密钥被存储在存储器6中。步骤S107的处理是在现有加密密钥存储在存储器6中的情况下擦除现有加密密钥的处理。
通过执行现有密钥的这种擦除处理,可以防止过去用于加密的加密密钥的泄漏,并且可以实现防止过去加密的信号的未授权解密。
在接下来的步骤S108中,计算单元8执行加密密钥存储处理。即,执行将在步骤S105中生成的加密密钥存储在存储器6中的处理。
响应于步骤S108中存储处理的执行,计算单元8完成图8所示的一系列处理。
在传感器装置1中,在步骤S108中存储的加密密钥用于加密通过利用阵列传感器2成像而获得的图像信号。具体地,在图8所示的处理完成之后,计算单元8(加密控制单元85)基于幅度控制电路10(或10A)中的每个放大器中存储的加密密钥来设置每个像素的系数,并且使得对通过利用阵列传感器2成像而获得的图像信号执行基于存储的加密密钥的加密。
在本示例中,假设阵列传感器2捕捉运动图像,并且对构成运动图像的每个帧图像执行由幅度控制电路10(或10A)执行的加密。
在此处,从以上描述可以理解,在本示例中,基于在不同于加密目标图像信号的帧周期中获得的光电随机数来执行图像信号的加密。
这增加了从加密图像估计加密密钥的难度,并且可以提高安全性。
此外,还可以基于在与加密目标图像信号相同的帧周期中获得的光电随机数来加密图像信号。
[1-6.传感器装置的输出信息]
在此处,计算单元8可以执行目标对象的属性和动作的分析,具体地,在本示例中,上述类别中的目标类别的对象。
例如,在通过阵列传感器2成像而获得的图像是商店中的监视图像的情况下,通过使用图像分析,可以分析作为目标的顾客(人)的数量、性别、年龄、高度、体重等属性,无论他们是否戴眼镜以及他们是否戴帽子,或者可以分析顾客的行为,例如,顾客在商店中的运动轨迹(流线)和姿势的变化。
或者,在通过阵列传感器2成像而获得的图像是在道路上行驶的车辆的监控图像的情况下,可以分析作为目标的车辆的类型和颜色、乘客的数量、乘客的性别等属性,或者可以分析诸如道路上的流线、速度等动作。
如图9所示,传感器装置1还可以采用这样的配置,其中,表示上述分析结果的数据(图中的“分析结果数据”)与已经对其执行了根据上述实施例的加密的运动图像数据(图中的“加密运动图像数据”)一起被输出到外部处理器11。
在这种情况下,接口单元7可以输出分析结果数据,作为加密的运动图像数据的元数据。或者,可以与加密的运动图像数据分开输出。
此外,关于分析结果数据,还可以想到,例如,外部处理器11侧向接口单元7指示必要的信息,并且接口单元7输出相应的信息。
在此处,在本示例的加密方法中,由于在读取信号时执行加密,所以需要对加密的图像信号进行解密,以便计算单元8执行对象检测和上述分析。在本示例中,计算单元8执行这些对象检测和分析处理,同时使用即时法解密存储在存储器6中的加密图像数据。即时法是一种处理加密数据的方法,同时以字节或字为单位对其进行解密。
这使得当从图像中进行对象检测或对检测到的对象进行分析时,可以降低明文状态的图像信号泄漏的可能性,并且可以提高安全性。
[1-7.关于密钥传送]
参考图10,将描述将用于解密的密钥安全地传送到图像的接收侧的方法的示例。该方法是一种使用公钥加密技术传送公共密钥的方法。
首先,图像的接收侧创建公钥和私钥,并将公钥传送到具有传感器装置1的相机装置100(图10中的A)。
在已经获取公钥的相机装置100侧,基于光电随机数生成的加密密钥用作如上所述的共同密钥,并且共同密钥被公钥加密并被传输到图像的接收侧(图10中的B)。
然后,在图像的接收侧,使用在图10中的A(图10中的C)中创建的私钥对传输的共同密钥(解密密钥)进行解密。
因此,图像的接收侧可以通过稍后使用解密的公同密钥来高速解密从相机装置100接收的加密的运动图像数据。图10中的D示意性地示出了使用共同密钥在相机装置100侧执行图像加密,并且图10中的E示意性地示出了由共同密钥加密的图像数据由图像的接收侧使用公共密钥解密。
此外,尽管用图10中的B所示的公钥加密共同密钥和用图10中规定C所示的私钥解密共同密钥大约需要几秒钟,但每次密钥传送只需要一次加密和解密。
<2.第二实施例>
[2-1.第二实施例的加密方法]
接下来,将描述作为第二实施例的加密方法。
此外,在以下描述中,与已经解释的部分相似的部分将由相同的附图标记表示,并且将省略其描述。在第二实施例中,传感器装置1的配置也与图1所示的相同,因此将省略其重复描述。
在第二实施例中,对图像信号的目标区域进行加密。
具体地,在第二实施例中,基于不同的加密密钥对整个图像和目标区域进行加密,并且在特定部分的区域和其他区域中基于不同的加密密钥对目标区域进行加密,由此根据保存在图像接收侧的解密密钥逐步改变信息的隐藏级别。
图11和图12是用于解释第二实施例中的逐步加密的图像的示图。
图11示出了当目标类别是人时逐步加密的图像。
图11中的A示出了加密之前的图像。在这种情况下,目标区域AT是图像中人被投影的整个区域。此外,在这种情况下,作为特定部分的区域的特定区域AS是人的面部区域。
图11中的B示出了仅加密特定区域AS的图像,图11中规定C示出了仅加密包括特定区域AS的目标区域AT的图像,图11中的D示出了加密整个图像的图像。
图12示出了在目标类别是车辆的情况下逐步加密的图像,并且图12A示出了加密之前的图像。
在这种情况下,目标区域AT是图像中车辆被投影的整个区域,并且特定区域AS包括车辆乘客和牌照的区域。
图12中的B是仅特定区域AS被加密的图像,图12中的C是仅包括特定区域AS的目标区域AT被加密的图像,并且图12中的D是整个图像被加密的图像。
在此处,图12中的A所示的加密前的图像是可以单独识别的个人信息,因为显示了乘客和牌照。因此,它不适合用于营销数据。
当图像仅在如图12中的B所示的特定区域中加密时,例如,为了车辆制造商的营销目的,可以确定车辆的类型和数量,而无需获得个人可识别信息,例如,包括驾驶员和牌照的乘客。当在图像中仅加密图12中的C所示的目标区域AT时,可以仅获取关于车辆数量和运动的信息,而不获取个人信息或车辆类型信息。例如,可以确定拥塞情况。
在图11和图12的示例的情况下,生成至少三种类型的支持整个图像的加密的第一加密密钥、仅支持目标区域AT的加密的第二加密密钥以及仅支持特定区域AS的加密的第三加密密钥,作为加密密钥。
图13是用于解释逐步加密的具体方法的示例的示图。
在本示例中,基于第一、第二和第三加密密钥的加密不是单独对目标图像执行的,但是基于通过合成这多个加密密钥而获得的合成密钥对目标图像执行加密。
首先,准备用于加密特定区域AT的第三加密密钥、用于加密整个目标区域AT的第二加密密钥和用于加密整个图像的第一加密密钥。在生成这三种类型的加密密钥时,可以获得三种类型的光电随机数(即,三种类型的种子帧被成像),但是在本示例中,为了缩短生成加密密钥所需的时间,从共同光电随机数生成三种类型的加密密钥。具体地,在本示例中,在生成三种类型的加密密钥时,首先,生成三种类型的随机数(以下分别称为第一随机数、第二随机数和第三随机数),其中,共同光电随机数中每个像素的数值的排列不同。
然后,第三加密密钥生成为通过从第三随机数的数值中提取特定区域AS的每个像素的数值而获得的加密密钥。
此外,第二加密密钥生成为通过从第二随机数的数值中提取目标区域AT的每个像素的数值而获得的加密密钥。
第一加密密钥生成为直接应用第一随机数生成的加密密钥。
然后,如图所示,生成通过合成这些第一、第二和第三加密密钥获得的加密密钥,作为合成密钥。
然后,基于合成密钥,目标图像被加密。
通过执行上述逐步加密,可以根据图像的接收侧保存的解密密钥来改变信息的隐藏级别。
图14是隐藏级别的变化的示例的说明图。
在此处,从级别0到级别3这4个级别被定义为与密钥保存相关的级别。如图所示,级别0表示没有密钥,级别1表示仅持有第一加密密钥,级别2表示持有第一和第二加密密钥的合成密钥,级别3表示持有第一、第二和第三加密密钥的合成密钥。
在级别0的情况下,加密图像不能在图像的接收侧被解密,并且可以获得整个区域被加密的图像。
在级别1的情况下,图像的接收侧可以通过使用第一加密密钥来解密除目标区域AT之外的区域,并且因此可以获得仅目标区域AT被加密的图像。
在级别2的情况下,图像的接收侧可以通过使用第一和第二加密密钥的合成密钥来解密除了特定区域AS之外的区域,因此可以获得仅加密目标中的特定区域AS的图像。
在级别3的情况下,图像的接收侧可以使用第一、第二和第三加密密钥的合成密钥来解密整个图像,并且在这种情况下,可以获得信息未被隐藏的图像。
在此处,在本示例中,由于加密目标图像是运动图像,所以作为图像中投影的目标的对象可以随着时间的流逝而在图像中移位。为此,在如上所述对目标区域AT执行加密的情况下,需要跟踪目标。
在下文中,将参考图15描述作为包括跟踪这种目标的第二实施例的加密的具体方法的示例。
此外,在图15中,目标类别被假设为“人”。此外,在图15中,为了便于说明,给出了在目标区域AT中不区分特定区域AC和其他区域,并且仅分别加密图像中的目标区域AT和其他区域的示例。
首先,图15中的A中所示的帧F1示出了目标类别中的人还没有在该帧中的状态。在此处,以在图像中识别不是目标类别的“树”的对象为例。
在此处,不管目标的存在与否,都对整个图像进行加密。即,在本示例中,幅度控制电路10(或10A)基于对应于整个图像的第一加密密钥对每个帧F的图像进行加密,然后存储在存储器6中。图15的每个子图中所示的白键标记指示已经对作为输出图像的整个图像执行了加密。
为了跟踪目标,计算单元8执行图像中对象区域的检测或类别识别(上述对象区域识别单元82和类别识别单元83的处理)。为了执行这些处理,计算单元8解密如上所述加密和存储的帧图像。即,计算单元8在解密基于第一加密密钥加密的帧图像的同时执行目标跟踪的处理。
计算单元8此时使用即时法执行解密。结果,可以降低当执行目标跟踪时明文图像信号泄漏的可能性,并且可以提高安全性。
图15中的B中所示的帧F2示出了“人”的目标类别在该帧中的状态。在这种状态下,目标类别“人”与已经识别的“树”一起被识别。
在以这种方式识别目标类别的对象的情况下,计算单元8(对象区域识别单元82)利用对象区域周围的精确位置坐标来执行边界框20的计算。
例如,图15中的C示出了作为目标类别的人的图像的边界框20的示例。即,计算边界框20,作为对应于目标类别的对象的更精确的区域。
此外,计算单元8(对象区域识别单元82)基于边界框20计算作为感兴趣区域的ROI21。
图15中的D示出了ROI 21和边界框20。ROI 21是通过例如放大(ax×by)边界框20的垂直和水平尺寸(x×y)来计算的。虽然可以针对垂直和水平方向分别设置放大比例a和b,并且其放大率可以是固定的,但是也可以想到,从外部(例如,外部处理器11等)指定传感器装置1。
在本示例中,将该ROI 21设置为目标区域AT,使用不同于整个图像的加密密钥来执行加密。
在此处,帧F2是在图像中新识别目标类别的帧,换言之,可以被称为目标类别发现帧。
在本示例中,由于采用了对来自像素的读取信号进行加密的方法,所以不能对目标类别发现帧中的ROI 21执行基于第二加密密钥的加密。已经对目标类别发现帧执行了仅基于第一加密密钥的加密,以将其存储在存储器6中。以这种方式,如果原样输出已经执行了仅基于第一加密密钥的加密的目标类别发现帧,则ROI 21的图像区域将被仅向第一加密密钥的保存者公开,而不被隐藏。
因此,在本示例中,从存储器6中擦除目标类别发现帧,从而实现根据图像的接收侧所保存的解密密钥的适当信息隐藏级别。
图15中的E表示帧F3,帧F3是紧接着帧F2的帧。
从目标类别发现帧旁边的帧F,执行基于针对ROI 21的第二加密密钥的加密。此处的ROI 21是在作为目标类别发现帧的帧F2时计算的ROI 21。
在作为目标类别的“人”正在移动的情况下,帧F3中的人进一步从帧F2向移动方向侧移动,但是通过将ROI 21设置为具有比边界框20更大的范围,作为目标类别的人可以容纳在帧F3中的ROI 21中。即,作为目标类别的人落在基于第二加密密钥的加密的目标范围内。
类似地,在帧F3之后,还计算目标类别的边界框20和ROI 21,从而跟踪目标类别(参见图15中的F)。
另外,在帧F4之后,如在帧F3中,在前一帧F中计算的ROI 21基于第二加密密钥被加密(见图15中的G)。
图15中的H示出了作为目标类别的“人”在帧外之后的帧Fn。不再计算ROI 21,因为目标类别不在帧内。为此,仅对帧Fn的图像执行仅基于第一加密密钥的加密。
在以上描述中,已经描述了将通过放大边界框20而获得的矩形区域设置为ROI 21的示例,但是ROI 21不限于矩形区域。
可以使用例如语义分割,即,像素级的对象区域检测,从目标类别的对象的区域计算ROI 21。
图16示出了基于语义分割的ROI 21。这是通过扩展作为对象(例如,人)的像素区域来设置非矩形ROI 21的示例。
矩形ROI 21可以不包括一部分,或者在例如具有突起的卡车、骑自行车的人等的情况下可以太大。当根据像素级别的对象位置的位置生成非矩形ROI 21时,可以适当地设置与目标相关的隐藏区域,而没有多余或不足。
[2-2.处理程序]
将参考图17和图18的流程图描述由计算单元8执行的处理程序,以便实现如上述第二实施例的加密。
图17示出了对应于从对种子帧成像到存储作为加密密钥源的随机数的过程的处理。此外,在图17中,相同的步骤编号被分配给与已经在图8中描述的相同的处理,并且将省略其描述。
类似于图8的处理,图17的处理在激活时开始,并且响应于由未授权访问检测单元86执行的未授权访问的检测。或者,处理可以基于其他条件开始,例如,以规则的时间间隔开始。
此外,参考图17和图18描述的处理的至少一部分可以实现为使用硬件的处理。
在图17中,在这种情况下计算单元8在步骤S103中确定均匀性过度的情况下,计算单元8前进到步骤S201,以在每个级别生成随机数。在此处,由于在目标区域AT中没有区分特定区域AS,所以生成两种类型的随机数,即上述的第一随机数和第二随机数。
此外,由于已经描述了基于种子帧的光电随机数生成各种随机数的方法,因此将省略其重复描述。
在这种情况下,响应于在步骤S201中执行随机数生成处理,计算单元8在步骤S106中执行种子帧擦除处理。
然后,响应于在步骤S106中执行擦除处理,计算单元8在步骤S202中执行擦除任何现有随机数的处理。即,在过去执行的步骤S203的处理中,当存在存储在存储器6中的每个级别的随机数(第一随机数和第二随机数)时,是擦除随机数的处理。
在步骤S202之后的步骤S203中,计算单元8执行将在步骤S201中生成的每个级别的随机数存储在存储器6中的处理,并结束图17所示的一系列处理。
图18示出了用于基于生成的加密密钥加密目标图像的处理。
首先,计算单元8在步骤S301中等待加密目标图像的成像开始,并且当成像开始时,在步骤S302中使用第一加密密钥执行加密处理。即,基于第一加密密钥指示幅度控制电路10(或10A)每个像素的系数,并促使执行阵列传感器2的读取信号的加密。从以上描述可以理解,在本示例中,第一加密密钥是第一随机数照原样应用的加密密钥。
在步骤S302之后的步骤S303中,计算单元8执行对象区域识别处理,并在随后的步骤S304中执行类别识别处理。步骤S303中的对象区域识别处理是上述对象区域识别单元82的处理,并且执行从当前帧的图像检测候选对象并识别其对象区域的处理。此外,步骤S304中的类别识别处理是上述类别识别单元83的处理,并且对在上述对象区域识别处理中检测到的对象执行类别识别。在检测到多个对象或多种类型的对象的情况下,对每个对象执行类别识别,并且将它们分类为每个类别中。例如,在上述图15B的情况下,例如,执行类别识别和分类,使得存在类别“树”的一个对象和类别“人”的一个对象。
此外,计算单元8执行步骤S303和S304的处理,同时使用即时法解密在步骤S302和在后面描述的步骤S313中加密的帧图像。
在步骤S304之后的步骤S305中,计算单元8确定是否存在目标类别。即,确定在步骤S304中识别的类别中是否存在目标类别。
如果不存在目标类别,则计算单元8在步骤S306中等待下一帧(等待下一帧周期的到达),然后返回到步骤S302。即,直到检测到目标类别,逐帧重复执行步骤S302中的整个图像的加密处理、步骤S303中的对象区域识别处理和步骤S304中的类别识别处理。
在步骤S305中确定存在目标类别的情况下,计算单元8前进到步骤S307,以计算边界框20,然后在步骤S308中计算ROI 21。
此外,在接下来的步骤S309中,计算单元8生成合成密钥,其中,将第二随机数的数值仅应用于ROI 21的第二加密密钥和第一加密密钥进行组合。
响应于步骤S309中合成密钥的生成,计算单元8在步骤S310中确定它是否是目标类别发现帧。如果当前帧是目标类别发现帧,则计算单元8在步骤S311中执行擦除目标类别发现帧的处理。结果,即使密钥保持级别是级别1,也可以防止目标类别发现帧的目标图像部分不被隐藏。
在步骤S310中,如果当前帧不是目标类别发现帧,则计算单元8跳过步骤S311的擦除处理,并在步骤S312中执行等待下一帧的处理。此外,当执行步骤S311的擦除处理时,计算单元8还在步骤S312中执行等待下一帧的处理。
响应于在步骤S312中执行等待处理,计算单元8在步骤S313中使用在前一帧中生成的合成密钥来执行加密处理。即,基于合成密钥指示幅度控制电路10(或10A)每个像素的系数,以执行阵列传感器2的读取信号的加密。
在步骤S313之后的步骤S314中,计算单元8确定成像是否完成,即,加密目标图像的成像是否应该终止,例如,当给出外部成像结束指令时,诸如此类。
如果成像没有完成,则计算单元8返回到步骤S303。因此,重复到目前为止描述的处理,直到成像完成。即,如果目标类别持续存在,则执行目标类别的ROI的计算、基于计算的ROI的合成密钥的生成、以及基于在前一帧中生成的合成密钥的加密处理,并且如果不再存在目标类别,则不执行使用合成密钥的加密处理,并且执行使用第一加密密钥的加密处理。
当成像完成时,计算单元8结束图18所示的一系列处理。
此外,在本示例中,ROI 21被设置为边界框20的扩展区域,以能够在下一帧中包括作为目标的对象,但是也可以想到,当垂直和水平尺寸(x×y)被放大(ax×by)时,放大比例a和b对应于帧速率。
例如,如果帧速率低,则帧间隔时间变长,并且对象(例如,人)的移动量增加,因此与帧速率高的情况相比,可以想到,加宽ROI 21。
此外,在通过将特定部分与其他区域区分开来对目标区域AT执行加密的情况下,使用与上述方法相同的方法为特定部分计算边界框20和ROI21,并且通过将第三随机数的数值应用于计算出的ROI 21来生成第三加密密钥。然后,可以生成通过合成第一、第二和第三加密密钥而获得的合成密钥,并将其用于加密下一帧的图像。
[2-3.分析信息的输出示例]
此外,在第二实施例中,传感器装置1还可以被配置为将分析结果数据与加密的运动图像数据一起输出(参见图9)。
此时,在第二实施例中,由于执行针对目标区域AT的加密,所以分析结果数据不限于文本数据,并且可以是能够显示为图像的数据,例如,如图19所示。
在图19中,图19中的A表示加密前的原始图像。
图19中的B是作为在图像上显示针对目标(此处是“人”)分析的属性信息的示例,目标的性别信息通过附加到加密目标区域的颜色可区分地显示的示图。
此外,图19中的C是通过目标的分析处理获得的姿势信息Ib以加密状态在目标区域上叠加并显示的示例。
通过以这种方式执行针对目标区域的加密,可以提供使得更容易理解目标的属性和行为的分析结果的图像,同时确保个人信息的机密性。
近年来,店内相机图像用作营销数据的情况越来越多。在这种情况下,不需要识别单个客户,而需要客户的属性分析和行为分析等信息。图19中的A中的图像是可单独识别的数据,并且是高度机密的信息,因此需要具有高安全措施的系统,导致高成本。图19中的B中所示的图像作为营销数据是有用的,因为可以看到商店中顾客的流线和男女的属性。由于可以在图19中C所示的图像中进一步识别顾客的姿势,所以可以确定拿起产品或试穿但没有购买的顾客的行为,从而可以将其用作高价值营销数据。
因为在图19中B的图像和图19中C的图像中都不能识别个人,所以与图19中A的图像相比,具有可在低成本安全措施系统中操作的优点。此外,使用配备有作为实施例的传感器装置1的相机,因此即使恶意软件安装在店内相机上,也没有明文数据,并且提供了没有被黑客攻击的风险的效果。
<3.变型例>
此外,实施例不限于迄今为止描述的具体示例,并且可以考虑各种变型例。
例如,虽然上面没有具体提到,但是本技术也可以适当地应用于使用具有基于例如拜耳阵列的滤色器的阵列传感器2并且获得彩色图像作为捕捉图像的情况。
在使用具有滤色器的阵列传感器2的情况下,例如,由垂直线×水平线=多个像素×多个像素组成的预定多个像素被视为一个颜色单元,并且针对每个颜色单元组合像素值,以获得颜色信号值,例如,RGB值。例如,如果采用拜耳阵列,则将其上形成RGGB滤色器的垂直线×水平线=2×2=4个像素视为一个颜色单元,并且针对每个颜色单元组合RGGB的每个像素值(亮度值),以获得一组RGB值。
在使用具有滤色器的阵列传感器2的情况下,也可以生成为每个颜色单元分配随机值的加密密钥,作为用于图像加密的加密密钥。
图20是生成加密密钥的示例的说明图,其中,为每个颜色单元分配了随机值。
在图20中的A的示例中,颜色单元中的一个像素的亮度值被分配为单元中每个像素的随机值。具体地,在该图的示例中,左上角像素的亮度值被分配为每个颜色单元的单元中的每个像素的随机值。
在图20中的B的示例中,通过使用单元中像素的亮度值的预定计算计算的值被分配为每个颜色单元的每个像素的随机值。作为一个具体的示例,可以想到,将单元的中每个像素的亮度值的平均值分配为每个颜色单元的单位中每个像素的随机值。即,就位于图中左上角的颜色单元而言,Vmix1=(V1+V2+V7+V8)/4。
在这种情况下,不一定执行使用单元中所有像素的亮度值的计算,也可以仅使用一些像素的亮度值来执行计算。例如,它被设置为Vmix1=(V1+V7)/2等。此外,平均值不一定用于每个单元。例如,可以想到,将每个像素的亮度值的总值分配给每个单元,例如,Vmix1=V1+V2+V7+V8。
如上所述,通过生成为每个颜色单元分配随机值的加密密钥,与为每个像素分配随机值的情况相比,可以减少处理负荷。
此外,在上面,已经描述了加密目标信号是使用光电随机数加密的图像信号的示例,但是加密目标信号不限于图像信号。
此外,在上面,已经描述了在加密来自阵列传感器2的像素的读取信号的方法和加密目标区域的方法中光电随机数用于加密的示例,在这些方法中用于加密的随机数不限于光电随机数。例如,可以使用伪随机数。或者,在使用真随机数的情况下,例如,可以提及用相应的传感器检测自然现象(例如,热或声音的变化,这实际上是不可能预测或再现的)并基于这些值生成随机数的方法。
<4.实施例的概述>
如上所述,如第一实施例中所述,该实施例的加密装置(传感器装置1)包括:加密密钥生成单元(加密控制单元85),基于光电随机数生成加密密钥,所述光电随机数是基于阵列传感器(阵列传感器2)执行的光电转换而获得的随机数,在所述阵列传感器中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;以及加密单元(幅度控制电路10或10A),基于由加密密钥生成单元生成的加密密钥对目标信号进行加密。
因此,可以实现比使用伪随机数的情况更难解密加密密钥的加密。
因此,可以提高安全性。
此外,在该实施例的加密装置中,加密密钥生成单元获取通过光电转换获得的每个像素的电信号的值,作为光电随机数,以生成加密密钥。
因此,可以生成难以解密的加密密钥。
因此,可以提高安全性。
此外,在该实施例的加密装置中,加密单元基于加密密钥对通过利用阵列传感器成像而获得的图像信号执行加密。
因此,可以用加密密钥对图像信号执行加密,用于加密的系数被分配给阵列传感器的每个像素。
因此,不需要执行用于加密图像信号的复杂计算处理,并且可以提高加密处理速度。
此外,在该实施例的加密装置中,加密密钥生成单元以这样的格式生成加密密钥,在该格式中,每个像素的电信号的至少一些值被分配给与从中获得电信号值的像素位置不同的像素位置。
因此,与使用加密密钥的情况相比,难以解密加密密钥,在加密密钥中,每个像素的电信号值被直接分配给从中获得电信号值的像素位置。
因此,可以提高安全性。
此外,在该实施例的加密装置中,加密密钥生成单元基于在与要由加密单元加密的图像信号的帧周期不同的帧周期中获得的光电随机数来生成加密密钥。
因此,从加密图像估计加密密钥的难度增加。
因此,可以提高安全性。
此外,在该实施例的加密装置中,在已经在至少一些像素中识别电信号值的均匀性的情况下,加密密钥生成单元重新获取光电随机数。
因此,可以防止由基于具有低随机性的随机数的加密密钥执行加密。
因此,可以提高安全性。
此外,在本实施例的加密装置中,加密密钥生成单元、加密单元和阵列传感器被配置在一个封装中。
因此,可以在硬件方面提高防篡改性。
因此,可以提高安全性。
此外,在该实施例的加密装置中,加密密钥生成单元响应于检测到来自加密装置外部的未授权访问,重新获取光电随机数。
因此,在检测到来自外部的未授权访问之后,可以基于重新获取的光电随机数来执行加密。
因此,可以提高安全性。
此外,在该实施例的加密装置中,响应于光电随机数的重新获取,加密密钥生成单元从存储器中擦除先前生成的加密密钥。
因此,可以防止过去用于加密的加密密钥的泄漏。
因此,可以防止对过去加密的信号进行未经授权的解密,并且可以提高安全性。
此外,在该实施例的加密装置中,加密密钥生成单元响应于加密密钥的生成,从存储器中擦除作为光电随机数的来源的图像信号。
因此,可以防止泄漏作为光电随机数的来源的图像以及估计光电随机数。
因此,可以提高安全性。
此外,在该实施例的加密装置中,加密单元使用流密码法加密目标信号。
因此,不需要对目标信号的加密进行预处理。
因此,可以加快加密处理。
此外,该实施例的加密方法是一种加密方法,包括:基于光电随机数生成加密密钥,该光电随机数是基于阵列传感器执行的光电转换获得的随机数,在阵列传感器中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;以及基于生成的加密密钥执行目标信号的加密。
利用这种加密方法,也可以获得与上述实施例的加密装置相同的操作和效果。
此外,如第一实施例所述,本实施例的传感器装置(传感器装置1)包括阵列传感器(阵列传感器2)和加密单元(幅度控制电路10或10A,或加密控制单元85),在阵列传感器(阵列传感器2)中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列,加密单元加密来自阵列传感器的像素的读取信号。
通过以这种方式执行读取信号的加密,可以防止明文图像信号被存储在存储器中。
因此,可以提高安全性。
此外,在本实施例的传感器装置中,加密单元具有第一幅度控制单元(幅度控制电路10),该第一幅度控制单元执行作为模拟信号的读取信号的幅度控制,并且通过根据第一幅度控制单元中的加密密钥执行幅度控制来执行读取信号的加密。
很难从传感器装置的外部获取作为模拟信号的读取信号。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元具有第二幅度控制单元(幅度控制电路10A),该第二幅度控制单元对由A/D转换器转换成数字信号的读取信号执行幅度控制,并且通过根据第二幅度控制单元中的加密密钥执行幅度控制来对读取信号执行加密。
因此,执行加密,作为对数字信号的幅度控制,并且与执行对模拟信号的幅度控制的情况相比,提高了加密处理的精度。
因此,当加密图像被解密时,可以提高图像内容的再现性。
此外,在本实施例的传感器装置中,阵列传感器和加密单元被配置在一个封装中。
因此,可以在硬件方面提高防篡改性。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元基于光电随机数生成加密密钥,该光电随机数是基于阵列传感器执行的光电转换获得的随机数,并且基于生成的加密密钥对读取信号执行加密。
因此,可以实现比使用伪随机数的情况更难解密加密密钥的加密。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元基于在与加密目标读取信号的帧周期不同的帧周期中获得的光电随机数来生成加密密钥。
因此,从加密图像估计加密密钥的难度增加。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元响应于检测到来自传感器装置外部的未授权访问,重新获取光电随机数。
因此,在检测到来自外部的未授权访问之后,可以基于重新获取的光电随机数来执行加密。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元响应于光电随机数的重新获取,从存储器中擦除过去生成的加密密钥。
因此,可以防止过去用于加密的光电随机数的泄漏。
因此,可以防止对过去加密的信号进行未经授权的解密,并且可以提高安全性。
此外,在该实施例的传感器装置中,加密单元响应于加密密钥的生成,从存储器中擦除作为光电随机数的来源的图像信号。
因此,可以防止泄漏作为光电随机数的来源的图像以及估计光电随机数。
因此,可以提高安全性。
此外,该实施例的另一种加密方法是对来自阵列传感器的像素的读取信号执行加密的加密方法,其中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列。
利用这种加密方法,也可以获得与上述实施例的传感器装置相同的操作和效果。
此外,如第二实施例中所述,本实施例的另一传感器装置(传感器装置1)包括:阵列传感器(阵列传感器2),其中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;检测单元(计算单元8:特别是对象区域识别单元82或类别识别单元83),该检测单元基于通过利用阵列传感器成像而获得的图像信号,检测图像中投影的目标的区域,作为目标区域;以及加密单元(幅度控制电路10或10A、或加密控制单元85),该加密单元基于由检测单元检测到的目标区域的信息执行针对图像信号中的目标区域的加密。
因此,可以对通过利用图像传感器中的阵列传感器成像而获得的图像信号执行加密,至少加密到不能识别出个人的程度。
因此,不需要采取措施防止图像接收侧的个人信息泄露,并且可以降低成本。
此外,根据在图像的接收侧保持解密密钥的状态,可以在隐藏个人信息的同时可视地识别图像的一部分内容。即,可以实现防止信息过度隐藏的图像加密。
例如,可以防止过度的信息隐藏,这使得甚至难以掌握拍摄位置,例如,图像是在哪个商店拍摄的,并且可以实现个人信息的隐藏和防止对图像的有用性的过度损害。
此外,在该实施例的传感器装置中,作为图像信号的加密,加密单元基于第一加密密钥加密整个图像,并且基于第一加密密钥和不同于第一加密密钥的第二加密密钥加密目标区域。
因此,可以解密的图像部分根据图像接收侧保存的解密密钥的类型来区分。具体地,在仅保存对应于第一加密密钥的解密密钥的情况下,仅可以解密图像中除目标区域之外的区域,并且在保存对应于第一加密密钥和第二加密密钥的解密密钥的情况下,可以解密包括目标区域的整个图像。
因此,可以实现一种有用的加密方法,其中,信息的隐藏级别可以根据保存在图像接收侧的解密密钥逐步改变。
此外,在本实施例的传感器装置中,检测单元执行识别目标的特定部分的处理,并且基于特定部分的区域和目标区域中的其他区域中的不同加密密钥来执行加密。
因此,可以根据图像接收侧保存的解密密钥来改变目标的隐藏级别。例如,在目标是人的情况下,可以对隐藏级别进行分类,例如,全身的隐藏和仅其面部的隐藏。
因此,可以根据图像的使用模式提供具有适当隐藏级别的加密图像。
此外,本实施例的传感器装置包括分析目标的属性或动作的分析单元(计算单元8)以及输出表示由分析单元执行的分析结果的信息的输出单元(接口单元7)。
因此,即使图像的接收侧没有解密密钥,也可以提供关于目标的属性和动作的分析结果。
此外,在该实施例的传感器装置中,检测单元通过使用即时方法解密基于第一加密密钥加密的图像信号来检测目标。
因此,可以降低明文状态的图像信号泄漏的可能性。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元基于通过合成多个加密密钥获得的合成密钥对图像信号执行加密。
因此,在实现逐步改变个人信息的隐藏级别的加密时,可以减少所需加密处理的执行次数。
因此,可以减少与加密相关的处理负荷。
此外,在该实施例的传感器装置中,加密单元在跟踪目标的同时执行针对目标区域的加密。
因此,在加密目标图像是运动图像的情况下,可以适当地隐藏运动目标。
此外,在该实施例的传感器装置中,加密单元使用流密码方法执行图像信号的加密。
因此,不需要图像信号加密的预处理。
因此,可以加快加密处理。
此外,在本实施例的传感器装置中,阵列传感器、检测单元和加密单元被配置在一个封装中。
因此,可以在硬件方面提高防篡改性。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元基于光电随机数生成加密密钥,并且基于所生成的加密密钥对图像信号执行加密,所述光电随机数是基于由阵列传感器执行的光电转换而获得的随机数。
因此,可以实现比使用伪随机数的情况更难解密加密密钥的加密。
因此,可以提高安全性。
此外,在该实施例的传感器装置中,加密单元对来自阵列传感器的像素的读取信号执行加密。
因此,可以防止明文图像信号在加密时存储在存储器中。
因此,可以提高安全性。
此外,该实施例的另一种加密方法是一种加密方法,包括:基于通过用阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域,在阵列传感器中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;并且基于检测到的目标区域的信息,执行针对图像信号中的目标区域的加密。
利用这种加密方法,也可以获得与上述实施例的传感器装置相同的操作和效果。
此外,本说明书中描述的效果仅仅是示例,并不旨在进行限制,并且可以获得其他效果。
<5.本技术>
本技术也可以具有如下配置。
(1)一种传感器装置,包括:
阵列传感器,其中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;
检测单元,基于通过用阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域;以及
加密单元,基于由检测单元检测到的目标区域的信息,执行针对图像信号中的目标区域的加密。
(2)根据上述(1)所述的传感器装置,其中,在所述图像信号的加密中,所述加密单元基于第一加密密钥对整个图像进行加密,并且基于所述第一加密密钥和不同于所述第一加密密钥的第二加密密钥对目标区域进行加密。
(3)根据上述(2)所述的传感器装置,
其中,所述检测单元执行识别所述目标的特定部分的处理,并且
所述加密单元基于目标区域中的特定部分的区域和其他区域的不同加密密钥来执行加密。
(4)根据上述(1)至(3)中任一项所述的传感器装置,进一步包括:
分析单元,分析目标的属性或动作,以及
输出单元,输出表示由分析单元执行的分析结果的信息。
(5)根据上述(2)至(4)中任一项所述的传感器装置,其中,所述检测单元通过使用即时法解密基于所述第一加密密钥加密的图像信号来执行对所述目标的检测。
(6)根据上述(2)至(5)中任一项所述的传感器装置,其中,加密单元基于通过合成多个加密密钥而获得的合成密钥来加密图像信号。
(7)根据上述(1)至(6)中任一项所述的传感器装置,其中,加密单元在跟踪目标的同时执行针对目标区域的加密。
(8)根据上述(1)至(7)中任一项所述的传感器装置,其中,所述加密单元使用流密码法对所述图像信号进行加密。
(9)根据上述(1)至(8)中任一项所述的传感器装置,其中,所述阵列传感器、所述检测单元和所述加密单元被配置在一个封装中。
(10)根据上述(1)至(9)中任一项所述的传感器装置,其中,所述加密单元基于光电随机数生成加密密钥,并且基于所生成的加密密钥执行对图像信号的加密,所述光电随机数是基于由所述阵列传感器执行的光电转换而获得的随机数。
(11)根据上述(1)至(10)中任一项所述的传感器装置,其中,所述加密单元对来自所述阵列传感器的像素的读取信号进行加密。
【符号说明】
1传感器装置
2阵列传感器
3ADC/像素选择器
4缓冲器
5逻辑单元
6存储器
7接口单元
8计算单元
10、10A幅度控制电路
20边界框
21ROI
82目标区域识别单元
83类别识别单元
85加密控制单元
86未授权访问检测单元
100相机装置。

Claims (12)

1.一种传感器装置,包括:
阵列传感器,其中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;
检测单元,基于通过用所述阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域;以及
加密单元,基于由所述检测单元检测到的所述目标区域的信息,执行针对所述图像信号中的所述目标区域的加密。
2.根据权利要求1所述的传感器装置,其中,在所述图像信号的加密中,所述加密单元基于第一加密密钥对整个图像进行加密,并且基于所述第一加密密钥和不同于所述第一加密密钥的第二加密密钥对所述目标区域进行加密。
3.根据权利要求2所述的传感器装置,
其中,所述检测单元执行识别所述目标的特定部分的处理,并且
所述加密单元基于所述目标区域中的所述特定部分的区域和其他区域的不同加密密钥来执行加密。
4.根据权利要求1所述的传感器装置,进一步包括:
分析单元,分析所述目标的属性或动作,以及
输出单元,输出表示由所述分析单元执行的分析结果的信息。
5.根据权利要求2所述的传感器装置,其中,所述检测单元通过使用即时法解密基于所述第一加密密钥加密的图像信号来执行对所述目标的检测。
6.根据权利要求2所述的传感器装置,其中,所述加密单元基于通过合成多个加密密钥而获得的合成密钥来加密所述图像信号。
7.根据权利要求1所述的传感器装置,其中,所述加密单元在跟踪所述目标的同时执行针对所述目标区域的加密。
8.根据权利要求1所述的传感器装置,其中,所述加密单元使用流密码法对所述图像信号进行加密。
9.根据权利要求1所述的传感器装置,其中,所述阵列传感器、所述检测单元和所述加密单元被配置在一个封装中。
10.根据权利要求1所述的传感器装置,其中,所述加密单元基于光电随机数生成加密密钥,并且基于所生成的加密密钥执行对所述图像信号的加密,所述光电随机数是基于由所述阵列传感器执行的光电转换而获得的随机数。
11.根据权利要求1所述的传感器装置,其中,所述加密单元对来自所述阵列传感器的像素的读取信号进行加密。
12.一种加密方法,包括:
基于通过用阵列传感器成像而获得的图像信号,检测投影在图像中的目标的区域,作为目标区域,在阵列传感器中,均具有可见光或不可见光的光接收元件的多个像素一维或二维排列;以及
基于检测到的目标区域的信息,执行针对所述图像信号中的所述目标区域的加密。
CN202080010806.2A 2019-01-30 2020-01-22 传感器装置和加密方法 Pending CN113348644A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-013969 2019-01-30
JP2019013969 2019-01-30
PCT/JP2020/002122 WO2020158541A1 (ja) 2019-01-30 2020-01-22 センサ装置、暗号化方法

Publications (1)

Publication Number Publication Date
CN113348644A true CN113348644A (zh) 2021-09-03

Family

ID=71839975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010806.2A Pending CN113348644A (zh) 2019-01-30 2020-01-22 传感器装置和加密方法

Country Status (6)

Country Link
US (1) US20220109556A1 (zh)
EP (1) EP3920461A4 (zh)
KR (1) KR20210119982A (zh)
CN (1) CN113348644A (zh)
TW (1) TWI826638B (zh)
WO (1) WO2020158541A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11546141B1 (en) * 2021-03-23 2023-01-03 Amazon Technologies, Inc. Cryptographic protection for portions of media
US20230123682A1 (en) * 2021-10-18 2023-04-20 Fmr Llc Generation of personalized digital images using unencrypted keys

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998024186A2 (en) * 1996-11-12 1998-06-04 California Institute Of Technology Semiconductor imaging sensor with on-chip encryption
JP2001086407A (ja) * 1999-09-17 2001-03-30 Matsushita Electric Ind Co Ltd モザイク機能付きの撮像装置およびモザイク処理装置
CN101014097A (zh) * 2006-10-17 2007-08-08 马涛 主动红外跟踪系统
US7266245B1 (en) * 2002-03-28 2007-09-04 Magnachip Semiconductor Ltd. Image signal compression method and system
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
WO2008146390A1 (ja) * 2007-05-31 2008-12-04 Pfu Limited 紙媒体情報暗号化システム、復号システム、プログラムおよび方法
JP2009206920A (ja) * 2008-02-28 2009-09-10 Nikon Corp カメラ
JP2013012930A (ja) * 2011-06-29 2013-01-17 Canon Inc 全方位撮像装置、及びその制御方法
US20160285626A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems with data encryption and embedding capabalities
WO2016167076A1 (ja) * 2015-04-16 2016-10-20 ブリルニクスインク 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US20170094210A1 (en) * 2015-09-24 2017-03-30 Qualcomm Incorporated Mask-less phase detection autofocus
US20170289390A1 (en) * 2016-03-31 2017-10-05 Megachips Corporation Encryption device, computer-readable recording medium, and encryption method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598472A (en) * 1994-12-22 1997-01-28 Stanford Telecommunications, Inc. Charge-coupled-device based all-analog wave form scrambling with applications in audio, video, video-on-demand, and TV systems
JP3610642B2 (ja) * 1995-09-25 2005-01-19 富士通株式会社 書画の暗号化及び復号化装置
US20070201694A1 (en) * 2002-06-18 2007-08-30 Bolle Rudolf M Privacy management in imaging system
US7240208B1 (en) * 2003-04-23 2007-07-03 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Encrypting digital camera with automatic encryption key deletion
JP4574144B2 (ja) * 2003-09-09 2010-11-04 キヤノン株式会社 デジタルクランプ装置、デジタルクランプ方法、及びプログラム及び記憶媒体
JP4601703B2 (ja) * 2005-03-21 2010-12-22 ダウ コーニング コーポレイシヨン 散乱導波管を使用した乱数の発生技術
KR20070018360A (ko) * 2005-08-09 2007-02-14 삼성전자주식회사 디지털 카메라의 영상을 암호화하는 cmos 이미지 센서.
JP4435076B2 (ja) * 2005-11-18 2010-03-17 フェリカネットワークス株式会社 携帯端末,データ通信方法,およびコンピュータプログラム
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
US20080267403A1 (en) * 2006-11-09 2008-10-30 Regents Of The Univeristy Of Colorado System and method for privacy enhancement via adaptive cryptographic embedding
JP4416017B2 (ja) 2007-07-18 2010-02-17 ソニー株式会社 撮像システム
US8847136B2 (en) * 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
WO2012120818A1 (ja) * 2011-03-10 2012-09-13 パナソニック株式会社 コンテンツ配信システム、コンテンツ配信サブシステム及び再生装置
US9635317B1 (en) * 2013-05-08 2017-04-25 Surround.IO Permission based camera with encrypted photo and video output
US10169618B2 (en) * 2014-06-20 2019-01-01 Cypress Semiconductor Corporation Encryption method for execute-in-place memories
US20160071101A1 (en) * 2014-09-09 2016-03-10 Tyson York Winarski Selfie financial security transaction system
US9639912B2 (en) * 2014-12-30 2017-05-02 University Of Macau Method for reversible image data hiding
GB2560873B (en) * 2016-12-23 2020-01-01 Crypta Labs Ltd Quantum Random Number Generator
CN108650434B (zh) * 2018-05-08 2019-08-20 吉林大学 一种图像加密的方法
US11064153B2 (en) * 2018-08-21 2021-07-13 Gopro, Inc. Methods and apparatus for encrypting camera media

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998024186A2 (en) * 1996-11-12 1998-06-04 California Institute Of Technology Semiconductor imaging sensor with on-chip encryption
JP2001086407A (ja) * 1999-09-17 2001-03-30 Matsushita Electric Ind Co Ltd モザイク機能付きの撮像装置およびモザイク処理装置
US7266245B1 (en) * 2002-03-28 2007-09-04 Magnachip Semiconductor Ltd. Image signal compression method and system
CN101014097A (zh) * 2006-10-17 2007-08-08 马涛 主动红外跟踪系统
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101652987A (zh) * 2007-05-31 2010-02-17 株式会社Pfu 纸介质信息加密系统、解密系统、程序以及方法
WO2008146390A1 (ja) * 2007-05-31 2008-12-04 Pfu Limited 紙媒体情報暗号化システム、復号システム、プログラムおよび方法
JP2009206920A (ja) * 2008-02-28 2009-09-10 Nikon Corp カメラ
JP2013012930A (ja) * 2011-06-29 2013-01-17 Canon Inc 全方位撮像装置、及びその制御方法
US20160285626A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems with data encryption and embedding capabalities
WO2016167076A1 (ja) * 2015-04-16 2016-10-20 ブリルニクスインク 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US20170094210A1 (en) * 2015-09-24 2017-03-30 Qualcomm Incorporated Mask-less phase detection autofocus
US20170289390A1 (en) * 2016-03-31 2017-10-05 Megachips Corporation Encryption device, computer-readable recording medium, and encryption method

Also Published As

Publication number Publication date
KR20210119982A (ko) 2021-10-06
TWI826638B (zh) 2023-12-21
US20220109556A1 (en) 2022-04-07
WO2020158541A1 (ja) 2020-08-06
TW202044797A (zh) 2020-12-01
EP3920461A1 (en) 2021-12-08
EP3920461A4 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
CN113330499B (zh) 传感器装置和加密方法
EP2149098B1 (en) Deriving video signatures that are insensitive to picture modification and frame-rate conversion
US20220271930A1 (en) Cipher key generation apparatus and cipher key generation method
CN113348644A (zh) 传感器装置和加密方法
WO2020158539A1 (ja) 暗号化装置、暗号化方法
JP7491317B2 (ja) 情報処理システム、情報処理方法、撮像装置
Kumar et al. A hybrid hash-stego for secured message transmission using stegnography
KR20090004552A (ko) 비디오 처리 권리의 실시를 위한 방법 및 디바이스
Kumar et al. Data hiding with dual based reversible image using sudoku technique
WO2021175714A1 (en) Scrambling of regions of interest in an image to preserve privacy
Al-Dmour et al. A medical image steganography method based on integer wavelet transform and overlapping edge detection
US20240214209A1 (en) Imaging apparatus, information processing apparatus, information processing method, and program
US20240161443A1 (en) Information processing system and learning model generation method
Tomar et al. An approach of Information Hiding by the Guidance of Noise
CN116456127A (zh) 一种视频处理系统、方法、装置、电子设备及存储介质
KR20130016080A (ko) 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법
Patil Forensic Technique for Detecting Image Tampering using Statistical Intrinsic Fingerprints-A Survey
CN116156309A (zh) 图像处理方法、装置及电子设备
CN116258620A (zh) 一种数字水印处理方法、装置、电子设备和存储介质
Kiseleva Kudrina МA Computer-aided system of data protection by steganography methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination