CN116158072A - 图像处理电路和图像处理方法 - Google Patents

图像处理电路和图像处理方法 Download PDF

Info

Publication number
CN116158072A
CN116158072A CN202180060873.XA CN202180060873A CN116158072A CN 116158072 A CN116158072 A CN 116158072A CN 202180060873 A CN202180060873 A CN 202180060873A CN 116158072 A CN116158072 A CN 116158072A
Authority
CN
China
Prior art keywords
image
image processing
image data
processing circuit
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180060873.XA
Other languages
English (en)
Inventor
列夫·马哈辛
斯蒂芬·蒂德曼
斯特凡·乌利希
王碧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116158072A publication Critical patent/CN116158072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理电路,被配置为:基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,使得其对于第一图像数据是唯一的。

Description

图像处理电路和图像处理方法
技术领域
本公开总体上涉及图像处理电路和图像处理方法。
背景技术
一般而言,深度神经网络(DNN)是已知的,诸如生成对抗网络,其允许由计算机生成对人眼而言可能会显示为真实图像的图像。
此外,DNN允许通过例如由计算机引入、交换或操纵真实图像的部分来修改真实图像。这些操纵对于人类可能是难以识别的。
由于存在用于通过计算机生成和修改图像的技术,因此通常期望提供一种用于验证图像是真实图像的技术。
发明内容
根据第一方面,本公开提供了一种图像处理电路,被配置为:
基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,从而使得第一图像标识符对于第一图像数据是唯一的。
根据第二方面,本公开提供了一种图像处理方法,包括:
基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,从而使得第一图像标识符对于第一图像数据是唯一的。
在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
参照附图,通过实例说明实施方式,在附图中:
图1以框图示意性地示出了包括根据说明书的第一部分的图像处理电路的第一实施方式的图像处理设备的第一实施方式;
图2以框图示意性地示出了包括根据说明书的第一部分的图像处理电路的第二实施方式的图像处理设备的第二实施方式;
图3以框图示意性地示出了包括根据说明书的第一部分的图像处理电路的第三实施方式的图像处理设备的第三实施方式;
图4以框图示意性地示出了包括根据说明书的第一部分的图像处理电路的第四实施方式的图像处理设备的第四实施方式;
图5以框图示意性地示出了根据说明书的第一部分的包括图像处理电路的第五实施方式的图像处理设备的第五实施方式;
图6示意性示出了根据说明书的第一部分的图像处理电路的配置的实施方式;
图7以流程图示意性地示出了根据说明书的第一部分的图像处理方法的第一实施方式;
图8以流程图示意性地示出了根据说明书的第一部分的图像处理方法的第二实施方式;
图9以框图示意性地示出了根据说明书的第二部分的图像处理设备的两个实施方式;
图10以框图示意性地示出了包括根据说明书的第二部分的图像处理电路的第二实施方式的图像处理设备的第三实施方式;
图11示意性地示出了根据说明书的第二部分的图像处理电路的配置的实施方式;
图12以流程图示意性地示出了根据说明书的第二部分的图像处理方法的第一实施方式;以及
图13以流程图示意性地示出了根据说明书的第二部分的图像处理方法的第二实施方式。
具体实施方式
说明书的第一部分:
在给出参考图3的实施方式的详细描述之前,进行一般性的解释。
如开头提到的,深度神经网络(DNN)是已知的,诸如生成对抗网络,其允许由计算机生成对人眼而言可能会显示为真实图像的图像。
此外,DNN允许通过例如由计算机引入、交换或操纵真实图像的部分来修改真实图像。这些操纵对于人类可能是难以识别的。
这种计算机生成的图像或计算机修改的真实图像例如在法庭审判中可能是有问题的。
因此,已经认识到,期望提供一种用于验证图像是真实图像的技术,其中,真实图像是利用图像处理设备(例如,包括成像模块的相机或移动设备,诸如智能电话)捕获的图像。
一旦验证了图像是真实图像,则其可以例如在法庭审判中用作证据。
另外,已经认识到,例如期望提供一种用于验证已用特定相机拍摄了图像的技术来验证真实图像的所有权。
这样的图像验证技术可能是有趣的,例如,对于记者来说,一方面证明图像是真实图像,并且另一方面证明已用例如他们的相机拍摄了该图像,使得记者可以要求图像的所有权。
已经认识到,对图像而言是唯一的图像的数字指纹(图像标识符)的存储以及对图像的存储允许验证图像是真实的并且已经使用特定相机拍摄。
已经进一步认识到,利用特定相机捕获图像,其中,所捕获的图像不可变地存储在与特定相机相关联的存储器上,允许验证图像是真实的并且已经利用特定相机拍摄。
因此,一些实施方式涉及一种图像处理电路,该图像处理电路被配置为基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,从而使得第一图像标识符对于第一图像数据是唯一的。
图像处理电路可以包括在诸如相机、移动设备的图像处理设备(例如,包括成像模块的智能电话)中或者可以是该图像处理设备的一部分。
图像处理电路可以基于或者可以包括或者可以由被配置为实现本文所描述的功能的电子组件(例如,电子开关、晶体管、比较器、模拟/数字电子存储器等)来实现。
图像处理电路可以基于或者可以包括或者可以实现为集成电路逻辑,并且可以通过由处理器等执行的软件来实现功能。图像处理电路可以基于或者可以包括或者可以由中央处理单元(CPU)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等来实现。
图像处理电路可以基于或者可以包括电子组件和集成电路逻辑及软件或者可以部分由电子组件和集成电路逻辑部分由软件实现。
图像处理电路可以包括用于生成图像数据的图像传感器。图像传感器可包括像素电路(控制、定时、驱动单元、信号处理等),该像素电路具有根据入射在多个像素中的每个像素上的光量生成电信号的多个像素(根据预定图案(例如,按行和列)排列在图像传感器中)。
命令可以是电信号(例如,模拟或数字电子信号)或者可以由电信号来表示。
可响应于对由用户操作的输入单元(诸如,相机上的机械按钮)的用户操作来获得命令,该相机在被用户操作时根据由图像处理设备处理以生成命令的用户操作(机械按钮可耦接到电子组件以生成电信号)生成电信号。
输入单元可以是显示在图像处理设备的显示单元(例如,智能电话等的触摸显示器)上的软件定义按钮,当用户在触摸显示器上触摸(用户触摸操作)时,软件定义按钮根据由图像处理设备处理以生成命令的用户触摸操作来生成电信号。
可以响应于图像数据的图像分析结果获得命令,例如,图像处理设备可以分析由图像传感器生成的图像数据并且可以基于通过分析图像数据获得的图像数据的分析结果来生成命令。
例如,可基于预定时间等自动生成命令。
第一图像标识符是对于第一图像数据是唯一的第一图像数据的标识符(例如,由数字值表示)。第一图像标识符可以是散列密钥等。
第一图像数据是由图像传感器根据入射在图像传感器上的光量生成的数据。第一图像数据表示利用图像处理设备(诸如,相机)捕获的(真实)图像。第一图像数据可以基于或可以包括数字值,该数字值是根据入射在多个像素的每一个像素上的光量从由多个像素生成的模拟信号(电信号)中获得的。第一图像数据可以从图像传感器获得,或者可以从存储器等获得。
一次写入多次读取(WORM)存储器是可以不可变地存储数据的数据存储设备(电子存储器)。换句话说,一旦数据被存储在WORM存储器上,它就不能被修改,但是它可以被多次读取。WORM存储器可以基于或者可以包括或者可以通过例如(集成)半导体存储器(存储装置)技术、磁存储技术等实现,如本领域技术人员公知的。WORM存储器可以例如是用于安全相机的特征。
第一图像标识符是基于第一图像数据生成(计算)的。这允许生成(计算)唯一地标识第一图像数据的第一图像数据的标识符,因为它是基于表示(真实)图像的具体像素值(数字值)生成(计算)的。
为了增强对本公开的一般理解,下面将参考图1和图2讨论图像处理设备的两个更一般的实施方式,其他实施方式可以基于这些实施方式或者可以在其他实施方式中实现。
图1以框图示意性地示出了包括图像处理电路4a的第一实施方式的图像处理设备1a的第一实施方式。
图像处理设备1a包括控制器2a、图像传感器3、图像处理电路4a、图像标识符生成器5a和一次写入多次读取(WORM)存储器6。
图像处理设备1a是包括光学组件的(数字)相机,光学组件用于将场景的光成像到图像传感器3上,以用于捕获由数字值(像素值)表示的场景的(真实)图像。
控制器2a包括用于控制图像处理设备1a的整体功能的电路(例如,CPU、存储器、通信接口等)。控制器2a控制由图像传感器3执行的图像捕获(或图像数据生成)的时间。
控制器2a生成命令7并将所生成的命令7发送至图像处理电路4a。
图像传感器3根据从场景收集的并且成像到图像传感器3上的光量生成(第一)图像数据8。图像传感器3将图像数据8发送到图像处理电路4a。图像传感器3可以将图像数据8发送到控制器2a以用于生成命令7。
图像处理电路4a获得命令7和图像数据8。图像处理电路4a包括电子组件(例如,电子开关),该电子组件基于接收到的命令7将图像数据8存储在WORM存储器6上或者将图像数据8发送到图像标识符生成器5a。该功能在图1中被示为图像处理电路4a的框中的开关。
图像标识符生成器5a包括基于图像数据8生成(计算)散列密钥9((第一)图像标识符)并且将散列密钥9存储在WORM存储器6上的电子组件(例如,ASIC)。
因此,基于所获得的命令7,图像处理电路4a不可变地将(第一)图像数据8或(第一)图像标识符9存储在WORM存储器6上。
图2以框图示意性地示出了包括图像处理电路4b的第二实施方式的图像处理设备1b的第二实施方式。
如参考图1所讨论的,图像处理设备1a的第一实施方式的图像处理电路4a的第一实施方式的实现基本上对应于基于电子组件的硬件实现。如参考图1所讨论的,第一实施方式的图像标识符生成器5a的实现基本上也对应于硬件实现。
如将在下文中参考图2讨论的,图像处理设备1b的第二实施方式的图像处理电路4b的第二实施方式的实现基本上对应于软件实现。
与图1的第一实施方式具有基本上相同的功能和配置的所有实体用相同的参考标号表示。
图像处理设备1b包括控制器2b、图像传感器3、图像处理电路4b、图像标识符生成器5b和WORM存储器6。
图像处理设备1b是包括光学组件的(数字)相机,光学组件用于将场景的光成像到图像传感器3上,以用于捕获由数字值表示的场景的(真实)图像。
控制器2b包括用于控制图像处理设备1b的整体功能的电路(例如,CPU、存储器、通信接口等)。控制器2b控制由图像传感器3执行的图像捕获(或图像数据生成)的时间。
图像传感器3根据从场景收集的并且成像到图像传感器3上的光量生成(第一)图像数据8。图像传感器3将图像数据8发送到控制器2b。
控制器2b包括图像处理电路4b和图像标识符生成器5b。控制器2b生成命令7。控制器2b获得图像数据8。
图像处理电路4b通过由控制器2b执行的软件来实现。图像处理电路4b基于所生成的命令7将图像数据8存储在WORM存储器6上或将图像数据8发送到图像标识符生成器5b。该功能在图2中被示出为在图像处理电路4b的框中的开关。
图像标识符生成器5b通过由控制器2b执行的软件来实现。图像标识符生成器5b基于图像数据8生成(计算)散列密钥9((第一)图像标识符),并且将散列密钥9存储在WORM存储器6上。
因而,基于所获得的命令7,图像处理电路4b将(第一)图像数据8或(第一)图像标识符9不可变地存储在WORM存储器6上。
回到一般的解释,如参考图1和图2讨论的实施方式可以允许验证捕获的图像是真实图像,因为在捕获图像时,图像的散列不可变地存储或者图像不可变地存储在WORM存储器上,从而可以确保图像的真正来源。
在一些实施方式中,如果存储在第一存储器上的第一预定密钥与存储在一次写入多次读取上的第二预定密钥相同,则第一图像标识符或第一图像数据仅存储在一次写入多次读取存储器上。
第一预定密钥(例如由数字值表示)是两个预定密钥中的一个。第一预定密钥存储在与WORM存储器不同的第一存储器上。
第二预定密钥(例如由数字值表示)是两个预定密钥中的另一个,并且存储在WORM存储器上。
第一存储器可以是图像处理设备的存储器(例如,相机的存储器),并且例如可以在图像处理设备的第一存储器上进行制造时存储第一预定密钥。
例如,在制造时,可以将相同的预定密钥作为第二预定密钥存储在WORM存储器上。
在一些实施方式中,当图像处理设备捕获图像时,检索并比较两个预定密钥。在这样的实施方式中,如果两个密钥相同(在两个密钥不相同的情况下,可以不生成(第一)图像标识符),则(第一)图像标识符或(第一)图像数据仅存储在WORM存储器上。
这可以确保仅图像处理设备能够写到例如在制造时与WORM存储器配对的WORM存储器上。
在一些实施方式中,图像处理电路被进一步配置为在第一图像标识符存储在一次写入多次读取存储器上时将第一图像数据存储在第二存储器上。
第二存储器可以是图像处理设备的存储器(例如,相机的存储器)或者可以是可拆卸安全数字(SD)存储卡。如果第二存储器是图像处理设备的存储器,则第一存储器和第二存储器可以是相同的(这可以例如降低成本和/或设备复杂度)。
因而,除了将第一图像数据的第一图像标识符存储在WORM存储器上之外,还将第一图像数据存储在第二存储器上。
在一些实施方式中,存储在WORM上的第一图像标识符基于时间戳、数字(例如,识别号)等与存储在第二存储器上的第一图像数据相关联。
通常,当从图像处理设备(例如,移动设备或相机)的存储器检索图像时,可能不清楚图像是否是真实图像。
因此,在一些实施方式中,图像处理电路进一步被配置为在从第二存储器检索第一图像数据时从一次写入多次读取存储器检索第一图像标识符。
因此,当用户检索图像时,用户获得图像数据(像素值)以及图像标识符(例如,散列密钥),因此,可验证该图像已通过这个特定的图像处理设备(例如,相机)拍摄。
在一些实施方式中,图像处理电路进一步被配置为输出第一图像标识符和基于所获得的第二图像数据生成的第二图像标识符是否相同的指示。
第二图像数据可以从(外部)存储器获得,或者可以经由通信接口等输入。第二图像数据可以是由图像传感器根据入射到图像传感器上的光量生成的数据。第二图像数据可表示利用图像处理设备(例如,相机)捕获的(真实)图像。第二图像数据可以表示计算机生成的图像或操纵的真实图像等。第二图像数据可以基于数字值或者可以包括数字值。
基于所获得的第二图像数据生成第二图像标识符,并且执行与存储在WORM存储器上的第一图像标识符的比较。
输出可以是指示第二图像标识符是否存储在WORM存储器上并且由此指示两个图像标识符是否相同的电信号。因此,可以验证是否已利用特定图像处理设备拍摄了第二图像(第二图像数据)。
在一些实施方式中,图像处理电路进一步被配置为输出第一图像标识符和所获得的第三图像标识符是否相同的指示。
第三图像标识符可以从(外部)存储器获得,或者可以经由通信接口等输入。
输出可以是指示第三图像标识符是否存储在WORM存储器上并且由此指示两个图像标识符是否相同的电信号。因此,可以验证是否已经利用特定图像处理设备拍摄了与第三图像标识符对应的图像。
在一些实施方式中,响应于用户操作获得命令。
如上所述,命令可以是电信号(例如,模拟电子信号或数字电子信号)或者可以由电信号(例如,模拟电子信号或数字电子信号)表示。
在这种实施方式中,响应于用户对由用户操作的输入单元(诸如,相机上的机械按钮或软件定义的按钮,该按钮在被用户操作时根据用户操作生成电信号)的用户操作来获得命令。
这样的输入单元可以允许用户根据情况在这两者之间进行切换,即,在WORM存储器上存储第一图像标识符或第一图像数据。例如,当用户观察到包括例如汽车事故等的场景时,用户可以操作输入单元以便将存储从第一图像标识符切换至第一图像数据的存储。
这可允许在记录图像(在事故的情况下存储全部图像数据可能需要更多的内存,但可在法院中用作证据)时进行不同程度的价格安全权衡。
可替换地,在一些实施方式中,响应于第一图像数据的图像分析结果而获得命令。在这种实施方式中,图像处理电路进一步被配置为执行第一图像数据的图像分析。图像分析可以基于神经网络或者可以包括根据神经网络的计算。可以例如在包括事故场景、犯罪场景等的图像上训练神经网络。神经网络可以输出事故、犯罪场景等是否存在于由第一图像数据表示的成像场景中的概率。图像分析结果可以基于神经网络的输出。
在一些实施方式中,图像处理电路包括:一次写入多次读取存储器,生成第一图像数据的图像传感器,以及图像标识符生成器,该图像标识符生成器基于所生成的第一图像数据生成第一图像标识符,使得第一图像标识符对于第一图像数据是唯一的。
图像传感器可以是电荷耦合器件(CCD)传感器、基于互补金属氧化物半导体(CMOS)技术的有源像素传感器、光电二极管阵列等。
如上所述,图像传感器可包括像素电路(控制、定时、驱动单元、信号处理等),该像素电路具有根据入射到多个像素上的光量生成电信号的多个像素(根据预定图案排列(例如,按行和列)在图像传感器中)。
图像标识符生成器可以基于或者可以包括或者可以由被配置为实现如本文中所描述的功能的电子组件实现。
图像标识符生成器可以基于或者可以包括或者可以被实现为集成电路逻辑,并且可以通过由处理器等执行的软件来实现功能。图像标识符生成器可以基于或者可以包括或者可以由中央处理单元(CPU)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等实现。
图像标识符生成器可以基于或者可以包括或者可以部分由电子组件和集成电路逻辑部分由软件实现。
在一些实施方式中,图像标识符生成器和一次写入多次读取存储器中的每一个被设置为独立的片上系统组件。由于功能绑定到(有线)结构组件,这可能会增加安全性,而这更难以损害。这可以进一步通过可以进一步增加安全性的硬件配置来确保图像标识符生成器和/或图像传感器对WORM存储器的独占写访问。
在一些实施方式中,可从图像处理电路拆卸一次写入多次读取存储器。这可以类似于例如SD存储卡(如可以用于图像数据本身)。
代替将图像标识符生成器和WORM存储器作为独立的系统组件,可以将它们中的任一个或两者作为一个单片组件堆叠在图像传感器的顶部。
因此,在一些实施方式中,图像传感器和一次写入多次读取存储器被设置为堆叠式单片组件。由于功能绑定到(有线)结构组件,这可能会进一步增加安全性,而这就更难损害了。
在一些实施方式中,图像传感器、一次写入多次读取存储器和图像标识符生成器被设置为堆叠式单片组件。
在一些实施方式中,如上所述,图像处理电路进一步包括用户可操作的输入单元,其中,响应于用户对输入单元的操作而获得命令。
一些实施方式涉及一种图像处理方法,包括基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据来生成,使得第一图像标识符对于第一图像数据是唯一的,如本文所描述的。
图像处理方法可以基于电子组件、集成电路逻辑、CPU、FPGA、软件或者可以由电子组件、集成电路逻辑、CPU、FPGA、软件或部分由电子组件部分由处理器等执行的软件实现。
在一些实施方式中,当在计算机和/或处理器上执行时,本文中描述的方法也实现为使计算机和/或处理器执行该方法的计算机程序。在一些实施方式中,还提供了一种非暂时性计算机可读记录介质,其内存储有计算机程序产品,该产品在由处理器(诸如,上文所述的处理器)执行时促使执行本文所述的方法。
返回图3,图3以框图示意性地示出了包括图像处理电路4a的第三实施方式的图像处理设备1a的第三实施方式,在下文中,讨论第三实施方式。
第三实施方式基于参考图1讨论的实施方式,并且具有与图1的第一实施方式中基本相同的功能和配置的所有实体用相同的参考标号表示。
图像处理设备1a进一步包括第一存储器10。
第一存储器10是存储有第一预定密钥11a的图像处理设备1a的存储器。
WORM存储器6存储第二预定密钥11b。
当图像被捕获(由图像传感器3生成图像数据8)时,控制器2a检索并比较第一预定密钥11a和第二预定密钥11b。
然后,如果第一预定密钥11a和第二预定密钥11b相同,则图像数据8或图像标识符9仅存储在WORM存储器6上。
图4以框图示意性地示出了包括图像处理电路4a的第四实施方式的图像处理设备1a的第四实施方式。
第四实施方式基于参考图3讨论的实施方式,并且具有与图3的第三实施方式基本相同的功能和配置的所有实体用相同的参考标号表示。
图像处理电路4a进一步包括输入单元12,如围绕与图像处理电路4a相关联的输入单元12的虚线框示意性所示。
图像处理设备1a进一步包括第二存储器13。
输入单元12是机械开关或按钮,其在由用户操作时根据用户操作生成电信号。电信号由控制器2a获得。
控制器2a根据输入单元12的用户操作生成命令7。
因此,图像处理电路4a响应于输入单元12的用户操作而获得命令7。
第二存储器13是可装到图像处理设备1a上/可从图像处理设备1a拆卸的SD卡。
命令7指示第一图像标识符9应当存储在WORM存储器6上(由图像处理电路4a的框中的开关示出)。
当第一图像标识符9存储在WORM存储器6上时,图像处理电路4a将第一图像数据8存储在第二存储器13上。
图5以框图示意性地示出了包括图像处理电路4c的第五实施方式的图像处理设备1c的第五实施方式。
图像处理设备1c包括控制器2c、图像处理电路4c、第一存储器10和第二存储器13。图像处理设备1c或图像处理电路4c包括输入单元12(未示出)。
控制器2c包括用于控制图像处理设备1c的整体功能的电路(例如,CPU、存储器、通信接口等)。控制器2c响应于输入单元12的用户的操作而生成命令7。
第一存储器10是在其上存储有第一预定密钥11a的图像处理设备1c的存储器。
第二存储器13是可装到图像处理设备1c上/可从图像处理设备1c拆卸的SD卡。
图像处理电路4c包括图像传感器20、图像标识符生成器5c和WORM存储器6。
图像传感器20包括多个像素21、行选择逻辑22、定时控制23、列选择逻辑24、多个模拟信号处理器25和多个模数(AD)转换器26。
多个像素21根据预定图案按行和列排列,多个像素21的每个像素根据入射到相应像素上的光量生成电信号。
行选择逻辑22选择一行像素21以将电信号输出至多个模拟信号处理器25。
定时控制器23控制行选择逻辑22、列选择逻辑24、多个模拟信号处理器25和多个AD转换器26的定时。
列选择逻辑24选择一列像素以将电输出至多个模拟信号处理器25。
多个模拟信号处理器25对从多个像素21获得的电信号执行预定的模拟信号处理(例如,频率滤波、平滑等)并且将经处理的信号输出至多个AD转换器。
多个AD转换器26将所处理的信号转换为数字值(像素值),从而生成第一图像数据8。多个AD转换器26输出第一图像数据8。
图像标识符生成器5c被实现为片上系统(SoC)并且基于第一图像数据8生成散列密钥9(第一图像标识符)。
WORM存储器6被实现为SoC并且存储第二预定密钥11b。可替换地,WORM存储器6和图像传感器20可以被设置为堆叠式单片组件。可替换地,图像标识符生成器5c、WORM存储器6和图像传感器20可以被设置为堆叠式单片组件。
当图像传感器20捕获图像(生成第一图像数据8)时,控制器2c检索并比较第一预定密钥11a和第二预定密钥11b。
基于命令7,WORM存储器6存储第一图像数据8或第一图像标识符9(由开关示出),其中,如果第一预定密钥11a和第二预定密钥11b相同,则第一图像数据8或第一图像标识符9仅存储在WORM存储器6上。
此外,当第一图像标识符9存储在WORM存储器6上时,图像处理电路4c将第一图像数据8存储在第二存储器13上。
参考图6A、图6B和图6C讨论以框图示意性地示出的图像处理电路30的配置的不同的实施方式。
图6A示意性示出了单个半导体芯片(例如,参考图5讨论的实施方式的图像处理电路4c)上处于平面配置的图像处理电路30。
图像处理电路30包括用于信号处理的逻辑电路31、像素电路32和控制单元33。
逻辑电路31例如包括多个模拟信号处理器25、多个模数(AD)转换器26、图像标识符生成器5c和WORM存储器6。
像素电路32例如包括多个像素21、行选择逻辑22和列选择逻辑24。
控制单元33例如是定时控制23。
图6B示意性示出了处于第一堆叠配置的图像处理电路30。例如,可以这样的第一堆叠配置实现参考图5讨论的实施方式的图像处理电路4c。第一堆叠配置可对应于正向照明图像传感器。
在第一堆叠配置中,例如,根据如参考图6A讨论的实施方式的逻辑电路31安装在第一半导体芯片部40上。
例如,根据如参考图6A讨论的实施方式的像素电路32和控制单元33安装在第二半导体芯片部41上。
图6C示意性地示出了处于第二堆叠配置中的图像处理电路30。例如,可以这样的第二堆叠配置实现参考图5讨论的实施方式的图像处理电路4c。第二堆叠配置可对应于反向照明图像传感器。
在第二堆叠配置中,例如,根据如参考图6A讨论的实施方式的逻辑电路31和控制单元33安装在第一半导体芯片部40上。
例如,根据如参考图6A讨论的实施方式的像素电路32安装在第二半导体芯片部41上。
应当认识到,图6A、图6B和图6C的实施方式利用逻辑电路31、像素电路32和控制单元33的示例性配置描述了平坦配置、第一堆叠配置和第二堆叠配置。然而,逻辑电路31、像素电路32和控制单元33的具体配置仅出于示例性目的给出并且不应被解释为具有约束力。例如,逻辑电路31可以仅包括图像标识符生成器5c和WORM存储器6。任何其他配置对于技术人员来说是显而易见的。
参考图7讨论以流程图示意性地示出的图像处理方法80的第一实施方式。
图像处理方法80由包括在图像处理设备1c中的图5的图像处理电路4c执行。
在81处,用户操作输入单元12(在图5中未示出),从而生成电信号,基于该电信号生成命令7。
在82处,由图像传感器20生成第一图像数据8(捕获(真实)图像)。
在83处,基于所生成的命令7,确定是否应当存储第一图像数据8或者应当将第一图像数据8的第一图像标识符9存储在WORM存储器6上。
通常,用户可能更喜欢存储第一图像标识符9,其中,每个捕获的图像存储在可能更便宜的独立的设备存储器(第二存储器13)上,例如,以便用于节省数据存储容量。
在这种情况下,在(原始)图像数据8离开图像处理电路4c之前,生成第一图像标识符9(例如,散列密钥)并将其存储在WORM存储器6上。
然而,假设用户涉及事故,用户可能更喜欢将(原始)图像数据8存储在WORM存储器6上。
在84处,已经确定应存储第一图像数据8,并且因此,第一图像数据8存储在WORM存储器6上(没有任何预处理)。
假定用户必须向当局提供图像(由第一图像数据8表示)是真实图像或尚未被操纵的证明,则在85处,读取WORM存储器6(检索第一图像数据8)。
在86处,接着将所检索的图像数据8与所获得的第二图像数据进行比较。第二图像数据可以是第一图像数据8的操纵版本等。
在87处,输出两个图像是否相同的指示,由此能够检测操纵。至少检测两个图像是否不同。此外,例如,如果检测到两个图像不同,则可确定不同的或已被操纵的图像的部分。然后,用户可能想要看到两个图像的什么部分不同,并且因此,这些部分可以被高亮,并且包括高亮的部分的图像可以被显示给用户以用于验证。
在88处,已经确定应存储第一图像标识符9,并且因此,在89处,生成第一图像标识符9并将其存储在WORM存储器6上。
假定用户必须向当局提供图像(由第一图像数据8表示)是真实图像或尚未被操纵的证明,则在90处,读取WORM存储器6以检索第一图像标识符9。此外,在90处,第二图像标识符是基于所获得的第二图像数据生成的。
第二图像数据可以是被认为产生第一图像标识符的图像数据,或者可以是第一图像数据8的操纵版本等。
然后,在91处,比较第一图像标识符9和第二图像标识符。
在92处,输出两个图像标识符是否相同的指示,由此能够检测操纵。
通常,一方面,与在WORM存储器6上存储第一图像数据8相比,将第一图像标识符9存储在WORM存储器6上可以减少所需的存储容量。然而,另一方面,将第一图像数据8存储在WORM存储器6上可以允许更容易地检测操纵或被操纵的部分,因为如上所述,在读出时可以直接比较两个图像,从而可以直接检测、高亮并向用户示出被操纵的部分。
参考图8讨论以流程图示意性示出的图像处理方法100的第二实施方式。
在101处,方法100包括基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,使得其对于第一图像数据而言是唯一的,如本文所讨论的。
在102处,方法100包括仅当存储在第一存储器上的第一预定密钥与存储在一次写入多次读取上的第二预定密钥相同时,才将第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,如本文所讨论的。
在103处,方法100包括当第一图像标识符存储在一次写入多次读取存储器上时将第一图像数据存储在第二存储器上,如本文所讨论的。
在104处,方法100包括当从第二存储器检索第一图像数据时从一次写入多次读取存储器检索第一图像标识符,如本文所讨论的。
在105处,方法100包括输出第一图像标识符和基于所获得的第二图像数据生成的第二图像标识符是否相同的指示,如本文所讨论的。
在106处,方法100包括输出第一图像标识符和所获得的第三图像标识符是否相同的指示,如本文所讨论的。
在107处,方法100包括响应于用户操作获得命令,如本文所讨论的。
应当认识到,实施方式描述了具有方法步骤的示例性顺序的方法。然而,方法步骤的特定顺序仅出于说明性目的给出并且不应被解释为具有约束力。例如,可以交换图8的实施方式中的102和107的顺序。方法步骤顺序的其他变化对技术人员是显而易见的。
就使用软件控制的数据处理装置至少部分地实现上述本公开的实施方式而言,应当理解,提供这种软件控制的计算机程序和通过其提供这种计算机程序的传输、存储或其他介质被设想为本公开的各方面。
应注意,本技术也可如下所述配置。
(1)一种图像处理电路,被配置为:
基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,从而使得第一图像标识符对于第一图像数据是唯一的。
(2)根据(1)的图像处理电路,其中,如果存储在第一存储器上的第一预定密钥与存储在一次写入多次读取上的第二预定密钥相同,则第一图像标识符或第一图像数据仅存储在一次写入多次读取存储器上。
(3)根据(1)或(2)的图像处理电路,其中,图像处理电路进一步被配置为:
当第一图像标识符存储在一次写入多次读取存储器上时,将第一图像数据存储在第二存储器上。
(4)根据(3)的图像处理电路,其中,图像处理电路进一步被配置为:
当从第二存储器检索第一图像数据时,从一次写入多次读取存储器检索第一图像标识符。
(5)根据(1)至(4)中任一项的图像处理电路,其中,图像处理电路进一步被配置为:
输出第一图像标识符和基于所获得的第二图像数据生成的第二图像标识符是否相同的指示。
(6)根据(1)至(5)中任一项的图像处理电路,其中,图像处理电路进一步被配置为:
输出第一图像标识符和获得的第三图像标识符是否相同的指示。
(7)根据(1)至(6)中任一项的图像处理电路,其中,响应于用户操作获得命令。
(8)根据(1)至(7)中任一项的图像处理电路,其中,图像处理电路包括:
一次写入多次读取存储器;
图像传感器,生成第一图像数据;以及
图像标识符生成器,基于所生成的第一图像数据来生成第一图像标识符,使得第一图像标识符对于第一图像数据是唯一的。
(9)根据(8)的图像处理电路,其中,图像标识符生成器和一次写入多次读取存储器中的每一个被设置为独立的片上系统组件。
(10)根据(9)的图像处理电路,其中,可从图像处理电路拆卸一次写入多次读取存储器。
(11)根据(8)的图像处理电路,其中,图像传感器和一次写入多次读取存储器被设置为堆叠式单片组件。
(12)根据(8)的图像处理电路,其中,图像传感器、一次写入多次读取存储器和图像标识符生成器被设置为堆叠式单片组件。
(13)根据(7)至(12)中任一项的图像处理,其中,图像处理电路进一步包括:
输入单元,能够由用户操作,其中,响应于用户对输入单元的操作而获得命令。
(14)一种图像处理方法,包括:
基于所获得的命令将第一图像数据的第一图像标识符或第一图像数据存储在一次写入多次读取存储器上,其中,第一图像标识符是基于第一图像数据生成的,从而使得第一图像标识符对于第一图像数据是唯一的。
(15)根据(14)的图像处理方法,进一步包括:
仅当存储在第一存储器上的第一预定密钥与存储在一次写入多次读取上的第二预定密钥相同时,才将第一图像标识符或第一图像数据存储在一次写入多次读取存储器上。
(16)根据(14)或(15)的图像处理方法,进一步包括:
当第一图像标识符存储在一次写入多次读取存储器上时,将第一图像数据存储在第二存储器上。
(17)根据(16)的图像处理方法,进一步包括:
当从第二存储器检索第一图像数据时,从一次写入多次读取存储器检索第一图像标识符。
(18)根据(14)至(17)中任一项的图像处理方法,进一步包括:
输出第一图像标识符和基于所获得的第二图像数据生成的第二图像标识符是否相同的指示。
(19)根据(14)至(18)中任一项的图像处理方法,进一步包括:
输出第一图像标识符和所获得的第三图像标识符是否相同的指示。
(20)根据(14)至(19)中任一项的图像处理方法,进一步包括:
响应于用户操作获得命令。
(21)一种计算机程序,包括当在计算机上执行时使计算机执行根据(14)至(20)中任一项的方法的程序代码。
(22)一种非暂时性计算机可读记录介质,其中存储有计算机程序产品,该计算机程序产品在由处理器执行时促使执行根据(14)至(20)中任一项的方法。
说明书第二部分:
在给出参考图9的实施方式的详细描述之前,进行一般性的解释。
一般而言,深度神经网络(DNN)是已知的,诸如生成对抗网络,其允许由计算机生成对人眼而言可能会显示为真实图像的图像。
此外,DNN允许通过例如由计算机引入、交换或操纵真实图像的部分来修改真实图像。这些操作对于人类可能是难以识别的。
通常,图像经常包括在例如网站中、在数据库中存留或存储在存储器中而没有保护(例如,加密),这可能增加潜在的滥用图像的未授权副本的可能性并且可能难以验证图像的所有权。
因此,已经认识到,期望提供一种用于验证图像是真实图像的技术,其中,真实图像是利用图像处理设备(例如,相机或移动设备,诸如,包括成像模块的智能电话)捕获的图像;
进一步认识到,例如,如果能够保证仅存在图像的单一拷贝,则该单拷贝应该是所有者的所有物。
因此,一些实施方式涉及一种图像处理电路,该图像处理电路被配置为响应于所获得的传输命令,基于所获得的接收器设备的公钥对所获得的图像数据进行加密,将加密的图像数据传输到接收器设备,并且响应于将加密的图像数据传输到接收器设备而删除图像数据。
图像处理电路可以包括在诸如相机、移动设备的图像处理设备(例如,包括成像模块的智能电话)中或者可以是该图像处理设备的一部分。
图像处理电路可以基于或者可以包括或者可以由被配置为实现如本文所描述的功能的电子组件(例如,电子开关、晶体管、比较器、模拟/数字电子存储器、线连接器等)实现。
图像处理电路可以基于或者可以包括或者可以实现为集成电路逻辑,并且该功能可以由处理器等执行的软件来实现。图像处理电路可以基于或者可以包括或者可以由中央处理单元(CPU)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等来实现。
图像处理电路可包括用于将数据传输到接收器设备的通信接口。通信接口可以基于无线或有线通信或者可以实现无线或有线通信以便直接传输到接收器设备或经由网络(例如,Wi-Fi、
Figure BDA0004113815190000221
基于例如LTE、以太网等的移动电信系统)传输到接收器设备。图像处理电路可包括用于与图像处理设备(其中可包括图像处理电路)的通信接口交换数据以将数据传输到接收器设备的电子组件。
图像处理电路可以基于或者可以包括电子组件和集成电路逻辑及软件或者可以部分由电子组件和集成电路逻辑部分由软件实现。
图像处理电路可以包括用于生成图像数据的图像传感器。图像传感器可包括像素电路(控制、定时、驱动单元、信号处理等),该像素电路具有根据入射在多个像素中的每个像素上的光量生成电信号的多个像素(根据预定图案(例如,按行和列)排列在图像传感器中)。图像传感器可以是电荷耦合器件(CCD)传感器、基于互补金属氧化物半导体(CMOS)技术的有源像素传感器、光电二极管阵列等。
接收器设备可以是计算机、移动设备(例如,智能电话、平板电脑等)、服务器、云提供商等。
接收器设备的公钥是例如基于Diffie-Hellman密钥交换的公钥加密方案中的公钥之一。
响应于确定或指定接收器设备,可通过通信接口获得接收器设备的公钥。响应于确定或指定接收器设备,可从存储器获得接收器设备的公钥,其中,接收器的公钥例如由于先前的使用等被预先存储在存储器上。
基于所获得的接收器设备的公钥导出加密密钥(例如,非对称加密)。加密密钥可以进一步基于图像处理设备(其中可以包括图像处理电路)的私钥或公钥等导出。
图像数据是由图像传感器根据入射在图像传感器上的光量生成的数据。图像数据表示用诸如相机等图像处理设备捕获的(真实)图像。图像数据可以基于或者可以包括根据入射在多个像素中的每个像素上的光量从由多个像素生成的模拟信号(电信号)中获得的数字值。图像数据可以从图像传感器获得或者可以从存储器等获得。
响应于所获得的传输命令,利用所导出的加密密钥对所获得的图像数据进行加密。
可以响应于用户对输入单元(诸如移动设备等(图像处理设备)上面的机械按钮)的用户操作而获得传输命令,该机械按钮在被用户操作时根据由移动设备处理以产生传输命令的用户操作生成电信号(机械按钮可耦接到电子组件以生成电信号)。
输入单元可以是显示在图像处理设备的显示单元(例如,智能电话等的触摸显示器)上的软件定义按钮,当用户在触摸显示器上触摸(用户触摸操作)时,软件定义按钮根据由图像处理设备处理以产生传输命令的用户触摸操作生成电信号。
例如,用户可用智能电话捕获图像,用户想要将该图像发送给某个接收者(例如,接收者可能想要购买该图像)。在传输之前,可以在用户的智能电话的触摸显示器上向用户显示图像,用于确认应当传输该图像。图像可以作为缩略图显示给用户。
可以自动获得(生成)传输命令,例如,用户可能不想在向特定接收者传输之前确认每个图像,并且因此,可以响应于捕获图像等生成传输命令。
将加密的图像数据传输到接收器设备。
在一些实施方式中,图像数据作为备份被存在图像处理电路/设备中,直到确认保存接收到的图像数据。
在这样的实施方式中,一旦接收器设备确认加密图像数据成功传输(接收),就从图像处理电路/设备中删除图像数据。这里,图像数据是表示所有图像数据(表示(传输的)图像)的通用术语,这些图像数据可存在存储器中,直到成功传输为止,包括原始图像数据(获得的图像数据)和加密的图像数据。
可通过用其他数据(例如,用随机数据、预定数据等)重写存储器中的数据来删除图像数据。删除图像数据可包括删除加密密钥。
因此,图像处理电路可以确保所记录的图像(或视频)被存储在内部存储器、对应的图像处理设备(或其内部存储器)上或者被成功地传输到图像处理设备外部的接收器设备。
在一些实施方式中,传输的图像(或视频)包括命名的接收方(例如,接收器设备的所有者)是图像的合法所有者的签名证明(例如,数字签名等)。
通常,图像和视频可以被保护免受恶意操纵和未授权副本的潜在滥用。
在一些实施方式中,该技术的示例性使用情况是创建用于识别文档的照片,该照片必须(i)确保是原始的并且不用深度伪造或其他篡改技术进行修改,并且(ii)不作为隐私措施存留在数据库中。这样的照片可能会被以另外的方式篡改,这可能导致当局不再接受在其设施之外创建的照片。
在这样的使用情况下,摄影工作室可继续创建此类照片并保证授权远程访问图像处理设备以检索鉴定照片的(唯一)实例。
另一使用情况可为可将照片(图像)张贴到具有真实性保证的社交媒体平台。
如上文进一步提及,图像处理电路的功能性可以基于电子组件、ASIC、片上系统等或可由电子组件、ASIC、片上系统等植入。
在一些实施方式中,图像处理电路以堆叠配置实现。
通常,在一些实施方式中,堆叠配置(堆叠传感器)是这样一种配置,在该配置中用于生成图像数据的图像传感器、(至少一些)控制功能和(至少一些)计算能力在独立的半导体衬底或芯片上实现。在这种实施方式中,独立的芯片布置在彼此上并且电连接。这可增加安全性,因为这种硬连线的解决方案可能难以损害。
因此,在一些实施方式中,图像处理设备包括图像处理电路,该图像处理电路包括具有可对捕获图像进行加密的一些计算能力并且具有一些存储能力的图像传感器(例如,堆叠传感器)、(缩略图)显示器、用户界面、可控制图像处理设备并且将信息发送到接收器设备的通信接口。在一些实施方式中,在接收器侧,存在接收加密图像并使用接收器的CPU对其进行解密的伙伴接口。
在一些实施方式中,在显示单元上向用户显示由所获得的图像数据表示的图像,并且其中,响应于用户对第一输入单元的指示用户确认传输所显示的图像的第一用户操作而获得传输命令。
如上所述,可以响应于用户对(第一)输入单元(诸如移动设备(图像处理设备)上的机械按钮)的(第一)用户操作来获得传输命令,该机械按钮在被用户操作时根据由移动设备处理(第一)以生成传输命令的(第一)用户操作(机械按钮可以耦接到电子组件以生成电信号)生成电信号。
(第一)输入单元可以是显示在图像处理设备的显示单元(例如,智能电话的触摸显示器等)上的一个软件定义的按钮(或更多个),当用户在触摸显示器上触摸(用户触摸操作)时,软件定义的按钮根据由图像处理设备处理以产生传输命令的用户触摸操作生成电信号。
在一些实施方式中,当图像显示给用户时,用户可通过操作输入单元来决定确认将图像传输到接收器设备或丢弃图像。例如,输入单元可在触摸显示器上具有两个软件定义的按钮,一个用于确认用于传输的图像,一个用于丢弃图像。这可能是重要的,因为用户在传输之后无法访问图像。在这种实施方式中,通过用户对确认按钮的操作将图像传输到接收器设备,并且在成功传输之后删除图像。此外,在这样的实施方式中,如果用户操作丢弃按钮并且图像不会被传输到接收器设备,则表示图像的图像数据被删除。
在一些实施方式中,响应于用户对第二输入单元的第二用户操作来确定接收器设备,并且其中,响应于确定接收器设备来获得接收器设备的公钥。
第二输入单元可以是移动设备等(图像处理设备)上的机械按钮,其在由用户操作时,根据由移动设备处理的(第一)用户操作(机械按钮可耦接到电子组件以生成电信号)来生成电信号。响应于电信号及其处理,菜单可被显示在图像处理设备的显示单元上,用于通过例如通过操作机械按钮或通过触摸操作等移动经过可能的接收器设备的列表来指定接收器设备。
第二输入单元可以是显示在图像处理设备的显示单元(例如,智能电话等的触摸显示器等)上的一个软件定义的按钮(或更多个),当用户在触摸显示器上触摸(用户触摸操作)时,软件定义的按钮根据由图像处理设备处理以确定接收器设备的用户触摸操作来生成电信号。
例如,第二输入单元可具有在触摸显示器上的一个或多个软件定义的按钮,每个按钮显示接收器设备(或接收器设备的所有者,诸如公司)的表示(例如,标志、名称等)。用户可触摸相应的按钮以确定接收器设备。
第二输入单元可以是下拉菜单等。
第二输入单元可以是用于进入接收器设备的文本字段(例如,URL等),其可以在捕获图像等之后出现。
如以上所讨论的,可以响应于确定或指定接收器设备,通过通信接口获得接收器设备的公钥。响应于确定或指定接收器设备,可从存储器获得接收器设备的公钥,其中,接收器的公钥例如由于先前的使用等被预先存储在存储器上。
通常,用户可能不想在捕获图像之后不久发送图像(例如,由于多个选项等,用户可能不确定向何处发送该图像),并且因此,图像需要暂时存储在例如用户的智能电话上。为了保护图像免于操纵,图像应在本地存储之前加密,直到图像传输到接收器设备。这可以允许使用诸如安全数字(SD)存储卡的可移除存储器。如果使用内置存储装置,则这可以保护免受直接内存读取攻击。
因此,一些实施方式涉及一种图像处理电路,该图像处理电路被配置为基于所获得的密钥对所获得的图像数据进行加密并且存储密钥加密的图像数据,基于所获得的密钥对密钥加密的图像数据进行解密并且响应于所获得的传输命令基于所获得的接收器设备的公钥对所获得的图像数据进行加密,将公钥加密的图像数据传输到接收器设备,并且响应于将公钥加密的图像数据成功地传输到接收器设备而删除图像数据。
在这样的实施方式中,由图像数据表示的图像被加密地存储在包括图像处理电路的图像处理设备的存储器上,直到图像被传输到接收器设备。
密钥可为预定密钥(例如,在制造时)或可从预定密钥导出以生成每一图像的(唯一)密钥。
密钥可从图像处理设备的公钥导出,以生成每个图像的(唯一)密钥。
密钥可存储在硬件安全元件等上。
一旦用户检索到用于将其传输到接收器设备的图像,则基于(用)密钥来解密密钥加密的图像数据。
如上所述,基于接收器设备的公钥对所获得的图像数据(在利用密钥解密之后重新获得的)进行加密。
将公钥加密的图像数据传输到接收器设备,并且删除图像数据(表示图像的所有图像数据),如上文所讨论,其中,删除还可包括如果密钥是每个图像的(唯一的)密钥,则删除该密钥。
在一些实施方式中,在对密钥加密的图像数据进行解密之后,在显示单元上向用户显示由所获得的图像数据表示的图像,并且其中,响应于用户对第一输入单元的指示用户确认传输所显示的图像的第一用户操作而获得传输命令。
在一些实施方式中,响应于用户对第二输入单元的第二用户操作来确定接收器设备,并且其中,响应于确定接收器设备来获得接收器设备的公钥。
通常,在一些实施方式中,接收器设备形成可信接收器设备链的一部分,其中,链的每个成员以与包括图像处理电路的图像处理设备相同的方式转发和删除图像。
一些实施方式涉及一种图像处理方法,包括:响应于所获得的传输命令,基于所获得的接收器设备的公钥来对所获得的图像数据进行加密;将加密的图像数据传输到接收器设备;以及响应于将加密的图像数据成功地传输到接收器设备而删除图像数据。
图像处理方法可以基于电子组件、集成电路逻辑、CPU、FPGA、软件或者可以由电子组件、集成电路逻辑、CPU、FPGA、软件或部分由电子组件部分由处理器等执行的软件实现。
一些实施方式涉及一种图像处理方法,包括:基于所获得的密钥对所获得的图像数据进行加密并且存储密钥加密的图像数据;
基于所获得的密钥对密钥加密的图像数据进行解密,并且响应于所获得的传输命令基于所获得的接收器设备的公钥对所获得的图像数据进行加密,将公钥加密的图像数据传输到接收器设备,并且响应于将公钥加密的图像数据成功地传输到接收器设备而删除图像数据。
图像处理方法可以基于电子组件、集成电路逻辑、CPU、FPGA、软件或者可以由电子组件、集成电路逻辑、CPU、FPGA、软件或部分由电子组件部分由处理器等执行的软件实现。
在一些实施方式中,当在计算机和/或处理器上执行时,本文中描述的方法也实现为使计算机和/或处理器执行该方法的计算机程序。在一些实施方式中,还提供了其中存储计算机程序产品的非暂时性计算机可读记录介质,该计算机程序产品在由处理器(诸如,上述处理器)执行时,促使执行在本文中描述的方法。
返回图9,其以框图示意性示出图像处理设备的两个实施方式,在下文中,参考图9A讨论第一实施方式,并且参考图9B讨论第二实施方式。
参考图9A讨论图像处理设备50的第一实施方式,此处图像处理设备是智能手机。
如通常所知的,图像处理设备50(智能电话)通常包括诸如CPU、存储器、通信接口等的电路。
图像处理设备50进一步包括显示单元51、图像传感器(未示出)和图像处理电路55。
显示单元51是触摸显示器,当用户在显示器上执行触摸操作时,该触摸显示器根据触摸操作生成电信号。
显示单元51显示具有输入选项52a、52b和52c的输入单元52。
输入选项52a-52c是软件定义的按钮。输入选项52a是第一接收器设备57的第一表示,并且输入选项52b是第二接收器设备57的第二表示。输入选项52c是正常图像捕获模式的表示。
当用户触摸触摸显示器51上显示输入选项52a或52b的位置中的一个时,确定分别由输入选项52a或52b表示的接收器设备57。
假定用户选择输入选项52a(其为社交媒体平台的表示),那么确定对应于例如社交媒体平台的服务器(其可由URL等识别)的接收器设备57。
然后,图像处理电路55例如通过Diffie-Hellman密钥交换获得接收器设备57的公钥58。
另外,图像处理设备50切换为用于生成表示捕获图像的图像数据53的图像捕获模式。
技术人员将了解,也可以在捕获和确认图像53以用于传输之后确定接收器设备57。
捕获图像53例如与具有输入选项54a和54b的输入单元54一起显示给用户。
用户通过触摸输入选项54a来确认显示图像53,并且通过触摸输入选项54b来丢弃显示图像53。
这是重要的,因为一旦图像被传输到接收器设备57,用户将不再访问照片(图像)53。如果这是护照照片,例如,用户可以验证眼睛是张开的,并且角度是正确的等等。如果是社交媒体照片,则用户可以验证其是美观的,没有腿被剪掉等等。
假设用户通过触摸输入选项54a确认显示图像53,即,确认将显示图像传输到接收器设备,则生成通过图像处理电路55获得的传输命令56。
然后,图像处理电路55获得图像数据53并且基于所获得的接收器设备57的公钥58对所获得的图像数据进行加密。
加密的图像数据53a被传输到接收器设备57。
然后,接收器设备57确认成功传输,并且图像处理电路55(例如,从工作存储器或图像处理电路55本身中的小存储器)删除图像数据。
在加密的过程中以及在传输和删除之后,图像处理设备50不能访问图像数据53。
参考图9B讨论图像处理设备50的第二实施方式。
与参考图9A讨论的实施方式相比,在本实施方式中,(密钥加密)图像数据53’(临时)存储在图像处理设备50的存储器60上。
用户利用图像处理设备50捕获图像53。
然后,图像处理电路55获得图像数据53,并且利用存储在硬件安全单元中的密钥对获得的图像数据53进行加密。
密钥加密的图像数据53’存储在存储器60上。
在以后的某个时刻,用户检索图像53,其中,密钥加密的图像数据53’被加载并基于密钥59被解密。
然后,用户选择(例如)输入选项52a或52b以确定接收器设备57并且获得接收器设备57的公钥56。
图像处理电路55基于所获得的接收器设备57的公钥58对(重新)获得的图像数据53进行加密。
(公钥)加密的图像数据53a被传输到接收器设备57。
然后,接收器设备57确认成功传输,并且图像处理电路55(例如,从工作存储器或图像处理电路55本身中的小存储器、存储器60等)删除图像数据53。
在该实施方式中,图像53仅被加密地存储在图像处理设备50的存储器60中。
在参考图9A和图9B讨论的两个实施方式中,图像53仅在接收器侧可访问(在传输侧上不可以执行任何操作)。接收器设备57接收照片,可以解密该照片并使用该照片。
接收器设备57可以属于不仅已为该照片支付而且已为版权支付的买家,并且可确信只有该买家具有该照片的版本。
此外,接收器设备57可以属于接收护照照片的护照处,其中,在捕获之后操纵照片可能是困难的。
接收器设备57可属于社交媒体平台,其中,可以立即张贴照片,并且可以保证其为原始真实图像。
图10以框图示意性地示出了包括图像处理电路55的第二实施方式的图像处理设备50的第三实施方式。
图像处理设备50包括控制器70、显示器51(未示出)、图像处理电路55和通信接口71。
控制器70包括用于控制图像处理设备50的整体功能的电路(例如,CPU、存储器等)。控制器70响应于用户在显示器51上的触摸操作生成传输命令56并且将传输命令56发送到图像处理电路55(加密单元72)。
通信接口71将加密的图像数据53a传输到接收器设备57(未示出)并且获得接收器设备57的公钥58并且将公钥58发送到图像处理电路55(加密单元72)。
图像处理电路55包括图像传感器20和加密单元72。
图像传感器20包括多个像素21、行选择逻辑22、定时控制23、列选择逻辑24、多个模拟信号处理器25和多个模数(AD)转换器26。
多个像素21根据预定图案按行和列排列,多个像素21的每个像素根据入射到相应像素上的光量生成电信号。
行选择逻辑22选择一行像素21以将电信号输出至多个模拟信号处理器25。
定时控制器23控制行选择逻辑22、列选择逻辑24、多个模拟信号处理器25和多个AD转换器26的定时。
列选择逻辑24选择一列像素以将电输出至多个模拟信号处理器25。
多个模拟信号处理器25对从多个像素21获得的电信号执行预定的模拟信号处理(例如,频率滤波、平滑等)并且将经处理的信号输出至多个AD转换器。
多个AD转换器26将所处理的信号转换为数字值(像素值),从而生成图像数据53。多个AD转换器26输出图像数据53。
加密单元72被实现为片上系统(SoC),并且响应于传输命令56基于公钥58对所获得的图像数据53进行加密。
加密单元72将加密的图像数据53a输出到通信接口71用于传输到接收器设备57。
此外,在向接收器设备57成功传输加密的图像数据53a之后,删除图像数据53。
参考图11A、图11B和图11C讨论以框图示意性地示出的图像处理电路65的配置的不同的实施方式。
图11A示意性地示出了在单个半导体芯片(例如,参考图10讨论的实施方式的图像处理电路55)上处于平坦配置中的图像处理电路65。
图像处理电路65包括用于信号处理的逻辑电路66、像素电路67和控制单元68。
逻辑电路66例如包括多个模拟信号处理器25、多个模数(AD)转换器26以及加密单元72。
像素电路67例如包括多个像素21、行选择逻辑22和列选择逻辑24。
控制单元68例如是定时控制23。
图11B示意性示出了处于第一堆叠配置中的图像处理电路65。例如,可以第一堆叠配置实现参考图10讨论的实施方式的图像处理电路55。第一堆叠配置可对应于正向照明图像传感器。
在第一堆叠配置中,例如,根据如参考图11A讨论的实施方式的逻辑电路66安装在第一半导体芯片部40上。
例如,根据如参考图11A讨论的实施方式的像素电路67和控制单元68安装在第二半导体芯片部41上。
图11C示意性地示出了处于第二堆叠配置中的图像处理电路65。例如,可以第二堆叠配置实现参考图10讨论的实施方式的图像处理电路55。第二堆叠配置可对应于反向照明图像传感器。
在第二堆叠配置中,例如,根据如参考图11A讨论的实施方式的逻辑电路66和控制单元68安装在第一半导体芯片部40上。
例如,根据如参考图11A讨论的实施方式的像素电路67安装在第二半导体芯片部41上。
应当认识到,图11A、图11B和图11C的实施方式描述了具有逻辑电路66、像素电路67和控制单元68的示例性配置的平坦配置、第一堆叠配置和第二堆叠配置。然而,逻辑电路66、像素电路67和控制单元68的具体配置仅出于示例性目的给出并且不应被解释为具有约束力。进一步的配置对于技术人员而言可以是显而易见的。
该实施方式提供利用其计算能力执行加密的堆叠图像传感器,这可提高安全性,因为堆叠传感器可能更难以损害。
图12以流程图示意性地示出了图像处理方法200的第一实施方式。
在201处,响应于所获得的传输命令,基于所获得的接收器设备的公钥对所获得的图像数据进行加密。
在202处,将加密的图像数据传输到接收器设备,如本文所讨论的。
在203处,响应于将加密的图像数据成功地传输到接收器设备而删除图像数据,如本文所讨论的。
在204处,在显示单元上向用户显示由所获得的图像数据表示的图像,如本文所讨论的。
在205处,响应于用户对第一输入单元的指示用户接受传输所显示的图像的第一用户操作而获得传输命令,如本文所讨论的。
在206处,响应于用户对第二输入单元的第二用户操作而确定接收器设备,如本文所讨论的。
在207处,响应于确定接收器设备而获得接收器设备的公钥,如本文所讨论的。
图13以流程图示意性地示出了图像处理方法300的第二实施方式。
在301处,基于所获得的密钥,对所获得的图像数据进行加密并且存储密钥加密的图像数据,如本文所讨论的。
在302处,基于所获得的密钥,对密钥加密的图像数据进行解密,并且响应于所获得的传输命令,基于所获得的接收器设备的公钥对所获得的图像数据进行加密,如本文所讨论的。
在303处,将公钥加密的图像数据传输到接收器设备,如本文所讨论的。
在304处,响应于将公钥加密的图像数据成功地传输到接收器设备而删除图像数据,如本文所讨论的。
在305处,在对密钥加密的图像数据进行解密之后,在显示单元上向用户显示由所获得的图像数据表示的图像,如本文所讨论的。
在306处,响应于用户对第一输入单元的指示用户接受传输所显示的图像的第一用户操作而获得传输命令,如本文所讨论的。
在307处,响应于用户对第二输入单元的第二用户操作而确定接收器设备,如本文所讨论的。
在308处,响应于确定接收器设备而获得接收器设备的公钥,如本文所讨论的。
应当认识到,实施方式描述了具有方法步骤的示例性顺序的方法。然而,方法步骤的特定顺序仅出于说明性目的给出并且不应被解释为具有约束力。例如,可以交换图12的实施方式中的204和106的顺序。方法步骤顺序的其他变化对技术人员是显而易见的。
就使用软件控制的数据处理装置至少部分地实现上述本公开的实施方式而言,应当理解,提供这种软件控制的计算机程序和通过其提供这种计算机程序的传输、存储或其他介质被设想为本公开的各方面。
注意,本技术也可如下所述配置。
(1)一种图像处理电路,被配置为:
响应于所获得的传输命令,基于所获得的接收器设备的公钥对所获得的图像数据进行加密;
将加密的图像数据传输到接收器设备;并且
响应于将加密的图像数据成功地传输到接收器设备而删除图像数据。
(2)根据(1)的图像处理电路,其中,在显示单元上向用户显示由所获得的图像数据表示的图像,并且其中,响应于用户对第一输入单元的指示用户确认传输所显示的图像的第一用户操作而获得传输命令。
(3)根据(1)或(2)的图像处理电路,其中,响应于用户对第二输入单元的第二用户操作而确定接收器设备,并且其中,响应于确定接收器设备而获得接收器设备的公钥。
(4)一种图像处理电路,被配置为:
基于所获得的密钥对所获得的图像数据进行加密并存储密钥加密的图像数据;
基于所获得的密钥来对密钥加密的图像数据进行解密,并且响应于所获得的传输命令基于所获得的接收器设备的公钥来对所获得的图像数据进行加密;
将公钥加密的图像数据传输到接收器设备;并且
响应于将公钥加密的图像数据成功地传输到接收器设备而删除图像数据。
(5)根据(4)的图像处理电路,其中,在对密钥加密的图像数据进行解密之后,在显示单元上向用户显示所获得的图像数据表示的图像,并且其中,响应于用户对第一输入单元的指示用户确认传输所显示的图像的第一用户操作而获得传输命令。
(6)根据(4)或(5)的图像处理电路,其中,响应于用户对第二输入单元的第二用户操作而确定接收器设备,并且其中,响应于确定接收器设备来获得接收器设备的公钥。
(7)一种图像处理方法,包括:
响应于所获得的传输命令,基于接收器设备的所获得的公钥对所获得的图像数据进行加密;
将加密的图像数据传输到接收器设备;并且
响应于将加密的图像数据成功地传输到接收器设备而删除图像数据。
(8)根据(7)的图像处理方法进一步包括:
在显示单元上向用户显示获得的图像数据表示的图像;并且
响应于用户对第一输入单元的指示用户接受传输所显示的图像的第一用户操作而获得传输命令。
(9)根据(7)或(8)的图像处理方法进一步包括:
响应于用户对第二输入单元的第二用户操作而接收器设备;并且
响应于确定接收器设备而获得接收器设备的公钥。
(10)一种图像处理方法,包括:
基于所获得的密钥,对所获得的图像数据进行加密并存储密钥加密的图像数据;
基于所获得的密钥来对密钥加密的图像数据进行解密,并且响应于所获得的传输命令,基于所获得的接收器设备的公钥来对所获得的图像数据进行加密;
将公钥加密的图像数据传输到接收器设备;并且
响应于将公钥加密的图像数据成功地传输到接收器设备而删除图像数据。
(11)根据(10)的图像处理方法进一步包括:
在对密钥加密的图像数据进行解密之后,在显示单元上向用户显示获得的图像数据表示的图像;并且
响应于用户对第一输入单元的指示用户接受传输所显示的图像的第一用户操作而获得传输命令。
(12)根据(10)和(11)的图像处理方法进一步包括:
响应于用户对第二输入单元的第二用户操作而确定接收器设备;并且
响应于确定接收器设备而获得接收器设备的公钥。
(13)一种计算机程序,包括当在计算机上执行时使计算机执行根据(1)至(3)中任一项的方法的程序代码。
(14)一种非暂时性计算机可读记录介质,其中存储有计算机程序产品,该计算机程序产品在由处理器执行时促使执行根据(1)至(3)中任一项的方法。
(15)一种计算机程序,包括当在计算机上执行时使计算机执行根据(4)至(6)中任一项的方法的程序代码。
(16)一种非暂时性计算机可读记录介质,其中存储有计算机程序产品,该计算机程序产品在由处理器执行时促使执行根据(4)至(6)中任一项的方法。

Claims (20)

1.一种图像处理电路,被配置为:
基于所获得的命令将第一图像数据的第一图像标识符或所述第一图像数据存储在一次写入多次读取存储器上,其中,所述第一图像标识符是基于所述第一图像数据生成的,从而使得所述第一图像标识符对于所述第一图像数据是唯一的。
2.根据权利要求1所述的图像处理电路,其中,如果存储在第一存储器上的第一预定密钥与存储在一次写入多次读取上的第二预定密钥相同,则所述第一图像标识符或所述第一图像数据仅存储在所述一次写入多次读取存储器上。
3.根据权利要求1所述的图像处理电路,其中,所述图像处理电路进一步被配置为:
当所述第一图像标识符存储在所述一次写入多次读取存储器上时,将所述第一图像数据存储在第二存储器上。
4.根据权利要求3所述的图像处理电路,其中,所述图像处理电路进一步被配置为:
当从所述第二存储器检索所述第一图像数据时,从所述一次写入多次读取存储器检索所述第一图像标识符。
5.根据权利要求1所述的图像处理电路,其中,所述图像处理电路进一步被配置为:
输出所述第一图像标识符和基于所获得的第二图像数据生成的第二图像标识符是否相同的指示。
6.根据权利要求1所述的图像处理电路,其中,所述图像处理电路进一步被配置为:
输出所述第一图像标识符和所获得的第三图像标识符是否相同的指示。
7.根据权利要求1所述的图像处理电路,其中,响应于用户操作获得所述命令。
8.根据权利要求1所述的图像处理电路,其中,所述图像处理电路包括:
所述一次写入多次读取存储器;
图像传感器,生成所述第一图像数据;以及
图像标识符生成器,基于所生成的第一图像数据生成所述第一图像标识符,使得所述第一图像标识符对于所述第一图像数据是唯一的。
9.根据权利要求8所述的图像处理电路,其中,所述图像标识符生成器和所述一次写入多次读取存储器中的每一个被设置为独立的片上系统组件。
10.根据权利要求9所述的图像处理电路,其中,能从所述图像处理电路拆卸所述一次写入多次读取存储器。
11.根据权利要求8所述的图像处理电路,其中,所述图像传感器和所述一次写入多次读取存储器被设置为堆叠式单片组件。
12.根据权利要求8所述的图像处理电路,其中,所述图像传感器、所述一次写入多次读取存储器和所述图像标识符生成器被设置为堆叠式单片组件。
13.根据权利要求7所述的图像处理电路,其中,所述图像处理电路进一步包括:
输入单元,能够由所述用户操作,其中,响应于所述用户对所述输入单元的操作获得所述命令。
14.一种图像处理方法,包括:
基于所获得的命令将第一图像数据的第一图像标识符或所述第一图像数据存储在一次写入多次读取存储器上,其中,所述第一图像标识符是基于所述第一图像数据生成的,从而使得所述第一图像标识符对于所述第一图像数据是唯一的。
15.根据权利要求14所述的图像处理方法,进一步包括:
仅当存储在第一存储器上的第一预定密钥与存储在一次写入多次读取上的第二预定密钥相同时,才将所述第一图像标识符或所述第一图像数据存储在所述一次写入多次读取存储器上。
16.根据权利要求14所述的图像处理方法,进一步包括:
当所述第一图像标识符存储在所述一次写入多次读取存储器上时,将所述第一图像数据存储在第二存储器上。
17.根据权利要求16所述的图像处理方法,进一步包括:
当从所述第二存储器检索所述第一图像数据时,从所述一次写入多次读取存储器检索所述第一图像标识符。
18.根据权利要求14所述的图像处理方法,进一步包括:
输出所述第一图像标识符和基于所获得的第二图像数据生成的第二图像标识符是否相同的指示。
19.根据权利要求14所述的图像处理方法,进一步包括:
输出所述第一图像标识符和所获得的第三图像标识符是否相同的指示。
20.根据权利要求14所述的图像处理方法,进一步包括:
响应于用户操作获得所述命令。
CN202180060873.XA 2020-07-22 2021-07-19 图像处理电路和图像处理方法 Pending CN116158072A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20187155 2020-07-22
EP20187155.5 2020-07-22
PCT/EP2021/070106 WO2022018012A1 (en) 2020-07-22 2021-07-19 Image processing circuitry and image processing method

Publications (1)

Publication Number Publication Date
CN116158072A true CN116158072A (zh) 2023-05-23

Family

ID=71741675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180060873.XA Pending CN116158072A (zh) 2020-07-22 2021-07-19 图像处理电路和图像处理方法

Country Status (3)

Country Link
US (1) US20230276146A1 (zh)
CN (1) CN116158072A (zh)
WO (1) WO2022018012A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961263B1 (en) * 2023-09-16 2024-04-16 SiliconeSignal Technologies Zero-vision camera system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255655B2 (en) * 2009-10-02 2012-08-28 Sandisk Technologies Inc. Authentication and securing of write-once, read-many (WORM) memory devices

Also Published As

Publication number Publication date
US20230276146A1 (en) 2023-08-31
WO2022018012A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
KR100407900B1 (ko) 네트워크를 거쳐 생체 측정 데이터를 안전하게 전송하고인증하는 방법 및 장치
US10075618B2 (en) Security feature for digital imaging
US20210194699A1 (en) Blockchain-embedded secure digital camera system to verify audiovisual authenticity
KR20040053253A (ko) 네트워크를 거쳐 생체 인식 데이터를 안전하게 전송하고인증하는 방법 및 장치
CN101001305B (zh) 信息处理设备及其控制方法
US20130117834A1 (en) Communication control system and method, and communication device and method
US20150040212A1 (en) Locking apparatus with enhanced security using iris image
Ba et al. ABC: Enabling smartphone authentication with built-in camera
WO2006115156A1 (ja) 監視カメラシステム、撮影装置および映像表示装置
WO2017168901A1 (ja) イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法
US10389536B2 (en) Imaging systems with data encryption and embedding capabalities
CN101415099A (zh) 影像撷取装置加密系统及方法
KR101341482B1 (ko) 부분 암호화 기능을 구비한 네트워크 촬영 장치
KR20190081297A (ko) 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
CN114208110B (zh) 信息处理装置、信息处理方法和程序
JP2000324334A (ja) 画像処理装置、方法及びシステム、並びに撮像装置、撮像方法、コンピュータ読み取り可能な記憶媒体
JP2007329688A (ja) データ処理装置およびその方法
US20230276146A1 (en) Image processing circuitry and image processing method
CN112585605A (zh) 信息处理系统、信息处理方法、终端装置和信息处理装置
JP2019057880A (ja) 撮影装置、画像処理システム、画像処理プログラム、検索プログラム、及び撮影プログラム
CN113170043B (zh) 图像捕获元件、图像捕获装置和方法
KR20200136829A (ko) 기밀 데이터의 보호를 위한 사용자 장치 및 방법
KR101731012B1 (ko) 개인영상정보 반출 관리시스템
JP2007036985A (ja) 画像撮影装置及び外部処理装置
US20210287322A1 (en) Robust selective image, video, and audio content authentication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination