CN115348024A - 车辆图像传感器、包括其的图像处理系统和其操作方法 - Google Patents

车辆图像传感器、包括其的图像处理系统和其操作方法 Download PDF

Info

Publication number
CN115348024A
CN115348024A CN202210473152.8A CN202210473152A CN115348024A CN 115348024 A CN115348024 A CN 115348024A CN 202210473152 A CN202210473152 A CN 202210473152A CN 115348024 A CN115348024 A CN 115348024A
Authority
CN
China
Prior art keywords
image sensor
control unit
electronic control
image data
vehicle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210473152.8A
Other languages
English (en)
Inventor
具时京
金东炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210094683A external-priority patent/KR20220155548A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115348024A publication Critical patent/CN115348024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3006—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy underlying computational problems or public-key parameters
    • H04L9/302—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy underlying computational problems or public-key parameters involving the integer factorization problem, e.g. RSA or quadratic sieve [QS] schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H04L9/3249—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures using RSA or related signature schemes, e.g. Rabin scheme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3271—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using challenge-response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84—Vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种车辆图像传感器、包括其的图像处理系统和其操作方法，所述方法包括：执行复位操作以设置与所述车辆图像传感器的操作信息相对应的初始化寄存器；在执行所述复位操作之后从电子控制单元接收设备认证请求；基于所述设备认证请求执行与所述电子控制单元的认证操作；在执行所述认证操作的同时获得第一图像数据；在执行所述认证操作的同时将所述第一图像数据发送到所述电子控制单元；在所述认证操作完成之后获得第二图像数据；生成所述第二图像数据的标签；以及向所述电子控制单元发送所述第二图像数据和所述标签。

Description

车辆图像传感器、包括其的图像处理系统和其操作方法
相关申请的交叉引用
本申请要求在韩国知识产权局于2021年5月14日提交的韩国专利申请号No.10-2021-0062649以及于2021年7月20日提交的韩国专利申请号No.10-2021-0094683的优先权的权益，这些韩国专利申请的公开内容通过引用整体合并于此。
技术领域
本公开的示例实施例涉及车辆图像传感器、包括车辆图像传感器的图像处理系统以及车辆图像传感器的操作方法。
背景技术
通常，在车辆-IT融合领域中，高级驾驶员辅助系统(ADAS)指如下各种系统，其可以允许驾驶员基于由车辆传感器和相机检测到的外部环境信息来采用适当的动作，或者可以自动控制车辆从而可以建立安全驾驶环境以减少或防止由车辆事故引起的损坏。ADAS可以用于在发生偏离时通过监测车道偏离来警告驾驶员，通过感测车辆之间的距离来帮助维持适当的距离，在夜间根据行驶方向照亮道路，以及感测驾驶员的困倦并警告驾驶员。因此，ADAS可以是主要用于确保驾驶员安全和便于实现自动车辆的高级驾驶员辅助系统。因此，ADAS的传感器的重要性已经提高。
发明内容
一个或更多个示例实施例提供了一种可以安全地获得图像的车辆图像传感器、包括车辆图像传感器的图像处理系统、以及车辆图像传感器的操作方法。
一个或更多个示例实施例还提供了一种可以快速启动的车辆图像传感器、包括车辆图像传感器的图像处理系统、以及车辆图像传感器的操作方法。
根据示例实施例的一方面，提供一种操作车辆图像传感器的方法，所述方法包括：执行复位操作以设置与所述车辆图像传感器的操作信息相对应的初始化寄存器；在执行所述复位操作之后从电子控制单元接收设备认证请求；基于所述设备认证请求执行与所述电子控制单元的认证操作；在执行所述认证操作的同时获得第一图像数据；在执行所述认证操作的同时向所述电子控制单元发送所述第一图像数据；在所述认证操作完成之后获得第二图像数据；生成所述第二图像数据的标签；以及向所述电子控制单元发送所述第二图像数据和所述标签。
根据示例实施例的另一方面，提供一种车辆图像传感器，包括：像素阵列，所述像素阵列包括连接到多条行线和多条列线的多个像素；行驱动器，所述行驱动器被配置为选择所述多条行线中的一条行线；模数转换电路，所述模数转换电路被配置为通过将由所述像素阵列输出的模拟信号与斜坡信号进行比较来将所述模拟信号转换为数字数据；斜坡信号发生器，所述斜坡信号发生器被配置为生成所述斜坡信号；缓冲存储器，所述缓冲存储器被配置为存储所述数字数据；数字处理装置，所述数字处理装置被配置为将所述数字数据处理为图像数据；时序控制器，所述时序控制器被配置为控制所述像素阵列、所述行驱动器、所述模数转换电路、所述斜坡信号发生器、所述缓冲存储器和所述数字处理装置；以及安全电路，所述安全电路被配置为执行与外部的电子控制单元的设备认证，并且基于与所述设备认证相对应的密钥信息生成用于所述图像数据的全部或所述图像数据的一部分的标签，其中，在所述设备认证被执行的同时，所述数字处理装置向所述电子控制单元发送所述图像数据。
根据示例实施例的另一方面，提供一种图像处理系统，包括：车辆图像传感器，所述车辆图像传感器被配置为获得图像；以及电子控制单元，所述电子控制单元被配置为从所述车辆图像传感器接收图像数据并且处理所述图像数据，其中，所述车辆图像传感器包括：至少一个处理器，所述处理器被实现为启动模式选择器，所述启动模式选择器被配置为选择正常启动模式和快速启动模式中的一者；所述电子控制单元包括安全模块，所述安全模块被配置为执行与所述车辆图像传感器的设备认证，并且验证从所述车辆图像传感器接收的所述图像数据的完整性，其中，在所述正常启动模式下，在所述设备认证被执行之后，所述车辆图像传感器的初始设置操作被请求，其中，在所述快速启动模式下，在所述车辆图像传感器的所述初始设置操作被执行之后，所述设备认证被请求。
根据示例实施例的另一方面，提供一种操作电子控制单元的方法，所述方法包括：在从车辆图像传感器接收到操作信息之后，通过通信信道向所述车辆图像传感器发送认证请求；通过通信信道从所述车辆图像传感器接收所述车辆图像传感器的公钥；基于所述公钥生成加密代码；通过所述通信信道向所述车辆图像传感器发送所述加密代码；在认证操作完成之前通过传输信道从所述车辆图像传感器接收第一流数据；以及在所述认证操作完成之后通过所述传输信道从所述车辆图像传感器接收第二流数据。
附图说明
根据以下结合附图的详细描述，将更清楚地理解示例实施例的上述和/或其他方面、特征和优点，在附图中：
图1是示出根据示例实施例的图像处理系统的图；
图2是示出根据示例实施例的车辆图像传感器的图；
图3是示出根据示例实施例的车辆图像传感器的安全电路的图；
图4是示出根据示例实施例的电子控制单元的安全模块的图；
图5A是示出根据示例实施例的车辆图像传感器中的在认证操作期间输出图像数据的过程的图；
图5B是示出根据示例实施例的车辆图像传感器中的在认证操作之后输出图像数据的过程的图；
图6是示出根据示例实施例的车辆图像传感器的操作方法的流程图；
图7是示出根据示例实施例的车辆图像传感器的操作方法的梯形图；
图8是示出根据示例实施例的车辆图像传感器的启动操作的时序图；
图9A和图9B是示出根据另一示例实施例的图像处理系统的图；
图10是示出根据另一示例实施例的车辆图像传感器的操作方法的流程图；
图11是示出根据示例实施例的车辆图像传感器的正常启动操作的时序图；
图12、图13、图14和图15是示出根据示例实施例的相机系统的图；
图16是示出根据示例实施例的车辆相机装置的透视图。
具体实施方式
在下文中，将参考附图如下描述本公开的示例实施例。
图1是示出根据示例实施例的图像处理系统10的图。参考图1，图像处理系统10可以包括车辆图像传感器100和电子控制单元200(ECU)。车辆图像传感器100可以由使用相机镜头执行成像操作的相机装置来实现。图像处理系统10可以应用于各种类型的系统。例如，图像处理系统10可以应用于自动驾驶系统。
车辆图像传感器100可以被配置为从车辆的周围获得图像。车辆图像传感器100还可以被配置为将所获得的图像转换为保证可靠性的安全图像，并且将转换的安全图像发送到电子控制单元200。在示例实施例中，安全图像可以包括原始数据和用于验证原始数据的可靠性的标签。在另一示例实施例中，安全图像可以包括基于加密算法加密的图像。
车辆图像传感器100可以包括安全电路101，其被配置为执行将所获得的图像转换为安全图像所需的一系列安全操作。安全电路101可以以软件、硬件或固件配置。
安全电路101可以被配置为执行与电子控制单元200的认证操作。可以基于各种算法执行认证操作。在示例实施例中，可以基于诸如Rivest Shamir Adleman(RSA)、椭圆曲线密码学(ECC)和Diffie-Hellman的非对称-密钥算法执行认证过程。在另一示例实施例中，可以基于诸如高级加密标准(AES)或数据加密标准(DES)的对称-密钥算法执行认证过程。
在示例实施例中，可以在设置车辆图像传感器100的操作之后发起认证操作。特别地，在执行认证操作时，可以将从车辆图像传感器100获得的图像发送到电子控制单元200。在这种情况下，与认证操作同时发送的图像可以不包括用于可靠性验证的标签。
安全电路101还可以被配置为对图像执行安全处理操作以识别从电子控制单元200发送的图像是否被伪造。例如，安全电路101可以生成所获得的图像的标签TAG，并且可以执行发送所获得的图像数据IDATA和附加到其上的标签TAG的安全处理操作。在示例实施例中，安全电路101可以使用图像和密钥信息(共享密钥信息)生成标签(例如，消息认证码(MAC))，并且可以将生成的MAC随着相应的图像一起发送到电子控制单元200。
在示例实施例中，安全电路101可以仅从一个图像选择部分区域，并且可以使用所选择的区域的图像的数据和密钥信息生成MAC。在示例实施例中，用于生成MAC的图像的部分区域可以由安全电路101任意选择。在示例实施例中，用于生成MAC的图像的部分区域可以从电子控制单元200提供到车辆图像传感器100。用于生成MAC的图像的区域的位置可以根据各种方法改变。例如，可以使用固定位置的区域，或者用于生成MAC的图像的区域的位置可以针对每个帧或定期地改变。
电子控制单元200(ECU)可以被配置为接收从车辆图像传感器100发送的图像(或图像数据)并且对其执行处理操作。例如，电子控制单元200可以被配置为与车辆图像传感器100分开配置的半导体芯片。在示例实施例中，半导体芯片可以是集成有至少一个处理器和图像处理模块的片上系统(SOC)。例如，电子控制单元200可以被配置为高级驾驶员辅助系统(ADAS)SOC。
在示例实施例中，电子控制单元200可以使用所接收的图像和密钥信息获得MAC，并且可以通过将从车辆图像传感器100发送的MAC与由电子控制单元200计算的MAC进行比较，来验证从车辆图像传感器100发送的图像的完整性。在另一示例实施例中，电子控制单元200可以从所接收的图像选择相同位置的区域，可以使用所选择的区域的图像数据和密钥信息来计算MAC，并且可以通过将从车辆图像传感器100发送的MAC与由电子控制单元200计算的MAC进行比较来验证图像的完整性。
电子控制单元200还可以通过诸如控制器区域网络(CAN)、面向媒体的系统传输(MOST)、本地互连网络(LIN)、FlexRay、以太网等的各种通信方法与外部电子控制单元通信。
在图1所示的图像处理系统10中，示出了单个电子控制单元200和单个车辆图像传感器100，但是实施例不限于此。根据示例实施例的图像处理系统10可以以其他各种形式实现。例如，图像处理系统10可以包括两个或更多个电子控制单元200，并且图像处理系统10中包括的车辆图像传感器100的数目可以改变。
当图像处理系统10被实现为自动驾驶系统时，可以在车辆中采用多个相机装置。由每个相机装置的相机传感器发送的图像数据的量可以是6至12Gbps。然而，从相机传感器发送的数据的量可以不限于此。
电子控制单元200可以通过分析从每个相机传感器接收的大量图像，基于分析来说明当前交通情况和障碍物，并且可以实时执行用于后续操作的装置控制。电子控制单元200还可以执行安全处理操作，以检查图像是否从合法相机装置发送的以及在发送图像时图像是否未被伪造。
电子控制单元200可以包括安全模块201(硬件安全模块；HSM)，其被配置为执行上述车辆图像传感器100的设备认证操作和图像完整性验证操作。安全模块201可以以软件、硬件或固件实现。
硬件安全模块(HSM)可以指专为保护加密密钥的生命周期而设计的加密处理器。HSM可以在增强的防伪装置中执行加密处理、密钥保护和密钥管理。在车辆控制器领域中使用的HSM可以包括用于安全存储密钥的安全存储器。例如，安全存储器可以包括与主机系统分开的HSM专用随机存取存储器(RAM)或具有高安全性的只读存储器(ROM)。HSM可以通过专用中央处理单元(CPU)执行一系列操作，以相对安全地执行功能而免遭潜在攻击者的攻击。
在图像处理系统中，车辆图像传感器100和电子控制单元200可以在发送实际图像之前执行设备认证过程。当最初驱动或启动车辆图像传感器100时，可以执行这种设备认证过程。一般图像处理系统可能需要大量时间在认证过程被执行之后发送安全图像。因此，使用图像处理系统的消费者可能会经历视觉不适。
示例实施例中的图像处理系统10可以在车辆图像传感器100的初始化操作中执行设备认证过程，并且可以同时将所获得的图像发送到电子控制单元200，使得用户便利性可以改善。
图2是示出根据示例实施例的车辆图像传感器100的图。参考图2，车辆图像传感器100可以包括安全电路101、像素阵列110、行驱动器120、模数转换电路130、斜坡电压发生器(Ramp GNRT)160、时序控制器170、缓冲器180、以及数字处理装置190(一个或更多个图像信号处理器(ISP(s)))。
安全电路101可以被配置为执行与外部电子控制单元200的设备认证过程，或者生成与所获得的图像相对应的标签。
像素阵列110可以包括以矩阵形式布置的多个像素，多个像素连接到多条行线和多条列线CL。多个像素中的每一个像素可以包括光敏器件。例如，光电器件可以包括光电二极管、光电晶体管、端口门(port gate)或钉扎光电二极管。多个像素中的每一个像素可以包括至少一个光敏器件。在示例实施例中，多个像素中的每一个像素可以包括多个光敏器件。多个光敏器件可以彼此堆叠。
多个像素中的每一个像素可以使用光敏器件来感测光，并且可以将光转换为可以是电信号的像素信号。多个像素中的每一个像素可以感测特定光谱区域中的光。例如，多个像素可以包括：用于将红色光谱区域中的光转换为电信号的红色像素、用于将绿色光谱区域中的光转换为电信号的绿色像素、以及用于将蓝色光谱区域中的光转换为电信号的蓝色像素。用于透射特定光谱区域的光的滤色器可以设置在多个像素中的每一个像素上。
多个像素中的每一个像素可以被配置为使用单个源极跟随器晶体管操作信号转储(dump)操作和读出操作二者。
行驱动器120可以被配置为以行为单元驱动像素阵列110。行驱动器120可以对由时序控制器170生成的行控制信号(例如，地址信号)进行译码，并且可以响应于译码的行控制信号选择像素阵列110中包括的至少一条行线。例如，行驱动器120可以生成行选择信号。像素阵列110还可以从由行驱动器120提供的行选择信号选择的行输出像素信号。像素信号可以包括复位信号和图像信号。
模数转换(ADC)电路130可以被配置为响应于ADC激活信号ADC_EN将从像素阵列110输入的模拟像素信号转换为数字数据。模数转换电路130可以包括比较电路140(CDB)和计数器电路150(DBS)。
比较电路140可以被配置为将由连接到像素阵列110中包括的一条列线CL的单位像素输出的像素信号与斜坡电压RAMP进行比较。比较电路140可以包括多个比较器141，每个比较器141被设置为对应于每个列。每个比较器141可以连接到像素阵列110和斜坡电压发生器160。
比较器141(CMP)可以被配置为：将像素信号与所接收的由斜坡电压发生器160生成的斜坡电压RAMP进行比较，并且将比较结果信号输出到输出端。比较器141还可以生成应用了相关双采样(CDS)技术的比较结果信号。由多个像素输出的像素信号可以具有像素的独特属性(例如，固定图案噪声(FPN))之间的偏差，或者由用于从像素PX输出像素信号的逻辑的属性之间的差异引起的偏差。相关双采样技术涉及计算或获得每个像素信号的复位分量(或复位信号)和图像分量(或图像信号)以补偿像素信号之间的偏差，并且提取差异作为有效信号分量。比较器141可以输出应用了相关双采样技术的比较结果信号。
比较器141还可以被配置为两级放大器。例如，比较器141可以包括：用于将像素信号与斜坡电压进行比较的第一放大器、以及用于放大第一放大器的输出并输出放大的输出的第二放大器。在示例实施例中，第一放大器可以在自动归零阶段(auto-zero stage)中比在比较操作阶段(comparison operation stage)中基于更少量的偏置电流来操作。因此，随着噪声减小，输入范围可以增加。在示例实施例中，第二放大器可以自适应地控制针对每个操作生成偏置电流的电流源，并且可以在判定之前和之后生成最小偏置电流。因此，可以防止由第二放大器的操作引起的电源波动。在示例实施例中，第一放大器可以包括将输出端连接到公共节点的限制电路。限制电路可以防止公共节点的电压电平降低到第一放大器通常可以操作的最小值以下，并且可以补偿在输出节点中发生的电压波动。
比较电路140还可以被配置为根据列线组在不同时间输出判定信号(例如，比较器的输出信号)。
计数器电路150可以包括多个计数器。多个计数器151(CNT)中的每一个计数器可以连接到比较器141的输出端，并且可以被配置为基于每个比较器141的输出进行计数。计数器控制信号CTCS可以包括计数器激活信号、计数器时钟信号、用于控制多个计数器151的复位操作的计数器复位信号、以及用于对多个计数器中的每一个计数器的内部位进行反相的反相信号。计数器电路150可以根据计数器控制信号CTCS进行操作。例如，计数器电路150可以根据计数器时钟信号对比较结果信号进行计数，并且可以将信号输出为数字数据。
计数器151(CNT)可以包括向上/向下计数器或逐位计数器。在这种情况下，逐位计数器可以执行类似于向上/向下计数器的操作的操作。例如，逐位计数器可以执行仅向上计数的功能，并且可以在特定信号进入时执行将计数器中的所有位反转为1的补位(1’scomplement)的功能。逐位计数器可以执行复位计数，并且可以将计数反转为1的补位，即，负值。
斜坡电压发生器160可以被配置为生成斜坡电压(或ADC参考电压)。斜坡电压发生器160可以基于由时序控制器170提供的斜坡控制信号CTRP来操作。斜坡控制信号CTRP可以包括斜坡使能信号、模式信号等。当斜坡使能信号被激活时，斜坡电压发生器160可以生成具有基于模式信号确定的斜率的斜坡电压RAMP。
时序控制器170可以被配置为：通过向行驱动器120、模数转换电路130和斜坡电压发生器160输出控制信号或时钟信号，来控制行驱动器120、模数转换电路130和斜坡电压发生器160的操作或时序。时序控制器170还可以生成提供给比较电路140的开关控制信号，以依据列线组来区分判决速度。
缓冲器180可以被配置为临时存储、放大和输出由模数转换电路130输出的数字数据。缓冲器180可以包括列存储块181(MEM)和读出放大器电路182(SA)。
列存储块181(MEM)可以包括多个存储器。多个存储器中的每一个存储器可以临时存储由多个计数器151中的每一个计数器输出的数字数据，并且可以将数字数据输出到读出放大器电路182。
读出放大器电路182(SA)可以被配置为感测和放大由多个存储器输出的数字数据。读出放大器电路182可以将放大的数字数据作为图像数据输出到数字处理装置190。
数字处理装置190可以被配置为对所获得的图像(或存储在存储器中的图像)执行至少一个图像处理操作，并且可以将处理的图像数据IDATA输出到外部实体。例如，至少一个图像处理操作可以包括生成深度图、3D建模、生成全景、提取特征点、合成图像或补偿图像(例如，降低噪声、调整分辨率、调整亮度、模糊、锐化、柔化)。数字处理装置190还可以执行曝光时间控制或读出时序控制。由数字处理装置190处理的图像可以存储回存储器中，或者可以提供到外部组件。
此外，数字处理装置190可以将所获得的图像的全部或者所获得的图像的一部分发送到安全电路101以生成标签。
图3是示出根据示例实施例的车辆图像传感器100的安全电路101的图。参考图3，安全电路101可以包括认证器101-1、标签生成器101-2、图像区域选择器101-3和密钥缓冲器101-4。
认证器101-1可以被配置为与电子控制单元200进行用于设备认证的相互认证操作。在示例实施例中，认证器101-1可以执行基于挑战-响应的认证过程。认证器101-1可以使用对称-密钥算法或非对称-密钥算法执行设备认证过程。
标签生成器101-2可以被配置为生成用于执行安全处理操作以验证图像的完整性的标签。例如，标签生成器101-2可以通过对密钥信息和图像数据的操作来生成标签。密钥信息可以是通过与电子控制单元200协商获得的密钥信息，或者具有与电子控制单元200中相同的信息的密钥信息。在示例实施例中，密钥信息可以包括在车辆图像传感器100与电子控制单元200之间的会话期间发送和接收的会话密钥。
图像区域选择器101-3可以被配置为基于区域信息选择执行安全处理的图像的区域。例如，可以在车辆图像传感器100中任意地生成这样的区域信息。在示例实施例中，可以向标签生成器101-2提供与区域信息相对应的图像的区域的数据。在另一示例实施例中，区域信息可以从电子控制单元200提供到车辆图像传感器100。在示例实施例中，由区域信息选择的图像的区域的位置可以随时间而改变。
密钥缓冲器101-4可以被配置为存储认证操作所需的密钥值。例如，当基于非对称-密钥加密执行认证时，密钥缓冲器101-4可以读出在安全电路101中的一次性编程(OTP)存储器中存储的私钥，并且存储私钥，或者可以存储从电子控制单元200接收的加密代码(例如，使用公钥加密的密钥值)。
图4是示出根据示例实施例的电子控制单元200的安全模块201的图。参考图4，安全模块201可以包括设备认证器201-1、标签生成器201-2、图像区域选择器201-3和图像完整性验证器201-4。
设备认证器201-1可以被配置为执行与车辆图像传感器100的设备认证过程。
标签生成器201-2可以使用来自所发送的图像的所选区域的数据和诸如会话密钥的密钥信息来生成标签。
图像区域选择器201-3可以从自车辆图像传感器100发送的图像数据IDATA选择可以被执行安全处理的图像区域。当在电子控制单元200中生成区域信息时，图像区域选择器201-3可以使用预先拥有的区域信息选择图像区域。当从车辆图像传感器100发送区域信息时，图像区域选择器201-3可以使用从车辆图像传感器100发送的区域信息来选择图像区域。
图像完整性验证器201-4可以被配置为通过将标签生成器201-2输出的标签与从车辆图像传感器100发送的标签进行比较来验证发送的图像数据IDATA的完整性。
图5A是示出根据示例实施例的车辆图像传感器100中的在认证操作期间输出图像数据IDATA的过程的图。图5B是示出根据示例实施例的车辆图像传感器100中的在认证操作之后输出图像数据IDATA的过程的图。
参考图5A，车辆图像传感器100的安全电路101和电子控制单元200的安全模块201可以执行认证操作。在执行认证操作的同时，在实时广播状态(on-air state)下，车辆图像传感器100可以在预定时间内将所获得的图像数据IDATA输出到电子控制单元200。可以在电子控制单元200中选择性地设置预定时间。
参考图5B，在完成安全电路101与安全模块201之间的认证操作之后，车辆图像传感器100可以使用在认证操作中共享的密钥信息生成与所获得的图像数据IDATA相对应的标签TAG，并且可以将所获得的图像数据IDATA和标签TAG输出到电子控制单元200。
图6是示出根据示例实施例的车辆图像传感器100的操作方法的流程图。参考图1至图6，车辆图像传感器100可以如下操作。为了使用车辆图像传感器100，可以执行CMOS图像传感器(CIS)复位操作。与车辆图像传感器100相关的信息可以根据CIS复位操作在寄存器中被基本设置。在复位操作完成之后，可以释放并结束复位操作(S110)。操作S110可以被指示为车辆图像传感器100的流启动状态(stream-on state)的CIS启动时间。
在这种情况下，车辆图像传感器100可以执行用于获得图像的操作。车辆图像传感器100可以处于用于使用传输信道向ECU(参见图1，电子控制单元200)发送所获得的图像数据IDATA(其可以是流数据)的流启动状态(S120)。传输信道可以根据移动行业处理器接口(MIPI)标准来发送数据。然而，示例实施例中的传输信道不限于此。例如，传输信道可以通过MIPI汽车SerDes解决方案(MASS)来发送数据。
在流启动状态下，即，在输出图像数据IDATA时，车辆图像传感器100可以确定是否已经从ECU接收到用于设备认证的安全功能请求(S130)。当没有来自ECU的安全功能请求时，车辆图像传感器100可以将所获得的图像数据IDATA发送到作为主机的ECU。当存在来自ECU的安全功能请求时，车辆图像传感器100可以使用通信信道从ECU获得RSA加密代码(S140)。通信信道可以根据集成电路总线(I2C，inter-integrated circuit)接口或串行外围接口(SPI)来发送和接收数据。然而，示例实施例中的通信信道不限于此。此后，车辆图像传感器100可以使用私钥对加密代码进行RSA解密以获得密钥值(S150)。解密的密钥值可以被提供用于完整性计算(S160)。
此后，可以确定车辆图像传感器100的安全功能是否被激活(S170)。当安全功能未被激活时，车辆图像传感器100可以将所获得的图像数据IDATA按照原样发送到ECU。当安全功能被激活时，可以生成使用用于完整性计算的密钥值获得的图像数据IDATA的消息认证码(MAC)(S180)。此后，车辆图像传感器100可以将所获得的图像数据IDATA以及与MAC相对应的标签TAG发送到作为主机的ECU(S190)。
图7是示出根据示例实施例的车辆图像传感器100的操作方法的梯形图。参考图7，图像处理系统10可以如下操作。
ECU(例如，图1中的电子控制单元200)可以向AIS(例如，图1中的用于车辆的图像传感器100)提供电力(例如，S10)。AIS可以执行CIS复位操作(S11)。ECU可以向AIS发送用于执行设备认证过程的认证请求(S12)。ECU和AIS可以响应于认证请求执行预定的认证操作(S13)。在执行认证操作的同时，AIS可以获得车辆周围的图像(S14)，并且可以将所获得的图像数据IDATA输出到ECU(S15)。
在认证操作完成之后，AIS可以获得图像(S16)。AIS可以使用密钥信息生成所获得的图像数据的标签(例如，MAC值)(S17)。密钥信息可以对应于根据认证操作的共享密钥值。此后，AIS可以将图像数据IDATA和标签TAG输出到ECU(S18)。ECU可以使用所发送的图像数据IDATA和标签TAG验证图像数据IDATA的完整性，并且可以使用车辆通信网络将验证的图像数据输出到其他设备(例如，其他ECU、显示装置)。
图8是示出根据示例实施例的车辆图像传感器100的启动操作的时序图。参考图8，当CIS复位信号处于高电平时，可以执行启动操作。
通过I2C信道，ECU可以将与初始化操作相关的信息写入CIS中。因此，可以执行CIS设置操作。此后，ECU可以通过I2C信道从CIS读出用于设备认证的公钥(PubK CERT_camera)。此后，ECU可以通过I2C信道将RSA加密代码写入CIS中。
在执行CIS设置操作之前，CIS可以处于硬件待机状态或处于空闲状态IDLE。在CIS设置操作阶段中，CIS可以执行用于执行图像感测操作的寄存器设置。根据寄存器设置的CIS信息可以被发送到ECU。当完成寄存器设置时，CIS可以感测图像。CIS可以立即将所获得的第一图像流输出到ECU。如图8所示，可以在发送第一图像流的同时执行设备认证操作。CIS可以执行一次性编程OTP读取操作以获得私钥PrivK。此后，CIS可以将私钥PrivK发送到密钥缓冲器。ECU可以将加密代码写入到CIS的密钥缓冲器中。加密代码可以包括加密为CIS的公钥PubK CERT_camera的密钥值。CIS可以使用私钥PrivK对加密代码进行解密以获得密钥值。因此，CIS可以通过认证操作与ECU共享密钥值。此后，CIS可以使用共享密钥值生成所获得的图像的标签(或MAC值)。如图8所示，在CIS寄存器被设置之后，可以在CIS中执行图像流的同时执行ECU的设备认证操作(ECU：Dev.auth)。因此，可以缩短CIS启动时间。
根据示例实施例的图像处理系统可以被配置为选择性地运行上述启动方法和现有启动方法。
图9A和图9B是示出根据另一示例实施例的图像处理系统20的图。参考图9A，图像处理系统20可以包括车辆图像传感器100a和电子控制单元200a。
除了图1中所示的示例之外，车辆图像传感器100a还可以包括启动模式选择器102。启动模式选择器102可以根据用户的选择来选择正常启动模式102-1或快速启动模式102-2，如图9B所示。正常启动模式102-1可以指这样的模式：在根据现有图像传感器启动过程进行了设备认证之后，将安全图像数据输出到电子控制单元200a。快速启动模式102-2可以被配置为如参考图1至图8所述在执行设备认证操作的同时立即将图像数据IDATA发送到电子控制单元200a。
电子控制单元200a可以包括安全模块201a(HSM)，其被配置为根据所选择的启动模式通过与车辆图像传感器100a的安全电路101通信来执行不同的设备认证操作。安全模块201a还可以根据与所选择的启动模式相对应的时序对所接收的图像数据IDATA执行完整性验证操作。
图10是示出根据另一示例实施例的车辆图像传感器100a的操作方法的流程图。参考图9A、图9B和图10，车辆图像传感器100a可以如下操作。可以执行CIS复位操作以使用车辆图像传感器100a。与车辆图像传感器100a相关的信息根据CIS复位操作在寄存器中被基本设置。在这种情况下，可以将正常启动模式设置为启动模式。在复位操作完成之后，可以释放并结束复位操作(S210)。
车辆图像传感器100a可以确定是否已经从ECU接收到用于设备认证的安全功能请求(S220)。当没有来自ECU的安全功能请求时，车辆图像传感器100a可以在操作S260中进行流启动，以将所获得的图像数据IDATA发送到作为主机的ECU。当存在来自ECU的安全功能请求时，车辆图像传感器100a可以使用通信信道从ECU获得RSA加密代码(S230)。此后，车辆图像传感器100a可以使用私钥对加密代码进行RSA解密以获得密钥值(S240)。解密的密钥值可以被提供用于完整性计算(S250)。在这种情况下，车辆图像传感器100a可以维持图像流数据可以通过传输信道被发送到ECU 200a的流启动状态(S260)。在流启动状态之前的操作S220至操作S250的持续时间可以为CIS启动时间。
此后，可以确定车辆图像传感器100a的安全功能是否被激活(S270)。当安全功能未被激活时，车辆图像传感器100a可以进入操作S290以将所获得的图像数据IDATA按照原样发送到ECU。当安全功能被激活时，可以使用用于完整性计算的密钥值来生成所获得的图像数据IDATA的消息认证码MAC(S280)。此后，车辆图像传感器100a可以将所获得的图像数据IDATA以及与MAC相对应的标签TAG发送到作为主机的ECU(S290)。
图11是示出根据示例实施例的车辆图像传感器CIS的正常启动操作的时序图。参考图11，当CIS复位信号处于高电平时，可以执行启动操作。
ECU可以通过I2C信道从CIS读出用于设备认证的公钥PubK CERT_camera。此后，ECU可以通过I2C信道将RSA加密代码写入CIS中。此后，ECU可以通过I2C信道将与初始化操作相关的信息写入CIS中。因此，可以执行CIS设置操作。
在执行CIS设置操作之前，CIS可以处于硬件待机状态或处于空闲状态IDLE。CIS可以执行一次性编程OTP读取操作以获得私钥PrivK。此后，CIS可以将私钥PrivK发送到RSA缓冲器。
此后，ECU可以将加密代码写入CIS的RSA缓冲器中。CIS可以使用私钥PrivK对加密代码进行解密以获得密钥值。因此，CIS可以通过认证操作与ECU共享密钥值。此后，CIS可以使用共享密钥值生成所获得的图像的标签或MAC值。
此后，在CIS设置阶段内CIS内部完成寄存器设置之后，CIS可以将所获得的图像与标签一起发送到ECU。
如图11所示，在ECU的设备认证操作ECU:Dev.auth完成之后，可以执行CIS设置，此后，CIS可以安全地输出图像数据IDATA和标签TAG以用于完整性验证。
图12至图15是示出根据示例实施例的相机系统30的图。参考图12，相机系统30可以包括相机装置400以及被配置为接收图像的高级驾驶员辅助系统(ADAS)SOC 500。在图12中，可以向相机装置400提供来自外部实体的图像，但是相机装置400可以通过其中的图像传感器直接生成图像。相机装置400可以包括：被配置为处理图像的图像处理器410以及被配置为创建传输格式以将图像发送到ADAS SOC 500的分组(packet)格式编码器420。图像处理器410可以被配置为执行图2所示的数字处理装置190的操作。相机装置400还可以包括用于执行与安全功能有关的设备认证和图像认证的安全电路430。安全电路430可以被配置为执行参考图1至图11描述的安全电路101的功能。
安全电路430还可以包括：被配置为从ADAS SOC 500接收命令以及将命令发送到ADAS SOC 500的安全控制器431、被配置为执行加密操作以生成ADAS SOC 500与相机装置400之间的会话密钥并在ADAS SOC 500与相机装置400之间交换会话密钥的密钥共享器432、被配置为防止所发送的图像的伪造和篡改并生成用于图像认证的标签的标签生成器433、以及被配置为存储用于设备认证的预共享密钥或证书以及ID的安全存储装置434。
ADAS SOC 500可以包括作为用于处理从相机装置400发送的图像的组件的安全/加密模块，并且安全/加密模块可以执行上述实施例中描述的安全模块201的功能。ADASSOC 500还可以包括：被配置为对所接收的分组进行解码的分组处理单元、被配置为存储与设备认证和图像认证有关的各种密钥信息的密钥存储单元、以及被配置为处理图像数据的图像处理模块。ADAS SOC 500可以被配置为执行图1至图11中描述的电子控制单元200的操作。
由图12中所示的示例实施例中的组件执行的功能以及下面的示例实施例将进一步描述如下。图像处理器410可以被配置为处理由图像传感器收集的图像或从外部实体提供的图像，并且可以被配置为根据从安全控制器431接收的信息(例如，区域信息)以及现有相机装置中的图像处理功能，将图像的特定区域的数据发送到安全控制器431。分组格式编码器420可以被配置为将要发送的图像进行分包，并且可以将针对图像认证生成的代码(例如，MAC)添加到分组的报头或页脚。
安全控制器431可以对应于可以总体管理相机装置的安全功能的模块。在示例实施例中，安全控制器431可以通过与ADAS SOC 500通信来发送和接收特定信息(随机挑战、加密消息、数字签名等)，可以将指示图像数据的特定位置的区域信息传送到图像处理器410，并且可以接收相应区域的数据，可以将所接收的图像的数据传送到标签生成器433，可以将来自密钥共享器432的会话密钥发送到标签生成器433，或者可以将存储在安全存储装置434中的特定值传送到ADAS SOC 500或者可以设置密钥共享器432中的值。
密钥共享器432可以被配置为对应用了由ADAS SOC 500传送的会话密钥和MAC的图像的特定区域信息进行解密。在示例实施例中，可以应用诸如RSA或ECC的公钥加密系统，或者可以应用诸如AES的私钥加密系统。此外，ADAS SOC 500可以生成密钥，并且可以将密钥发送到相机装置400，或者ADAS SOC 500和相机装置400可以使用诸如DH和EC-DH的密钥交换协议共享会话密钥。解密的会话密钥和区域信息可以被发送到安全控制器431或标签生成器433。
标签生成器433可以使用从密钥共享器432接收的会话密钥对从安全控制器431接收的图像数据执行MAC操作。作为操作的结果，MAC值可以被发送到分组格式编码器420并且可以被发送到ADAS SOC 500。
安全存储装置434可以被配置为存储电路，其用于安全地存储相机装置400的私钥/公钥对和证书、或者在相机装置400与ADAS SOC 500之间预先共享的预共享密钥。作为相机装置400的ID，可以是公开的但不是伪造的值可以存储在安全存储装置434中。
ADAS SOC 500可以包括负责车辆产品中自动驾驶的主处理器。在示例实施例中，由于将车辆产品作为示例进行描述，因此可以将实体定义为ADAS SOC，但是ADAS SOC 500可以被配置为用于处理、分析和存储由相机装置400发送的图像的实体。
图12中所示的相机装置400的各种部件可以以各种方式被配置。在示例实施例中，还可以提供被配置为执行相机装置400中的程序的处理器，并且处理器可以执行图12中的相机装置400中的操作存储器中存储的程序，使得图12中所示的各种部件的功能可以被执行。在另一示例实施例中，相机装置400中的各种组件可以包括执行相应功能的电路，使得其功能可以在硬件中执行，或者相机装置400中提供的各种组件可以通过硬件和软件的组合来配置。
在下面的描述中，将描述图12中所示的相机系统30的更具体的操作。图13是示出相机装置400和ADAS SOC 500可以使用预共享密钥执行设备认证的示例的图。在示例实施例中，相机装置400和ADAS SOC 500可以执行基于挑战-响应的认证过程。认证过程可以由确认相机装置400是合法设备的ADAS SOC 500执行，这可以通过确认现有共享密钥(例如，预共享密钥)的所有权来获得。这种方法可以按照下面的顺序执行。
相机装置400和ADAS SOC 500中的每一者可以拥有预共享密钥。预共享密钥可以被配置为诸如高级加密标准(AES)的分组密码(block cipher)的密钥，并且ADAS SOC 500和相机装置400可以共享相同的密钥，该密钥需要安全地存储在相机装置400的安全存储装置434中。
在示例实施例中，ADAS SOC 500可以基于挑战-响应方案确定相机装置400是否拥有预共享密钥，以确认相机装置400是否为合法设备。为此，ADAS SOC 500可以生成具有随机值(例如，预定位数的随机数)的随机挑战，并且可以将该值发送到相机装置400。
接收到随机挑战的相机装置400可以使用存储在安全存储装置434中的预共享密钥来加密随机挑战，并且可以将加密的随机挑战Random Challenge_EN返回到ADAS SOC500。在这种情况下，除了加密的随机挑战Random Challenge_EN之外，还可以将诸如可以区分相机装置400的相机装置400的产品编号(ID)的公开信息发送到ADAS SOC 500。
ADAS SOC 500可以预先存储相机装置400的产品编号(ID)信息，并且可以使用预共享密钥对从相机装置400接收的加密文本进行解密，可以确定解密的明文是否与ADASSOC 500发送的随机挑战相同，并且还可以确定从相机装置400接收的产品编号(ID)是否与预先存储的信息相同。根据确定结果，具有预共享密钥的相机装置400可以被认证为合法设备。
对于预共享密钥，可以针对每个相机装置400使用相同的密钥，或者可以针对每个相机装置使用不同的密钥。当针对每个相机装置使用不同的密钥时，ADAS SOC 500可以包括布置了相机装置400的产品ID和密钥的数据库。
图14是示出相机装置和ADAS SOC可以通过公钥密码系统执行设备认证的示例的图。对于使用公钥密码系统的认证方法，可以不需要预先共享密钥，并且即使私钥被暴露，也只有一个产品可以被撤销。在示例实施例中，会需要认证机构(CA)来应用公钥加密系统。基于公钥加密系统的认证方法可以按照下面的顺序执行。
认证机构(CA)可以将公钥(例如，认证机构公钥Public Key_CA)发送到ADAS SOC500，并且可以针对相机装置400的私钥颁发证书。在示例实施例中，为了确认相机装置400是否为合法设备，ADAS SOC 500可以确定相机装置400是否基于挑战-响应方案处理私钥。为此，ADAS SOC 500可以生成挑战-响应，并且可以将挑战-响应发送到相机装置400。
接收到挑战-响应的相机装置400可以使用存储在安全存储装置434中的私钥来对挑战-响应进行数字签名，并且可以将数字签名的挑战-响应发送到ADAS SOC 500。在这种情况下，相机装置400还可以将其证书发送到ADAS SOC 500。
ADAS SOC 500可以验证由相机装置400发送的证书与相机装置400的认证机构公钥Public Key_CA以确保相机装置400的公钥，可以使用公钥验证由相机装置400发送的数字签名，并且可以根据验证结果确定相机装置400是否为合法设备。
图15是示出相机装置和ADAS SOC通过发送会话密钥以及后续处理来执行设备认证的示例的图。根据会话密钥方法的设备认证可以通过与使用上述公钥密码系统的认证方法部分类似的方法执行。当ADAS SOC 500生成会话密钥、将会话密钥加密为相机装置400的公钥并且发送公钥时，相机装置400可以将从ADAS SOC 500提供的信息解密为其私钥，并且可以确保会话密钥，并且可以使用会话密钥执行通信。因此，由于仅保持私钥的合法相机装置400通常可以执行后续操作，因此可以通过后续通信是否正常执行来确认相机装置400是否为合法设备，而无需单独的认证过程。
类似于上述公钥加密方法，ADAS SOC 500可以确保并验证相机装置400的证书，从而确保相机装置400的公钥。ADAS SOC 500还可以生成会话密钥，可以将会话密钥加密为相机装置400的公钥，并且可以将公钥发送到相机装置400。相机装置400可以通过对作为其私钥发送的加密文本进行解密来确保会话密钥。此后，可以使用相应的会话密钥来认证图像，并且当图像认证被正常执行时，ADAS SOC 500可以认证相机装置400为合法设备。
如在示例实施例中，在设备认证被正常执行之后，可以使用图像的至少一部分和会话密钥来执行图像认证。当设备认证失败时，ADAS SOC 500可以执行诸如如下处理：停止与设备认证已失败的相机装置的通信，或者丢弃从相机装置发送的图像。
图16是示出根据示例实施例的车辆相机装置1000的透视图。参考图16，车辆相机装置1000可以包括第一壳体1001、镜头1100、第一螺钉1200、第二壳体1300、密封环1400、图像传感器板1500、铜柱1600、串行器板1700、环1800和第二螺钉1900。图像传感器板1500可以被配置为包括参考图1至图15描述的车辆图像传感器。
根据示例性实施例，由附图中的块表示的组件、元件、模块或单元(在本段落中统称“组件”)中的至少一者可以实现为执行上述各功能的各种数目的硬件、软件和/或固件结构。例如，这些组件中的至少一者可以使用直接电路结构，诸如，存储器、处理器、逻辑电路、查找表等，其可以通过一个或更多个微处理器或其他控制装置的控制来执行各功能。此外，这些组件中的至少一者可以由包含用于执行指定逻辑功能的一个或更多个可执行指令的模块、程序或一部分代码具体地实现，并且由一个或更多个微处理器或其他控制装置执行。此外，这些组件中的至少一者可以包括诸如执行各功能的中央处理单元(CPU)的处理器、微处理器等，或者可以由诸如执行各功能的中央处理单元(CPU)的处理器、微处理器等来实现。这些组件中的两个或更多个组件可以组合成一个单个组件，该单个组件执行被组合的两个或更多个组件的所有操作或功能。此外，这些组件中的至少一个组件的至少一部分功能可以由这些组件中的另一个组件来执行。此外，尽管在上述框图中未示出总线，但是可以通过总线执行组件之间的通信。上述示例性实施例的功能方面可以以在一个或更多个处理器上执行的算法来实现。此外，由块或处理步骤表示的组件可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数目的相关技术。
根据示例实施例的图像处理系统可以在车辆CIS中的复位操作之后从主机接收网络安全(cybersecurity)密钥，并且可以执行安全操作，并且启动时间可以通过消除密钥接收时间来减少。
根据上述示例实施例，车辆图像传感器、包括该车辆图像传感器的图像处理系统、以及该车辆图像传感器的操作方法可以通过在执行设备认证的同时立即输出获得的图像数据，来减少启动时间并执行快速启动。
在示例实施例中，车辆图像传感器、包括该车辆图像传感器的图像处理系统、以及该车辆图像传感器的操作方法还可以通过快速启动立即输出图像数据来提高用户方便性。
虽然上面已经示出和描述了示例实施例，但是对于本领域技术人员来说明显的是，在不脱离由所附权利要求及其等同物所限定的本公开的范围的情况下可以进行修改和变化。

Claims (20)

1.一种操作车辆图像传感器的方法，所述方法包括：
执行复位操作以设置与所述车辆图像传感器的操作信息相对应的初始化寄存器；
在执行所述复位操作之后从电子控制单元接收设备认证请求；
基于所述设备认证请求执行与所述电子控制单元的认证操作；
在执行所述认证操作的同时获得第一图像数据；
在执行所述认证操作的同时向所述电子控制单元发送所述第一图像数据；
在所述认证操作完成之后获得第二图像数据；
生成所述第二图像数据的标签；以及
向所述电子控制单元发送所述第二图像数据和所述标签。
2.根据权利要求1所述的方法，所述方法还包括：
在所述初始化寄存器的设置完成之后结束所述复位操作。
3.根据权利要求2所述的方法，其中，所述的发送所述第一图像数据包括：在释放所述复位操作之后向所述电子控制单元发送所述第一图像数据。
4.根据权利要求2所述的方法，其中，所述的执行所述认证操作包括：基于挑战-响应方案执行所述认证操作。
5.根据权利要求1所述的方法，其中，所述的执行所述认证操作包括：基于非对称-密钥加密算法执行所述认证操作。
6.根据权利要求1所述的方法，其中，所述的执行所述认证操作包括：
从所述电子控制单元接收安全功能请求；
基于通信信道从所述电子控制单元接收RSA加密代码，其中，所述RSA即Rivest ShamirAdleman；以及
基于私钥对所述RSA加密代码进行解密以获得密钥值。
7.根据权利要求6所述的方法，其中，所述的生成所述标签包括：基于所述密钥值生成与所述第二图像数据相对应的所述标签。
8.根据权利要求7所述的方法，其中，所述标签包括：用于所述第二图像数据的全部或所述第二图像数据的一部分的消息认证值。
9.根据权利要求6所述的方法，其中，所述的执行所述认证操作还包括：从一次性编程存储器读取所述私钥。
10.根据权利要求1所述的方法，其中，所述认证操作通过所述车辆图像传感器与所述电子控制单元之间的集成电路总线接口或串行外围接口执行，并且
其中，发送所述第一图像数据的操作和发送所述第二图像数据的操作通过移动行业处理器接口汽车SerDes解决方案执行。
11.一种车辆图像传感器，包括：
像素阵列，所述像素阵列包括连接到多条行线和多条列线的多个像素；
行驱动器，所述行驱动器被配置为选择所述多条行线中的一条行线；
模数转换电路，所述模数转换电路被配置为：通过将由所述像素阵列输出的模拟信号与斜坡信号进行比较，来将所述模拟信号转换为数字数据；
斜坡信号发生器，所述斜坡信号发生器被配置为生成所述斜坡信号；
缓冲存储器，所述缓冲存储器被配置为存储所述数字数据；
数字处理装置，所述数字处理装置被配置为将所述数字数据处理为图像数据；
时序控制器，所述时序控制器被配置为：控制所述像素阵列、所述行驱动器、所述模数转换电路、所述斜坡信号发生器、所述缓冲存储器和所述数字处理装置；以及
安全电路，所述安全电路被配置为：执行与外部的电子控制单元的设备认证，并且基于与所述设备认证相对应的密钥信息生成用于所述图像数据的全部或所述图像数据的一部分的标签，
其中，在所述设备认证被执行的同时，所述数字处理装置向所述电子控制单元发送所述图像数据。
12.根据权利要求11所述的车辆图像传感器，其中，所述数字处理装置还被配置为：在所述设备认证被执行之后，向所述电子控制单元发送所述图像数据和所述标签。
13.根据权利要求11所述的车辆图像传感器，其中，所述安全电路还被配置为：基于RSA加密算法执行所述设备认证，其中，所述RSA即Rivest Shamir Adleman。
14.根据权利要求11所述的车辆图像传感器，其中，所述安全电路包括：
认证器，所述认证器被配置为基于非对称-密钥加密算法执行与所述电子控制单元的所述设备认证；
标签生成器，所述标签生成器被配置为基于密钥值生成所述标签，所述密钥值基于所述设备认证被共享；以及
图像区域选择器，所述图像区域选择器被配置为选择生成所述标签所需的所述图像数据的一部分。
15.根据权利要求14所述的车辆图像传感器，其中，所述非对称-密钥加密算法被配置为RSA加密算法，其中，所述RSA即Rivest Shamir Adleman，并且
其中，所述安全电路还被配置为：
基于所述电子控制单元的设备认证请求向所述电子控制单元发送公钥；
从所述电子控制单元接收RSA加密代码；以及
通过基于私钥对所述RSA加密代码进行解密来获得所述密钥值。
16.一种图像处理系统，包括：
车辆图像传感器，所述车辆图像传感器被配置为获得图像；以及
电子控制单元，所述电子控制单元被配置为从所述车辆图像传感器接收图像数据并且处理所述图像数据，
其中，
所述车辆图像传感器包括启动模式选择器，所述启动模式选择器被配置为选择正常启动模式和快速启动模式中的一者；并且
所述电子控制单元包括安全模块，所述安全模块被配置为：执行与所述车辆图像传感器的设备认证，并且验证从所述车辆图像传感器接收的所述图像数据的完整性，并且
其中，在所述正常启动模式下，在所述设备认证被执行之后，所述车辆图像传感器的初始设置操作被请求，并且
其中，在所述快速启动模式下，在所述车辆图像传感器的所述初始设置操作被执行之后，所述设备认证被请求。
17.根据权利要求16所述的图像处理系统，其中，所述电子控制单元还被配置为：
通过通信信道读取所述车辆图像传感器的公钥；
通过所述通信信道向所述车辆图像传感器发送与所述公钥相对应的RSA加密代码，其中，所述RSA即Rivest Shamir Adleman；以及
在所述正常启动模式下，请求所述车辆图像传感器的所述初始设置操作。
18.根据权利要求17所述的图像处理系统，其中，所述通信信道被实现为集成电路总线接口或串行外围接口。
19.根据权利要求16所述的图像处理系统，其中，所述电子控制单元还被配置为：
通过通信信道请求所述车辆图像传感器的所述初始设置操作；
通过所述通信信道读取所述车辆图像传感器的公钥；以及
在所述快速启动模式下，通过所述通信信道向所述车辆图像传感器发送与所述公钥相对应的RSA加密代码，其中，所述RSA即Rivest Shamir Adleman。
20.根据权利要求16所述的图像处理系统，其中，所述电子控制单元还被配置为：基于移动行业处理器接口汽车SerDes解决方案标准，从所述车辆图像传感器接收所述图像数据。
CN202210473152.8A 2021-05-14 2022-04-29 车辆图像传感器、包括其的图像处理系统和其操作方法 Pending CN115348024A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210062649 2021-05-14
KR10-2021-0062649 2021-05-14
KR1020210094683A KR20220155548A (ko) 2021-05-14 2021-07-20 차량용 이미지 센서, 그것을 갖는 이미지 처리 시스템 및 그것의 동작 방법
KR10-2021-0094683 2021-07-20

Publications (1)

Publication Number Publication Date
CN115348024A true CN115348024A (zh) 2022-11-15

Family

ID=81386611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210473152.8A Pending CN115348024A (zh) 2021-05-14 2022-04-29 车辆图像传感器、包括其的图像处理系统和其操作方法

Country Status (3)

Country Link
US (1) US12008379B2 (zh)
EP (1) EP4089956A1 (zh)
CN (1) CN115348024A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342854B (zh) * 2023-03-24 2024-01-12 深圳市汇春科技股份有限公司 微型感光传感器和感光识别方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4219196B2 (ja) 2003-03-19 2009-02-04 シャープ株式会社 画像送信装置
US8112618B2 (en) * 2004-04-08 2012-02-07 Texas Instruments Incorporated Less-secure processors, integrated circuits, wireless communications apparatus, methods and processes of making
US7558961B2 (en) * 2005-04-21 2009-07-07 Xerox Corporation Systems and methods for embedding messages in look-up tables
US8683213B2 (en) 2007-10-26 2014-03-25 Qualcomm Incorporated Progressive boot for a wireless device
US9746985B1 (en) 2008-02-25 2017-08-29 Georgetown University System and method for detecting, collecting, analyzing, and communicating event-related information
KR101210723B1 (ko) 2010-10-11 2012-12-10 성균관대학교산학협력단 차량용 블랙박스 시스템
KR101753114B1 (ko) 2010-11-24 2017-07-03 현대모비스 주식회사 차량용 블랙박스 시스템 및 이 시스템의 부팅 방법
US9373267B2 (en) 2011-04-08 2016-06-21 Wombat Security Technologies, Inc. Method and system for controlling context-aware cybersecurity training
US9547998B2 (en) 2011-04-08 2017-01-17 Wombat Security Technologies, Inc. Context-aware training systems, apparatuses, and methods
US10749887B2 (en) 2011-04-08 2020-08-18 Proofpoint, Inc. Assessing security risks of users in a computing network
US9558677B2 (en) 2011-04-08 2017-01-31 Wombat Security Technologies, Inc. Mock attack cybersecurity training system and methods
US9824609B2 (en) 2011-04-08 2017-11-21 Wombat Security Technologies, Inc. Mock attack cybersecurity training system and methods
US9130945B2 (en) 2012-10-12 2015-09-08 Schweitzer Engineering Laboratories, Inc. Detection and response to unauthorized access to a communication device
US9602529B2 (en) 2014-04-02 2017-03-21 The Boeing Company Threat modeling and analysis
US9398029B2 (en) 2014-08-01 2016-07-19 Wombat Security Technologies, Inc. Cybersecurity training system with automated application of branded content
PL3095034T3 (pl) 2014-10-21 2019-11-29 Ironnet Cybersecurity Inc Układ zabezpieczeń cybernetycznych
KR101534194B1 (ko) 2014-12-08 2015-07-08 한국인터넷진흥원 침입자 행동패턴을 반영한 사이버보안 교육훈련시스템 및 방법
KR101534192B1 (ko) 2014-12-08 2015-07-08 한국인터넷진흥원 사이버보안 실시간 공격대응 교육훈련을 제공하기 위한 시스템 및 그 방법
US9372994B1 (en) 2014-12-13 2016-06-21 Security Scorecard, Inc. Entity IP mapping
US10107014B2 (en) 2015-08-30 2018-10-23 Opticallock, Inc. Security system with anti-tampering sensors and cybersecurity
IL248241B (en) 2015-10-12 2020-04-30 Verint Systems Ltd A system and method for evaluating cyber security awareness
US10681074B2 (en) 2015-10-28 2020-06-09 Qomplx, Inc. System and method for comprehensive data loss prevention and compliance management
US10853883B2 (en) 2015-10-28 2020-12-01 Qomplx, Inc. Cybersecurity profile generated using a simulation engine
US10594714B2 (en) 2015-10-28 2020-03-17 Qomplx, Inc. User and entity behavioral analysis using an advanced cyber decision platform
US10609079B2 (en) 2015-10-28 2020-03-31 Qomplx, Inc. Application of advanced cybersecurity threat mitigation to rogue devices, privilege escalation, and risk-based vulnerability and patch management
US10735456B2 (en) 2015-10-28 2020-08-04 Qomplx, Inc. Advanced cybersecurity threat mitigation using behavioral and deep analytics
US10560483B2 (en) 2015-10-28 2020-02-11 Qomplx, Inc. Rating organization cybersecurity using active and passive external reconnaissance
US10248910B2 (en) 2015-10-28 2019-04-02 Fractal Industries, Inc. Detection mitigation and remediation of cyberattacks employing an advanced cyber-decision platform
US10673887B2 (en) 2015-10-28 2020-06-02 Qomplx, Inc. System and method for cybersecurity analysis and score generation for insurance purposes
US10432660B2 (en) 2015-10-28 2019-10-01 Qomplx, Inc. Advanced cybersecurity threat mitigation for inter-bank financial transactions
US10268976B2 (en) 2016-02-17 2019-04-23 SecurityScorecard, Inc. Non-intrusive techniques for discovering and using organizational relationships
WO2017147411A1 (en) 2016-02-25 2017-08-31 Sas Institute Inc. Cybersecurity system
US10296748B2 (en) 2016-02-25 2019-05-21 Sas Institute Inc. Simulated attack generator for testing a cybersecurity system
US10616266B1 (en) 2016-03-25 2020-04-07 Fireeye, Inc. Distributed malware detection system and submission workflow thereof
JP6319369B2 (ja) 2016-06-23 2018-05-09 日本電気株式会社 処理制御装置、処理制御方法、及び、処理制御プログラム
JP6495543B2 (ja) 2016-07-14 2019-04-03 アイアンネット・サイバーセキュリティ・インコーポレイテッドＩｒｏｎＮｅｔ Ｃｙｂｅｒｓｅｃｕｒｉｔｙ， Ｉｎｃ． シミュレーションおよび仮想現実に基づくサイバー行動システム
US10412100B2 (en) 2016-08-01 2019-09-10 The Boeing Company System and methods for providing secure data connections in an aviation environment
US9912687B1 (en) 2016-08-17 2018-03-06 Wombat Security Technologies, Inc. Advanced processing of electronic messages with attachments in a cybersecurity system
US9781149B1 (en) 2016-08-17 2017-10-03 Wombat Security Technologies, Inc. Method and system for reducing reporting of non-malicious electronic messages in a cybersecurity system
US10367841B2 (en) 2016-12-16 2019-07-30 Patternex, Inc. Method and system for learning representations for log data in cybersecurity
KR101732682B1 (ko) 2016-09-13 2017-05-24 (주)이공감 사이버 보안 장치의 보고서 작성 방법
US10855706B2 (en) 2016-10-11 2020-12-01 Battelle Memorial Institute System and methods for automated detection, reasoning and recommendations for resilient cyber systems
EP3545418A4 (en) 2016-11-22 2020-08-12 AON Global Operations PLC, Singapore Branch SYSTEMS AND PROCEDURES FOR RISK ASSESSMENT OF CYBERSECURITY
US10243904B1 (en) 2017-05-26 2019-03-26 Wombat Security Technologies, Inc. Determining authenticity of reported user action in cybersecurity risk assessment
US10217071B2 (en) 2017-07-28 2019-02-26 SecurityScorecard, Inc. Reducing cybersecurity risk level of a portfolio of companies using a cybersecurity risk multiplier
US10614401B2 (en) 2017-07-28 2020-04-07 SecurityScorecard, Inc. Reducing cybersecurity risk level of portfolio of companies using a cybersecurity risk multiplier
KR102368606B1 (ko) * 2017-07-31 2022-03-02 현대자동차주식회사 효율적인 차량용 리프로그래밍 장치 및 그 제어방법
CN109587518B (zh) 2017-09-28 2022-06-07 三星电子株式会社 图像传输装置、操作图像传输装置的方法以及片上系统
US10654447B2 (en) 2017-09-28 2020-05-19 General Motors Llc Vehicle sharing accessory module and system
US10257219B1 (en) 2018-03-12 2019-04-09 BitSight Technologies, Inc. Correlated risk in cybersecurity
US10817750B2 (en) 2018-04-09 2020-10-27 Diveplane Corporation Data inclusion in computer-based reasoning models
US11283598B2 (en) 2019-01-25 2022-03-22 Infineon Technologies Ag Selective real-time cryptography in a vehicle communication network
KR20200099423A (ko) 2019-02-14 2020-08-24 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
US10546135B1 (en) 2019-03-06 2020-01-28 SecurityScorecard, Inc. Inquiry response mapping for determining a cybersecurity risk level of an entity
CN110474874B (zh) * 2019-07-11 2023-02-17 中国银联股份有限公司 数据安全处理终端、系统及方法
KR102220746B1 (ko) 2019-09-10 2021-02-25 주식회사 에스원 영상 배포 제한 및 검증을 위한 방법 그리고 그 장치

Also Published As

Publication number Publication date
EP4089956A1 (en) 2022-11-16
US12008379B2 (en) 2024-06-11
US20220365788A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11228438B2 (en) Security device for providing security function for image, camera device including the same, and system on chip for controlling the camera device
US11606341B2 (en) Apparatus for use in a can system
EP3210335B1 (en) Efficient start-up for secured connections and related services
JP7229647B2 (ja) 信号処理装置および方法、並びにプログラム
US11245673B2 (en) Method for communicating data from a sensor device to an electronic control unit, a sensor device and an electronic control unit
US11212671B2 (en) Method and system for securing communication links using enhanced authentication
CN108809907B (zh) 一种证书请求消息发送方法、接收方法和装置
US20150350197A1 (en) Signature verification system, communication device, verification device, signature generation method, and signature verfication method
US11853465B2 (en) Securing data stored in a memory of an IoT device during a low power mode
CN108712400B (zh) 数据传输方法、装置、计算机可读存储介质和电子设备
EP4089956A1 (en) Automotive image sensor, image processing system including the same and operating method thereof
US20120008784A1 (en) Delegated Key Exchange System and Method of Operation
JP2023182527A (ja) イメージデータを処理する制御器、及びそれを含むイメージ処理システム、並びにその動作方法
KR102523416B1 (ko) 이미지에 대한 보안 기능을 제공하는 보안 장치, 이를 포함하는 카메라 장치 및 카메라 장치를 제어하는 시스템 온 칩
CN113141333A (zh) 入网设备的通信方法、设备、服务器、系统及存储介质
WO2020010831A1 (zh) 数据获取方法、数据获取系统、终端及诊断工具
KR20220155548A (ko) 차량용 이미지 센서, 그것을 갖는 이미지 처리 시스템 및 그것의 동작 방법
US20220209946A1 (en) Key revocation for edge devices
EP4187414B1 (en) Image sensor, image processing system having the same, and operating method of the same
KR20230171840A (ko) 이미지 데이터를 처리하는 제어기, 및 그것을 포함하는 이미지 처리 시스템 및 그것의 동작 방법
US20230327883A1 (en) Vehicle bootloader authentication system
CN117240973A (zh) 控制器、包括其的图像处理系统以及操作其的方法
JP2021190791A (ja) 通信システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination