CN116235461A - 信息处理装置、移动装置及通信系统 - Google Patents

信息处理装置、移动装置及通信系统 Download PDF

Info

Publication number
CN116235461A
CN116235461A CN202180067822.XA CN202180067822A CN116235461A CN 116235461 A CN116235461 A CN 116235461A CN 202180067822 A CN202180067822 A CN 202180067822A CN 116235461 A CN116235461 A CN 116235461A
Authority
CN
China
Prior art keywords
packet
cci
phy
extended
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067822.XA
Other languages
English (en)
Inventor
宫本宗
高桥宏雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116235461A publication Critical patent/CN116235461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0485—Networking architectures for enhanced packet encryption processing, e.g. offloading of IPsec packet processing or efficient security association look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4009—Coupling between buses with data restructuring
    • G06F13/4018—Coupling between buses with data restructuring with data-width conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G06F13/4045—Coupling between buses using bus bridges where the bus bridge performs an extender function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G06F21/565—Static detection by checking file integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Virology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及能够增强安全性的信息处理装置、移动装置和通信系统。本公开包括：当与另一信息处理装置执行通信期间通过高速数据传输发送包括图像数据的帧的数据时，向另一信息处理装置发送或从另一信息处理装置接收以下：包括扩展封包报头和封包数据的扩展封包以及特定消息，该特定消息能够将另一信息处理装置或图像数据中的至少一者处于不同于正常时或通常时的状态通知给信息处理装置；导出会话密钥；执行特定消息的保护数据的生成、验证或解密中的至少一者；将图像数据存储在封包数据中；以及经由与通信有关的公共通信路径的一部分或全部在不同的定时发送图像数据和特定消息。例如，本技术可应用于符合MIPI标准的通信系统。

Description

信息处理装置、移动装置及通信系统
技术领域
本公开涉及信息处理装置、移动装置和通信系统，并且更具体地涉及用于使得能够进一步增强安全性的信息处理装置、移动装置和通信系统。
背景技术
目前，在标准化进行中的相机串行接口(CSI)-2ver4.0中，定义了两种类型的使用物理层的C-PHY的封包结构和使用物理层的D-PHY的封包结构。
此外，近年来，CSI-2标准不仅用于移动装置，而且广泛地用于各种用途，诸如，车载和物联网(IoT)。结果，假设现有的封包结构不能支持这些应用。因此，移动行业处理器接口(MIPI)联盟正在检查扩展封包，其中，扩展诸如封包报头和分包结尾之类的现有封包结构以便支持各种用途。
例如，如专利文献1中所公开的，已经提出了独立于常规封包报头而使用扩展封包报头的通信系统。
引用列表
专利文献
专利文献1：国际公开第2020/129685号
发明内容
本发明要解决的问题
同时，如上所述，存储在考虑中的扩展封包中的用于功能安全用途的消息计数值可被转移为用于安全用途的随机值。然而，例如，由于对抗攻击的对策，同一会话密钥的随机(nonce，临时)值被禁止翻转，所以不适合像随机值那样应用16位消息计数值。因此，需要特别地并且以更高的安全性启用随机值的使用。
本公开鉴于这种情况做出，并且能够进一步增强安全性。
问题的解决方案
本公开的一方面的信息处理装置、移动装置和通信系统是这样的信息处理装置、移动装置和通信系统，包括：通信单元，被配置为当执行与另一信息处理装置的通信以在信息处理装置和另一信息处理装置之间沿预定方向执行传输包括图像数据的帧的数据的高速数据传输时，向另一信息处理装置发送扩展封包以及从另一信息处理装置接收扩展封包以及特定消息，扩展封包包括扩展封包报头和封包数据，特定消息能够将图像数据和另一信息处理装置中的至少一者处于不同于正常时或通常时的状态通知给信息处理装置；以及保护单元，被配置为导出会话密钥并且执行特定消息的保护数据的生成、验证或解密中的至少一个，其中，图像数据存储在封包数据中，并且图像数据和特定消息经由与所述通信有关的公共通信路径的一部分或全部以不同的定时发送。
在本公开的一个方面中，当与另一信息处理装置进行通信以在信息处理装置与另一信息处理装置之间在预定方向上执行传输包括图像数据的帧的数据的高速数据传输时，扩展封包以及特定消息被传输至另一信息处理装置或从另一信息处理装置接收，扩展封包包括扩展封包报头和封包数据，特定消息能够将图像数据和另一信息处理装置中的至少一者处于不同于正常时或通常时的状态通知给信息处理装置，导出会话密钥并且执行特定消息的保护数据的生成、验证或解密中的至少一个，图像数据被存储在封包数据中，并且经由与通信有关的公共通信路径的一部分或全部以不同的定时发送图像数据和特定消息。
附图说明
图1是示出应用本技术的通信系统的第一实施方式的配置实例的框图。
图2是示出了应用本技术的通信系统的第二实施方式的配置实例的框图。
图3是示出了用于D-PHY的扩展封包的整体封包结构的第一结构实例的示图。
图4是示出用于D-PHY的扩展短封包的封包结构的第一结构实例的示图。
图5是示出用于D-PHY的扩展长封包的封包结构的第一结构实例的示图。
图6是示出用于C-PHY的扩展封包的整体封包结构的第一结构实例的示图。
图7是示出了用于C-PHY的扩展短封包的封包结构的第一结构实例的示图。
图8是示出了用于C-PHY的扩展长封包的封包结构的第一结构实例的示图。
图9是示出图像传感器的配置实例的框图。
图10是示出应用处理器的配置实例的框图。
图11是用于描述图像传感器发送封包的处理的流程图。
图12是用于描述扩展模式发送处理的流程图。
图13是用于描述应用处理器接收封包的处理的流程图。
图14是用于描述扩展模式接收处理的流程图。
图15是示出用于D-PHY的扩展封包的整体封包结构的第二结构实例的示图。
图16是示出用于D-PHY的扩展长封包的封包结构的第二结构实例的示图。
图17是示出用于C-PHY的扩展短封包的封包结构的第二结构实例的示图。
图18是示出用于C-PHY的扩展长封包的封包结构的第二结构实例的示图。
图19是示出用于切换D-PHY和C-PHY的配置的修改的框图。
图20是示出应用本技术的通信系统的第三实施方式的配置实例的框图。
图21是示出与封包修改禁止规则兼容的用于D-PHY的扩展封包的结构实例的示图。
图22是示出与封包修改禁止规则兼容的用于C-PHY的扩展封包的结构实例的示图。
图23是示出与封包修改禁止规则兼容的用于A-PHY的扩展封包的结构实例的示图。
图24是用于描述适于封包修改禁止规则的封包发送/接收处理的流程图。
图25是示出适于封包修改禁止规则的图像传感器的配置实例的框图。
图26是示出适于封包修改禁止规则的应用处理器的配置实例的框图。
图27是示出图像传感器和应用处理器直接联接的通信系统的配置实例的框图。
图28是示出在应用处理器侧生成的读取命令的封包配置的实例的示图。
图29为示出要传输的A-PHY的读取命令的封包配置的实例的示图。
图30是示出图像传感器侧上的读取命令和读取数据的封包配置的实例的示图。
图31为示出要传输的A-PHY的读取数据的封包配置的实例的示图。
图32是示出在应用处理器侧获取的读取数据的封包配置的实例的示图。
图33是示出在应用处理器侧生成的写入数据的封包配置的实例的示图。
图34为示出要传输的A-PHY的写入数据的封包配置的实例的示图。
图35为示出在图像传感器侧上获取的写入数据的封包配置的实例的示图。
图36是用于描述扩展封包报头ePH和扩展封包结尾ePF的概况的示图。
图37是用于描述使用CCI-FS的通信处理的初始设置和检查操作的流程图。
图38是用于描述使用CCI-FS的写入操作的流程图。
图39是用于描述使用CCI-FS的读取操作的流程图。
图40为示出了图像传感器和应用处理器具有SerDes连接配置的通信系统的配置实例的框图。
图41是示出在应用处理器侧生成的读取命令的封包配置的实例的示图。
图42是示出由I2C/I3C输出的读取命令的封包配置的实例的示图。
图43为示出要传输的A-PHY的读取命令的封包配置的实例的示图。
图44为示出由从设备侧SerDes装置生成的读取数据的封包配置的实例的示图。
图45是示出图像传感器侧上的读取命令和读取数据的封包配置的实例的示图。
图46是示出由I2C/I3C输出的读取数据的封包配置的实例的示图。
图47是示出要传输的A-PHY的读取数据的封包配置的实例的示图。
图48是示出由I2C/I3C输出的读取数据的封包配置的实例的示图。
图49是示出在应用处理器侧上获取的读取数据的封包配置的实例的示图。
图50是用于描述使用CCI-FS的通信处理的初始设置和检查操作的流程图。
图51是用于描述使用CCI-FS的写入操作的流程图。
图52是用于描述使用CCI-FS的读取操作的流程图。
图53是用于描述序列A_Write(在AP时)处理的流程图。
图54是用于描述序列A_Read_CMD(在AP时)处理的流程图。
图55是用于描述序列C(在AP时)处理的流程图。
图56是用于描述序列B(在SerDes(从设备)时)处理的流程图。
图57是用于描述序列A_Read_Data(在AP时)处理的流程图。
图58为示出扩展封包报头ePH0、扩展封包报头ePH1和扩展封包报头ePH2的细节的示图。
图59是示出扩展封包报头ePH3的细节的示图。
图60是示出扩展封包报头ePH的扩展DT的细节的示图。
图61是示出了常规I2C硬件中的配置实例的框图。
图62是示出在I2C总线上进行数据传输时的波形的实例的示图。
图63是示出在具有A-PHY直接联接配置的通信系统中关于CCI的配置实例的框图。
图64是示出网络的连接形式的实例的示图。
图65是示出CCI-FS处理单元的电路配置的实例的框图。
图66是示出寄存器配置实例的示图。
图67是示出在桥接配置时的寄存器配置实例的示图。
图68是示出错误相关寄存器的寄存器配置实例的示图；
图69是示出在应用处理器侧上生成的写入数据的封包配置中的扩展封包报头ePH的修改的示图。
图70是示出在应用处理器侧上生成的读取命令的封包配置中的扩展封包报头ePH的修改的示图。
图71是用于描述A-PHY直接联接配置中的应用处理器和图像传感器之间的流程的示图。
图72是用于描述使用时钟拉伸法的流程的示图。
图73是示出包括CCI-FS处理单元的图像传感器的详细配置实例的框图。
图74是示出包括CCI-FS处理单元的应用处理器的详细配置实例的框图。
图75是示出应用本技术的通信系统的第四实施例的配置实例的框图。
图76是示出图像传感器的详细配置实例的框图。
图77是示出应用处理器的详细配置实例的框图。
图78是示出通信处理的第一处理实例的流程图。
图79是示出通信处理的第一处理实例的流程图。
图80是示出通信处理的第一处理实例的流程图。
图81是用于描述验证封包和待验证的封包的示图。
图82是用于描述验证封包和待验证的封包的示图。
图83是用于描述数据验证处理的流程图。
图84是用于描述消息计数值传输处理的流程图。
图85是用于描述嵌入式数据的示图。
图86是示出图像数据的数据结构的实例的示图。
图87是用于描述图像数据传输处理的流程图。
图88是用于描述完整性运算值传输处理的流程图。
图89是示出图像数据的数据结构的第一变形例的示图。
图90是示出图像数据的数据结构的第二变形例的示图。
图91是示出图像数据的数据结构的第三变形例的示图。
图92是用于描述完整性运算值处理的第一处理实例的流程图。
图93是用于描述完整性运算值处理的第二处理实例的流程图。
图94是用于描述完整性运算值处理的第三处理实例的流程图。
图95是用于描述完整性运算值处理的第四处理实例的流程图。
图96是示出存储初始化向量的初始计数器块的实例的示图。
图97为说明GHASH函数的示图。
图98是示出GCTR函数的示图。
图99是示出GCM-AE函数的示图。
图100为示出GCM-AD函数的示图。
图101是示出图像数据的数据结构的实例的示图，其中，针对每个行传输完整性运算值MAC。
图102是示出初始化向量的实例的示图。
图103为示出从发送侧向接收侧发送初始化向量的实例的示图。
图104是示出CSI-2或CCI的扩展格式的实例的示图。
图105为示出行(line)MAC方法的传输处理的流程图。
图106是示出图像数据的数据结构的实例的示图，其中，针对每个帧布置完整性运算值MAC。
图107为示出初始化向量的实例的示图。
图108为示出从发送侧向接收侧发送初始化向量的实例的示图。
图109是示出通过帧MAC方法的传输处理的流程图。
图110是用于描述选择处理的流程图。
图111为示出安全MAC信息的实例的示图。
图112是示出消息计数值和帧计数值的轮回周期(rollover cycles)的实例的示图。
图113为用于描述初始化向量的配置的示图。
图114为用于描述数据验证处理的流程图。
图115为示出反映处理的示图。
图116为示出安全协议的实例的示图；
图117为示出源ID或最终目的地ID的实例的示图。
图118是示出诊断图像传感器是否存在异常的图像传感器的详细配置实例的框图。
图119是用于描述由干扰检测单元进行的干扰检测处理(部分1)的流程图。
图120是用于描述当通过图像传感器实现ToF方法的距离测量传感器时将光发送模式(光接收模式)存储为存储模式时的存储方法的示图。
图121是用于描述当通过图像传感器实现ToF方法的距离测量传感器时将光发送模式(光接收模式)存储为存储模式时的存储方法的示图。
图122是用于描述通过干扰检测单元的干扰检测处理(部分2)的流程图。
图123是用于说明障碍检测单元的障碍检测处理的流程图。
图124是用于描述通过入侵检测单元对安全单元的异常检测处理的流程图。
图125是示出温度检测单元的异常检测处理的流程图。
图126是示出检测图像传感器是否存在异常的应用处理器的详细配置实例的框图。
图127为用于描述当应用处理器执行检测图像传感器是否存在异常的处理时的图像传感器的处理的流程图。
图128是用于描述当应用处理器执行检测图像传感器的异常是否存在的处理时应用处理器的处理的流程图。
图129是示出用于描述在实现特定消息的高速数据传输而不妨碍图像数据的高速数据传输时存储特定消息的位置的图像数据的数据结构的实例的示图。
图130为用于描述在执行特定消息的高速数据传输而不妨碍图像数据的高速数据传输的情况下的处理的流程图。
图131是用于描述成像传输处理(部分1)的流程图。
图132为用于描述成像传输处理(部分1)的应用实例的流程图。
图133为用于描述成像传输处理(部分2)的流程图。
图134是用于描述图像传感器的成像传输处理(部分3)的流程图。
图135为用于描述应用处理器的成像传输处理(部分3)的流程图。
图136是用于描述图像传感器的成像传输处理(部分4)的流程图。
图137为用于描述应用处理器进行的成像传输处理(部分4)的流程图。
图138为用于描述由图像传感器进行的成像传输处理(部分5)的流程图。
图139是用于描述应用处理器进行的成像传输处理(部分5)的流程图。
图140为用于描述图像传感器进行的成像传输处理(部分6)的流程图。
图141是用于描述应用处理器进行的成像传输处理(部分6)的流程图。
图142是用于描述图像传感器进行的成像传输处理(部分7)的流程图。
图143是用于描述应用处理器进行的成像传输处理(部分7)的流程图。
图144是用于描述图像传感器进行的成像传输处理(部分8)的流程图。
图145为用于描述应用处理器进行的成像传输处理(部分8)的流程图。
图146是用于描述成像传输处理(部分9)的流程图。
图147为用于描述成像传输处理(部分10)的流程图。
图148是用于描述成像传输处理(部分11)的流程图。
图149是用于描述使用具有不同汉明距离的两种类型的计数值的消息计数值的示图。
图150是用于描述使用两种类型的计数值检测消息计数值是否存在缺陷或篡改的方法的示图。
图151是用于描述使用两种类型的计数值检测消息计数值是否存在缺陷或篡改的方法的示图。
图152是用于描述消息计数处理的流程图。
图153为用于描述在扩展封包报头ePH2中的保留区域(Reserved)中设置警告描述符时的扩展封包报头ePH2的配置实例的示图。
图154是用于描述使用警告描述符(特定消息)的每个位的标识信息的描述实例的示图。
图155是用于描述当警告速报(例如，物理攻击检测)被设置为扩展封包报头中的第一特定消息时的配置实例的示图。
图156是用于描述当分离和发送特定消息时图像传感器的发送处理的流程图。
图157为用于描述当分离和发送特定消息时应用处理器的发送处理的流程图。
图158是用于描述在发送警告速报之后发送警告细节的读取指令的情况下分离和发送特定消息时的发送处理的流程图。
图159是用于描述安全描述符的配置实例的示图，在安全描述符中，设置诸如图像传感器1211内部或外部的异常的存在与否、对图像传感器1211的干扰或攻击存在与否等的任何特定消息。
图160为示出安装有图像传感器和应用处理器的推进装置的配置实例的框图。
图161为用于描述用于控制图160的推进装置的推进的推进控制处理(部分1)的示图。
图162为用于描述用于控制图160的推进装置的推进的推进控制处理(部分2)的示图。
图163为用于描述通过控制图160的推进装置的推进的微型计算机的推进控制处理(部分3)的示图。
图164为用于描述通过控制图160的推进装置的推进的成像单元的推进控制处理(部分3)的示图。
图165是用于描述用于设置HEARTBEAT功能的启用(HBEAT_CAP＝1)或者禁用(HBEAT_CAP＝0)的响应者标志字段定义的配置实例的示图。
图166是用于描述HEARTBEAT请求消息的配置实例的示图。
图167是用于描述HEARTBEAT_ACK响应消息的配置实例的示图。
图168是用于描述HEARTBEAT_NAK响应消息的配置实例的示图。
图169是用于描述END_SESSION请求消息的配置实例的示图。
图170是用于描述HEARTBEAT处理的流程图。
图171是用于描述END_SESSION_NAK响应消息(部分1)的配置实例的示图。
图172是用于描述CCI主机(请求者)的HEARTBEAT处理(部分2)的流程图。
图173是用于描述CCI装置(响应者)的HEARTBEAT处理(部分2)的流程图。
图174是用于描述CCI主机(请求者)的HEARTBEAT处理(部分3)的流程图。
图175是用于描述CCI装置(响应者)的HEARTBEAT处理(部分3)的流程图。
图176是用于描述ERROR响应消息的配置实例的示图。
图177为用于描述错误代码和错误数据的设置实例的示图。
图178为用于描述ExtendedErrorData的设置实例的示图。
图179是用于描述在使用伪HEARTBEAT功能的情况下的备案(Registry，注册)或标准主体ID的设置实例的示图。
图180为用于描述VENDOR_DEFINED_REQUEST请求消息的设置实例的示图。
图181是用于描述VENDOR_DEFINED_RESPONSE响应消息的设置实例的示图。
图182是示出应用本技术的计算机的实施方式的配置实例的框图。
具体实施方式
在下文中，将参考附图详细描述应用本技术的具体实施方式。
<通信系统的配置实例>
图1是示出应用本技术的通信系统的第一实施方式的配置实例的框图。
如图1所示，通信系统11通过经由总线23连接图像传感器21和应用处理器22来配置。例如，通信系统11用于在诸如所谓的智能电话的现有移动装置内部的CSI-2连接。
图像传感器21通过将扩展模式兼容CSI-2传输电路31与例如透镜、成像元件(均未示出)等一起结合来配置。例如，图像传感器21通过扩展模式兼容CSI-2传输电路31将通过成像元件的成像获取的图像的图像数据发送给应用处理器22。
应用处理器22通过将扩展模式兼容CSI-2接收电路32以及大规模集成(LSI)结合来配置，大规模集成(LSI)根据由包括通信系统11的移动装置执行的各种应用执行处理。例如，应用处理器22可通过扩展模式兼容CSI-2接收电路32接收从图像传感器21发送的图像数据，并且由LSI根据对图像数据的应用执行处理。
总线23是用于传输符合CSI-2的标准的信号的通信路径，并且例如，能够传输信号的传输距离为大约30cm。此外，如图所示，总线23通过多个信号线(I2C、CLKP/N、D0P/N、D1P/N、D2P/N和D3P/N)连接图像传感器21和应用处理器22。
扩展模式兼容CSI-2传输电路31和扩展模式兼容CSI-2接收电路32与通过扩展CSI-2的标准所获得的扩展模式中的通信兼容，并且能够相互发送和接收信号。要注意的是，下面参照图9和图10，描述扩展模式兼容CSI-2传输电路31和扩展模式兼容CSI-2接收电路32的详细配置。
图2是示出了应用本技术的通信系统的第二实施方式的配置实例的框图。
如图2所示，通信系统11A通过经由总线24-1连接图像传感器21和SerDes装置25、经由总线24-2连接应用处理器22和SerDes装置26以及经由总线27连接SerDes装置25和SerDes装置26来配置。例如，通信系统11A用于连接现有的车载相机。
这里，图像传感器21和应用处理器22与图1中的图像传感器21和应用处理器22类似地配置，并且省略其详细描述。
与图1中的总线23相似，总线24-1和24-2是用于传输符合CSI-2的标准的信号的通信路径，并且包括如图中所示的多条信号线(HS-GPIO、I2C/I3C、CLKP/N、D0P/N、D1P/N、D2P/N和D3P/N)。
SerDes装置25具有CSI-2接收电路33和SerDes(串行器和解串器)传输电路34。例如，SerDes装置25通过与符合正常CSI-2的标准的扩展模式兼容CSI-2传输电路31进行通信的CSI-2接收电路33获取从图像传感器21发送的位并行信号。然后，SerDes装置25将所获取的信号转换成位串行信号，并且SerDes传输电路34与一个通道中的SerDes接收电路35进行通信，从而将信号传输给SerDes装置26。
SerDes装置26包括SerDes接收电路35和CSI-2传输电路36。例如，SerDes装置26获取在SerDes接收电路35与SerDes传输电路34在一个通道中进行通信时发送的位串行信号。然后，SerDes装置26将所获取的信号转换成位并行信号，并且CSI-2传输电路36与扩展模式兼容CSI-2接收电路32进行符合正常CSI-2标准的通信，从而将信号发送给应用处理器22。
总线27是用于依照A-PHY、平板显示器(FPD)-LINK III等的标准来传输信号的通信路径，例如，能够发送信号的传输距离为约15m的长距离。
这些远程可传输物理层接口允许汽车工业利用高级驾驶员辅助系统(ADAS)、自动驾驶系统(ADS)和包括相机和车载信息娱乐(IVI)显示器的其他周围传感器应用。MIPI A-PHY在点对点拓扑中具有非对称数据链路层(非对称高层级)，从而允许相同的物理布线在高速数据传输、控制数据和功率中共享，并且充当被设计成简化相机、传感器和显示器集成同时还实现功能安全和安全性的结合的端对端系统的基础。
如上所述配置的通信系统11和11A可以通过扩展模式兼容CSI-2传输电路31和扩展模式兼容CSI-2接收电路32使用具有如下所述的扩展封包结构的封包来发送和接收数据。因此，可以支持更多种用途，例如，如下所述的RAW 24、智能ROI(感兴趣区域)、GLD(优雅链路降级)等。
<封包结构的第一结构实例>
将参考图3至图8描述用于扩展模式兼容CSI-2传输电路31与扩展模式兼容CSI-2接收电路32之间的通信的封包的封包结构的第一结构实例。
图3示出了在物理层是D-PHY的情况下在CSI-2的扩展模式中使用的封包(在后文中称为用于D-PHY的扩展封包)的整体封包结构。
如图3所示，用于D-PHY的扩展封包具有其中封包报头和封包结尾与现有CSI-2标准的封包结构相同的封包结构。例如，在封包报头中存储有指示虚拟信道的行数的VirtualChannel(VC)、指示数据类型的数据类型(DataType)、指示有效载荷的数据长度的字计数(WC)以及VCX/ECC。此外，循环冗余校验(CRC)被存储在封包结尾中。
这里，在现有的CSI-2标准中，作为封包报头中传输的数据类型，0×38至0×3F被定义为保留。因此，在用于D-PHY的扩展封包中，使用已保留的数据类型新定义用于识别接收侧上的扩展模式的设置信息。
例如，作为数据类型，定义了如下：
-在DataType[5：3]＝3’b111的情况下，扩展模式，
-数据类型[2]＝保留(RES：针对未来扩展的保留)，以及
-DataType[1：0]＝扩展模式类型(准备四个扩展模式)。
即，例如，在现有的CSI-2标准中被定义为保留的数据类型的0×38至0×3F之中，DataType[5：3]被定义为扩展模式设置信息并且DataType[1：0]被定义为扩展类型设置信息。扩展模式设置信息指示数据类型是否是扩展模式，并且例如，在DataType[5：3]是3’b111的情况下，信息指示扩展模式。此外，当扩展模式0、扩展模式1、扩展模式2以及扩展模式3的四种类型被准备作为扩展模式的类型时，扩展类型设置信息指示四种类型的扩展模式中的一种。例如，在DataType[1：0]是2’b00的情况下，该信息指示扩展模式的类型是扩展模式0。
然后，在扩展模式0(DataType[1：0]＝2’b00)中，例如，定义有效载荷被分成四个的封包结构。即，如图3所示，扩展模式0中的有效载荷被分成扩展封包报头(ePH)、可选的扩展封包报头(OePH)、既存的有效载荷和可选的扩展封包结尾(OePF)。注意，可以重复地发送扩展封包报头。
扩展封包报头被布置在与现有CSI-2标准的有效载荷相对应的报头中，并且需要总是以扩展模式发送。例如，如图所示，扩展封包报头包括设置信息，诸如SROI的标识标志、扩展虚拟信道(VC)、扩展DataType、OePH的选择标志和OePF的选择标志。这里，在现有的CSI-2标准中已经有4位的VC通过扩展的VC扩展到8位，并且在现有的CSI-2标准中已经有4位的DataType通过扩展的DataType而扩展到8位。
例如，在用于D-PHY的封包中，现有封包报头的VC的四位已经存在，并且通过将扩展封包报头的扩展VC限定为四位，可以将总位数设置为8。具体地，可以定义OePH[7：0]＝{5’h00，RSID，XY_POS，MC}和OePF[3：0]＝{3’h0，pCRC}，并且可以控制每次使用所需的封包传输的开/关。
根据用途选择性地发送可选的扩展封包报头和可选的扩展封包结尾。
既存的有效载荷对应于与现有CSI-2标准相同的有效载荷。
以这种方式，通过根据需要设置扩展封包报头、可选的扩展封包报头和可选的扩展封包结尾，可以发送与各种用途对应的数据。此外，在扩展封包报头、可选的扩展封包报头和可选的扩展封包结尾中传输的数据是26位+6位纠错码(ECC)。因此，可以通过改变现有封包报头的电路来抑制电路规模的增加并且改善抗错误性。
作为用于D-PHY的这种扩展封包的具体应用实例，图4示出了在物理层是D-PHY的情况下在CSI-2的扩展模式中使用的短封包(在后文中称为用于D-PHY的扩展短封包)的封包结构。类似地，图5示出了在物理层是D-PHY的情况下，在CSI-2的扩展模式中使用的长封包(在下文中称为用于D-PHY的扩展长封包)的封包结构。
在如图4所示的用于D-PHY的扩展短封包中，存储在封包报头中的数据类型的扩展类型设置信息指示扩展模式的类型是扩展模式0(DT[5：0]＝0×1C(5’b111_0_0))。此外，存储在扩展封包报头中的数据类型的短封包设置信息指示该封包是短封包(DT[7：0]＝0×00(帧开始码(短封包))))。
如上所述，在扩展模式中并且在存储在扩展封包报头中的数据类型是DT[7：0]＝0×00至0×0F的情况下，设置扩展短封包，并且包括扩展短封包的短封包数据字段的数据总是被发送到可选的扩展封包报头。短封包数据字段与现有CSI-2标准中定义的相同。
注意，在发送扩展短封包时，可发送GLD(MC)的MessageCount、以及可选的扩展封包报头的车载行号和源ID(RSID)，但不需要既存的有效载荷和pCRC并且因此禁止发送。如果既存的有效载荷和pCRC被错误地发送，则它们在接收侧被忽略。
然后，与符合现有CSI-2标准的扩展短封包相比，具有如图4所示的封包结构的扩展短封包可扩展虚拟信道的数据类型和位宽，并且可支持在可选扩展封包报头中定义的各种用途。此外，在不需要这些功能的情况下，符合现有CSI-2标准的扩展短封包可以与扩展长封包一起发送。
在如图5所示的用于D-PHY的扩展长封包中，存储在封包报头中的数据类型的扩展类型设置信息指示扩展模式的类型是扩展模式0(DT[5：0]＝0×1C(5’b111_0_0))。此外，存储在扩展封包报头中的数据类型的短封包设置信息指示该封包不是短封包(DT[7：0]不是0×00至0×0F(＝扩展LongPacket))。因此，在扩展长封包中，不发送包括短封包数据字段的数据。
此外，根据扩展封包报头的设置，在现有的CSI-2标准中的有效载荷中存储并发送可选的扩展封包报头、既存的有效载荷和可选的扩展封包结尾。通过这种方式，由于数据存储在现有有效载荷中并被发送，所以由现有SerDes传输电路34和SerDes接收电路35(图2)以与在现有有效载荷中传输的图像数据相似的方式识别该数据，并且将该数据照原样传输至后续阶段。
然后，在最后阶段的应用处理器22可以根据封包报头的数据类型DT[5：0]确定数据类型是扩展模式。因此，应用处理器22可从扩展封包报头顺序地解释有效载荷的内容，并且提取期望的扩展模式的数据。
图6示出了在物理层是C-PHY的情况下在CSI-2的扩展模式中使用的封包(以下称之为用于C-PHY的扩展封包)的整体封包结构。要注意的是，在图6中所示的用于C-PHY的扩展封包中，省略与在图3中的用于D-PHY的扩展封包共同的配置的描述，并且将描述不同的配置。
例如，在用于C-PHY的扩展封包中，与图3中用于D-PHY的扩展封包相似，扩展模式由数据类型识别，并且与由应用处理器22执行的每个应用相对应的所有数据被嵌入在有效载荷中并且被发送。
如图6所示，类似于符合现有CSI-2标准的用于C-PHY的封包，用于C-PHY的扩展封包传输封包报头两次，并且为了便于通过C-PHY将16位转换成7个符号，以十六位为单位布置数据。此外，扩展封包报头被布置在有效载荷的头部中。关于虚拟信道，在C-PHY的情况下，为此目的保留现有封包报头的头部。因此，在扩展封包报头中不存储虚拟信道。当然，类似于D-PHY的扩展封包，虚拟信道可存储在扩展封包报头中。
此外，由于可选的扩展封包报头和可选的扩展封包结尾具有长的位深度，所以准备标志OePHF，并且在标志为1的情况下，将OePH/OePF信息发送到下一个。然后，在ePH信息和OePH信息之后，发送CRC作为扩展封包报头，并且类似配置的封包报头被重复发送两次。以这种方式，通过使结构与传输两次现有封包报头的机制相同，可以实现电路复用性和抗错误性。
作为用于C-PHY的这种扩展封包的具体应用实例，图7示出了在物理层是C-PHY的情况下在CSI-2的扩展模式中使用的短封包(以下称之为用于C-PHY的扩展短封包)的封包结构。类似地，图8示出了在物理层是C-PHY的情况下在CSI-2的扩展模式中使用的长封包(下文称为用于C-PHY的扩展长封包)的封包结构。
应注意，图7所示的用于C-PHY的扩展短封包与图4所示的用于D-PHY的扩展短封包在封包结构上不具有较大差异，并且图8所示的用于C-PHY的扩展长封包与图5所示的用于D-PHY的扩展长封包在封包结构上不具有较大差异。
<图像传感器和应用处理器的配置实例>
(图像传感器的配置实例)
图9是示出包括扩展模式兼容CSI-2传输电路31的图像传感器21的配置实例的框图。
如图9所示，除了扩展模式兼容CSI-2传输电路31之外，图像传感器21还包括像素41、AD转换器42、图像处理单元43、像素CRC运算单元44、物理层处理单元45、I2C/I3C从设备46和寄存器47。此外，扩展模式兼容CSI-2传输电路31包括打包单元51、封包报头生成单元52、扩展封包报头生成单元53、扩展封包结尾生成单元54、选择单元55和56、CRC运算单元57、通道分配单元58、CCI从设备59和控制器60。
像素41输出与接收的光量对应的模拟像素信号，并且模数转换器(ADC)42对从像素41输出的像素信号进行数字转换并且将像素信号提供至图像处理单元43。图像处理单元(图像信号处理器：ISP)43将通过对基于像素信号的图像应用各种类型的图像处理而获得的图像数据提供到像素CRC运算单元44和打包单元51。此外，图像处理单元43将指示图像数据是否有效的数据使能信号data_en提供到打包单元51和控制器60。
像素CRC运算单元44针对从图像处理单元43提供的图像数据中的每个像素计算并获得CRC，并将该CRC提供给扩展封包结尾生成单元54。
物理层处理单元45可执行C-PHY和D-PHY两者的物理层处理。例如，物理层处理单元45在从控制器60提供的C层使能信号cphy_en有效的情况下执行C-PHY的物理层处理，并且在C层使能信号cphy_en无效的情况下执行D-PHY的物理层处理。然后，物理层处理单元45将由通道分配单元58划分成四个通道的封包发送到应用处理器22。
I2C/I3C从设备46基于集成电路间(I2C)或改进的集成电路间(I3C)标准，在应用处理器22的I2C/I3C主设备72(图10)的发起下进行通信。
从应用处理器22发送的各种设置通过I2C/I3C从设备46和CCI从设备59被写入寄存器47。这里，写入寄存器47的设置的实例包括符合CSI-2标准的通信设置、指示是否使用扩展的扩展模式设置、以及在扩展模式下通信所需的固定通信设置。
打包单元51进行将从图像处理单元43提供的图像数据存储在封包的有效载荷中的打包处理，并且将有效载荷提供给选择单元55和通道分配单元58。
当根据从控制器60提供的封包报头生成指令信号ph_go指示生成封包报头时，封包报头生成单元52生成封包报头并且将封包报头提供给选择单元55和通道(lane)分配单元58。
即，封包报头生成单元52生成存储设置信息的封包报头，该设置信息指示针对封包中发送的数据所设置的条件，例如，指示根据现有CSI-2标准的数据类型的数据类型。此外，封包报头生成单元52在数据类型中存储扩展模式设置信息，扩展模式设置信息指示模式是否是用于使用在现有CSI-2标准中被定义为未使用的未使用区域中的扩展报头的扩展模式，数据类型是指示在封包中发送的数据的类型的设置信息。此外，封包报头生成单元52存储扩展类型设置信息，该扩展类型设置信息指示当扩展模式在未使用区域中时准备的多种类型的扩展模式中的一种。
扩展封包报头生成单元53根据从控制器60提供的扩展封包报头生成指令信号ePH_go和扩展封包报头使能信号ePH_en来生成扩展封包报头和可选扩展封包报头中的每个，并且将扩展封包报头和可选扩展封包报头提供给选择单元56和通道分配单元58。此外，根据图像传感器21的使用，将车载行号、源ID(标识)等提供至扩展封包报头生成单元53，并且根据需要将其存储在扩展封包报头或可选的扩展封包报头中。
换言之，扩展封包报头生成单元53生成与由封包报头生成单元52生成的封包报头分离的扩展封包报头，其存储如图3所示的设置信息。此外，在发送可选扩展封包报头的情况下，扩展封包报头生成单元53将指示发送可选扩展封包报头的可选扩展封包报头设置信息存储在扩展封包报头中作为指示是否发送可选扩展封包报头的可选扩展封包报头设置信息(OePH[7：0])，并且生成在扩展封包报头之后的可选扩展封包报头。
扩展封包结尾生成单元54根据从控制器60提供的扩展封包结尾生成指令信号ePF_go和扩展封包报头使能信号ePF_en生成可选扩展封包结尾，并且将可选扩展封包结尾提供给选择单元56和通道分配单元58。
即，在以扩展模式发送的封包是在现有CSI-2标准中存储作为有效载荷发送的数据的扩展长封包的情况下，扩展封包结尾生成单元54生成布置在其中存储数据的既存的有效载荷之后的可选扩展封包结尾。
此外，从控制器60将C层使能信号cphy_en提供至封包报头生成单元52、扩展封包报头生成单元53以及扩展封包结尾生成单元54。然后，在C层使能信号cphy_en指示有效的情况下，封包报头生成单元52生成C-PHY的封包报头，扩展封包报头生成单元53生成C-PHY的扩展封包报头和可选的扩展封包报头，并且扩展封包结尾生成单元54生成C-PHY的可选的扩展封包结尾。另一方面，在C层使能信号cphy_en指示无效的情况下，封包报头生成单元52生成用于D-PHY的封包报头，扩展封包报头生成单元53生成用于D-PHY的扩展封包报头和可选的扩展封包报头，并且扩展封包结尾生成单元54生成用于D-PHY的可选的扩展封包结尾。
在根据从控制器60提供的C层使能信号cphy_en而C层使能信号cphy_en有效的情况下，选择单元55选择从封包报头生成单元52中提供的封包报头并且将封包报头提供给选择单元56。另一方面，在C层使能信号cphy_en无效的情况下，选择单元55选择从打包单元51提供的有效载荷并且将有效载荷提供给选择单元56。
选择单元56根据从控制器60提供的数据选择信号data_sel选择经由选择单元55选择性地提供的封包报头或有效载荷、从扩展封包报头生成单元53提供的扩展封包报头和可选扩展封包报头或者从扩展封包结尾生成单元54提供的可选扩展封包结尾中的任一个，并且将所选择的一个提供给CRC运算单元57。
CRC运算单元57计算并获得经由选择单元56选择性地提供的封包报头、有效载荷、扩展封包报头、可选的扩展封包报头或可选的扩展封包结尾的CRC，并且将CRC提供至通道分配单元58。
通道分配单元58在控制器60的控制下将从打包单元51提供的有效载荷、从封包报头生成单元52提供的封包报头、从扩展封包报头生成单元53提供的扩展封包报头和可选扩展封包报头、从扩展封包结尾生成单元54提供的可选扩展封包结尾以及从CRC运算单元57提供的CRC分配给符合CSI-2标准的四个通道，并且将它们提供至物理层处理单元45。
相机控制接口(CCI)从设备59基于CSI-2标准在应用处理器22的CCI主设备88(图10)的发起下进行通信。
控制器60读取寄存器47中存储的各种设置，并且根据设置控制构成扩展模式兼容CSI-2传输电路31的每个块。例如，控制器60根据要发送的数据的内容，控制具有符合现有CSI-2标准的封包结构的封包的发送与具有扩展模式中的封包结构的封包的发送之间的切换。
图像传感器21以这种方式配置，并且可生成具有参考图3至图8所描述的封包结构的扩展封包，并且将扩展封包传输至应用处理器22。
(应用处理器的配置实例)
图10是示出包括扩展模式兼容CSI-2接收电路32的应用处理器22的配置实例的框图。
如图10所示，除了扩展模式兼容CSI-2接收电路32之外，应用处理器22还包括物理层处理单元71、I2C/I3C主设备72、寄存器73、以及控制器74。此外，扩展模式兼容CSI-2接收电路32包括封包报头检测单元81、通道合并单元82、解释单元83、选择单元84和85、CRC运算单元86、解封包单元87和CCI主设备88。
物理层处理单元71可以执行C-PHY和D-PHY两者的物理层处理。如上所述，图像传感器21的物理层处理单元45执行C-PHY或D-PHY的物理层处理，并且物理层处理单元71执行与在物理层处理单元45中执行的相同的物理层处理。
I2C/I3C主设备72基于I2C或I3C标准引导与图像传感器21的I2C/I3C从设备46(图9)的通信。
控制器74将要写入图像传感器21的寄存器47中的各种设置记录在寄存器73中。
控制器74控制构成应用处理器22的每个块。
封包报头检测单元81从物理层处理单元71提供的封包中检测封包报头并且检查存储在封包报头中的数据类型。然后，在扩展模式设置信息指示封包报头的数据类型中的扩展模式(DataType[5：3]＝3’b111)的情况下，封包报头检测单元81将指示扩展模式的扩展模式检测标志提供给解释单元83、选择单元84和选择单元85。此外，封包报头检测单元81基于封包报头将指示是否启用对划分的四个通道合并的合并使能信号mrg_en提供至通道合并单元82。
即，封包报头检测单元81检测其中根据现有的CSI-2标准存储设置信息(数据类型等)的封包报头，设置信息指示针对封包中要发送的数据设置的条件。此时，封包报头检测单元81根据扩展模式设置信息输出扩展模式检测标志，从而切换具有符合现有CSI-2标准的封包结构的封包的接收和具有扩展模式下的封包结构的封包的接收，扩展模式设置信息指示模式是否是用于使用数据类型中在现有CSI-2标准中定义为未使用的未使用区域中存储的扩展报头的扩展模式，数据类型是指示封包中发送的数据的类型的设置信息。此外，封包报头检测单元81根据存储在定义为现有CSI-2标准中未使用的数据类型的未使用区域中的扩展模式类型信息来识别作为扩展模式准备的多种类型的扩展模式中的一种。
在从封包报头检测单元81提供的合并使能信号mrg_en有效的情况下，通道合并单元82将划分为四个通道并从物理层处理单元71提供的封包合并。然后，通道合并单元82将一个通道的封包提供给解释单元83、选择单元84、以及选择单元85。
在从封包报头检测单元81提供的扩展模式检测标志指示扩展模式的情况下，解释单元83基于扩展模式的封包结构从通道合并单元82提供的封包中读取扩展封包报头、可选的扩展封包报头和可选的扩展封包结尾。然后，解释单元83解释存储在扩展封包报头、可选的扩展封包报头和可选的扩展封包结尾中的设置信息。
即，解释单元83接收布置在符合现有CSI-2标准的有效载荷的头部中的扩展封包报头作为扩展报头，并且解释存储在扩展封包报头中的设置信息。此外，在存储在扩展封包报头中的可选扩展封包报头设置信息指示根据用途选择性地发送的可选扩展封包报头的发送的情况下，解释单元83接收扩展封包报头之后的可选扩展封包报头，并解释存储在可选扩展封包报头中的设置信息。此外，在以扩展模式发送的封包是扩展长封包的情况下，解释单元83生成布置在存储数据的既存的有效载荷之后的可选扩展封包结尾，并解释该可选的扩展封包结尾，扩展长封包在现有CSI-2标准中存储将作为有效载荷发送的数据。
然后，例如，解释单元83读取存储在可选的扩展封包报头中的车载行号、源ID等，并且将所读取的信息输出至随后的LSI(未示出)。
要注意的是，在从封包报头检测单元81提供的扩展模式检测标志不表示扩展模式的情况下，即，在提供具有现有封包结构的封包的情况下，解释单元83停止而不执行上述处理。
选择单元84根据从封包报头检测单元81提供的扩展模式检测标志，基于现有封包的封包结构或扩展封包的封包结构，选择性地将数据提供给解封包单元87。
选择单元85根据从封包报头检测单元81提供的扩展模式检测标志，基于现有封包的封包结构或扩展封包的封包结构，选择性地向CRC运算单元86提供数据。
CRC运算单元86计算经由选择单元85选择性地提供的封包报头、有效载荷、扩展封包报头、可选的扩展封包报头或可选的扩展封包结尾的CRC。然后，在检测到CRC错误的情况下，CRC运算单元86将指示检测到CRC错误的crcCRC错误检测信号输出至随后的LSI(未示出)。
解封包单元87执行提取经由选择单元84选择性地提供的有效载荷中存储的图像数据的解封包处理，并且将所获取的图像数据输出至随后的LSI(未示出)。
CCI主设备88基于CSI-2标准引导与图像传感器21的CCI从设备59(图9)的通信。
应用处理器22以这种方式配置，并且可以接收从图像传感器21发送的扩展封包，解释存储在扩展封包报头、可选的扩展封包报头和可选的扩展封包结尾中的设置信息，并且获取图像数据。
<通信处理>
将参考图11至图14描述由图像传感器21和应用处理器22执行的通信处理。
图11是用于描述图像传感器21传输封包的处理的流程图。
例如，当图像传感器21经由总线23连接至应用处理器22时，开始处理。在步骤S11中，控制器60确定在开始与应用处理器22通信时是否使用扩展模式。例如，控制器60检查存储在寄存器47中的扩展模式设置，并且在指示扩展模式的使用的扩展模式设置由应用处理器22写入的情况下确定使用扩展模式。
在步骤S11中控制器60确定不使用扩展模式的情况下，处理进入步骤S12。
在步骤S12中，I2C/I3C从设备46接收从应用处理器22发送的图像数据的发送开始指令(在下面要描述的图13中的步骤S54中)。此外，I2C/I3C从设备46接收与发送开始指令一起传输的符合CSI-2标准的通信设置，并且经由CCI从设备59将通信设置写入寄存器47中。
在步骤S13中，图像传感器21基于存储在寄存器47中的通信设置执行向应用处理器22发送具有符合现有CSI-2标准的封包结构的封包的常规封包发送处理。
另一方面，在步骤S11中控制器60确定使用扩展模式的情况下，处理进行至步骤S14。
在步骤S14中，I2C/I3C从设备46接收在扩展模式中通信所需的固定通信设置(例如，在GLD等时每个通道的PH/PF的副本)，并且经由CCI从设备59将固定通信设置写入寄存器47中。
在步骤S15中，I2C/I3C从设备46接收从应用处理器22发送的用于图像数据的发送开始指令(在下面要描述的图13中的步骤S57中)。此外，I2C/I3C从设备46接收与发送开始指令一起传输的符合CSI-2标准的通信设置，并且经由CCI从设备59将通信设置写入寄存器47中。
在步骤S16中，控制器60确定是否开始封包发送，并且等待直到确定开始封包发送为止。
然后，在步骤S16中，在确定开始封包发送的情况下，处理进行至步骤S17，并且控制器60确定是否在扩展模式中传输数据。在此，例如，在如下所述的应用实例的使用情况中要传输数据的情况下，控制器60根据要传输的数据的内容来确定数据要在扩展模式中传输。
在步骤S17中，在控制器60确定要在扩展模式中传输数据的情况下，处理进行至步骤S18，并且执行传输与扩展模式相对应的扩展封包的扩展模式发送处理(见图12)。
另一方面，在步骤S17中，控制器60确定为不在扩展模式中发送数据的情况下，处理进入步骤S19。
在步骤S19中，控制器60确定是否发送短封包。例如，控制器60确定在帧的开始和帧的结束处送短封包。
在步骤S19中，在控制器60确定发送短封包的情况下，处理进行至步骤S20。在步骤S20中，封包报头生成单元52生成封包报头并且将具有常规封包结构的短封包发送到应用处理器22。
另一方面，在步骤S19中，在控制器60确定不发送短封包(即，发送长封包)的情况下，处理进行至步骤S21。在步骤S21中，打包单元51将图像数据存储在有效载荷中，并且CRC运算单元57获得CRC，并且生成具有常规封包结构的长封包并且将该长封包发送到应用处理器22。
在步骤S18、步骤S20或步骤S21的处理之后，处理进行至步骤S22，并且控制器60终止封包发送处理。此后，处理返回至步骤S16，并且类似地重复执行传输用于下一封包的封包的处理。
图12是示出在图11中的步骤S18的处理中执行的扩展模式发送处理的流程图。
在步骤S31中，封包报头生成单元52生成存储VC、数据类型、WC等的封包报头，并且将封包报头传输至应用处理器22。此时，封包报头生成单元52将表示该模式是扩展模式的扩展模式设置信息(DataType[5：3]＝3’b111)和识别扩展模式的模式设置是扩展模式0的扩展类型设置信息(DataType[1：0]＝2’b00)写入封包报头的数据类型。
在步骤S32中，应用处理器22确定是否发送扩展短封包。例如，控制器60确定在帧的开始和帧的结束处发送扩展短封包。
在步骤S32中，在应用处理器22确定发送扩展短封包的情况下，处理进行至步骤S33。
在步骤S33中，扩展封包报头生成单元53在有效载荷的第一字节中发送数据类型(DataType[7：0])被设置为短封包的扩展封包报头。此时，扩展封包报头生成单元53执行各种设置(例如，OePH[7：0]、OePF[3：0]等)以存储在扩展封包报头中。
在步骤S34中，扩展封包报头生成单元53将帧号(FrameNumber：FN)存储在有效载荷的第二字节中并且发送有效载荷。
在步骤S35中，扩展封包报头生成单元53根据在步骤S33中执行的设置(OePH[7：0])生成并发送如图4所示的可选的扩展封包报头。
在步骤S36中，CRC运算单元57获得CRC并且发送CRC作为封包结尾。
另一方面，在步骤S32中，在应用处理器22确定不发送扩展短封包(即，发送长封包)的情况下，处理进行至步骤S37。
在步骤S37中，扩展封包报头生成单元53在有效载荷的第一字节中发送数据类型(DataType[7：0])被设置为短封包之外的封包的扩展封包报头。此时，扩展封包报头生成单元53执行各种设置(例如，OePH[7：0]、OePF[3：0]等)以存储在扩展封包报头中。
在步骤S38中，扩展封包报头生成单元53根据在步骤S37中执行的设置(OePH[7：0])生成并发送如图5中所示的可选的扩展封包报头。
在步骤S39中，打包单元51打包从图像处理单元43提供的图像数据，并且生成和发送既存的有效载荷。
在步骤S40中，扩展封包结尾生成单元54根据在步骤S37中执行的设置(OePF[3：0])，生成并发送如图4所示的可选的扩展封包结尾。
在步骤S41中，CRC运算单元57获得CRC并且发送CRC作为封包结尾。
然后，在步骤S36或步骤S41的处理之后，终止扩展模式发送处理。
如上所述，图像传感器21可生成并发送扩展短封包或扩展长封包。
图13是用于描述应用处理器22接收封包的处理的流程图。
例如，当图像传感器21经由总线23连接至应用处理器22时，开始处理。在步骤S51中，控制器74将图像传感器21的初始设置(例如，C-PHY和D-PHY中的哪一个被用作物理层等)写入到寄存器73中，并且由I2C/I3C主设备72经由CCI主设备88将初始设置发送到图像传感器21。由此，在图像传感器21的寄存器47中写入初始设置。
在步骤S52中，控制器74识别图像传感器21是否与扩展模式兼容。例如，控制器74可通过由I2C/I3C主设备72获取存储在图像传感器21的寄存器47中的设置值(例如，扩展的PH/PF兼容能力)来识别图像传感器21是否支持扩展模式。可替代地，控制器74可基于例如手动的输入等提前识别图像传感器21是否与扩展模式兼容。
在步骤S53中，控制器74确定图像传感器21是否与扩展模式兼容以及由应用处理器22执行的应用是否需要使用扩展模式。
在步骤S53中，在控制器74确定图像传感器21与扩展模式不兼容或者不需要使用扩展模式的情况下，处理进行至步骤S54。
在步骤S54中，控制器74使I2C/I3C主设备72将图像数据的发送开始指令传输至图像传感器21。此时，控制器74使得发送符合CSI-2标准的通信设置。
在步骤S55中，应用处理器22基于在步骤S54中发送的通信设置执行接收具有符合现有CSI-2标准的封包结构的封包的常规封包接收处理。
另一方面，在步骤S53中，在控制器74确定图像传感器21与扩展模式兼容并且由应用处理器22执行的应用需要使用扩展模式的情况下，处理进行至步骤S56。
在步骤S56中，I2C/I3C主设备72在扩展模式下的通信开始之前发送扩展模式下的通信所需的固定通信设置。因此，在图像传感器21的寄存器47中写入固定通信设置(图11中的步骤S14)。
在步骤S57中，控制器74使I2C/I3C主设备72向图像传感器21发送图像数据的发送开始指令。此时，控制器74使得发送符合CSI-2标准的通信设置。
在步骤S58中，封包报头检测单元81通过检查从物理层处理单元71提供的数据确定是否已经开始接收封包，并且等待直到确定已经开始接收封包。例如，在从物理层处理单元71提供的数据中检测封包报头的情况下，封包报头检测单元81确定已经开始接收封包。
在步骤S58中，在封包报头检测单元81确定已经开始接收封包的情况下，处理进行至步骤S59。
在步骤S59中，封包报头检测单元81检查在步骤S58中检测到的封包报头的数据类型，并且确定已经开始接收的封包是否是与扩展模式兼容的扩展封包。然后，例如，在扩展模式设置信息指示封包报头的数据类型中的扩展模式(DataType[5：3]＝3’b111)的情况下，封包报头检测单元81确定开始接收的封包是扩展封包。
在步骤S59中，在封包报头检测单元81确定已开始接收的封包是扩展封包的情况下，处理进行至步骤S60，并且执行接收扩展封包的扩展模式接收处理(见图14)。
另一方面，在步骤S59中，在封包报头检测单元81确定已开始接收的封包不是扩展封包的情况下，处理进行至步骤S61。
在步骤S61中，封包报头检测单元81检查在步骤S58中检测到的封包报头的数据类型(DataType[5：0])，并且确定开始接收的封包是否是短封包。
在步骤S61中，在封包报头检测单元81确定已开始接收的封包是短封包的情况下，处理进行至步骤S62。在步骤S62中，封包报头检测单元81接收从图像传感器21发送的具有常规封包结构的短封包。
另一方面，在步骤S61中，在封包报头检测单元81确定已开始接收的封包不是短封包(即，已开始接收长封包)的情况下，处理进行至步骤S63。在步骤S63中，解封包单元87接收从图像传感器21发送的具有常规封包结构的长封包的有效载荷并提取图像数据，CRC运算单元86接收在封包报头之后发送的第(WC+1)字节作为CRC。
在步骤S60、步骤S62或步骤S63的处理之后，处理进行至步骤S64，并且控制器74终止封包接收处理。此后，处理返回至步骤S58，并且类似地重复执行接收用于下一封包的封包的处理。
图14是示出在图13的步骤S60的处理中执行的扩展模式接收处理的流程图。
在步骤S71中，封包报头检测单元81确定扩展模式的模式设置是否是扩展模式0。例如，在扩展类型设置信息指示封包报头的数据类型中的扩展模式0(DataType[1：0]＝2’b00)的情况下，封包报头检测单元81确定扩展模式的模式设置是扩展模式0。
在步骤S71中，在封包报头检测单元81确定扩展模式的模式设置为扩展模式0的情况下，处理进行至步骤S72。在步骤S72中，解释单元83接收有效载荷的第一字节作为扩展封包报头。
在步骤S73中，解释单元83检查在步骤S72中接收的扩展封包报头的数据类型(DataType[7：0])，并且确定已经开始接收的封包是否是扩展短封包。
在步骤S73中，在解释单元83确定封包是扩展短封包的情况下，处理进行至步骤S74。在步骤S74中，解释单元83根据在步骤S72中接收的扩展封包报头中存储的设置(OePH[7：0])，接收可选的扩展封包报头。
在步骤S75中，CRC运算单元86接收在可选的扩展封包报头之后发送的第(WC+1)字节作为CRC。
另一方面，在步骤S73中，在解释单元83确定封包不是扩展短封包(即，开始接收扩展长封包)的情况下，处理进行至步骤S76。在步骤S76中，解释单元83根据在步骤S72中接收的扩展封包报头中存储的设置(OePH[7：0])，接收可选的扩展封包报头。
在步骤S77中，解封包单元87接收从图像传感器21发送的扩展长封包的既存的有效载荷，并提取图像数据。
在步骤S78，解释单元83根据在步骤S72接收的扩展封包报头中存储的设置(OePF[3：0])，接收可选的扩展封包结尾。
在步骤S79中，CRC运算单元86接收在可选的扩展封包结尾之后发送的第(WC+1)字节作为CRC。
然后，在步骤S71中，在确定扩展模式的模式设置不是扩展模式0的情况下，在步骤S75的处理之后或者在步骤S79的处理之后，终止扩展模式接收处理。
如上所述，应用处理器22可通过接收扩展短封包或扩展长封包来获取数据。
<封包结构的第二结构实例>
将参考图15至图18描述用于扩展模式兼容CSI-2传输电路31与扩展模式兼容CSI-2接收电路32之间的通信的封包的封包结构的第二结构实例。
在图3至图8中所示的第一结构实例中，封包报头和封包结尾具有与现有CSI-2标准的封包结构相同的封包结构，对保持与现有CSI-2标准的兼容性赋予重要性，并且封包结构由扩展封包报头、可选的扩展封包报头和可选的扩展封包结尾扩展。同时，在下面描述的第二结构实例中，封包报头和封包结尾与现有的CSI-2标准的封包报头和封包结尾不同，并且通过扩展封包报头和扩展封包结尾扩展封包结构。
图15示出在物理层是D-PHY的情况下，在CSI-2的扩展模式中使用的短封包(在下文中，用于D-PHY的扩展短封包)的封包结构。
在图15所示的用于D-PHY的扩展短封包中，扩展模式由存储在与现有CSI-2标准的封包报头相同的封包报头中的数据类型识别，类似于图4所示的第一结构实例的用于D-PHY的扩展短封包。
同时，在图15中示出的用于D-PHY的扩展短封包中，帧号被存储在封包报头的数据类型的接下来的十六位中的短封包数据字段中，与符合现有CSI-2标准的短封包相似。然后，在封包报头之后，传输与在图4中示出的扩展封包报头类似地配置的扩展封包报头。
因此，在封包是扩展短封包的情况下，接收侧的应用处理器22可以解释存储在扩展封包报头中的数据类型，并且确定帧号被存储在封包报头的数据字段中。
应注意，图15中示出的用于D-PHY的扩展短封包中的可选扩展封包报头与图4中示出的第一结构实例的用于D-PHY的扩展短封包中的可选扩展封包报头类似地配置。然而，由于可选的扩展封包报头具有未嵌入在有效载荷中的封包结构，因此不需要在最后添加CRC。
图16示出了在物理层是D-PHY的情况下，在CSI-2的扩展模式中使用的长封包(在下文中，用于D-PHY的扩展长封包)的封包结构。
在图16中示出的用于D-PHY的扩展长封包中，扩展数据被发送作为封包报头的一部分或封包结尾的一部分而不嵌入在有效载荷中。因此，头部封包报头的WC仅仅指示有效载荷的字节长度，类似于现有标准。
图17示出了在物理层是C-PHY的情况下，在CSI-2的扩展模式中使用的短封包(在下文中，用于C-PHY的扩展短封包)的封包结构。
由于在图17中示出的用于C-PHY的扩展短封包中的扩展部分被传输作为符合现有CSI-2标准的封包报头的扩展，所以在帧号之后插入诸如扩展封包报头的扩展部分。然后，类似于现有的CSI-2标准，封包报头以CRC结束。此外，插入SYNC而传输封包报头两次的封包结构与符合现有CSI-2标准的短封包相似。
图18示出了在物理层是C-PHY的情况下在CSI-2的扩展模式中使用的长封包(在下文中，用于C-PHY的扩展长封包)的封包结构。
如上所述，图18中示出的用于C-PHY的扩展长封包与图8中示出的第一结构实例的用于C-PHY的扩展长封包的不同之处在于，头部封包报头的WC仅指示有效载荷的字节长度，与现有标准相似。
如上所述，利用图15至图18中示出的第二结构实例的扩展封包的封包结构，与常规结构相比，可以支持各种用途，类似于第一结构实例的扩展封包的封包结构(图3至8)。
应注意，第二结构实例的扩展封包具有其中扩展现有封包报头和结尾而不在现有有效载荷嵌入扩展数据的封包结构。因此，在采用第二结构实例的扩展封包的封包结构的情况下，与采用第一结构实例的扩展封包的封包结构的情况相比，不可能最小化常规使用的通信系统需要改变的影响。即，例如，现有SerDes传输电路34需要相对于SerDes接收电路35(图2)进行改变。
如上所述，通过采用第一结构实例的扩展封包，可以支持诸如车载使用的各种用途，并且可以在最小化从常规使用的通信系统需要改变的影响的同时构造车载系统。
此外，通过采用第二结构实例的扩展封包，尽管需要对常规使用的通信系统进行改变，但是可以支持诸如车载使用的各种用途。
<图像传感器和应用处理器的变形例>
(图像传感器的变形例)
将参考图19描述图像传感器和应用处理器的变形例。
构成上述图9中的图像传感器21或图10中的应用处理器22的每个块被配置为能够执行与用于D-PHY的封包和用于C-PHY的封包对应的处理。相反，例如，可提供专门处理用于D-PHY的封包的块和专门处理用于C-PHY的封包的块两者，并且处理可在每个块间切换。
图19的A中所示的图像传感器21A包括D层处理块单元101、C层处理块单元102、切换单元103以及控制器60。
D层处理块单元101包括在构成图9中的图像传感器21的块之中专门执行用于D-PHY的封包的处理的块。C层处理块单元102包括在构成图9中的图像传感器21的块之中专门执行用于C-PHY的封包的处理的块。在控制器60的控制下，切换单元103执行切换，以便在将使用用于物理层的D-PHY情况下输出在D层处理块单元101中生成的用于D-PHY的封包，并且在使用用于物理层的C-PHY的情况下输出在C层处理块单元102中生成的用于C-PHY的封包。
(应用处理器的变形例)
图19的B中所示的应用处理器22A包括切换单元111、D层处理块单元112、C层处理块单元113以及控制器74。
切换单元111执行切换，以便在控制器74的控制下将从图像传感器21A发送的封包提供给D层处理块单元112和C层处理块单元113中的一个。D层处理块单元112包括在构成图10中的应用处理器22的块之中专门执行用于D-PHY的封包的处理的块。C层处理块单元113包括在构成图10中的应用处理器22的块之中专门执行用于C-PHY的封包的处理的块。
在如上所述配置的图像传感器21A和应用处理器22A中，可以在通信开始之前在控制器60和控制器74之间设置要使用的物理层。然后，例如，在将针对物理层使用D-PHY的情况下，经由切换单元103传输在D层处理块单元101中生成的用于D-PHY的封包，经由切换单元111将该封包提供给D层处理块单元112，并且处理该封包。此外，例如，在将C-PHY用于物理层的情况下，经由交换单元103发送在C层处理块单元102中生成的用于C-PHY的封包，经由交换单元111将该封包提供至C层处理块单元113并进行处理。
<扩展封包的应用实例>
例如，已经检验了将上述扩展封包应用于以下使用情况。
例如，已经检验了将扩展封包应用于发送高清晰度图像(RAW24)的使用情况。
例如，当以RAW格式发送图像数据时，RAW6、RAW7、RAW8、RAW10、RAW12、RAW14、RAW16和RAW20被定义为要存储在符合现有CSI-2标准的封包报头中的数据类型。同时，近年来，为了支持使用车载相机的自动驾驶，期望传输更高清晰度的图像。因此，例如，通过经由应用扩展封包来扩展数据类型的位深度，可以将更高清晰度RAW24定义为扩展封包报头的数据类型。
此外，检验了将扩展封包应用于作为用于仅发送画面上的关注图像区域的技术的SmartROI。
例如，大量相机当前安装在体育场、机场等中。在由这些相机捕获的整个图像经由诸如因特网的网络从相机传输至云服务器的情况下，假设因特网的带宽不足、云侧上的计算量或数据量的增加等。因此，通过在边缘(相机侧)仅切出关注图像区域并且发送关注图像区域，预期抑制了互联网上的带宽不足、云侧上的计算量或数据量的增加等。
在发送这种SROI的情况下，需要将矩形区域(ROI)的左上坐标一起发送，以便通知接收侧感兴趣区域对应于整个画面上的哪个部分。并且，需要根据来自接收侧的指示，以预定的定时发送整个成像画面的数据。因此，例如，SROI图像和整个图像的数据(现有封包报头)以帧为单位混合。
因此，通过应用扩展封包，例如，可以传输X坐标和Y坐标中的每个的16位以上的坐标数据。
此外，检验了应用扩展封包GLD的使用情况，该扩展封包GLD甚至在发生信道劣化的情况下通过减少带宽(频带)和通道的数量继续通信。应注意，GLD是CSI-2ver3.0中检查的建议。
例如，在自动驾驶中，即使在碰撞时连接相机的缆线的一部分断线，也需要使用未断线的缆线继续通信，自动退避到安全区域，之后使车辆停止。因此，车载相机接口至少具有断开检测功能，并且需要以下信息：诸如指示屏幕上的哪一行的信息的行号(十六位)、指示哪个相机已经传输信息的源ID(八位)、以及指示传输数量的消息计数器(十六位)的信息。此外，在与如上所述的SROI组合使用的情况下，可设想以帧为单位发送这些信息。
因此，通过应用扩展封包，能够发送这些信息。
<适用于E2E保护的第一配置实例>
将参考图20至图26描述适用于禁止传输路径上的封包修改等的规则的配置实例。
例如，在具有参考图2描述的配置的通信系统11A中，在图像传感器21与应用处理器22之间的接口不同的情况下，需要在传输路径上转换封包。即，在图像传感器21的物理层是D-PHY并且应用处理器22的物理层是C-PHY的情况下，例如，SerDes装置26需要将用于D-PHY的封包转换成用于C-PHY的封包。
如上所述，在SerDes装置26中执行封包转换的配置中，例如，违反由ISO 26262(功能安全)定义的规则，即，禁止在传输路径上修改封包等的规则(在后文中称为端到端(E2E)保护)。
图20是示出作为应用本技术的通信系统的第三实施方式的适于E2E保护的通信系统201的配置实例的框图。
如图20所示，通信系统201通过连接图像传感器211、SerDes装置212、SerDes装置213以及应用处理器214来配置。应注意，图20示出了SERDES为A-PHY的情况作为实例，并且还包括使用诸如FPD-LINK3的其他SERDES标准的连接的情况。此外，在SERDES标准中，可在保持CIS-2的格式(至少应用特定的有效载荷)的同时基于SERDES标准执行通信。此外，在SERDES中，物理层处理单元237和247可包括A-PHY以及其他SERDES标准的多个物理层处理单元，并且物理层处理单元可根据应用来切换。
图像传感器211至少包括扩展模式兼容CSI-2传输电路221、对应于C-PHY或D-PHY或两者的物理层处理单元(下文称为C/D-PHY物理层处理单元)222、对应于I2C或I3C或两者的从设备(下文称为I2C/I3C从设备)223以及CCI从设备224。
SerDes装置212至少包括CSI-2接收电路231、C/D-PHY物理层处理单元232、I2C/I3C主设备233、CCI主设备234、用于CSI-2生成单元235的A-PHY封包、用于CCI发送/接收单元236的A-PHY封包、以及与A-PHY兼容的物理层处理单元237。例如，在SerDes装置212中，将用于C-PHY或D-PHY的封包转换成用于A-PHY的封包，并且根据寄存器设置等确定该转换。
SerDes装置213至少包括CSI-2传输电路241、C/D-PHY物理层处理单元242、I2C/I3C从设备243、CCI从设备244、用于CSI-2接收单元245的A-PHY封包、用于CCI发送/接收单元246的A-PHY封包、以及与A-PHY兼容的物理层处理单元247。例如，在SerDes装置213中，将用于A-PHY的封包转换成用于C-PHY或D-PHY的封包，并且根据寄存器设置等确定该转换。
应用处理器214至少包括扩展模式兼容CSI-2接收电路251、C/D-PHY物理层处理单元252、I2C/I3C主设备253和CCI主设备254。
以这种方式配置通信系统201，并且从图像传感器211传输并且通过应用处理器214接收具有上述结构的扩展封包。这里，当通信系统201被配置为使得图像传感器211的物理层处理单元222与D-PHY兼容并且应用处理器22的物理层处理单元252与C-PHY兼容时，不必违反E2E保护。
因此，通信系统201将E2E保护的保护范围限制为应用特定的有效载荷(下文称为AS有效载荷)，即应用特定的有效载荷，以适应E2E保护。即，在从A-PHY的封包转换成C-PHY或D-PHY的封包时或在从C-PHY或D-PHY的封包转换成A-PHY的封包时，AS有效载荷被禁止改变。
图21示出了扩展为与E2E保护兼容的D-PHY的扩展封包的结构实例。
如图所示，在用于D-PHY的扩展封包中，包括扩展封包报头(ePH)、封包数据和扩展封包结尾(ePF)的AS有效载荷被限制为E2E保护的保护范围。
然后，在扩展封包报头中，描述在E2E保护的保护范围限制于AS有效载荷的情况下必要的预定信息。例如，指示要存储在AS有效载荷中的数据的数据长度的封包计数PC被添加作为扩展封包报头中描述的预定信息，以便识别封包数据的数据长度。即，封包数据具有由封包计数PC确定的字节数。此外，指示虚拟信道行数的虚拟信道VC被复制到现有封包报头作为在扩展封包报头中描述的预定信息。
图22示出了扩展为与E2E保护兼容的C-PHY的扩展封包的结构实例。
如图所示，在用于C-PHY的扩展封包中，包含扩展封包报头(ePH)、封包数据和扩展封包结尾(ePF)的AS有效载荷限于E2E保护的保护范围内，类似于用于D-PHY的扩展封包。然后，类似于用于D-PHY的扩展封包，在E2E保护的保护范围限于AS有效载荷的情况下，在扩展封包报头中将封包计数PC和虚拟信道VC描述为必要的预定信息。
图23示出扩展为与E2E保护兼容的A-PHY的扩展封包的结构实例。
如图所示，即使在用于A-PHY的扩展封包中，包括扩展封包报头(ePH)、封包数据和扩展封包结尾(ePF)的AS有效载荷也限于E2E保护的保护范围内。
此处，如参照图20所述，通信系统201从由图像传感器211发送给SerDes装置212的D-PHY或C-PHY的扩展封包生成A-PHY的扩展封包。因此，封包计数PC和虚拟信道VC已经描述在用于A-PHY的扩展封包的扩展封包报头中。
通过采用这样的封包结构，通信系统201能够避免传输路径上的AS有效载荷的修改，并且能够观察到E2E保护。应注意，图21至图23中所示的封包结构可通过用如图3至图8和图15至图18中所示的封包结构的对应封包部分地替换来使用，并且封包生成的一部分被替换。
<适用于E2E保护的封包发送/接收处理>
图24是用于描述适用于E2E保护的封包发送/接收处理的流程图。
例如，当存储在封包数据中的数据(例如，图像数据等)被提供给扩展模式兼容CSI-2传输电路221时，开始处理。然后，在步骤S101中，在图像传感器211中，扩展模式兼容CSI-2传输电路221将提供的数据存储在封包数据中。此外，扩展模式兼容CSI-2传输电路221生成描述如图21或图22所示的虚拟信道VC和封包计数PC的扩展封包报头。然后，扩展模式兼容CSI-2传输电路221通过将扩展封包报头和扩展封包结尾添加到封包数据来生成AS有效载荷。
在步骤S102中，扩展模式兼容CSI-2传输电路221通过将C-PHY或D-PHY的封包报头和C-PHY或D-PHY的封包结尾添加到在步骤S101中生成的AS有效载荷中来生成C-PHY或D-PHY的扩展封包。然后，扩展模式兼容CSI-2传输电路221通过C/D-PHY物理层处理单元222将C-PHY或D-PHY的扩展封包发送给SerDes装置212。
在步骤S103中，在SerDes装置212中，CSI-2接收电路231经由C/D-PHY物理层处理单元232接收在步骤S102中从图像传感器211传输的用于C-PHY或D-PHY的扩展封包。然后，CSI-2接收电路231从接收的扩展封包中获取不包括封包报头和封包结尾的AS有效载荷，并且将AS有效载荷照原样提供给用于A-PHY封包的CSI-2生成单元235。
在步骤S104中，在SerDes装置212中，用于A-PHY封包的CSI-2生成单元235通过将A-PHY的封包报头和A-PHY的封包结尾添加至从CSI-2接收电路231提供的AS有效载荷中而生成A-PHY的扩展封包。然后，用于A-PHY封包的CSI-2生成单元235通过与A-PHY兼容的物理层处理单元237将用于A-PHY的扩展封包发送给SerDes装置213。
在步骤S105中，在SerDes装置213中，用于A-PHY封包的CSI-2接收单元245经由与A-PHY兼容的物理层处理单元247接收在步骤S104中从SerDes装置212发送的A-PHY的扩展封包。然后，用于A-PHY封包的CSI-2接收单元245从接收的扩展封包中获得不包括封包报头和封包结尾的AS有效载荷，并且将AS有效载荷照原样提供给CSI-2传输电路241。
在步骤S106中，CSI-2传输电路241通过在步骤S105中将C-PHY或D-PHY的封包报头和C-PHY或D-PHY的封包结尾添加到从用于A-PHY封包的CSI-2接收单元245提供的AS有效载荷中来生成用于C-PHY或D-PHY的扩展封包。然后，CSI-2传输电路241经由C/D-PHY物理层处理单元242向应用处理器214发送用于C-PHY或D-PHY的扩展封包。
在步骤S107中，在应用处理器214中，扩展模式兼容CSI-2接收电路251经由C/D-PHY物理层处理单元252接收在步骤S106中从SerDes装置213发送的用于C-PHY或D-PHY的扩展封包。然后，扩展模式兼容CSI-2接收电路251从接收到的扩展封包中获取不包括封包报头和封包结尾的AS有效载荷，并且将存储在AS有效载荷的封包数据中的各种数据输出到随后的LSI(未示出)。然后，结束适于E2E保护的封包发送/接收处理，并对下一个扩展封包重复执行类似处理。
如上所述，通过执行适于E2E保护的封包发送/接收处理，通信系统201可以在不修改传输路径上的AS有效载荷的情况下发送和接收扩展封包。此时，例如，即使在图像传感器211的物理层是D-PHY并且应用处理器214的物理层是C-PHY的情况下，即，即使在各个接口不同的情况下，也可观察到E2E保护。
<图像传感器211的详细配置实例>
图25是示出图像传感器211的详细配置实例的框图。要注意的是，在图25中所示的图像传感器211中，与在图9中的图像传感器21的配置相同的配置由相同的参考数字表示，并且省略其详细描述。
即，图像传感器211包括像素41、AD转换器42、图像处理单元43、寄存器47和控制器60，类似于图9中的图像传感器21。此外，图像传感器211中包括的I2C/I3C从设备223和CCI从设备224分别对应于图9中的I2C/I3C从设备46和CCI从设备59。
然后，图像传感器211包括扩展模式兼容CSI-2传输电路221和物理层处理单元222，并且物理层处理单元222与A-PHY、C-PHY和D-PHY兼容。
除了控制器60和CCI从设备224之外，扩展模式兼容CSI-2传输电路221还包括AS有效载荷生成单元301、选择器302、A-PHY封包生成单元303、C-PHY封包生成单元304、D-PHY封包生成单元305和选择器306。
AS有效载荷生成单元301生成限制为E2E保护的保护范围的AS有效载荷，并输出给选择器302。例如，AS有效载荷生成单元301包括打包单元311、扩展封包报头生成单元312和扩展封包结尾生成单元313。
打包单元311将从图像处理单元43提供的图像数据打包为要发送的数据，并且生成由封包计数PC确定的字节数的封包数据。例如，控制器60可根据存储在寄存器47中的设置值(例如，图像尺寸等)控制由打包单元311生成的封包数据的字节数。
例如，如参照图21至图23所述，扩展封包报头生成单元312生成其中描述了封包计数PC和虚拟信道VC的扩展封包报头，并且将扩展封包报头添加到封包数据。扩展封包结尾生成单元313生成并添加扩展封包结尾到封包数据。
选择器302在控制器60的控制下选择并行提供的A-PHY封包生成单元303、C-PHY封包生成单元304和D-PHY封包生成单元305中的一个作为从AS有效载荷生成单元301提供的AS有效载荷的输出目的地。
A-PHY封包生成单元303从经由选择器302提供的AS有效载荷中生成A-PHY的扩展封包，并且将扩展封包输出至选择器306。例如，A-PHY封包生成单元303包括AAL生成单元321、A-PHY封包报头生成单元322以及A-PHY封包结尾生成单元323。
例如，A-PHY适配层(AAL)生成单元321在称为适配层的层次结构中每380字节划分由AS有效载荷生成单元301生成的AS有效载荷。然后，A-PHY封包报头生成单元322将A-PHY的封包报头添加到划分的AS有效载荷中，并且A-PHY封包结尾生成单元323将A-PHY的封包结尾添加到划分的AS有效载荷中。
C-PHY封包生成单元304从经由选择器302提供的AS有效载荷中生成用于C-PHY的扩展封包，并且将扩展封包输出至选择器306。例如，C-PHY封包生成单元304包括C-PHY封包报头生成单元331、C-PHY封包结尾生成单元332以及C-PHY通道分配单元333。
例如，C-PHY封包报头生成单元331添加C-PHY的封包报头，并且C-PHY封包结尾生成单元332将C-PHY的封包结尾添加到在AS有效载荷生成单元301中生成的AS有效载荷中。然后，C-PHY通道分配单元333将C-PHY的扩展封包分配给符合CSI-2标准的三个通道。
D-PHY封包生成单元305从经由选择器302提供的AS有效载荷中生成用于D-PHY的扩展封包，并且将扩展封包输出至选择器306。例如，D-PHY封包生成单元305包括D-PHY封包报头生成单元341、D-PHY封包结尾生成单元342和D-PHY通道分配单元343。
例如，D-PHY封包报头生成单元341将用于D-PHY的封包报头添加到在AS有效载荷生成单元301中生成的AS有效载荷中，并且D-PHY封包结尾生成单元342将用于D-PHY的封包结尾添加到在AS有效载荷生成单元301中生成的AS有效载荷中。然后，D-PHY通道分配单元343将用于D-PHY的扩展封包分配到符合CSI-2标准的四个通道。
选择器306在控制器60的控制下，选择并行设置的A-PHY封包生成单元303、C-PHY封包生成单元304、以及D-PHY封包生成单元305中的一个，作为提供给物理层处理单元222的扩展封包的输出源。
然后，在从A-PHY封包生成单元303中提供用于A-PHY的扩展封包的情况下，物理层处理单元222在一个通道中发送用于A-PHY的扩展封包。此外，在从C-PHY封包生成单元304提供用于C-PHY的扩展封包的情况下，物理层处理单元222在三个通道中发送用于C-PHY的扩展封包。此外，在从D-PHY封包生成单元305提供用于D-PHY的扩展封包的情况下，物理层处理单元222在四个通道中发送用于D-PHY的扩展封包。
在如上所述配置的图像传感器211中，扩展模式兼容CSI-2传输电路221被配置为使得AS有效载荷生成单元301经由选择器302连接至A-PHY封包生成单元303、C-PHY封包生成单元304和D-PHY封包生成单元305。因此，图像传感器211可以通过一个AS有效载荷生成单元301生成对用于A-PHY的扩展封包、用于C-PHY的扩展封包和用于D-PHY的扩展封包共用的AS有效载荷。即，AS有效载荷生成单元301可以由A-PHY封包生成单元303、C-PHY封包生成单元304和D-PHY封包生成单元305共享，从而可以减小电路规模。因此，可以实现图像传感器211的小型化。
<应用处理器214的详细配置实例>
图26是示出应用处理器214的详细配置实例的框图。要注意的是，在图26中所示的应用处理器214中，与在图10中的应用处理器22的配置相同的配置由相同的参考数字表示，并且省略其详细描述。
即，应用处理器214包括寄存器73和控制器74，与图10中的应用处理器22相似。注意，控制器74可以由软件实现。此外，应用处理器214中包括的I2C/I3C主设备253和CCI主设备254分别对应于图10中的I2C/I3C主设备72和CCI主设备88。
然后，应用处理器214包括扩展模式兼容CSI-2接收电路251和物理层处理单元252，并且物理层处理单元252与A-PHY、C-PHY和D-PHY兼容。
除了CCI主设备254之外，扩展模式兼容CSI-2接收电路251还包括选择器401、A-PHY封包接收单元402、C-PHY封包接收单元403、D-PHY封包接收单元404、选择器405、以及AS有效载荷接收单元406。
选择器401选择并行设置的A-PHY封包接收单元402、C-PHY封包接收单元403、和D-PHY封包接收单元404中的一个作为从物理层处理单元252提供的扩展封包的输出目的地。
A-PHY封包接收单元402接收经由选择器401提供的用于A-PHY的扩展封包，并且将扩展封包输出至选择器405。例如，A-PHY封包接收单元402包括A-PHY封包报头解释单元411、A-PHY封包结尾验证单元412和AAL处理单元413。
例如，A-PHY封包报头解释单元411解释A-PHY的封包报头中描述的内容，并执行接收A-PHY的扩展封包所需的处理，并且A-PHY封包结尾验证单元412使用A-PHY的封包结尾来验证错误的存在与否。然后，AAL处理单元413执行组合由图25中的AAL生成单元321划分的适配层的处理。
C-PHY封包接收单元403接收经由选择器401提供的用于C-PHY的扩展封包，并且将扩展封包输出至选择器405。例如，C-PHY封包接收单元403包括C-PHY通道合并单元421、C-PHY封包报头解释单元422和C-PHY封包结尾验证单元423。
例如，C-PHY通道合并单元421合并分配给符合CSI-2标准的三个通道并且经由物理层处理单元252提供的用于C-PHY的扩展封包。然后，C-PHY封包报头解释单元422对C-PHY的封包报头中描述的内容进行解释，并且执行接收用于C-PHY的扩展封包所需的处理，并且C-PHY封包结尾验证单元423使用用于C-PHY的封包结尾来验证错误存在与否。
D-PHY封包接收单元404接收经由选择器401提供的用于D-PHY的扩展封包，并且将扩展封包输出至选择器405。例如，D-PHY封包接收单元404包括D-PHY通道合并单元431、D-PHY封包报头解释单元432和D-PHY封包结尾验证单元433。
例如，D-PHY通道合并单元431将分配给符合CSI-2标准的四个通道并且经由物理层处理单元252提供的用于D-PHY的扩展封包合并。然后，D-PHY封包报头解释单元432解释在D-PHY的封包报头中描述的内容，并且执行接收D-PHY的扩展封包所需的处理，并且D-PHY封包结尾验证单元433使用用于D-PHY的封包结尾来验证错误存在与否。
选择器405选择并行提供的A-PHY封包接收单元402、C-PHY封包接收单元403、和D-PHY封包接收单元404中的一个作为要提供给AS有效载荷接收单元406的扩展封包的输出源。
与图25中的AS有效载荷生成单元301相对应，AS有效载荷接收单元406包括解封包单元441、扩展封包报头解释单元442和扩展封包结尾验证单元443。解封包单元441将由打包单元311打包的图像数据解封包。扩展封包报头解释单元442解释由扩展封包报头生成单元312生成的扩展封包报头，并且读取例如封包计数PC和虚拟信道VC。扩展封包结尾验证单元443使用由扩展封包结尾生成单元313添加的扩展封包结尾来验证错误的存在与否。然后，AS有效载荷接收单元406将存储在经由选择器405提供的封包数据中的各种类型的数据(例如，图像数据、车载行号、CRC错误、源ID等)输出到随后的LSI(未示出)。
在如上所述配置的应用处理器214中，扩展模式兼容CSI-2接收电路251被配置为使得AS有效载荷接收单元406经由选择器405连接至A-PHY封包接收单元402、C-PHY封包接收单元403、和D-PHY封包接收单元404。由此，应用处理器214可以通过一个AS有效载荷接收单元406接收对A-PHY的扩展封包、C-PHY的扩展封包和D-PHY的扩展封包共用的AS有效载荷。即，A-PHY封包接收单元402、C-PHY封包接收单元403、D-PHY封包接收单元404能够共享AS载荷接收单元406，因此能够缩小电路规模。因此，可以实现应用处理器214的小型化。
<适用于E2E保护的第二配置实例>
将参考图27至图74描述适用于E2E保护的第二配置实例。
<A-PHY直接联接配置的配置实例>
图27中所示的通信系统501具有直接联接配置，其中，图像传感器511和应用处理器512通过A-PHY(不经由下面参考要描述的图40描述的SerDes装置)直接连接。
图像传感器511包含A-PHY处理单元521、CSIA处理单元522、CSI2处理单元523、CSI2-FS处理单元524、CCI处理单元525、CCI-FS处理单元526和寄存器527。
A-PHY处理单元521具有被实现为更高层级的CCI处理单元525，并且与应用处理器512的A-PHY处理单元531执行MIPI A-PHY连接，并且发送和接收包括扩展封包报头ePH和扩展封包结尾ePF的数据。
例如，CCI-FS处理单元526将包括在扩展封包报头ePH中的目的地ID与图像传感器511的ID(源ID)进行比较，并确定是否对图像传感器511进行访问。
应用处理器512包括A-PHY处理单元531、CSIA处理单元532、CSI2处理单元533、CSI2-FS处理单元534、CCI处理单元535、CCI-FS处理单元536、寄存器537和CCI-FS开关538。
A-PHY处理单元531具有被实现为更高层级的CCI处理单元535，并且与图像传感器511的A-PHY处理单元521执行MIPI A-PHY连接，并且发送和接收包括扩展封包报头ePH和扩展封包结尾ePF的数据。
例如，CCI-FS处理单元536将包括在扩展封包报头ePH中的目的地ID与包括在应用处理器512中的ID(源ID)进行比较，并确定是否对应用处理器512进行访问。
CCI-FS开关538执行切换，使得在CCI-FS处理单元536有效的情况下，通过CCI-FS处理单元536发送和接收数据，在CCI-FS处理单元536无效的情况下，在没有CCI-FS处理单元536的情况下发送和接收数据。
将参考图28至图32描述在通信系统501中传输读取命令和读取数据。
图28示出了在读取访问时在应用处理器512的CCI-FS处理单元536中生成的读取命令的封包配置的实例。
如图28所示，读取命令包括扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1、以及扩展封包结尾ePF0。
如图所示，扩展封包报头ePH*(*＝n)包括扩展封包报头ePH0至ePH3。
扩展VC、扩展DT、扩展PFEN和扩展PHEN存储在扩展封包报头ePH0中。例如，扩展DT是指示CCI协议(I2C)的信息，并且使用扩展DT来执行路由处理。
源ID[7：1]和封包长度存储在扩展封包报头ePH1中。例如，源ID是指示CCI协议(I2C)的传输源的信息，并且基于源ID执行响应处理。封包长度是指示数据长度的信息。
安全描述符和消息计数器存储在扩展封包报头ePH2中。安全描述符表示是否使用安全，并且在不是使用安全的情况下表示“8'h0”。消息计数器是指示桶顺序的信息并且指示通过对消息计数获得的计数值，并且当消息是第五个消息时指示“16'h5”。
目的地ID[7：1]、读/写和目的地地址存储在扩展封包报头ePH3中。目的地ID[7：1]指示图像传感器511的CCI处理单元525的从设备地址，并且在示出的实例中是“7'h0D”。例如，目的地ID是指示CCI协议(I2C)的发送目的地的信息，并且基于目的地ID执行路由并且参考通信路径。读/写表示数据的读或写，并且在读取的情况下表示“1'b1”。目的地地址指示作为最终目的地的图像传感器511的寄存器527的地址，并且在示出的实例中是“0x0200”。
各种类型的数据(数据0[7：0])被存储在例如AP(CCI)有效载荷中。AP(CCI)有效载荷可在安全性关闭时不被传输，而虚拟数据可在安全性开启时被存储和传输。
在安全性关闭时，不发送扩展封包结尾ePF1。
CRC计算值存储在扩展封包结尾ePF0中。
在应用处理器512中，具有这样的封包结构的读取命令在CCI-FS处理单元536中生成并被提供给A-PHY处理单元531。
图29示出了在读取访问时从应用处理器512的A-PHY处理单元531输出的读取命令的封包配置的实例。
如图29所示，A-PHY处理单元531添加A-PHY报头和A-PHY结尾，将从CCI-FS处理单元536提供的读取命令设置为E2E保护的保护范围。
具有这种封包结构的读取命令是由应用处理器512的A-PHY处理单元531传输的A-PHY。然后，在图像传感器511中，A-PHY处理单元521从读取命令中移除A-PHY报头和A-PHY结尾。此后，经由目的地ID所指示的从设备地址“7'h0D”的CCI处理单元525将读取命令提供给CCI-FS处理单元526。
图30说明了在读取访问时提供给CCI-FS处理单元526的读取命令和在CCI-FS处理单元526中生成的读取数据的封包结构的实例。
如图30所示，保持图28所示的封包结构的读取命令，即设置为A-PHY传输中E2E保护的保护范围的读取命令被提供给CCI-FS处理单元526。
如图所示，读取数据包括扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1和扩展封包结尾ePF0。然后，从由读取命令的扩展封包报头ePH的源地址信息(目的地地址)指示的寄存器527的地址“0x0200”读取的读取数据值被存储在AP(CCI)有效载荷中。
在图像传感器511中，具有这样的封包结构的读取数据在CCI-FS处理单元526中生成并被提供给A-PHY处理单元521。
图31示出了在读取访问时从图像传感器511的A-PHY处理单元521输出的读取数据的封包配置的实例。
如图31所示，A-PHY处理单元521添加A-PHY报头和A-PHY结尾，将从CCI-FS处理单元526提供的读取数据设置为E2E保护的保护范围。
具有这种封包结构的读取数据是由图像传感器511的A-PHY处理单元521传输的A-PHY。然后，在应用处理器512中，A-PHY处理单元531从读取数据中移除A-PHY报头和A-PHY结尾，并将读取数据提供给CCI-FS处理单元536。
图32示出了在读取访问时提供给CCI-FS处理单元536的读取数据的封包结构的实例。
如图32所示，保持图30所示的封包结构的读取数据，即设置为A-PHY传输中E2E保护的保护范围的读取数据，被提供给CCI-FS处理单元536。
将参考图33至图35描述在通信系统501中的写入数据的传输。注意，将在假定从启用状态存取图像传感器511侧上的CCI-FS处理单元526的情况下给出描述。
图33示出了在写入访问时在应用处理器512的CCI-FS处理单元536中生成的写入数据的封包配置的实例。
如图33中所示，写入数据包括扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷(写入数据)、扩展封包结尾ePF1、以及扩展封包结尾ePF0。
如图所示，扩展封包报头ePH*(*＝n)包括扩展封包报头ePH0至ePH3。
扩展VC、扩展DT、扩展PFEN和扩展PHEN存储在扩展封包报头ePH0中。
源ID[7：1]和封包长度存储在扩展封包报头ePH1中。
安全描述符和消息计数器存储在扩展封包报头ePH2中。安全描述符表示是否使用安全性，并且在未使用安全性的情况下表示“8'h0”。消息计数器指示通过对消息进行计数而获得的计数值，并且当消息是第四消息时，指示“16'h4”。
目的地ID[7：1]、读/写和目的地地址存储在扩展封包报头ePH3中。目的地ID[7：1]指示图像传感器511的CCI处理单元525的从设备地址，并且在示出的实例中是“7'h0D”。读/写表示数据的读或写，并且在写入的情况下表示“1'b0”。目的地地址指示作为最终目的地的图像传感器511的寄存器527的地址，并且在所示实例中是“0x1234”。
要被写入到图像传感器511的数据(Data0[7：0])被存储在AP(CCI)有效载荷中，并且0xFF值是写入数据。
在安全性关闭时，不发送扩展封包结尾ePF1。
CRC计算值存储在扩展封包结尾ePF0中。
在应用处理器512中，具有这种封包结构的写入数据在CCI-FS处理单元536中生成并提供给A-PHY处理单元531。
图34示出了在写入访问时从应用处理器512的A-PHY处理单元531输出的写入数据的封包配置的实例。
如图34所示，A-PHY处理单元531添加A-PHY报头和A-PHY结尾，将从CCI-FS处理单元536提供的写入数据设置为E2E保护的保护范围。
具有这种封包结构的写入数据是由应用处理器512的A-PHY处理单元531传输的A-PHY。然后，在图像传感器511中，A-PHY处理单元521从写入数据中移除A-PHY报头和A-PHY结尾。此后，写入数据通过由目的地ID指示的从设备地址“7'h0D”的CCI处理单元525被提供至CCI-FS处理单元526。
图35示出了在写入访问时提供给CCI-FS处理单元526的写入数据的封包结构的实例。
如图35所示，保持图33所示的封包结构的写入数据，即设置为A-PHY传输中E2E保护的保护范围的写入数据，被提供给CCI-FS处理单元526。然后，CCI-FS处理单元526从由CCI命令ID信息指示的寄存器527的地址“0x1234”(即，读取命令的扩展封包报头ePH的源地址信息(目的地址))写入存储在AP(CCI)有效载荷中的数据。
将参考图36描述扩展封包报头ePH和扩展封包结尾ePF的概述。
如图36所示，CCI-FS E2E封包包括扩展封包报头ePH、封包数据和扩展封包结尾ePF，并且其封包长度是长度＝字节计数×数据字节宽度。
作为扩展封包报头ePH，使用扩展VC、扩展DT和消息计数器的字段。扩展封包报头ePH的长度可以随着扩展封包报头ePH的字段值(epFEN字段)而改变。
封包数据包括例如PL个数据(数据0至数据PL-1)，并且其长度是长度＝封包长度(PL)×数据字节宽度。在读取命令的情况下，当安全性关闭时，不将数据存储在封包数据中，并且当安全性开启时，将1字节虚拟(dummy)数据存储在封包数据中。在写入访问的情况下，与有效载荷数据对应的写入数据被存储在封包数据中。在读取访问的情况下，与有效载荷数据对应的读取数据存储在封包数据中。当使用时钟拉伸(ePH0的控制码指示符＝1)时，将指示控制类型的1字节数据有效载荷附加到封包数据。
扩展封包结尾ePF1的长度可以随着扩展封包报头ePH的字段设置值(epFEN字段)而改变。此外，可以添加安全性相关信息。
对于，从封包数据计算出的CRC-32以扩展封包报头ePH的字段设置值添加至扩展封包结尾ePF0。
<通信处理的处理实例>
将参考图37至图39的流程图描述在图27中示出的通信系统501中执行的使用CCI-FS的通信处理。
如图37所示，在步骤S211至S222中，执行初始设置和检查操作。
在步骤S211中，从应用处理器512向图像传感器511的CCI-FS处理单元526的能力寄存器执行两次读取访问。注意，执行读取访问的次数不限于两次，并且可以在功能安全性方面任意设置，例如，并且可以是一次或三次或更多次。
在步骤S212中，在应用处理器512中，对于步骤S211中的读取访问的结果，CSI2-FS处理单元524确定CCI-FS处理单元526的能力寄存器值是否两次是1'b1。在步骤S212中，在确定CCI-FS处理单元526的能力寄存器值不是两次为1'b1的情况下，处理进行至步骤S213。
在步骤S213中，在应用处理器512中，CSI2-FS处理单元524确定重传次数是否是三次以上。另外，重传次数不限于3次，可以设定为任意次数，对于后述的重传次数也同样。在步骤S213中，在确定重传次数不是三次以上(而是一次或两次)的情况下，处理返回至步骤S211，并且此后重复执行类似处理。
同时，在步骤S212中，在确定CCI-FS处理单元526的能力寄存器值两次是1'b1的情况下，处理进行到步骤S214。
在步骤S214中，从应用处理器512到图像传感器511的CCI-FS处理单元526的启用寄存器执行一次写入访问。
在步骤S215中，在图像传感器511中，CCI-FS处理单元526对应用处理器512的CCI-FS处理单元536的启用寄存器执行一次写入访问。
在步骤S216中，在应用处理器512的CCI-FS处理单元536的目的地SID寄存器中设置相对图像传感器511的从设备地址。
在步骤S217，设置应用处理器512的CCI-FS处理单元536的ePH寄存器。
在步骤S218中，CCI-FS处理单元526的ePH寄存器从应用处理器512设置到图像传感器511。
在步骤S219中，从应用处理器512到图像传感器511执行对CCI-FS处理单元526的启用寄存器和错误寄存器的读取访问。
在步骤S220中，在应用处理器512中，CCI-FS处理单元536确定CCI-FS处理单元526的启用寄存器值是否是1'b1，并且对于步骤S219中的读取访问的结果，错误寄存器值是否是0。
在步骤S220中，在确定CCI-FS处理单元526的启用寄存器值不是1'b1或错误寄存器值不是0的情况下，处理进行到步骤S221。
在步骤S221中，在应用处理器512中，CSI2-FS处理单元524确定重传次数是否是三次或更多次。在步骤S221中，在确定重传次数是三次或更多次的情况下，处理返回至步骤S211，并且此后重复执行类似处理。
另一方面，在步骤S213中确定重传次数为3次以上的情况下，或者在步骤S221中确定重传次数不是3次以上(而是1次或2次)的情况下，处理进入步骤S222。
在步骤S222中，在不使用CCI-FS的情况下执行使用CCI的通信，然后终止通信处理。
同时，在步骤S220中，在确定CCI-FS处理单元526的启用寄存器值是1'b1并且错误寄存器值是0的情况下，处理进行到步骤S223。
如图38所示，在步骤S223至S234中，执行使用CCI-FS的写入操作。
在步骤S223，应用处理器512的CCI-FS处理单元536设置ePH寄存器以便执行写入操作。
在步骤S224，应用处理器512的CCI-FS处理单元536设置写入数据寄存器。
在步骤S225，应用处理器512的CCI-FS处理单元536将命令执行寄存器设置为1。
在步骤S226中，在应用处理器512中，A-PHY处理单元531添加A-PHY报头和A-PHY结尾，将由CCI-FS处理单元536生成的写入数据设置为E2E保护的保护范围，并执行A-PHY传输，如上述图34所示。
在步骤S227中，在图像传感器511中，A-PHY处理单元521从写入数据中移除A-PHY报头和A-PHY结尾，并将E2E保护的保护范围提供给CCI-FS处理单元526。
在步骤S228中，在图像传感器511中，CCI-FS处理单元526从扩展封包报头ePH的内容检查图像传感器511的源ID和扩展封包报头ePH的目的地SID。
在步骤S229中，在图像传感器511中，CCI-FS处理单元526确定在步骤S228中检查的图像传感器511的源ID是否与扩展封包报头ePH的目的地SID匹配。
在步骤S229中，在确定图像传感器511的源ID与扩展封包报头ePH的目的地SID匹配的情况下，处理进行至步骤S230。
在步骤S230中，在图像传感器511中，CCI-FS处理单元526从扩展封包报头ePH的内容检查消息计数器。
在步骤S231，在图像传感器511中，CCI-FS处理单元526确定在步骤S230中检查的图像传感器511的消息计数器(接收)是否与扩展封包报头ePH的消息计数器匹配。
在步骤S231中，在确定图像传感器511的消息计数器(接收)与扩展封包报头ePH的消息计数器匹配的情况下，处理进行到步骤S232。
在步骤S232中，在图像传感器511中，CCI-FS处理单元526从扩展封包结尾ePF的内容检查CRC。
在步骤S233中，在图像传感器511中，CCI-FS处理单元526确定在步骤S232中检查的扩展封包结尾ePF的接收值(ePF0)是否与在CCI-FS处理单元526中计算的CRC计算结果匹配。
在步骤S233中，在确定扩展封包结尾ePF的接收值(ePF0)与CRC计算结果匹配的情况下，处理进行到步骤S234。
在步骤S234中，在图像传感器511中，CCI-FS处理单元526根据扩展封包报头ePH和扩展封包结尾ePF的内容执行向寄存器527的地址写入写入数据的写入处理。此后，处理进行至步骤S235。
如图39中所示，在步骤S235至S247中，执行使用CCI-FS的读取操作。
在步骤S235中，在应用处理器512中，CCI-FS处理单元536设置ePH寄存器，使得执行读取操作。
在步骤S236中，在应用处理器512中，CCI-FS处理单元536将命令执行寄存器设置为1。
在步骤S237中，在应用处理器512中，A-PHY处理单元531添加A-PHY报头和A-PHY结尾，将由CCI-FS处理单元536生成的写入数据设置为E2E保护的保护范围，并且执行A-PHY传输，如上述图29所示。
在步骤S238中，在图像传感器511中，A-PHY处理单元521从写入数据中移除A-PHY报头和A-PHY结尾，并将E2E保护的保护范围提供给CCI-FS处理单元526。
在步骤S239，在图像传感器511中，CCI-FS处理单元526从扩展封包报头ePH的内容检查图像传感器511的源ID和扩展封包报头ePH的目的地SID。
在步骤S240中，在图像传感器511中，CCI-FS处理单元526确定在步骤S239中检查的图像传感器511的源ID是否与扩展封包报头ePH的目的地SID匹配。
在步骤S240中，在确定图像传感器511的源ID与扩展封包报头ePH的目的地SID匹配的情况下，处理进行至步骤S241。
在步骤S241，在图像传感器511中，CCI-FS处理单元526从扩展封包报头ePH的内容检查消息计数器。
在步骤S242中，在图像传感器511中，CCI-FS处理单元526确定在步骤S241中检查的图像传感器511的消息计数器(接收)是否与扩展封包报头ePH的消息计数器匹配。
在步骤S242中，在确定图像传感器511的消息计数器(接收)与扩展封包报头ePH的消息计数器匹配的情况下，处理进行到步骤S243。
在步骤S243，在图像传感器511中，CCI-FS处理单元526从扩展封包结尾ePF的内容检查CRC。
在步骤S244中，在图像传感器511中，CCI-FS处理单元526确定在步骤S243中检查的扩展封包结尾ePF的接收值(ePF0)是否与在CCI-FS处理单元526中计算的CRC计算结果匹配。
在步骤S244中，在确定扩展封包结尾ePF的接收值(ePF0)与CRC计算结果匹配的情况下，终止处理。
同时，在图38的步骤S229中或者在图39的步骤S240中，在确定图像传感器511的源ID与扩展封包报头ePH的目的地SID不匹配的情况下，处理进行至步骤S245。
在步骤S245中，将图像传感器511侧的错误寄存器(路由)设置为1，然后，终止处理。
同时，在图38的步骤S231或图39的步骤S242中，在确定图像传感器511的消息计数器(接收)与扩展封包报头ePH的消息计数器不匹配的情况下，处理进行至步骤S246。
在步骤S246中，将图像传感器511侧的错误寄存器(MC)设置为1，然后，终止处理。
同时，在图38的步骤S233中或者在图39的步骤S244中，在确定扩展封包结尾ePF的接收值(ePF0)与CRC计算结果不匹配的情况下，处理进行至步骤S247。
在步骤S247中，将图像传感器511侧的错误寄存器(CRC)设置为1，并且此后终止处理。
<SerDes连接配置的配置实例>
图40中所示的通信系统601具有SerDes连接配置，其中，图像传感器611和应用处理器614经由从设备侧上的SerDes装置612和主设备侧上的SerDes装置613连接。
图像传感器611包括I2C/I3C从设备621、CCI处理单元622、CSI2-FS处理单元623和寄存器624。
从设备侧SerDes装置612包括A-PHY处理单元631、CSIA处理单元632、CSI2-FS处理单元633、I2C/I3C主设备634、CCI处理单元635、CCI-FS处理单元636以及寄存器637。
主设备侧SerDes装置613包括A-PHY处理单元641、CSIA处理单元642、CSI2-FS处理单元643、I2C/I3C从设备644、CCI处理单元645、CCI-FS处理单元646以及寄存器647。
应用处理器614包括I2C/I3C主设备651、CCI处理单元652、CCI-FS处理单元653、寄存器654和CCI-FS开关655。
要注意的是，在如图40所示的SerDes连接配置中，在CCI配置或CCI-FS配置实现为高级协议的情况下，可使用另一个SerDes标准。例如，通过实现在来自应用层或者对应于应用层下面的层的更高层级的有效载荷中的如图41中所示的扩展封包报头ePH、扩展封包结尾ePF1、以及扩展封包结尾ePF0的配置，可应用各种SerDes相关标准，例如，PCIE、USB、DisplayPort、HDMI(注册商标)、LVDS、以及FPD-LINK。
将参考图41至图49描述在通信系统601中的读取命令和读取数据的传输。
图41示出了在读取访问时在应用处理器614的CCI-FS处理单元653中生成的读取命令的封包配置的实例。
如图41所示，读取命令包括扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1、以及扩展封包结尾ePF0。要注意的是，其细节与参考图28描述的读取命令的细节相似。
在应用处理器614中，具有这样的封包结构的读取命令在CCI-FS处理单元653中生成并被提供给I2C/I3C主设备651。
图42示出了在读取访问时从应用处理器614的I2C/I3C主设备651输出的读取命令的封包配置的实例。
如图42中所示，I2C/I3C主设备651在开始条件S之后，传输连接目的地的传感器地址，即，图40中所示的配置中的主设备侧SerDes装置613的CCI处理单元645的地址(从设备地址+W 8位)。在图42所示的实例中，CCI处理单元645的地址是从设备地址[7：1]＝7'h0F。在该地址之后，发送主设备侧SerDes装置613的寄存器647的寄存器地址(寄存器地址[15：8]和寄存器地址[7：0])。I2C/I3C主设备651最终传输跟随扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1、和扩展封包结尾ePF0的停止条件P。
通过I2C/I3C从应用处理器614的I2C/I3C主设备651传输具有这种封包结构的读取命令。在主设备侧SerDes装置613中，I2C/I3C从设备644获取读取命令(扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1、以及扩展封包结尾ePF0)。读取命令被提供给从设备地址[7：1]＝7'h0F的CCI处理单元645，然后经由CCI-FS处理单元646、CSI2-FS处理单元643和CSIA处理单元642被提供给A-PHY处理单元641。
图43示出了在读取访问时从主设备侧SerDes装置613的A-PHY处理单元641输出的读取命令的封包配置的实例。
如图43所示，A-PHY处理单元641添加A-PHY报头和A-PHY结尾，从而将I2C/I3C从设备644获取的读取命令设置为E2E保护的保护范围。要注意的是，在CSI2-FS处理单元643中，将主设备侧SerDes装置613的CCI处理单元635的地址(例如，从设备地址[7：1]＝7'h0E)添加至扩展封包报头ePH*(*＝n)中。
具有这种封包结构的读取命令是由主设备侧SerDes装置613的A-PHY处理单元641传输的A-PHY。在从设备侧SerDes装置612中，A-PHY处理单元631从读取命令中移除A-PHY报头和A-PHY结尾。读取命令经由CSIA处理单元632、CSI2-FS处理单元633和CCI-FS处理单元636被提供到由目的地ID指示的从设备地址“7'h0E”的CCI处理单元635，然后被提供到I2C/I3C主设备634。
图44示出了在读取访问时从I2C/I3C主设备634输出的读取命令的封包配置的实例。
如图44所示，I2C/I3C主设备634在开始条件S之后传输连接目的地的传感器地址，即，图40所示的配置中的图像传感器611的CCI处理单元622的地址(从设备地址+W 8位)。在图44所示的实例中，CCI处理单元622的地址是从设备地址[7：1]＝7'h0D。在该地址之后，发送图像传感器611的寄存器624的寄存器地址(寄存器地址[15：8]和寄存器地址[7：0])。I2C/I3C主设备634最终传输跟随扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1、和扩展封包结尾ePF0的停止条件P。
通过I2C/I3C从从设备侧SerDes装置612的I2C/I3C主设备634中传输具有这种封包结构的读取命令。然后，在图像传感器611中，I2C/I3C从设备621获取读取命令(扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1、以及扩展封包结尾ePF0)。读取命令通过从设备地址[7：1]＝7'h0D的CCI处理单元622被提供给CSI2-FS处理单元623。
图45示出在读取访问时提供给CSI2-FS处理单元623的读取命令和在CSI2-FS处理单元623中生成的读取数据的封包结构的实例。
如图45所示，保持图41所示的封包结构的读取命令，即，设置为A-PHY传输中的E2E保护的保护范围的读取命令被提供给CSI2-FS处理单元623。
如图所示，读取数据包括扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1和扩展封包结尾ePF0。然后，从由读取命令的扩展封包报头ePH的源地址信息(目的地址)指示的寄存器624的地址“0x0200”读取的读取数据值被存储在AP(CCI)有效载荷中。
在图像传感器611中，具有这样的封包结构的读取数据在CCI-FS处理单元623中生成，并且经由CCI处理单元622提供给I2C/I3C从设备621。
图46示出了在读取访问时从图像传感器611的I2C/I3C从设备621输出的读取数据的封包配置的实例。
如图46中所示，I2C/I3C从设备621在开始条件S之后，传输连接目的地的传感器地址，即，图40中所示的配置中的从设备侧SerDes装置612的I2C/I3C主设备634的地址(从设备地址+W 8位)。在图46中所示的实例中，I2C/I3C主设备634的地址是从设备地址[7：1]＝7'h0D。在该地址之后，传输读取数据的存储地址(图像传感器611的寄存器624的地址)，并且传输从设备侧SerDes装置612的I2C/I3C主设备634的地址(从设备地址+R 8位)。在I2C/I3C从设备621传输扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1、以及扩展封包结尾ePF0之后，最后传输停止条件P。
通过I2C/I3C从图像传感器611的I2C/I3C从设备621传输具有这种封包结构的读取命令。在从设备侧SerDes装置612中，I2C/I3C主设备634获取读取数据(扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1、以及扩展封包结尾ePF0)。读取数据被提供给从设备地址[7：1]＝7'h0E的CCI处理单元635，并且然后经由CCI-FS处理单元636、CSI2-FS处理单元633和CSIA处理单元632被提供给A-PHY处理单元631。
图47示出了在读取访问时从从设备侧SerDes装置612的A-PHY处理单元631输出的读取数据的封包配置的实例。
如图47所示，A-PHY处理单元631添加A-PHY报头和A-PHY结尾，将由I2C/I3C主设备634获取的读取数据设置为E2E保护的保护范围。
具有这种封包结构的读取数据是由从设备侧SerDes装置612的A-PHY处理单元631传输的A-PHY。然后，在主设备侧SerDes装置613中，A-PHY处理单元641从读取数据中移除A-PHY报头和A-PHY结尾。读取数据通过CSIA处理单元642、CSI2-FS处理单元643、CCI-FS处理单元646和CCI处理单元635被提供给I2C/I3C从设备644。
图48示出了在读取访问时从主设备侧SerDes装置613的I2C/I3C从设备644输出的读取数据的封包配置的实例。
如图48中所示，I2C/I3C从设备644在开始条件S之后，传输连接目的地的传感器地址，即，图40中所示的配置中的主设备侧SerDes装置613的CCI处理单元635的地址(从设备地址+W 8位)。在图48中所示的实例中，CCI处理单元635的地址是从设备地址[7：1]＝7'h0F。在该地址之后，发送主设备侧SerDes装置613的寄存器647的寄存器地址(RegisterAddress[15：8]和RegisterAddress[7：0])，并发送CCI处理单元635的地址(从设备地址+R 8位)。然后，在I2C/I3C从设备644传输扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1、以及扩展封包结尾ePF0之后，最后传输停止条件P。
通过I2C/I3C从主设备侧SerDes装置613的I2C/I3C从设备644传输具有这种封包结构的读取数据。然后，在应用处理器614中，I2C/I3C主设备651获取读取命令(扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1和扩展封包结尾ePF0)，并将读取命令提供给CCI-FS处理单元653。
图49示出在读取访问时提供给CCI-FS处理单元653的读取数据的封包结构的实例。
如图49所示，保持图45所示的封包结构的读取数据，即设置为A-PHY传输中E2E保护的保护范围的读取数据，被提供给CCI-FS处理单元653。
<通信处理的处理实例>
将参考图50至图57的流程图描述在图40中示出的通信系统601中执行的使用CCI-FS的通信处理。
如图50所示，在步骤S301至S317中，执行初始设置和检查操作。
在步骤S301中，在应用处理器614的CCI-FS处理单元653的目的地SID寄存器中设置相对图像传感器611的从设备地址。
在步骤S302中，设置应用处理器614的CCI-FS处理单元653的ePH寄存器。
在步骤S303中，设置应用处理器614的CCI-FS处理单元653的桥接配置的目的地SID，并登记主设备侧SerDes装置613。这里，假设以类似方式设置地址、属性和Timeout_no1寄存器，并且在下文中，类似地进行设置。
在步骤S304中，CCI-FS处理单元643的ePH寄存器从应用处理器614设置到主设备侧SerDes装置613。
在步骤S305中，从应用处理器614向主设备侧SerDes装置613设置CCI-FS处理单元643的桥接配置的目的地SID，并且登记从设备侧SerDes装置612。
在步骤S306中，从应用处理器614到主设备侧SerDes装置613执行对CCI-FS处理单元643的错误寄存器的读取访问。
在步骤S307中，在应用处理器614中，作为步骤S306中的读取访问的结果，CCI-FS处理单元653确定主设备侧SerDes装置613的CCI-FS处理单元643的错误寄存器的寄存器值是否为0。
在步骤S307中，在确定主设备侧SerDes装置613的CCI-FS处理单元643的错误寄存器的寄存器值不是0(是0以外)的情况下，该处理进入步骤S308。
在步骤S308中，在应用处理器614中，CCI-FS处理单元653确定重传次数是否是三次以上，并且在确定重传次数不是三次以上(是一次或两次)的情况下，处理返回到步骤S304，并且此后重复执行类似的处理。
另一方面，在步骤S307中，在确定主设备侧SerDes装置613的CCI-FS处理单元643的错误寄存器的寄存器值为0的情况下，该处理进入步骤S309。
在步骤S309中，CCI-FS处理单元636的ePH寄存器从应用处理器614设置到从设备侧SerDes装置612。
在步骤S310中，从应用处理器614到从设备侧SerDes装置612设置CCI-FS处理单元636的桥接配置的目的地SID，并且登记从设备侧SerDes装置612。
在步骤S311中，从应用处理器614到从设备侧SerDes装置612，执行对CCI-FS处理单元636的错误寄存器的读取访问。
在步骤S312中，在应用处理器614中，在步骤S311中，CCI-FS处理单元653确定从设备侧SerDes装置612的CCI-FS处理单元636的错误寄存器的寄存器值是否为0。
在步骤S312中，在确定从设备侧SerDes装置612的CCI-FS处理单元636的错误寄存器的寄存器值不是0(是0以外)的情况下，该处理进入步骤S313。
在步骤S313中，在应用处理器614中，CCI-FS处理单元653确定重传次数是否是三次以上，并且在确定重传次数不是三次以上(是一次或两次)的情况下，处理返回到步骤S309，并且此后重复执行类似的处理。
另一方面，在步骤S312中，在确定从设备侧SerDes装置612的CCI-FS处理单元636的错误寄存器的寄存器值为0的情况下，该处理进入步骤S314。
在步骤S314中，CCI-FS处理单元623的ePH寄存器从应用处理器614设置到图像传感器611。
在步骤S315中，从应用处理器614到图像传感器611执行对CCI-FS处理单元623的错误寄存器的读取访问。
在步骤S316中，在应用处理器614中，作为步骤S315中的读取访问的结果，CCI-FS处理单元653确定图像传感器611的CCI-FS处理单元623的错误寄存器的寄存器值是否为0。
在步骤S316中，在确定图像传感器611的CCI-FS处理单元623的错误寄存器的寄存器值不是0(是0以外)的情况下，该处理进入步骤S317。
在步骤S317中，在应用处理器614中，CCI-FS处理单元653确定重传次数是否是三次以上，并且在确定重传次数不是三次以上(是一次或两次)的情况下，处理返回到步骤S314，并且此后重复执行类似的处理。
这里，在步骤S308、步骤S313或步骤S317中，在确定重传次数是三次或更多次的情况下，处理返回至步骤S301，并且此后重复执行类似处理。
另一方面，在步骤S316中，在确定图像传感器611的CCI-FS处理单元623的错误寄存器的寄存器值为0的情况下，该处理进入步骤S318。
如图51所示，在步骤S318至S327中，执行使用CCI-FS的写入操作。
在步骤S318中，应用处理器614的CCI-FS处理单元653设置ePH寄存器以便执行写入操作。
在步骤S319中，应用处理器614的CCI-FS处理单元653设置写入数据寄存器。
在步骤S320中，应用处理器614的CCI-FS处理单元653将命令执行寄存器设置为1，并发出写入命令。
在步骤S321中，应用处理器614执行以下参考图53描述的序列A_Write(在AP时)处理。
在步骤S322中，主设备侧SerDes装置613进行下面参照图56所描述的序列B(在SerDes(主设备)时)处理。应注意，在图56中，描述了由从设备侧SerDes装置612执行的序列B(在SerDes(从设备)时)处理，但是也可由主设备侧SerDes装置613中的每个对应块执行类似处理。
在步骤S323中，A-PHY处理单元641添加A-PHY报头和A-PHY结尾，并且通过CSI2-FS处理单元643和CSIA处理单元642根据主设备侧SerDes装置613的扩展封包报头ePH的扩展DT执行A-PHY传输。
在步骤S324中，从设备侧SerDes装置612进行下面参照图56所描述的序列B(在SerDes(从设备)时)处理。
在步骤S325中，从设备侧SerDes装置612进行下面参照图53所描述的序列A_Write(在SerDes(从设备)时)处理。应注意，在图53中，描述了由应用处理器614执行的序列A_Write(在AP时)处理，但是可由从设备侧SerDes装置612中的每个相应块执行类似处理。
在步骤S326中，图像传感器611执行下面参考图56描述的序列B(在图像传感器时)处理。应注意，在图56中，描述了由从设备侧SerDes装置612执行的序列B(在SerDes(从设备)时)处理，但是也可由图像传感器611中的每个对应块执行类似处理。
在步骤S327中，在图像传感器611中，CCI-FS处理单元623执行从扩展封包报头ePH和扩展封包结尾ePF的内容将写入数据写入到寄存器624的地址的写入处理。之后，处理进入步骤S328。
如图52所示，在步骤S328至S344中，执行使用CCI-FS的读取操作。
在步骤S328，应用处理器614的CCI-FS处理单元653设置ePH寄存器以便执行读取操作。
在步骤S329，应用处理器614的CCI-FS处理单元653设置读取数据寄存器。
在步骤S330，应用处理器614的CCI-FS处理单元653将命令执行寄存器设置为1并且发出读取命令。
在步骤S331中，应用处理器614执行以下参考图54描述的序列A_Read_CMD(在AP时)处理。在此，在序列A_Read_CMD(在AP时)处理中，并行执行两条分支处理，根据分支A，处理进行至步骤S332并且根据分支B，处理进行至步骤S339。
在步骤S332中，主设备侧SerDes装置613执行以下参照图56所描述的序列B(在SerDes(主设备)时)处理。应注意，在图56中，描述了由从设备侧SerDes装置612执行的序列B(在SerDes(从设备)时)处理，但是也可由主设备侧SerDes装置613中的每个对应块执行类似处理。
在步骤S333中，A-PHY处理单元641添加A-PHY报头和A-PHY结尾，并且通过CSI2-FS处理单元643和CSIA处理单元642根据主设备侧SerDes装置613的扩展封包报头ePH的扩展DT执行A-PHY传输。
在步骤S334中，从设备侧SerDes装置612进行下面参照图56所描述的序列B(在SerDes(从设备)时)处理。
在步骤S355中，从设备侧SerDes装置612进行下面参照图54所描述的序列A_Read_CMD(在SerDes(从设备)时)处理。要注意的是，在图54中，描述在应用处理器614中执行的序列A_Read_CMD(在AP时)处理，但是在从设备侧SerDes装置612中，可由每个相应的块执行类似的处理。这里，在序列A_Read_CMD(SerDes(从设备)时)处理中，处理不进行至两个处理分支的分支A，并且处理进行至根据分支B的步骤S336。
在步骤S336中，从设备侧SerDes装置612进行下面参照图57所描述的序列A_Read_Data(在SerDes(从设备)时)处理。应注意，在图57中，描述了在应用处理器614中执行的序列A_Read_Data(在AP时)处理，但是，可由从设备侧SerDes装置612中的每个相应块执行类似处理。
在步骤S337中，A-PHY处理单元631添加A-PHY报头和A-PHY结尾，并且经由CSI2-FS处理单元633和CSIA处理单元632基于从设备侧SerDes装置612的扩展封包报头ePH的扩展DT执行A-PHY传输。
在步骤S338中，主设备侧SerDes装置613进行下面参照图56所描述的序列B(在SerDes(主设备)时)处理。应注意，在图56中，描述了在从设备侧SerDes装置612中执行的序列B(在SerDes(从设备)时)处理，但是也可通过主设备侧SerDes装置613中的每个对应块执行类似处理。
在步骤S339中，应用处理器614执行以下参考图57描述的序列A_Read_Data(在AP时)处理。
在步骤S340中，应用处理器614执行下面参考图56描述的序列B(在AP时)处理。应注意，在图56中，描述了在从设备侧SerDes装置612中执行的序列B(在SerDes(从设备)时)处理，但是也可通过应用处理器614中的每个对应块执行类似处理。
在步骤S341，在应用处理器614中，CCI-FS处理单元653将读取的数据从扩展封包报头ePH和扩展封包结尾ePF的内容存储在寄存器654的地址中。
在步骤S342中，在上述读取处理中，图像传感器611、从设备侧SerDes装置612、主设备侧SerDes装置613以及应用处理器614检查错误寄存器。
在步骤S343中，图像传感器611和每个装置(从设备侧SerDes装置612、主设备侧SerDes装置613和应用处理器614)确定每个CCI-FS处理单元的错误寄存器的寄存器值是否为0。
在步骤S343，在确定所有CCI-FS处理单元的寄存器值不是0(在它们中的任何中存在除0以外的寄存器值)的情况下，处理进行到步骤S344。
在步骤S344，检查寄存器值不是0的CCI-FS处理单元的错误相关寄存器值，通过一次写入来清除错误寄存器，并且执行重传处理。
另一方面，在步骤S343中确定所有CCI-FS处理单元的寄存器值为0的情况下，或者在步骤S344的处理之后，处理结束。
图53是用于描述图51的步骤S321中执行的序列A_Write(在AP时)处理的流程图。应注意，在图53中，将描述由应用处理器614执行的处理作为实例，但是类似地执行图51中的步骤S325中的序列A_Write(在SerDes(从设备)时)处理。
在步骤S351中，在应用处理器614中，I2C/I3C主设备651发出开始命令和从设备地址(图42中示出的从设备地址+W 8位)。
在步骤S352中，在应用处理器614中，I2C/I3C主设备651确定是否已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应。在步骤S352中，在确定已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S353。
在步骤S353中，在应用处理器614中，I2C/I3C主设备651发布寄存器地址(图42中示出的寄存器地址[15：8])。这里，每次重复执行步骤S353的处理时，发送这个寄存器地址或在这个寄存器地址之后的有效载荷，如图42中所示。
在步骤S354中，在应用处理器614中，I2C/I3C主设备651确定是否已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应。在步骤S354中，在确定已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S355。
在步骤S355中，在应用处理器614中，I2C/I3C主设备651确定最终数据的传输是否已经完成。在步骤S355中，在确定未完成最终数据的传输的情况下，处理返回至步骤S353，并且此后重复执行类似处理。
另一方面，在步骤S355中，在确定已完成最终数据的传输的情况下，处理进行至步骤S356。在步骤S356中，在应用处理器614中，I2C/I3C主设备651发出停止命令。因此，序列A_Write(在AP时)处理结束，并且处理返回至图51中的步骤S322。
另一方面，在步骤S352或步骤S354中，在确定未接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S357。在步骤S357中，在应用处理器614中，I2C/I3C主设备651发出停止命令。在这种情况下，序列A_Write(在AP时)处理结束，并且终止通信处理本身。
图54是用于描述在图52的步骤S331中执行的序列A_Read_CMD(在AP时)处理的流程图。应注意，在图54中，将描述由应用处理器614执行的处理作为实例，但图52中的步骤S335中的序列A_Read_CMD(在SerDes(从设备)时)处理被类似地执行。
在步骤S361中，在应用处理器614中，I2C/I3C主设备651发出开始命令和从设备地址(图42中示出的从设备地址+W 8位)并启动定时器。
在步骤S362中，在应用处理器614中，I2C/I3C主设备651确定是否已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应。在步骤S362中，在确定已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S363。
在步骤S363中，在应用处理器614中，I2C/I3C主设备651发布寄存器地址(图42中示出的寄存器地址[15：8])。此处，每次重复执行步骤S363的处理时，如图42中所示，传输该寄存器地址或该寄存器地址之后的有效载荷。
在步骤S364中，在应用处理器614中，I2C/I3C主设备651确定是否已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应。
在步骤S364中，在确定已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S365。
在步骤S365中，在应用处理器614中，I2C/I3C主设备651确定最终数据的传输是否已经完成。
在步骤S365中，如果确定已完成最终数据的传输，则处理进入步骤S366。
在步骤S366中，在应用处理器614中，I2C/I3C主设备651发出停止命令。此后，处理分支为两部分，并且根据分支A，处理进行到图52中的步骤S332。同时，根据分支B，在步骤S367中执行序列C(在AP时)处理(参见下面要描述的图55)，然后，处理进行至图52中的步骤S339。
另一方面，在步骤S365中，如果确定未完成最终数据的传输，则处理进入步骤S368。
在步骤S368中，在应用处理器614中，I2C/I3C主设备651确定在步骤S361中启动的定时器是否已经超时。在步骤S368中，在确定为定时器未超时的情况下，返回到步骤S363，之后反复进行同样的处理。
另一方面，在步骤S368中，在确定为定时器超时的情况下，进入步骤S369。
在步骤S369中，应用处理器614将1设置在错误寄存器(Timeout)中，并且将扩展封包报头ePH和扩展封包结尾ePF的数据存储在错误相关寄存器中。
在步骤S369或步骤S362或步骤S364中的处理之后，在确定未接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S370。
在步骤S370中，在应用处理器614中，I2C/I3C主设备651发出停止命令。在这种情况下，序列A_Read_CMD(在AP时)处理结束，并且终止通信处理本身。
图55是用于描述图54的步骤S367中执行的序列C(AP时)处理的流程图。应注意，在图55中，由应用处理器614执行的处理将作为实例被描述，但是也可在从设备侧SerDes装置612中执行类似的处理。
在步骤S381中，在应用处理器614中，I2C/I3C主设备651确定在图54的步骤S361中启动的定时器是否已经超时，并且处理进行等待，直到确定定时器已经超时。在步骤S381中，当确定定时器已经超时时，处理进行至步骤S382，并且在应用处理器614中，I2C/I3C主设备651执行轮询操作。
在步骤S383中，在应用处理器614中，I2C/I3C主设备651确定读取命令的状态寄存器值是否是1。
在步骤S383中，在确定读取命令的状态寄存器值是1的情况下，处理进行至步骤S384。在步骤S384中，在执行读取访问之后，应用处理器614将处理返回至图52中的步骤S339。
另一方面，在步骤S383中，在确定读取命令的状态寄存器值不是1(是1以外)的情况下，处理进行至步骤S385。在步骤S385中，应用处理器614在错误寄存器(Timeout)中设置1，并且将扩展封包报头ePH和扩展封包结尾ePF的数据存储在错误相关寄存器中。
在步骤S386，在应用处理器614中，I2C/I3C主设备651发出停止命令。在这种情况下，序列C(在AP时)处理结束，并且终止通信处理本身。
图56是用于描述图51的步骤S324和S334中执行的序列B(SerDes(从设备)时)处理的流程图。应注意，在图56中，将作为实例描述由从设备侧SerDes装置612执行的处理，但是类似地执行图51中的步骤S322中的序列B(在SerDes(Master)时)处理、图51中的步骤S326中的序列B(在图像传感器时)处理以及图52中的步骤S332中的序列B(在SerDes(主设备)时)处理。
在步骤S391，在从设备侧SerDes装置612中，CCI-FS处理单元636检查从设备侧SerDes装置612的源ID和扩展封包报头ePH的目的地SID。
在步骤S392中，在从设备侧SerDes装置612中，CCI-FS处理单元636确定从设备侧SerDes装置612的源ID和扩展封包报头ePH的目的地SID是否不匹配。
在步骤S392中，在确定从设备侧SerDes装置612的源ID与扩展封包报头ePH的目的地SID不匹配的情况下，处理进行至步骤S393。
在步骤S393，在从设备侧SerDes装置612中，CCI-FS处理单元636检查从设备侧SerDes装置612的目的地SID和扩展的封包报头ePH的目的地SID。
在步骤S394中，在从设备侧SerDes装置612中，CCI-FS处理单元636确定从设备侧SerDes装置612的源ID是否与扩展封包报头ePH的目的地SID匹配。
在步骤S394中，在确定从设备侧SerDes装置612的源ID与扩展封包报头ePH的目的地SID匹配的情况下，处理进行至步骤S395。
在步骤S395，在从设备侧SerDes装置612中，CCI-FS处理单元636检查来自扩展封包报头ePH的内容的消息计数器。
在步骤S396中，在从设备侧SerDes装置612中，CCI-FS处理单元636确定从设备侧SerDes装置612中的消息计数器是否与从扩展封包报头ePH的内容中校验的消息计数器的接收值相匹配。
在步骤S396中，在确定从设备侧SerDes装置612中的消息计数器与从扩展封包报头ePH的内容检查的消息计数器的接收值匹配的情况下，处理进行至步骤S397。
在步骤S397中，在从设备侧SerDes装置612中，CCI-FS处理单元636检查由从设备侧SerDes装置612从扩展封包报头ePH中计算的CRC计算结果以及扩展封包结尾ePF的接收值(ePF0)。
在步骤S398中，扩展封包结尾ePF的接收值(ePF0)与CRC计算结果是否匹配，并且在确定接收值(ePF0)与CRC计算结果匹配的情况下，处理返回至图51中的步骤S325。
另一方面，在步骤S392中，在确定从设备侧SerDes装置612的源ID与扩展封包报头ePH的目的地SID不匹配(匹配)的情况下，处理进行至步骤S399。
在步骤S399至S402中，执行与步骤S395至S398中类似的处理。
在步骤S402中，在确定扩展封包结尾ePF的接收值(ePF0)与CRC计算结果匹配的情况下，处理进入步骤S403。在步骤S403中，对从设备侧SerDes装置612的寄存器637进行写入访问。
在步骤S394中，在确定从设备侧SerDes装置612的源ID与扩展封包报头ePH的目的地SID不匹配的情况下，处理进行至步骤S404。在步骤S404中，在从设备侧SerDes装置612中，CCI-FS处理单元636将1设置在错误寄存器[2](路由)中，并且将扩展封包报头ePH和扩展封包尾ePF的数据存储在错误相关寄存器中。
在步骤S398或步骤S402中，在确定扩展封包结尾ePF的接收值(ePF0)与CRC计算结果不匹配的情况下，处理进行至步骤S405。在步骤S405中，在从设备侧SerDes装置612中，CCI-FS处理单元636在错误寄存器(CRC)中设置1，并且将扩展封包报头ePH和扩展封包结尾ePF的数据存储在错误相关寄存器中。
在步骤S396或步骤S400中，在确定从设备侧SerDes装置612中的消息计数器与从扩展封包报头ePH的内容检查的消息计数器的接收值不匹配的情况下，处理进行至步骤S406。在步骤S406中，在从设备侧SerDes装置612中，CCI-FS处理单元636将1设置在错误寄存器(MC)中，并且将扩展封包报头ePH和扩展封包结尾ePF的数据存储在错误相关寄存器中。
在步骤S403至S406的处理之后，序列B(SerDes(从设备)时)处理结束，通信处理本身结束。
注意，假设以下事项的组合：可以仅针对E2E保护执行CRC计算；在每个装置中检测错误；丟弃所述封包或不丟弃所述封包。
图57是用于描述在图52的步骤S339中执行的序列A_Read_Data(在AP时)处理的流程图。应注意，在图57中，将作为实例描述由应用处理器614执行的处理，但图52中的步骤S336中的序列A_Read_Data(在SerDes(从设备)时)处理类似地执行。
在步骤S411中，在应用处理器614中，I2C/I3C主设备651发出开始命令和从设备地址(图48中所示的从设备地址+W 8位)。
在步骤S412中，在应用处理器614中，I2C/I3C主设备651确定是否已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应。在步骤S412中，在确定已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S413。
在步骤S413中，在应用处理器614中，I2C/I3C主设备651发出开始命令和从设备地址(图48中所示的从设备地址+R 8位)并且启动定时器。
在步骤S414中，在应用处理器614中，I2C/I3C主设备651确定是否已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应。在步骤S414中，在确定已经接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S415。
在步骤S415中，在应用处理器614中，I2C/I3C主设备651从应用处理器614侧上的相对的I2C/I3C从设备644中获取读取数据。
在步骤S416中，确定应用处理器614的I2C/I3C主设备651是否已发送ACK并且应用处理器614侧上的相对的I2C/I3C从设备644是否已接收ACK。
在步骤S416中，在确定应用处理器614的I2C/I3C主设备651已经发送ACK并且应用处理器614侧上的相对的I2C/I3C从设备644已经接收ACK的情况下，处理进行至步骤S417。
在步骤S417中，应用处理器614的I2C/I3C主设备651是否已经执行NACK发送，同时完成最终数据的传输。
在步骤S417中，在确定已经执行NACK发送的情况下，处理进行至步骤S418。在步骤S418中，在应用处理器614中，I2C/I3C主设备651发出停止命令。因此，序列A_Read_Data(在AP时)处理结束，并且处理返回至图52中的步骤S340。
另一方面，在步骤S417中，在确定未进行NACK发送的情况下，处理进行至步骤S419。
在步骤S419中，在应用处理器614中，I2C/I3C主设备651确定在步骤S413中启动的定时器是否已经超时。在步骤S419中，在确定定时器尚未超时的情况下，处理返回至步骤S415，并且此后重复执行类似处理。
另一方面，在步骤S419中，在确定定时器已经超时的情况下，处理进入步骤S420。
在步骤S420中，应用处理器614在错误寄存器(Timeout)中设置1，并且在错误相关寄存器中存储扩展封包报头ePH和扩展封包结尾ePF的数据。
在步骤S420或步骤S414中的处理之后，在确定未接收到来自主设备侧SerDes装置613的I2C/I3C从设备644的ACK响应的情况下，处理进行至步骤S421。类似地，在步骤S416中，在确定应用处理器614的I2C/I3C主设备651未发送ACK或者应用处理器614侧的相对的I2C/I3C从设备644未接收到ACK的情况下，处理进行至步骤S421。
在步骤S421中，在应用处理器614中，I2C/I3C主设备651发出停止命令。在这种情况下，(AP时)序列A_Read_Data处理结束，并且终止通信处理本身。
在此处，下面描述三种组合，用于在I2C/I3C从设备621执行输出时，从I2C/I3C主设备634到I2C/I3C从设备621的访问定时(见图46)，以及在主设备侧SerDes装置613的I2C/I3C从设备644执行输出时，从I2C/I3C主设备651到I2C/I3C从设备644的访问定时(见图48)。
在第一访问定时中，执行轮询直到获取读取数据，并且I2C/I3C主设备在完成读取数据的读取准备之后开始读取处理。
在第二访问定时中，I2C/I3C主设备在经过特定时间段之后开始读取处理。
作为第三访问定时，存在I2C/I3C主设备在使用时钟拉伸方法经过一定时间段之后开始读取处理的模式(参见下面描述的图72)，并且此时，一次性发送读取数据的模式，以及以分散的方式发送读取数据的模式(认为是时钟拉伸模式信号)。
<扩展封包报头ePH的配置实例>
图58到图60为示出扩展封包报头ePH的配置实例的示图。
图58示出扩展封包报头ePH0、扩展封包报头ePH1和扩展封包报头ePH2的详细配置实例。对于如图所示的扩展封包报头ePH的添加，通过转换C-PHY和D-PHY的ePH结构，为CCI-FS指定扩展封包报头ePH的内容。
图59示出了扩展封包报头ePH3的详细配置实例。对于如图所示的扩展封包报头ePH的添加，为CCI-FS指定扩展封包报头ePH的内容。
图60示出扩展封包报头ePH的扩展DT的详细配置。例如，为了支持CCI-FS，将“0xC0：For I2C”和“0xC1：For I3C”添加到扩展封包报头ePH的数据类型中。
<I2C的电路配置实例>
图61示出了常规I2C硬件中的配置实例。例如，在硬件实现中说明了在较高位的总线连接配置的情况下的I2C的配置实例，并且从设备侧可以被配置为能够从较高位接收ACK/NACK。当然，该图仅示出了实例，并且高级总线配置不一定匹配。
图62示出了I2C总线上的数据传输时的波形。注意，I2C总线标准和CCI(I2C)是等同的。
<与通信系统701中的CCI相关的配置实例>
图63是示出与具有A-PHY直接联接配置的通信系统701中的CCI相关的配置实例的框图，通信系统701与图27中所示的通信系统501相似。
如图63中所示，在通信系统701中，图像传感器711和应用处理器712通过A-PHY直接连接。
图像传感器711包括A-PHY处理单元721、CSIA处理单元722、CSI2处理单元523、CSI2-FS处理单元724、CCI处理单元725、CCI-FS处理单元726、寄存器727以及选择器728-1和728-2。如图所示，选择器728-1和728-2被布置成CCI-FS处理单元726位于其之间，并且可根据寄存器727的CCI_FS_Enable信号来切换CCI-FS处理单元726的启用/禁用。
应用处理器712包括A-PHY处理单元731、CSIA处理单元732、CSI2处理单元733、CSI2-FS处理单元734、CCI处理单元735、CCI-FS处理单元736、寄存器737以及选择器738-1和738-2。如图所示，选择器738-1和738-2被布置成CCI-FS处理单元736位于其之间，并且可根据寄存器737的CCI_FS_Enable信号来切换CCI-FS处理单元736的启用/禁用。
例如，在CCI_FS_Enable信号指示CCI-FS的启用(CCI_FS_Enable＝1)的情况下，数据经由CCI-FS处理单元726和CCI-FS处理单元736被发送和接收，如由交替的长和短虚线箭头所指示的。另一方面，在CCI_FS_Enable信号指示CCI-FS禁用(CCI_FS_Enable＝0)的情况下，数据在不经过CCI-FS处理单元726和CCI-FS处理单元736的情况下被发送和接收，如由双点划线箭头所指示。
<网络连接形式>
图64示出了A-PHY直接联接配置和SerDes连接配置的网络连接形式(拓扑)的实例。
可以配置应用处理器801经由A-PHY直接连接至图像传感器802，并且图像传感器802经由I2C/I3C连接至传感器803的连接形式。
应用处理器801通过I2C/I3C与主设备侧SerDes装置804连接，并且主设备侧SerDes装置804和从设备侧SerDes装置805通过A-PHY连接。从设备侧SerDes装置805可配置通过I2C/I3C连接至两个传感器806-1和806-2的连接形式。
<CCI-FS处理单元的电路配置>
图65是示出CCI-FS处理单元的电路配置的实例的框图。图65中示出的CCI-FS处理单元901和寄存器902是包括在上文描述的每个装置中的CCI-FS处理单元和寄存器，并且是常见的配置。
如图65所示，CCI-FS处理单元901在高层级设置有CCI-FS开关、寄存器等，并且在低层级设置CCI处理单元。CCI-FS处理单元901包括CCI-FS发送单元911和CCI-FS接收单元912。不同类型的寄存器设置值信息从寄存器902提供到CCI-FS处理单元901，且错误通知从CCI-FS处理单元901提供到寄存器902。
CCI-FS发送单元911包括扩展封包报头ePH生成单元921、扩展封包结尾ePF生成单元922和目的地地址检查单元923。
扩展封包报头ePH生成单元921包括生成消息计数器的MC生成单元941和计算封包长度的封包长度计算单元942。扩展封包结尾ePF生成单元922包含生成扩展封包结尾ePF1的扩展封包结尾ePF1生成单元943以及计算将存储在扩展封包结尾ePF0中的CRC的CRC计算单元944。
CCI-FS接收单元912包括扩展封包报头ePH检查单元931、扩展封包结尾ePF检查单元932和目的地地址检查单元933。
扩展封包报头ePH检查单元931包括检查消息计数器的MC检查单元951和计算和检查封包长度的封包长度计算/检查单元952。扩展封包结尾ePF检查单元932包括检查扩展封包结尾ePF1的扩展封包结尾ePF1检查单元953和计算要存储在扩展封包结尾ePF0中的CRC的CRC计算单元954。
CCI-FS处理单元901可检查通过CCI-FS发送单元911来自较高层级的数据的目的地地址，生成扩展封包报头ePH和扩展封包结尾ePF，将扩展封包报头ePH和扩展封包结尾ePF添加到数据，并将数据提供给较低层级的层。CCI-FS处理单元901可检查通过CCI-FS接收单元912来自较低层级的数据的目的地地址，检查扩展封包报头ePH和扩展封包结尾ePF，且将数据提供到较高层级。
在此处，描述构成图40中所示的SerDes连接配置的配置实例的通信系统601的每个装置的CCI-FS处理单元的操作。
应用处理器614具有在扩展封包报头ePH中指示在应用处理器614中的其自身的装置的源ID。然后，CCI-FS处理单元653添加上述信息和包括指示要得到预期访问的装置的目的地ID的信息。
从设备侧SerDes装置612和主设备侧SerDes装置613均具有源ID，该源ID通过预设或作为特征值来表示其自身的装置。CCI-FS处理单元636和CCI-FS处理单元646各自执行以上信息和包括指示连接的装置和目标装置的目的地ID的信息的预设。
此外，CCI-FS处理单元636和CCI-FS处理单元646各自将所接收的扩展封包报头ePH的目的地ID与其自身的ID(源ID)进行比较，并且确定该访问是否是对其自身的装置或对指示目标装置的(目的地ID)的访问。例如，当接收的扩展封包报头ePH的目的地ID与其自身的ID(源ID)匹配时，执行其自身的寄存器访问，作为对中间装置(SerDes装置)的访问。同时，当接收的扩展封包报头ePH的目的地ID与其自身的ID(源ID)不匹配时，朝着连接的装置(目的地ID)执行数据传输，作为对后续装置的访问。
如上所述，基于嵌入在扩展封包报头ePH中的源ID和目的地ID、在中间装置(SerDes装置)中或在目标装置中预设或保持为特征值的源ID、以及预设的连接目的地信息，传输数据并且访问目标装置。
例如，当所接收的扩展封包报头ePH的目的地ID与其自身的ID(源ID)匹配时，图像传感器611的CSI2-FS处理单元623执行其自身的寄存器访问，作为对图像传感器611的访问。
以这种方式，作为由各个装置保持的源ID，可以使用对于各个装置唯一的值、预设值或其组合。
图66至图68是示出了寄存器902的详细配置实例的示图。
图66示出了寄存器902的地址0x000至0x109的细节。图67示出了在桥接配置时的配置实例，作为寄存器902的地址0x110至0x125的细节。
图68示出错误相关寄存器作为寄存器902的地址0x200的细节。图68示出错误相关寄存器(调试)作为寄存器902的地址0x300和地址0x400的细节。图68示出错误注入相关寄存器(调试)作为寄存器902的地址0x800的细节。
<扩展封包报头ePH的变形例>
将参考图69和图70描述扩展封包报头ePH的修改。
图69示出了在如参考图33所描述的写入访问时由应用处理器512的CCI-FS处理单元536生成的写入数据的封包配置中的扩展封包报头ePH的变形例。图69中所示的扩展封包报头ePH与图33中所示的上述配置实例的不同之处在于，扩展封包报头ePH3和扩展封包报头ePH4的配置。
图70示出在如参照图28所描述的读取访问时在应用处理器512的CCI-FS处理单元536中生成的写入数据的封包配置中的扩展封包报头ePH的变形例。图70中所示的扩展封包报头ePH与图28中所示的上述配置实例的不同之处在于扩展封包报头ePH3和扩展封包报头ePH4的配置。
例如，在图69和图70中所示的扩展封包报头ePH中，根据实现方式假设以下组合。
读取地址信息可存储在扩展封包报头ePH中或可存储在AP(CCI)有效载荷中。长度信息可以存储在扩展封包报头ePH中，或者可以存储在AP(CCI)有效载荷中。CMD信息可以存储在扩展封包报头ePH的CCI命令ID中。在CCI命令ID的基础上参考命令的开始、恢复和结束信息。CCI信息(例如，从设备地址等)可使用CCI报头长度被存储在AP(CCI)有效载荷中。CCI报头长度是指示CCI协议(I2C)的报头长度的信息。
图71是示出图27中所示的A-PHY直接联接配置中的图像传感器511和应用处理器512之间的流程的示图。
在应用处理器512中，CCI-FS开关538发出读取命令和写入命令。CCI-FS开关538将从设备地址(从设备地址+W 8位)、寄存器地址(寄存器地址[15：8]和寄存器地址[7：0])和数据(Data*(*＝N)[7：0])提供给CCI处理单元535。CCI处理单元535将所提供的数据转换为AP(CCI)有效载荷并将所转换的有效载荷提供给A-PHY处理单元531。A-PHY处理单元531将A-PHY报头和A-PHY结尾添加到AP(CCI)有效载荷并执行到图像传感器511的A-PHY传输。
在图像传感器511中，A-PHY处理单元521移除A-PHY报头和A-PHY结尾，并将AP(CCI)有效载荷提供给CCI处理单元525。CCI处理单元525转换AP(CCI)有效载荷，并且基于有效载荷的内容，根据写入命令将数据写入寄存器527并且根据读取命令从寄存器527读取数据。
此时，CCI-FS Enable的初始设置由CCI处理单元525执行，并且执行寄存器接口、AHB总线等的总线转换。然后，CCI-FS Enable设置的检查通过CCI处理单元525或CCI-FS处理单元526来执行。
CCI处理单元525将响应于读取命令从寄存器527读取的读取数据(Data*(*＝M)[7：0])转换成AP(CCI)有效载荷并将该AP(CCI)有效载荷提供给A-PHY处理单元521。A-PHY处理单元521将A-PHY报头和A-PHY结尾添加到AP(CCI)有效载荷并执行向应用处理器512的A-PHY传输。
在应用处理器512中，A-PHY处理单元531移除A-PHY报头和A-PHY结尾，并将AP(CCI)有效载荷提供给CCI处理单元535。CCI处理单元535转换AP(CCI)有效载荷并将读取数据(Data*(*＝M)[7：0])提供给CCI-FS开关538。
CCI-FS开关538对寄存器537执行CCI-FS Enable设置和CCI-FS相关的各种寄存器设置。寄存器访问然后取决于实现。CCI-FS开关538通过寄存器537、CCI-FS处理单元536、A-PHY处理单元531、A-PHY处理单元521和CCI-FS处理单元526对寄存器527执行CCI-FS相关的各种寄存器设置。
在应用处理器512中，CCI-FS开关538发出读取命令。CCI-FS开关538将从设备地址(从设备地址+W 8位)、寄存器地址(寄存器地址[15：8]和寄存器地址[7：0])和数据(Data*(*＝N)[7：0])提供给寄存器537。CCI-FS处理单元536将所提供的数据转换为AP(CCI)有效载荷，添加扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1和扩展封包结尾ePF0，并且将AP(CCI)有效载荷提供给A-PHY处理单元531。A-PHY处理单元531将A-PHY报头和A-PHY结尾添加到AP(CCI)有效载荷，且执行向图像传感器511的A-PHY传输。
在图像传感器511中，A-PHY处理单元521移除A-PHY报头和A-PHY结尾，并将扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1、和扩展封包结尾ePF0提供给CCI-FS处理单元526。CCI-FS处理单元526转换AP(CCI)有效载荷，且基于AP(CCI)有效载荷的内容根据读取命令从寄存器527读取数据。此时寄存器访问取决于实现，执行寄存器接口、AHB总线和CCI接口的总线转换。
CCI-FS处理单元526将根据读取命令从寄存器527读取的读取数据(Data*(*＝M)[7：0])转换为AP(CCI)有效载荷，添加扩展封包报头ePH*(*＝n)、扩展封包结尾ePF1和扩展封包结尾ePF0，并且将AP(CCI)有效载荷提供给A-PHY处理单元521。A-PHY处理单元521将A-PHY报头和A-PHY结尾添加到AP(CCI)有效载荷并执行向应用处理器512的A-PHY传输。
在应用处理器512中，A-PHY处理单元531移除A-PHY报头和A-PHY结尾，并将扩展封包报头ePH*(*＝n)、AP(CCI)有效载荷、扩展封包结尾ePF1、和扩展封包结尾ePF0提供给CCI-FS处理单元536。CCI-FS处理单元536转换AP(CCI)有效载荷并将读取数据(Data*(*＝M)[7：0])提供给CCI-FS开关538。
应注意，上述流程已经以通过硬件生成I2C/I3C命令为例进行了描述，但是存在如下的其他组合。
在软件的情况下，从设备地址、寄存器地址、有效载荷、ACK响应接收、发送和各种控制码(S、Sr、ACK、NACK和P)由软件生成(例如，GPIO控制的图像)，作为通过软件的I2C/I3C生成。作为通过软件的I2C/I3C命令生成，响应于CPU总线设置中的ACK接收，从CPU发出从设备地址、寄存器地址和有效载荷。
在硬件的情况下，传输设置和数据被设置在I2C/I3C的HW IP中，作为通过硬件的I2C/I3C生成。不同控制码在硬件中自动响应。作为通过硬件的I2C/I3C命令生成，数据在具有传输设置的I2C/I3C的HW IP中设置，并且由命令执行传输。不同控制码在硬件中自动响应。
图72为示出在图40中所示的SerDes连接配置中，在图像传感器611与应用处理器614之间的写入访问和读取访问中使用时钟拉伸方法的流程的示图。
应用处理器614的CCI-FS开关655将开始命令和写入命令(从设备地址+W 8位)提供给主设备侧SerDes装置613的CCI处理单元645，并声称Sc1_enb信号。在主设备侧SerDes装置613中，CCI处理单元645将写入命令提供给A-PHY处理单元641，并且A-PHY处理单元641将A-PHY报头和A-PHY结尾加入写入命令中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并将写入命令提供给CCI处理单元635(从设备)。CCI处理单元635(从设备)否定Sc1_enb信号并将写入命令提供给CCI处理单元635(主设备)。此处，执行与主设备侧SerDes装置613的通信并且充当从设备的CCI处理单元635被称为CCI处理单元635(从设备)，并且执行与图像传感器611侧的通信并且充当主设备的CCI处理单元635被称为CCI处理单元635(主设备)。
CCI处理单元635(主设备)将开始命令和写入命令发送到图像传感器611。
在图像传感器611中，CCI处理单元622接收开始命令和写入命令并将命令提供到CSI2-FS处理单元623。CSI2-FS处理单元623将指示接收成功的ACK响应提供给CCI处理单元622，并且CCI处理单元622将ACK响应发送给从设备侧SerDes装置612。
在从设备侧SerDes装置612中，当CCI处理单元635(主设备)接收到ACK响应并且从CCI处理单元635(从设备)对Scl_enb信号否认(negate)时，将ACK响应提供给CCI-FS处理单元636。此后，CCI处理单元635(从设备)向CCI处理单元635声称Sc1_enb信号(主设备)。
CCI-FS处理单元636将ACK响应提供给A-PHY处理单元631。A-PHY处理单元631将A-PHY报头和A-PHY结尾添加到ACK响应中，并且执行到主设备侧SerDes装置613的A-PHY传输。
在主设备侧SerDes装置613中，A-PHY处理单元641移除A-PHY报头和A-PHY结尾，并将ACK响应提供给CCI处理单元645。当应用处理器614的CCI-FS开关655否认到CCI处理单元645的Sc1_enb信号时，CCI处理单元645将ACK响应传输给应用处理器614。
在应用处理器614中，CCI处理单元652接收ACK响应并通过CCI-FS处理单元653将ACK响应提供给CCI-FS开关655。
应用处理器614的CCI-FS开关655将寄存器地址(RegisterAddress[7：0])提供给主设备侧SerDes装置613的CCI处理单元645，并声称Sc1_enb信号。在主设备侧SerDes装置613中，CCI处理单元645将寄存器地址提供给A-PHY处理单元641，并且A-PHY处理单元641将A-PHY报头和A-PHY结尾加入寄存器地址中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并将寄存器地址提供给CCI处理单元635(从设备)。CCI处理单元635(从设备)否认Sc1_enb信号，并将寄存器地址提供给CCI处理单元635(主设备)。CCI处理单元635(主设备)将寄存器地址传输到图像传感器611。此后，CCI处理单元635(从设备)向CCI处理单元635声称(assert)Sc1_enb信号(主设备)。
在图像传感器611中，CCI处理单元622接收寄存器地址且将寄存器地址提供到CSI2-FS处理单元623。CSI2-FS处理单元623将指示接收成功的ACK响应提供给CCI处理单元622，并且CCI处理单元622将ACK响应传输给从设备侧SerDes装置612。
此后，与上述处理类似，ACK响应被提供给CCI-FS开关655。
在应用处理器614中，CCI-FS处理单元653在CCI-FS开关655的控制下将扩展封包报头ePH*(*＝n)传输给主设备侧SerDes装置613。
在主设备侧SerDes装置613中，当CCI处理单元645接收到扩展封包报头ePH*(*＝n)并且从CCI-FS开关655声称Scl_enb信号时，扩展封包报头ePH*(*＝n)被提供给A-PHY处理单元641。此后，CCI-FS开关655否认到CCI处理单元645的Sc1_enb信号。A-PHY处理单元641将A-PHY报头和A-PHY结尾添加至扩展封包报头ePH*(*＝n)中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并且将扩展封包报头ePH*(*＝n)提供给CCI-FS处理单元636。CCI-FS处理单元636否认Sc1_enb信号并将扩展封包报头ePH*(*＝n)提供给CCI处理单元635(主设备)。CCI处理单元635(主设备)将扩展封包报头ePH*(*＝n)发送到图像传感器611。此后，CCI处理单元635(从设备)向CCI处理单元635声称Sc1_enb信号(主设备)。
在图像传感器611中，CSI2-FS处理单元623接收扩展封包报头ePH*(*＝n)。CSI2-FS处理单元623将指示接收成功的ACK响应提供给CCI处理单元622，并且CCI处理单元622将ACK响应传输给从设备侧SerDes装置612。
此后，与上述处理类似，ACK响应被提供给CCI-FS开关655。
应用处理器614的CCI-FS开关655将写入数据(Dara0[7：0])提供给主设备侧SerDes装置613的CCI处理单元645，并声称Sc1_enb信号。在主设备侧SerDes装置613中，CCI处理单元645将写入数据提供给A-PHY处理单元641，并且A-PHY处理单元641将A-PHY报头和A-PHY结尾添加至写入数据中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在主设备侧SerDes装置613中，当CCI处理单元645接收到写入数据并且从CCI-FS开关655声称Sc1_enb信号时，写入数据被提供给A-PHY处理单元641。此后，在CCI-FS开关655的控制下，CSI2-FS处理单元653否认到CCI处理单元645的Sc1_enb信号。A-PHY处理单元641将A-PHY报头和A-PHY结尾加入写入数据中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并将写入数据提供给CCI处理单元635。CCI处理单元635否认Sc1_enb信号并将写入数据提供给CCI处理单元635(主设备)。CCI处理单元635(主设备)将写入数据传输到图像传感器611。此后，CCI处理单元635(从设备)向CCI处理单元635(主设备)声称Sc1_enb信号。
在图像传感器611中，CCI处理单元622接收写入数据且将写入数据提供到CSI2-FS处理单元623，且CSI2-FS处理单元623将写入数据写入到寄存器624中。CSI2-FS处理单元623将指示写入数据被成功写入的ACK响应提供给CCI处理单元622，并且CCI处理单元622将ACK响应传输给从设备侧SerDes装置612。
此后，与上述处理类似，ACK响应被提供给CCI-FS开关655。
在应用处理器614中，CCI-FS处理单元653在CCI-FS开关655的控制下，将扩展封包结尾ePF0传输给主设备侧SerDes装置613。
在主设备侧SerDes装置613中，当CCI处理单元645接收到扩展封包结尾ePF0，并且从CCI-FS开关655声称Scl_enb信号时，将扩展封包结尾ePF0提供给A-PHY处理单元641。此后，CCI-FS开关655否认到CCI处理单元645的Sc1_enb信号。A-PHY处理单元641将A-PHY报头和A-PHY结尾加入扩展封包结尾ePF0中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并将扩展封包结尾ePF0提供给CCI-FS处理单元636。CCI-FS处理单元636否认Scl_enb信号，并将扩展封包结尾ePF0提供给CCI处理单元635(主设备)。CCI处理单元635(主设备)将扩展封包结尾ePF0发送到图像传感器611。此后，CCI处理单元635(从设备)向CCI处理单元635(主设备)声称Sc1_enb信号。
在图像传感器611中，CSI2-FS处理单元623接收扩展封包结尾ePF0。CSI2-FS处理单元623将指示接收成功的ACK响应提供给CCI处理单元622，并且CCI处理单元622将ACK响应传输给从设备侧SerDes装置612。
此后，与上述处理类似，ACK响应被提供给CCI-FS开关655。
应用处理器614的CCI-FS开关655将重复命令和读取命令(从设备地址+R 8位)提供给主设备侧SerDes装置613的CCI处理单元645，并声称Scl_enb信号。在主设备侧SerDes装置613中，CCI处理单元645将读取命令提供给A-PHY处理单元641，并且A-PHY处理单元641将A-PHY报头和A-PHY结尾加入读取命令中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并将读取命令提供给CCI处理单元635(从设备)。CCI处理单元635(从设备)否认Sc1_enb信号并将读取命令提供给CCI处理单元635(主设备)。CCI处理单元635(主设备)将重复开始命令和读取命令发送到图像传感器611。
在图像传感器611中，CCI处理单元622接收重复开始命令和读取命令并访问寄存器624。CCI处理单元622将表示接收成功的ACK响应传输给从设备侧SerDes装置612。
此后，与上述处理类似，ACK响应被提供给CCI-FS开关655。
在图像传感器611中，CCI处理单元622从寄存器624中读取读取数据(Data0[7：0])，并且将读取数据发送到从设备侧SerDes装置612。
在从设备侧SerDes装置612中，CCI处理单元635(主设备)接收读取数据并且将读取数据提供给CCI处理单元635(从设备)，并且CCI处理单元635(从设备)将读取数据提供给A-PHY处理单元631。A-PHY处理单元631将A-PHY报头和A-PHY结尾添加到读取数据中，并且执行向主设备侧SerDes装置613的A-PHY传输。
在主设备侧SerDes装置613中，A-PHY处理单元641移除A-PHY报头和A-PHY结尾，并将读取数据提供给CCI处理单元645，CCI处理单元645将读取数据发送到应用处理器614。
在应用处理器614中，CCI处理单元652接收读取数据并通过CCI-FS处理单元653将读取数据提供给CCI-FS开关655。
CCI-FS开关655发送NACK响应和停止命令给CCI处理单元645。CCI处理单元645将NACK响应和停止命令提供给A-PHY处理单元641。A-PHY处理单元641将A-PHY报头和A-PHY结尾加入NACK响应和停止命令中，并且执行向从设备侧SerDes装置612的A-PHY传输。
在从设备侧SerDes装置612中，A-PHY处理单元631移除A-PHY报头和A-PHY结尾，并将NACK响应和停止命令提供给CCI处理单元635(从设备)。CCI处理单元635(从设备)将NACK响应和停止命令提供给CCI处理单元635(主设备)，并且CCI处理单元635(主设备)将NACK响应和停止命令传输到图像传感器611。
在图像传感器611中，CCI处理单元622接收NACK响应和停止命令，并将NACK响应和停止命令提供给CSI2-FS处理单元623。
要注意的是，在参考图72描述的流程中，I2C控制命令(例如，开始、重复开始、ACK响应、NACK响应以及停止)中的每个指示每个代码，其中，扩展封包报头ePH0的控制码指示符设为1，并且分配给一个字节的有效载荷。
<图像传感器和应用处理器的详细配置实例>
(图像传感器的详细配置实例)
图73是示出图25中所示的上述图像传感器211包括CCI-FS处理单元1001的配置的配置实例的框图。要注意的是，在图73中所示的图像传感器211中，与图25中的图像传感器211的配置相同的配置由相同的参考数字表示，省略其描述。
如图73所示，CCI-FS处理单元1001被布置在CCI从设备224和寄存器47之间，并且MUX(多路复用)单元1002-1和1002-2被布置为将CCI-FS处理单元1001夹在中间。在根据从寄存器47提供的cci_fs_en信号启用CCI-FS处理单元1001的情况下，MUX单元1002-1和1002-2通过CCI-FS处理单元1001发送和接收数据。另一方面，在根据从寄存器47提供的cci_fs_en信号来禁用CCI-FS处理单元1001的情况下，MUX单元1002-1和1002-2不通过CCI-FS处理单元1001来发送和接收数据。
(应用处理器的详细配置实例)
图74是示出图26中所示的上述应用处理器214包括CCI-FS处理单元1101的配置的配置实例的框图。要注意的是，在图74中所示的应用处理器214中，与在图26中的应用处理器214的配置相同的配置由相同的参考数字表示，并且省略其详细描述。
如图74所示，CCI-FS处理单元1101被布置在CCI主设备254和寄存器73之间，并且MUX单元1102-1和1102-2被布置为将CCI-FS处理单元1101夹在中间。在根据从寄存器73提供的cci_fs_en信号启用CCI-FS处理单元1101的情况下，MUX单元1102-1和1102-2通过CCI-FS处理单元1101发送和接收数据。另一方面，在根据从寄存器73提供的cci_fs_en信号来禁用CCI-FS处理单元1101的情况下，MUX单元1102-1和1102-2在不经过CCI-FS处理单元1101的情况下发送和接收数据。
注意，可以采用下面的配置作为实现扩展封包报头ePH的配置中的各个字段的方法。-扩展的VC在安全CCI中未使用。(类似的配置用于将报头字段与MIPI中的扩展报头相关配置匹配)
-在扩展DT中，该字段可以被嵌入在与来自更高层级的总线的命令相关的信息中，或者可以具有来自寄存器设置的信号线的设置的实现配置。-虽然在I2C中描述了协议，但是可以在I3C的SDR模式中实现类似的问题。
<通信系统的配置实例>
将参考图75至图117描述应用本技术的通信系统的第四实施方式。
图75是根据第四实施方式的通信系统的框图。图75的A示出了作为第一变形例的通信系统1201，并且图75的B示出了作为第二变形例的通信系统1201A。
通过直接连接图像传感器1211和应用处理器1212来配置图75的A中示出的通信系统1201。
图像传感器1211具有以下配置：ALL层1222布置在A-PHY层1221上，CSI-2发送单元1223和CSI扩展单元1224以及CCI从设备1225和CCI扩展单元1226布置在ALL层1222上。图像传感器1211可通过将CSI扩展单元1224提供到CSI-2发送单元1223且将CCI扩展单元1226提供到CCI从设备1225来支持扩展的标准。
应用处理器1212具有以下配置：其中ALL层1232被布置在A-PHY层1231上，CSI-2接收单元1233和CSI扩展单元1234以及CCI主设备1235和CCI扩展单元1236被布置在ALL层1232上的配置。应用处理器1212可通过将CSI扩展单元1234提供给CSI-2接收单元1233并将CCI扩展单元1236提供给CCI主设备1235来支持扩展的标准。注意，CSI扩展可以被称为相机服务扩展(CSE)。
通过连接显示器1213和应用处理器1212A配置图75的B中示出的通信系统1201A。要注意的是，应用处理器1212A包括DSI-2发送单元1233A和DSI扩展单元1234A，代替在图75的A中的应用处理器1212的CSI-2接收单元1233和CSI扩展单元1234，并且其他方框具有与应用处理器1212共同的配置。
显示器1213具有以下配置：其中ALL层1242被布置在A-PHY层1241上，并且DSI-2接收单元1243和DSI扩展单元1244、CCI从设备1245和CCI扩展单元1246被布置在ALL层1242上。显示器1213可通过将DSI扩展单元1244提供给DSI-2接收单元1243并将CCI扩展单元1246提供给CCI从设备1245来支持扩展标准。注意，DSI扩展可以被称为显示服务扩展(DSE)。
如上所述配置的通信系统1201和1201A可以至少执行在一个方向上传输包括图像数据的帧的数据的高速数据传输和在相反方向上传输与高速数据传输相关的命令的低速命令传输(注意，传输命令本身可以被称为命令传输或者传输对命令的响应可以被称为命令传输)。例如，在低速命令传输中，至少进行请求开始高速数据传输的高速数据发送开始指令的发送，但是本实施例不限于此。此外，高速数据传输比低速命令传输更快，并且响应于接收到高速数据发送开始指令而开始，但是本实施例不限于此。
然而，应用处理器1212的通信伙伴是图像传感器1211的通信系统1201和应用处理器1212A的通信伙伴是显示器1213的通信系统1201A在高速数据传输和低速命令传输中具有不同的方向。即，在通信系统1201中，图像数据从图像传感器1211发送到应用处理器1212，而在通信系统1201A中，图像数据从应用处理器1212A发送到显示器1213。
在物理层标准的A-PHY中，高速数据传输和低速命令传输是经由公共通信路径的一部分或全部传输的。此外，A-PHY支持使从应用处理器1212到图像传感器1211的电力供应和从应用处理器1212A到显示器1213的电力供应中的一部分或全部能够经由公共通信路径传输的选项。
顺便提及，低速命令传输符合例如CSI-2标准的CCI，并且基于I2C或I3C标准执行通信。此时，低速命令传输可以通过不仅共享I2C或I3C的独立物理层，而且共享D-PHY、C-PHY和A-PHY中的任何物理层的部分或全部来传输命令。同时，高速数据传输经由D-PHY、C-PHY和A-PHY的任何物理层的部分或全部传输数据。
应注意，在低速命令传输符合例如CSI-2标准内的统一串行链路(USL)的情况下，可经由D-PHY或C-PHY的物理层的部分或全部传输命令。即，高速数据传输和低速命令传输可经由D-PHY、C-PHY、A-PHY、I2C和I3C的任何物理层的一部分或全部执行传输。
应注意，在图75中，已经描述了包括应用处理器1212和1201A的配置实例。然而，通信系统1201和1201A可以包括例如电子控制单元(ECU)。即，处理器不限于应用处理器1212，只要处理器可通过直接连接或间接连接与图像传感器1211、显示器1213等通信即可。此外，可以提供除图像传感器1211之外的各种传感器。
以这种方式配置的通信系统1201和1201A采用如下面将描述的包括随机值的随机值传输方法或初始化向量配置。
具体地，特定的公共密钥加密算法(例如，AES-GCM/GMAC)要求包括随机值的初始化向量。因此，在图像传感器1211与应用处理器1212之间或者在显示器1213与应用处理器1212A之间预先约定初始化向量和随机值的设置规则。
然而，如果在图像传感器1211、应用处理器1212和1201A以及显示器1213中的每个中发生随机值的误识别或篡改，则加密图像数据的后续解密、消息的认证等失败。因此，为了避免图像数据不能被正常发送的缺陷，需要与随机值的误识别和篡改相关的对策技术。
同时，作为用于MIPI相机串行接口(CSI)标准或MIPI显示串行接口(DSI)标准的新安全规范，已经要求定义适合于CSI标准或DSI标准的初始化向量。因此，本技术公开了一种初始化向量配置，其包括适合于符合CSI标准的成像装置(包括图像传感器1211)或适合于符合DSI标准的显示装置(包括显示器1213)的随机值传输方法或随机值。
注意，以下将描述在图像传感器1211和应用处理器1212之间执行的处理，但是可以在显示器1213和应用处理器1212A之间执行类似的处理。
<图75中的图像传感器的详细配置实例>
图76是示出图像传感器1211的详细配置实例的框图。
图像传感器1211包括像素1301、AD转换器1302、图像处理单元1303、扩展模式兼容CSI-2传输电路1304、物理层处理单元1305、I2C/I3C从设备1306、存储单元1307、消息计数器1308、随机数更新单元1309和安全单元1310。要注意的是，像素1301、AD转换器1302、图像处理单元1303、扩展模式兼容CSI-2传输电路1304、物理层处理单元1305、I2C/I3C从设备1306以及存储单元1307与上述其他实施方式中的对应的相应块类似地配置，并且省略其详细描述。
每当满足预定计数条件的扩展封包被发送时，消息计数器1308更新图像传感器1211中的消息计数值。
安全单元1310在图像传感器1211中导出会话密钥，并且通过使用会话密钥来生成要被高速传输的数据的第一保护数据(例如，被计算为保护完整性的完整性运算值或被加密以保护机密性的加密数据)。
每当安全单元1310生成第一保护数据时，随机数更新单元1309更新图像传感器1211中的随机值(使用一次的数)。
以这种方式配置的图像传感器1211将随机值的一部分或全部和消息计数值的一部分或全部以高速发送到应用处理器1212。例如，随机值的部分或全部可以是计数值或随机数。此外，随机值的部分或全部被存储在扩展封包报头之外并被发送，并且图像数据被存储在封包数据中并被发送。
在图像传感器1211中，消息计数器1308和随机值(nonce)更新单元1309可以被单独地或整体地配置。例如，在消息计数器1308和随机数更新单元1309被单独配置的情况下，随机值和消息计数值的更新可以是异步的。这可以增加随机值和消息计数值的自由度。
同时，在消息计数器1308和随机数更新单元1309被整体地配置的情况下，随机值和消息计数值的更新可被同步。在这种情况下，在计数值用作随机值的情况下，消息计数值可与随机值部分或全部共享，从而可保存消息计数器1308的位宽度。即，消息计数器1308可以是随机数更新单元1309的一部分或全部，并且可以部分地或全部地与随机数更新单元1309共用。
<图75中的应用处理器的详细配置实例>
图77是示出应用处理器1212的详细配置实例的框图。
应用处理器1212包括物理层处理单元1321、扩展模式兼容CSI-2接收电路1322、I2C/I3C主设备1323、存储单元1324、数据验证单元1325、安全单元1326以及控制器1327。应注意，物理层处理单元1321、扩展模式兼容CSI-2接收电路1322、I2C/I3C主设备1323、以及存储单元1324类似于上述其他实施方式中的对应的相应块被配置，并且省略其详细描述。
数据验证单元1325验证从图像传感器1211发送到应用处理器1212的随机值或消息计数值的有效性。
安全单元1326在应用处理器1212中导出对应于图像传感器1211中的会话密钥的会话密钥，并且在应用处理器1212中使用会话密钥来验证(验证完整性)或解密图像数据的第一保护数据。
在要验证的数据是如上所述配置的应用处理器1212中的计数值的情况下，数据验证单元1325可验证连续性。此外，数据验证单元1325可包括计数器，并且与图像传感器1211类似，可通过更新计数值来执行比较和验证。注意，在要验证的数据是随机值的情况下，数据验证单元1325可验证随机值的属性。注意，数据验证单元1325包括随机数更新单元1309(或消息计数器)，并且可以使用随机数更新单元来验证或解密第一保护数据，或者可以使用第一保护数据来验证要被验证的数据。
图像传感器1211和应用处理器1212可经配置以安装在期望的移动装置上。例如，移动装置可以是便携式移动装置，可以是例如移动电话、智能电话、数码相机、游戏装置等中的任何一种。移动装置可以是推进装置，并且可以是例如能够推进(移动、行进、步行、飞行等中的任何)的车辆、机器人、无人机等中的任何。移动装置可以是可以用人工智能(AI)功能以自动方式推进的自动车辆、自动机器人、自动无人机等中的任何。推进装置的推进可由推进装置的用户控制，并且推进装置可根据需要向用户提供指令或警告。另外，上述推进装置可被配置为使得推进装置自动地控制推进装置的推进。
安全单元1310和1326可各自包括例如执行用于保护图像数据的操作的安全性运算单元。因此，安全单元1310和1326可以通过安全性运算单元处理加密操作、解密操作、散列值操作、消息认证码操作、数字签名操作、标识(ID)认证、固件测量、加密会话密钥建立、密钥交换、密钥更新等中的任何一个。
同时，安全单元1310和1326、随机数更新单元1309、消息计数器1308和数据验证单元1325中的任一个可被配置为直接与存储器电连接。存储器可以直接电连接到寄存器，并且安全单元1310和1326、随机数更新单元1309、消息计数器1308和数据验证单元1325中的任一个可以直接电连接到寄存器。存储器可以是被保护免于泄露或篡改存储器中的信息的存储器。这种存储器和寄存器分别用作存储单元1307和1324。
存储单元1307和1324可存储密钥信息(例如，预共享密钥、私钥、公钥或会话密钥)、证书(例如，根证书、中间证书或叶证书)、加密算法信息等中的任何。存储单元1307和1324可存储图像传感器1211或应用处理器1212的任何功能信息、图像传感器1211或应用处理器1212的ID信息(例如，源ID、目的地ID、最终目的地ID等)、图像传感器1211或应用处理器1212的固件信息等。存储单元1307和1324可存储以下将描述的会话信息(例如，会话ID)、安全性运算单元的运算值(例如，初始值、中间值或最终值)、初始化向量、随机值、消息计数值、帧号(帧计数值)等中的任何。
安全单元1310和1326、随机数更新单元1309、消息计数器1308和数据验证单元1325中的任一个能够通过以下方式确定是否存在缺陷，例如，图像传感器1211或应用处理器1212在存储单元1307或1324中存储与多次对应的随机值、计数值、完整性运算值、加密信息等中的任一个，并且能够响应于此采取措施(例如，对缺陷点的数据的重传和异常消息的发送的请求)。此外，在随机值、计数值、完整性运算值、加密信息等中的任一个周期性地存储在受保护的存储单元1307或1324中的情况下，还存在如下效果：如果发生移动装置的事故，则通过分析受保护的存储单元1307或1324来容易地指定事故原因。
<会话>
请求者和响应者(即，应用处理器1212和图像传感器1211)可通过会话具有一个或多个通信信道。在下文中，将通过使用其中应用处理器1212是请求者并且图像传感器1211是响应者的配置作为实例来描述会话。当然，应用处理器1212可以是响应者，并且图像传感器1211可以是请求者。
此外，请求者和响应者可以通过使用临时固定的加密信息来构建安全通信信道。具体地，会话提供加密或消息认证或两者。会话包括例如三个阶段：会话握手阶段、应用阶段和会话终止阶段。
会话握手阶段以例如来自请求者的密钥交换请求(PSK_EXCHANGE或者KEY_EXCHANGE)开始，导出会话密钥(诸如会话秘密或者加密密钥)，并且使用会话密钥来保护通信。该阶段的目的是，例如，在任一方传输应用数据(例如，图像数据)之前，首先在响应者和请求者之间建立信任。此外，可确保握手的某种完整性程度与所导出的握手秘密之间的同步。
在该阶段发生错误的情况下，可以立即终止会话并进行到会话结束。如果握手成功，例如，该阶段以来自响应者的结束响应(FINISH_RSP或PSK_FINISH_RSP)结束，并且应用阶段开始。一旦握手完成并且所有验证通过，会话就到达应用阶段，在该阶段，响应者或请求者可以发送应用数据。
例如，当从请求者发出结束请求(END_SESSION)时或者当发生错误时，应用阶段结束。下一阶段是会话终止阶段。
会话终止阶段例如仅仅是内部阶段，并且没有发送或接收的显式消息。当会话结束时，请求者和响应者都丢弃或清除所有导出的会话秘密和会话密钥(诸如加密密钥)。请求者和响应者可能具有与该会话相关联的其他内部数据，并且它们也可以被清理。
会话秘密用于例如导出加密密钥和盐，以便在具有附加数据(AEAD)函数的认证加密中使用。加密密钥的导出可以频繁地使用如在RFC 2104中定义的HMAC和在RFC 5869中描述的HKDF-Expand。会话秘密可以包括单个秘密或多个类型的秘密。会话密钥可以包括单个密钥或多个类型的密钥。
<高速数据传输和低速指令传输的处理实例>
将参考图78至图80描述在图像传感器1211与应用处理器1212之间执行高速数据传输和低速命令传输的通信处理。
图78是示出通信处理的第一处理实例的流程图。
这里，应用处理器1212的扩展模式兼容CSI-2接收电路1322具有作为CCI主机(请求者)和CSI-2主机的功能。图像传感器1211的扩展模式兼容CSI-2传输电路1304具有充当CCI装置(响应者)和CSI-2装置的功能。CCI主机向CCI装置发送请求消息，CCI装置响应于请求消息的接收而向CCI主机发送响应消息。
在步骤S501中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行GET_VERSION请求和VERSION响应。结果，扩展模式兼容CSI-2接收电路1322获取端点的安全协议和数据模型(SPDM)版本。
在步骤S502中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行GET_CAPABILITIES请求和CAPABILITIES响应。结果，扩展模式兼容CSI-2接收电路1322获得端点的SPDM功能。
在步骤S503中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行NEGOTIATE_ALGORITHMS请求和ALGORITHMS响应。结果，扩展模式兼容CSI-2接收电路1322与扩展模式兼容CSI-2传输电路1304协商密码算法。
在步骤S504中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行PSK_EXCHANGE请求和PSK_EXCHANGE_RSP响应。结果，扩展模式兼容CSI-2接收电路1322和扩展模式兼容CSI-2传输电路1304导出CCI的会话秘密和会话密钥，诸如加密密钥。
在步骤S505中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行PSK_FINISH请求和PSK_FINISH_RSP响应。结果，扩展模式兼容CSI-2接收电路1322知道预共享密钥(PSK)，并且向响应者证明在步骤S504中导出的用于CCI的会话密钥是正确的。
在步骤S506中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行PSK_EXCHANGE请求和PSK_EXCHANGE_RSP响应。结果，扩展模式兼容CSI-2接收电路1322和扩展模式兼容CSI-2传输电路1304导出CSI-2的会话秘密和会话密钥，诸如加密密钥。
在步骤S507中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行PSK_FINISH请求和PSK_FINISH_RSP响应。结果，扩展模式兼容CSI-2接收电路1322知道预共享密钥(PSK)，并且向响应者证明在步骤S506中导出的用于CSI-2的会话密钥是正确的。
这里，步骤S505和S507中的会话密钥的证明是用利用请求者的finished_key计算的MAC值和该会话的消息来实现的。然后，使用在步骤S504和S506中导出的会话密钥来保护随后的CCI通信和CSI-2通信。
在步骤S508中，在扩展模式兼容CSI-2接收电路1322中，从CCI主机向CSI-2主机提供用于CSI-2的会话秘密、会话密钥、算法、其他参数等。
在步骤S509中，在扩展模式兼容CSI-2传输电路1304中，从CCI装置向CSI-2装置提供用于CSI-2的会话秘密、会话密钥、算法、其他参数等。
在步骤S510中，扩展模式兼容CSI-2传输电路1304中的CSI-2装置通过高速数据通信将图像数据发送至扩展模式兼容CSI-2接收电路1322中的CSI-2主机。例如，持续执行高速数据通信，直到达到更新CSI-2的会话密钥的时间。
在步骤S511中，在扩展模式兼容CSI-2接收电路1322中，从CSI-2主机向CCI主机提供用于更新CSI-2的会话密钥的触发。注意，触发可从CSI-2装置或CCI装置被提供给CCI主机，或自触发可从CCI主机提供给CCI主机。
在步骤S512中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行KEY_UPDATE请求和KEY_UPDATE_ACK响应。这更新会话密钥并且丢弃一些旧的会话密钥。注意，在会话密钥包括多种类型的密钥(请求方向密钥、响应方向密钥等)的情况下，可以更新一些或全部密钥。此外，KEY_UPDATE请求可以使用以下将描述的GET_ENCAPSULATED_REQUEST机制从响应者发出。
在步骤S513中，执行与步骤S512中的处理类似的处理，并且执行KEY_UPDATE请求和KEY_UPDATE_ACK响应两次。由此，只通过步骤S512的处理而未丢弃的旧会话密钥的剩余(全部)被丢弃。
在步骤S514中，在扩展模式兼容CSI-2接收电路1322中，从CCI主机向CSI-2主机提供用于CSI-2的会话秘密、会话密钥(更新的)、算法、其他参数等。
在步骤S515中，在扩展模式兼容CSI-2传输电路1304中，用于CSI-2的会话秘密、会话密钥(更新的)、算法、其他参数等从CCI装置提供给CSI-2装置。
在步骤S516中，与步骤S510相同，开始通过高速数据通信进行图像数据的传输，并重复进行与步骤S510至S515相同的处理。
注意，在通信处理的第一处理实例中，CCI的会话密钥和CSI-2的会话密钥是不同的，CCI和CSI-2的会话ID是不同的，CCI和CSI-2的会话秘密是不同的。该实施例不限于该实例，CCI的会话密钥和CSI-2的会话密钥可以是相同的，CCI和CSI-2的会话ID可以是相同的，CCI和CSI-2的会话秘密可以是相同的，如在通信处理的第二处理实例中。
图79是示出通信处理的第二处理实例的流程图。
在步骤S521至S523中，执行与图78中的步骤S501至S503中的处理相似的处理。
在步骤S524中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行PSK_EXCHANGE请求和PSK_EXCHANGE_RSP响应。这里，在通信处理的第二处理实例中，导出用于CCI的相同会话秘密和用于CSI-2的相同会话秘密。
即，CCI的会话密钥和CSI-2的会话密钥可从同一会话秘密导出。可替代地，上行链路会话密钥和下行链路(上行链路的反向)会话密钥可以从相同的会话秘密导出。可替代地，CCI和CSI-2的公共会话密钥可从同一会话秘密导出。注意，即使在CCI和CSI-2的会话相同的情况下，CCI和CSI-2的会话秘密、会话密钥等可能不同。
此后，在步骤S525至S534中，执行与图78中的步骤S507至S516中相似的处理。
这里，预共享密钥PSK密钥交换方案为请求者和响应者提供了使用对称密钥密码术来执行相互认证和会话密钥建立的选项。该选项对于不支持非对称密钥加密或证书处理的端点特别有用。即使支持非对称密钥加密，也可利用该选项来加速会话密钥建立。这个选项需要请求者和响应者在握手之前预先知道公共PSK。
基本上，PSK充当用于相互认证凭证和会话密钥建立的基础。因此，只有两个端点和向两个端点提供PSK的潜在可信第三方可以知道PSK的值。请求者可以与多个响应者配对。类似地，响应者可以与多个请求者配对。可以向一对请求者和响应者提供一个或多个PSK。
端点可以充当一个装置的请求者并且同时充当另一装置的响应者。在基于PSK的会话密钥交换开始之前，传输层需要识别对等端(Peer)并在两个端点之间建立通信。
PSK可以在可信环境中提供，例如在安全制造过程期间。在不可信的环境中，PSK可以使用安全协议在两个端点之间达成一致。所提供的PSK的大小取决于应用的安全强度要求，但应为128位或更多，理想的是256位或更多。在PSK提供过程中，端点功能和支持的算法可以传输给对端。因此，在使用PSK选项的会话密钥建立期间，不需要SPDM命令的GET_CAPABILITIES和NEGOTIATE_ALGORITHMS。
该选项定义两个消息对：PSK_EXCHANGE/PSK_EXCHANGE_RSP和PSK_FINISH/PSK_FINISH_RSP。PSK_EXCHANGE消息具有三个作用：提示响应者获得特定的PSK；在请求者和响应者之间交换上下文；以及向请求者证明响应者知道正确的PSK并且已经导出了正确的会话密钥。
图80是示出通信处理的第三处理实例的流程图。
在步骤S541至S543中，执行与图78中的步骤S501至S503中的处理相似的处理。
在步骤S544，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行GET_DIGESTS请求和DIGESTS响应。因此，扩展模式兼容CSI-2接收电路1322从扩展模式兼容CSI-2传输电路1304获取证书链摘要。
在步骤S545中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行GET_CERTIFICATE请求和CERTIFICATE响应。因此，扩展模式兼容CSI-2接收电路1322从扩展模式兼容CSI-2传输电路1304获取证书链。注意，证书链的获取可以进行多次。
在步骤S546，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行CHALLENGE请求和CHALLENGE_AUTH响应。结果，扩展模式兼容CSI-2接收电路1322可通过挑战-应答协议来认证扩展模式兼容CSI-2传输电路1304。
在步骤S547中，在扩展模式兼容CSI-2接收电路1322的CCI主机和扩展模式兼容CSI-2传输电路1304的CCI装置之间执行KEY_EXCHANGE请求(信道＝CCI，会话ID＝D)和KEY_EXCHANGE_RSP响应。这发起请求者和响应者之间的握手，以用于认证响应者(或可选地双方)的目的。然后，除了在最近NEGOTIATE_ALGORITHMS/ALGORITHMS交换中协商的内容之外，还协商加密参数，并且建立共享密钥信息。
在步骤S548中，扩展模式兼容CSI-2接收电路1322的CCI主机向扩展模式兼容CSI-2传输电路1304的CCI装置发送GET_ENCAPSULATED_REQUEST。
在步骤S549，扩展模式兼容CSI-2传输电路1304的CCI装置向扩展模式兼容CSI-2接收电路1322的CCI主机发送ENCAPSULATED_REQUEST(GET_DIGESTS请求)。
在步骤S550中，扩展模式兼容CSI-2接收电路1322的CCI主机向扩展模式兼容CSI-2传输电路1304的CCI装置发送DELIVER_ENCAPSULATED_RESPONSE(DIGESTS响应)。结果，扩展模式兼容CSI-2传输电路1304的CCI装置从扩展模式兼容CSI-2接收电路1322的CCI主机获得证书链摘要。
在步骤S551中，扩展模式兼容CSI-2传输电路1304的CCI装置将ENCAPSULATED_RESPONSE_ACK(GET_CERTIFICATE请求)发送给扩展模式兼容CSI-2接收电路1322的CCI主机。
在步骤S552中，扩展模式兼容CSI-2接收电路1322的CCI主机将DELIVER_ENCAPSULATED_RESPONSE(CERTIFICATE响应)发送到扩展模式兼容CSI-2传输电路1304的CCI装置。由此，CCI装置(响应者)可以从CCI主机(请求者)获得证书链。注意，该处理可以被执行多次。
在步骤S553，扩展模式兼容CSI-2传输电路1304的CCI装置向扩展模式兼容CSI-2接收电路1322的CCI主机发送ENCAPSULATED_RESPONSE_ACK。
在步骤S554中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行FINISH请求和FINISH_RSP响应。结果，扩展模式兼容CSI-2接收电路1322的CCI主机和扩展模式兼容CSI-2传输电路1304的CCI装置之间的握手完成，该握手在步骤S547中由KEY_EXCHANGE请求启动。
在步骤S555中，在扩展模式兼容CSI-2接收电路1322的CCI主机与扩展模式兼容CSI-2传输电路1304的CCI装置之间执行GET_MEASUREMENTS请求和MEASUREMENTS响应。结果，扩展模式兼容CSI-2接收电路1322的CCI主机从扩展模式兼容CSI-2传输电路1304的CCI装置获取测量数据。注意，GET_MEASUREMENTS请求可以使用上述GET_ENCAPSULATED_REQUEST机制从响应者发出。类似地，可以使用上述GET_ENCAPSULATED_REQUEST机制从响应者发出其他请求。
其后，在步骤S556中，类似于步骤S547执行KEY_EXCHANGE请求(信道＝CSI-2，会话ID＝E)和KEY_EXCHANGE_RSP响应，并且在步骤S557中，类似于步骤S554执行FINISH请求和FINISH_RSP响应。然后，在步骤S558至S566中，执行与图78中的步骤S508至S516中类似的处理。
<数据验证处理>
将参考图81至图83描述使用验证封包和待验证的封包的数据验证处理。
如图81和图82所示，扩展封包包括封包报头PH、扩展封包报头ePH、封包数据、扩展封包结尾ePF和封包结尾PF。在具有此配置的扩展封包的情况下，可配置帧开始、嵌入式数据、图像数据、用户定义数据、帧结束、写入指令(CCI写)、读取指令(CCI读)和读取响应(CCI读返回值)。注意，可以省略封包报头PH、扩展封包报头ePH、封包数据、扩展封包结尾ePF和封包结尾PF中的一些或全部。即，至少包括扩展封包报头ePH和封包数据的封包配置被定义为扩展封包。
顺便说一下，存在由于噪声、干扰或攻击而未正常接收(消息丢失)扩展封包报头ePH、封包数据和扩展封包结尾ePF中的任一个的可能性。因此，期望在扩展封包结尾端ePF0中存储用于验证扩展封包报头ePH、封包数据和扩展封包结尾剩余部分ePF1的完整性的验证封包。为了验证完整性，例如，使用循环冗余校验的CRC32，该循环冗余校验是错误检测码的类型。作为CRC32的生成多项式，例如，使用X32+X26+X23+X22+X16+X12+X11+X10+X8+X7+X5+X4+X2+X+1。
封包数据可以用于要被验证的封包。可替代地，扩展封包报头和封包数据可以用于要被验证的封包。可替代地，封包数据和扩展封包结尾剩余部分(ePF1)可以用于待验证的封包。可替代地，扩展封包报头、封包数据、以及扩展封包结尾剩余部分(ePF1)可以用于待验证的封包。至少封包数据由这样的要被验证的封包来保护。
也就是说，图像传感器1211包括在不使用会话密钥的情况下生成封包数据的第二保护数据(例如，CRC运算值)的第二保护单元(例如，CRC运算单元)。例如，在高速数据传输的扩展封包结尾ePF中存储第二保护数据。即，第二保护数据存储在帧开始、嵌入式数据、图像数据、用户定义数据、帧结束、写指令(CCI写)、读取指令(CCI读)、读取响应(CCI读返回值)等中的任一者中。
可以在扩展封包结尾ePF1或ePF0中定义安全功能(安全特征)。即，安全性运算单元(例如，加密操作单元、解密操作单元、散列值操作单元、消息认证码操作单元和数字签名操作单元)可以设置在图像传感器1211中。然后，可将安全操作的结果(例如，散列值、消息认证码或数字签名)存储在扩展封包结尾ePF中。
安全操作的结果可以仅存储在扩展封包结尾ePF1中而不存储在扩展封包结尾ePF0中，或者可以存储在扩展封包结尾外部而不存储在扩展封包结尾中(例如，在嵌入式数据中或者在读取响应中)。包括在图像传感器1211中的安全性运算单元包括在安全单元1310中。
作为消息认证码(MAC)，可以使用Galois MAC(GMAC)、基于密码的MAC(CMAC)、基于散列的MAC(HMAC)等中的任一个。例如，可以使用应用高级加密标准(AES)或安全散列算法(SHA)的AES-GMAC、AES-CMAC、SHA2-HMAC、SHA3-HMAC等中的任何一个。注意，AES的块长度是128位，并且选择128位、192位或256位中的任何一个作为AES的密钥长度。
例如，诸如散列(具体地，加密散列)值、消息认证码或数字签名的任何安全信息可被存储在扩展封包结尾中，使用封包数据作为待验证的封包或者使用扩展封包报头和封包数据作为待验证的封包。在这种情况下，可以提供针对来自攻击者的恶意篡改的进一步耐性。注意，在扩展封包结尾“ePF1”或“ePF1和ePF0”中，可以存储作为错误检测码的类型的循环冗余校验的CRC。
即，图像传感器1211可包括完整性运算单元(例如，第一保护单元＝安全性运算单元并且第二保护单元＝CRC运算单元)，并且作为计算完整性的结果的完整性运算值(例如，第一保护数据和第二保护数据)可被存储在扩展封包结尾中。注意，CRC可以用于功能安全，并且其完整性可以用于防止硬件故障的检测。同时，安全功能的完整性可以用于检测有意的干扰或攻击。即，安全性运算单元基于加密计算完整性运算值，并且CRC运算单元不基于加密计算完整性运算值。
例如，应用处理器1212可通过使用验证封包来验证要被验证的封包的完整性。在确定为存在异常的情况下，例如，可以执行以下的任何处理：诸如发送请求重传包括要验证的封包和验证封包的封包的请求消息；发送询问图像传感器1211在图像传感器1211中是否存在异常的请求消息；发送请求图像传感器1211停止图像传感器1211的部分或全部功能的请求消息；推进装置的推进停止、推进装置的推进控制的改变、用于推进控制的优先级数据的改变等。
注意，完整性运算值可以存储在例如嵌入式数据、图像数据(封包数据)、用户定义数据、写入指令、读取指令、读取响应等中的任何一个中。在这种情况下，完整性运算值可能不存储在扩展封包结尾中。例如，可以不以图像的行为单位而是以图像的帧单位存储完整性运算值，并且在这种情况下，有效地计算完整性。在这种情况下，完整性运算值被存储在例如嵌入式数据中或者在传输图像数据之后的读取响应中。
在图81的A中示出的扩展封包具有配置实例，在该配置实例中，扩展封包报头ePH、封包数据和扩展封包结尾剩余部分ePF1被设置为要验证的封包，并且存储通过使用要验证的封包进行的安全性运算所获得的计算值的扩展封包结尾端ePF0被设置为验证封包。
在图81的B中示出的扩展封包具有其中封包数据和扩展封包结尾剩余部分ePF1被设置为要验证的封包的配置实例，并且存储通过使用要验证的封包的安全性运算所获得的计算值的扩展封包结尾端ePF0被设置为验证封包。
在图81的C中示出的扩展封包具有其中扩展封包报头ePH和封包数据被设置为要验证的封包的配置实例，并且存储通过使用要验证的封包的安全性计算所获得的计算值的扩展封包结尾端ePF0被设置为验证封包。
在图81的D中示出的扩展封包具有其中封包数据被设置为要验证的封包的配置实例，并且存储通过使用要验证的封包的安全性运算所获得的计算值的扩展封包结尾端ePF0被设置为验证封包。
在图82的A中示出的扩展封包具有配置实例，其中，扩展封包报头ePH和封包数据被设置为要验证的封包，并且存储通过使用要验证的封包的安全性运算获得的计算值的扩展封包结尾剩余部分ePF1被设置为验证封包。
在图82的B中示出的扩展封包具有配置实例，其中，扩展封包报头ePH和封包数据被设置为要验证的封包，并且存储通过使用要验证的封包和扩展封包结尾ePF0的安全性运算获得的计算值的扩展封包结尾剩余部分ePF1被设置为验证封包。
在图82的C中示出的扩展封包具有其中封包数据被设置为要验证的封包的配置实例，并且存储通过使用要验证的封包的安全性运算获得的计算值的扩展封包结尾剩余部分ePF1被设置为验证封包。
在图82的D中示出的扩展封包具有其中封包数据被设置为要验证的封包的配置实例，并且存储通过使用要验证的封包和扩展封包结尾端ePF0的安全性运算所获得的计算值的扩展封包结尾剩余ePF1被设置为验证封包。
图83是用于描述在应用处理器1212中执行的数据验证处理的流程图。
在步骤S601中，当通过扩展模式兼容CSI-2接收电路1322接收从图像传感器1211发送的扩展封包时，安全单元1326接收扩展封包要验证的封包。然后，当安全单元1326完成要被验证的封包的接收时，处理进行至步骤S602。注意，即使未完成要验证的整个封包的接收，如果完成了对其中可以开始安全性运算的计算的至少一部分(例如，128位)的接收，则处理可以进行至步骤S602。在这种情况下，要验证的封包的剩余部分被连续地接收，直到整个要验证的封包的接收完成。
在步骤S602中，安全单元1326使用在步骤S601中接收的要验证的封包的至少一部分开始计算通过安全性运算获得的计算值。
在步骤S603中，安全单元1326经由扩展模式兼容CSI-2接收电路1322接收从图像传感器1211发送的验证封包。然后，当安全单元1326完成验证封包的接收并且获取存储在验证封包中的接收值(由图像传感器1211计算的计算值)时，处理进行至步骤S604。
在步骤S604中，当完成通过使用在步骤S602中开始的使用待验证封包的安全性运算所获得的计算值的计算(即，已经接收到整个待验证封包并且完成使用整个待验证封包的计算)时，安全单元1326进入步骤S605。
在步骤S605中，安全单元1326确定在步骤S603中接收的接收值是否与在步骤S604中获得的计算值匹配。
在步骤S605中，在安全单元1326确定接收值与计算值匹配的情况下，处理进行到步骤S606。在这种情况下，在步骤S606中，安全单元1326确定由扩展模式兼容CSI-2接收电路1322接收的扩展封包正常，并且处理终止。
另一方面，在步骤S605中，在安全单元1326确定接收值与计算值不匹配的情况下，处理进行至步骤S607。在这种情况下，在步骤S607中，安全单元1326确定为在由扩展模式兼容CSI-2接收电路1322接收的扩展封包中发生了异常，并且处理结束。
<使用消息计数值的功能安全性的保证>
图像传感器1211可将由消息计数器1308计数的消息计数值存储在扩展封包报头或扩展封包结尾中以确保功能安全(例如，检测和适当地处理丢失的消息)。例如，包括在图像传感器1211中的消息计数器1308可存储每次从图像传感器1211传输消息时递增或递减的消息计数值。注意，图像传感器1211可具有其中针对每个虚拟信道(虚拟信道)设置独立消息计数器1308的配置或其中提供虚拟信道共用的消息计数器1308的配置。
消息计数器1308在包括特定虚拟信道的扩展封包报头的第一封包中将消息计数值设置为初始值(例如，0或最大值)，并且每当发送包括特定虚拟信道的扩展封包报头的数据时，递增或递减消息计数值。此外，例如，在发送不包括扩展封包报头的数据的情况下，当下次发送包括扩展封包报头的数据时，消息计数器1308不递增或递减消息计数值并且重新开始计数。
消息计数器1308可以继续计数，而不管帧开始或帧结束。然后，在消息计数值被计数为指定值(例如，最大值或0)的情况下，消息计数器1308将下一消息计数值返回至初始值(例如，0或最大值)并且执行计数。注意，扩展封包报头的一部分可以存储随机值的一部分。
应注意，在消息丢失的情况下，接收消息计数值的接收侧(图像传感器1211或应用处理器1212)可立即检测丢失。例如，通过有意地混合大量的消息来入侵图像传感器1211或应用处理器1212的可用性的拒绝服务(DoS)攻击等也在接收侧立即被检测到。因此，消息计数值理想地存储在扩展封包报头中。通过使得能够在较短时间内检测这种缺失和攻击等，接收侧可在较短时间内开始对缺失和攻击做出响应，这对于例如能够进行高速行进或高速移动的推进装置尤其有利。
注意，还可以针对写入指令(CCI写)、读取指令(CCI读)或读取响应(CCI读返回值)存储消息计数值或完整性运算值，并且可以应用与扩展封包相关的元素。在这种情况下，可以应对用于写入指令、读取指令或读取响应的功能安全性、保护完整性等。
图84是示出图像传感器1211传输消息计数值的消息计数值传输处理的流程图。
在步骤S611中，消息计数器1308将消息计数值初始化并设置为0。
在步骤S612中，扩展模式兼容CSI-2传输电路1304确定是否发送扩展封包报头，并且处理等待直到确定发送扩展封包报头。然后，在步骤S612中，在扩展模式兼容CSI-2传输电路1304确定发送扩展封包报头的情况下，该处理进入步骤S613。
在步骤S613中，扩展模式兼容CSI-2传输电路1304从消息计数器1308获取消息计数值，并且将该消息计数值存储在扩展封包报头中。
在步骤S614中，扩展模式兼容CSI-2传输电路1304发送在步骤S613中存储了消息计数值的扩展封包报头。
在步骤S615中，消息计数器1308确定消息计数值是否已被计数到最大值。在步骤S615中，在消息计数器1308确定消息计数值没有被计数到最大值的情况下，处理进入步骤S616。
在步骤S616中，消息计数器1308递增消息计数值。此后，处理返回至步骤S612，并且此后重复执行类似处理。
另一方面，在步骤S615中，在消息计数器1308确定消息计数值已被计数直至最大值的情况下，处理返回至步骤S611并且初始化消息计数值，并且此后，重复执行类似处理。
注意，除了以这种方式递增消息计数值之外，例如，消息计数值可被初始化并设置为最大值，并且可执行递减。
<嵌入式数据>
将参考图85至图88描述嵌入式数据。
图像传感器1211可通过使用嵌入式数据在数据流中包括诸如装置设置信息的附加信息。嵌入式数据包括一条或多条线(行)，并且可包括图像传感器1211的配置数据、符合标准的寄存器值、供应商特定的寄存器值、帧格式的描述、统计值等中的任一者。
图85的A示出了一行的嵌入式数据，并且具有一种配置：其中，期望数据量的嵌入式数据在嵌入式数据格式码之后连续排列，并且填充字符排列在数据的剩余部分中。
嵌入式数据包括与图像数据或用户定义数据相关的信息。因此，图像数据或用户定义数据可以是压缩数据，但是嵌入式数据期望是未压缩数据(未压缩数据)。因此，在使用数据压缩的情况下，压缩数据(图像数据或用户定义数据)和未压缩数据(嵌入式数据)混合在用于高速数据传输的帧中。
在嵌入式数据中，可根据添加到嵌入式数据的寄存器值的数量提供多行(行)嵌入式数据。此外，嵌入式数据的行数可由帧中的第一嵌入式数据行中的帧格式的描述的一部分来指定。嵌入式数据的行长度可比图像数据或用户定义数据的行长度短，但是不优选超过图像数据或用户定义数据的行长度，并且嵌入式数据的行长度与图像数据或用户定义数据的行长度相同。嵌入式数据的第一像素值可指示用于嵌入式数据的格式。
如图85的B所示，可将随机值的一部分或全部存储在指示供应商特定的代码(供应商特定)或保留代码(保留用于将来使用)的嵌入式数据的至少一部分中。在帧开始与第一图像数据或用户定义数据之间，或者在最后图像数据或用户定义数据与帧结束之间，存储帧中的嵌入式数据。注意，可以省略在最后图像数据或用户定义数据与帧结束之间的嵌入式数据。
图86示出从图像传感器1211发送的两个帧的图像数据的数据结构的实例。
如图86所示，在发送第一虚拟信道的帧开始(VC1FS)之后，跟随读取指令和读取响应发送第二虚拟信道的帧开始(VC2FS)。接下来，发送第一虚拟信道的第一嵌入式数据(VC1Emb Data)和第二虚拟信道的第一嵌入式数据(VC2Emb Data)。然后，发送一个帧的第一虚拟信道的图像数据(VC1Img Data)和第二虚拟信道的用户定义数据(VC2UD Data)。当一个帧的发送完成时，发送第一虚拟信道的第二嵌入式数据(VC1Emb Data)和第二虚拟信道的第二嵌入式数据(VC2Emb Data)。此后，在发送第一虚拟信道的帧结束(VC1FE)之后，在读取指令和读取响应之后发送第二虚拟信道的帧结束(VC2FE)。
图86示出了消息计数值在第一虚拟信道与第二虚拟信道之间被共用的实例。此时，可以在第一虚拟信道和第二虚拟信道中设置独立的鼠尾(sage)计数器。此外，用户定义数据可以是图像数据等。
在此，随机值的一部分或全部被存储在例如从帧开始至帧结束的期间、或者从帧结束至帧开始的期间(帧消隐期间)中。此外，可以存储随机值的从帧开始到帧结束的时间段是例如嵌入式数据中、图像数据中、非图像数据中或行消隐时段中的任何。可替代地，该随机值可以被存储在第二虚拟信道中。
例如，通过定义帧开始和帧结束，可以通知处理器关于来自图像传感器的高速数据传输的开始和结束。此外，图像传感器可保持帧传输周期恒定。注意，嵌入式数据是其中存储指示图像数据的属性、与图像数据相关的信息(元数据)等的数据。
在本实施方式中，将描述在不妨碍图像数据的高速数据传输的情况下执行随机值的高速数据传输的实例。即，将描述串行而非并行执行图像数据的高速数据传输和随机值的高速数据传输的实例。注意，在图像数据的高速数据传输和随机值的传输(高速数据传输或低速命令传输)之间的通信路径不同的情况下，可以并行执行该传输。
注意，由于高速数据传输和低速命令传输可以通过滤波器在频率上分离，所以只要功耗不是关注的原因，就可以复制(并行执行)部分或全部传输。随机值的一部分或全部可每多个帧传输，但出于例如帧丢失的原因，期望每帧传输。例如，帧开始(Frame Start；FS)封包包括帧开始码(Data Type＝0x00)和帧结束(Frame End；FE)封包包括帧结束码(数据类型＝0x01)。
图87是用于描述图像传感器1211发送图像数据的图像数据发送处理的流程图。
在步骤S621中，扩展模式兼容CSI-2传输电路1304确定是否已经接收到用于高速数据传输的开始指令，并且处理等待直到确定已经接收到用于高速数据传输的开始指令为止。然后，在步骤S621中，在扩展模式兼容CSI-2传输电路1304确定已经接收到用于高速数据传输的开始指令的情况下，处理进行至步骤S622。
在步骤S622中，像素1301开始成像，并且从像素1301输出的图像数据经由AD转换器1302和图像处理单元1303提供给扩展模式兼容CSI-2传输电路1304。
在步骤S623中，扩展模式兼容CSI-2传输电路1304发送第一虚拟信道的帧开始。
在步骤S624中，扩展模式兼容CSI-2传输电路1304发送第二虚拟信道的帧开始。
在步骤S625中，扩展模式兼容CSI-2传输电路1304发送第一虚拟信道的第一嵌入式数据。
在步骤S626中，扩展模式兼容CSI-2传输电路1304发送第二虚拟信道的第一嵌入式数据。
在步骤S627中，扩展模式兼容CSI-2传输电路1304发送第一虚拟信道的图像数据。
在步骤S628中，扩展模式兼容CSI-2传输电路1304发送第二虚拟信道的用户定义数据。
在步骤S629中，扩展模式兼容CSI-2传输电路1304确定是否已经完成针对一个帧的图像数据的发送。
在步骤S629中，在扩展模式兼容CSI-2传输电路1304确定尚未完成针对一个帧的图像数据的发送的情况下，处理返回至步骤S627，并且此后重复执行类似处理。另一方面，在步骤S629中，在扩展模式兼容CSI-2传输电路1304确定已经完成针对一个帧的图像数据的发送的情况下，处理进行至步骤S630。
在步骤S630中，扩展模式兼容CSI-2传输电路1304发送第一虚拟信道的第二嵌入式数据。
在步骤S631中，扩展模式兼容CSI-2传输电路1304发送第二虚拟信道的第二嵌入式数据。
在步骤S632中，扩展模式兼容CSI-2传输电路1304发送第一虚拟信道的帧结束。
在步骤S633中，扩展模式兼容CSI-2传输电路1304发送第二虚拟信道的帧结束。
在步骤S634中，扩展模式兼容CSI-2传输电路1304确定是否已接收到高速数据传输的结束指令。
在步骤S634中，在扩展模式兼容CSI-2传输电路1304确定未接收到高速数据传输的结束指令的情况下，处理返回至步骤S622，并且此后重复类似处理。另一方面，在步骤S634中，在扩展模式兼容CSI-2传输电路1304确定已经接收到高速数据传输的结束指令的情况下，终止处理。
可以连续地执行成像的开始直到接收到高速数据传输的结束指令，或者可以在每次接收到高速数据传输的开始指令时执行成像。
图88是用于描述图像传感器1211发送完整性运算值的完整性运算值发送处理的流程图。
在步骤S641中，安全单元1310导出第一虚拟信道的会话密钥。
在步骤S642中，安全单元1310导出第二虚拟信道的会话密钥。
在步骤S643，消息计数器1308将消息计数值的较高位计数值初始化并设置为0。
在步骤S644，消息计数器1308将消息计数值的较低位计数值初始化并设置为0。
在步骤S645中，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S646。
在步骤S646中，扩展模式兼容CSI-2传输电路1304确定是否发送第一虚拟信道的扩展封包。
在步骤S646中，在扩展模式兼容CSI-2传输电路1304确定不发送第一虚拟信道的扩展封包的情况下，处理返回至步骤S645，并且此后重复执行类似处理。另一方面，在步骤S646中，在扩展模式兼容CSI-2传输电路1304确定发送第一虚拟信道的扩展封包的情况下，处理进行至步骤S647。
在步骤S647中，安全单元1310使用在步骤S641中导出的第一虚拟信道的会话密钥计算第一虚拟信道的完整性运算值。
在步骤S648中，扩展模式兼容CSI-2传输电路1304将在步骤S647中计算的完整性运算值布置在第一虚拟信道的扩展封包中，并且发送第一虚拟信道的扩展封包。
在步骤S649中，扩展模式兼容CSI-2传输电路1304确定是否发送第二虚拟信道的扩展封包，并等待该处理，直到确定发送第二虚拟信道的扩展封包为止。然后，在步骤S649中，在扩展模式兼容CSI-2传输电路1304确定发送第二虚拟信道的扩展封包的情况下，处理进行至步骤S650。
在步骤S650中，安全单元1310使用在步骤S642中导出的第二虚拟信道的会话密钥计算第二虚拟信道的完整性运算值。
在步骤S651中，扩展模式兼容CSI-2传输电路1304将在步骤S650中计算的完整性运算值布置在第二虚拟信道的扩展封包中，并发送第二虚拟信道的扩展封包。
在步骤S652中，消息计数器1308确定消息计数值的低位计数值是否已被计数到最大值。
在步骤S652中，在消息计数器1308确定消息计数值的低位计数值还未被计数至最大值的情况下，处理进行至步骤S653。在步骤S653中，在消息计数器1308递增消息计数值的低位计数值之后，处理返回至步骤S645，并且此后重复执行类似处理。
另一方面，在步骤S652中，在消息计数器1308确定消息计数值的低位计数值已被计数至最大值的情况下，处理进行至步骤S654。在步骤S654中，在消息计数器1308增加消息计数值的高位计数值之后，处理返回至步骤S644，并且此后重复执行类似处理。
然后，在步骤S645中，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S655。
在步骤S655中，安全单元1310丢弃或清除第一虚拟信道的会话密钥和第二虚拟信道的会话密钥，然后终止处理。
<图像数据的数据结构的变形例>
将参考图89至图91描述图像数据的数据结构。
图89示出图像数据的数据结构的第一变形例。
在图89中所示的图像数据的数据结构中，使用对第一虚拟信道和第二虚拟信道共用的消息计数值。
注意，可以使会话密钥或消息计数器对于第一虚拟信道和第二虚拟信道共用。此外，图像数据或嵌入式数据可以用其他数据来替换。例如，可以用图像数据来替换嵌入式数据。同时，可通过跨虚拟信道(VC)执行计数来使消息计数器共用。
图90示出图像数据的数据结构的第二变形例。
在图90中所说明的图像数据的数据结构中，独立的消息计数值分别用于Write(CCI写入指令)、Read1(CCI读取指令)和Read2(CCI读取响应)。
图91示出图像数据的数据结构的第三变形例。
在图91所示的图像数据的数据结构中，在CCI上行链路(Write和Read1)和CCI下行链路(Read2)中分别提供独立的消息计数值。即，可使消息计数值对Write(CCI写入指令)和Read1(CCI读取指令)是共用的。
<随机值>
由于随机值例如是针对同一会话密钥一次性使用的数字，所以随机值被用作使用会话密钥进行加密操作或解密操作的初始化向量的一部分或全部。因此，从图像传感器1211发送图像传感器1211用于加密操作的随机值，并且由应用处理器1212接收该随机值，从而应用处理器1212可获得解密操作所需的随机值。
也就是说，期望图像传感器1211在发送图像数据之前发送随机值。具体地，前一帧中的最后图像数据的发送完成之后但在特定帧中的第一图像数据的发送开始之前，与特定帧中的图像数据相对应的随机值的一部分或全部被存储在读取响应、用户定义数据、嵌入式数据(紧接在图像数据之后)、帧结束、帧开始、嵌入式数据(紧接在图像数据之前)等中的任一个中。
例如，作为低速命令传输的主设备的应用处理器1212可响应于从图像传感器1211通过高速数据传输(作为低速命令传输的从属)发送的帧开始、嵌入式数据、图像数据、用户定义数据、帧结束等中的任何的接收开始或接收完成，通过低速命令传输将用于请求读取图像传感器1211中的随机值的读取指令发送到应用处理器1212。
图像传感器1211接收从应用处理器1212发送的读取指令，并通过高速数据传输发送与其对应的随机值。然后，可以通过应用处理器1212接收读取响应来将随机值从图像传感器1211通知给应用处理器1212。
由于在应用处理器1212中使用从图像传感器1211通知的随机值，因此期望在不发送图像数据的帧结束和下一帧开始之间的帧消隐时段内发送随机值的一部分或全部。注意，对于第一帧(帧号＝1)，第一随机值(初始值)可以在图像传感器1211和应用处理器1212之间预先约定，或者第一随机值的一部分或全部可以在开始发送图像数据之前由应用处理器1212接收。
该读取指令例如对应于I2C或I3C标准中的读取/写入的读取。同时，读取响应对应于读返回值。注意，为了调整读取响应的定时，可以在从通过应用处理器1212接收高速数据传输到发送读取指令的时段中设置等待预定时间的定时器。
<I2C和I3C>
内部集成电路串行总线(有时被称为I2C总线或I2C总线)是旨在用于将低速外围装置连接至应用处理器1212的串行单端计算机总线。I2C总线是多主总线，在该总线上，每个装置可以充当I2C总线上传输的各种消息的主设备和从设备。
I2C总线可以仅使用包括串行数据线(SDA)和串行时钟线(SCL)的两个双向开漏连接器来发送数据。连接器通常包括由上拉电阻器终止的信号线。管理I2C总线的操作的协议定义消息的基本类型，并且这些消息中的每个以START开始并以STOP结束。I2C总线使用7位寻址并且定义两种类型的节点。
主节点是生成时钟并发起与从节点通信的节点。从节点是接收时钟并且在被主节点寻址时进行响应的节点。I2C总线是多主节点总线，这意味着可以存在任何数量的主节点。此外，主设备和从设备的角色可以在消息之间改变(即，在STOP被发送之后)。在作为相机实现方式的本实施例中，单向传输可以用于从传感器捕获图像并且将这样的图像数据传输至基带处理器中的存储器，而控制数据可以在基带处理器与传感器以及其他外围装置之间交换。
在一个实例中，相机控制接口(CCI)协议可用于基带处理器与图像传感器(或一个或一个以上从节点)之间的这种控制数据。在一个实例中，CCI协议可经由图像传感器与基带处理器之间的I2C串行总线来实现。常规I2C系统(即，基于相机控制接口的相机系统)对每个从设备使用单独的中断(IRQ)线以允许从节点向主节点指示从节点期望使用总线。
同时，I3C的通信标准是用于经由用于发送数据的SDA线和用于发送时钟信号的SCL线的两条信号线执行通信的标准。在该标准中，装置(诸如，处理器)被分类为操作为主设备或从设备的装置以及仅操作为从设备的装置。例如，处理器作为主设备或从设备操作，并且传感器仅作为从设备操作。
这里，主设备是控制从设备的装置，从设备是根据主设备的控制操作的装置。此外，在I3C中，多个从设备可连接至一个主设备。此外，多个主设备可以将信号传输至一个从设备，并且此通信在下文中被称为“多主设备通信”。此外，可以在不经过主设备的情况下在从设备之间执行通信，并且此通信被称为“对等通信”。此外，当SDA线由于另一装置的通信处于通信(忙碌)中时，从设备可中断通信以执行通信，并且此中断被称为“带内中断”。
在上述多主设备通信、带内中断和对等通信中，由多个装置同时发送的信号可能在SDA线上冲突。例如，当某个从设备执行带内中断并且将信号发送到主设备而主设备将信号发送到另一从设备时，来自主设备的信号和来自从设备的信号彼此冲突。因此，I3C中的装置具有检测冲突并仲裁装置的功能。
由于通过使用上述中断功能容易地与应用处理器1212同步，所以通过在由图像传感器1211确定的定时处执行中断来根据由图像传感器1211确定的定时发送随机值相关信息。注意，图像传感器1211可通过带内中断触发读取指令并相应地发送读取响应，或者可省略通过带内中断的读取指令并发送读取响应。
<完整性运算值处理>
将参考图92至图95描述完整性运算值处理。
图92是用于描述图像传感器1211发送完整性运算值的完整性运算值处理的第一处理实例的流程图。
在步骤S661中，安全单元1310导出会话密钥。
在步骤S662中，消息计数器1308将消息计数值初始化并设置为0。
在步骤S663，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S664。
在步骤S664中，扩展模式兼容CSI-2传输电路1304确定是否发送扩展封包。
在步骤S664中，在扩展模式兼容CSI-2传输电路1304确定不发送扩展封包的情况下，处理返回至步骤S663，并且此后重复执行类似处理。另一方面，在步骤S664中，在扩展模式兼容CSI-2传输电路1304确定发送扩展封包的情况下，处理进行至步骤S665。
在步骤S665中，安全单元1310使用消息计数值来计算完整性运算值。
在步骤S666，扩展模式兼容CSI-2传输电路1304将步骤S665中计算的完整性运算值布置在扩展封包中，并且发送扩展封包。
在步骤S667中，消息计数器1308确定消息计数值是否已被计数至最大值。在步骤S667中，在消息计数器1308确定消息计数值还未被计数至最大值的情况下，处理进行至步骤S668。
在步骤S668，消息计数器1308递增消息计数值。此后，处理返回至步骤S663，并且此后重复执行类似处理。
另一方面，在步骤S667中，在消息计数器1308确定消息计数值已被计数达到最大值的情况下，处理进行至步骤S669。在步骤S669，在安全单元1310更新会话密钥之后，处理返回至步骤S662，并且此后重复执行类似处理。
然后，在步骤S663，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S670。
在步骤S670中，安全单元1310丢弃或清除会话密钥，然后终止处理。
如上所述，在每个图像行的MAC值被计算、存储在扩展封包结尾中并且发送的情况下，每次发送扩展封包时，消息计数值增加1，因此，消息计数值在216次中循环。例如，在以60fps的帧速率以及4096×2160(水平×垂直)的像素数量传输4K数据的情况下，假设传输通过在一个帧中添加帧开始、嵌入式数据、以及帧结束的3行而获得的2163行的扩展封包，则消息计数值在(216)/(60×2163)≈0.5秒内循环。
例如，在图像传感器1211使用具有相同会话密钥的相同初始化向量值计算诸如消息的伽罗瓦消息认证码(GMAC)值的MAC值并且发送消息和MAC值的情况下，攻击者可通过计算消息和MAC值的联立方程容易地获得会话密钥。在这种情况下，攻击者变得能够自由篡改MAC值，并且能够执行诸如消息欺骗、篡改和重放的攻击。因此，在消息计数值用作初始化向量的可变部分(即，随机值)的情况下，需要在消息计数值循环之前更新会话密钥。例如，通过使用帧消隐或线消隐时段，可以在随机值循环(轮回)之前更新会话密钥。
图93是用于描述图像传感器1211发送完整性运算值的完整性运算值处理的第二处理实例的流程图。
在步骤S681，安全单元1310导出会话密钥。
在步骤S682中，消息计数器1308将消息计数值的高位计数值初始化并设置为0。
在步骤S683，消息计数器1308将消息计数值的低位计数值初始化并设置为0。
在步骤S684中，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S685。
在步骤S685中，扩展模式兼容CSI-2传输电路1304确定是否发送扩展封包。
在步骤S685中，在扩展模式兼容CSI-2传输电路1304确定不发送扩展封包的情况下，处理返回到步骤S684，并且此后重复执行类似的处理。另一方面，在步骤S685中，在扩展模式兼容CSI-2传输电路1304确定发送扩展封包的情况下，处理进行到步骤S686。
在步骤S686，安全单元1310使用消息计数值的高位计数值和低位计数值来计算完整性运算值。
在步骤S687中，扩展模式兼容CSI-2传输电路1304将在步骤S686中计算的完整性运算值布置在扩展封包中，并且发送扩展封包。
在步骤S688，消息计数器1308确定消息计数值的低位计数值是否已经被计数到最大值。在步骤S688，在消息计数器1308确定消息计数值的低位计数值没有被计数到最大值的情况下，处理前进到步骤S689。
在步骤S689，消息计数器1308递增消息计数值的低位计数值。此后，处理返回到步骤S684，并且此后重复地执行类似的处理。
另一方面，在步骤S688，在消息计数器1308确定消息计数值的低位计数值已经被计数到最大值的情况下，处理前进到步骤S690。在步骤S690中，在消息计数器1308递增消息计数值的高位计数值之后，处理返回到步骤S683，并且此后重复执行类似的处理。
然后，在步骤S684中，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S691。
在步骤S691，安全单元1310丢弃或清除会话密钥，然后终止处理。
这样，在消息计数值被用作初始化向量的一部分(即，随机值的一部分)(例如，低位的计数值)的情况下，可以通过组合使用随机值的剩余部分(例如，高位的计数值)来使会话密钥的更新不必要并且降低会话密钥的更新频率。
例如，在以60fps的帧速率以及4096×2160(水平×垂直)的像素数量传输4K数据的情况下，随机值循环。
-当一起使用具有16位宽度的高位计数值时，232÷60÷2163≈9小时，
-当一起使用具有20位宽度的高位计数值时，236÷60÷2163≈6天，
-当同时使用具有24位宽度的高位计数值时，240÷60÷2163≈98天，
-当一起使用具有28位宽度的高位计数值时，244÷60÷2163≈4年，或
-当一起使用具有32位宽度的高位计数值时，248÷60÷2163≈69年。
这里，在图像传感器1211或应用处理器1212的电力供应重新开始(在关闭之后打开)的情况下，在再次发送受保护的图像数据之前需要密钥交换，并且相应地更新会话密钥。例如，通常，在车载应用中，6天以上电力供应不重新启动的可能性低，并且4年以上电力供应不重新启动的可能性极低。因此，对于高位计数值，20位至28位的宽度是足够的。当然，本实施例不限于此，并且可以使用大于上述位宽度的位宽度。
例如，在供油型车辆的情况下，在供油时简单地断开电源，并且即使在供油型或可再充电车辆的情况下，当在车辆检查时断开电源时，在再次发送受保护的图像数据之前需要密钥更换，从而相应地更新会话密钥。例如，在假设用于物联网或者智能物联网(IoT)的图像传感器的情况下，还假设不重启电源。因此，32位宽度对于更高位计数值是足够的。当然，本实施例不限于此，并且可以使用大于上述位宽度的位宽度。
图94是用于描述完整性运算值处理的第三处理实例的流程图，其中图像传感器1211发送完整性运算值。
在步骤S701中，安全单元1310导出会话密钥。
在步骤S702中，消息计数器1308将帧计数值初始化并设置为1。
在步骤S703中，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S704。
在步骤S704中，扩展模式兼容CSI-2传输电路1304确定是否发送扩展封包。
在步骤S704中，在扩展模式兼容CSI-2传输电路1304确定不发送扩展封包的情况下，处理返回至步骤S703，并且此后重复执行类似处理。另一方面，在步骤S704中，在扩展模式兼容CSI-2传输电路1304确定发送扩展封包的情况下，处理进行到步骤S705。
在步骤S705中，安全单元1310准备使用帧计数值执行的完整性运算值的计算。
在步骤S706中，扩展模式兼容CSI-2传输电路1304发送扩展封包。
在步骤S707中，扩展模式兼容CSI-2传输电路1304确定帧中除帧结束以外的发送是否已完成。在步骤S707中，在扩展模式兼容CSI-2传输电路1304确定帧中除帧结束以外的发送尚未完成的情况下，处理返回至步骤S703，并且此后重复执行类似处理。另一方面，在步骤S707中，在扩展模式兼容CSI-2传输电路1304确定帧中除帧结束以外的发送已经完成的情况下，处理进入步骤S708。
在步骤S708中，安全单元1310完成使用帧计数值执行的完整性运算值的计算。
在步骤S709中，扩展模式兼容CSI-2传输电路1304将完整性运算值与帧结束一起发送。
在步骤S710中，消息计数器1308确定帧计数值是否已被计数到指定值。在步骤S710中，在消息计数器1308确定帧计数值没有被计数到指定值的情况下，处理进行到步骤S711。
在步骤S711中，消息计数器1308递增帧计数值。此后，处理返回至步骤S703，并且此后重复执行类似处理。
另一方面，在步骤S710中，在消息计数器1308确定帧计数值已被计数达到指定值的情况下，处理进行至步骤S712。在步骤S712中，在安全单元1310更新会话密钥之后，处理返回到步骤S702，并且此后重复执行类似的处理。
然后，在步骤S703中，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S713。
在步骤S713中，安全单元1310丢弃或清除会话密钥，然后终止处理。
如上所述，图像传感器1211可为每个图像帧计算完整性运算值，并且共同传输完整性运算值。在这种情况下的完整性运算值被存储在图像数据之后的嵌入式数据中、用户定义数据中或读取响应中，并被发送。
帧开始或帧结束可包括例如16位帧号。该帧号在对应于预定帧的帧开始和帧结束之间可以是相同的。当使用16位帧号时，期望但不限于非零值以将帧号与帧号不起作用并且保持被设置为0的使用情况区分开。
对于具有相同虚拟信道的每个帧开始封包，帧号递增1或2，并且被周期性地重置为1。例如，在图像帧由于损坏而被掩蔽(即，不被发送)的情况下，帧号可增加2。
为了应对这种情况，根据需要，可以在帧号的序列中自由混合增加1和增加2。即，在帧号增加1的情况下，帧号在216-1次中循环。此外，在帧速率是60fps的情况下，帧号在(216-1)÷60≈18分钟左右循环。
例如，在图像传感器1211使用具有相同会话密钥的相同初始化向量值计算诸如消息的伽罗瓦消息认证码(GMAC)值的MAC值并且发送消息和MAC值的情况下，攻击者可通过计算消息和MAC值的联立方程容易地获得会话密钥。在这种情况下，攻击者变得能够自由篡改MAC值，并且能够执行诸如消息欺骗、篡改和重放的攻击。
因此，在将帧号用作初始化向量，即随机值的情况下，需要在帧号循环之前更新会话密钥。例如，通过使用帧消隐或线消隐时段，可以在随机值循环(轮回，go round)之前更新会话密钥。
图95是用于描述图像传感器1211发送完整性运算值的完整性运算值处理的第四处理实例的流程图。
在步骤S721中，安全单元1310导出会话密钥。
在步骤S722中，消息计数器1308将帧计数值的高位计数值初始化并设置为0。
在步骤S723中，消息计数器1308将帧计数值的低位计数值初始化并设置为1。
在步骤S724中，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S725。
在步骤S725中，扩展模式兼容CSI-2传输电路1304确定是否发送扩展封包。
在步骤S725中，在扩展模式兼容CSI-2传输电路1304确定不发送扩展封包的情况下，处理返回至步骤S724，并且此后重复执行类似处理。另一方面，在步骤S725中，在扩展模式兼容CSI-2传输电路1304确定发送扩展封包的情况下，处理进行至步骤S726。
在步骤S726中，安全单元1310准备使用帧计数值的高位计数值和低位计数值执行的完整性运算值的计算。
在步骤S727中，扩展模式兼容CSI-2传输电路1304发送扩展封包。
在步骤S728中，扩展模式兼容CSI-2传输电路1304确定是否已经完成除了帧中的帧结束以外的发送。在步骤S728中，在扩展模式兼容CSI-2传输电路1304确定帧中除帧结束以外的发送尚未完成的情况下，处理返回至步骤S724，并且此后重复执行类似处理。另一方面，在步骤S728中，在扩展模式兼容CSI-2传输电路1304确定帧中除帧结束以外的发送已经完成的情况下，处理进行到步骤S729。
在步骤S729中，安全单元1310使用帧计数值的高位计数值和低位计数值完成完整性运算值的计算。
在步骤S730中，扩展模式兼容CSI-2传输电路1304将完整性运算值与帧结束一起发送。
在步骤S731中，消息计数器1308确定帧计数值的低位计数值是否已被计数到指定值。在步骤S731中，在消息计数器1308确定帧计数值的低位计数值没有被计数到指定值的情况下，处理进行到步骤S732。
在步骤S732中，消息计数器1308递增帧计数值的低位计数值。此后，处理返回至步骤S724，并且此后重复执行类似处理。
另一方面，在步骤S731中，在消息计数器1308确定帧计数值的低位计数值已被计数达到指定值的情况下，处理进行到步骤S733。在步骤S733中，在安全单元1310增加帧计数值的高位计数值之后，处理返回至步骤S723，并且此后，重复执行类似处理。
然后，在步骤S724中，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S734。
在步骤S734中，安全单元1310丢弃或清除会话密钥，然后终止处理。
以此方式，在作为初始化向量的一部分，即随机值的一部分(例如低位计数值)，使用帧号的情况下，不需要会话密钥的更新，也可以组合使用随机值(例如高位的计数值)的剩余部分来降低会话密钥的更新频率。
例如，在增量为1且60fps的情况下，随机值如下循环：
-(220-1)÷60≈5小时，同时使用具有4位宽度的高位计数值，
-(224-1)÷60≈78小时，同时使用具有8位宽度的高位计数值，
-(228-1)÷60≈52天，同时使用具有12位宽度的高位计数值，
-(232-1)÷60≈828天，同时使用具有16位宽度的高位计数值，
-(236-1)÷60≈36年，此时同时使用具有20位宽度的高位计数值，或
-(240-1)÷60≈581年，同时使用具有24位宽度的高位计数值。
这里，在图像传感器1211或应用处理器1212的电源重新开始(在关闭之后打开)的情况下，在再次发送受保护的图像数据之前需要密钥交换，并且相应地更新会话密钥。例如，通常，在车载应用中，3天以上电源不重新启动的可能性低，并且2年以上电源不重新启动的可能性极低。因此，8位至16位宽度对于更高位计数值是足够的。当然，本实施例不限于此，并且可以使用大于上述位宽度的位宽度。
例如，在供油型车辆的情况下，在供油时简单地断开电源，并且即使在供油型或可再充电车辆的情况下，当在车辆检查时断开电源时，在再次发送受保护的图像数据之前需要密钥更换，从而相应地更新会话密钥。例如，在假设用于物联网或者智能物联网(IoT)的图像传感器的情况下，还假设不重启电源。因此，对于更高位计数值，20位至24位宽度是足够的。当然，本实施例不限于此，并且可以使用大于上述位宽度的位宽度。
<加密和解密>
将参考图96至图100描述加密和解密。
图96示出了存储初始化向量的初始计数器块的实例。
如图96所示，通过使初始化向量的结构共用，同时使虚拟信道之间的值不同，可以实现更简单的实现方式。并且，CSI-2的虚拟信道之间使用公共会话密钥或计数值。
128位的初始计数器块被用于通过高级加密标准(AES)-伽罗瓦/计数器模式(GCM)或伽罗瓦消息认证码(AES-GMAC)的加密或消息认证。
例如，如图97所示的GHASH函数、如图98所示的GCTR函数等可用于对初始计数器块进行加密。
初始化向量用于使用如图99中所示的具有认证加密功能的认证加密(GCM-AE)函数进行加密和使用如图100中所示的具有认证解密功能的认证解密(GCM-AD)函数进行解密。注意，初始化向量的使用可限于加密(解密)或消息认证中的任一者。
例如，当初始化向量IV、明文P和附加认证数据A输入到GCM-AE函数时，明文P被加密，并且结果，加密文本C和认证标签T被输出。
同时，当初始化向量IV、加密文本C、附加认证数据A和认证标签T被输入到GCM-AD函数时，加密文本C被解密并且明文P被输出，并且在认证标签T和认证标签T’不匹配的情况下，指示认证失败的结果(FAIL)被输出。
<完整性运算值的第一传输方法>
将参考图101至图105描述完整性运算值MAC的第一传输方法。
图101示出了图像数据的数据结构，其中，针对每行传输完整性运算值MAC。用于以这种方式发送每个行的完整性运算值MAC的发送方法在下文中适当地称为行MAC方法。
如图所示，针对CSI-2的每一行、每一CCI命令或每一CCI返回传输完整性运算值MAC。这样，在初始化向量的值相同的情况下，需要更多的会话密钥。
例如，假设使用相同初始化向量和相同会话密钥成为完整性运算值MAC篡改的原因。
因此，对于相同的初始化向量，建议对每个VC0命令、VC0返回、VC1和VC2使用总共四个会话密钥。
同时，对于不同的初始化向量，建议使用不多于三个会话密钥。
在第一种情况下，在VC0命令中使用用于上行链路的第一会话密钥，并且在VC0返回、VC1和VC2中使用用于下行链路的第二会话密钥。在第二种情况下，在VC0中使用CCI的第一会话密钥，在VC1和VC2中使用CSI-2的第二会话密钥。在第三种情况下，在VC0、VC1和VC2中对于全部使用一个会话密钥。
此外，总共使用两个消息计数值。在VC1和VC2之间使用CSI-2中的公共消息计数值，在VC0中使用CCI中的独立消息计数值。
注意，示出了在CSI-2的虚拟信道之间使用公共消息计数器的实例，但是可在CSI-2的虚拟信道之间使用独立消息计数器。在这种情况下，可以删除流程的一部分。此外，在这种情况下，消息计数器可以在CSI-2的虚拟信道之间同步或异步。例如，从实现效率的角度来看，可能期望使消息计数器共用，或者从安全性的角度来看，可能期望使消息计数器独立。
例如，图102中所示结构的初始化向量为所有虚拟信道(CSI-2和CCI)所共用。然后，初始化向量的一部分或全部从发送侧发送到接收侧，如图103所示。注意，指定值(例如，02或12)可以用作保留(Res)2位。此外，预先交换的值可被用作源ID或最终目的地ID。此外，接收侧可以使用由接收侧掌握的值而不是从发送侧发送到接收侧的值作为初始化向量的一部分或全部。此外，在从发送侧向接收侧发送初始化向量的一部分或全部的情况下，期望在不加密(明文)的情况下发送初始化向量的一部分或全部，但是本实施方式不限于此。
尽管图103示出了附加消息计数值存储在扩展封包报头外部并发送的实例，但附加消息计数值和消息计数值可存储在扩展封包报头外部并发送。在这种情况下，消息计数值也可被存储在扩展封包报头中并被发送。注意，可以仅使用附加消息计数值的一部分。例如，在初始化向量中的附加消息计数值是40位的情况下，实际附加消息计数值可以是16位计数器，计数值可存储在初始化向量中的附加消息计数值的一部分(例如，LSB侧的16位)中，指定值(例如，024或124)可存储在初始化向量中的附加消息计数值的其余部分(例如，MSB侧的24位)中。此外，指定值(例如，040或140)可存储在初始化向量中的所有附加消息计数值中。
此外，从图像传感器1211向应用处理器1212发送和设置的初始化向量的一部分或全部可被配置为不从图像传感器1211向应用处理器1212发送，并且可基于预先约定、寄存器设置等来设置。
图104示出CSI-2或CCI的扩展格式的实例。
例如，使用所需扩展封包报头ePH0的头位(保留的以及eVC)或准头位(eVC)作为初始化向量。然后，紧接在接收位之后，应用处理器1212可开始计算上述图98中示出的GCTR函数。即，发送侧和接收侧可以被配置为能够在发送或接收eVC值之前确定除了eVC之外的初始化向量分量的值。
将参考图105所示的流程图来描述由图像传感器1211发送各行的完整性运算值MAC的行MAC方法的发送处理。
在步骤S741中，安全单元1310导出公共会话密钥。
在步骤S742中，消息计数器1308将消息计数值的高位计数值初始化并设置为0。
在步骤S743，消息计数器1308将消息计数值的低位计数值初始化并设置为0。
在步骤S744中，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S745。
在步骤S745中，扩展模式兼容CSI-2传输电路1304确定是否发送第一虚拟信道的扩展封包。
在步骤S745中，在扩展模式兼容CSI-2传输电路1304确定不发送第一虚拟信道的扩展封包的情况下，处理返回至步骤S744，并且此后重复执行类似处理。另一方面，在步骤S745中，在扩展模式兼容CSI-2传输电路1304确定发送第一虚拟信道的扩展封包的情况下，处理进行到步骤S746。
在步骤S746中，安全单元1310使用在步骤S741中导出的公共会话密钥来计算第一虚拟信道的完整性运算值。
在步骤S747中，扩展模式兼容CSI-2传输电路1304将在步骤S746中计算的完整性运算值布置在第一虚拟信道的扩展封包中，并且发送第一虚拟信道的扩展封包。
在步骤S748中，扩展模式兼容CSI-2传输电路1304确定是否发送第二虚拟信道的扩展封包，并等待该处理，直到确定发送第二虚拟信道的扩展封包为止。然后，在步骤S748中，在扩展模式兼容CSI-2传输电路1304确定发送第二虚拟信道的扩展封包的情况下，处理进行到步骤S749。
在步骤S749，安全单元1310使用在步骤S741导出的公共会话密钥来计算第二虚拟信道的完整性运算值。
在步骤S750中，扩展模式兼容CSI-2传输电路1304将在步骤S749中计算的完整性运算值布置在第二虚拟信道的扩展封包中，并发送第二虚拟信道的扩展封包。
在步骤S751中，消息计数器1308确定消息计数值的低位计数值是否已被计数到最大值。
在步骤S751中，在消息计数器1308确定消息计数值的低位计数值没有被计数到最大值的情况下，处理进行到步骤S752。在步骤S752中，在消息计数器1308递增消息计数值的低位计数值之后，处理返回至步骤S744，并且此后重复执行类似处理。
另一方面，在步骤S751中，在消息计数器1308确定消息计数值的低位计数值已被计数到最大值的情况下，处理进行到步骤S753。在步骤S753中，在消息计数器1308递增消息计数值的高位计数值之后，处理返回至步骤S743，并且此后重复执行类似处理。
然后，在步骤S744中，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S754。
在步骤S754中，安全单元1310丢弃或清除公共会话密钥，然后终止处理。
如上所述，初始化向量配置包括扩展的虚拟信道eVC或虚拟信道VC，使得会话密钥和消息计数器能够在多种类型的CSI-2虚拟信道之间共用。此外，可以使会话密钥在CSI-2和CCI之间共用。应注意，例如，在CSI-2虚拟信道之间的大量行不同的情况下，可通过使用虚拟数据统一行数来使消息计数器共用。
参考图105描述的处理是消息计数值被设置为较低位计数值并且附加消息计数值被设置为较高位计数值的实例，并且是存在两种类型的CSI-2虚拟信道的情况下的实例。
同时，初始化向量配置可以包括扩展数据类型eDT或数据类型DT。在这种情况下，类似地，可以使会话密钥和消息计数器在多个数据类型之间共用。
注意，由于保留Reserved、扩展虚拟信道eVC和扩展数据类型eDT被存储为CSI-2/CCI扩展格式实例的头位，所以当接收到一些或全部时，处理器可立即开始计算GCTR运算的一部分(CIPHK)。此外，在图像传感器1211和应用处理器1212之间预先协定帧配置的情况下，应用处理器1212可开始计算GCTR运算的一部分(CIPHK)，而不接收它们。即，这些初始化向量配置在运算时间方面是有利的。
注意，通过将附加消息计数值从图像传感器1211发送到应用处理器1212，应用处理器1212可使用该值作为初始化向量。因此，应用处理器1212可被配置为从实现效率的角度不提供附加消息计数器，或者可被配置为从安全的角度提供附加消息计数器。此外，在应用处理器1212被配置为提供附加消息计数器的情况下，图像传感器1211可被配置为不发送附加消息计数值。即，在初始化向量包括扩展虚拟信道eVC的情况下，附加消息计数值的传输不是必要的。
<完整性运算值的第二配置实例>
将参考图106至图109描述完整性运算值MAC的第二配置实例。
图106示出了针对每个帧布置完整性运算值MAC的图像数据的数据结构。用于以这种方式发送每个帧的完整性运算值MAC的发送方法在下文中适当地称为帧MAC方法。
如图所示，仅布置在帧结束的扩展封包结尾剩余部分ePF1中的完整性运算值MAC是有效的，并且其他完整性运算值MAC是无效的。此外，完整性运算值MAC从扩展封包报头ePH、封包数据和除了帧的最后扩展封包结尾ePF之外的每行的扩展封包结尾ePF导出。
例如，图107中所示的结构的初始化向量对行MAC和帧MAC(仅CSI-2)是共通的。然后，如图108所示，初始化向量从发送侧发送到接收侧。
图108示出了其中附加帧号被存储在扩展封包报头外部并被传输的实例。另外，附加帧号和帧号可存储在扩展封包报头的外部并被发送。在这种情况下，帧号也可以存储在帧开始中并被发送。注意，可以仅使用附加帧号的一部分。例如，在初始化向量中的附加帧号是24位的情况下，实际的附加帧号可以是16位计数器，并且计数值可以存储在初始化向量中的附加帧号的一部分(例如，LSB侧的16位)中，并且指定值(例如，08或18)可以存储在初始化向量中的附加帧号的其余部分(例如，MSB侧的8位)中。此外，指定值(例如，024或124)可存储在初始化向量中的所有附加帧号中。
此外，从图像传感器1211向应用处理器1212发送和设置的初始化向量的一部分或全部可被配置为不从图像传感器1211向应用处理器1212发送，并且可基于预先约定、寄存器设置等来设置。
将参考图109所示的流程图描述由图像传感器1211发送每个帧的完整性运算值MAC的帧MAC方法的发送处理。
在步骤S761中，安全单元1310导出会话密钥。
在步骤S762中，消息计数器1308将使用附加帧号的高位计数值初始化并设置为0。
在步骤S763，消息计数器1308将使用帧号的低位计数值初始化并设置为1。
在步骤S764中，扩展模式兼容CSI-2传输电路1304确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S765。
在步骤S765中，扩展模式兼容CSI-2传输电路1304确定是否发送扩展封包。
在步骤S765中，在扩展模式兼容CSI-2传输电路1304确定不发送扩展封包的情况下，处理返回至步骤S764，并且此后重复执行类似处理。另一方面，在步骤S765中，在扩展模式兼容CSI-2传输电路1304确定发送扩展封包的情况下，处理进行到步骤S766。
在步骤S766，扩展模式兼容CSI-2传输电路1304发送扩展封包。
在步骤S767中，消息计数器1308确定消息计数值是否已被计数到最大值。
在步骤S767中，在消息计数器1308确定消息计数值已被计数到最大值的情况下，处理进行到步骤S768。在步骤S768，消息计数器1308将消息计数值初始化并设置为0。
另一方面，在步骤S767中，在消息计数器1308确定消息计数值没有被计数到最大值的情况下，处理进行到步骤S769。在步骤S769，消息计数器1308递增消息计数值。
在步骤S768和S769中的处理之后，处理进行到步骤S770，扩展模式兼容CSI-2传输电路1304确定帧中的所有扩展封包的发送是否已经完成。
在步骤S770中，在扩展模式兼容CSI-2传输电路1304确定帧中所有扩展封包的发送尚未完成的情况下，处理返回到步骤S764，并且此后重复执行类似处理。
另一方面，在步骤S770中，在扩展模式兼容CSI-2传输电路1304确定帧中所有扩展封包的发送已经完成的情况下，处理进行到步骤S771。
在步骤S771，消息计数器1308确定低位计数值是否已经被计数到指定值。
在步骤S771中，在消息计数器1308确定低位计数值还没有被计数到指定值的情况下，处理进行到步骤S772。在步骤S772中，在消息计数器1308递增低位计数值之后，处理返回到步骤S764，并且此后重复执行类似处理。
另一方面，在步骤S771中，在消息计数器1308确定低位计数值已经被计数到指定值的情况下，处理进行到步骤S773。在步骤S773，在消息计数器1308递增高位计数值之后，处理返回到步骤S763，并且此后重复执行类似处理。
然后，在步骤S764中，在扩展模式兼容CSI-2传输电路1304确定终止会话的情况下，处理进行至步骤S774。
在步骤S774中，安全单元1310丢弃或清除公共会话密钥，然后终止处理。
如上所述，参考图109所描述的处理是帧号被设置为低位计数值并且附加帧号被设置为较高位计数值的实例。应注意，完整性运算值、虚拟信道、会话密钥更新等的计算和传输被省略，但可与一些或所有上述流程图组合。这同样适用于其他流程图。
注意，由于存在在帧号中混合1或2的增量的可能性，所以期望在较低位计数值是指定值(例如，最大值或最大值-1)的情况下增大高位计数值。然而，如果帧号仅递增1，则当低位计数值是最大值时，高位计数值可递增。
注意，通过将帧号从图像传感器1211发送到应用处理器1212，应用处理器1212可使用该值作为初始化向量。因此，应用处理器1212可被配置为从实现效率的角度不提供帧计数器，或者可被配置为从安全的角度提供帧计数器。此外，在应用处理器1212被配置为提供帧计数器的情况下，图像传感器1211可被配置为不发送帧号。即，在初始化向量包括扩展的虚拟信道eVC的情况下，帧号的传输不是必要的。
此外，通过将附加帧号从图像传感器1211发送到应用处理器1212，应用处理器1212可使用该值作为初始化向量。因此，应用处理器1212可被配置为从实现效率的角度不提供附加帧计数器，或者可被配置为从安全的角度提供附加帧计数器。此外，在应用处理器1212被配置为提供附加帧计数器的情况下，图像传感器1211可被配置为不发送附加帧号。
在帧MAC方法的情况下，指定值(例如，016或116)可被存储为初始化向量中的消息计数值，或特定扩展封包(例如，帧开始或帧结束)的消息计数值可被存储。同时，在行MAC方法的情况下，消息计数值被存储为初始化向量中的消息计数值。
<完整性运算值MAC的传输方法的选择>
将参考图110和图111来描述完整性运算值MAC的传输方法的选择。
图110为用于描述图像传感器1211选择完整性运算值MAC的传输方法的选择处理的流程图。
在步骤S781，扩展模式兼容CSI-2传输电路1304确定是否通过行MAC方法发送完整性运算值MAC。
在步骤S781，当扩展模式兼容CSI-2传输电路1304确定通过行MAC方法传输完整性运算值MAC时，处理进行到步骤S782。在步骤S782，扩展模式兼容CSI-2传输电路1304选择行MAC方法。
另一方面，在步骤S781，在扩展模式兼容CSI-2传输电路1304确定不通过行MAC方法来发送完整性运算值MAC的情况下，处理进行到步骤S783。
在步骤S783，扩展模式兼容CSI-2传输电路1304确定是否通过帧MAC方法来发送完整性运算值MAC。
在步骤S783，当扩展模式兼容CSI-2传输电路1304确定利用帧MAC方法发送完整性运算值MAC时，处理进行到步骤S784。在步骤S784，扩展模式兼容CSI-2传输电路1304选择帧MAC方法。
另一方面，在步骤S783中，在扩展模式兼容CSI-2传输电路1304确定不通过帧MAC方法来发送完整性运算值MAC的情况下，处理进行到步骤S785。在步骤S785，扩展模式兼容CSI-2传输电路1304选择不发送完整性运算值MAC的非MAC方法。
在步骤S782、步骤S784或步骤S785的处理之后，处理进行到步骤S786。在步骤S786，扩展模式兼容CSI-2传输电路1304发送指示行MAC方法、帧MAC方法或非MAC方法之一的安全MAC信息(见图111)，然后终止处理。要注意的是，在图111中示出了分配2位的安全MAC信息，但是可分配不同的位深度(例如，1位或8位)。此外，不发送MAC值(例如，无MAC)可以被分配给保留区域数据(保留以供将来使用)。
如上所述，图像传感器1211可自由选择是否通过行MAC方法发送MAC值(选择行MAC方法)、通过帧MAC方法发送MAC值(选择帧MAC方法)或不发送MAC值(选择非MAC方法)。或者，图像传感器1211可选择与应用处理器1212相互预先约定的上述方法中的一者。例如，图像传感器1211可首先选择行MAC方法，并在满足预定条件的情况下将所述方法切换到另一方法(例如，帧MAC方法)。例如，可以首先选择帧MAC方法，并且在满足预定条件的情况下切换到另一方法(例如，行MAC方法)。例如，可以首先选择非MAC方法，并且在满足预定条件的情况下切换到另一方法(例如，帧MAC方法)。
然后，是选择行MAC方法、帧MAC方法或非MAC方法被存储在例如扩展封包报头(例如，ePH2)中的安全描述符、嵌入式数据、用户定义数据、读取响应等中，并从图像传感器1211发送。应用处理器1212可以响应于接收而对完整性运算值MAC的传输方法进行切换。
注意，为了避免初始化向量的混淆，当切换完整性运算值MAC的发送方法时，期望在从帧结束发送的开始到帧开始发送的完成之前的时段中发送要从图像传感器切换的发送方法。然而，本实施例不限于此。
注意，标识传输方法是行MAC方法还是帧MAC方法的安全MAC信息可以包括在初始化向量中。在这种情况下，初始化向量在行MAC方法和帧MAC方法之间不能可靠地重叠，以有利于完整性运算值MAC的传输方法的切换。在没有安全MAC信息的情况下，例如，可能需要指定要存储在消息计数器1308中的值，以便避免初始化向量的重叠，这取决于完整性运算值MAC的传输方法的切换定时。
<消息计数值和帧计数值>
将参考图112至图115描述消息计数值和帧计数值。
图112示出消息计数值和帧计数值轮回的周期的实例。
如图112的A所示，在60fps和2160行像素的情况下，通过将高位计数值设置为16位并将低位计数值设置为16位，消息计数值在大约9小时内轮回。类似地，消息计数值在高位计数值为20位并且低位计数值为16位的情况下以大约6天轮回，在高位计数值为24位并且低位计数值为16位的情况下以大约96天轮回，在高位计数值为28位并且低位计数值为16位的情况下以大约4年轮回，并且在高位计数值为32位并且低位计数值为16位的情况下以大约69年轮回。
如图112的B所示，在60fps并且一次递增1的情况下，通过将高位计数值设置为4位并且将低位计数值设置为16位，帧计数值以大约5小时轮回。类似地，消息计数值在高位计数值为8位且低位计数值为16位的情况下以大约78小时轮回，在高位计数值为12位且低位计数值为16位的情况下以大约52天轮回，在高位计数值为16位，低位计数值为16位的情况下以约828天轮回，在高位计数值为20位且低位计数值为16位的情况下以约36年轮回，并且在高位计数值为24位和低位计数值为16位的情况下以约581年轮回。
如图113的A所示，初始化向量配置可包括包含随机数的盐。注意，例如，在不生成随机数的情况下，盐可以是指定值(例如，032或132)。
如图113的B所示，初始化向量配置可被配置为不包括消息计数值(包括帧计数值)。此外，初始化向量可包括源ID或最终目的地ID。注意，帧号可以包括附加帧号、帧号、附加消息计数值和消息计数值。
如图113的C中所示，初始化向量配置可包括SPDM会话ID。同时，可以包括源ID和最终目的地ID的XOR结果，其可以节省位宽度。
如图113的D中所示，SPDM会话ID可包括下面描述的ReqSessionID和RspSessionID。
如图113中的E所示，初始化向量配置可包括安全协议信息(例如，SPDM/HDCP)、扩展数据类型或数据类型。
要注意的是，可改变图133中所示的元素的排列顺序。MSB侧(高位计数值)和LSB侧(低位计数值)可被改变。一些元素可以用其他元素替换(例如，盐、ePH中的参数、上述初始化向量配置等中的一些或全部)。
图114是用于描述数据验证处理的流程图，在数据验证处理中，应用处理器1212使用消息计数值执行数据验证。
在步骤S791中，安全单元1326导出会话密钥。
在步骤S792中，数据验证单元1325将处理器消息计数值初始化并设置为0。
在步骤S793，数据验证单元1325将处理器附加消息计数值初始化并设置为0。
在步骤S794中，扩展模式兼容CSI-2接收电路1322确定是否终止会话，并且在确定不终止会话的情况下，处理进行至步骤S795。
在步骤S795中，数据验证单元1325确定是否从图像传感器1211接收到附加消息计数值。在步骤S795中，在数据验证单元1325确定已经从图像传感器1211接收到附加消息计数值的情况下，处理进行到步骤S796。
在步骤S796，数据验证单元1325确定处理器附加消息计数值和图像传感器1211的附加消息计数值是否都不匹配。
在步骤S796中，在数据验证单元1325确定处理器附加消息计数值和图像传感器1211的附加消息计数值都不不匹配(匹配)的情况下，处理进行到步骤S797。同时，在步骤S795中，在数据验证单元1325确定尚未从图像传感器1211接收到附加消息计数值的情况下，处理也进行到步骤S797。
在步骤S797中，数据验证单元1325确定是否已经从图像传感器1211接收到消息计数值。在步骤S797中，在数据验证单元1325确定已经从图像传感器1211接收到消息计数值的情况下，处理进行到步骤S798。
在步骤S798中，数据验证单元1325确定处理器1211的处理器消息计数值和消息计数值是否不匹配。
在步骤S798中，在数据验证单元1325确定处理器消息计数值和图像传感器1211的消息计数值都并不失配(匹配)的情况下，处理进行到步骤S799。
在步骤S799中，数据验证单元1325确定处理器消息计数值是否已被计数到最大值。在步骤S799中，在数据验证单元1325确定处理器消息计数值已被计数到最大值的情况下，处理进行到步骤S800。
在步骤S800中，数据验证单元1325将处理器消息计数值初始化并设置为0。
在步骤S801中，数据验证单元1325确定处理器附加消息计数值是否已被计数到最大值。在步骤S801中，在数据验证单元1325确定处理器附加消息计数值已计数至最大值的情况下，处理进行至步骤S802。
在步骤S802中，安全单元1326更新会话密钥。
在步骤S803中，数据验证单元1325将处理器附加消息计数值初始化并设置为0。此后，处理返回至步骤S794，并且此后重复执行类似处理。
同时，在步骤S797中，在数据验证单元1325确定尚未从图像传感器1211接收到消息计数值的情况下，处理返回至步骤S794，并且此后重复执行类似处理。
同时，在步骤S799中，在数据验证单元1325确定处理器消息计数值还未被计数至最大值的情况下，处理进行至步骤S804。在步骤S804中，数据验证单元1325递增处理器消息计数值，此后，处理返回至步骤S794，并且在下文中重复执行类似处理。
同时，在步骤S801中，在数据验证单元1325确定处理器附加消息计数值没有被计数到最大值的情况下，处理进行到步骤S805。在步骤S805中，数据验证单元1325递增处理器附加消息计数值，此后，处理返回到步骤S794，并且在下文中重复执行类似的处理。
同时，在步骤S796中，在数据验证单元1325确定处理器附加消息计数值和图像传感器1211的附加消息计数值都不匹配的情况下，处理进行到步骤S806。此外，在步骤S798中，在数据验证单元1325确定处理器消息计数值和图像传感器1211的消息计数值都不匹配的情况下，处理也进行到步骤S806。
在步骤S806中，数据验证单元1325进行假定已经发生异常的异常时处理，并且处理进行到步骤S807。此外，在步骤S794中，在扩展模式兼容CSI-2接收电路1322确定终止会话的情况下，处理还进行至步骤S807。
在步骤S807中，安全单元1326丢弃或清除会话密钥，然后终止处理。
图115为用于描述反映处理的示图，在反映处理中，应用处理器1212将帧计数值和附加帧计数值反映至初始化向量。
在步骤S811中，安全单元1326导出会话密钥。
在步骤S812中，数据验证单元1325将处理器帧计数值初始化并设置为1。
在步骤S813中，数据验证单元1325将处理器附加帧计数值初始化并设置为0。
在步骤S814中，数据验证单元1325确定是否已经从图像传感器1211接收到帧计数值，并等待该处理，直到确定已经从图像传感器1211接收到帧计数值为止。然后，在步骤S814中，在数据验证单元1325确定已经从图像传感器1211接收到帧计数值的情况下，处理进行到步骤S815。
在步骤S815中，安全单元1326将帧计数值反映到初始化向量。
在步骤S816中，数据验证单元1325确定是否已经从图像传感器1211接收到附加帧计数值，并等待该处理，直到确定已经从图像传感器1211接收到附加帧计数值为止。
然后，在步骤S816中，在数据验证单元1325确定已经从图像传感器1211接收到附加帧计数值的情况下，处理进行到步骤S817。
在步骤S817中，安全单元1326将附加帧计数值反映到初始化向量。
在步骤S818中，数据验证单元1325确定是否已经对帧计数值和附加帧计数值计数到指定值。在步骤S818中，在数据验证单元1325确定帧计数值和附加帧计数值已被计数至指定值的情况下，处理进行至步骤S819。
在步骤S819中，安全单元1326更新会话密钥。
在步骤S819的处理之后或者在数据验证单元1325在步骤S818中确定帧计数值和附加帧计数值还未被计数到指定值的情况下，处理进行到步骤S820。
在步骤S820中，扩展模式兼容CSI-2接收电路1322确定是否终止会话，并且在确定不终止会话的情况下，处理返回至步骤S814，并且此后重复执行类似处理。
另一方面，在步骤S820中，在扩展模式兼容CSI-2接收电路1322确定终止会话的情况下，处理进行至步骤S821。
在步骤S821中，安全单元1326丢弃或清除会话密钥，然后终止处理。
注意，虽然消息计数值递增1，但是帧计数值(帧号)的增量可以与序列中的1或2的增量自由混合。因此，期望针对帧计数值和附加帧计数值优先使用从图像传感器发送的值。
另一方面，对于消息计数值和附加消息计数值，应用处理器1212计数的值可优先于从图像传感器1211发送的值使用，以便迅速开始解密操作。要注意的是，参照图114和图115的流程图所描述的处理可被配置为不更新会话密钥。
缩写分别是：eP：扩展封包、eVC：扩展虚拟信道和eDT：扩展数据类型。虽然已经描述了用于AES-GCM/GMAC的初始化向量实例，但是本技术可以应用于除了AES之外的块密码(例如，数据加密标准：DES、三重DES)、除了GCM/GMAC之外的算法(例如，具有密码块链-MAC的计数器-MAC：CCM)、不同的密钥长度(例如，除了128位)或不同的IV长度(例如，除了96位)，之后根据需要调整构成要素、排列顺序、数值等。
在分布式管理任务组(DMTF)中，公开可用的SPDM规范中的KEY_EXCHANGE请求消息中的RandomData或OpaqueData、成功的KEY_EXCHANGE_RSP响应消息中的RandomData、PSK_EXCHANGE请求消息中的RequesterContext或OpaquePSKData、以及PSK_EXCHANGE_RSP消息中的ResponderContext中的一些或全部可以被用作盐。
同时，会话ID例如在PSK_EXCHANGE_RSP消息或KEY_EXCHANGE_RSP响应消息中的Param2中存储为1字节，并且从SPDM响应者(例如，图像传感器)发送到SPDM请求者。注意，PSK_EXCHANGE_RSP消息和KEY_EXCHANGE_RSP响应消息是SPDM选项，但是，为了导出SPDM会话密钥，与公共密钥加密方法对应的PSK_EXCHANGE_RSP消息或与公共密钥加密方法对应的KEY_EXCHANGE_RSP响应消息基本上是必要的，并且会话密钥的会话ID可以包括在初始化向量中。注意，期望会话ID不同于用于相同端点的先前五个会话或活动会话。
此外，PSK_EXCHANGE请求消息或者KEY_EXCHANGE请求消息可以包括作为请求者侧会话ID的ReqSessionID(例如，2字节)，PSK_EXCHANGE_RSP响应消息或者成功的KEY_EXCHANGE_RSP响应消息可以包括作为响应者侧会话ID的RspSessionID(例如，2字节)，并且可以将通过串联两个ID获得的会话ID＝Concatenate(ReqSessionID，RspSessionID)(例如，4字节)用作请求者和响应者之间的唯一会话ID。在这种情况下，可以使会话密钥或消息计数器在多种类型的会话之间共用。
同时，在显示应用(例如，DSI-2)中，代替SPDM，高带宽数字内容保护(HDCP)可以用作安全协议。因此，在初始化向量中可包含安全协议信息(见图116)，安全协议信息可识别安全协议是SPDM还是HDCP。要注意的是，在图116中示出了分配2位的安全协议信息，但是可分配不同的位深度(例如，1位或8位)。此外，不支持安全协议(例如，无安全协议)可以被分配给保留区域数据(保留以供将来使用)。
例如，可以以新格式、ePH格式(例如，保留、eVC、eDT或安全描述符)、会话ID等分配和定义专用于SPDM或HDCP的位，并且可以将其包含在初始化向量中。在这种情况下，可以使会话密钥或消息计数器在多种类型的安全协议之间共用。类似地，初始化向量中可以包括扩展封包头的一部分，例如，初始化向量中可以包括安全描述符(例如，可以称为服务描述符)。在这种情况下，可以使会话密钥或消息计数器在不同的安全描述符之间共用。
代替预交换，图像传感器1211或应用处理器1212可使用在扩展封包报头(例如，ePH4)中存储和接收的值，作为源ID或最终目的地ID，如图117中所示。
应注意，作为三个或更多个装置(例如，多个相机和多个显示器)通过用于通信的线缆连接的连接形式，存在菊花链方法，其中通过“依次将它们链接在一起”将下一装置连接至前一装置，并且源ID(源ID)和最终目的地ID(最终目的地ID)包括在初始化向量中，使得可以在多个装置之间使会话密钥或消息计数器共用。
注意，源ID和最终目的地ID取决于例如至图像传感器的命令或来自图像传感器的数据而来回切换。为了避免这种情况，初始化向量中的源ID和最终目的地ID可以被定义为例如主机ID和装置ID。注意，例如，由于图像传感器可以是主机或装置(非主机)，所以可能期望源ID和最终目的地ID被定义为源ID和最终目的地ID。
因此，例如，可以使用通过对源ID和最终目的地ID执行逻辑运算(例如，XOR)而获得的ID。这种情况还具有保存初始化向量中定义的位宽的效果。应注意，在I2C或I3C的情况下，可针对源ID或最终目的地ID存储主设备地址或从设备地址，如上述图117所示。
需注意，例如，在图像数据在上述图86的数据结构中从图像传感器1211发送到应用处理器1212的情况下，图像传感器1211的装置ID被存储为源ID，应用处理器1212的装置ID被存储为最终目的地ID，以便实现E2E保护。
同时，例如，在命令指令在上述图86的数据结构中从应用处理器1212传输到图像传感器1211的情况下，应用处理器1212的装置ID被存储为源ID并且图像传感器1211的装置ID被存储为最终目的地ID，以便实现E2E保护。在这种情况下，如图2所示的SerDes装置25或SerDes装置26的装置ID是中间目的地ID，并且在一些情况下，期望与最终目的地ID区分开。注意，在一些情况下，IV格式的最终目的地ID可被目的地ID替换。此外，eVC可以被VC替换，并且eDT可以被DT替换。
此外，eVC或VC可以是视频流、音频流、相机流、显示流等的任一个的ID(流ID)。此外，由于代替视频流，音频流可以用作流，所以可以识别流是视频流还是音频流的流信息可以包括在初始化向量中。在这种情况下，可以使会话密钥或消息计数器在视频流和音频流之间共用。
随机值的部分或全部可以存储在不同的虚拟信道的数据中(例如，在帧开始中、在嵌入式数据中、在图像数据中或在帧结束中)并发送。这在例如没有空间来在特定虚拟信道的数据中存储随机值的一部分或全部的情况下是有成效的。
同时，在与用于图像数据发送的虚拟信道不同的虚拟信道中，可以在封包数据(通用短封包数据类型或通用长封包数据类型)、用户定义数据(基于用户定义字节的数据)或保留区域数据(保留用于将来使用)的至少一部分中存储和发送随机值的一部分或全部。即，数据可以存储在非图像数据中。
要注意的是，在上述描述中，指定了成像的开始，但是未指定成像的结束。这是因为成像方法根据全局快门方法或卷帘快门方法而有所不同。例如，在全局快门方法的情况下，由于所有像素可以同时成像，所以可以在下一处理之前结束成像，或者可以在发送帧中的最初图像数据之前结束成像。同时，在卷帘快门方法的情况下，以像素的行执行的成像和高速数据传输的至少一部分可以被冗余地执行(并行执行)，并且因此仅需要在发送帧中的最后图像数据之前结束成像。此外，成像开始的位置是实例，并且可以延迟到在发送帧中的最初图像数据之前的位置来执行。
<图像传感器的详细配置实例，其检测是否存在异常，并且将根据检测结果的消息作为特定消息传输至应用处理器>
公开了一种成像装置的技术，该成像装置安装于车辆，能够检测具有层叠多个基板的结构的成像元件的故障，其中，设置在第二基板上的行驱动单元根据输出用于控制设置在第一基板上的像素阵列的像素信号的累积和读取的控制信号的定时是否与从行驱动单元输出的控制信号穿过像素阵列的定时一致并进行检测来检测故障(参见WO2017/209221A)。
然而，在驾驶辅助处理或自动驾驶处理期间，传感器的异常引起直接导致致命事故的状态。因此，当通过上述故障检测检测到传感器的异常时，必须尽快从传感器警告车辆。此外，在执行上述故障检测的情况下，如果在检测到传感器的异常时传感器突然停止图像数据流，则根据定时在驾驶期间图像数据中断，并且由此中断驾驶辅助处理和自动驾驶处理，并且存在引起危险的风险。
同时，为了提供一种能够输出更精确的异常检测信号的固态成像装置，公开了一种技术，包括：像素，输出作为模拟信号的像素信号；读取单元，将像素信号转换成数字信号以生成数字像素信号；存储单元，存储数字像素信号；以及第一检查信号输出单元，其向所述存储单元输出第一检查信号，并使所述存储单元存储所述第一检查信号，所述存储单元中存储的所述第一检查信号在特定帧的所述数字像素信号的输出完成之后且下一帧的所述数字像素信号的输出开始之前的期间从所述存储单元输出(见JP2018-121325A)。
在应用这种技术的情况下，成像装置外部的图像处理单元确定第一检查信号与期待值的一致性，但是确定一致性需要时间。此外，图像处理装置不知道图像处理单元的确定结果。另外，第一检查信号有可能因噪声、干扰、攻击者的攻击中的至少一方而被篡改，有可能即使正常也确定为异常，或者即使异常也确定为正常。
即，在任何情况下，在控制能够行驶、行走、飞行等的车辆、机器人、无人机等的推进的推进装置中，存在不能对传感器的异常做出适当的响应并且安全性降低的可能性。
因此，图像传感器1211可检测异常的存在与否，并通过用于发送图像数据的高速数据通信将根据检测结果的消息作为特定消息发送到应用处理器1212。
利用这种配置，可以迅速地向应用处理器1212通知特定消息，该特定消息是与图像传感器1211的异常的存在与否相关的消息。
因此，应用处理器1212能够迅速且适当地应对图像传感器1211的异常，并且进一步提高安全性。
这里，将参考图118描述图像传感器1211的详细配置实例，图像传感器1211检测异常的存在与否，并将对应于检测结果的消息作为特定消息发送到应用处理器。图118为示出检测异常存在与否并且将与检测结果对应的消息作为特定消息传输至应用处理器的图像传感器1211的详细配置实例的框图。
图118中的图像传感器1211包括像素1501、AD转换器1502、图像处理单元1503、扩展模式兼容CSI-2传输电路1504、物理层处理单元1505、I2C/I3C从设备1506、存储单元1507、干扰检测单元1508、障碍检测单元1509、安全单元1510、入侵检测单元1511和温度检测单元1512。
注意，在其他实施例中，像素1501、AD转换器1502、图像处理单元1503、扩展模式兼容CSI-2传输电路1504、物理层处理单元1505、I2C/I3C从设备1506和存储单元1507具有设置有与对应像素1301、AD转换器1302、图像处理单元1303、扩展模式兼容CSI-2传输电路1304、物理层处理单元1305、I2C/I3C从设备1306和存储单元1307的功能类似的功能的配置，因此省略其详细描述。
干扰检测单元1508直接或间接地电连接至像素1501、AD转换器1502和图像处理单元1503中的至少一个。需注意，图119示出干扰检测单元1508连接到像素1501、AD转换器1502和图像处理单元1503的所有的实例，但干扰检测单元连接到它们中的至少一个就足以。
干扰检测单元1508基于包括根据像素1501中接收的光量通过光电转换输出的模拟信号的像素信号、通过AD转换器1502转换成数字信号的像素信号以及从图像处理单元1503输出的经过图像处理的图像数据中的至少一者的输出结果，检测来自光照射攻击(干扰)的存在与否的异常，光照射攻击(干扰)基本上使得图像传感器1211的图像无效或篡改，并且将基于通过传输图像数据的高速数据通信的检测结果的特定消息通知给应用处理器1212。
利用这种配置，应用处理器1212通过高速数据通信获取根据干扰存在与否的特定(unique)消息，从而迅速响应特定消息。
障碍检测单元1509与通信路径或物理层处理单元1505等直接或间接地电连接。
障碍检测单元1509通过例如针对图像传感器的功率注入、电磁辐射(注入)和激光照射(注入)中的任一个来检测注入攻击的存在与否(诸如在图像传感器1211中的一些或全部操作禁用或引起故障，或使故障信息流入图像传感器1211或使信息从图像传感器1211流出)，并且通过用于发送图像数据的高速数据通信将基于检测结果的特定消息通知给应用处理器1212。
障碍检测单元1509通过插入对图像传感器1211不利影响的硬件木马(即，异物)来检测是否存在插入攻击，诸如图像传感器1211的一些或全部操作禁用或引起故障，或使得故障信息流入图像传感器或使得信息从图像传感器流出，并且通过用于传输图像数据的高速数据通信将基于检测结果的特定消息通知给应用处理器1212。
利用这种配置，应用处理器1212通过高速数据通信获取根据障碍存在与否的特定消息，从而对特定消息做出迅速响应。
例如，入侵检测单元1511直接或间接地电连接到安全单元1510，检测安全单元1510的异常，并且通过用于发送图像数据的高速数据通信将基于检测结果的特定消息通知给应用处理器1212。
除了注入攻击之外，注入攻击诸如图像传感器1211中的一些或全部操作禁用或发生故障，或引起故障信息流入图像传感器中或引起信息从图像传感器流出，安全单元1510具有接收分析攻击(功率分析攻击或电磁分析攻击)的可能性，分析攻击通过分析用于图像传感器1211的功率或从图像传感器1211生成的电磁促使图像传感器1211中的信息流出。
因此，入侵检测单元1511逻辑上检测由于注入攻击在安全单元1510中是否存在篡改，或者物理地检测在安全单元1510附近是否存在功率分析或电磁分析所需的攻击对象(例如，探测器)，并且通过用于传输图像数据的高速数据通信将对应检测结果的特定消息通知给应用处理器1212。
利用这样的配置，应用处理器1212通过高速数据通信获取与入侵存在与否对应的特定消息，从而迅速响应于特定消息。
温度检测单元1512检测图像传感器1211的温度，并且基于温度是否处于低于上限值(第一阈值)并且高于操作保证温度的下限值(第二阈值)的状态，通过用于传输图像数据的高速数据通信将特定消息通知给应用处理器1212。
利用这种配置，应用处理器1212可通过经由高速数据通信接收根据操作温度的特定消息来对图像传感器1211的特定消息迅速响应。
消息计数器1513具有类似于消息计数器1308(图76)的基本功能，但进一步使用递增或递减的第一计数器和递增或递减的第二计数器作为消息计数值。通过使用第一计数器和第二计数器，消息计数器1513相对于消息计数值改善了对缺陷或篡改的耐受性。注意，下面将参考图150至152描述消息计数器1513的细节。当然，可以使用消息计数器1308(仅第一计数器和第二计数中的一个)来代替消息计数器1513。
<通过干扰检测单元的干扰检测(部分1)>
例如，当图像传感器1211被强度高于预定强度的可见光、红外光、激光等中的任意光照射时，由图像传感器1211捕获的图像基本上无效或篡改。
因此，例如，在检测到具有高于预定强度的强度的可见光、红外光、激光等中的任意光的情况下，可以认为已经发生由光照射攻击(干扰)引起的异常。
因此，在基于输出结果检测到具有高于预定强度的强度的可见光、红外光、激光等中的任何一个的情况下，干扰检测单元1508通过用于传输图像数据的高速数据通信将指示已经发生异常的消息作为特定消息通知给应用处理器1212。
结果，通过用于发送图像数据的高速数据通信来通知表示在图像传感器1211中发生了异常的特定消息。因此，应用处理器1212可迅速响应于特定消息。
更具体地，在图像传感器1211接收到无效的干扰的情况下，预定范围(有效像素区域的一部分或全部)内的每个像素组的像素值R、G、B、IR等中的至少任意一个接近饱和。
即，预定范围内的像素组的像素值变得等于或大于第一阈值(上限值)。因此，在检测到预定范围内的像素组的像素值等于或大于第一阈值(上限值)的情况下，例如，指示图像传感器1211的像素的像素值接近饱和的异常消息被作为特定消息发送到应用处理器1212。
注意，除了光照射攻击之外，在宽范围(预定范围)中的像素的像素值接近饱和的情况下，指示已在宽范围中的像素中发生异常的异常消息可作为特定消息被发送。即使在例如图像传感器1211被干扰光意外照射的情况下，这种特定消息的通知也是有成效的。
同时，例如，还存在遮光攻击(干扰)，其中图像传感器1211的表面(光接收表面)被涂料、遮光帘、雾度、遮光材料等中的至少任何遮挡，并且由图像传感器1211捕获的图像基本上无效。
因此，在检测到图像传感器1211的表面被遮挡的情况下，将特定消息作为指示异常的消息从图像传感器1211通知给应用处理器1212。
因此，接收特定消息的应用处理器1212可迅速响应于特定消息。
更具体地，在图像传感器1211接收到由于遮挡导致无效的干扰的情况下，预定范围内的每个像素组的像素值R、G、B、IR等中的至少任意一个接近第二阈值(下限值)。
换句话说，在图像传感器1211接收到由于遮挡导致无效的干扰的情况下，预定范围内的像素组的像素值变得等于或小于第二阈值，并且被检测为遮挡。因此，在检测到遮挡的情况下，例如，图像传感器1211发送指示像素值接近第二阈值的异常的异常消息作为特定消息。
应注意，除了遮光攻击之外，在宽范围(预定范围)内的像素值接近第二阈值(下限值)的情况下，可发送异常消息。例如，即使在图像传感器1211的表面(光接收表面)被意外遮挡(干扰)的情况下，这种特定消息的通知也是有成效的。
注意，在基于干扰检测单元1508的检测结果没有检测到表示图像传感器1211的无效的干扰的异常的情况下，可发送表示正常的消息作为特定消息，或者可不发送特定消息。
此外，例如，由干扰检测单元1508使用的第一阈值(上限值)和第二阈值(下限值)可预先存储在存储单元1507中。在这种情况下，干扰检测单元1508可读取并使用存储在存储单元1507中的第一阈值(上限值)和第二阈值(下限值)。第一阈值(上限值)和第二阈值(下限值)可以任意设定。
(由干扰检测单元进行的干扰检测处理(部分1))
接下来，将参考图119中的流程图描述由干扰检测单元1508进行的干扰检测处理(部分1)。
在步骤S1001中，执行像素1501的成像处理、AD转换器1502的AD转换处理、或者图像处理单元1503的图像处理中的至少一个，并且将处理结果输出至干扰检测单元1508。
在步骤S1002中，干扰检测单元1508基于像素1501的成像处理、AD转换器1502的AD转换处理或图像处理单元1503的图像处理中的至少一个的处理结果，确定预定范围内的像素组的像素值是否等于或大于第一阈值(上限值)(大于上限值)。
在步骤S1002中，在确定预定范围内的像素组的像素值等于或大于第一阈值(上限值)的情况下，处理进行到步骤S1003。
在步骤S1003中，干扰检测单元1508将包括第一异常消息的特定消息发送至应用处理器1212，第一异常消息指示在预定范围内的像素组的像素值等于或大于第一阈值(上限值)，已经检测到具有高于预定强度的强度的可见光、红外光、激光等中的任意光，并且已经发生由光照射攻击(干扰)引起的异常。
此外，在步骤S1002中，在确定预定范围内的像素组的像素值不等于或大于第一阈值(上限值)的情况下，处理进行到步骤S1004。
在步骤S1004中，干扰检测单元1508基于像素1501的成像处理、AD转换器1502的AD转换处理或图像处理单元1503的图像处理中的至少一个的处理结果，确定预定范围内的像素组的像素值是否等于或小于第二阈值(下限值)(小于下限值)。
在步骤S1004中，在确定预定范围内的像素组的像素值等于或小于第二阈值(下限值)的情况下，处理进行到步骤S1005。
在步骤S1005中，干扰检测单元1508将包括第二异常消息的特定消息发送至应用处理器1212，第二异常消息表示预定范围中的像素组的像素值等于或小于第二阈值(下限值)，例如，图像传感器1211的表面(光接收表面)被涂料、遮光帘、雾度、遮挡材料等中的至少一个遮挡，发生由基本上使由图像传感器1211捕获的图像无效的遮光攻击(干扰)引起的异常。
此外，在步骤S1004中，在确定预定范围内的像素组的像素值不等于或小于第二阈值(下限值)的情况下，处理进行到步骤S1006。
在步骤S1006中，干扰检测单元1508将包括正常消息的特定消息发送到应用处理器1212，正常消息指示没有由于使图像传感器1211捕获的图像基本上无效的攻击(干扰)而发生异常。
通过上述处理，在发生对图像传感器1211的攻击(干扰)的情况下，通过用于发送图像数据的高速数据通信进行通知，因此应用处理器1212可以实现迅速和适当的响应。
<通过干扰检测单元进行的干扰检测(部分2)>
在上文中，已经描述了将图像传感器1211上的光强度的变化引起的攻击(干扰)的存在与否作为特定消息来检测并通知的实例。
当图像传感器1211用作使用飞行时间(ToF)方法的距离测量传感器时，距离测量传感器检测与从光源照射的激光的光发射图案(模式，pattern)对应的光接收图案以将光识别为由距离测量传感器本身发射的光源的反射光，并将光接收图案与来自其他光源的光接收图案区分开。此时，距离测量传感器根据基于照射定时与从其自身的光源发射的光的光接收定时之间的差异的往返时间，以像素为单位实现距离测量，并且根据距离测量结果生成距离图像。
这里，距离图像是指包括基于检测距离的距离像素信号的图像，该检测距离是通过针对每个像素从距离测量传感器检测物体的深度方向上的距离而获得的。在这种情况下，距离测量传感器被实施为包括例如照明单元、成像单元、控制单元、显示单元以及存储单元的配置。
然而，当光发射图案(光接收图案)由于某种原因被篡改时，不能识别从其自身的光源发射的光发射图案，使得不能实现适当的距离测量，并且发生异常。
因此，干扰检测单元1508可预先将光发射图案(光接收图案)作为存储图案存储在存储单元1507中，并通过在存储图案和图像传感器1211实际接收的光接收图案之间的比较来检测是否发生异常。
照明单元包括照明控制单元和激光光源。照明控制单元基于控制单元的控制控制激光光源发射照射光(激光)的图案。例如，照明控制单元根据从控制单元提供的照射信号中包括的照射代码控制激光光源发射照射光的图案(光发射图案)。
成像单元包括透镜、成像元件和信号处理电路。透镜在成像元件的成像表面上形成入射光的图像。透镜的配置是任意的，并且例如可由多个透镜组配置。成像元件由例如图像传感器1211来实现，图像传感器1211包括使用ToF方法的互补金属氧化物半导体(CMOS)图像传感器。成像元件根据控制单元的控制对物体进行成像，将由此得到的图像信号提供给信号处理电路。例如，成像元件生成像素信号，并将该像素信号提供给信号处理电路，该像素信号表示从控制单元供给的参考信号和包括反射光的接收光之间的相关性，该反射光是从激光光源发出的照射光由物体反射的反射光。参考信号包括指示要用于检测与接收光的相关性的图案的参考码。
这里，在由图像传感器1211从用于任何光接收图案(诸如光接收波形图案、光接收点图案、光接收点图案和光接收轨迹图案)的接收光提取的结果中存在异常的情况下，异常消息可以从包括成像元件(对应于像素和转换器)和信号处理电路(对应于图像处理单元)的成像单元(对应于图像传感器1211)传输到控制单元(对应于应用处理器1212)。
另一方面，可在没有将存储图案存储在图像传感器1211中的存储单元中的情况下发送光接收图案作为特定消息。在这种情况下，存储图案被存储在图像传感器1211外部的存储单元(例如，应用处理器1212)中，执行存储图案和光接收图案之间的比较，并且确定光接收图案是正常还是异常。
<光接收图案>
当发送光接收图案本身时，可以不以高速发送与并非接收光的像素相关的信息。例如，当如图120所示的由白色圆圈表示的像素是表示接收光的像素的点图案时，可以高速仅传输与由白色圆圈表示的所接收的点图案相关的信息。例如，并非接收光的像素用于确定光接收点图案是正常还是异常。在这种情况下，图像传感器1211可确定光接收图案是正常还是异常，同时最小化以高速发送的数据量。
此外，在周期性光接收点图案的情况下，可以减少存储在存储单元中的存储图案的类型的数量。例如，在图121中所示的由白色圆圈指示的接收光的具有第一像素值的像素以及由阴影圆圈指示的接收光的具有第二像素值的像素是表示接收光的像素的点图案的情况下，只要用于两行的点图案(即，用于奇数行的点图案和用于偶数行的点图案)存储在存储单元1507中，就能够确定实际光接收图案是正常还是异常。如上所述，在周期性光接收点图案等中，通过在存储单元1507仅存储重复表示的行数的点图案来存储存储图案，使得可以减小存储容量。
此外，可以通过将存储图案存储在存储单元1507中来确定光接收波形图案是正常还是异常，但是光接收波形图案与图像数据和图像图案无关。因此，通过使用光接收波形图案确定是否存在异常，即使诸如光接收斑图案、光接收点图案或光接收轨迹图案的任何图案复杂，也可以减少对存储单元1507的容量的影响。
(由干扰检测单元进行的干扰检测处理(部分2))
接下来，将参考图122中的流程图描述通过干扰检测单元1508使用光接收图案进行的干扰检测处理(部分2)。
在步骤S1031中，执行像素1501的成像处理、AD转换器1502的AD转换处理或图像处理单元1503的图像处理中的至少一个，并将处理结果输出至干扰检测单元1508。
在步骤S1032中，干扰检测单元1508基于像素1501的成像处理、AD转换器1502的AD转换处理或图像处理单元1503的图像处理中的至少一个的处理结果提取光接收图案。
在步骤S1033中，干扰检测单元1508读取预先存储在存储单元1507中的作为正常时的光接收图案的存储图案，并将存储图案与光接收图案进行比较。
在步骤S1034中，干扰检测单元1508基于光接收图案和存储图案之间的比较结果确定光接收图案是否与存储图案匹配。
在步骤S1034中，在确定光接收图案与存储图案匹配的情况下，处理进行至步骤S1035。
在步骤S1035中，干扰检测单元1508认为在由图像传感器1211实现的距离测量传感器中未发生异常，并且向应用处理器1212发送包括表示未发生异常的正常消息的特定消息。
另一方面，在步骤S1034中，在确定光接收图案与存储图案不匹配的情况下，处理进行至步骤S1036。
在步骤S1036中，干扰检测单元1508认为在由图像传感器1211实现的距离测量传感器中已经发生异常，并且将包括指示已经发生异常的异常消息的特定消息发送到应用处理器1212。
在通过上述处理通过图像传感器1211实现距离测量传感器的情况下，当在光接收图案中发生异常时，通过用于发送图像数据的高速数据通信向应用处理器1212通知相应的特定消息。因此，应用处理器1212可实现对图像传感器1211中已发生的异常的迅速和适当响应。
<由障碍检测单元进行的障碍检测>
随后，说明障碍检测单元1509的障碍检测。
在图像传感器1211接收到注入攻击(诸如在图像传感器1211中的一些或全部操作禁用或引起故障，或引起错误信息流入图像传感器或引起信息从图像传感器流出)的情况下，物理层的电压状态或时钟状态发生异常变化。
因此，障碍检测单元1509检测物理层的电压状态的变化或时钟状态的变化。
例如，在检测到物理层的电压状态的异常改变的情况下，障碍检测单元1509通过用于传输图像数据的高速数据通信将包括第一异常消息的特定消息通知给应用处理器1212，第一异常消息指示在图像传感器1211中发生了电力异常或电压异常(例如，电压振幅、电压极性或IR压降)等。
此外，在检测到物理层的时钟状态的异常改变的情况下，障碍检测单元1509将包括第二异常消息的特定消息通知给应用处理器1212，第二异常消息指示用于发送图像数据的高速数据通信已经发生了时钟异常(例如，时钟的频率、周期、次数或抖动)。
此外，障碍检测单元1509在不仅由于注入攻击，而且由于偶然的噪声或干扰等而发生异常的情况下，也可以将表示异常的信息作为特定消息发送。
此外，例如，存在插入攻击，诸如图像传感器1211中的一些或全部操作禁用或引起故障，或者通过插入不利地影响图像传感器1211的硬件木马(即，异物)而引起故障信息流入图像传感器1211或引起信息从图像传感器1211流出，硬件木马在满足特定条件的情况下被激活。
在图像传感器1211接收到插入攻击的情况下，在电特性(例如，阻抗值的Z值、电阻值的R值、电感值的L值、电容值的C值或品质因数的Q值)、传输特性(例如，数据传输质量、插入损耗或反射损耗)等中发生异常变化。
因此，在检测电特性和检测电特性的异常改变的情况下，例如，障碍检测单元1509通过用于传输图像数据的高速数据通信将指示在图像传感器1211中已发生电特性异常的第三异常消息作为特定消息通知给应用处理器1212。
此外，在检测传输特性并且检测传输特性的异常改变的情况下，例如，障碍检测单元1509通过用于传输图像数据的高速数据通信将指示在图像传感器1211中已经发生传输特性异常的第四异常消息作为特定消息通知给应用处理器1212。
注意，障碍检测单元1509可以检测通信路径或物理层处理单元1505是否存在或者断开或短路(即，断开或压缩)的可能性，并且在根据检测结果已经发生异常的情况下，发送指示已经发生异常的特定消息。
此外，即使在不仅由于插入攻击而且由于意外损坏、长期变化、温度变化等中的任一个而发生异常的情况下，障碍检测单元1509也可以发送表示异常的消息作为特定消息。
另外，在未检测出异常的情况下，障碍检测单元1509可以发送包含正常信息的特定信息，也可以不发送该特定信息。
(障碍检测单元进行的障碍检测处理)
随后，将参考图123的流程图描述由障碍检测单元1509进行的障碍检测处理。
在步骤S1051中，障碍检测单元1509检测物理层的电压状态。
在步骤S1052中，障碍检测单元1509确定物理层的电压状态是否在阈值范围之外，即是否发生了异常变化。
在步骤S1052中，在确定物理层的电压状态在阈值范围之外并且已经发生异常变化的情况下，处理进行至步骤S1053。
在步骤S1053中，障碍检测单元1509通过用于传输图像数据的高速数据通信将包括第一异常消息的特定消息通知给应用处理器1212，第一异常消息指示在图像传感器1211中发生了电力异常或电压异常(例如，电压振幅、电压极性或IR压降)等。
此外，在步骤S1052中，在确定物理层的电压状态不在阈值范围之外的情况下，处理进行至步骤S1054。
在步骤S1054中，障碍检测单元1509检测物理层的时钟状态。
在步骤S1055中，障碍检测单元1509确定物理层的时钟状态是否在阈值范围之外，即是否发生了异常变化。
在步骤S1055中，在确定物理层的时钟状态在阈值范围之外并且已经发生异常改变的情况下，处理进行至步骤S1056。
在步骤S1056中，障碍检测单元1509将包括第二异常消息的特定消息通知给应用处理器1212，该第二异常消息指示用于发送图像数据的高速数据通信已经发生了时钟异常(例如，时钟的频率、周期、次数或抖动)。
此外，在步骤S1055中，在确定物理层的时钟状态不在阈值范围之外的情况下，处理进行至步骤S1057。
在步骤S1057中，障碍检测单元1509检测电特性。
在步骤S1058中，障碍检测单元1509确定电特性是否在阈值范围之外、即是否发生了异常变化。
在步骤S1058中，在确定为电特性在阈值范围之外且发生了异常变化的情况下，处理进入步骤S1059。
在步骤S1059中，障碍检测单元1509通过用于传输图像数据的高速数据通信将指示图像传感器1211中已经发生电特性异常的第三异常消息作为特定消息通知给应用处理器1212。
另外，在步骤S1058中，在确定为电特性没有发生异常变化的情况下，进入步骤S1060。
在步骤S1060中，障碍检测单元1509检测传输特性。
在步骤S1061中，障碍检测单元1509确定传输特性是否在阈值范围之外，即是否发生了异常变化。
在步骤S1061中，在确定传输特性在阈值范围之外并且已经发生异常改变的情况下，处理进行到步骤S1062。
在步骤S1062中，障碍检测单元1509通过用于传输图像数据的高速数据通信将指示图像传感器1211中发生了传输特性的异常的第四异常消息作为特定消息通知给应用处理器1212。
此外，在步骤S1061中，在确定传输特性没有发生异常改变的情况下，处理进行到步骤S1063。
在步骤S1063中，障碍检测单元1509通过用于发送图像数据的高速数据通信将指示图像传感器1211正常的消息作为特定消息通知给应用处理器1212。
通过以上处理，可以向应用处理器1212通知特定消息，该特定消息包括指示在检测注入攻击或插入攻击存在与否并且检测注入攻击或插入攻击的情况下已经发生异常的消息。
结果，应用处理器1212通过高速数据通信获取与障碍的存在与否对应的特定消息，从而迅速并适当地响应于特定消息。
<通过入侵检测单元进行的对安全单元的异常检测>
接下来，将描述入侵检测单元1511进行的对安全单元1510的异常检测。
除了注入攻击之外，注入攻击诸如图像传感器1211中的一些或全部操作禁用或导致故障，或导致故障信息流入图像传感器中或导致信息从图像传感器流出，安全单元1510具有接收分析攻击(功率分析攻击或电磁分析攻击)的可能性，分析攻击通过分析用于图像传感器1211的功率或从图像传感器1211生成的电磁导致图像传感器1211中的信息流出。
因此，除了上述异常检测之外，入侵检测单元1511通过逻辑地检测安全单元1510中由于注入攻击导致的篡改的有无来检测与入侵有关的异常的有无，或者物理上检测功率分析或电磁分析所需的攻击对象(例如，探测器)是否存在于安全单元1510的附近，并且在检测到异常的情况下发送异常消息作为特定消息。
<通过入侵检测单元进行的对安全单元的异常检测处理>
接下来，将参考图124的流程图描述入侵检测单元1511对安全单元1510的异常检测处理。
在步骤S1081，入侵检测单元1511检测指示安全单元1510的逻辑状态的信息。
在步骤S1082中，入侵检测单元1511基于检测到的指示安全单元1510的逻辑状态的信息来确定安全单元1510内部是否发生了篡改。
在步骤S1082中，在确定在安全单元1510内部已经发生篡改的情况下，处理进行到步骤S1083。
在步骤S1083中，入侵检测单元1511通过用于发送图像数据的高速数据通信将指示与注入攻击相关联的安全单元1510中的篡改已经发生的第一异常消息作为特定消息通知给应用处理器1212。
在步骤S1082中，在确定在安全单元1510内部没有发生篡改的情况下，处理进行至步骤S1084。
在步骤S1084中，入侵检测单元1511检测指示安全单元1510的物理状态的信息。
在步骤S1085中，入侵检测单元1511基于所检测的指示安全单元1510的物理状态的信息来确定功率分析或电磁分析所需的攻击对象(例如，探测器)是否存在于安全单元1510附近。
在步骤S1085中，在确定用于分析攻击的功率分析或电磁分析所需的攻击对象(例如，探测器)存在于安全单元1510附近的情况下，处理进行到步骤S1086。
在步骤S1086中，入侵检测单元1511通过用于发送图像数据的高速数据通信将第二异常消息作为特定消息通知给应用处理器1212，该第二异常消息指示在安全单元1510附近存在接收功率分析或电磁分析所需的攻击对象(例如，探测器)的可能性。
在步骤S1085中，在确定功率分析或电磁分析所需的攻击对象(例如，探测器)不存在于安全单元1510附近的情况下，处理进行到步骤S1087。
在步骤S1087中，入侵检测单元1511通过用于发送图像数据的高速数据通信将指示图像传感器1211正常的消息作为特定消息通知给应用处理器1212。
通过以上处理，在检测到入侵(诸如与注入攻击相关联的安全单元1510的逻辑篡改的存在与否，或者分析攻击的可能性存在与否)的情况下，包括指示发生了与入侵相关联的异常的消息的特定消息可以被通知给应用处理器1212。
结果，应用处理器1212通过高速数据通信获取与入侵的存在与否对应的特定消息，从而迅速并适当地响应于特定消息。
<温度检测单元的异常检测>
随后，说明温度检测单元1512的异常检测。
存在使图像传感器1211发生故障的温度攻击，从而有意地强制图像传感器1211的内部温度或图像传感器1211的外部温度、通信路径的内部温度或通信路径的外部温度，以使图像传感器1211或通信路径的操作保证温度落在该范围之外。
因此，温度检测单元1512检测有无对图像传感器1211和通信路径的温度攻击。
即，因为图像传感器1211具有操作保证温度的上限值(第一阈值)和下限值(第二阈值)，所以当图像传感器1211的温度高于第一阈值(上限值)或低于第二阈值(下限值)时，温度检测单元1512将指示已经发生异常的消息作为特定消息通知给应用处理器1212。
另外，在由温度检测单元1512检测出的温度在操作保证范围内的情况下，温度检测单元1512可以发送表示正常的特定消息，也可以不发送该特定消息。另外，也可以代替异常消息、正常消息，而将温度检测值本身作为特定消息发送。
此外，为了功能安全，可以设置多个温度检测单元1512，并且在每个检测结果落在每个阈值的范围之外的情况下，可以发送表示异常的特定消息。在这种情况下，即使在温度检测单元1512的一部分中发生异常，也能够进行处理。
此外，接收特定消息的应用处理器1212可以通过分析多次获取的特定消息组来掌握温度检测单元1512中已经发生异常的范围和位置。
(温度检测单元的异常检测处理)
接下来，将参考图125的流程图描述温度检测单元1512的异常检测处理。
在步骤S1101中，温度检测单元1512检测图像传感器1211中的温度。
在步骤S1102中，温度检测单元1512确定图像传感器1211的检测温度是否等于或高于第一阈值(上限值)(高于第一阈值)。
在步骤S1102中，在确定图像传感器1211的检测温度等于或高于第一阈值(上限值)的情况下，处理进行到步骤S1103。
在步骤S1103中，温度检测单元1512通过用于发送图像数据的高速数据通信将包括第一异常消息的特定消息通知给应用处理器1212，第一异常消息指示图像传感器1211处于操作保证温度以上并且已经发生异常。
此外，在步骤S1102中，在确定图像传感器1211的检测温度不等于或高于第一阈值(上限值)的情况下，处理进行到步骤S1104。
在步骤S1104中，温度检测单元1512确定图像传感器1211的检测温度是否等于或低于第二阈值(下限值)(低于第二阈值)。
在步骤S1104中，在确定图像传感器1211的检测温度等于或低于第二阈值(下限值)的情况下，处理进行到步骤S1105。
在步骤S1105中，温度检测单元1512通过用于发送图像数据的高速数据通信将包括第二异常消息的特定消息通知给应用处理器1212，第二异常消息指示图像传感器1211处于操作保证温度以下并且已经发生了异常。
在步骤S1104中，在确定图像传感器1211的检测温度不等于或小于第二阈值(下限值)的情况下，处理进行到步骤S1106。
在步骤S1106中，温度检测单元1512将包括表示图像传感器1211的温度在操作保证温度内并且未发生异常的正常消息的特定消息发送至应用处理器1212。
利用上述处理，在发生对图像传感器1211的温度攻击的情况下，通过用于发送图像数据的高速数据通信进行通知，因此应用处理器1212可以实现迅速和适当的响应。
<基于图像传感器的状态和特性检测是否存在异常的应用处理器的详细配置实例>
在上文中，已经描述了图像传感器1211检测其自身的异常的存在与否并将与检测结果对应的特定消息发送到应用处理器1212的实例。
然而，应用处理器1212可获取图像传感器1211的状态和特性，并检测是否存在异常。
图126示出获取图像传感器1211的状态和特性并检测异常存在与否的应用处理器1212的配置实例。
图126中的应用处理器1212包括物理层处理单元1551、扩展模式兼容CSI-2接收电路1552、I2C/I3C主设备1553、存储单元1554、控制器1555、干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560。
注意，干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的全部根据从图像传感器1211提供的状态和特性来执行处理。然而，基本功能分别类似于图118中的干扰检测单元1508、障碍检测单元1509、安全单元1510、入侵检测单元1511和温度检测单元1512的基本功能。
此外，物理层处理单元1551、扩展模式兼容CSI-2接收电路1552、I2C/I3C主设备1553、存储单元1554、安全单元1558和控制器1555被配置为与对应于图77中的物理层处理单元1321、扩展模式兼容CSI-2接收电路1322、I2C/I3C主设备1323、存储单元1324、安全单元1326和控制器1327的块相似，并且省略其详细描述。
基于经由扩展模式兼容CSI-2接收电路1552从图像传感器1211提供的图像数据，通过将光接收波形图案、光接收斑图案、光接收点图案、光接收轨迹图案等中的任一个与预先存储在存储单元1554中的存储图案相比较，干扰检测单元1556确定图像传感器1211或图像数据是正常还是异常。
干扰检测单元1556可将关于图像传感器1211或图像数据是正常还是异常的确定结果作为特定消息输出至后续阶段。
此外，干扰检测单元1508和1577可分别设置在图像传感器1211和应用处理器1212中。例如，在分别设置干扰检测单元1508和1577的情况下，可以双重确定是否存在异常。因此，即使图像传感器1211中的干扰检测单元1508或应用处理器1212中的干扰检测单元1577被攻击，也可以检测对图像传感器1211的干扰的存在与否。
障碍检测单元1557直接或间接地电连接到通信路径或应用处理器1212中的物理层处理单元1551。
此外，障碍检测单元1509和1557可分别设置在图像传感器1211和应用处理器1212中。
例如，图像传感器1211测量其自身的电特性，并通过用于发送图像数据的高速数据通信将电特性作为特定消息发送到应用处理器1212。
障碍检测单元1557通过测量“图像传感器1211+通信路径(物理层)”中的电特性通过校准处理来识别通信路径中的电特性。
由于能够将硬件木马插入到通信路径中(例如，有线)，因此通过检测通信路径中的电特性的变化可以高精度地检测硬件木马的存在与否。
类似地，安全单元1558、入侵检测单元1559和温度检测单元1560可以不仅被设置在应用处理器1212中，而且被设置在图像传感器1211中。
也就是说，安全单元1510和1558、入侵检测单元1511和1559、以及温度检测单元1512和1560可以分别设置在图像传感器1211和应用处理器1212中。
干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的任何一个可以直接电连接至存储器。
该存储器可以直接电连接到上述寄存器，并且干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的任何一个可以直接电连接到寄存器。
存储器可以是被保护免于泄露或篡改存储器中的信息的存储器。这里，存储器和寄存器被统称为存储单元1554。例如，通过将多个检测结果存储在存储单元1554中，干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的任何一个可以确定连续干扰、连续障碍和连续入侵中的任何一个已经在短时间内被接收或者已经存在长时间的温度负荷，并且可以发送指示这样的状态的异常消息。
注意，可以从存储单元1554读取存储图案、阈值、第一阈值或第二阈值中的任何一个。此外，应用处理器1212可经由至少I2C或I3C将存储图案、阈值、第一阈值或第二阈值中的任一个写入到图像传感器1211中的存储单元1507中。
如上所述，检测结果被周期性地存储在应用处理器1212外部的受保护的存储单元1507中，例如，图像传感器1211中。因此，当应用处理器1212中发生事故时，通过分析外部图像传感器1211中的受保护的存储单元1507，可以容易地指定事故发生的原因。类似地，检测结果被周期性地存储在图像传感器1211的外部，例如，在应用处理器1212中的受保护的存储单元1554中。因此，当图像传感器1211中发生事故时，通过分析外部应用处理器1212中的受保护存储单元1554可以容易地指定事故发生的原因。
干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的任何一个可以直接电连接至扩展模式兼容CSI-2接收电路1552，并且每个检测结果可以直接从扩展模式兼容CSI-2接收电路1552发送。
此外，干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的任何一个可以经由存储单元1554等间接地电连接到扩展模式兼容CSI-2接收电路1552，并且可以从扩展模式兼容CSI-2接收电路1552间接地发送每个检测结果。
此外，可以从扩展模式兼容CSI-2接收电路1552直接输出特定消息，或者可以经由存储单元1554等从扩展模式兼容CSI-2接收电路1552间接输出特定消息。
此外，干扰检测单元1556、障碍检测单元1557、安全单元1558、入侵检测单元1559和温度检测单元1560中的任何一个可以直接电连接至通信路径，或者可以经由存储单元1554等间接地电连接至通信路径。
注意，认为至少用于高速数据传输的通信路径对攻击检测具有更高的灵敏度，这是因为通信路径在高频特性方面优于仅用于低速命令传输的通信路径。
此外，在经由用于高速数据传输的通信路径的一部分或全部向图像传感器1211供电的情况下，可以仅通过至少暂时使电力供应无效来使图像传感器1211和图像数据流的操作无效。
例如，将用于高速数据传输的通信路径的一部分或全部替换为插入了硬件木马的通信路径，并且硬件木马被简单地无线激活或者用定时器激活，从而容易引起移动装置(推进装置)的事故。即，障碍检测单元1557比专用于低速命令传输的通信路径更适合于至少用于高速数据传输所使用的物理层，并且特别适合于也用于电力传输的物理层。
干扰检测单元1508和1556、障碍检测单元1509和1557、安全单元1510和1558、入侵检测单元1511和1559、以及温度检测单元1512和1560中的任何一个可以包括在另一块中。
例如，干扰检测单元1508的至少一部分可被包括在像素1501、AD转换器1502、图像处理单元1503、存储单元1507或扩展模式兼容CSI-2传输电路1504中的任一个中。
此外，例如，干扰检测单元1556的至少一部分可以包括在扩展模式兼容CSI-2接收电路1552或存储单元1554中。
此外，例如，障碍检测单元1509的至少一部分可被包括在物理层处理单元1505、存储单元1507或扩展模式兼容CSI-2传输电路1504中的任一者中。
此外，例如，障碍检测单元1557的至少一部分可被包括在扩展模式兼容CSI-2接收电路1552或存储单元1554中。
此外，例如，安全单元1510、入侵检测单元1511或温度检测单元1512中的任一个的至少一部分可以在存储单元1507或扩展模式兼容CSI-2传输电路1504中。
此外，例如，安全单元1558、入侵检测单元1559或温度检测单元1560中的任一个的至少一部分可以被包括在存储单元1554或扩展模式兼容CSI-2接收电路1552中。
此外，像素1501、AD转换器1502、图像处理单元1503、物理层处理单元1505、扩展模式兼容CSI-2传输电路1504、扩展模式兼容CSI-2接收电路1552、存储单元1507和1554、I2C/I3C从设备1506、I2C/I3C主设备1553、干扰检测单元1508和1556，障碍检测单元1509和1557、安全单元1510和1558、入侵检测单元1511和1559、以及温度检测单元1512和1560中的任一个可以由控制器或移动装置(推进装置)的控制单元或新的控制单元(未示出)直接或间接地控制。
<应用处理器检测图像传感器是否存在异常的处理>
接下来，将参考图127和图128的流程图描述通过应用处理器检测图像传感器是否存在异常的处理。
要注意的是，图127的流程图表示图像传感器1211的处理，并且图128的流程图表示应用处理器1212的处理。
在步骤S1131(图127)中，图像传感器1211检测确定异常存在与否所需的其自身的状态或特性。
更具体地，在上述图像传感器1211中的干扰检测单元1508、障碍检测单元1509、入侵检测单元1511和温度检测单元1512中的每一个检测图像传感器1211中异常存在与否时所需的状态或特性。
注意，在该处理中，仅检测各种状态或特性，并且不确定是否存在异常。
在步骤S1132中，图像传感器1211通过用于发送图像数据的高速数据通信将检测到的其自身的状态或特性作为特定消息发送。
更具体地，通过用于发送图像数据的高速数据通信将干扰检测单元1508、障碍检测单元1509、入侵检测单元1511和温度检测单元1512中的每一个检测图像传感器1211中异常存在与否时所需的状态或特性作为特定消息发送。
注意，在下文中以简化的方式简单地表示由如上所述的图像传感器1211的干扰检测单元1508、障碍检测单元1509、入侵检测单元1511和温度检测单元1512执行的处理，使得图像传感器1211检测其自身的状态或特性，并且图像传感器1211将检测到的其自身的状态或特性发送到应用处理器1212。
在步骤S1151(图128)中，应用处理器1212确定是否已经接收从图像传感器1211发送的特定消息。
更具体地，确定应用处理器1212的干扰检测单元1556、障碍检测单元1557、入侵检测单元1559或温度检测单元1560是否已经从图像传感器1211的干扰检测单元1508、障碍检测单元1509、入侵检测单元1511或温度检测单元1512中的至少任何一个接收到特定消息。注意，可以确定安全单元1558、控制器1555、扩展模式兼容CSI-2接收电路1552、物理层处理单元1551等中的任何一个是否从图像传感器1211的干扰检测单元1508、障碍检测单元1509、入侵检测单元1511或温度检测单元1512中的至少一个接收到特定消息。
在步骤S1151中，在确定已经接收到特定消息的情况下，处理进行到步骤S1152。
在步骤S1152中，应用处理器1212检测作为特定消息发送的图像传感器1211的状态或特性。
更具体地，应用处理器1212的干扰检测单元1556、障碍检测单元1557、入侵检测单元1559或温度检测单元1560中的至少任何一个检测包括在接收的特定消息中的用于检测每个异常的状态或特性。
在步骤S1153中，应用处理器1212通过应用校准处理来校正图像传感器1211的检测的状态或特性。
更具体地，应用处理器1212的干扰检测单元1556、障碍检测单元1557、入侵检测单元1559或温度检测单元1560中的至少任何一个将校准处理应用于检测的状态或特性以校正检测的状态或特性。注意，安全单元1558、控制器1555、扩展模式兼容CSI-2接收电路1552、物理层处理单元1551等中的任何一个可以将校准处理应用于检测的状态或特性以校正检测的状态或特性。
在步骤S1154中，应用处理器1212确定通过校准处理校正的图像传感器1211的状态或特性是否落在被视为正常的阈值范围之外。
更具体地，应用处理器1212的干扰检测单元1556、障碍检测单元1557、入侵检测单元1559或温度检测单元1560中的至少任一个确定由校准处理校正的状态或特性是否落在被视为正常的阈值范围之外。注意，安全单元1558、控制器1555、扩展模式兼容CSI-2接收电路1552、物理层处理单元1551等中的任何一个可以确定通过校准处理校正的状态或特性是否落在被视为正常的阈值范围之外。应注意，关于每个状态或特性是否落在被视为正常的阈值范围之外的确定的具体处理是参考图119和图122至图125的流程图描述的处理。
在步骤S1154中，在确定状态或者特性落在被视为正常的阈值范围之外的情况下，处理进行至步骤S1155。
在步骤S1155中，应用处理器1212认为图像传感器1211是异常的。
此外，在步骤S1154中，在确定状态或特性没有落在被视为正常的阈值范围之外的情况下，处理进行至步骤S1156。
在步骤S1156中，应用处理器1212认为图像传感器1211是正常的。
也就是说，在应用处理器1212的安全单元1558、控制器1555、扩展模式兼容CSI-2接收电路1552、物理层处理单元1551、干扰检测单元1556、障碍检测单元1557、入侵检测单元1559或温度检测单元1560中的至少任一个确定通过校准处理校正的状态或特性落在被视为正常的阈值范围之外的情况下，图像传感器1211被认为是异常的，并且在确定状态或特性没有落在阈值范围之外的情况下，图像传感器1211被认为是正常的。
通过上述处理，应用处理器1212也变得能够确定图像传感器1211中是否存在异常，并且即使在图像传感器1211中发生异常，应用处理器1212也可快速且适当地做出响应。
注意，由应用处理器1212的干扰检测单元1556、障碍检测单元1557、入侵检测单元1559和温度检测单元1560确定图像传感器1211是否存在异常的上述处理被简称为处理或异常诊断(处理)，其中应用处理器1212基于图像传感器1211的状态或特性来确定图像传感器1211是否存在异常。注意，应用处理器1212可在不获取图像传感器1211的状态和特性的情况下检测异常的存在与否。也就是说，应用处理器1212的干扰检测单元1556、障碍检测单元1557、入侵检测单元1559和温度检测单元1560中的每一个可以检测在应用处理器1212中确定是否存在异常时需要的状态或特性并且确定异常存在与否。
<在没有阻碍图像数据的高速数据传输的情况下执行特定消息的高速数据传输的实例>
在以上描述中，假定以高速的图像数据发送特定消息。然而，如果在不考虑传输定时的情况下执行高速数据传输，则存在图像数据的高速数据传输受到阻碍的可能性。
因此，将描述在不妨碍图像数据的高速数据传输的情况下实现特定消息的高速数据传输的实例。
为了在不妨碍图像数据的高速数据传输的情况下实现特定消息的高速数据传输，需要根据图像数据的高速数据传输的各种数据的传输定时来执行传输。
因此，当发送图像数据时，需要在从帧开始到帧结束的时间段内或者在从帧结束到帧开始的时间段内(帧消隐时间段)发送特定消息。
在此处，可发送特定消息的从帧开始到帧结束的时间段是：例如，帧开始、嵌入式数据、图像数据、非图像数据(读取响应和用户定义数据)、帧结束、以及行消隐时间段内的任一个，如图129中所示。例如，在CCI信道被分配给VC0的情况下，图129中的VC0可被VC1代替，并且图129中的VC1可被VC2代替。
应注意，在下文中，将描述串行而非并行执行图像数据的高速数据传输和特定消息的高速数据传输的实例。应注意，在图像数据的高速数据传输与特定消息的传输(高速数据传输或低速命令传输)之间的通信路径不同的情况下，可并行执行该传输。
此外，由于高速数据传输和低速命令传输可以通过滤波器在频率上分离，所以只要功耗不是关注的原因，就可以复制(并行执行)部分或全部传输。
此外，以下将基于图像传感器1211的状态或特性通过图像传感器1211检测其自身的异常的有无的上述处理和通过应用处理器121检测图像传感器1211的异常的有无的处理分别称为图像传感器1211的异常诊断(处理)和应用处理器1212的异常诊断(处理)。
这里，关于图像传感器1211的异常诊断(处理)，在图像传感器1211基于其自身的状态或特性确定异常存在与否的情况下，图像传感器1211确定其自身的异常存在与否的一系列处理是异常诊断(处理)。
同时，在由应用处理器1212基于图像传感器1211的状态或特性执行图像传感器1211的异常诊断(处理)的情况下，图像传感器1211中的异常诊断(处理)是仅检测其自身的状态或特性(其中不确定异常诊断的存在与否)的处理。
另外，将以规定的时间间隔或规定的动作间隔进行的异常诊断称为定期的异常诊断，将在处理开始时进行的异常诊断称为初期异常诊断。
作为定期异常诊断的结果的特定消息可被存储在嵌入式数据的至少一部分中，并被发送，嵌入式数据指示供应商专用(Vendor specific)代码、保留代码(保留以供将来使用)或从保留代码新定义为特定消息的代码。
此外，特定消息可被存储在新定义的封包中并被发送，或者可被存储在用户定义区域封包或保留区域封包中并被发送。
例如，扩展封包报头中保留区域的一部分或全部可被新定义为特定消息。此外，例如，扩展封包报头的用户定义区域(例如，用户定义元数据)的一部分或全部可被新定义为特定消息。
此外，例如，已经定义的扩展封包报头和扩展封包结尾中的每一个的一部分或全部可以被转换作为特定消息。
注意，存储在扩展封包报头中的特定消息具有比存储在扩展封包结尾中的消息更高的即时性(可以在移动装置的处理中立即识别出异常)。特定消息可以是扩展封包结尾ePF1或ePF0的一部分或全部。在特定消息被存储在扩展封包报头或扩展封包结尾中的情况下，还存在获得向后兼容性的效果。
<在不阻碍图像数据的高速数据传输的情况下执行特定消息的高速数据传输的情况的处理>
接下来，将参考图130的流程图描述在不阻碍图像数据的高速数据传输的情况下执行特定消息的高速数据传输的情况下图像传感器1211的处理。
在步骤S1171中，图像传感器1211执行初始异常诊断。
在步骤S1172中，图像传感器1211(的扩展模式兼容CSI-2传输电路1504)确定是否已经接收到用于高速数据传输的开始指令，并且处理等待直到确定已经接收到用于高速数据传输的开始指令为止。然后，在步骤S1172中，在扩展模式兼容CSI-2传输电路1504确定已经接收到用于高速数据传输的开始指令的情况下，处理进行到步骤S1173。
在步骤S1173中，图像传感器1211通过初始异常诊断来确定图像传感器1211中是否发生了初始异常。
在步骤S1173中，在确定存在初始异常的情况下，处理进行至步骤S1174。
在步骤S1174中，图像传感器1211(的扩展模式兼容CSI-2传输电路1504)发送初始异常消息。
即，在这种情况下，此后不进行成像传输处理。
另一方面，在步骤S1173中，在确定为没有发生初始异常的情况下，处理进入步骤S1175。
在步骤S1175中，图像传感器1211执行成像传输处理，并且将由像素1501捕获、由AD转换器1502进行AD转换以及由图像处理单元1503进行图像处理的图像数据提供给扩展模式兼容CSI-2传输电路1504并发送至应用处理器1212。
<成像传输处理(部分1)>
在此处，参照图131的流程图描述成像传输处理(部分1)。
在步骤S1191中，像素1501开始成像，并且从像素1501输出的图像数据经由AD转换器1502和图像处理单元1503被提供给扩展模式兼容CSI-2传输电路1504。
在步骤S1192中，图像传感器1211执行定期异常诊断。
在步骤S1193中，扩展模式兼容CSI-2传输电路1504发送虚拟信道的帧开始。
在步骤S1194中，扩展模式兼容CSI-2传输电路1504发送虚拟信道的嵌入式数据。此时，扩展模式兼容CSI-2传输电路1504将作为周期异常诊断的诊断结果的特定消息包括在虚拟信道的嵌入式数据中并发送。
在步骤S1195中，扩展模式兼容CSI-2传输电路1504发送虚拟信道的图像数据。
在步骤S1196中，扩展模式兼容CSI-2传输电路1504确定是否已完成针对一个帧的图像数据的传输。
在步骤S1196中，在扩展模式兼容CSI-2传输电路1504确定尚未完成一个帧的图像数据的传输的情况下，处理返回至步骤S1195，并且此后重复执行类似处理。另一方面，在步骤S1196中，在扩展模式兼容CSI-2传输电路1504确定已经完成了一个帧的图像数据的传输的情况下，处理进行到步骤S1197。
在步骤S1197中，扩展模式兼容CSI-2传输电路1504发送虚拟信道的帧结束。
在步骤S1198中，扩展模式兼容CSI-2传输电路1504确定是否已接收到用于高速数据传输的结束指令。
在步骤S1198中，在扩展模式兼容CSI-2传输电路1504确定未接收到高速数据传输的结束指令的情况下，处理返回至步骤S1191，并且此后重复类似处理。另一方面，在步骤S1198中，在扩展模式兼容CSI-2传输电路1504确定已经接收到用于高速数据传输的结束指令的情况下，终止处理。
成像传输处理可以连续执行直至接收到用于高速数据传输的结束指令，或者可以在每次接收到用于高速数据传输的开始指令时执行成像传输处理。
通过上述处理，可以高速发送特定消息，而不妨碍图像数据的高速数据传输。
<成像传输处理的应用实例>
在以上描述中，已经描述了在已经接收到用于高速数据传输的结束指令的情况下终止成像传输处理的实例，但是在还没有接收到用于高速数据传输的开始指令的情况下可以终止处理。
图132的流程图示出了在未接收到高速数据传输的开始指令的情况下终止处理的成像传输处理的应用实例。
需注意，图132中的步骤S1211至S1217中的处理与图131中的步骤S1191至S1197中的处理相似，因此省略其描述。
即，在步骤S1218中，在扩展模式兼容CSI-2传输电路1504确定已经接收到用于高速数据传输的开始指令的情况下，处理返回至步骤S1211，并且此后重复类似处理。另一方面，在步骤S1218中，在扩展模式兼容CSI-2传输电路1504确定未接收到高速数据传输的开始指令的情况下，终止处理。
通过上述处理，可以高速传输特定消息，而不妨碍图像数据的高速数据传输。
<成像传输处理(部分2)>
以上，说明了在嵌入式数据中包含作为定期异常诊断的诊断结果的特定消息并进行发送的实例。但也可以执行第二定期异常诊断(第二定期的异常诊断)，将特定消息包含在第二嵌入式数据中并发送。
图133是用于描述成像传输处理的流程图，其中，执行第二定期异常诊断(第二定期异常诊断)，并且用作第二定期异常诊断的诊断结果的特定消息包括在第二嵌入式数据中并发送。
应注意，由于图133中的步骤S1231、S1233、S1235、S1236、S1239、和S1240中的处理与图131中的步骤S1191、S1193、和S1195至S1198中的处理相似，因此省略其描述。
即，当通过步骤S1231中的处理将图像数据提供至扩展模式兼容CSI-2传输电路1504时，图像传感器1211在步骤S1232中执行第一周期异常诊断(第一周期异常诊断)。
当在步骤S1233中发送虚拟信道的帧开始时，扩展模式兼容CSI-2传输电路1504在步骤S1234中发送虚拟信道的第一嵌入式数据。此时，扩展模式兼容CSI-2传输电路1504将用作第一周期异常诊断的诊断结果的特定消息包括在虚拟信道的第一嵌入式数据中并发送。
当在步骤S1235和S1236中已经完成针对一个帧的图像数据的传输时，图像传感器1211在步骤S1237中执行第二周期异常诊断(第二周期异常诊断)。
在步骤S1238，扩展模式兼容CSI-2传输电路1504发送虚拟信道的第二嵌入式数据。此时，扩展模式兼容CSI-2传输电路1504将作为第二周期异常诊断的诊断结果的特定消息包括在虚拟信道的第二嵌入式数据中并发送。
然后，当在步骤S1239中发送虚拟信道的帧结束并且在步骤S1240中接收到用于高速数据传输的结束指令时，终止处理。
通过上述处理，可以高速传输特定消息，而不妨碍图像数据的高速数据传输。
另外，在上述处理中，由于在行消隐期间中执行第二定期异常诊断，因此不影响功耗的最大值(定期异常诊断与传输不同时进行)。另外，也可以在行消隐期间以外执行定期异常诊断。
另外，由于在帧开始后且帧结束前的嵌入式数据中存储有与周期异常诊断的诊断结果对应的特定消息，因此移动装置(推进装置)能够确定异常发生定时。例如，可以确定在图像数据传输之前还是图像数据传输之后连续地发生异常。注意，可以不配置第一嵌入式数据。或者，也可以不执行第一定期异常诊断，而仅执行第二定期异常诊断。
<成像传输处理(部分3)>
在上述说明中，说明了执行第二定期异常诊断(第二定期的异常诊断)，并且将与第二定期异常诊断的诊断结果对应的特定消息包含在第二嵌入式数据中并发送的实例。但是，也可以将定期异常诊断的诊断结果包含在读取响应中并发送。
即，在从作为低速命令传输的从设备的图像传感器1211接收到通过高速数据传输传输的帧开始信号的情况下，作为低速命令传输的主设备的应用处理器1212通过低速命令传输发送用于请求应用处理器1212读取图像传感器1211中的特定消息的读取指令。
图像传感器1211接收从应用处理器1212发送的读取指令，并通过高速数据传输根据读取指令发送包括特定消息的读取响应。
应用处理器1212可通过接收包括特定消息的读取响应来从图像传感器1211接收特定消息的通知。
也就是说，可在帧开始与帧结束之间的行消隐时段内发送特定消息，在行消隐时段期间不发送图像数据，具体地讲，期望在帧开始与图像数据之间的时段内发送特定消息。该读取指令例如对应于I2C或I3C标准中的读取/写入中的读取。读取响应对应于读返回值。因此，能够在不影响功耗的最大值的情况下，迅速地通知图像数据发送前的异常。
在此，参照图134和图135的流程图说明在读取响应中包含定期异常诊断的诊断结果并发送的成像传输处理。
要注意的是，图134的流程图表示图像传感器1211的处理，并且图135的流程图表示应用处理器1212的处理。
此外，因为步骤S1251至S1253以及步骤S1257至S1260的处理与图131的步骤S1191至S1193以及步骤S1195至S1198的处理相似，所以省略其描述。
即，在步骤S1251至S1253(图134)中，开始成像，执行定期异常诊断，并且发送帧开始。此外，在步骤S1271(图135)中，应用处理器1212的扩展模式兼容CSI-2接收电路1552确定是否已经接收从图像传感器1211发送的帧开始，并且重复类似处理直至确定已经接收到帧开始。
然后，在步骤S1271，在确定已经接收到从图像传感器1211发送的帧开始的情况下，处理进行到步骤S1272。
在步骤S1272中，扩展模式兼容CSI-2接收电路1552通过低速命令传输将读取指令发送到图像传感器1211。
作为响应，在步骤S1254(图134)中，图像传感器1211的扩展模式兼容CSI-2传输电路1504确定是否已经接收到从应用处理器1212发送的读取指令，并且重复类似处理，直到确定已经接收到读取指令为止。
然后，在步骤S1254中，在确定已经接收到读取指令的情况下，处理进行至步骤S1255。
在步骤S1255中，扩展模式兼容CSI-2传输电路1504通过用于发送图像数据的高速数据传输将包括用作周期异常诊断的诊断结果的特定消息的读取响应发送到应用处理器1212。
作为响应，在步骤S1273(图135)中，应用处理器1212的扩展模式兼容CSI-2接收电路1552确定是否已经接收从图像传感器1211发送的包括用作周期异常诊断的诊断结果的特定消息的读取响应，并且重复类似处理，直到确定已经接收到读取响应为止。
然后，在步骤S1273中，在确定已接收到从图像传感器1211发送的包括用作定期异常诊断的诊断结果的特定消息的读取响应的情况下，处理进行到步骤S1274。
在步骤S1274中，应用处理器1212基于包括在接收的读取响应中的特定消息来确定图像传感器1211是正常还是异常。
在步骤S1275中，应用处理器1212确定是否发送高速数据传输的结束指令，并且在确定不终止高速数据传输的情况下，处理返回到步骤S1271，并且重复后续处理。
然后，在步骤S1275中确定发送高速数据传输的结束指令的情况下，扩展模式兼容CSI-2接收电路1552在步骤S1276中将高速数据传输的结束指令发送给图像传感器1211，并且处理结束。
此外，在该处理中，在步骤S1256中，也可以在不包含作为定期异常诊断的诊断结果的特定消息的状态下发送嵌入式数据。
通过上述处理，能够将定期异常诊断的诊断结果包含在读取响应中，并发送读取响应。
<成像传输处理(部分4)>
在上述说明中，说明了根据帧开始发送读取指令、在读取响应中包含作为定期异常诊断的诊断结果的特定消息并发送的实例。但也可以根据帧结束发送读取指令，在读取响应中包含定期异常诊断的诊断结果并发送。
在从作为低速命令传输的从设备的图像传感器1211接收到通过高速数据传输传输的帧结束信号的情况下，作为低速命令传输的主设备的应用处理器1212通过低速命令传输发送用于请求应用处理器1212读取图像传感器1211中的特定消息的读取指令。
图像传感器1211接收从应用处理器1212发送的读取指令，并通过高速数据传输根据读取指令发送特定消息(读取响应)。
然后，应用处理器1212通过接收读取响应来从图像传感器122获取特定消息的通知。
即，在不发送图像数据的帧结束与下一帧开始之间的帧消隐期间内发送特定消息。
这里，参照图136和图137的流程图，对根据帧结束发送读取指令、在读取响应中包含定期异常诊断的诊断结果并发送的成像传输处理进行说明。
图136的流程图表示图像传感器1211的处理，并且图137的流程图表示应用处理器1212的处理。
此外，由于图136的步骤S1291至S1297和S1300的处理与图134的步骤S1251至S1253和S1256至S1260的处理相同，因此省略其描述。
此外，因为图137的步骤S1312至S1316的处理与图135的步骤S1272至S1276的处理相似，所以省略其描述。
即，在图像传感器1211中，通过步骤S1291至S1297(图136)中的处理捕获图像，执行定期异常诊断，并且发送帧开始、嵌入式数据、图像数据和帧结束。
作为响应，在步骤S1311(图137)中，应用处理器1212的扩展模式兼容CSI-2接收电路1552确定是否已经接收从图像传感器1211发送的帧结束，并且重复类似处理，直到确定已经接收到帧结束。
然后，在步骤S1311中，在确定已经接收到图像传感器1211发送的帧结束的情况下，处理进行到步骤S1312。
在步骤S1312中，扩展模式兼容CSI-2接收电路1552通过低速命令传输将读取指令发送到图像传感器1211。
作为响应，在步骤S1298(图136)中，图像传感器1211的扩展模式兼容CSI-2传输电路1504确定是否已经接收到从应用处理器1212发送的读取指令，并且重复类似处理，直到确定已经接收到读取指令为止。
然后，在步骤S1298中，在确定已经接收到读取指令的情况下，处理进行至步骤S1299。
在步骤S1299中，扩展模式兼容CSI-2传输电路1504通过用于传输图像数据的高速数据传输将包括用作周期异常诊断的诊断结果的特定消息的读取响应发送到应用处理器1212。
作为响应，通过步骤S1313至S1316(图135)的处理，在应用处理器1212中，接收从图像传感器1211发送的包括用作周期异常诊断的诊断结果的特定消息的读取响应，确定图像传感器1211正常或异常，并且当发送高速数据传输的结束指令时，处理结束。
通过以上处理，能够发送与帧结束相应的读取指令，并且将定期异常诊断的诊断结果包含在读取响应中并发送读取响应。
结果，能够在帧结束与下一帧开始之间的不发送图像数据的帧消隐期间内发送特定消息。
<成像传输处理(部分5)>
在以上的说明中，说明了根据帧结束发送读取指令、在读取响应中包含定期异常诊断的诊断结果并发送的实例。然而，可以在帧开始发送之前立即发送包括特定消息的读取响应。
即，例如，在图像传感器1211中，在帧结束的发送与下一个帧开始的发送之间执行定期异常诊断。然后，应用处理器1212在接收到帧结束之后等待预定时间，直到在图像传感器1211中完成定期异常诊断，然后发送读取指令。注意，可以设置用于对时间进行计数的定时器，并且可以通过定时器对等待时间进行计数。
通过这样的处理，在不影响在发送第二帧和后续帧的图像数据之前的最短时间内的功耗的最大值的情况下，可以通知在图像传感器1211的操作中存在发生异常的可能性或者从图像传感器1211至应用处理器1212发生了异常。
这里，参照图138和图139的流程图，对根据帧结束发送读取指令、在读取响应中包含定期异常诊断的诊断结果并发送的成像传输处理进行说明。
图138的流程图表示图像传感器1211的处理，并且图139的流程图表示应用处理器1212的处理。
此外，图138的步骤S1331至S1336和S1339至S1340的处理与图136的步骤S1291和S1293至S1299的处理类似，并且因此省略其处理。
而且，图139的步骤S1351和S1353至S1357的处理与图137的步骤S1311至S1316的处理相似，省略其描述。
即，当图像被捕获并且在步骤S1331至S1336(图138)中传输帧开始、嵌入式数据、图像数据以及帧结束时，在步骤S1337中像素1501开始成像，并且从像素1501输出的图像数据经由AD转换器1502和图像处理单元1503提供至扩展模式兼容CSI-2传输电路1504。
在步骤S1338中，图像传感器1211执行定期异常诊断。
同时，当在步骤S1351中接收到帧结束时(图139)，应用处理器1212在步骤S1352中等待预定时间。该预定时间是步骤S1338中的图像传感器1211的周期异常诊断的处理完成之前的时间。
然后，在等待通过步骤S1352中的处理的处理时间之后，处理进行到步骤S1353，并且读取指令被发送到图像传感器1211。
在图像传感器1211中，通过步骤S1339和S1340(图138)的处理响应于读取指令通过用于发送图像数据的高速数据传输将包括根据定期异常诊断的诊断结果的特定消息的读取响应发送到应用处理器1212。应注意，在步骤S1341中未接收到用于高速数据传输的结束指令的情况下，处理返回至步骤S1332的处理，并且重复后续处理。然后，在步骤S1341中，当接收到高速数据传输的结束指令时，处理结束。
通过上述处理，能够在发送第二帧和后续帧的图像数据之前迅速地向应用处理器1212通知图像传感器1211的操作异常或操作异常的可能性，而不影响功耗的最大值。
<成像传输处理(部分6)>
在以上描述中，已经描述了用于使得能够在紧接在帧开始发送之前发送包括特定消息的读取响应的实例。然而，可以在嵌入式数据发送之后的行消隐时段内执行读取指令传输或读取响应传输。
通过上述处理，能够在发送图像数据之前迅速地向应用处理器1212通知图像传感器1211的操作异常的可能性或操作异常的发生，而不影响功耗的最大值。
此处，将参考图140和图141的流程图描述在嵌入式数据传输之后的行消隐时段内执行读取指令传输或读取响应传输的成像传输处理。
图140的流程图表示图像传感器1211的处理，并且图141的流程图表示应用处理器1212的处理。
此外，图140的步骤S1371至S1373以及S1375至S1380的处理与图134的步骤S1251至S1255以及S1257至S1260的处理相似，因此省略其描述。
此外，因为图141的步骤S1392至S1396的处理与图135的步骤S1272至S1276的处理相似，所以省略其描述。
即，通过步骤S1371至S1373(图140)的处理，当捕获图像、执行周期异常诊断并且发送帧开始时，在步骤S1374中，扩展模式兼容CSI-2传输电路1504发送虚拟信道的嵌入式数据。
同时，在应用处理器1212中，在步骤S1391(图141)中，应用处理器1212的扩展模式兼容CSI-2接收电路1552确定是否已接收从图像传感器1211发送的嵌入式数据的封包结尾，并且重复类似处理直至确定已接收封包结尾。
然后，在步骤S1391中，在确定已接收到从图像传感器1211发送的嵌入式数据的封包结尾的情况下，处理进行至步骤S1392。
在步骤S1392中，扩展模式兼容CSI-2接收电路1552通过低速命令传输将读取指令发送到图像传感器1211。
在图像传感器1211中，通过步骤S1375和S1376(图140)的处理，响应于读取指令通过用于发送图像数据的高速数据传输将包括根据定期异常诊断的诊断结果的特定消息的读取响应发送到应用处理器1212。
通过上述处理，能够在发送图像数据之前迅速地向应用处理器1212通知图像传感器1211的操作异常的可能性或操作异常的发生，而不影响电力消耗的最大值，并且迅速地响应于特定消息。
<成像传输处理(部分7)>
在以上描述中，已经描述了在嵌入式数据传输之后的行消隐时段内执行读取指令传输和读取响应传输的实例。然而，可以在图像数据传输之后的行消隐时段内执行读取指令传输和读取响应传输。
在这种情况下，由于图像传感器1211对图像数据的每一行执行周期异常诊断并发送特定消息，因此可以在不影响功耗的最大值的情况下向应用处理器1212通知与每一行的图像数据对应的特定消息。
这里，将参考图142和图143的流程图描述在图像数据传输之后的行消隐时段内执行读取指令传输和读取响应传输的成像传输处理。
图142的流程图表示图像传感器1211的处理，并且图143的流程图表示应用处理器1212的处理。
此外，图142的步骤S1411至S1413、S1416、S1417、S1419和S1420的处理与图140的步骤S1371、S1373至S1376、S1379和S1380的处理相似，因此省略其描述。
而且，因为图143的步骤S1432到S1436的处理与图141的步骤1392到S1396的处理相似，所以省略其描述。
即，当通过步骤S1411至S1413(图142)中的处理捕获图像、发送帧开始以及发送嵌入式数据时，扩展模式兼容CSI-2传输电路1504在步骤S1414中发送虚拟信道的图像数据。
在步骤S1415中，图像传感器1211执行定期异常诊断。
同时，在应用处理器1212中，在步骤S1431(图143)中，应用处理器1212的扩展模式兼容CSI-2接收电路1552确定是否已经接收到从图像传感器1211发送的图像数据的封包结尾，并且重复类似处理，直到确定已经接收到封包结尾。
然后，在步骤S1431中，在确定已经接收到图像传感器1211发送的图像数据的封包结尾的情况下，处理进行至步骤S1432。
在步骤S1432中，扩展模式兼容CSI-2接收电路1552通过低速命令传输将读取指令发送到图像传感器1211。
在图像传感器1211中，通过步骤S1416和S1417(图142)的处理，响应于读取指令通过用于传输图像数据的高速数据传输将包括根据定期异常诊断的诊断结果的特定消息的读取响应发送到应用处理器1212。
此外，在步骤S1418中，扩展模式兼容CSI-2传输电路1504确定是否已完成针对一个帧的图像数据的发送。
在步骤S1418中，在扩展模式兼容CSI-2传输电路1504确定尚未完成一个帧的图像数据的发送的情况下，处理返回至步骤S1414，并且此后重复执行类似的处理。另一方面，在步骤S1418中，在扩展模式兼容CSI-2传输电路1504确定已完成针对一个帧的图像数据的发送的情况下，处理进入步骤S1419。
通过上述处理，由于图像传感器1211对图像数据的每一行执行周期异常诊断并发送特定消息，因此能够在不影响电力消耗的最大值的情况下向应用处理器1212迅速通知与每一行的图像数据对应的特定消息。
结果，应用处理器1212可迅速响应于特定消息。
<成像传输处理(部分8)>
在以上描述中，已经描述了在图像数据传输之后的行消隐时段内执行读取指令传输和读取响应传输的实例。然而，可使用中断功能来发送特定消息。
由于在使用中断功能的情况下，图像传感器1211可与应用处理器1212容易地同步，因此可通过在由图像传感器1211确定的定时执行中断来根据由图像传感器1211确定的定时发送特定消息。
注意，图像传感器1211可触发由于带内中断的读取指令并相应地发送读取响应，或者可省略由于带内中断的读取指令并发送读取响应。
此处，将参考图144和图145的流程图描述使用中断功能传输特定消息的成像传输处理。
图144的流程图表示图像传感器1211的处理，并且图145的流程图表示应用处理器1212的处理。
而且，图144的步骤S1451到S1453、S1455、S1456、以及S1458到S1461的处理与图140的步骤S1371到S1373、以及S1375到S1380的处理相似，因此，省略其描述。
而且，由于图145的步骤S1472到S1476的处理与图141的步骤1392到S1396的处理相似，所以省略其描述。
即，通过步骤S1451至S1453(图144)的处理，捕获图像，执行定期异常诊断，并且在图像传感器1211中发送帧开始。
在步骤S1454中，扩展模式兼容CSI-2传输电路1504向应用处理器1212通知中断执行的开始。
同时，在应用处理器1212中，在步骤S1471(图145)中，应用处理器1212的扩展模式兼容CSI-2接收电路1552确定是否已经接收到从图像传感器1211发送的指示开始中断执行的通知，并且重复类似处理直至确定已经接收到通知。
然后，在步骤S1471中，在确定已经接收到从图像传感器1211发送的指示开始中断执行的通知的情况下，处理进行至步骤S1472。
在步骤S1432中，扩展模式兼容CSI-2接收电路1552通过低速命令传输将读取指令发送到图像传感器1211。
在图像传感器1211中，通过步骤S1455和S1456(图144)的处理，响应于读取指令，通过用于发送图像数据的高速数据传输将包括根据周期异常诊断的诊断结果的特定消息的读取响应发送到应用处理器1212。
此外，在步骤S1457中，扩展模式兼容CSI-2传输电路1504发送嵌入式数据。
通过上述处理，变得可以使用中断功能，并且因此变得可以通过在由图像传感器1211确定的定时执行中断而在由图像传感器1211确定的定时将特定消息发送到应用处理器1212。
注意，图像传感器1211可触发由于带内中断的读取指令并相应地发送读取响应，或者可省略由于带内中断的读取指令并发送读取响应。
<成像传输处理(部分9)>
在以上描述中，已经描述了使用中断功能发送特定消息的实例，但是特定消息可被存储在与用于图像数据传输的虚拟信道不同的虚拟信道的数据中(例如，在嵌入式数据中)并被发送。
通过在与用于图像数据传输的虚拟信道不同的虚拟信道的数据中存储和发送特定消息，即使在用于图像数据传输的虚拟信道的嵌入式数据中没有空间存储特定消息的情况下，也可以发送特定消息。
另外，由于在帧消隐期间内执行定期异常诊断，因此不能与发送同时进行定期异常诊断，不会对功耗的最大值产生影响。另外，也可以在帧消隐期间以外执行定期异常诊断。
因此，能够在发送图像数据之前迅速地向应用处理器1212通知图像传感器1211的操作异常的可能性或操作异常的发生。
在此，将参考图146的流程图描述其中特定消息存储在与通过图像传感器1211的图像数据传输的虚拟信道不同的虚拟信道的数据中并被发送的成像传输处理。
注意，这里，将描述在第一虚拟信道(VC1)中发送图像数据以及在第二虚拟信道(VC2)中发送包括特定消息的嵌入式数据的处理。
在步骤S1491中，像素1501开始成像，并且从像素1501输出的图像数据经由AD转换器1502和图像处理单元1503提供至扩展模式兼容CSI-2传输电路1504。
在步骤S1492中，图像传感器1211执行定期异常诊断。
在步骤S1493中，扩展模式兼容CSI-2传输电路1504发送第一虚拟信道的帧开始。
在步骤S1494中，扩展模式兼容CSI-2传输电路1504发送第二虚拟信道的帧开始。
在步骤S1495中，扩展模式兼容CSI-2传输电路1504发送第一虚拟信道的嵌入式数据。
在步骤S1496中，扩展模式兼容CSI-2传输电路1504发送第二虚拟信道的嵌入式数据。此时，扩展模式兼容CSI-2传输电路1504发送包括与周期异常诊断的诊断结果相对应的特定消息的第二虚拟信道的嵌入式数据。
在步骤S1497中，扩展模式兼容CSI-2传输电路1504发送第一虚拟信道的图像数据。
在步骤S1498中，扩展模式兼容CSI-2传输电路1504确定是否已完成针对一个帧的图像数据的发送。
在步骤S1498中，在扩展模式兼容CSI-2传输电路1504确定未完成一个帧的图像数据的发送的情况下，该处理返回至步骤S1497，并且此后重复执行类似处理。另一方面，在步骤S1498中，在扩展模式兼容CSI-2传输电路1504确定已经完成了一个帧的图像数据的发送的情况下，处理进行至步骤S1499。
在步骤S1499中，扩展模式兼容CSI-2传输电路1504发送第二虚拟信道的用户定义数据。
在步骤S1500中，扩展模式兼容CSI-2传输电路1504发送第一虚拟信道的帧结束。
在步骤S1501中，扩展模式兼容CSI-2传输电路1504发送第二虚拟信道的帧结束。
在步骤S1502中，扩展模式兼容CSI-2传输电路1504确定是否接收到高速数据传输的结束指令。
在步骤S1502中，在扩展模式兼容CSI-2传输电路1504确定未接收到高速数据传输的结束指令的情况下，处理返回至步骤S1491，并且此后重复类似处理。另一方面，在步骤S1502中，在扩展模式兼容CSI-2传输电路1504确定接收到高速数据传输的结束指令的情况下，结束处理。
通过上述处理，即使在没有空间将特定消息存储在用于图像数据发送的虚拟信道的嵌入式数据中的情况下，也可以发送特定消息。
<成像传输处理(部分10)>
在以上描述中，已描述了其中特定消息被存储在与用于图像数据发送的虚拟信道不同的虚拟信道的数据(例如，嵌入式数据)中并被发送的实例。然而，特定消息可被存储在与用于图像数据发送的虚拟信道不同的虚拟信道的非图像数据的至少一部分中并被发送。
例如，非图像数据是封包数据(例如，通用短封包数据类型和通用长封包数据类型)、用户定义数据(基于用户定义字节的数据)或保留区域数据(保留以供将来使用)。
在特定消息被存储在与用于图像数据发送的虚拟信道不同的虚拟信道中的非图像数据的至少一部分中的情况下，图像传感器1211针对图像数据的每一行发送特定消息，并因此变得可以迅速地发送与每一行的图像数据对应的特定消息。
因此，接收特定消息的应用处理器1212可迅速响应于特定消息。
由于在图像数据发送前的行消隐期间内执行定期异常诊断，因此不与发送同时进行定期异常诊断，不会影响功耗的最大值。另外，也可以在行消隐期间以外执行定期异常诊断。
此处，将参考图147的流程图描述成像传输处理，其中，数据存储在与用于图像数据传输的虚拟信道不同的虚拟信道中的非图像数据的至少一部分中并且被发送。
注意，这里，将描述在第一虚拟信道(VC1)中发送图像数据以及在第二虚拟信道(VC2)中发送包括特定消息的用户定义数据的处理。
而且，图147的流程图的步骤S1521到S1525以及步骤S1530到S1532的处理与图146的流程图的步骤S1491、S1493到S1496以及S1500到S1502的处理相似，因此，省略其描述。另外，步骤S1525的处理与步骤S1496的处理的不同之处在于，不包含定期异常诊断的诊断结果。
即，当通过步骤S1521至S1525的处理开始成像并且发送第一虚拟信道和第二虚拟信道中的每一个的帧开始和嵌入式数据时，处理进行至步骤S1526。
在步骤S1526中，图像传感器1211执行定期异常诊断。
在步骤S1527中，扩展模式兼容CSI-2传输电路1504发送第一虚拟信道的图像数据。
在步骤S1528中，扩展模式兼容CSI-2传输电路1504发送第二虚拟信道的用户定义数据。此时，扩展模式兼容CSI-2传输电路1504发送包括与周期异常诊断的诊断结果相对应的特定消息的第二虚拟信道的用户定义数据。
在步骤S1529中，扩展模式兼容CSI-2传输电路1504确定是否已完成针对一个帧的图像数据的发送。
在步骤S1529中，在扩展模式兼容CSI-2传输电路1504确定尚未完成一个帧的图像数据的发送的情况下，处理返回至步骤S1526，并且此后重复执行类似处理。另一方面，在步骤S1529中，在扩展模式兼容CSI-2传输电路1504确定已经完成了一个帧的图像数据的发送的情况下，处理进行至步骤S1530。
然后，在步骤S1530和S1531中，发送第一虚拟信道的帧结束和第二虚拟信道的帧结束。
通过上述处理，由于图像传感器发送用于图像数据的每行的特定消息，因此可以迅速地发送与每行的图像数据对应的特定消息。
因此，接收特定消息的应用处理器1212可迅速响应于特定消息。
此外，在以上描述中，已经描述了发送包括特定消息的用户定义数据的实例。然而，可以使用除了用户定义数据之外的任何数据，只要该数据是包括特定消息的非图像数据，并且例如可以是包括特定消息的封包数据或者保留区域数据。
<成像传输处理(部分11)>
在以上描述中，已经描述了特定消息被存储在与用于图像数据发送的虚拟信道不同的虚拟信道中的非图像数据的至少一部分中并被发送的实例。然而，特定消息可被存储在图像数据中并被发送。
在特定消息被存储在图像数据中并被发送的情况下，图像传感器1211针对图像数据的每行发送特定消息。因此，能够迅速地发送与各行的图像数据对应的特定消息。
因此，接收特定消息的应用处理器1212可迅速响应于特定消息。
另外，由于在行消隐期间内执行定期异常诊断，因此不与发送同时进行定期异常诊断，不会对功耗的最大值产生影响。
另外，也可以在行消隐期间以外执行定期异常诊断。
此外，在图像数据中存储特定消息的情况下，可视数字水印消息或不可视数字水印消息可被叠加并存储。
例如，可使用可视数字水印将预定消息(例如，警告显示)存储为特定消息。此外，可使用可视数字水印来存储指示直到图像传感器1211结束高速数据传输的倒计时或顺计时的计数消息(预定消息)。
这些可以是人可以识别的表达(例如，固定图案)或人不能识别的表达(例如，随机图案)。此外，可使用由于微小图像改变而难以用肉眼视觉识别的不可视数字水印来存储消息。
此处，将参考图148的流程图描述其中特定消息存储在图像数据中并被发送的成像传输处理。
要注意的是，在图148的流程图中的步骤S1551和S1552以及步骤S1557和S1558中的处理与在图131的流程图中的步骤S1191、S1193、S1197和S1198中的处理相似，因此，省略其描述。
即，当开始成像并且通过步骤S1551和S1552的处理发送帧开始，并且通过步骤S1553的处理发送嵌入式数据时，处理进行至步骤S1554。
在步骤S1554中，图像传感器1211执行定期的异常诊断。
在步骤S1555中，扩展模式兼容CSI-2传输电路1504发送虚拟信道的图像数据。此时，扩展模式兼容CSI-2传输电路1504将与周期异常诊断的诊断结果相对应的特定消息包括在虚拟信道的图像数据并发送图像数据。
在步骤S1556中，扩展模式兼容CSI-2传输电路1504确定一个帧的图像数据的发送是否已完成。
在步骤S1556中，在扩展模式兼容CSI-2传输电路1504确定为尚未完成一个帧的图像数据的发送的情况下，处理返回至步骤S1554，并且此后重复执行类似处理。另一方面，在步骤S1556中，在扩展模式兼容CSI-2传输电路1504确定一个帧的图像数据的发送已完成的情况下，处理进行到步骤S1557。
然后，在步骤S1557中，传输虚拟信道的帧结束。
通过上述处理，图像传感器1211变得能够将图像数据的每一行的特定消息发送，并将与每一行的图像数据对应的特定消息迅速地发送到应用处理器1212。
因此，接收特定消息的应用处理器1212可迅速响应于特定消息。
要注意的是，在上述描述中，指定了成像的开始，但是未指定成像的结束。这是因为成像方法根据全局快门方法或卷帘快门方法不同。
例如，在全局快门方法的情况下，由于所有像素可以同时成像，所以可以在下一处理之前结束成像，或者可以在发送帧中的最初图像数据之前结束成像。
同时，在卷帘快门方法的情况下，以像素的行执行的成像和高速数据传输的至少一部分可以被冗余地执行(并行执行)，并且因此仅需要在帧中的最后图像数据的传输之前结束成像。
此外，例如，成像开始定时是实例，并且可延迟地直至发送帧中的最初图像数据之前的定时执行。
另外，定期异常诊断的定时也是实例，例如也可以延迟到发送特定消息之前的定时来执行定期异常诊断。
<消息计数值>
消息计数器1513通过递增或递减汉明距离(HD)≥1计数(二进制码)或HD＝1计数(格雷码)来生成消息计数(消息计数值)。
需注意，图149示出在图中的左侧包括汉明距离(HD)≥1的二进制码的消息计数值的实例，以及在图中的右侧包括HD＝1的格雷码的消息计数值的实例，这两者都在图中向下递增。
具体地，在消息计数(消息计数值)是格雷码的情况下，与递增或递减相关联的汉明距离是恒定的。因此，能够提高针对电力观测攻击和电磁观测攻击的耐性。
消息计数值可在作为计数方法的第一码方法和第二码方法(例如，二进制码方法和格雷码方法)之间切换。
此外，在根据需要切换消息计数值的计数方法的情况下，附加信息可从图像传感器1211发送到应用处理器1212，而不改变要发送的数据量本身。
例如，在图像传感器1211中检测到异常的情况下，可以切换消息计数值的计数方法，并且可以根据计数方法将异常信息(例如，异常存在与否)从图像传感器1211发送到应用处理器1212。
具体地，在二进制码和格雷码被切换的情况下，可以在保持消息计数器的递增或递减的同时发送附加信息。
在图像传感器1211切换二进制码和格雷码的情况下，期望在考虑码周期(左边是4位的实例并且码周期是16计数)的定时切换码，以使得应用处理器1212能够确定其是计数切换还是消息发送和接收的缺陷，但是本实施方式不限于此。
在图像传感器1211包括彼此相关的第一计数器和第二计数器的情况下，图像传感器可验证消息计数器的缺陷或篡改的存在与否。
例如，可以从待递增的第一计数器和待递减的第二计数器的计算(例如，相加)的结果来验证计数器的缺陷或篡改的存在与否。
即，例如，在使用递增二进制码的第一计数器和递减二进制码的第二计数器的情况下，如图150中所示，除非存在缺陷或篡改，否则每个相加结果总是“1111”。因此，在每个相加结果为“1111”的情况下，由于第一计数器和第二计数器具有正常值，所以可以根据相加结果是否是包括“1111”的正常值来验证缺陷或篡改的存在与否。
此外，可以从具有相同计数方向的第一计数器和第二计数器的计算(例如，相减)的结果来验证计数器的缺陷或篡改的存在与否。
即，例如，在使用递增格雷码的第一计数器和递减格雷码的第二计数器的情况下，如图151所示，除非存在缺陷或篡改，否则每个相减结果总是“0000”。因此，在每个相减结果为“0000”的情况下，因为第一计数器和第二计数器具有正常值，所以可以根据相减结果是否是包括“0000”的正常值来验证缺陷或篡改的存在与否。
<消息计数处理>
接下来，将参考图152的流程图描述消息计数处理。
在步骤S1571中，消息计数器1513初始化第一计数值和第二计数值。
在步骤S1572中，扩展模式兼容CSI-2传输电路1504确定是否发送扩展封包报头，并且等待该处理，直到确定发送扩展封包报头为止。
在步骤S1572中，在确定发送扩展封包报头的情况下，处理进行至步骤S1573。
在步骤S1573中，扩展模式兼容CSI-2传输电路1504从消息计数器1513获取第一计数值作为消息计数值，并将第一计数值存储在扩展封包报头中。
在步骤S1574中，扩展模式兼容CSI-2传输电路1504向应用处理器1212发送扩展封包报头。
在步骤S1575中，消息计数器1513确定第一计数值是否是最大值。
在步骤S1575中，在确定第一计数值是最大值的情况下，处理返回到步骤S1571，并且初始化第一计数值和第二计数值。
此外，在步骤S1575中，在确定第一计数值不是最大值的情况下，处理进行至步骤S1576。
在步骤S1576中，消息计数器1513更新(递增或递减)第一消息计数器的第一计数值。
在步骤S1577中，消息计数器1513更新(递增或递减)第二消息计数器的第二计数值。
在步骤S1578中，消息计数器1513计算(相加或相减)第一计数值和第二计数值。
在步骤S1579中，消息计数器1513确定计算结果是否为正常值。
在步骤S1579中，在确定计算结果是正常值的情况下，处理进行至步骤S1580。
在步骤S1580中，消息计数器1513确定第一计数值和第二计数值正常。
在步骤S1579中，在确定计算结果不是正常值的情况下，处理进行至步骤S1581。
在步骤S1581中，消息计数器1513确定第一计数值或第二计数值中的至少一个是异常的。
通过上述处理，可以改善对相对于消息计数器的计数值的缺陷或篡改的抵抗。
注意，图像传感器1211可在确定为正常的情况下发送正常消息，或者在确定为异常的情况下发送异常消息作为特定消息。此外，消息计数值可以转换为诸如异常消息的特定消息。
同时，特定消息可存储在帧结束外部的扩展封包结尾中(例如，在帧开始中、在嵌入式数据中或在图像数据中)。此外，包括特定消息的数据的基于密码的完整性运算值可以存储在帧结束的扩展封包结尾中。此外，包括特定消息的数据的基于密码的完整性运算值可以存储在嵌入式数据中的封包数据中，而不是存储在扩展封包结尾中。
如上所述，已经使用将特定消息和附加信息从图像传感器1211发送到应用处理器1212的实例给出了描述，但是根据相似的构思，特定消息和附加信息可从应用处理器1212发送到图像传感器1211或显示器1213。
<用于识别异常的信息的存储>
在扩展封包报头或扩展封包结尾中，例如可以存储警告描述符(特定消息)，被定义为标识任何致命性警告(检测到严重异常)，传感器内部警告(在传感器内部引起的异常的检测)、传感器外部警告(在传感器外部引起的异常的检测)、电源警告(由电源引起的异常的检测)、时钟源警告(时钟源引起的异常的检测)、其他警告(其他引起的异常的检测)、物理警告(物理异常的检测)、逻辑警告(逻辑异常的检测)、电力警告(电力异常的检测)、电压警告(电压异常的检测)、电流警告(电流异常的检测)、电磁警告(电磁异常的检测)、时钟警告(时钟异常检测)、热警告(温度异常检测)、信道警告(传输信道异常检测)、消息警告(消息异常检测)、攻击警告(攻击检测)、篡改警告(例如，入侵检测)、模糊警告(blindwarning)(例如，干扰检测)、饱和警告(例如，干扰检测)、冒充警告(例如，干扰检测)、异物警告(例如，障碍的检测)、探测器警告(例如，入侵或障碍的检测)、DOS警告(例如，消息计数异常的检测)等。
警告描述符(特定消息)可存储在供应商专用区域(Vendor specific)、用户定义区域(User Defined)或保留区域(Reserved for future use)的至少一部分中。
此外，可以在扩展封包报头(例如，安全描述符)、扩展封包结尾(例如，ePF1)、嵌入式数据、读取响应等中的任一个中定义警告描述符(特定消息)中的任一项。
应注意，图153示出了在图58的扩展封包报头ePH2中的保留区域(Reserved)中设置警告描述符时的扩展封包报头ePH2的配置实例。
此外，图154示出了使用警告描述符(特定消息)的各个位的标识信息的描述实例。
<特定消息的分离>
特定消息的传输可被分成第一特定消息的传输和第二特定消息的传输。
由于扩展的封包报头在诸如图像数据的行(行)的每次高速数据传输中传输，所以期望短的位宽。然而，由于即时性高，例如，可以分配警告速报(例如，物理攻击检测)的一部分或警告信息并将其存储为第一特定消息。
同时，例如，指示警告信息的细节的信息(警告细节)被分配给第二特定消息，被存储在扩展的封包报头的外部，并且被发送。
图155示出了当警告速报(例如，物理攻击检测)被设置为扩展封包报头中的第一特定消息时的实例。
<分离并传输特定消息时的传输处理>
接下来，将参照图156和图157的流程图描述分离和发送特定消息时的传输处理。
要注意的是，图156的流程图表示图像传感器1211的处理，并且图157的流程图表示应用处理器1212的处理。
在步骤S1591(图156)中，图像传感器1211执行异常诊断。
在步骤S1592中，扩展模式兼容CSI-2传输电路1504发送包括作为第一特定消息的警告速报的扩展封包报头。
在步骤S1593中，例如，扩展模式兼容CSI-2传输电路1504将包括在扩展封包报头外部包含作为第二特定消息的警告细节的嵌入式数据并发送该嵌入式数据。
同时，在步骤S1611中，应用处理器1212确定是否已经接收到包括警告速报的扩展封包报头，并且重复类似处理，直到接收到包括警告速报的扩展封包报头为止。
在步骤S1611中，在确定已经接收到包括警告速报的扩展封包报头的情况下，处理进行到步骤S1612。
在步骤S1612中，应用处理器1212基于警告速报开始异常时处理。
在步骤S1613中，应用处理器1212确定是否已经接收到包括警告细节的嵌入式数据等的扩展封包报头，并且重复类似处理，直到确定已经接收到扩展封包报头。
然后，在步骤S1613中，在确定已经接收到包括警告细节的嵌入式数据等的扩展封包报头的情况下，处理进行至步骤S1614。
在步骤S1614中，应用处理器1212在异常时处理中反映警告细节的信息。
通过上述处理，在通过异常诊断检测出异常的情况下，能够迅速地向应用处理器1212发送即时性高的警告速报(例如物理攻击检测)，能够迅速地开始异常时处理。
<在分离和传输特定消息时的传输处理的变形例>
在以上描述中，已经描述了警告速报作为第一特定消息被发送的实例。此外，在发送警告速报之后，可以发送对警告细节的读取指令，并且可以从图像传感器1211发送警告细节作为读取响应。
接下来，将参考图158的流程图描述在传输警告速报之后在传输警告细节的读取指令的情况下分离和传输特定消息时的传输处理。
应注意，图158的流程图中的步骤S1631、S1632、S1634和S1635的处理与图157的流程图中的步骤S1611至S1613的处理相似，因此省略其描述。
即，当接收到警告速报并且通过在步骤S1631和S1632中的处理开始异常间处理时，应用处理器1212在步骤S1633中发送读取指令。
作为响应，图像传感器1211响应于读取指令将读取响应发送到应用处理器1212。
然后，通过步骤S1634和S1635的处理，接收并在异常时处理中反映警告内容。
通过以上的处理，在通过异常诊断检测出异常的情况下，能够迅速地向应用处理器1212发送即时性高的警告速报(例如物理攻击检测)，并且能够迅速地在异常时处理中反映警告内容。
<安全描述符>
在扩展封包报头或扩展封包结尾中，可以存储安全描述符(例如，其可以被称为服务描述符)，其中定义了封包数据(有效载荷)的加密的存在与否、散列值的存在与否、消息认证码或扩展封包结尾中的数字签名、散列值的算法类型、消息认证码或扩展封包结尾中的数字签名等中的任一种。
此外，图像传感器1211可使用该安全描述符来向应用处理器1212通知任何特定消息，诸如图像传感器1211内部和外部的异常的存在与否、对图像传感器1211的干扰或攻击的存在与否等。
作为消息认证码(MAC)，可以使用伽罗瓦MAC(GMAC)、基于密文的MAC(CMAC)、基于散列的MAC(HMAC)等中的任何一种。例如，可以使用应用高级加密标准(AES)或安全散列算法(SHA)的AES-GMAC、AES-CMAC、SHA2-HMAC、SHA3-HMAC等中的任何一个。
图159示出在图153的安全描述符中设置诸如在图像传感器1211内部或外部的异常的存在与否、对图像传感器1211的干扰或攻击的存在与否等的任何特定消息的实例。
<安装在推进装置上的实例>
图像传感器1211和应用处理器1212可被配置以安装在期望的推进装置上。
推进装置可以是例如能够执行推进(任何移动、行进、行走、飞行等)的任何车辆、机器人、无人机等，或者能够执行自动化推进(具有安装在其上的人工智能(AI)功能)的任何自动化车辆、自动化机器人、自动化无人机等。
推进装置的推进可由推进装置的用户控制，并且推进装置可根据需要向用户提供指令或警告。同时，推进装置可被配置为使得推进装置本身自动控制其自身的推进。
图160为示出推进控制系统的示意性配置实例的框图，其为安装有上述图像传感器1211和应用处理器1212的推进装置的控制系统的实例。
推进控制系统1600包括通过通信网络1601连接的多个电子控制单元。在图160所示的实例中，推进控制系统1600包括驱动系统控制单元1615、主体系统控制单元1616、外部信息检测单元1617、内部信息检测单元1619和综合控制单元1611。此外，作为综合控制单元1611的功能配置，示出微型计算机1631、声音图像输出单元1632和车载网络接口(I/F)1633。
驱动系统控制单元1615根据各种程序控制与推进装置的驱动系统有关的装置的动作。
身体系统控制单元1616根据各种程序控制安装在推进装置中的各种装置的操作。
外部信息检测单元1617检测安装推进控制系统1600的推进装置外部的信息。例如，成像单元1618连接到外部信息检测单元1617。外部信息检测单元1617使成像单元1618拍摄推进装置外部的图像，并接收拍摄的图像。外部信息检测单元1617可基于接收的图像执行人、车辆、障碍、标志、路面上的文字等的物体检测处理或距离检测处理。此外，外部信息检测单元1617可具有与应用处理器1212相对应的配置。
成像单元1618具有对应于图像传感器1211的配置，并且是接收光并根据光的接收量输出电信号的光学传感器。成像单元1618可输出电信号作为图像并且可输出电信号作为距离测量的信息。此外，由成像单元1618接收的光可以是可见光或者可以是诸如红外光的不可见光。
内部信息检测单元1619检测推进装置内部的信息。检测推进装置内部的信息的检测单元1620可连接至内部信息检测单元1619。在此，推进装置内部的信息例如是推进装置的温度、环境湿度等信息。
微型计算机1631能够基于由外部信息检测单元1617或内部信息检测单元1619获取的推进装置内部和外部的信息计算各种控制目标值，并且向驱动系统控制单元1615输出控制命令。此外，微型计算机1631可具有与应用处理器1212相对应的配置。
此外，微型计算机1631基于由外部信息检测单元1617或内部信息检测单元1619获取的推进装置周围的信息来控制推进，从而执行为了自主行驶等的协作控制，其中车辆不依赖于用户的操作而自动行驶。
如上所述，由于成像单元1618具有与图像传感器1211对应的配置并且外部信息检测单元1617和/或微型计算机1631具有与应用处理器1212对应的配置，因此成像单元1618和外部信息检测单元1617和/或微型计算机1631相互实现高速数据通信。
此外，微型计算机1631可以基于由外部信息检测单元1617获取的推进装置外部的信息将控制命令输出到主体系统控制单元1616。
声音图像输出单元1632将声音或图像中的至少一个的输出信号发送到输出装置，该输出装置能够在视觉上和听觉上将信息通知给推进装置的乘客或推进装置的外部。在图160的实例中，作为输出装置，示例性示出了音频扬声器1612、显示单元1613和仪表板1614。例如，显示单元1613可包括板上显示器或平视显示器中的至少一个。
<推进控制处理(部分1)>
上述推进装置可调查接收到异常消息时(例如，接收到异常消息时)的推进装置的推进状况(例如，推进装置的推进速度、周围的障碍的有无等)，由图160的推进控制系统1600接收一次、接收多次或连续接收)，并在推进状况满足安全条件时终止高速数据传输，或者当推进状况不满足安全条件时，改变推进控制(例如，将推进装置减速或引导至障碍较少的位置)。
此处，将参照图161的流程图描述由推进控制系统1600进行的上述推进控制处理。
在步骤S1651中，与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631确定是否从与图像传感器1211相对应的成像单元1618(包括)接收到指示已经发生异常的异常消息(的特定消息)，并且重复类似处理，直到确定已经接收到异常消息。
在该处理中，可以基于是否接收到一次特定消息、多次特定消息或连续接收到特定消息来确定是否接收到包括异常消息的特定消息。
在步骤S1651中，在确定已经接收到异常消息的情况下，处理进行至步骤S1652。
在步骤S1652中，外部信息检测单元1617和/或微型计算机1631调查推进状况。更具体地，例如，外部信息检测单元1617和/或微型计算机1631调查推进装置的推进速度、推进装置周围是否存在障碍等作为推进状况。
在步骤S1653中，外部信息检测单元1617和/或微型计算机1631确定推进状况是否满足安全条件。即，根据推进装置的推进速度是否高于预定速度、推进装置周围的障碍是否存在于预定距离内等，确定推进状况是否满足安全条件。
在步骤S1653中，在确定推进状况不满足安全条件的情况下，处理进行至步骤S1654。
在步骤S1654中，外部信息检测单元1617和/或微型计算机1631改变推进的控制，使得推进状况满足安全条件，并且处理返回到步骤S1652。
即，例如，外部信息检测单元1617和/或微型计算机1631控制驱动系统控制单元1615和主体系统控制单元1616，直到推进状况满足安全条件，并且重复例如改变推进控制以使得推进装置的推进速度变得低于预定速度或改变推进控制以使得推进装置周围的障碍不存在于预定距离内的处理。
然后，在步骤1653中，在确定推进状况满足安全条件的情况下，处理进行至步骤S1655。
在步骤S1655中，与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631终止与对应于图像传感器1211的成像单元1618的高速数据传输。
通过上述处理，即使从与图像传感器1211对应的成像单元1618提供异常消息，与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631也不立即终止高速数据传输，并且在改变推进控制之后终止高速数据传输，直到推进状况满足安全条件。
因此，即使已知在对应于图像传感器1211的成像单元1618中已经发生异常，也不立即终止高速数据传输，并且不突然传输推进控制所需的图像数据，并且可以防止推进控制落入致命状态。
<推进控制处理(部分2)>
控制推进装置的推进控制系统1600的应用处理器1212可包括捕获图像数据或显示图像数据的图像装置(与第一信息处理装置或第一处理器通信的第一传感器)和获取或显示另一数据的另一数据装置(与第二信息处理装置、第一处理器或第二处理器通信的第二传感器)。
在图像装置(第一传感器)中没有出现异常的情况下，推进控制系统1600可以调查图像装置(第一传感器)的状态并且优先使用图像装置的图像数据(由第一传感器获取的数据)用于推进控制。
此外，在图像装置(第一传感器)中发生异常的情况下，推进控制系统1600可将小警告通知给推进装置的用户。然后，在另一数据装置(第二传感器)中未发生异常的情况下，推进控制系统可调查另一数据装置(第二传感器)的状态并且优先使用另一数据装置的另一数据(由第二传感器获取的数据)用于推进控制。
此外，在另一数据装置(第二传感器)中发生异常的情况下，推进控制系统1600可将大警告通知给推进装置的用户，然后将推进控制传递给用户，以终止高速数据传输。
注意，图像装置(第一传感器)和另一数据装置(第二传感器)可以具有相同类型的配置或不同类型的配置。即，图像装置(第一传感器)和另一数据装置(第二传感器)可以是任何图像传感器，诸如，可见光传感器、红外光传感器、紫外光传感器、偏振传感器、距离测量传感器、ToF传感器或LiDAR传感器、毫米波雷达传感器、超声波雷达传感器、GPS传感器、GNSS传感器、RF距离测量传感器、RF定位传感器等。
此处，将参照图162的流程图描述由推进控制系统1600进行的上述推进控制处理。
在步骤S1671中，与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631调查图像装置(第一传感器)的状态。更具体地，外部信息检测单元1617和/或微型计算机1631通过例如获取图像装置(第一传感器)中的异常诊断的诊断结果来调查状态。
在步骤S1672中，外部信息检测单元1617和/或微型计算机1631基于图像装置(第一传感器)的状态来确定在图像装置(第一传感器)中是否发生了异常。
在步骤S1672中，在确定在图像装置(第一传感器)中没有发生异常的情况下，处理进行至步骤S1673。
在步骤S1673中，外部信息检测单元1617和/或微型计算机1631优先使用由图像装置(第一传感器)获取的数据来控制推进装置的推进，并且处理返回到步骤S1671，并且重复后续处理。
即，只要在图像装置(第一传感器)中没有发生异常，就使用由图像装置(第一传感器)获取的数据来控制推进装置的推进。
在步骤S1672中，在确定在图像装置(第一传感器)中已经发生异常的情况下，处理进行至步骤S1674。
在步骤S1674中，外部信息检测单元1617和/或微型计算机1631控制声音图像输出单元1632，以使用音频扬声器1612、显示单元1613和仪表板1614中的至少一个的声音或图像中的至少一种将指示在图像装置(第一传感器)中已经发生异常的小警告的信息呈现给推进装置的用户。
在步骤S1675中，外部信息检测单元1617和/或微型计算机1631调查另一数据装置(第二传感器)的状态。更具体地，外部信息检测单元1617和/或微型计算机1631通过获取另一数据装置(第二传感器)中的异常诊断的诊断结果来调查状态。
在步骤S1676中，外部信息检测单元1617和/或微型计算机1631基于另一数据装置(第二传感器)的状态来确定在另一数据装置(第二传感器)中是否发生了异常。
在步骤S1676中，在确定在另一数据装置(第二传感器)中未发生异常的情况下，处理进行至步骤S1677。
在步骤S1677中，外部信息检测单元1617和/或微型计算机1631优先使用由另一数据装置(第二传感器)获取的数据来控制推进装置的推进，并且处理返回到步骤S1671，并且重复后续处理。
即，即使在图像装置(第一传感器)中发生异常，只要在另一数据装置(第二传感器)中没有发生异常，就使用由另一数据装置(第二传感器)获取的数据来控制推进装置的推进。
在步骤S1676中，在确定在另一数据装置(第二传感器)中发生异常的情况下，处理进行至步骤S1678。
在步骤S1678中，外部信息检测单元1617和/或微型计算机1631控制声音图像输出单元1632，以使用利用音频扬声器1612、显示单元1613和仪表板1614中的至少一个的声音或图像中的至少一个向推进装置的用户呈现指示在图像装置(第一传感器)和另一数据装置(第二传感器)两者中已经发生异常的大警告的信息。
此时，由于难以进行自动推进，因此在大警告中，存在提示用户对推进装置进行推进控制的信息。
在步骤S1679中，外部信息检测单元1617和/或微型计算机1631将推进装置的推进控制切换为根据用户对操作单元(未示出)等的操作所生成的操作信号进行控制。另外，在步骤S1679的处理之前，也可以将推进装置的推进控制切换为基于用户对操作单元(未图示)等进行操作所生成的操作信号的控制。
在步骤S1680中，外部信息检测单元1617和/或微型计算机1631终止与图像装置(第一传感器)和与图像传感器1211对应的另一数据装置(第二传感器)的高速数据传输，并停止接收从图像装置(第一传感器)输入的图像数据和从另一数据装置(第二传感器)输入的数据。
通过上述处理，当与图像传感器1211对应的图像装置(第一传感器)中发生异常时，呈现小警告以呈现异常的发生，并且基于由另一数据装置(第二传感器)获取的数据执行推进控制。
此外，在除了成像装置(第一传感器)之外的另一数据装置(第二传感器)中发生异常时，呈现大警告，以表示由于异常的发生而无法执行自动推进控制，从而将控制切换至由用户进行的推进控制并且终止高速数据通信。
因此，即使在获取推进控制所需的数据的一些传感器(图像装置(第一传感器))中发生异常，也可执行基于由其他传感器(其他数据装置(第二传感器))获取的数据的推进控制，从而可实现具有更高安全性的推进控制。
此外，在所有的传感器中发生异常的情况下，推进控制被移交给用户，使得不用由发生异常的传感器获取的不确定数据来继续推进控制，并且可以实现安全的推进控制。
<推进控制处理(部分3)>
在接收到作为特定消息的异常消息(例如，接收到一次、接收到多次或连续接收到)的情况下，控制推进装置的推进的推进控制系统1600(的外部信息检测单元1617和/或与应用处理器1212相对应的微型计算机1631)可调查推进状况，并在可终止高速数据传输的状态的情况下终止高速数据传输。
此外，在不能终止高速数据传输的状态的情况下，控制推进装置的推进的推进控制系统1600(的外部信息检测单元1617和/或与应用处理器1212相对应的微型计算机1631)可请求图像传感器1211保持高速数据传输。
因此，高速数据传输不通过推进控制系统1600的成像单元1618(对应于图像传感器1211)而是通过控制推进装置的推进的外部信息检测单元1617和/或微型计算机1631(对应于应用处理器1212)终止。因此，可以避免由单向终止图像传感器1211侧的高速数据传输所引起的缺陷。
此外，在高速数据传输的终止是必要的情况下，对应于图像传感器1211的成像单元1618可传输异常消息作为特定消息，在异常消息满足预定条件之后(例如，在经过了预定时间之后，在已经发送了预定数量的异常消息之后，或者在具有倒计数功能或顺计数功能的异常消息已经达到预定值)，在推进装置不请求保持高速数据传输的情况下，可以终止高速数据传输。
同时，在从推进装置(对应于外部信息检测单元1617和/或微型计算机1631的(对应于应用处理器1212))请求保持高速数据传输的情况下，对应于图像传感器1211的成像单元1618可延长高速数据传输的终止调度。例如，可以延长预定时间或预定次数，或者可以重置指示倒计时或顺计时的计数值(例如，重置为初始值)。
要注意的是，图像传感器1211(与其对应的成像单元1618)可能想要终止高速数据传输，以便执行任何高速数据传输禁用处理，例如，更新、初始化、重置、重启或完全阻止一些功能。然而，如果在没有来自与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631的许可的情况下终止高速数据传输，则可发生推进装置的事故。
通过上述处理，由于在没有来自与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631的许可的情况下，与图像传感器1211相对应的成像单元1618不终止高速数据传输，因此避免了由从成像单元1618到应用处理器1212的高速数据传输的突然终止引起的缺陷。
因此，图像装置和处理器可以是具有推进单元的推进装置的一部分，其中，根据需要使用图像数据直接或间接地控制推进。
随后，将参照图163和图164的流程图描述上述推进控制处理。
需注意，图163的流程图表示控制推进装置的推进控制系统1600中对应于应用处理器1212的外部信息检测单元1617和/或微型计算机1631的处理，并且图164的流程图表示对应于图像传感器1211的成像单元1618的处理。
在步骤S1691(图163)中，外部信息检测单元1617和/或微型计算机1631确定是否已经从对应于图像传感器1211的成像单元1618接收到异常消息(包括异常消息的特定消息)，并且重复类似处理直到确定已经接收到异常消息。
在步骤S1691中，在确定已经接收到异常消息的情况下，处理进行至步骤S1692。
在步骤S1692中，外部信息检测单元1617和/或微型计算机1631调查推进状况。
在步骤S1693中，外部信息检测单元1617和/或微型计算机1631基于推进状况来确定是否是能够终止高速数据传输的状态。
在步骤S1693中，在能够终止高速数据传输的状态下，处理进行至步骤S1694。
在步骤S1694中，外部信息检测单元1617和/或微型计算机1631终止高速数据通信，停止从对应于图像传感器1211的成像单元1618接收图像数据的提供，并终止处理。
另一方面，在步骤S1963中，不是能够终止高速数据传输的状态，处理进行至步骤S1695。
在步骤S1695中，外部信息检测单元1617和/或微型计算机1631将请求维持高速数据传输的信息发送到对应于图像传感器1211的成像单元1618。
同时，在步骤S1711中，对应于图像传感器1211的成像单元1618确定是否已经发生异常并且是否处于高速数据传输的终止是必要的状态，并且重复类似处理直到被确定为是必要的。
在步骤S1711中，在确定需要终止高速数据传输的情况下，处理进行至步骤S1712。
在步骤S1712中，成像单元1618将包括异常消息的特定消息传输至与应用处理器1212对应的外部信息检测单元1617和/或微型计算机1631。
在步骤S1713中，成像单元1618确定异常消息是否满足预定条件。预定条件例如是否经过了预定时间、是否发送了预定数量的异常消息、具有倒计时功能或顺计时功能的异常消息是否达到了预定值等。
在步骤S1713中，在确定异常消息满足预定条件的情况下，处理进入步骤S1714。
在步骤S1714中，成像单元1618确定是否存在来自与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631的用于维持高速数据传输的请求。
在步骤S1714中，在确定存在用于维持高速数据传输的请求的情况下，处理进行至步骤S1715。
在步骤S1715中，成像单元1618延长高速数据传输的终止调度，并且处理返回至步骤S1711。
另一方面，在步骤S1714中，在确定不存在用于维持高速数据传输的请求的情况下，处理进行至步骤S1716。
在步骤S1716中，成像单元1618终止高速数据传输，并停止将图像数据传输至与应用处理器1212对应的外部信息检测单元1617和/或微型计算机1631。
通过上述处理，高速数据传输不通过成像单元1618(对应于图像传感器1211)而是通过控制推进装置的推进的推进控制系统1600的外部信息检测单元1617和/或微型计算机1631(对应于应用处理器1212)终止。因此，可以避免由单向终止图像传感器1211侧的高速数据传输所引起的缺陷。
应注意，已经使用对对应于图像传感器1211的成像单元1618中出现异常或出现异常(负面情况)的可能性进行警告的实例进行了描述，但是本实施方式不限于此。
例如，发生正面状况或发生正面状况的可能性可被传输到对应于图像传感器1211的成像单元1618。此外，可发送在对应于图像传感器1211的成像单元1618中非负面或非正面的状况的改变的发生或状态的改变的可能性。
因此，上述异常消息可以是不同于正常时或通常时的消息，诸如改进消息或改变消息。如上所述，在正常时或通常时，正常消息或通常消息可被作为特定消息发送。此外，仅在与正常时或通常时不同的情况下，可发送特定消息。此外，虽然已经使用其中在推进装置中的推进控制系统1600中使用特定消息的实例给出了描述，但是本实施例不限于此，并且特定消息可在任何移动装置(诸如智能电话或数码相机)中使用。此外，已经使用在保持图像数据流的同时发送特定消息的实例给出了描述，但是本实施例不限于此，并且例如，特定消息可被配置为在图像数据传输停止之后发送。
构成诸如框图或者流程图的任何附图的元件的定时或者位置是实例，并且可以被配置为不同。在每个实例中描述的实施例具有各种变形例。即，可以部分地省略、部分地或完全地改变、或者部分地或完全地改变上述每个实例的部件。
此外，一些组件可以用其他组件替换，或者一些或所有组件可以添加有其他组件。此外，部分或全部组件可以划分为多个组件，部分或全部组件可以划分为多个组件，或者多个划分或划分的组件中的至少一些可以具有不同功能或特性。
此外，组件的至少一部分可以被移动以形成不同的实施例。此外，联接元件或中继元件可以被添加到部件的组合中的至少一些以形成不同的实施例。
此外，切换功能可以被添加到部件的组合中的至少一些以形成不同的实施方式。本实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下可以做出各种修改。应注意，本说明书中描述的效果仅是实例并且不受限制，并且可以表现出其他效果。
在本说明书中，由计算机根据程序执行的处理不一定必须根据如流程图描述的顺序按照时间顺序执行。换言之，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或由对象进行的处理)。
此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。而且，程序可以传输给远程计算机并且执行该程序。而且，在本说明书中，术语“系统”表示一组多个部件(装置、模块(部件)等)，并且与所有配置元件是否在同一外壳内无关。
因此，容纳在分开的壳体中并且经由网络连接的多个装置，以及将多个模块容纳在一个壳体中的一个装置都是系统。
此外，例如，描述为一个装置(或处理单元)的配置可以被划分成和配置为多个装置(或处理单元)。相反，描述为多个装置(或处理单元)的配置可以被共同地配置为一个装置(或处理单元)。
此外，除了上述配置之外的配置可被添加到每个装置(或每个处理单元)的配置。此外，只要系统整体的配置和操作基本相同，则特定装置(或处理单元)的配置的一部分可被包括在另一装置(或另一处理单元)的配置中。
此外，例如，在本技术中，可以采用云计算的配置，其中，经由网络通过多个装置协作地共享和处理一个功能。此外，例如，上述程序可以由任意装置执行。
在这种情况下，装置仅需要具有必要的功能(功能块等)并获得必要的信息。此外，例如，在上述流程图中描述的步骤可以由一个装置执行或者可以共享方式由多个装置执行。
此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个装置执行或者可以由多个装置共享和执行。换言之，包括在一个步骤中的多个处理可以作为多个步骤的处理被执行。相反，描述为多个步骤的处理可以作为一个步骤集体执行。
应注意，在由计算机执行的程序中，描述程序的步骤的处理可以根据本说明书中描述的顺序按照时间顺序执行，或者可以单独并行执行或者在进行调用时的必要定时执行。即，只要不发生矛盾，就可以以与上述顺序不同的顺序执行各步骤的处理。
此外，描述程序的步骤的处理可以与另一个程序的处理并行执行，或者可以与另一个程序的处理结合执行。
此外，本说明书中描述的多种本技术可以彼此独立地实现为单个单元，只要不存在不一致性即可。当然，任意数量的本技术可以一起实现。例如，可以结合在另一实施方式中描述的本技术的部分或全部实现任何实施方式中描述的本技术的部分或全部。此外，上述任意本技术的一部分或全部可以与上面未描述的另一技术组合来实现。
<用于停止数据流的方法>
(HEARTBEAT功能)
HEARTBEAT功能被用于确定在该功能由请求者和响应者两者支持的情况下是否需要继续会话。
这里，请求者和响应者是分别对应于应用处理器1212和图像传感器1211的配置，可通过会话具有一个或多个通信信道。
在下文中，作为实例，将使用以下实例进行描述，在该实例中，在控制推进装置的推进的推进控制系统1600中，使用以下配置形成会话：在该配置中，与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631是请求者，与图像传感器1211相对应的成像单元1618是响应者。当然，外部信息检测单元1617和/或微型计算机1631可以是响应者，成像单元1618可以是请求者。
在会话中，请求者或响应者在HEARTBEAT时段(HeartbeatPeriod)内发送HEARTBEAT请求消息。例如，HeartbeatPeriod由响应者在PSK_EXCHANGE_RSP响应消息中的Param1中指定并存储或者在成功的KEY_EXCHANGE_RSP响应消息中指定。
HEARTBEAT请求消息发送侧在“预定值(例如，2)×HEARTBEAT时段(＝第一时间)”内没有接收到来自HEARTBEAT请求消息接收侧的HEARTBEAT_ACK响应消息或ERROR响应消息的情况下终止会话。
HEARTBEAT请求消息发送侧可以重试HEARTBEAT请求消息的发送，并且在重试之前等待来自HEARTBEAT请求消息接收侧的响应达预定时间。
HEARTBEAT请求消息接收侧在“预定值(例如，2)×HEARTBEAT时段”内没有接收到HEARTBEAT请求消息的情况下终止会话。
在这种情况下，存在由于对对应于图像传感器1211的成像单元1618的攻击或故障所引起的成像单元1618的操作而停止数据流的可能性。
例如，在对应于图像传感器1211的成像单元1618安装在推进装置(例如，车辆、无人机或机器人)上，并且来自成像单元1618的数据流用于控制推进装置的推进的推进控制系统1600的外部信息检测单元1617和/或微型计算机1631中的情况下，如果，则推进控制受到数据流突然停止的影响，并且在最坏的情况下，可导致致命事故。
因此，在数据流停止的情况下，HEARTBEAT功能被禁用(HBEAT_CAP＝0)，并且在请求者(与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631)没有许可的情况下，防止数据流被响应者(与图像传感器1211相对应的成像单元1618)停止。
通过防止在没有请求者的许可的情况下数据流停止(与应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631)，可以避免由响应者(对应于图像传感器1211的成像单元1618)的操作引起的数据流的停止。
此外，请求者(与应用处理器1212对应的外部信息检测单元1617和/或微型计算机1631)可基于从响应者(对应于图像传感器1211的成像单元1618)发送的计数值(例如，消息计数器的值)确定会话是否需要继续。
此外，在数据流突然停止的情况下，HEARTBEAT功能被启用(HBEAT_CAP＝1)，并且关于HEARTBEAT时段的会话终止可以不被设置为强制要求(例如，其被表示为“应”或“必须”)，但是可以被设置在强制要求之外(例如，“将”或“可以”所表达的任何要求)。具体地，关于HEARTBEAT时段的会话终止可以被设置为HEARTBEAT请求消息发送侧的强制要求，而会话终止可以被设置在HEARTBEAT请求消息接收侧的强制要求之外。此外，关于HEARTBEAT时段的会话终止可以被设置在HEARTBEAT请求消息发送侧的强制要求之外，而会话终止可以被设置为HEARTBEAT请求消息接收侧的强制要求。此外，关于HEARTBEAT时段的会话终止可以被设置在HEARTBEAT请求消息发送侧的强制要求之外，并且会话终止可以被设置在HEARTBEAT请求消息接收侧的强制要求之外。注意，公共可用的SPDM标准可以将关于HEARTBEAT时段的会话终止定义为不是强制性要求而是强制性要求之外，涉及SPDM标准的一部分或全部的安全标准可以将关于HEARTBEAT时段的会话终止定义为不是强制性要求而是强制性要求之外，或者不涉及SPDM标准的安全标准可以将关于HEARTBEAT时段的会话终止定义为不是强制性要求而是强制性要求之外。
此外，响应者(对应于图像传感器1211的成像单元1618)可以包括用于关于对响应者自身的攻击或者故障的检测电路或者预测电路，并且可以检测或者预测在响应者自身或者图像数据中(包括已经发生的特定情形)存在特定状态发生的可能性。
例如，当响应者(对应于图像传感器1211的成像单元1618)将HEARTBEAT_NAK响应消息发送到作为通信主机的请求者(对应于应用处理器1212的外部信息检测单元1617和/或微型计算机1631)时，可以通知响应者(成像单元1618)的缺陷的发生。因此，请求者(外部信息检测单元1617和/或微型计算机1631)可以确定其自身的数据流的停止的必要性(例如，作为值，可以新分配0x00、0x05-0x5F、0x62、0x6D-0x7D的保留区域)。
当确定停止数据流时，请求者(外部信息检测单元1617和/或微型计算机1631)将END_SESSION请求发送至响应者(成像单元1618)，并且停止用于传输数据流的高速数据通信。应注意，END_SESSION请求的发送可在自停止数据流的确定起已经过去预定时间(例如，HEARTBEAT_NAK响应消息的接收、ERROR响应消息的接收或第一时间流逝)之后执行，或者可暂停直到推进状况满足安全条件。
结果，即使数据流停止，请求者(外部信息检测单元1617和/或微型计算机1631)可例如在获得安全情况之后停止数据流，因此，可抑制由对推进控制的影响引起的致命事故的发生。
图165示出了用于设置HEARTBEAT功能的启用(HBEAT_CAP＝1)或者禁用(HBEAT_CAP＝0)的响应者标志字段定义的配置实例。虽然这是响应者的配置实例，但是类似地，请求者可以支持请求者标志字段定义，并且可以支持HBEAT_CAP，其中响应者标志字段定义中的值被从响应者替换为请求者。图166示出了HEARTBEAT请求消息的配置实例。图167示出HEARTBEAT_ACK响应消息的配置实例。图168示出HEARTBEAT_NAK响应消息的配置实例。图169示出了END_SESSION请求消息的配置实例。应注意，示出了其中SPDMVersion的值为V1.1或TBD的配置实例，但可使用其他值(例如，V1.2(＝0x12)、V1.3(＝0x13)、V2.0(＝0x20))。此外，在从公开可用的SPDMVersion 1.1.0改变的情况下，例如，在关于HEARTBEAT时段的会话终止被设置为在强制要求之外而不是强制要求的情况下，SPDMVersion可被设置为另一值。即，SPDMVersion的偏移(offset)、字节或值的至少任何描述可符合公开可用的SPDM标准的最新规范。类似地，在关于本申请的图表或描述中使用的偏移、字段、字节(以字节为单位的大小)、值、大小、位、描述、名称、错误代码、错误数据、扩展错误数据、ID、供应商ID长度、备案或标准主体名称、位指派、备注、eDT、eVC、Addr、初始值、设置数据、属性、细节、嵌入式数据格式代码、安全MAC、安全协议等的至少任何描述可以符合SPDM标准、DMTF中的标准、MIPI中的标准或另一标准的最新规范。
HEARTBEAT_NAK响应消息是异常消息的特定消息。此外，在HEARTBEAT_NAK响应消息中，可以通过新定义诸如Param1或Param2的区域并且分配相应的位来通知特定状态。也就是说，以上描述的任何其他特定消息可以被存储在HEARTBEAT_NAK响应消息中。
<HEARTBEAT处理(部分1)>
接下来，将参照图170的时序图描述HEARTBEAT处理(部分1)。
这里，图170的左部示出与作为CCI主机(请求者)的应用处理器1212相对应的外部信息检测单元1617和/或微型计算机1631的操作定时。
此外，图170的右部示出对应于图像传感器1211的成像单元1618的操作定时，图像传感器1211是CCI装置(响应者)。
也就是说，CCI主机(请求者)通过步骤S1731和S1751的处理(类似于步骤S507或S525的一部分)将PSK_FINISH请求消息发送到CCI装置(响应者)。
通过步骤S1752和S1732的处理，CCI装置(响应者)将PSK_FINISH_RSP响应消息发送到CCI主机(请求者)(类似于步骤S507或S525的一部分)。
该处理实现HEARTBEAT功能。
通过步骤S1733和S1753的处理，CCI主机(请求者)向CCI装置(响应者)发送HEARTBEAT请求消息。
响应于此，CCI装置(响应者)通过步骤S1754和S1734的处理向CCI主机(请求者)发送HEARTBEAT_ACK响应消息。
此后，CCI主机(请求者)在每个HEARTBEAT时段(心跳周期)向CCI装置(响应者)发送HEARTBEAT请求消息，并且响应于此，CCI装置(响应者)向CCI主机(请求者)发送HEARTBEAT_ACK响应消息的处理被重复。
即，如在步骤S1733至S1736和S1753至S1756中所示，认识到只要该处理被连续地重复，则通信状态被正常地建立。
这里，假定当在CCI装置(响应者)中检测到异常时，即，不能建立通信状态。然后，相对于通过步骤S1737和S1757中的处理向CCI主机(请求者)发送HEARTBEAT请求消息，CCI装置(响应者)如在步骤S1758和S1738中的处理中那样将HEARTBEAT_NAK响应消息发送到CCI主机(请求者)。注意，在能够建立通信状态的状态下，HEARTBEAT_NAK响应消息可以作为异常消息被发送到CCI主机(请求者)。
当CCI主机(请求者)通过步骤S1738的处理接收到HEARTBEAT_NAK响应消息时，通过步骤S1739的处理将声明会话(以及高速数据通信)结束的END_SESSION请求消息发送到CCI装置(响应者)，并且丢弃或清除会话密钥。注意，在从CCI装置(响应者)接收到END_SESSION_ACK响应消息、END_SESSION_NAK响应消息或下述ERROR响应消息之后，CCI主机(请求者)可在自传输END_SESSION请求消息起已经过去预定时间之后丢弃或清除会话密钥。
响应于此，当在步骤S1759中CCI装置(响应者)接收到END_SESSION请求消息时，在步骤S1760中CCI装置(响应者)将END_SESSION_ACK响应消息发送到CCI主机(请求者)，丢弃或清除会话密钥，并终止会话(以及高速数据通信)。
该处理禁用HEARTBEAT功能。
通过上述一系列处理，即使在CCI装置中发生异常，HEARTBEAT_NAK响应消息也被提供给CCI主机，并且在执行该一系列处理之后，会话(以及高速数据通信)被终止并且数据流被停止。因此，在没有CCI主机的许可的情况下防止CCI装置停止数据流。
注意，在CCI装置(响应者)由于某种原因不能接收到每个HEARTBEAT时段(心跳周期)的HEARTBEAT请求消息的情况下，CCI主机(请求者)向CCI装置(响应者)发送END_SESSION请求消息，并且终止会话(以及高速数据通信)。
即，也在这种情况下，通过根据CCI主机(请求者)的确定发送END_SESSION请求消息来实现会话(以及高速数据通信)结束，避免在没有CCI主机许可的情况下CCI装置停止数据流。
<HEARTBEAT处理(部分2)>
即使在CCI装置(响应者)检测到异常的情况下或者在预定时间(＝第一时间)内没有接收到HEARTBEAT请求消息的情况下，也可以在预定时间(＝第二时间)内在CCI装置(响应者)中未接收到来自CCI主机(请求者)的END_SESSION请求消息。在此，第一时间是对应于“预定值(例如，2)×HEARTBEAT周期(心跳周期)”的时间，并且第二时间是从对应于“预定值(例如，2)×HEARTBEAT周期(心跳周期)”的时间过去直到END_SESSION请求消息被发送时进一步流逝的时间。
因此，在CCI装置(响应者)在预定时间(＝第二时间)内未接收到END_SESSION请求消息的情况下，可定义END_SESSION_NAK响应消息，其指示CCI装置(响应者)在预定时间(＝第二时间)内未接收到END_SESSION请求消息，并且CCI装置(响应者)可将END_SESSION_NAK响应消息通知给CCI主机(请求者)。
图171示出了指示END_SESSION_NAK响应消息没有在预定时间(＝第二时间)内被CCI装置(响应者)接收的END_SESSION_NAK响应消息的配置实例。
此外，在END_SESSION_NAK响应消息中，可通过新定义诸如图171的Param1或Param2的区域并且分配相应的位来通知特定状态。即，可以存储上述特定消息、异常消息或附加信息中的任何一个。
接下来，将参照图172和图173的流程图描述HEARTBEAT处理(部分2)。
注意，图172的流程图表示CCI主机(请求者)的处理，而图173的流程图表示CCI装置(响应者)的处理。
在步骤S1771(图172)中，CCI主机(请求者)将PSK_FINISH请求消息发送到CCI装置(响应者)。
作为响应，在步骤S1791(图173)，CCI装置(响应者)基于PSK_FINISH请求消息是否已经被发送来确定是否向CCI主机(请求者)发送PSK_FINISH_RSP响应消息，并且重复类似的处理，直到确定发送PSK_FINISH_RSP响应消息为止。
然后，在步骤S1791中，在确定发送PSK_FINISH_RSP响应消息的情况下，在步骤S1792中，CCI装置(响应者)将PSK_FINISH_RSP响应消息发送给CCI主机(请求者)。
这里，在步骤S1772中，CCI主机(请求者)确定是否已经从CCI装置(响应者)接收到PSK_FINISH_RSP响应消息，并且重复类似的处理，直到确定已经接收到PSK_FINISH_RSP响应消息为止。
在步骤S1772中，在确定已经接收到PSK_FINISH_RSP响应消息的情况下，处理进行至步骤S1773。
在步骤S1773中，CCI主机(请求者)发送HEARTBEAT请求消息到CCI装置(响应者)。
作为响应，在步骤S1793(图173)，CCI装置(响应者)确定是否已经接收到HEARTBEAT请求消息。
在步骤S1793中，在确定已经接收HEARTBEAT请求消息的情况下，处理进行至步骤S1794。
在步骤S1794中，CCI装置(响应者)将HEARTBEAT_ACK响应消息发送到CCI主机(请求者)，并且处理返回到步骤S1793。
这里，在步骤S1774(图172)，CCI主机(请求者)确定是否已经接收到HEARTBEAT_ACK响应消息。
在步骤S1774中，在确定已经接收到HEARTBEAT_ACK响应消息的情况下，处理返回到步骤S1773。
只要CCI主机(请求者)发送HEARTBEAT请求到CCI装置(响应者)并且CCI装置(响应者)返回HEARTBERAT_ACK响应消息到CCI主机(请求者)作为响应的处理被重复，步骤S1773和S1774(图172)以及步骤S1793和S1794(图173)的处理就要重复。
也就是说，只要CCI主机(请求者)和CCI装置(响应者)之间的通信被建立的状态被维持，CCI主机(请求者)在HEARTBEAT时段(心跳周期)中将HEARTBEAT请求消息发送到CCI装置(响应者)并且CCI装置(响应者)作为响应将HEARTBERAT_ACK响应消息返回到CCI主机(请求者)的处理被重复。
另一方面，在步骤S1793(图173)中，在确定未接收到HEARTBEAT请求消息的情况下，处理进行至步骤S1795。
在步骤S1795中，CCI装置(响应者)确定是否通过异常诊断检测到异常。
在步骤S1795中，在确定为检测到异常的情况下，进入步骤S1796。
在步骤S1796中，CCI装置(响应者)发送HEARTBERAT_NAK响应消息到CCI主机(请求者)。
作为响应，在步骤S1774(图172)中，在确定未接收到HEARTBERAT_ACK响应消息的情况下，处理进行至步骤S1775。
在步骤S1775中，CCI装置(响应者)确定是否已经接收到HEARTBERAT_NAK响应消息。
在步骤S1775中，在确定已经接收到HEARTBERAT_NAK响应消息的情况下，处理进行到步骤S1777。
在步骤S1777中，CCI主机(请求者)向CCI装置(响应者)发送END_SESSION请求消息。
在步骤S1778，CCI主机(请求者)丢弃或清除会话密钥，并终止会话(以及高速数据通信)。
作为响应，在步骤S1798(图173)中，CCI装置(响应者)确定是否在第一时间已经过去之后并且在第二时间进一步逝去之前接收到END_SESSION请求消息。
在步骤S1798中，在确定已经接收到END_SESSION请求消息的情况下，处理进行至步骤S1799。
在步骤S1799中，CCI装置(响应者)向CCI主机(请求者)发送END_SESSION_ACK响应消息。
在步骤S1800，CCI装置(响应者)丢弃或清除会话密钥并终止会话(以及高速数据通信)。
即，当CCI装置(响应者)检测到异常时，HEARTBERAT_NAK响应消息被发送到CCI主机(请求者)，END_SESSION请求消息被发送到CCI装置(响应者)，并且ENDSESSION_ACK响应消息被发送到CCI主机(请求者)作为响应，使得在CCI主机(请求者)和CCI装置(响应者)两者中会话密钥被丢弃或清除，并且会话(以及高速数据通信)结束。
此外，在步骤S1795(图173)中，在没有检测到异常的情况下，处理进行至步骤S1797。
在步骤S1797中，CCI装置(响应者)确定自从接收到紧前面的HEARTBERAT请求消息以来第一时间是否已经过去。
在步骤S1797中，在确定自从接收到紧前面的HEARTBERAT请求消息起没有经过第一时间段的情况下，处理返回到步骤S1793。
同时，在步骤S1775中，在确定未接收到HEARTBERAT_NAK响应消息的情况下，处理进行到步骤S1776。
在步骤S1776中，CCI装置(响应者)确定自发送紧前面的HEARTBERAT请求之后第一时间是否已经过去。
在步骤S1776中，在确定从发送紧前面的HEARTBERAT请求消息起，还没有经过对应于“预定值(例如，2)×HEARTBEAT周期(心跳周期)”的第一时间的情况下，处理返回至步骤S1774。
即，在CCI装置(响应者)不能接收HEARTBEAT请求消息的状态下没有检测到异常的情况下，步骤S1774至S1776(图172)的处理和步骤S1793、S1795和S1797(图173)的处理被重复直到第一时间过去。
然后，在步骤S1776(图172)中，当第一时间已经过去时，处理进行至步骤S177和S1778，并且CCI主机(请求者)发送END_SESSION请求消息，丢弃或清除会话密钥，并且终止会话(以及高速数据通信)。
此外，在CCI装置(响应者)中，在步骤S1797(图173)中，当第一时间已经过去时，处理进行至步骤S1798。
在这种情况下，执行步骤S1798至S1800的处理。
因此，即使在CCI装置(响应者)中未检测到异常的状态下，当在CCI装置(响应者)中不能在第一时间或更久接收到HEARTBEAT请求消息的状态继续时，基于来自CCI主机(请求者)的END_SESSION请求消息来终止会话(以及高速数据通信)。
此外，在步骤S1798中，在确定在从最近一次接收到HEARTBEAT请求消息时起第一时间过去之后和第二时间过去之前没有接收到END_SESSION请求消息的情况下，处理进行到步骤S1801。
在步骤S1801中，CCI装置(响应者)向CCI主机(请求者)发送END_SESSION_NAK响应消息。
结果，在从最近一次接收到HEARTBEAT请求消息起经过了第一时间之后，由于某种原因在CCI装置(响应者)中不能接收到END_SESSION请求消息的状态持续第二时间或更长时间的情况下，END_SESSION_NAK响应消息被发送到CCI主机(请求者)，并且会话(和高速数据通信)终止。
在这种情况下，CCI装置(响应者)自行决定地终止高速数据通信，但是由于END_SESSION_NAK响应消息被发送到CCI主机(请求者)，因此CCI主机(请求者)可识别出在CCI装置(响应者)中终止高速数据通信。
此外，在该处理中，在检测到异常的情况下，在等待预定时间(＝第一时间)之前，立即将异常从CCI装置(响应者)通知给CCI主机(请求者)。此外，HEARTBEAT_NAK响应消息可以用上述特定消息、异常消息或附加信息来代替。注意，在步骤S1797的处理(已经过去第一时间？)与步骤S1798的处理(END_SESSION请求已在第二时间内被接收？)之间可以添加类似于步骤S1796的处理(发送HEARTBEAT_NAK响应)。。即，在已经经过第一时间的情况下，可以发送HEARTBEAT_NAK响应。此外，在检测到异常的情况下的HEARTBEAT_NAK响应和在已经过去第一时间的情况下的HEARTBEAT_NAK响应之间，消息的一部分(例如，Param1或者Param2)或者全部可以是不同的。
<HEARTBEAT处理(部分3)>
HEARTBEAT_NAK响应消息或END_SESSION_NAK响应消息中的至少一个可以被省略。
这里，将参考图174和图175的流程图描述省略HEARTBEAT_NAK响应消息和END_SESSION_NAK响应消息两者的HEARTBEAT处理(部分3)。
注意，图174的流程图表示CCI主机(请求者)的处理，而图175的流程图表示CCI装置(响应者)的处理。
此处，因为图174的步骤S1811至S1817的处理对应于图172的步骤S1771至S1774和步骤S1776至S1778的处理，所以省略其描述。此外，因为图175的步骤S1831至S1838的处理对应于图173的步骤S1791至S1794和步骤S1797至S1800的处理，所以省略其描述。
即，在图174中的CCI主机(请求者)的处理中，在从之前接收到HEARTBEAT请求消息起已经过去第一时间的情况下，认为与CCI装置(响应者)的通信被禁用，而不管基于异常诊断结果是否存在异常，END_SESSION请求消息被发送，并且会话(以及高速数据通信)被终止。
此外，在图175的CCI装置(响应者)的处理中，在HEARTBEAT_ACK响应消息的先前接收之后第一时间过去之前不能接收到下一HEARTBEAT_ACK响应消息的情况下，认为与CCI主机(请求者)的通信被禁用，此外，在END_SESSION请求消息在第二时间流逝之前被发送的情况下，END_SESSION_ACK响应消息被发送，并且会话(以及高速数据通信)被终止。
同时，当END_SESSION请求消息在第二时间过去之后才被发送时，会话(以及高速数据通信)照原样终止。
另外，在以上处理中，在CCI装置(响应者)由于某种原因不能接收到针对每个HEARTBEAT时段(HeartbeatPeriod)的HEARTBEAT请求消息的情况下，可以终止会话(和高速数据通信)。
而且，在该处理中，会话(以及高速数据通信)的结束基本上也是根据CCI主机(请求者)的确定发送END_SESSION请求消息来实现的，从而避免了在未经CCI主机许可的情况下CCI装置停止数据流。然而，在该处理中，在END_SESSION请求消息不能在第二时间或更长时间内接收的情况下，通过CCI装置(响应者)的确定来终止包括高速数据通信的会话。
<HEARTBEAT处理的应用实例1>
当发生诸如错误或缺陷等异常时，CCI装置(响应者)可以向CCI主机(请求者)发送错误响应消息。
也就是说，CCI装置(响应者)可以向CCI主机(请求者)发送与涉及HEARTBEAT功能的错误或缺陷相对应的ERROR响应消息，来代替HEARTBEAT_NAK响应消息或END_SESSION_NAK响应消息中的至少一个。
ERROR响应消息具有例如图176中所示的配置。如图176中所示，在ERROR响应消息中，例如，定义Param1(错误代码)、Param2(错误数据)以及ExtendedErrorData的区域，并且分配相应的位，以便可通知特定状态。
即，可以存储上述特定消息、异常消息或附加信息中的至少一个。此外，现有的错误代码(例如，Unspecified,InvalidSession(Value：0x02，描述：记录层使用无效会话ID，error data：这将是无效会话ID，ExtendedErrorData：无扩展错误数据提供))可以用作与涉及HEARTBEAT功能的错误或缺陷相对应的错误响应消息、END_SESSION请求消息等。
图177示出了错误代码和错误数据的设置实例。注意，保留区域或者供应商/其他标准定义的区域可以被新定义为与涉及HEARTBEAT功能、END_SESSION请求消息等的错误或缺陷相对应的错误区域。此外，可以使用由公开可用的SPDM标准定义的SPDM规范中的错误代码和错误数据表中的设置。图178示出ExtendedErrorData的设置实例。
<HEARTBEAT处理的应用实例2>
HEARTBEAT功能可以通过在VENDOR_DEFINED_REQUEST请求消息中伪定义HEARTBEAT请求消息并且在VENDOR_DEFINED_RESPONSE响应消息中伪定义HEARTBEAT_ACK响应(和HEARTBEAT_NAK响应)消息而不是HEARTBEAT请求和HEARTBEAT_ACK响应来以伪方式实现。
在下文中，由VENDOR_DEFINED_REQUEST请求消息和VENDOR_DEFINED_RESPONSE响应消息实现的伪HEARTBEAT功能被简称为伪HEARTBEAT功能。
也就是说，在使用伪HEARTBEAT功能的情况下，HEARTBEAT功能可以被禁用(HBEAT_CAP＝0)。
要注意的是，图179示出了在实现伪HEARTBEAT功能的情况下的备案或标准主体ID的设置实例。注意，可以使用由公开可用的SPDM标准定义的SPDM规范的备案或标准主体ID表中的设置。即，本技术可应用于由分布式管理任务组(DMTF)、可信计算组(TCG)、通用串行总线(USB)、外围组件互连特别兴趣组(PCI-SIG)、互联网编号分配机构(IANA)、HDBaseT、移动行业处理器接口(MIPI)、计算快速链路(CXL)、联合电子设备工程委员会(JEDEC)等的标准主体中的至少任何标准主体定义的标准，或者可应用于由这些标准主体或其他标准主体中的至少任何标准主体定义的标准中的HEARTBEAT等效功能或END_SESSION等效功能。此外，图180和图181分别示出了在实现伪HEARTBEAT功能的情况下的VENDOR_DEFINED_REQUEST请求消息和VENDOR_DEFINED_RESPONSE响应消息的设置实例。注意，伪HEARTBEAT功能可以由符合SPDM标准的其他消息、符合CCI标准的消息、符合其他标准的消息等来定义。类似地，END_SESSION功能可以通过在VENDOR_DEFINED_REQUEST请求消息中伪定义END_SESSION请求消息并且在VENDOR_DEFINED_RESPONSE响应消息中伪定义END_SESSION_ACK响应(和END_SESSION_NAK响应)消息而不是END_SESSION请求和END_SESSION_ACK响应来以伪方式实现。在下文中，由VENDOR_DEFINED_REQUEST请求消息和VENDOR_DEFINED_RESPONSE响应消息实现的伪END_SESSION功能被简称为伪END_SESSION功能。注意，伪END_SESSION功能可以由符合SPDM标准的其他消息、符合CCI标准的消息、符合其他标准的消息等来定义。
<计算机的配置实例>
图182是示出通过程序执行上述一系列处理的计算机的硬件的配置实例的框图。
在计算机中，中央处理单元(CPU)2201、只读存储器(ROM)2202、随机存取存储器(RAM)2203和电可擦除可编程只读存储器(EEPROM)2204通过总线2205相互连接。输入/输出接口2206还连接到总线2205，并且输入/输出接口2206连接到外部。
在如上所述配置的计算机中，CPU 2201经由总线2205将例如存储在ROM 2202和EEPROM 2204中的程序加载到RAM 2203中，并且执行该程序，使得执行上述一系列处理。此外，由计算机(CPU 2201)执行的程序可以预先写入ROM 2202中，经由输入/输出接口2206从外部安装在EEPROM 2204中，或者更新。
这里，在本说明书中，由计算机根据程序执行的处理不一定必须根据如流程图描述的顺序按照时间顺序执行。换言之，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或由对象进行的处理)。
此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。而且，程序可以传输给远程计算机并且执行该程序。
而且，在本说明书中，术语“系统”表示一组多个部件(装置、模块(部件)等)，并且所有配置元件是否在同一外壳内无关。因此，容纳在分开的壳体中并且经由网络连接的多个装置，以及将多个模块容纳在一个壳体中的一个装置都是系统。
此外，例如，描述为一个装置(或处理单元)的配置可以被划分成和配置为多个装置(或处理单元)。相反，描述为多个装置(或处理单元)的配置可以被共同地配置为一个装置(或处理单元)。此外，除了上述配置之外的配置可被添加到每个装置(或每个处理单元)的配置。此外，只要系统整体的配置和操作基本相同，则特定装置(或处理单元)的配置的一部分可被包括在另一装置(或另一处理单元)的配置中。
此外，例如，在本技术中，可以采用云计算的配置，其中，经由网络通过多个装置协作地共享和处理一个功能。
此外，例如，上述程序可以由任意装置执行。在这种情况下，装置仅需要具有必要的功能(功能块等)并获得必要的信息。
此外，例如，在上述流程图中描述的步骤可以由一个装置执行或者可以共享方式由多个装置执行。此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个装置执行或者可以由多个装置共享和执行。换言之，包括在一个步骤中的多个处理可以作为多个步骤的处理被执行。相反，描述为多个步骤的处理可以作为一个步骤集体执行。
应注意，在由计算机执行的程序中，描述程序的步骤的处理可以根据本说明书中描述的顺序按照时间顺序执行，或者可以单独并行执行或者在进行调用时的必要定时执行。即，只要不发生矛盾，就可以以与上述顺序不同的顺序执行各步骤的处理。此外，描述程序的步骤的处理可以与另一个程序的处理并行执行，或者可以与另一个程序的处理结合执行。
应注意，本说明书中描述的多种本技术可以彼此独立地实现为单个单元，只要不存在不一致性即可。当然，任意数量的本技术可以一起实现。例如，可以结合在另一实施方式中描述的本技术的部分或全部实现任何实施方式中描述的本技术的部分或全部。此外，上述任意本技术的一部分或全部可以与上面未描述的另一技术组合来实现。
<配置的组合实例>
应注意，本技术还可具有以下配置。
<1>一种信息处理装置，包括：
通信单元，被配置为当与另一信息处理装置执行通信以在所述信息处理装置与所述另一信息处理装置之间在预定方向上执行传输包括图像数据的帧的数据的高速数据传输时，向另一信息处理装置发送或从另一信息处理装置接收以下：
扩展封包，包括扩展封包报头和封包数据，以及
特定消息，能够将图像数据和另一信息处理装置中的至少一者处于不同于正常时或者通常时的状态通知给所述信息处理装置；以及
保护单元，被配置为导出会话密钥并执行所述特定消息的保护数据的生成、验证或解密中的至少一者，其中
图像数据被存储在封包数据中，以及
所述图像数据和所述特定消息经由与所述通信有关的共用通信路径的一部分或全部以不同的定时发送。
<2>根据<1>的信息处理装置，其中，
所述通信单元在与关于所述高速数据传输的所述预定方向相反的方向上传输或接收低速命令传输，
所述高速数据传输比所述低速命令传输快，并且至少执行指示所述帧开始的帧开始的传输和指示所述帧结束的帧结束的传输，以及
多个所述帧是能连续且周期性地发送的，并且所述帧包括在所述帧结束与下一帧开始之间不传输所述图像数据的帧消隐。
<3>根据<2>的信息处理装置，其中，
所述低速命令传输包括用于请求所述信息处理装置或者所述另一信息处理装置写入信息的写入指令、用于请求所述信息处理装置或者所述另一信息处理装置读取信息的读取指令、或者与所述读取指令对应的读取响应的传输，并且
在所述帧消隐的时间段内，所述特定消息作为所述写入指令、所述读取指令或所述读取响应被发送。
<4>根据<2>的信息处理装置，其中，
所述帧包括在所述帧开始与所述帧结束之间的时间段内通过所述高速数据传输而传输的嵌入式数据，
所述嵌入式数据包括与所述图像数据相关的元数据，并且
所述特定消息被存储在所述嵌入式数据中并被发送。
<5>根据<2>的信息处理装置，其中，
所述低速命令传输包括用于请求所述信息处理装置或者所述另一信息处理装置写入信息的写入指令、用于请求所述信息处理装置或者所述另一信息处理装置读取信息的读取指令、或者与所述读取指令对应的读取响应的传输，
所述帧包括在所述帧开始与所述帧结束之间不传输所述图像数据的行消隐，并且
在所述行消隐的时间段内，所述特定消息作为所述写入指令、所述读取指令或所述读取响应被发送。
<6>根据<2>的信息处理装置，其中，
所述特定消息被存储在帧开始内或帧结束内并被发送。
<7>根据<1>至<6>中任一项所述的信息处理装置，其中，
所述帧包括与作为第一虚拟信道的所述图像数据不同的第二虚拟信道的数据，以及
所述特定消息存储在第二虚拟信道的数据中并被发送。
<8>根据<1>至<7>中任一项所述的信息处理装置，其中，
所述扩展封包进一步包括扩展封包结尾，
所述特定消息被存储在存储有所述图像数据的所述扩展封包中的所述扩展封包报头中，并且
所述保护数据存储在存储所述图像数据的所述扩展封包中的所述扩展封包结尾中并被传输。
<9>根据<1>至<8>中任一项所述的信息处理装置，其中，
所述通信单元包括：
HEARTBEAT请求或伪HEARTBEAT请求的发送或接收，以及
响应于HEARTBEAT请求或伪HEARTBEAT请求，在预定时间内接收或发送HEARTBEAT_ACK响应或伪HEARTBEAT_ACK响应，以及
所述信息处理装置或所述另一信息处理装置根据需要在所述预定时间内将所述特定消息发送至所述通信的对方。
<10>根据<1>至<8>中任一项所述的信息处理装置，其中，
所述通信单元包括：
HEARTBEAT请求或伪HEARTBEAT请求的发送或接收，以及响应于HEARTBEAT请求或伪HEARTBEAT请求，在预定时间内接收或发送HEARTBEAT_ACK响应或伪HEARTBEAT_ACK响应，以及
所述通信单元在没有正常接收到HEARTBEAT请求或伪HEARTBEAT请求的情况下，不停止高速数据传输并停止HEARTBEAT_ACK响应或伪HEARTBEAT_ACK响应的发送。
<11>根据<10>的信息处理装置，其中，
在所述信息处理装置或所述另一信息处理装置中的至少一个中设置指示不支持HEARTBEAT请求和HEARTBEAT_ACK响应的位标志，以及
所述通信单元包括：
发送或接收伪HEARTBEAT请求，以及
响应于伪HEARTBEAT请求，在预定时间内接收或发送伪HEARTBEAT_ACK响应。
<12>根据<1>至<11>中任一项所述的信息处理装置，进一步包括：
像素，被配置以捕获或显示所述图像数据；以及
干扰检测单元，被配置为检测对所述像素或所述图像数据的干扰是否存在或有存在的可能性，其中
所述特定消息是与所述干扰检测单元的检测结果相关的消息。
<13>根据<1>至<12>中任一项所述的信息处理装置，进一步包括：
障碍检测单元，被配置为检测上述通信路径有无障碍或者存在障碍的可能性；
所述特定消息是与所述障碍检测单元的检测结果相关的消息。
<14>根据<1>至<13>中任一项所述的信息处理装置，进一步包括：
入侵检测单元，被配置为检测对保护单元的入侵是否存在或是否有入侵的可能性，其中
所述特定消息是与所述入侵检测单元的检测结果相关的消息。
<15>根据<1>至<14>中任一项所述的信息处理装置，进一步包括：
温度检测单元，被配置为检测所述信息处理装置的内部温度，其中，
所述特定消息是与所述温度检测单元的检测结果相关的消息。
<16>根据<1>至<15>中任一项所述的信息处理装置，其中，
在所述特定消息满足预定停止条件之后，由所述信息处理装置停止所述高速数据传输。
<17>根据<1>至<16>中任一项所述的信息处理装置，其中，
所述信息处理装置和所述另一信息处理装置是包括推进单元的推进装置的一部分，所述推进单元根据需要使用所述图像数据直接或间接地控制推进，并且
在所述推进装置满足预定停止条件之后，由所述推进装置停止所述高速数据传输。
<18>根据<1>至<17>中任一项所述的信息处理装置，其中，
所述信息处理装置和所述另一信息处理装置是包括推进单元的推进装置的一部分，所述推进单元根据需要使用所述图像数据直接或间接地控制推进，
所述推进装置具有获取或显示不同于所述图像数据的其他数据的处理配置，并且
在接收到所述特定消息的情况下，所述推进单元通过相对于所述图像数据优先使用所述另一数据来控制推进。
<19>一种移动装置，包括：
信息处理装置，包括：
通信单元，被配置为当与另一信息处理装置执行通信以执行在所述信息处理装置与所述另一信息处理装置之间在预定方向上传输包括图像数据的帧的数据的高速数据传输时向另一信息处理装置发送或从另一信息处理装置接收以下：
扩展封包，包括扩展封包报头和封包数据，以及
特定消息，能够将所述图像数据和所述另一信息处理装置中的至少一者处于不同于正常时或通常时的状态通知给所述信息处理装置，以及
保护单元，被配置为导出会话密钥并执行所述特定消息的保护数据的生成、验证或解密中的至少一个，其中
所述图像数据被存储在封包数据中，以及
所述图像数据和所述特定消息经由与所述通信有关的共用通信路径的一部分或全部以不同的定时发送。
<20>一种通信系统，包括：
信息处理装置，包括：
通信单元，被配置为当与另一信息处理装置执行通信以在所述信息处理装置与所述另一信息处理装置之间在预定方向上执行传输包括图像数据的帧的数据的高速数据传输时，向另一信息处理装置发送或从另一信息处理装置接收以下：
扩展封包，包括扩展封包报头和封包数据，以及
特定消息，能够将图像数据和所述另一信息处理装置中的至少一者处于不同于正常时或者通常时的状态通知给所述信息处理装置，以及
保护单元，被配置为导出会话密钥并执行所述特定消息的保护数据的生成、验证或解密中的至少一个，其中
图像数据被存储在封包数据中，以及
所述图像数据和所述特定消息经由与所述通信有关的共用通信路径的一部分或全部以不同的定时发送。
应注意，本实施方式不限于上述实施方式，并且在不背离本公开的主旨的情况下可以进行各种修改。此外，本说明书中描述的效果仅是实例并且不受限制，并且可以表现出其他效果。
参考符号列表
1201通信系统
1211图像传感器
1212应用处理器
1213显示器
1301像素
1302AD转换器
1303图像处理单元
1304扩展模式兼容CSI-2传输电路
1305物理层处理单元
1306I2C/I3C从设备
1307存储单元
1308消息计数器
1309随机数更新单元
1310安全单元
1321物理层处理单元
1322扩展模式兼容CSI-2接收电路
1323I2C/I3C主设备
1324存储单元
1325数据验证单元
1326安全单元
1327控制器
1501像素
1502AD转换器
1503图像处理单元
1504扩展模式兼容CSI-2传输电路
1505物理层处理单元
1506I2C/I3C从设备
1507存储单元
1508干扰检测单元
1509障碍检测单元
1510安全单元
1511入侵检测单元
1512温度检测单元
1513消息计数器
1551物理层处理单元
1552扩展模式兼容CSI-2接收电路
1553I2C/I3C主设备
1554存储单元
1555控制器
1556干扰检测单元
1557障碍检测单元
1558安全单元
1559入侵检测单元
1560温度检测单元

Claims (20)

1.一种信息处理装置，包括：
通信单元，被配置为当与另一信息处理装置执行通信以在所述信息处理装置与所述另一信息处理装置之间在预定方向上执行传输包括图像数据的帧的数据的高速数据传输时，向所述另一信息处理装置发送或从所述另一信息处理装置接收以下：
扩展封包，包括扩展封包报头和封包数据；以及
特定消息，能够将所述另一信息处理装置和所述图像数据中的至少一者处于不同于正常时或者通常时的状态通知给所述信息处理装置；以及
保护单元，被配置为导出会话密钥并执行所述特定消息的保护数据的生成、验证和解密中的至少一者，其中
所述图像数据存储在所述封包数据中，以及
所述图像数据和所述特定消息经由与所述通信有关的共用通信路径的一部分或全部以不同的定时发送。
2.根据权利要求1所述的信息处理装置，其中：
所述通信单元在与关于所述高速数据传输的所述预定方向相反的方向上传输或接收低速命令传输，
所述高速数据传输比所述低速命令传输快，并且至少执行指示开始所述帧的帧开始的传输和指示结束所述帧的帧结束的传输，以及
多个所述帧是连续且能周期性地发送的，并且所述帧包括在所述帧结束与下一帧开始之间的不发送所述图像数据的帧消隐。
3.根据权利要求2所述的信息处理装置，其中：
所述低速命令传输包括用于请求所述信息处理装置或者所述另一信息处理装置写入信息的写入指令、用于请求所述信息处理装置或者所述另一信息处理装置读取信息的读取指令、或者对应于所述读取指令的读取响应的传输，并且
在所述帧消隐的时间段内，所述特定消息作为所述写入指令、所述读取指令或所述读取响应被发送。
4.根据权利要求2所述的信息处理装置，其中：
所述帧包括在所述帧开始与所述帧结束之间的时间段内通过所述高速数据传输传输的嵌入式数据，
所述嵌入式数据包括与所述图像数据相关的元数据，并且所述特定消息存储在所述嵌入式数据中并被发送。
5.根据权利要求2所述的信息处理装置，其中：
所述低速命令传输包括用于请求所述信息处理装置或者所述另一信息处理装置写入信息的写入指令、用于请求所述信息处理装置或者所述另一信息处理装置读取信息的读取指令、或者对应于所述读取指令的读取响应的传输，
所述帧包括在所述帧开始与所述帧结束之间的不传输所述图像数据的行消隐，并且
在所述行消隐的时间段内，所述特定消息作为所述写入指令、所述读取指令或所述读取响应被发送。
6.根据权利要求2所述的信息处理装置，其中：
所述特定消息存储在所述帧开始内或所述帧结束内并被发送。
7.根据权利要求1所述的信息处理装置，其中：
所述帧包括与作为第一虚拟信道的所述图像数据不同的第二虚拟信道的数据，以及
所述特定消息存储在所述第二虚拟信道的所述数据中并被发送。
8.根据权利要求1所述的信息处理装置，其中：
所述扩展封包进一步包括扩展封包结尾，
所述特定消息存储在存储所述图像数据的所述扩展封包中的所述扩展封包报头中，并且
所述保护数据存储在存储所述图像数据的所述扩展封包中的所述扩展封包结尾中并且被发送。
9.根据权利要求1所述的信息处理装置，其中：
所述通信单元包括：
HEARTBEAT请求或伪HEARTBEAT请求的发送或接收，以及
响应于所述HEARTBEAT请求或所述伪HEARTBEAT请求，在预定时间内接收或发送HEARTBEAT_ACK响应或伪HEARTBEAT_ACK响应，以及
所述信息处理装置或所述另一信息处理装置根据需要在所述预定时间内将所述特定消息发送至所述通信的对方。
10.根据权利要求1所述的信息处理装置，其中：
所述通信单元包括：
HEARTBEAT请求或伪HEARTBEAT请求的发送或接收，以及
响应于所述HEARTBEAT请求或所述伪HEARTBEAT请求，
在预定时间内接收或发送HEARTBEAT_ACK响应或伪HEARTBEAT_ACK响应，以及
在没有正常接收到所述HEARTBEAT请求或所述伪HEARTBEAT请求的情况下，所述通信单元不停止所述高速数据传输但停止所述HEARTBEAT_ACK响应或所述伪HEARTBEAT_ACK响应的发送。
11.根据权利要求10所述的信息处理装置，其中：
在所述信息处理装置和所述另一信息处理装置中的至少一者中设置指示不支持所述HEARTBEAT请求和所述HEARTBEAT_ACK响应的位标志，以及
所述通信单元包括：所述伪HEARTBEAT请求的发送或接收；以及响应于所述伪HEARTBEAT请求在预定时间内所述伪HEARTBEAT_ACK响应的接收或发送。
12.根据权利要求1所述的信息处理装置，进一步包括：
像素，被配置以捕获或显示所述图像数据；以及
干扰检测单元，被配置为检测对所述像素或所述图像数据的干扰的存在与否或干扰的可能性，其中
所述特定消息是与所述干扰检测单元的检测结果相关的消息。
13.根据权利要求1所述的信息处理装置，进一步包括：
障碍检测单元，被配置为对所述通信路径有无障碍或者有所述障碍的可能性进行检测；
所述特定消息是与所述障碍检测单元的检测结果相关的消息。
14.根据权利要求1所述的信息处理装置，进一步包括：
入侵检测单元，被配置为检测对所述保护单元的入侵有无或有入侵的可能性，其中
所述特定消息是与所述入侵检测单元的检测结果相关的消息。
15.根据权利要求1所述的信息处理装置，进一步包括：
温度检测单元，被配置为检测所述信息处理装置的内部温度，其中，
所述特定消息是与所述温度检测单元的检测结果相关的消息。
16.根据权利要求1所述的信息处理装置，其中：
在所述特定消息满足预定停止条件之后，所述信息处理装置停止所述高速数据传输。
17.根据权利要求1所述的信息处理装置，其中：
所述信息处理装置和所述另一信息处理装置是包括推进单元的推进装置的一部分，所述推进单元根据需要使用所述图像数据直接或间接地控制推进，并且
在所述推进装置满足预定停止条件之后，所述推进装置停止所述高速数据传输。
18.根据权利要求1所述的信息处理装置，其中：
所述信息处理装置和所述另一信息处理装置是包括推进单元的推进装置的一部分，所述推进单元根据需要使用所述图像数据直接或间接地控制推进，
所述推进装置具有获取或显示不同于所述图像数据的另一数据的处理配置，并且
在接收到所述特定消息的情况下，所述推进单元通过相对于所述图像数据优先使用所述另一数据来控制推进。
19.一种移动装置，包括：
信息处理装置，包括：
通信单元，被配置为当与另一信息处理装置执行通信以在所述信息处理装置与所述另一信息处理装置之间在预定方向上执行传输包括图像数据的帧的数据的高速数据传输时，向所述另一信息处理装置发送或从所述另一信息处理装置接收以下：
扩展封包，包括扩展封包报头和封包数据；以及
特定消息，能够将所述另一信息处理装置和所述图像数据中的至少一者处于不同于正常时或者通常时的状态通知给所述信息处理装置，以及
保护单元，被配置为导出会话密钥并执行所述特定消息的保护数据的生成、验证和解密中的至少一者，其中
所述图像数据存储在所述封包数据中，以及
所述图像数据和所述特定消息经由与所述通信有关的共用通信路径的一部分或全部以不同的定时发送。
20.一种通信系统，包括：
信息处理装置，包括：
通信单元，被配置为当与另一信息处理装置执行通信以在所述信息处理装置与所述另一信息处理装置之间在预定方向上执行传输包括图像数据的帧的数据的高速数据传输时，向所述另一信息处理装置发送或从所述另一信息处理装置接收以下：
扩展封包，包括扩展封包报头和封包数据；以及
特定消息，能够将所述图像数据和所述另一信息处理装置中的至少一者处于不同于正常时或者通常时的状态通知给所述信息处理装置，以及
保护单元，被配置为导出会话密钥并执行所述特定消息的保护数据的生成、验证和解密中的至少一者，其中
所述图像数据存储在所述封包数据中，以及
所述图像数据和所述特定消息经由与所述通信有关的共用通信路径的一部分或全部以不同的定时发送。
CN202180067822.XA 2020-10-09 2021-09-24 信息处理装置、移动装置及通信系统 Pending CN116235461A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020170968 2020-10-09
JP2020-170968 2020-10-09
PCT/JP2021/034953 WO2022075081A1 (ja) 2020-10-09 2021-09-24 情報処理装置、移動体装置、および通信システム

Publications (1)

Publication Number Publication Date
CN116235461A true CN116235461A (zh) 2023-06-06

Family

ID=81126736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067822.XA Pending CN116235461A (zh) 2020-10-09 2021-09-24 信息处理装置、移动装置及通信系统

Country Status (7)

Country Link
US (1) US20230412575A1 (zh)
EP (1) EP4227817A4 (zh)
JP (1) JPWO2022075081A1 (zh)
KR (1) KR20230084198A (zh)
CN (1) CN116235461A (zh)
TW (1) TW202220408A (zh)
WO (1) WO2022075081A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117424606A (zh) * 2023-12-18 2024-01-19 成都行芯科技有限公司 波形数据压缩方法、装置、电子装置和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051518B (zh) * 2023-01-19 2024-03-26 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 木马位置定位方法、装置、计算机设备和存储介质
TWI845154B (zh) * 2023-02-09 2024-06-11 大陸商北京集創北方科技股份有限公司 數據傳輸電路、電子晶片及資訊處理裝置
KR102712015B1 (ko) * 2024-01-03 2024-09-30 주식회사 메타씨앤아이 디스플레이 장치에 사용되는 직렬 인터페이스 회로 장치 및 이를 제어하는 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632167B2 (ja) * 1998-01-30 2005-03-23 株式会社日立製作所 暗号通信装置
JP2004064181A (ja) * 2002-07-25 2004-02-26 Sanyo Electric Co Ltd ホームゲートウェイ装置およびプログラム
JP4770227B2 (ja) * 2005-03-28 2011-09-14 株式会社日立製作所 Ｓｉｐメッセージの暗号化方法，および暗号化ｓｉｐ通信システム
CN111510648B (zh) 2016-05-31 2022-08-16 索尼半导体解决方案公司 传感器和系统
EP3492941A4 (en) 2016-07-27 2020-04-01 Nippon Steel Corporation MACROSCOPIC MAGNET STRUCTURE, NMR MAGNET SYSTEM USING THE SAME MACROSCOPIC MAGNET STRUCTURE, AND MAGNETIZATION METHOD OF MACROSCOPIC MAGNET STRUCTURE
JP6938327B2 (ja) 2017-01-25 2021-09-22 キヤノン株式会社 固体撮像装置、撮像システム及び移動体
TW202029002A (zh) * 2018-12-20 2020-08-01 日商索尼半導體解決方案公司 通信裝置、通信方法及程式

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117424606A (zh) * 2023-12-18 2024-01-19 成都行芯科技有限公司 波形数据压缩方法、装置、电子装置和存储介质
CN117424606B (zh) * 2023-12-18 2024-04-16 成都行芯科技有限公司 波形数据压缩方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
US20230412575A1 (en) 2023-12-21
WO2022075081A1 (ja) 2022-04-14
TW202220408A (zh) 2022-05-16
EP4227817A4 (en) 2024-03-20
EP4227817A1 (en) 2023-08-16
KR20230084198A (ko) 2023-06-12
JPWO2022075081A1 (zh) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2022075081A1 (ja) 情報処理装置、移動体装置、および通信システム
EP3706005B1 (en) Secure stream protocol for serial interconnect
US10755156B2 (en) Configurable integrity protected link for secure accelerator communication
JP6126980B2 (ja) ネットワーク装置およびネットワークシステム
US11086810B2 (en) Intelligent controller and sensor network bus, system and method including multi-layer platform security architecture
US11156987B2 (en) Intelligent controller and sensor network bus, system and method including a message retransmission mechanism
CN112422492A (zh) 通过计算机总线的完整性和数据加密(ide)
WO2022172698A1 (ja) 情報処理装置、移動体装置、および通信システム
US11258538B2 (en) Intelligent controller and sensor network bus, system and method including an error avoidance and correction mechanism
EP3751781B1 (en) Overhead reduction for link protection
WO2022050057A1 (ja) 情報処理装置、移動体装置、および通信システム
US11809163B2 (en) Intelligent controller and sensor network bus, system and method including a message retransmission mechanism
US12052231B2 (en) Method and apparatus for managing reception of secure data packets
WO2021146174A1 (en) Intelligent controller and sensor network bus, system and method including multi-layer platform security architecture
JP2017121091A (ja) Ｅｃｕ、及び車用ネットワーク装置
WO2022113812A1 (ja) 情報処理装置、移動体装置、および通信システム
US11599649B2 (en) Method and apparatus for managing transmission of secure data packets
WO2021222641A1 (en) Intelligent controller and sensor network bus, system and method including a message retransmission mechanism
CN116803050A (zh) 信息处理设备、移动设备及通信系统
CN118435179A (zh) 数据处理装置
WO2022076727A1 (en) Intelligent controller and sensor network bus, system and method including an error avoidance and correction mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination