CN110692222B - 接收装置、发送装置、控制方法、程序及发送和接收系统 - Google Patents

接收装置、发送装置、控制方法、程序及发送和接收系统 Download PDF

Info

Publication number
CN110692222B
CN110692222B CN201880036459.3A CN201880036459A CN110692222B CN 110692222 B CN110692222 B CN 110692222B CN 201880036459 A CN201880036459 A CN 201880036459A CN 110692222 B CN110692222 B CN 110692222B
Authority
CN
China
Prior art keywords
data
unit
processing
packet
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880036459.3A
Other languages
English (en)
Other versions
CN110692222A (zh
Inventor
水野雅俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN110692222A publication Critical patent/CN110692222A/zh
Application granted granted Critical
Publication of CN110692222B publication Critical patent/CN110692222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/38—Synchronous or start-stop systems, e.g. for Baudot code
    • H04L25/40—Transmitting circuits; Receiving circuits
    • H04L25/49—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems
    • H04L25/4906—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes
    • H04L25/4908—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes using mBnB codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0008—Synchronisation information channels, e.g. clock distribution lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/04—Speed or phase control by synchronisation signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Communication Control (AREA)
  • Bus Control (AREA)
  • Information Transfer Systems (AREA)

Abstract

本技术涉及一种接收装置、一种发送装置、一种控制方法、一种程序以及一种发送和接收系统，当使用多个通信链路传输数据时，能够校正通信链路之间的数据定时差异。接收装置在多个接收单元中执行用于接收经由多个通道从发送装置的多个发送单元并行发送并具有相同数据结构的数据流的处理以及用于将接收到的数据流整合为单系统数据并获取构成数据流的分组的处理，并且校正通信链路之间的对应数据的定时差异，每个通信链路由一个发送单元和一个接收单元构成的对实现。本技术适用于芯片之间的数据传输。

Description

接收装置、发送装置、控制方法、程序及发送和接收系统
技术领域
本技术涉及一种接收装置、一种发送装置、一种控制方法、一种程序以及一种发送和接收系统，尤其涉及一种接收装置、一种发送装置、一种控制方法、一种程序以及一种发送和接收系统，其能够在通过使用多个通信链路发送数据的情况下校正各通信链路的数据定时之间的差异。
背景技术
随着图像传感器的图像质量和帧速率的增加，图像传感器和处理由图像传感器捕捉的图像的数字信号处理器(DSP)之间的接口所需的数据发送量增加。
专利文献1描述了一种发送方法，其中，存储图像数据的分组分发到多个通道，并且数据经由多个通道从图像传感器发送到DSP。在这种发送方法中，形成一帧每一行的图像数据存储在图像传感器的每个分组中，并发送到DSP。
此外，专利文献1描述了提供多对图像传感器侧的发送单元和DSP侧的接收单元，并且在发送单元和接收单元之间发送数据。
引用列表
专利文献
专利文献1：日本专利申请公开号2012-120159
发明内容
本发明要解决的问题
当假设单个通信链路包括图像传感器侧的单个发送单元和DSP侧的单个接收单元时，在提供多对发送单元和接收单元的情况下，通过使用多个通信链路来发送数据。
在每个通信链路中独立发送数据的情况下，通信链路中的数据定时彼此不同。
本技术是考虑到这种情况而做出的，并且在使用多个通信链路来发送数据的情况下，可以校正各通信链路中的数据定时之间的差异。
问题的解决方案
根据本技术的第一方面的接收装置包括：多个接收单元，被配置为执行用于接收通过使用多个通道从包括在发送装置中的多个发送单元并行发送的、具有相同数据结构的数据流的处理，作为第一层的处理，并且所述接收单元被配置为执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为第二层的处理；以及控制单元，被配置为校正由每对所述发送单元和所述接收单元所实现的各通信链路中的对应的数据的定时之间的差异。
根据本技术的第二方面的发送装置，包括：多个发送单元，被配置为执行生成存储要被发送的数据的分组以及用于将所生成的所述分组分发到多个通道中的处理，作为第一层的处理，并且执行通过使用所述多个通道并行发送包括所分发的分组的、具有相同数据结构的数据流到包括多个接收单元的接收装置的处理，作为第二层的处理；以及控制单元，校正由每对所述发送单元和所述接收单元所实现的各通信链路中的对应的数据的定时之间的差异。
在本技术的第一方面，由多个接收单元执行用于接收通过使用多个通道从包括在发送装置中的多个发送单元并行发送的具有相同数据结构的数据流的处理，作为第一层的处理，并且执行用于将接收的数据流整合为单个系统数据中并且获取构成数据流的分组的处理，作为第二层的处理；并且
校正由每对发送单元和接收单元实现的各通信链路中的相应数据的定时之间的差异。
在本技术的第二方面，由多个发送单元执行包括生成存储要发送的数据的分组的处理以及用于将生成的分组分发到多个通道中的处理，作为第一层的处理，并且执行通过使用多个通道来并行将具有包括分发分组的相同数据结构的数据流发送到包括多个接收单元的接收装置的处理，作为第二层的处理；并且校正由所述一个发送单元和所述一个接收单元构成的每对实现的各通信链路中的相应数据的定时之间的差异。
本发明的效果
根据本技术，在通过使用多个通信链路发送数据的情况下，可以校正各通信链路中的数据定时之间的差异。
注意，本文描述的效果不受限制，并且效果可以是本公开中描述的任何效果。
附图说明
图1是示出传输系统的第一示例性构造的示图。
图2是示出传输系统的第二示例性构造的示图。
图3是示出传输系统的第三示例性构造的示图。
图4是示出帧格式的实例的示图。
图5是示出发送单元和接收单元的示例性构造的示图。
图6是示出报头结构的示图。
图7是示出报头信息的内容和信息量的示图。
图8是示出位排列的实例的示图。
图9是示出在每个像素的像素值由八位表示的情况下像素到字节转换的实例的示图。
图10是示出在每个像素的像素值由10位表示的情况下像素到字节转换的实例的示图。
图11是示出在每个像素的像素值由12位表示的情况下像素到字节转换的实例的示图。
图12是示出在每个像素的像素值由14位表示的情况下像素到字节转换的实例的示图。
图13是示出在每个像素的像素值由16位表示的情况下像素到字节转换的实例的示图。
图14是示出有效载荷数据的实例的示图。
图15是示出有效载荷数据的另一实例的示图。
图16是示出插入奇偶校验的有效载荷数据的实例的示图。
图17是示出报头添加到有效载荷数据的状态的示图。
图18是示出报头和报尾添加到有效载荷数据的状态的示图。
图19是示出报头添加到插入奇偶校验的有效载荷数据的状态的示图。
图20是示出分组数据分配的实例的示图。
图21是示出控制代码的实例的示图。
图22是示出了K字符的值的示图。
图23是示出插入填充代码的实例的示图。
图24是示出插入控制代码的分组数据的实例的示图。
图25是示出数据偏斜校正的实例的示图。
图26是用于解释成像装置的处理的流程图。
图27是用于解释在图26的步骤S2中执行的数据发送处理的流程图。
图28是用于解释在图26的步骤S3中执行的数据接收处理的流程图。
图29是示出在切换通道数的情况下的控制序列的示图。
图30是示出帧格式的另一实例的示图。
图31是示出图30中帧格式的一个分组的放大图。
图32示出了报头信息的内容。
图33是示出使用通用I/F的传输系统的第一示例性构造的示图。
图34是示出使用通用I/F的传输系统的第二示例性构造的示图。
图35是示出使用通用I/F的传输系统的第三示例性构造的示图。
图36是示出分组的数据结构的实例的示图。
图37是示出发送侧LSI和接收侧LSI的示例性构造的示图。
图38是示出字节打包的实例的示图。
图39是示出字节打包的另一实例的示图。
图40是示出字节打包处理序列的示图。
图41是示出插入奇偶校验的实例的示图。
图42是用于解释传输系统的操作的流程图。
图43是用于解释在图42的步骤S102中执行的数据发送处理的流程图。
图44是用于解释在图42的步骤S103中执行的数据接收处理的流程图。
图45是示出单个通信链路的处理流程的实例的示图。
图46是示出多通信链路的处理流程的实例的示图。
图47是示出传输系统的另一示例性构造的示图。
图48是示出发送侧LSI和接收侧LSI的示例性构造的示图。
图49是示出校正定时的设置实例的示图。
图50是用于解释在物理层中校正通信链路之间的数据偏斜的情况下的一系列操作的序列图。
图51是示出发送侧LSI和接收侧LSI的另一示例性构造的示图。
图52是用于解释在链路层中校正通信链路之间的数据偏斜的情况下的一系列操作的序列图。
图53是示出发送侧LSI和接收侧LSI的又一示例性构造的示图。
图54是用于解释在自适应层中校正通信链路之间的数据偏斜的情况下的一系列操作的序列图。
图55是用于解释在应用层中校正通信链路之间的数据偏斜的情况下的一系列操作的序列图。
图56是示出传输系统的又一示例性构造的示图。
图57是示出图56中的发送侧LSI和接收侧LSI的示例性构造的示图。
图58是用于解释在发送侧校正通信链路之间的数据偏斜的情况下的一系列操作的序列图。
图59是示出计算机的示例性构造的框图。
图60是内窥镜手术系统的示例性示意配置的示图。
图61是图60所示的摄像头和CCU的示例性功能配置的框图。
具体实施方式
下面将描述执行本技术的实施方式。将按照以下顺序进行描述。
1.第一实施方式(发送像素数据的实例)
2.第二实施方式(发送预定数据以及像素数据的实例)
3.校正通信链路之间的数据偏斜
(1)通信链路之间的数据偏斜
(2)移除通信链路之间的数据偏斜
4.变形例
5.应用实例
<1.第一实施方式(发送像素数据的实例)>
[传输系统的示例性构造]
图1是示出根据本技术的一个实施方式的传输系统的第一示例性构造的示图。
图1中的传输系统1包括图像传感器11和DSP 12。图像传感器11和DSP 12分别由彼此不同的大规模集成电路(LSI)构成，并且设置在具有成像功能的同一成像装置中，例如，数码相机和移动电话。成像单元21和单个发送单元22设置在图像传感器11中，单个接收单元31和图像处理单元32设置在DSP 12中。
图像传感器11的成像单元21包括诸如互补金属氧化物半导体(CMOS)等成像元件，并且光电转换经由透镜接收的光。此外，成像单元21对例如通过光电转换获得的信号执行模数转换，并且按照一个像素数据依次将包括在一帧图像中的像素数据输出到发送单元22。
发送单元22例如以来自成像单元21的补充的顺序将从成像单元21提供的每个像素的数据分配给多个传输路径，并且经由多个传输路径将数据并行地发送给DSP 12。在图1的实例中，通过使用八条传输路径来发送像素数据。图像传感器11和DSP 12之间的传输路径可以是有线传输路径或无线传输路径。在下文中，图像传感器11和DSP 12之间的传输路径被适当地称为通道(Lane)。
DSP 12的接收单元31经由八个通道接收从发送单元22发送的像素数据，并将每个像素的数据依次输出到图像处理单元32。
图像处理单元32基于从接收单元31提供的像素数据生成一帧图像，并通过使用生成的图像执行各种图像处理。从图像传感器11发送到DSP 12的像素数据是原始数据，并且图像处理单元32执行各种处理，例如，图像数据的压缩、图像的显示、图像数据到记录介质的记录等。
图2是示出传输系统1的第二示例性构造的示图。图2中示出的与图1中示出的组件相同的组件分别用相同的附图标记表示。将适当地省略重复的描述。
在图2中传输系统1的图像传感器11中设置成像单元21和两个发送单元22-1和22-2，并且在DSP 12中设置两个接收单元31-1和31-2以及图像处理单元32。
成像单元21将通过成像而获得的一帧图像中包括的像素数据按照一个像素数据并行输出到发送单元22-1和22-2。例如，成像单元21将奇数行的像素数据输出到发送单元22-1，并将偶数行的像素数据输出到发送单元22-2。
发送单元22-1将从成像单元21提供的每个像素的数据例如以来自成像单元21的补充的顺序分配给多个通道，并且经由多个通道将数据并行地发送给DSP 12。类似地，发送单元22-2将从成像单元21提供的每个像素的数据例如以来自成像单元21的补充的顺序分配给多个通道，并且经由多个通道将数据并行地发送给DSP 12。
在图2的实例中，图像传感器11经由八个通道连接到DSP 12。每个发送单元22-1和22-2通过使用四个通道发送像素数据。
DSP 12的接收单元31-1经由四个通道接收从发送单元22-1发送的像素数据，并依次将每个像素的数据输出到图像处理单元32。类似地，DSP 12的接收单元31-2经由四个通道接收从发送单元22-2发送的像素数据，并依次将每个像素的数据输出到图像处理单元32。
图像处理单元32基于从接收单元31-1提供的像素数据和从接收单元31-2提供的像素数据生成一帧图像，并通过使用生成的图像执行各种图像处理。
如图2所示，通过在图像传感器11中设置两个发送单元，并且与两个发送单元相对应地在DSP 12中设置两个接收单元，即使在从成像单元21输出的像素数据的速率高的情况下，像素数据也可以发送到DSP 12。
图3是示出传输系统1的第三示例性构造的示图。图3中示出的与图1中示出的组件相同的组件分别用相同的附图标记表示。将适当地省略重复的描述。
在图3中的传输系统1中，设置了包括图像传感器11-1和11-2的两个图像传感器。成像单元21-1和作为一个发送单元的发送单元22-1设置在图像传感器11-1中，成像单元21-2和作为一个发送单元的发送单元22-2设置在图像传感器11-2中。如图2的情况，作为两个接收单元的接收单元31-1和31-2以及图像处理单元32设置在DSP 12中。
图像传感器11-1的成像单元21-1通过单像素数据依次将通过成像而获得的单帧图像中包括的像素数据输出到发送单元22-1。
发送单元22-1例如以来自成像单元21-1的补充的顺序将从成像单元21-1提供的每个像素的数据分配给多个通道，并且经由多个通道并行地将数据发送给DSP 12。
图像传感器11-2的成像单元21-2通过单像素数据依次将通过成像而获得的单帧图像中包括的像素数据输出到发送单元22-2。
发送单元22-2例如以来自成像单元21-2的补充的顺序将从成像单元21-2提供的每个像素的数据分配给多个通道，并且经由多个通道并行地将数据发送给DSP 12。
在图3的实例中，图像传感器侧经由八个通道连接到DSP 12。四个通道分配给每个图像传感器11-1和11-2，并且每个发送单元22-1和22-2通过使用四个通道发送像素数据。
DSP 12的接收单元31-1经由四个通道接收从图像传感器11-1的发送单元22-1发送的像素数据，并依次将每个像素的数据输出到图像处理单元32。类似地，接收单元31-2经由四个通道接收从图像传感器11-2的发送单元22-2发送的像素数据，并且依次将每个像素的数据输出到图像处理单元32。
图像处理单元32基于从接收单元31-1提供的像素数据生成一帧图像，并且基于从接收单元31-2提供的像素数据生成一帧图像。图像处理单元32通过使用生成的图像来执行各种图像处理。
例如，通过提供如图3所示的两个图像传感器，单个DSP 12可以处理包括由图像传感器11-1成像的左眼图像和由图像传感器11-2成像的右眼图像的3D图像。左眼图像和右眼图像之间存在视差。
如上所述，在传输系统1的图像传感器中，提供了发送所成像的一帧图像数据的一个或多个发送单元。另一方面，在DSP中，接收从图像传感器发送的数据的一个或多个接收单元对应于图像传感器的发送单元设置。
在下文中，将描述图1中的传输系统1中的数据发送，其中，一个发送单元设置在图像传感器11中，一个接收单元设置在DSP 12中。在图2和3中，类似地在发送单元22-1和接收单元31-1之间以及在发送单元22-2和接收单元31-2之间传输数据。
[帧格式]
图4是示出用于在图像传感器11和DSP 12之间传输一帧图像数据的格式的实例的示图。
有效像素区域A1是由成像单元21成像的一帧图像的有效像素的区域。在有效像素区域A1的左侧，设置边缘区域A2，其在垂直方向上设置的像素数量与有效像素区域A1在垂直方向上的像素数量相同。
在有效像素区域A1的上侧，设置前虚拟区域A3，其水平方向上的像素数量与包括有效像素区域A1和边缘区域A2的整个区域在水平方向上的像素数量相同。在图4的实例中，嵌入数据插入到前虚拟区域A3中。嵌入数据包括关于成像单元21成像的设置值的信息，例如，快门速度、光圈值和增益。嵌入数据可以插入到后虚拟区域A4中。
在有效像素区域A1的下侧，设置后虚拟区域A4，其水平方向上的像素数量与包括有效像素区域A1和边缘区域A2的整个区域在水平方向上的像素数量相同。
有效像素区域A1、边缘区域A2、前虚拟区域A3和后虚拟区域A4构成图像数据区域A11。
在图像数据区域A11中包括的每一行之前添加报头，并且在报头之前添加开始代码。此外，可选地在图像数据区域A11中包括的每一行之后添加报尾，并且在报尾之后添加稍后描述的控制代码，例如，结束代码。在没有添加报尾的情况下，在图像数据区域A11中包括的每一行之后添加控制代码，例如，结束代码。
每次当由成像单元21成像的一帧图像从图像传感器11发送到DSP 12时，发送图4所示的格式的整个数据，作为发送数据。
图4中的高频带表示用于发送在下侧示出的发送数据的分组结构。当假设像素在水平方向上的排列为一行时，包括在图像数据区域A11的单行中的像素数据存储在分组的有效载荷中。通过使用多于图像数据区域A11在垂直方向上的像素数量的分组来发送整个一帧图像数据。
报头和报尾添加到有效载荷中，存储一行的像素数据，以便形成单个分组。如稍后将详细描述的，报头包括存储在有效载荷中的像素数据的额外信息，例如，帧开始、帧结束、行有效、行号和ECC。作为控制代码的开始代码和结束代码至少添加到每个分组中。
以这种方式，通过采用针对每一行发送一帧图像中包括的像素数据的格式，可以在每一行的消隐间隔中发送额外信息(例如，报头)和控制代码(例如，开始代码和结束代码)。
[发送单元22和接收单元31的构造]
图5是示出发送单元22和接收单元31的示例性构造的示图。
由虚线包围的图5左侧所示的构造是发送单元22的构造，由虚线包围的右侧所示的构造是接收单元31的构造。发送单元22和接收单元31分别具有链路层构造和物理层构造。实线L2上方所示的构造是链路层构造，实线L2下方所示的构造是物理层构造。
注意，实线L1上方所示的构造是应用层构造。在成像单元21中实现系统控制单元51、帧数据输入单元52和寄存器53。系统控制单元51与发送单元22的LINK-TX协议管理单元61通信，并且例如通过提供关于帧格式的信息来控制图像数据的发送。帧数据输入单元52响应于用户等的指令执行成像，并将通过成像获得的图像中包括的每个像素的数据提供给发送单元22的像素到字节转换器62。寄存器53存储诸如像素到字节转换的位长度、通道数等信息。根据存储在寄存器53中的信息执行图像数据发送处理。
此外，在图像处理单元32中实现应用层构造中的帧数据输出单元141、寄存器142和系统控制单元143。帧数据输出单元141基于从接收单元31提供的每行的像素数据生成并输出一帧图像。通过使用从帧数据输出单元141输出的图像来执行各种处理。寄存器142存储关于图像数据的接收的各种设置值，例如，字节到像素转换的位长度、通道数等。根据存储在寄存器142中的信息执行图像数据接收处理。系统控制单元143与LINK-TX协议管理单元121通信，并控制诸如模式变化等序列。
[发送单元22的链路层的构造]
首先，将描述发送单元22的链路层的构造。
发送单元22包括作为链路层构造的LINK-TX协议管理单元61、像素到字节转换器62、有效载荷ECC插入单元63、分组生成单元64和通道分发单元65。LINK-TX协议管理单元61包括状态控制单元71、报头生成单元72、数据插入单元73和报尾生成单元74。
LINK-TX协议管理单元61的状态控制单元71管理发送单元22的链路层的状态。
报头生成单元72生成要添加到存储一行像素数据的有效载荷的报头，并将生成的报头输出到分组生成单元64。
图6是示出由报头生成单元72生成的报头的结构的示图。
如上所述，整个分组包括报头和作为一行像素数据的有效载荷数据。可以将报尾添加到分组。报头包括报头信息和报头ECC。
报头信息包括帧开始(Frame Start)、帧结束(Frame End)、行有效(Line Valid)、行号(Line Number)和预留(Reserved)。在图7中示出每条信息的内容和数量。
帧开始是指示帧头的一位信息。值1被设置给用于发送在图4中图像数据区域A11的第一行中的像素数据的分组的报头的帧开始，值0被设置给用于发送在其他行中的像素数据的分组的报头的帧开始。
帧结束是指示帧结束的一位信息。值1被设置给包含有效载荷中有效像素区域A1的结束行中的像素数据的分组报头的帧结束，值0被设置给用于发送在另一行中的像素数据的分组报头的帧结束。
帧开始和帧结束是帧信息，作为关于帧的信息。
行有效是指示有效载荷中存储的像素数据行是否是有效像素行的一位信息。值1被设置给用于发送在有效像素区域A1的一行中的像素数据的分组报头的行有效，而值0被设置给用于发送在另一行中的像素数据的分组报头的行有效。
行号是指示包括存储在有效载荷中的像素数据的行的行号的13位信息。
行有效和行号是行信息，作为关于行的信息。
预留是32位的扩展区域。报头信息的总数据量是六个字节。
如图6所示，设置在报头信息之后的报头ECC包括循环冗余校验(CRC)码，该代码是基于六字节报头信息计算的两字节检错码。此外，报头ECC在CRC码之后包括两条与八字节信息相同的信息，八字节信息是报头信息和CRC码构成的对。
换言之，单个分组的报头包括三对相同的报头信息和CRC码。报头的总数据量包括八个字节的第一对报头信息和CRC码、八个字节的第二对报头信息和CRC码以及八个字节的第三对报头信息和CRC码，即，总共24个字节。
图8是示出构造每对报头信息和CRC码的八字节位排列的实例的示图。
作为报头中包括的八个字节中的第一字节的字节H7从第1位开始依次各自包括帧开始的1位、帧结束的1位、行有效的1位和13位行号中的第一至第五位。此外，第二个1字节的字节H6包括13位行号中的第6至第13位。
预留从作为第三个1字节的字节H5到作为第六个1字节的字节H2的字节。作为第七个1字节的字节H1和作为第八个1字节的字节H0中的每一个都包括CRC码的每一位。
返回图5的描述，报头生成单元72根据系统控制单元51的控制生成报头信息。例如，系统控制单元51提供指示从帧数据输入单元52输出的像素数据的行号的信息和指示帧的开头和结尾的信息。
此外，报头生成单元72通过将报头信息应用于生成器多项式来计算CRC码。添加到报头信息的CRC码的生成器多项式例如由以下公式(1)表示。
[公式1]
CRC16＝X16+X15+X2+1…(1)
报头生成单元72通过将CRC码添加到报头信息来生成每对报头信息和CRC码，并且通过重复排列三对相同的报头信息和CRC码来生成报头。报头生成单元72将生成的报头输出到分组生成单元64。
数据插入单元73生成用于填充的数据，并将生成的数据输出到像素到字节转换器62和通道分发单元65。作为提供给像素到字节转换器62的填充数据的有效载荷填充数据添加到已经被执行了像素到字节转换的像素数据，并用于调整要存储在有效载荷中的像素数据的数据量。此外，作为提供给通道分发单元65的填充数据的通道填充数据添加到通道分配之后的数据，并且用于调整通道的数据量。
报尾生成单元74根据系统控制单元51的控制，将有效载荷数据适当地应用于生成器多项式，以计算32位的CRC码，并将通过计算获得的CRC码作为报尾输出到分组生成单元64。作为报尾添加的CRC码的生成器多项式由例如以下公式(2)表示。
[公式2]
CRC32＝X32+X31+X4+X3+X+1…(2)
像素到字节转换器62获取从帧数据输入单元52提供的像素数据，并且执行像素到字节转换，该像素到字节转换将每个像素的数据转换成以一个字节为单位的数据。例如，由成像单元21成像的图像的每个像素的像素值(RGB)由8位、10位、12位、14位和16位中的任意一者表示。
图9是示出在每个像素的像素值由八位表示的情况下像素到字节转换的实例的示图。
数据[0]表示最低有效位(LSB)，数据[7]表示最高有效位(MSB)。如轮廓箭头所示，在这种情况下，表示像素N的像素值的数据[7]到[0]的八位被转换成包括数据[7]到[0]的字节N。在每个像素的像素值由八位表示的情况下，在像素到字节转换之后，以字节为单位的数据的数量与像素的数量相同。
图10是示出在每个像素的像素值由10位表示的情况下，像素到字节转换的实例的示图。
在这种情况下，指示像素N的像素值的数据[9]到[0]的10位被转换成字节1.25*N，包括数据[9]到[2]。
类似地，关于像素N+1至N+3，指示像素值的数据[9]至[0]的10位被转换成字节1.25*N+1至字节1.25*N+3，包括数据[9]至[2]。此外，作为像素N至N+3的低位的数据[1]和数据[0]被收集并转换成字节1.25*N+4。在每个像素的像素值由10位表示的情况下，像素到字节转换后以字节为单位的数据的数量是像素数量的1.25倍。
图11是示出在每个像素的像素值由12位表示的情况下像素到字节转换的实例的示图。
在这种情况下，指示像素N的像素值的12位数据[11]到[0]被转换成包括数据[11]到[4]的字节1.5*N。
类似地，关于像素N+1，指示像素N+1的像素值的12位数据[11]至[0]被转换成包括数据[11]至[4]的字节1.5*N+1。此外，作为像素N和N+1中每一个的低位的数据[3]至[0]被收集并转换成字节1.5*N+2。在每个像素的像素值由12位表示的情况下，像素到字节转换后以字节为单位的数据的数量是像素数量的1.5倍。
图12是示出在每个像素的像素值由14位表示的情况下像素到字节转换的实例的示图。
在这种情况下，指示像素N的像素值的14位数据[13]到[0]被转换成包括数据[13]到[6]的字节1.75*N。
类似地，关于像素N+1至N+3，指示相应像素值的14位数据[13]至[0]被转换成字节1.75*N+1至字节1.75*N+3，包括数据[13]至[6]。此外，按顺序从低位收集像素N至N+3的位的剩余位，例如，作为像素N的位的数据[5]至[0]和作为像素N+1的位的数据[5]和[4]被转换成字节1.75*N+4。
类似地，作为像素N+1的位的数据[3]到[0]和作为像素N+2的位的数据[5]到[2]被转换成字节1.75*N+5，作为像素N+2的位的数据[1]和[0]以及作为像素N+3的位的数据[5]到[0]被转换成字节1.75*N+6。在每个像素的像素值由14位表示的情况下，像素到字节转换后以字节为单位的数据的数量是像素数量的1.75倍。
图13是示出在每个像素的像素值由16位表示的情况下像素到字节转换的实例的示图。
在这种情况下，指示像素N的像素值的16位数据[15]到[0]被转换成包括数据[15]到[8]的字节2*N和包括数据[7]到[0]的字节2*N+1。在每个像素的像素值由16位表示的情况下，像素到字节转换后以字节为单位的数据的数量是像素数量的两倍。
图5中的像素到字节转换器62对每个像素(例如，从行左端的像素开始)执行这样的像素到字节转换。此外，像素到字节转换器62通过将从数据插入单元73提供的有效载荷填充数据添加到通过像素到字节转换获取的以字节为单位的像素数据来生成有效载荷数据，并将生成的数据输出到有效载荷ECC插入单元63。
图14是示出有效载荷数据的实例的示图。
图14示出了在每个像素的像素值由10位表示的情况下，包括通过像素到字节转换获取的像素数据的有效载荷数据。一个没有颜色的块表示像素到字节转换后的以字节为单位的像素数据。此外，每个着色块表示由数据插入单元73生成的有效载荷填充数据。
像素到字节转换之后的像素数据按照通过转换所获取的顺序被分组到预定数量的组中。在图14的实例中，每个像素数据被分组为16个组，包括组0至15。包括像素P0的MSB的像素数据分配给组0，包括像素P1的MSB的像素数据分配组1。此外，包括像素P2的MSB的像素数据分配给组2，包括像素P3的MSB的像素数据分配给组3，包括像素P0至P3的LSB的像素数据分配给组4。
包括像素P4的MSB的像素数据之后的像素数据依次分配给组5和组5之后的组中的每一个。当特定的像素数据分配给组15时，后续的像素数据依次分配给组0和组0之后的组。注意，添加了指示像素数据的块的三条虚线的块以字节为单位表示像素数据，该像素数据是在像素到字节转换时生成的，以便包括像素N到N+3的LSB。
在发送单元22的链路层中，在以这种方式执行分组之后，对于由时钟信号定义的每个周期，并行地对在相应组的相同位置处提供的像素数据执行处理。换言之，在如图14所示将像素数据分配给16个组的情况下，在同一周期内处理每列中对准的16条像素数据，从而处理像素数据。
如上所述，单个分组的有效载荷包括一行像素数据。图14所示的整个像素数据是构造一行的像素数据。在此处，描述对图4中有效像素区域A1中的像素数据的处理。然而，诸如边缘区域A2等其他区域中的像素数据与有效像素区域A1中的像素数据一起处理。
在一行的像素数据分组后，添加有效载荷填充数据，使得每个组具有相同的数据长度。有效载荷填充数据是一个字节的数据。
在图14的实例中，有效载荷填充数据添加到组0的像素数据，并且一条有效载荷填充数据添加到组1至15中的每一个的每个像素数据的末端，如虚线包围所示。包括像素数据和填充数据的有效载荷数据的数据长度(字节)由以下公式(3)表示。
[公式3]
Figure BDA0002298381220000221
在公式(3)中，LineLength指示一行中的像素数，BitPix指示表示一个像素的像素值的位长度。PayloadStuffing指示有效载荷填充数据的数量。
如图14所示，在像素数据分配给16个组的情况下，有效载荷填充数据的数量由以下公式(4)表示。公式(4)中的符号％表示余数。
[公式4]
Figure BDA0002298381220000231
图15是示出有效载荷数据的另一实例的示图。
图15示出了在每个像素的像素值由12位表示的情况下，包括通过像素到字节转换获取的像素数据的有效载荷数据。
在图15的实例中，包括像素P0的MSB的像素数据分配给组0，包括像素P1的MSB的像素数据分配给组1，包括像素P0和P1的LSB的像素数据分配给组2。包括像素P2的MSB的像素数据之后的像素数据依次分配给组3和组3之后的组中的每一个。其中，添加指示像素数据的块的虚线的块表示在像素到字节转换时生成的以字节为单位的像素数据，以便包括像素N和N+1的LSB。
在图15的实例中，有效载荷填充数据没有添加到组0和1的像素数据，并且一条有效载荷填充数据添加到组2至15中的每一个的像素数据的末尾。
具有这种构造的有效载荷数据从像素到字节转换器62提供给有效载荷ECC插入单元63。
有效载荷ECC插入单元63基于从像素到字节转换器62提供的有效载荷数据，计算用于校正有效载荷数据中的误差的纠错码，并将奇偶校验插入到有效载荷数据中，该奇偶校验是通过上述计算获得的纠错码。例如，里德-所罗门码用作纠错码。注意，纠错码的插入是可选的，并且例如，可以仅执行有效载荷ECC插入单元63插入奇偶校验和报尾生成单元74添加报尾中的一个。
图16是示出插入奇偶校验的有效载荷数据的实例的示图。
图16所示的有效载荷数据是参考图15描述的有效载荷数据，包括在每个像素的像素值由12位表示的情况下通过像素到字节转换获得的像素数据。示出斜线的块表示奇偶校验。
在图16的实例中，从组0至15中的每一个中的头像素数据中依次选择14条像素数据，并且基于所选择的224条(224字节)像素数据获得两字节奇偶校验。在用于计算的224条像素数据之后插入两字节奇偶校验，作为组0和1的第15条数据，并且224条像素数据和两字节奇偶校验形成第一基本块。
这样，有效载荷ECC插入单元63基本上基于224条像素数据生成两字节奇偶校验，并在224条像素数据之后插入两字节奇偶校验。
此外，在图16的实例中，按顺序从每组中选择第一基本块之后的224条像素数据，并且基于所选择的224条像素数据获得两字节奇偶校验。在用于计算的224条像素数据之后插入两字节奇偶校验，作为组2和组3的第29条数据，并且224条像素数据和两字节奇偶校验形成第二基本块。
在某个基本块之后的像素数据和有效载荷填充数据的数量16×M小于224的情况下，基于剩余的16×M块(像素数据和有效载荷填充数据)获得两字节奇偶校验。此外，获得的两字节奇偶校验插入到有效载荷填充数据之后，并且16×M块和两字节奇偶校验形成额外块。
有效载荷ECC插入单元63将插入了奇偶校验的有效载荷数据输出到分组生成单元64。在没有插入奇偶校验的情况下，从像素到字节转换器62提供给有效载荷ECC插入单元63的有效载荷数据原样输出到分组生成单元64。
分组生成单元64将报头生成单元72生成的报头添加到从有效载荷ECC插入单元63提供的有效载荷数据，以便生成分组。在报尾生成单元74生成报尾的情况下，分组生成单元64将报尾添加到有效载荷数据。
图17是示出报头添加到有效载荷数据的状态的示图。
以字节为单位的报头数据是报头信息的报头或CRC码，由24个用H7到H0字符表示的块表示。如参考图6所述，单个分组的报头包括三对报头信息和CRC码。
例如，报头数据H7到H2是报头信息(6字节)，报头数据H1和H0是CRC码(2字节)。
在图17中的实例中，一条报头数据H7添加到组0的有效载荷数据，一条报头数据H6添加到组1的有效载荷数据。一条报头数据H5添加到组2的有效载荷数据，一条报头数据H4添加到组3的有效载荷数据。一条报头数据H3添加到组4的有效载荷数据，一条报头数据H2添加到组5的有效载荷数据。一条报头数据H1添加到组6的有效载荷数据，一条报头数据H0添加到组7的有效载荷数据。
此外，在图17的实例中，两条报头数据H7添加到组8的有效载荷数据，两条报头数据H6添加到组9的有效载荷数据。两条报头数据H5添加到组10的有效载荷数据，两条报头数据H4添加到组11的有效载荷数据。两条报头数据H3添加到组12的有效载荷数据，两条报头数据H2添加到组13的有效载荷数据。两条报头数据H1添加到组14的有效载荷数据，两条报头数据H0添加到组15的有效载荷数据。
图18是示出报头和报尾添加到有效载荷数据的状态的示图。
报尾数据是作为报尾生成的四字节CRC码，由F3至F0字符表示的四个块表示。在图18的实例中，报尾数据F3至F0分别添加到组0至3的有效载荷数据。
图19是示出报头添加到插入了奇偶校验的有效载荷数据的状态的示图。
在图19的实例中，与图17和18的情况一样，报头数据H7到H0添加到插入了奇偶校验的图16的有效载荷数据。
分组生成单元64向通道分发单元65输出分组数据，该分组数据是构成以这种方式生成的一个分组的数据。包括报头数据和有效载荷数据的分组数据，包括报头数据、有效载荷数据和报尾数据的分组数据，或者包括报头数据和插入奇偶校验的有效载荷数据的分组数据提供给通道分发单元65。图6中的分组结构是逻辑结构，并且在链路层和物理层中以字节为单位处理具有图6中结构的分组的数据。
通道分发单元65按照从报头数据的顺序将从分组生成单元64提供的分组数据分配给用于通道0至7的数据发送的每个通道。
图20是示出分组数据分配的实例的示图。
在此处，将描述包括报头数据、有效载荷数据和报尾数据的分组数据(图18)的分配。在由轮廓箭头#1指示的部分中示出在通过使用包括通道0至7的八个通道发送数据的情况下，分组数据分配的实例。
在这种情况下，包括每条报头数据H7到H0的三次重复的每条报头数据按照报头数据的顺序分配给通道0到7。当某条报头数据分配给通道7时，后续的报头数据按顺序分配给通道0之后的每个通道。三条相同的报头数据分配给通道0至7中的每一个。
此外，有效载荷数据从有效载荷数据的头部开始按顺序分配给通道0至7中的每一个。当某条有效载荷数据分配给通道7时，后续的有效载荷数据按顺序分配给通道0之后的每个通道。
报尾数据F3至F0从报尾数据的头部开始按顺序分配给每个通道。在图20的实例中，有效载荷数据中包括的最后一条有效载荷填充数据分配给通道7，每条报尾数据F3至F0分配给通道0至3。
用黑色着色的块表示由数据插入单元73生成的通道填充数据。在一个分组的分组数据分配给每个通道之后，通道填充数据分配给具有少量数据的通道，使得分配给各个通道的数据长度相同。通道填充数据是一个字节的数据。在图20的实例中，一条通道填充数据分配给被分配的数据数量少的通道4至7中每一条通道。
在分组数据包括报头数据、有效载荷数据和报尾数据的情况下，通道填充数据的数量由以下公式(5)表示。
[公式5]
LaneStuffing＝LaneNum-((PayloadLength+FooterLength)％LaneNum)
…(5)
公式(5)中的LaneNum表示通道数，PayloadLength表示有效载荷数据的长度(字节)。此外，FooterLength表示报尾的长度(字节)。
此外，在分组数据包括报头数据和插入奇偶校验的有效载荷数据的情况下，通道填充数据的数量由以下公式(6)表示。以下公式(6)中的ParityLength表示有效载荷中包括的奇偶校验的总字节数。
[公式6]
LaneStuffing＝LaneNum-((PayloadLength+ParityLength)％LaneNum)
…(6)
在由轮廓箭头#2指示的部分中示出在通过使用包括通道0至5这六个通道发送数据的情况下，分组数据的分配的实例。
在这种情况下，包括每条报头数据H7到H0的三次重复的每条报头数据按照从报头数据头部的顺序分配给通道0到5。当某条报头数据分配给通道5时，后续的报头数据按顺序分配给通道0之后的每个通道。四条相同的报头数据分配给通道0至5中的每一个。
此外，有效载荷数据按照从有效载荷数据的头部开始的顺序分配给通道0至5中的每一个。当某条有效载荷数据分配给通道5时，后续的有效载荷数据按顺序分配给通道0之后的每个通道。
报尾数据F3至F0按照从报尾数据头部的顺序分配给每个通道。在图20的实例中，有效载荷数据中包括的有效载荷填充数据的最后一条分配给通道1，每条报尾数据F3至F0分配给通道2至5中的每一个。由于通道0至5中的分组数据的数量相同，所以在这种情况下，不使用通道填充数据。
在由轮廓箭头#3指示的部分中示出在通过使用包括通道0至3的四条通道发送数据的情况下，分组数据的分配的实例。
在这种情况下，包括每条报头数据H7到H0的三次重复的每条报头数据按照从头条报头数据开始的顺序分配给通道0到3。当某条报头数据分配给通道3时，后续的报头数据按顺序分配给通道0之后的每个通道。六条报头数据分配给通道0至3中的每一个。
此外，有效载荷数据按照从头条有效载荷数据开始的顺序分配给通道0至3中的每一个。当某条有效载荷数据分配给通道3时，后续的有效载荷数据按顺序分配给通道0之后的每个通道。
报尾数据F3至F0按照从头条报尾数据开始的顺序分配给每个通道。在图20的实例中，有效载荷数据中包括的最后一条有效载荷填充数据分配给通道3，每条报尾数据F3至F0分配给通道0至3的每一个。由于通道0至3中的分组数据的数量相同，所以在这种情况下，不使用通道填充数据。
通道分发单元65将以这种方式分配给每个通道的分组数据输出至物理层。在下文中，将主要描述通过使用包括通道0至7的八个通道发送数据的情况。然而，即使在用于数据发送的通道数量不同的情况下，也执行类似的处理。
[发送单元22的物理层构造]
接下来，将描述发送单元22的物理层构造。
发送单元22包括作为物理层构造的PHY-TX状态控制单元81、时钟生成单元82和信号处理单元83-0至83-N。信号处理单元83-0包括控制代码插入单元91、8B10B符号编码器92、同步单元93和发送单元94。从通道分发单元65输出并分配给通道0的分组数据输入到信号处理单元83-0，分配给通道1的分组数据输入到信号处理单元83-1。此外，分配给通道N的分组数据输入到信号处理单元83-N。
以这种方式，在发送单元22的物理层中提供与通道数量一样多的信号处理单元83-0至83-N，并且由信号处理单元83-0至83-N并行执行对通过使用每个通道发送的分组数据的处理。将描述信号处理单元83-0的构造。然而，信号处理单元83-1至83-N具有类似的构造。
PHY-TX状态控制单元81控制每个信号处理单元83-0至83-N。例如，由每个信号处理单元83-0至83-N执行的处理的定时由PHY-TX状态控制单元81控制。
时钟生成单元82生成时钟信号，并将生成的时钟信号输出到信号处理单元83-0至83-N中的每一个的同步单元93
信号处理单元83-0的控制代码插入单元91将控制代码添加到从通道分发单元65提供的分组数据。控制代码是由从预先准备的多种符号中选择的单个符号表示的代码或是多种符号的组合。由控制代码插入单元91插入的每个符号是八位数据。通过在后级电路中执行8B10B转换，由控制代码插入单元91插入的单个符号变为10位数据。另一方面，在接收单元31中，如后所述，对接收数据执行10B8B转换。然而，接收数据中包括的10B8B转换之前的每个符号是10位数据，10B8B转换之后的每个符号是8位数据。
图21是示出由控制代码插入单元91添加的控制代码的实例的示图。
控制代码包括空闲代码、开始代码、结束代码、填充代码、同步代码、偏斜移除代码和待机代码。
空闲代码是一个符号组，在发送分组数据之外的一时段内重复发送。空闲代码由D字符的D00.0(00000000)表示，该字符是8B10B代码。
开始代码是一个符号组，表示分组的开始。如上所述，开始代码添加在分组之前。开始代码由K28.5、K27.7、K28.2和K27.7这四个符号表示，这些符号是三种K字符的组合。图22示出了K个字符的值。
结束代码是表示分组结束的符号组。如上所述，结束代码添加在分组之后。结束代码由K28.5、K29.7、K30.7和K29.7这四个符号表示，这些符号是三种K字符的组合。
填充代码是插入到有效载荷数据中的符号组，以便填充像素数据带和PHY发送带之间的差异。像素数据带是从成像单元21输出并输入到发送单元22的像素数据的发送速率，而PHY发送带是从发送单元22发送并输入到接收单元31的像素数据的发送速率。填充代码由K23.7、K28.4、K28.6和K28.3这四个符号表示，这些符号是四种K字符的组合。
图23是示出插入填充代码的实例的示图。
图23的上部示出了插入填充代码之前分配给每个通道的有效载荷数据，下部示出了插入填充代码之后的有效载荷数据。在图23的实例中，填充代码插入到自头部的第三像素数据和第四像素数据之间、第六像素数据和第七像素数据之间、以及第十二像素数据和第十三像素数据之间。以这种方式，在通道0至7中的每一个通道中，将填充代码插入有效载荷数据的相同位置。
信号处理单元83-0的控制代码插入单元91将填充代码插入分配给通道0的有效载荷数据中。类似地，信号处理单元83-1至83-N在同一定时将填充代码分别插入分配给其他通道的有效载荷数据中。基于像素数据带和PHY发送带之间的差异、由时钟生成单元82生成的时钟信号的频率等来确定填充代码的数量。
以这种方式，在像素数据带窄而PHY发送带宽的情况下，插入填充代码，以调整带之间的差异。例如，插入填充代码，以便将像素数据带和PHY发送带之间的差异调整到一定范围内。
返回图21的描述，同步代码是用于确保发送单元22和接收单元31之间的位同步和符号同步的符号组。同步代码由两个符号K28.5和任意**表示。任意**表示可以使用任何类型的符号。例如，在开始在发送单元22和接收单元31之间传输分组数据之前，以训练模式重复发送同步代码。
偏斜移除代码是用于校正通道之间的数据偏斜的符号组，换言之，校正在接收单元31的每个通道中接收的数据的接收定时的差异。偏斜移除代码由两个符号K28.5和任意**表示。稍后将描述通过使用偏斜移除代码来校正通道之间的数据偏斜。
待机代码是用于通知接收单元31发送单元22的输出状态变为High-Z(高-Z,高阻抗)等并且不发送数据的符号组。换言之，当分组数据的发送终止并且设置待机状态时，待机代码发送到接收单元31。待机代码由两个符号K28.5和任意**表示。
控制代码插入单元91将添加了这种控制代码的分组数据输出到8B10B符号编码器92。
图24是示出插入控制代码的分组数据的实例的示图。
如图24所示，信号处理单元83-0至83-N中的每一个在分组数据之前添加开始代码，并将填充代码插入有效载荷数据中。结束代码添加在分组数据之后，偏斜移除代码添加在结束代码之后。在图24的实例中，空闲代码添加在偏斜移除代码之后。
8B10B符号编码器92对从控制代码插入单元91提供的分组数据(添加了控制代码的分组数据)执行8B10B转换，并将转换成10位单元的数据的分组数据输出到同步单元93。
同步单元93根据时钟生成单元82生成的时钟信号，将从8B10B符号编码器92提供的分组数据的每一位输出到发送单元94。注意，没有必要在发送单元22中设置同步单元93。在这种情况下，从8B10B符号编码器92输出的分组数据原样提供给发送单元94。
发送单元94经由形成通道0的传输路径将从同步单元93提供的分组数据发送到接收单元31。在通过使用八个通道发送数据的情况下，分组数据通过使用分别形成通道1至7的传输路径发送到接收单元31。
[接收单元31的物理层构造]
接下来，将描述接收单元31的物理层构造。
接收单元31包括作为物理层构造的PHY-RX状态控制单元101和信号处理单元102-0至102-N。信号处理单元102-0包括接收单元111、时钟生成单元112、同步单元113、符号同步单元114、10B8B符号解码器115、偏斜校正单元116和控制代码移除单元117。经由形成通道0的传输路径发送的分组数据输入到信号处理单元102-0，并且经由形成通道1的传输路径发送的分组数据输入到信号处理单元102-1。此外，经由形成通道N的传输路径发送的分组数据输入到信号处理单元102-N。
以这种方式，在接收单元31的物理层中设置与通道数量一样多的信号处理单元102-0至102-N，并且由信号处理单元102-0至102-N并行执行对通过使用每个通道发送的分组数据的处理。将描述信号处理单元102-0的构造。然而，信号处理单元102-1至102-N具有类似的构造。
接收单元111接收指示经由形成通道0的传输路径从发送单元22发送的分组数据的信号，并将接收的信号输出到时钟生成单元112。
时钟生成单元112通过检测从接收单元111提供的信号的边沿来执行位同步，并且基于边沿检测周期生成时钟信号。时钟生成单元112将从接收单元111提供的信号和时钟信号输出到同步单元113。
同步单元113根据时钟生成单元112生成的时钟信号对接收单元111接收的信号进行采样，并将通过采样获得的分组数据输出到符号同步单元114。时钟生成单元112和同步单元113实现时钟数据恢复(CDR)的功能。
符号同步单元114检测分组数据中包括的控制代码或者检测控制代码中包括的一些符号，以便执行符号同步。例如，符号同步单元114检测包括在开始代码、结束代码和偏斜移除代码中的每一个中的符号K28.5，并执行符号同步。符号同步单元114以表示每个符号的以10位为单位的分组数据输出至10B8B符号解码器115。
此外，符号同步单元114通过检测同步代码(其中，在分组数据的发送开始之前以训练模式从发送单元22重复发送该同步代码)中包括的符号边界来执行符号同步。
10B8B符号解码器115对于从符号同步单元114提供的以10位为单位的分组数据执行10B8B转换，并将转换成以8位为单位的数据的分组数据输出到偏斜校正单元116。
偏斜校正单元116从10B8B符号解码器115提供的分组数据中检测偏斜移除代码。由偏斜校正单元116将关于偏斜移除代码的检测定时的信息提供给PHY-RX状态控制单元101。
此外，偏斜校正单元116校正通道之间的数据偏斜，以便将偏斜移除代码的定时调整到由从PHY-RX状态控制单元101提供的信息指示的定时。PHY-RX状态控制单元101提供指示由信号处理单元102-0至102-N检测的偏斜移除代码的定时中的最新定时的信息。
图25是示出通过使用偏斜移除代码校正通道之间的数据偏斜的实例的示图。
在图25的实例中，在通道0至7的每一个中发送同步代码、同步代码、...、空闲代码、偏斜移除代码、空闲代码、...空闲代码和偏斜移除代码，并且其控制代码由接收单元31接收。通道中相同控制代码的接收定时彼此不同，这种差异导致通道之间的数据偏斜。
在这种情况下，偏斜校正单元116检测作为第一偏斜移除代码的偏斜移除代码C1，并将偏斜移除代码C1的开头的定时校正为由从PHY-RX状态控制单元101提供的信息指示的定时t1。PHY-RX状态控制单元101在相应通道0至7中检测到偏斜移除代码C1的定时中的最新定时，提供关于在通道7中检测到偏斜移除代码C1的定时t1的信息。
此外，偏斜校正单元116检测作为第二偏斜移除代码的偏斜移除代码C2，并将偏斜移除代码C2的开头的定时校正为由从PHY-RX状态控制单元101提供的信息指示的定时t2。PHY-RX状态控制单元101在相应通道0至7中检测到偏斜移除代码C2的定时中的最新定时，提供关于在通道7中检测到偏斜移除代码C2的定时t2的信息。
通过由信号处理单元102-1至102-N执行类似的处理，校正通道之间的数据偏斜，如图25中箭头#1所指的部分所示。
偏斜校正单元116将校正数据偏斜的分组数据输出到控制代码移除单元117。
控制代码移除单元117移除添加到分组数据的控制代码，并将开始代码到结束代码之间的数据作为分组数据输出到链路层。
例如，PHY-RX状态控制单元101控制每个信号处理单元102-0至102-N，并且促使每个信号处理单元校正通道之间的数据偏斜。此外，在预定通道中引起传输误差并且控制代码丢失的情况下，PHY-RX状态控制单元101添加经由另一通道发送的控制代码，而不是丢失的控制代码，以便校正控制代码中的误差。
[接收单元31的链路层的构造]
接下来，将描述接收单元31的链路层的构造。
接收单元31包括作为链路层的构造的LINK-RX协议管理单元121、通道集成单元122、分组分离单元123、有效载荷纠错单元124、字节到像素转换器125。LINK-RX协议管理单元121包括状态控制单元131、报头纠错单元132、数据移除单元133和报尾误差检测单元134。
通道集成单元122通过按照与发送单元22的通道分发单元65对每个通道的分发顺序相反的顺序重新排列分组数据，来集成从物理层的信号处理单元102-0至102-N提供的分组数据。
例如，在通道分发单元65如图20中箭头#1所示分发分组数据的情况下，通过集成在通道中的分组数据来获取图20左侧的分组数据。当集成通道中的分组数据时，通道集成单元122根据数据移除单元133的控制移除通道填充数据。通道集成单元122将集成的分组数据输出到分组分离单元123。
分组分离单元123将由通道集成单元122集成的一个分组的分组数据分离成形成报头数据的分组数据和形成有效载荷数据的分组数据。分组分离单元123将报头数据输出到报头纠错单元132，并将有效载荷数据输出到有效载荷纠错单元124。
此外，在分组包括报尾的情况下，分组分离单元123将一个分组的数据分离成形成报头数据的分组数据、形成有效载荷数据的分组数据、形成报尾数据的分组数据。分组分离单元123将报头数据输出到报头纠错单元132，并将有效载荷数据输出到有效载荷纠错单元124。此外，分组分离单元123将报尾数据输出到报尾误差检测单元134。
在奇偶校验插入到从分组分离单元123提供的有效载荷数据中的情况下，有效载荷纠错单元124通过基于奇偶校验执行纠错计算来检测有效载荷数据中的误差，并纠正检测到的误差。例如，在如图16所示插入奇偶校验的情况下，有效载荷纠错单元124使用插入在第一基本块末端的两个奇偶校验，以便校正奇偶校验之前提供的224个像素数据中的误差。
有效载荷纠错单元124将通过校正基本块和额外块中的每一个中的误差而获得的纠错之后的像素数据输出到字节到像素转换器125。在奇偶校验没有插入到从分组分离单元123提供的有效载荷数据中的情况下，从分组分离单元123提供的有效载荷数据输出到字节到像素转换器125。
字节到像素转换器125根据数据移除单元133的控制，移除从有效载荷纠错单元124提供的有效载荷数据中包括的有效载荷填充数据。
此外，字节到像素转换器125执行字节到像素转换，用于将通过移除有效载荷填充数据而获取的以字节为单位的每个像素的数据转换为以8位、10位、12位、14位或16位为单位的像素数据。字节到像素转换器125执行与参考图9至13描述的发送单元22的像素到字节转换器62的像素到字节转换相反的转换。
字节到像素转换器125将通过字节到像素转换获得的以8位、10位、12位、14位或16位为单位的像素数据输出到帧数据输出单元141。在帧数据输出单元141中，例如，基于字节到像素转换器125获取的像素数据生成由报头信息的行有效指定的有效像素的每一行，通过根据报头信息的行号排列每一行来生成一帧图像。
LINK-RX协议管理单元121的状态控制单元131管理接收单元31的链路层的状态。
报头纠错单元132基于从分组分离单元123提供的报头数据获取三对报头信息和CRC码。报头纠错单元132执行误差检测计算，该误差检测计算是通过使用与报头信息同一对中的CRC码来检测每对报头信息和CRC码的报头信息中的误差的计算。
此外，报头纠错单元132基于每对报头信息的误差检测结果或通过误差检测计算获得的数据的比较结果中的至少一个来估计正确的报头信息，并且输出已经被估计为正确的报头信息和解码结果的报头信息。通过误差检测计算获得的数据是通过将CRC的生成器多项式应用于报头信息而获得的值。此外，解码结果是指示解码成功或解码失败的信息。
三对报头信息和CRC码称为对1、对2和对3。在这种情况下，报头纠错单元132获取对1的报头信息是否包括通过对对1的误差检测计算得到的误差(误差检测结果)和数据1，该数据1是通过误差检测计算而获取的数据。此外，报头纠错单元132获取对2的报头信息是否包括通过对对2的误差检测计算得到的误差和数据2，数据2是通过误差检测计算而获取的数据。报头纠错单元132获取对3的报头信息是否包括通过对对3的误差检测计算得到的误差和数据3，数据3是通过误差检测计算而获取的数据。
此外，报头纠错单元132确定数据1是否与数据2一致，数据2是否与数据3一致，以及数据3是否与数据1一致。
例如，在通过对1、2和3中的任何一个的误差检测计算没有检测到误差并且通过误差检测计算获取的数据的比较结果一致的情况下，报头纠错单元132选择指示成功解码的信息，作为解码结果。此外，报头纠错单元132估计所有报头信息都是正确的，并且选择对1的报头信息、对2的报头信息和对3的报头信息中的任何一个，作为输出信息。
另一方面，在仅在对1的误差检测计算中没有检测到误差的情况下，报头纠错单元132选择指示成功解码的信息，作为解码结果，估计对1的报头信息是正确的，并且选择对1的报头信息，作为输出信息。
此外，在仅在对2的误差检测计算中没有检测到误差的情况下，报头纠错单元132选择指示成功解码的信息，作为解码结果，估计对2的报头信息是正确的，并且选择对2的报头信息，作为输出信息。
在仅在对3的误差检测计算中没有检测到误差的情况下，报头纠错单元132选择指示成功解码的信息，作为解码结果，估计对3的报头信息是正确的，并且选择对3的报头信息，作为输出信息。
报头纠错单元132将解码结果和如上所述选择的输出信息输出到寄存器142，并使寄存器142存储输出信息。以这种方式，报头纠错单元132通过使用多条报头信息中的CRC码无误差地检测报头信息并输出检测到的报头信息来校正报头信息中的误差。
数据移除单元133通过控制通道集成单元122移除通道填充数据，并且通过控制字节到像素转换器125移除有效载荷填充数据。
报尾误差检测单元134基于从分组分离单元123提供的报尾数据获取存储在报尾中的CRC代码。报尾误差检测单元134通过使用获取的CRC码来执行误差检测计算，并且检测有效载荷数据中的误差。报尾误差检测单元134输出误差检测结果，并使寄存器142存储输出结果。
[图像传感器11和DSP 12的操作]
接下来，将描述具有上述构造的发送单元22和接收单元31的一系列处理。
首先，将参考图26中的流程图描述包括传输系统1的成像装置的操作。当例如通过按压成像装置中设置的快门按钮，来发出开始成像的指令时，开始图26中的处理。
在步骤S1，图像传感器11的成像单元21执行成像。成像单元21的帧数据输入单元52(图5)依次输出通过单像素数据成像而获得的单帧图像的像素数据。
在步骤S2，发送单元22执行数据发送处理。根据数据发送处理，生成一行的像素数据存储在有效载荷中的分组，并且形成该分组的分组数据发送到接收单元31。稍后将参考图27中的流程图描述数据发送处理。
在步骤S3，接收单元31执行数据接收处理。根据数据接收处理，接收从发送单元22发送的分组数据，并且存储在有效载荷中的像素数据输出到图像处理单元32。稍后将参考图28中的流程图描述数据接收处理。
对一行的像素数据交替地执行由发送单元22在步骤S2执行的数据发送处理和由接收单元31在步骤S3执行的数据接收处理。换言之，当通过数据发送处理发送一行的像素数据时，执行数据接收处理，并且当通过数据接收处理接收一行的像素数据时，对下一行的像素数据执行数据发送处理。发送单元22的数据发送处理和接收单元31的数据接收处理可以适当地同时并行执行。在步骤S4，图像处理单元32的帧数据输出单元141确定包括在一帧图像中的所有行的像素数据的交换是否终止。在确定像素数据的交换没有终止的情况下，帧数据输出单元141重复执行步骤S2中的和步骤S2之后的处理。
在步骤S4中确定包括在一帧图像中的所有行的像素数据的交换终止的情况下，图像处理单元32的帧数据输出单元141在步骤S5中基于从接收单元31提供的像素数据生成一帧图像。
在步骤S6，图像处理单元32通过使用一帧图像来执行图像处理，并终止处理。
接下来，将参考图27中的流程图描述在图26中的步骤S2中执行的数据发送处理。
在步骤S11中，报头生成单元72生成包括帧开始、帧结束、行有效、行号和预留的报头信息。
在步骤S12中，报头生成单元72通过将报头信息应用于生成器多项式来计算CRC码。
在步骤S13中，报头生成单元72通过将CRC码添加到报头信息来生成一对报头信息和CRC码，并且通过重复排列三对相同的报头信息和CRC码来生成报头。
在步骤S14中，像素到字节转换器62获取从帧数据输入单元52提供的像素数据，并执行像素到字节转换。像素到字节转换器62通过对通过像素到字节转换获取的以字节为单位的像素数据进行分组，添加有效载荷填充数据等，来输出生成的有效载荷数据。有效载荷ECC插入单元63将奇偶校验适当地插入到有效载荷数据中。
在步骤S15中，分组生成单元64基于有效载荷数据生成分组并且输出构成一个分组的分组数据，该有效载荷数据包括一行的像素数据和由报头生成单元72生成的报头。
在步骤S16中，通道分发单元65将从分组生成单元64提供的分组数据分配给用于数据发送的多个通道。
在步骤S17中，控制代码插入单元91将控制代码添加到从通道分发单元65提供的分组数据中。
在步骤S18中，8B10B符号编码器92对添加了控制代码的分组数据执行8B10B转换，并且输出转换成以10位为单位的数据的分组数据。
在步骤S19中，同步单元93根据时钟生成单元82生成的时钟信号输出从8B10B符号编码器92提供的分组数据，并使发送单元94发送分组数据。步骤S17至S19中的处理由信号处理单元83-0至83-N并行执行。当一行的像素数据的发送完成时，过程返回图26中的步骤S2，并且执行后续处理。
接下来，将参考图28中的流程图描述在图26中的步骤S3中执行的数据接收处理。
在步骤S31，接收单元111接收指示从发送单元22发送的分组数据的信号。步骤S31至S36中的处理由信号处理单元102-0至102-N并行执行。
在步骤S32中，时钟生成单元112通过检测从接收单元111提供的信号的边沿来执行位同步。同步单元113采样由接收单元111接收的信号，并将分组数据输出到符号同步单元114。
在步骤S33中，符号同步单元114例如通过检测分组数据中包括的控制代码来执行符号同步。
在步骤S34中，10B8B符号解码器115对已经执行符号同步的分组数据执行10B8B转换，并且输出转换成以八位为单位的数据的分组数据。
在步骤S35中，偏斜校正单元116检测偏斜移除代码并校正通道之间的数据偏斜，以便将偏斜斜移除代码的定时调整到由从PHY-RX状态控制单元101提供的信息指示的定时，如上所述。
在步骤S36中，控制代码移除单元117移除添加到分组数据的控制代码。
在步骤S37中，通道集成单元122集成从信号处理单元102-0至102-N提供的分组数据。
在步骤S38中，分组分离单元123将由通道集成单元122集成的分组数据分离成形成报头数据的分组数据和形成有效载荷数据的分组数据。
在步骤S39中，报头纠错单元132对分组分离单元123分离的报头数据中包括的每对报头信息和CRC码来执行通过使用CRC码的误差检测计算。此外，报头纠错单元132基于每对的误差检测结果和通过误差检测计算获得的数据的比较结果来选择无误差的报头信息，并输出所选择的信息。
在步骤S40中，字节到像素转换器125对有效载荷数据执行字节到像素转换，并以8位、10位、12位、14位或16位为单位输出像素数据。有效载荷纠错单元124通过使用奇偶校验适当地校正被执行了字节到像素转换的有效载荷数据中的误差。
当对一行像素数据的处理完成时，过程返回图26中的步骤S3，并且执行后续处理。
如上所述，通过使用一帧中的一行对应于一个分组的分组格式，在图像传感器11和DSP 12之间传输数据。
可以说，用于图像传感器11和DSP 12之间的数据传输的分组格式是最小化报头信息和指示分组边界的控制代码(例如，开始代码、结束代码等)的发送的格式，并且可以防止传输效率的降低。如果采用存储在一个包的有效载荷中的像素数据少于一行的分组格式，则需要发送更多的分组，以便发送整个帧的像素数据。随着要发送的报头信息和控制代码的数量增加，传输效率降低。
此外，可以通过防止传输效率的降低来抑制传输延迟，可以实现需要高速发送大量图像数据的具有高像素和高帧速率的接口。
通过在增强传输的可靠性和冗余性以及接收单元31校正误差的前提下采用分组格式，可以确保针对报头信息传输误差的对策。由于通过使用报头信息来发送帧/行(V/H)等的同步信息，所以如果报头信息由于传输误差而丢失，则这有可能导致系统中的大缺陷。然而，可以避免这样的问题。
此外，可以抑制安装成本和功耗的增加，以确保针对报头信息传输误差的对策。换言之，CRC码添加到用于图像传感器11和DSP 12之间的数据传输的分组格式，使得DSP 12能够检测报头信息是否包括传输误差。此外，通过发送三对报头信息和CRC码，在报头信息包括传输误差的情况下，DSP 12可以校正报头信息，以校正报头信息。
在纠错码用作针对报头信息传输误差的对策的情况下，需要准备在发送单元22中计算纠错码的电路和在接收单元31中执行纠错计算的电路。因为作为检错码的CRC码添加到报头信息，所以与准备执行关于纠错的计算的电路的情况相比，可以减小电路尺寸和功耗。此外，在检测到报头信息中的误差的情况下，接收单元31不请求发送单元22重传报头信息。因此，没有必要准备用于请求重传的反向传输路径。
通过增加冗余度并通过组合8B10B码的多个K字符来构造控制代码，可以降低控制代码的误差概率。通过这种减少，可以通过相对简单的电路来确保针对控制代码中的传输误差的对策。
具体地，包括三种K字符的四个符号组合地用于开始代码。然而，如果至少可以检测到除了K28.5之外的符号，则接收单元31可以指定开始代码，并且可以说发送抗误差性高。这同样适用于结束代码。
此外，四种K字符组合地用于填充代码。然而，通过比其他控制代码分配更多种类的K字符，可以比其他控制代码增加更多的抗误差性。换言之，如果可以检测到四种符号中的一种，则接收单元31可以指定填充代码。因为填充代码的传输频率高于开始代码、结束代码等，所以填充代码具有能够更多地增加抗误差性的结构。
此外，通过在每个通道中的相同定时发送相同的控制代码，即使在一个通道中导致传输误差并且控制代码丢失的情况下，也可以通过使用另一通道中的控制代码来再现具有误差的控制代码。
此外，K字符的数量是有限的。因此，最小的K个字符组合，以形成每个控制代码。例如，同步代码、偏斜移除代码和待机代码通过重复发送代码(具有不需要额外分配K个字符的数据结构)可以相对允许传输误差。
由于重新同步所需的控制代码分配给每个分组(每行)，所以在位同步由于诸如静电、噪声等干扰而丢失的情况下，可以快速进行重新同步。此外，可以最小化由丢失同步引起的传输误差的影响。
具体地，可以通过由时钟生成单元112和同步单元113实现的CDR检测8B10B转换的比特数据的转变/边沿来执行位同步。如果发送单元22连续发送数据，则可以在假定为CDR锁定定时的时段内执行位同步。
此外，即使在符号同步丢失的情况下，特定的K字符(K28.5)也由符号同步单元114检测，以便快速执行再同步。由于开始代码、结束代码和偏斜移除代码中的每一个都使用了K28.5，所以在一个分组的分组数据发送周期中，可以在三个位置执行符号同步。
此外，通道之间的数据偏斜可以通过使用偏斜移除代码来校正，以便通道可以同步。
在链路层中，并行处理以组为单位的多条分组数据，例如，16条(在图14中的实例中，以16位为单位)。通过这种操作，与在一个时钟周期内处理单条分组数据的情况相比，可以减小电路尺寸和存储量。就安装而言，与逐个处理分组数据的情况相比，在集中处理预定单位的分组数据的情况下，可以减小电路尺寸等。通过减小电路尺寸，可以降低功耗。
此外，在通道分配时，可以通过将连续的分组数据分发给不同的通道来增加抗误差性。即使在特定通道中的连续分组数据中出现误差并且分组数据的数量超过奇偶校验的纠错能力的情况下，通过由接收单元31组合通道，出现误差的分组数据的位置分散，并且可能存在可以通过使用奇偶校验来纠正误差的情况。奇偶校验的纠错能力由奇偶校验的长度决定。
此外，当假设更接近物理层的通道是较低层时，在比通道分发和通道集成更高的层中执行ECC处理，使得可以减小发送单元22和接收单元31的电路尺寸。例如，在发送单元22中，在分组数据分配给每个通道之后，ECC的奇偶校验被插入到有效载荷中的情况下，有必要为每个通道准备有效载荷ECC插入单元，并且电路尺寸增加。然而，可以防止这样的问题。
在物理层中，对分组数据的并行处理由多个电路执行。然而，通过共享PHY-TX状态控制单元81和时钟生成单元82，电路可以比为每个通道准备这些电路的情况简化。此外，通过使用不为相应通道发送不同控制代码的协议，可以简化在每个通道中处理分组数据的电路。
[切换通道数]
不仅在发送正常数据时，而且例如在交换通道数的情况下，在相应通道中在相同的定时发送相同的控制代码。即使在切换通道数量的情况下，所有活动通道(用于数据发送的通道)的状态也是相同的。
图29是示出在切换通道数的情况下的控制序列的示图。
在图29的右侧，示出了垂直同步信号(XVS)和水平同步信号(XHS)的定时。将描述这样一种情况，其中，在检测到垂直同步信号时，在定时t1之前，根据水平同步信号发送形成一帧图像的每行的像素数据，并且在定时t1的定时，活动通道的数量从四个变为两个。在定时t1之前，通过使用四个通道发送数据。
大约在图29的中心，垂直示出每个通道的状态。“像素数据(PIX DATA)”表示像素数据在添加了PIX DATA字符的通道中发送。“PIX DATA”后面的“E”、“BLK”和“S”分别表示帧结束、消隐间隔和帧开始。
在要发送的帧的像素数据的发送在定时t1之前的一个帧周期内完成的情况下，在步骤S81中，图像处理单元32指示接收单元31将通道数从四个切换到两个。在步骤S71中，接收单元31接收来自图像处理单元32的指令。
在定时t1，在步骤S82中，图像处理单元32请求图像传感器11的成像单元21改变模式。要发送到成像单元21的模式改变请求包括指示将通道数从四个切换到两个的信息。尽管在图1等中未示出，但是在成像单元21和图像处理单元32之间，提供了用于通过图像处理单元32向成像单元21发送关于成像的设定值的信息(例如，快门速度、增益等)的传输路径。模式改变请求经由该传输路径发送到成像单元21。
在步骤S51中，成像单元21从图像处理单元32接收模式改变请求，并且在步骤S52中，成像单元21指示发送单元22将通道数从四个切换到两个。在步骤S61，成像单元21的指令由发送单元22接收。
在发送单元22和接收单元31之间执行待机序列，并且通过使用通道0至3将待机代码从发送单元22重复发送到接收单元31。当待机序列结束时，状态的检测结果在步骤S72中从接收单元31输出，并且在步骤S83中由图像处理单元32接收。此外，保持活动状态的通道0和1的状态变为低，终止数据发送的通道2和3的状态变为High-Z。
在发送单元22和接收单元31之间执行训练序列，并且通过使用通道0和1将同步代码从发送单元22重复发送到接收单元31。在接收单元31中，确保位同步，并且通过检测同步代码来确保符号同步。
当训练序列结束时，在步骤S73中，接收单元31通知图像处理单元32准备完成。在步骤S84中，图像处理单元32接收由接收单元31做出的通知，并且终止在切换通道数的情况下的一系列控制序列。
以这种方式，在用于切换通道数的控制序列中，在待机序列时，待机代码在通道2和3中发送，在通道2和3中终止数据发送，从而处于与连续用于数据发送的通道0和1相同的状态。例如，认为通道2和3的状态保持为High-Z，而不发送待机代码。然而，通道2和3的状态不同于连续用于数据发送的通道的状态，并且需要复杂的控制。
[帧格式的修改]
图30是示出用于在图像传感器11和DSP 12之间传输数据的帧格式的另一实例的示图。将酌情省略与上述描述重复的描述。
图30中所示的帧格式与图4中的格式的不同之处在于，由粗线L11包围的包括嵌入行、数据ID和区域号的三条数据添加到报头，该报头添加到每行的图像数据。这些信息由图5中的报头生成单元72生成，并添加到报头中。
图31是示出图30中帧格式的一个分组的放大图。一个分组包括报头和有效载荷数据，有效载荷数据是一行的像素数据。可以将报尾添加到分组中。开始代码添加到每个分组的开头，结束代码添加到分组的后面。
除了上述帧开始、帧结束、行有效和行号之外，报头信息还包括作为行信息的嵌入行、作为数据标识的数据ID、以及作为区域信息的区域号。每条信息的内容如图32所示。
嵌入行是一位信息，指示分组是否是用于发送嵌入数据所插入的行的分组。例如，值1被设置给用于发送包括嵌入数据的行的分组报头的嵌入行，值0被设置给用于发送另一行的分组报头的嵌入行。如上所述，关于成像的设定值的信息作为嵌入数据插入到前虚拟区域A3和后虚拟区域A4中的预定行中。
数据ID是指示多流传输中的数据ID和数据类型的P位信息。P位表示等于或多于一位的预定位数。多流传输是通过使用一个发送单元和一个接收单元构成的多对来执行的数据传输。
区域号是指示成像单元21的区域是存储在有效载荷中的像素数据的数据的一位信息。通过添加三条数据，预留变为30-P位。
<2.第二实施方式(发送预定数据以及像素数据的实例)>
使用上述多条通道的芯片之间的数据传输可以用于除图像数据之外的各种数据的传输。
在下文中，适当地，用于发送从图像传感器(例如，CMOS)输出的像素数据的I/F称为CMOS图像传感器(CIS)I/F，并且用于发送各种数据的I/F称为通用I/F。通过使用通用I/F，不仅图像数据而且诸如音频数据、文本数据等各种数据从发送侧芯片发送到接收侧芯片。
[传输系统的示例性构造]
图33是示出使用通用I/F的传输系统的第一示例性构造的示图。
图33中的传输系统301包括发送侧LSI 311和接收侧LSI 312。例如，发送侧LSI311和接收侧LSI 312设置在同一装置中。发送侧LSI 311包括信息处理单元321和单个发送单元322，接收侧LSI 312包括单个接收单元331和信息处理单元332。
发送侧LSI 311的信息处理单元321执行各种数据处理，并将要发送的数据输出到发送单元322。信息处理单元321输出具有各种位宽的数据，例如，8、10、12、14、16、20、24、28、32、40、48、56、64、80、96、112、128和144位。
发送单元322例如按照从信息处理单元321提供的顺序，将从信息处理单元321提供的数据分配给多个通道，并将数据并行发送给接收侧LSI 312。在图33的实例中，通过使用八个通道来发送数据。发送侧LSI 311和接收侧LSI 312之间的传输路径可以是有线或无线传输路径。
接收侧LSI 312的接收单元331经由八个通道接收从发送单元322发送的数据，并将该数据输出到信息处理单元332。
信息处理单元332基于从接收单元331提供的数据生成由发送侧LSI 311选择作为发送目标的数据，并通过使用生成的数据执行各种处理。在要发送的数据是例如音频数据的情况下，对音频数据执行诸如再现、压缩等处理。
图34是示出传输系统301的第二示例性构造的示图。图34中示出的与图33中示出的组件相同的组件分别用相同的附图标记表示。将适当地省略重复的描述。
图34中的传输系统301的发送侧LSI 311包括信息处理单元321和作为两个发送单元的发送单元322-1和322-2，并且接收侧LSI 312包括信息处理单元332以及作为两个接收单元的接收单元331-1和331-2。
信息处理单元321划分要发送的数据，并将该数据输出到发送单元322-1和322-2。
发送单元322-1例如按照从信息处理单元321提供的顺序，将从信息处理单元321提供的数据分配给多个通道，并将数据发送给接收侧LSI 312。类似地，发送单元322-2例如按照从信息处理单元321提供的顺序，将从信息处理单元321提供的数据分配给多个通道，并将数据发送给接收侧LSI 312。
在图34的实例中，发送侧LSI 311和接收侧LSI 312经由八条通道彼此连接。每个发送单元322-1和322-2通过使用四个通道发送数据。
接收侧LSI 312的接收单元331-1经由四个通道接收从发送单元322-1发送的数据，并将该数据输出到信息处理单元332。类似地，接收单元331-2经由四个通道接收从发送单元322-2发送的数据，并将该数据输出到信息处理单元332。
信息处理单元332基于从接收单元331-1提供的数据和从接收单元331-2提供的数据生成要发送的数据，并对生成的数据执行各种处理。
如图34所示，通过在发送侧LSI 311中设置两个发送单元和在接收侧LSI 312中对应于发送单元设置两个接收单元，即使在从信息处理单元321输出的数据的发送速率高的情况下，数据也可以发送到接收侧LSI 312。
图35是示出传输系统301的第三示例性构造的示图。图35中示出的与图33中示出的组件相同的组件分别用相同的附图标记表示。将适当地省略重复的描述。
在图35中的传输系统301中，设置发送侧LSI 311-1和311-2的两个LSI，作为发送侧LSI。发送侧LSI 311-1包括信息处理单元321-1和作为单个发送单元的发送单元322-1，并且发送侧LSI 311-2包括信息处理单元321-2和作为单个发送单元的发送单元322-2。如图34的情况，接收侧LSI 312包括作为两个接收单元的接收单元331-1和331-2以及信息处理单元332。
发送侧LSI 311-1的信息处理单元321-1输出要发送到发送单元322-1的数据。
发送单元322-1将从信息处理单元321-1提供的数据分配给多个通道，并将数据发送给接收侧LSI 312。
发送侧LSI 311-2的信息处理单元321-2输出要发送到发送单元322-2的数据。
发送单元322-2将从信息处理单元321-2提供的数据分配给多个通道，并将数据发送给接收侧LSI 312。
在图35的实例中，作为发送侧的LSI的发送侧LSI 311经由八个通道连接到作为接收侧的LSI的接收侧LSI 312。四个通道分配给每个发送侧LSI 311-1和311-2，并且每个发送单元322-1和322-2通过使用四个通道发送数据。
接收侧LSI 312的接收单元331-1经由四个通道接收从发送侧LSI 311-1的发送单元322-1发送的数据，并将接收的数据输出到信息处理单元332。类似地，接收单元331-2经由四个通道接收从发送侧LSI 311-2的发送单元322-2发送的数据，并将接收的数据输出到信息处理单元332。
信息处理单元332基于从接收单元331-1提供的数据生成由发送侧LSI 311-1选择的作为发送目标的数据。此外，发送单元322基于从接收单元331-2提供的数据生成发送侧LSI 311-2选择的作为发送目标的数据。图像处理单元332通过使用生成的数据来执行各种处理。
如上所述，在传输系统301的发送侧的LSI中，提供一个或多个发送数据的发送单元。另一方面，在接收侧的LSI中，对应于发送侧的LSI中的发送单元，提供接收数据的一个或多个接收单元。
在下文中，将描述图33中的传输系统301中的数据发送，其中，发送侧LSI 311包括单个发送单元，接收侧LSI 312包括单个接收单元。在图34和35中，类似地在发送单元322-1和接收单元331-1之间以及发送单元322-2和接收单元331-2之间传输数据。
[分组的数据结构的实例]
图36的A至D是示出用于数据传输的分组的数据结构的实例的示图。
图36的A是示出由CIS IF用于发送像素数据的分组的实例的示图。CIS IF的一个分组包括报头、包括一行像素数据的有效载荷、适当添加的报尾。开始代码添加到CIS IF的一个分组的头部，结束代码添加到报尾之后。
图36的B到D是示出用于在通用I/F中发送各种数据的分组的实例的示图。通用I/F的一个分组仅包括有效载荷。如后所述，发送单元322通过将从信息处理单元321提供的要以8位至144位为单位发送的数据划分成具有预定大小的数据来生成有效载荷数据。分组大小是8到144位的公倍数，即，输入数据的位宽，并且是128位的公倍数，由设置给构造寄存器的值指定。
在生成具有与设置给构造寄存器的值所指定的分组大小相同的大小的分组并发送数据的情况下，使用图36的B所示的正常分组。
此外，在生成具有比设置给构造寄存器的值所指定的分组大小短的分组大小并发送数据的情况下，使用图36的C或D中所示的短分组。例如，在有效载荷长度是128位的倍数的情况下，使用图36的C中的短分组(1)，并且在有效载荷长度不是128位的倍数的情况下，使用图36的D中的短分组(2)。图36的C中的短分组和图36的D中的短分组由要在末尾添加的结束代码来标识。
[发送侧LSI 311和接收侧LSI 312的构造]
图37是示出发送侧LSI 311和接收侧LSI 312的示例性构造的示图。
图37左侧所示的构造是发送侧LSI 311的构造，图37右侧所示的构造是接收侧LSI312的构造。通用I/F的数据发送通过应用层、适配层、链路层和物理层中的每一个的构造来实现。
实线L1上方所示的构造是应用层的构造。在信息处理单元321中实现系统控制单元341、数据输入单元342和寄存器343。
系统控制单元341通过通用I/F控制数据发送。例如，当数据输入单元342输出要发送的数据时，系统控制单元341向发送单元322的有效载荷数据生成单元351输出指示输入数据有效的控制信号。数据输入单元342以8至144位的预定位为单位输出要发送到有效载荷数据生成单元351的数据。寄存器343是上述的构造寄存器，并存储各种信息，例如，分组大小、通道数等。
另一方面，在信息处理单元332中实现系统控制单元441、数据输出单元442和寄存器443。
系统控制单元441通用I/F控制数据接收。例如，系统控制单元441将关于由设置给寄存器443的值指定的分组大小的信息输出到有效载荷数据获取单元431。数据输出单元442获取从有效载荷数据获取单元431提供的数据，并将该数据输出到未示出的数据处理单元。寄存器443存储各种信息，例如，分组大小、通道数等。
[发送单元322的适配层的构造]
将描述发送侧LSI 311的适配层的构造。发送单元322包括有效载荷数据生成单元351，作为适配层的构造。
有效载荷数据生成单元351将从数据输入单元342以预定位为单位提供的要发送的数据划分成大小与分组大小相同的数据，并将划分的数据输出到字节打包单元362。有效载荷数据生成单元351将包括在以与分组大小相同的大小划分的要发送的数据中的以预定位为单位的数据输出到字节打包单元362。有效载荷数据生成单元351将例如大小小于分组大小的要发送的最后一条数据原样输出到字节打包单元362。
此外，在有效载荷数据生成单元351检测到控制信号关闭并且数据没有输入等于或长于预定时间段的情况下，有效载荷数据生成单元351向字节打包单元362输出分组结束信号，该分组结束信号是指示包括在分组中的最后一条数据的输入定时的定时信号。注意，在参考图7、32等描述的报头信息发送到接收侧LSI 312的情况下，有效载荷数据生成单元351将报头信息输出到分组生成单元364。通用I/F发送报头信息，作为有效载荷数据。
[发送单元322的链路层的构造]
发送单元322包括作为链路层的构造的字节打包单元362、有效载荷ECC插入单元363、分组生成单元364和通道分发单元365。
字节打包单元362将从有效载荷数据生成单元351提供的数据转换成以预定单元(例如，16字节)打包的数据，该预定单元是字节打包单元362之后的每个处理器的处理单元。字节打包单元362将通过转换获得的打包数据输出到有效载荷ECC插入单元363。
图38是示出字节打包单元362进行数据转换的字节打包的实例的示图。
在图38的实例中，有效载荷数据生成单元351根据作为形成一个分组的数据的控制信号划分的数据1至数据8输入到字节打包单元362。假设数据输入单元342以80位为单位向有效载荷数据生成单元351输入数据。
在这种情况下，字节打包单元362通过按输入顺序将数据1至数据8的每一位分配给以16字节(128位)为单位的打包数据的每一位来生成五条打包数据。例如，第一条打包数据是包括1至80位数据1和1至48位数据2的数据。
图39是示出由字节打包单元362进行的字节打包的另一实例的示图。
在图39的实例中，有效载荷数据生成单元351根据作为形成一个分组的数据的控制信号划分的数据1至数据5输入到字节打包单元362。有效载荷数据生成单元351根据数据5的输入定时向字节打包单元362输入分组结束信号。响应于提供分组结束信号，字节打包单元362可以识别出数据5是形成一个分组的最后一条数据。
在这种情况下，字节打包单元362通过按输入顺序将数据1至数据5的每一位分配给打包数据的每一位，生成第一条打包数据，包括从头到中部的整个数据1和数据2的数据。此外，字节打包单元362生成第二条打包数据，包括从中间到末端的数据2的数据、整个数据3和从头到中间的数据4的数据。字节打包单元362生成第三条打包数据，包括从中间到末端的数据4的数据和从头到中间的数据5的数据。
当将作为数据5的最后一位的第80位分配给第四条打包数据时，之后，字节打包单元362通过插入虚拟数据来生成16字节的第四条打包数据。换言之，对于小于16字节的打包数据的一部分，添加虚拟数据(虚拟位)，以便生成打包数据。例如，虚拟数据是所有值都为零的位。
此外，字节打包单元362生成包括八位的打包数据，所述八位指示包括在LSB侧的第四条打包数据中的虚拟数据的位长度，作为添加了虚拟数据的第四条打包数据之后的第五条打包数据。虚拟数据包含在第五条打包数据的第一位到第120位中。
基于第五条打包数据包括120位虚拟数据，接收这种数据的接收单元331可以指定虚拟数据添加到作为先前打包数据的第四条打包数据。此外，基于由120位虚拟数据之后的8位指示的位长度，接收单元331可以指定添加到第四条打包数据的虚拟数据的位长度，并且仅提取有效数据。
图40是示出字节打包处理序列的示图。
在图40的实例中，在从定时t11到t14的时段内以及在定时t15之后，从信息处理单元321的系统控制单元341提供的控制信号接通。此外，响应于控制信号接通，数据输入单元342提供数据1至数据4，数据1至数据4是以预定位为单位发送的数据。聚焦于数据1至数据3，在从定时t11至t12的定时段中提供数据1，在从定时t12至t13的定时段中提供数据2，并且在从定时t13至t14的定时段中提供数据3。在数据3的输入完成时输入指示形成分组的最后一条数据的分组结束信号。数据1至数据4的每一条都是大小等于或大于16字节的数据。
在这种情况下，字节打包单元362生成打包数据PD1，该打包数据PD1包括从数据1的头到中部的范围a中的数据。此外，字节打包单元362生成打包数据PD2，该打包数据PD2包括从数据1的中间到数据1的末端的范围b中的数据和从数据2的头到中间的范围c中的数据。
字节打包单元362生成打包数据PD3，该打包数据PD3包括从数据2的中间到数据2的末端的范围d内的数据和从数据3的头到中间的范围e内的数据。字节打包单元362将虚拟数据添加到从数据3的中间到数据3的末端的范围f中的数据，并生成16字节打包数据PD4。在图40中用阴影表示的范围内的数据是虚拟数据。
此外，字节打包单元362生成16字节打包数据，该打包数据包括表示在打包数据PD4之后添加到打包数据PD4末端的虚拟数据的位长度的比特。
例如，发送包括打包数据PD1至PD4的分组，作为图36的C或D中的短分组，打包数据PD1至PD4包括添加了虚拟数据的打包数据PD4。该短分组包括打包数据，表示虚拟数据的位长度的比特添加到该打包数据的末尾。
考虑这样一种情况，其中，仅在控制信号接通期间输入的有效数据包括在打包数据中，而不包括虚拟数据，并且发送打包数据，作为正常分组。在这种情况下，当在提供分组结束信号的定时不能用有效数据填充打包数据时，在输入数据4之前，不能输出未包括在打包数据中的数据3的范围f内的数据。在不能在提供分组结束信号时用有效数据填充打包数据的情况下，可以通过添加虚拟数据并输出数据来防止数据输出中的延迟。
包括以这种方式生成的打包数据的数据作为有效载荷数据从字节打包单元362提供给图37中的有效载荷ECC插入单元363。
有效载荷ECC插入单元363基于从字节打包单元362提供的有效载荷数据，计算用于校正有效载荷数据中的误差的纠错码，并将通过计算获得的奇偶校验插入到有效载荷数据中。例如，里德-所罗门码用作纠错码。注意，纠错码的插入是可选的。
图41是示出将奇偶校验插入有效载荷数据的实例的示图。
有效载荷ECC插入单元363按字节打包单元362提供的顺序收集14条打包数据，以便生成224字节基本块。此外，有效载荷ECC插入单元363基于224字节的有效载荷数据生成2至4字节的奇偶校验，并将奇偶校验插入到有效载荷数据中，以便生成插入奇偶校验的226字节至228字节基本块。
在图41的实例中，生成奇偶校验1并将其添加到包括第一至第十四条打包数据的有效载荷数据。在图41中，阴影表示的数据是奇偶校验。
在某个基本块之后的有效载荷数据的大小小于224字节的情况下，有效载荷ECC插入单元363基于剩余的有效载荷数据生成额外块。通过如上所述插入虚拟数据，额外块的信息长度始终是16字节的倍数。此外，有效载荷ECC插入单元363基于包含在额外块中的有效载荷数据生成2至4字节的奇偶校验，并将奇偶校验插入到有效载荷数据中，以便生成插入奇偶校验的额外块。
在图41的实例中，生成奇偶校验M并将其添加到第N至第N+M条有效载荷数据。
有效载荷ECC插入单元363将插入奇偶校验的有效载荷数据输出到分组生成单元364。在没有插入奇偶校验的情况下，从字节打包单元362提供给有效载荷ECC插入单元363的有效载荷数据原样输出给分组生成单元364。
分组生成单元364使用从有效载荷ECC插入单元363提供的数据作为有效载荷数据来生成分组。分组生成单元364将生成的分组的数据输出到通道分发单元365。
通道分发单元365随后将从分组生成单元364提供的分组数据以字节为单位从第一个字节开始分配给用于数据发送的每个通道，例如，通道0、通道1、...通道(通道号-1)、通道1...。存在一种情况，即，数据不能根据分组长度和通道数均匀分发到每个通道。在这种情况下，通道分发单元365插入00h，作为通道填充，使得数据均匀地分发到每个通道。
通道分发单元365以这种方式向物理层输出分配给每个通道的分组数据。在下文中，将主要描述通过使用包括通道0至7的八个通道发送数据的情况。然而，即使在用于数据发送的通道数量不同的情况下，也执行类似的处理。
[发送单元322的物理层构造]
发送单元322包括作为物理层构造的PHY-TX状态控制单元381、时钟生成单元382和信号处理单元383-0至383-N。发送单元322的物理层构造与参考图5描述的CIS-IF中的发送单元22的物理层构造相同。将适当地省略重复的描述。
信号处理单元383-0包括控制代码插入单元391、8B10B符号编码器392、同步单元393和发送单元394。从通道分发单元365输出并分配给通道0的分组数据输入到信号处理单元383-0，分配给通道1的分组数据输入到信号处理单元383-1。此外，分配给通道N的分组数据输入到信号处理单元383-N。
PHY-TX状态控制单元381控制信号处理单元383-0至383-N中的每一个。
时钟生成单元382生成时钟信号，并将生成的时钟信号输出到信号处理单元383-0至383-N中的每一个的同步单元393。
信号处理单元383-0的控制代码插入单元391将诸如开始代码、结束代码等控制代码添加到从通道分发单元365提供的分组数据。控制代码插入单元391将添加了控制代码的分组数据输出到8B10B符号编码器392。
8B10B符号编码器392对从控制代码插入单元391提供的分组数据(添加了控制代码的分组数据)执行8B10B转换，并将转换成以10位为单位的数据的分组数据输出到同步单元393。
同步单元393根据时钟生成单元382生成的时钟信号，将从8B10B符号编码器392提供的分组数据的每一位输出到发送单元394。注意，没有必要在发送单元322中提供同步单元393。在这种情况下，从8B10B符号编码器392输出的分组数据原样提供给发送单元394。
发送单元394经由形成通道0的传输路径将从同步单元393提供的分组数据发送到接收单元331。在通过使用八个通道发送数据的情况下，通过使用分别形成通道1至7的传输路径将分组数据发送到接收单元331。
[接收单元331的物理层构造]
接下来，将描述接收侧LSI 312的接收单元331的物理层构造。接收单元331包括作为物理层构造的PHY-RX状态控制单元401和信号处理单元402-0至402-N。接收单元331的物理层构造与参考图5描述的CIS-IF中的接收单元31的物理层构造相同。将适当地省略重复的描述。
信号处理单元402-0包括接收单元411、时钟生成单元412、同步单元413、符号同步单元414、10B8B符号解码器415、偏斜校正单元416和控制代码移除单元417。经由形成通道0的传输路径发送的分组数据输入到信号处理单元402-0，并且经由形成通道1的传输路径发送的分组数据输入到信号处理单元402-1。此外，经由形成通道N的传输路径发送的分组数据输入到信号处理单元402-N。
接收单元411接收指示经由形成通道0的传输路径从发送单元322发送的分组数据的信号，并将接收的信号输出到时钟生成单元412。
时钟生成单元412通过检测从接收单元411提供的信号的边沿来执行位同步，并且基于边沿检测周期生成时钟信号。时钟生成单元412将从接收单元411提供的信号和时钟信号输出到同步单元413。
同步单元413根据时钟生成单元412生成的时钟信号对接收单元411接收的信号进行采样，并将通过采样获得的分组数据输出到符号同步单元414。
例如，符号同步单元414检测包括在开始代码、结束代码和偏斜移除代码中的每一个中的符号K28.5，并执行符号同步。符号同步单元414将表示每个符号的以10位为单位的分组数据输出至10B8B符号解码器415。
10B8B符号解码器415对从符号同步单元414提供的以10位为单位的分组数据执行10B8B转换，并将转换成以8位为单位的数据的分组数据输出到偏斜校正单元416。
偏斜校正单元416从10B8B符号解码器415提供的分组数据中检测偏斜移除代码。关于偏斜校正单元416的偏斜移除代码的检测定时的信息提供给PHY-RX状态控制单元401。此外，偏斜校正单元416校正通道之间的数据偏斜，以便将偏斜移除代码的定时调整到由从PHY-RX状态控制单元401提供的信息指示的定时。
通过由信号处理单元402-1至402-N执行类似的处理，校正通道之间的数据偏斜，如参考图25所述。
偏斜校正单元416将校正了数据偏斜的分组数据输出到控制代码移除单元417。
控制代码移除单元417移除添加到分组数据的控制代码，并将开始代码到结束代码之间的数据作为分组数据输出到链路层。
例如，PHY-RX状态控制单元401控制每个信号处理单元402-0至402-N，并使每个信号处理单元校正通道之间的数据偏斜。
[接收单元331的链路层的构造]
接收单元331包括作为链路层的构造的通道集成单元422、分组分离单元423、有效载荷纠错单元424和字节解包单元425。
通过按照与发送单元322的通道分发单元365对每个通道的分发顺序相反的顺序重新排列分组数据，通道集成单元422集成从物理层的信号处理单元402-0至402-N提供的数据。通道集成单元422将通过集成获得的分组数据输出到分组分离单元423。
分组分离单元423将由通道集成单元422集成的分组数据作为有效载荷数据输出到有效载荷纠错单元424。在包括报头信息作为有效载荷数据的情况下，分组分离单元423将从有效载荷提取的报头信息输出到有效载荷数据获取单元431。
在奇偶校验插入到从分组分离单元423提供的有效载荷数据中的情况下，有效载荷纠错单元424通过基于奇偶校验执行纠错计算来检测有效载荷数据中的误差，并纠正检测到的误差。例如，在如图41所示插入奇偶校验的情况下，有效载荷纠错单元424使用插入在第一基本块末端的奇偶校验来纠正奇偶校验之前提供的224字节数据中的误差。
有效载荷纠错单元424将通过校正基本块和额外块中的每一个中的误差而获得的纠错后的数据输出到字节解包单元425。在奇偶校验没有插入到从分组分离单元423提供的有效载荷数据中的情况下，从分组分离单元423提供的有效载荷数据输出到字节解包单元425。
字节解包单元425对从有效载荷纠错单元424提供的16字节打包数据执行与发送单元322的字节打包单元362的处理相反的转换处理。字节解包单元425将通过字节解包获取的数据输出到有效载荷数据获取单元431。类似于发送单元322的有效载荷数据生成单元351的输出，字节解包单元425将一个分组的以预定位为单位的数据输出到有效载荷数据获取单元431。
此外，当有效载荷数据中包括的打包数据包括虚拟数据时，字节解包单元425移除虚拟数据，并且对虚拟数据以外的数据执行字节解包。例如，当打包数据包括虚拟数据时，基于如上所述检测120位连续虚拟数据的方法来指定虚拟数据。此外，打包数据中包括的虚拟数据的位长度由120位虚拟数据之后的8位指定。
[接收单元331的适配层的构造]
接收单元331包括有效载荷数据获取单元431，作为适配层的构造。有效载荷数据获取单元431获取从字节解包单元425提供的数据，并且以与从发送侧LSI 311中的数据输入单元342输入到有效载荷数据生成单元351的数据的位宽相同的位宽为单位将数据输出到信息处理单元332。
[发送侧LSI 311和接收侧LSI 312的操作]
接下来，将描述具有上述构造的发送侧LSI 311和接收侧LSI 312的一系列处理。
首先，将参考图42中的流程图描述传输系统301的操作。图42中的每个步骤中的处理适当地与其他处理并行地或者在其他处理之前或之后执行。
在步骤S101中，发送侧LSI 311的信息处理单元321执行各种数据处理，并以8至144位的预定位宽为单位输出要发送到发送单元322的数据。
在步骤S102中，发送单元322执行数据发送处理。根据数据发送处理，生成将发送的数据存储在有效载荷中的分组，并且该分组数据发送到接收单元331。稍后将参考图43中的流程图描述数据发送处理。
在步骤S103中，接收侧LSI 312的接收单元331执行数据接收处理。根据数据接收处理，接收从发送单元322发送的数据，并且被选择作为要由发送侧LSI 311发送的数据的数据输出到信息处理单元332。稍后将参考图44中的流程图描述数据接收处理。
在步骤S104中，信息处理单元332获取从接收单元331提供的数据。
在步骤S105中，信息处理单元332基于获取的数据执行各种处理，并终止处理。
接下来，将参考图43中的流程图描述在图42中的步骤S102中执行的数据发送处理。
在步骤S111中，有效载荷数据生成单元351通过将从数据输入单元342提供的要发送的数据划分成具有预定大小的数据来生成有效载荷数据。
在步骤S112中，字节打包单元362将从有效载荷数据生成单元351提供的有效载荷数据转换成以预定单位(例如，16字节)打包的数据。
在步骤S113中，有效载荷ECC插入单元363基于从有效载荷数据构造的基本块或额外块来计算纠错码，并将通过计算获得的奇偶校验插入到有效载荷数据中。
在步骤S114中，分组生成单元364将从有效载荷ECC插入单元363提供的数据作为分组数据输出到通道分发单元365。
在步骤S115中，通道分发单元365将从分组生成单元364提供的分组数据分配给用于数据发送的多个通道。
在步骤S116中，控制代码插入单元391将控制代码添加到从通道分发单元365提供的分组数据中。
在步骤S117中，8B10B符号编码器392对添加了控制代码的分组数据执行8B10B转换，并且输出转换成以10位为单位的数据的分组数据。
在步骤S118中，同步单元393根据时钟生成单元382生成的时钟信号输出从8B10B符号编码器392提供的分组数据，并使发送单元394发送分组数据。步骤S116至S118中的处理由信号处理单元383-0至383-N并行执行。在发送分组数据之后，过程返回图42中的步骤S102，并且执行后续处理。
接下来，将参考图44中的流程图描述在图42中的步骤S103中执行的数据接收处理。
在步骤S131中，接收单元411接收指示从发送单元322发送的分组数据的信号。步骤S131至S136中的处理由信号处理单元402-0至402-N并行执行。
在步骤S132中，时钟生成单元412通过检测从接收单元411提供的信号的边沿来执行位同步。同步单元413采样由接收单元411接收的信号，并将分组数据输出到符号同步单元414。
在步骤S133中，符号同步单元414例如通过检测分组数据中包括的控制代码来执行符号同步。
在步骤S134中，10B8B符号解码器415对已经执行了符号同步的分组数据执行10B8B转换，并且输出转换成以八位为单位的数据的分组数据。
在步骤S135中，偏斜校正单元416检测偏斜移除代码并校正通道之间的数据偏斜，以便将偏斜移除代码的定时调整到由从PHY-RX状态控制单元401提供的信息指示的定时。
在步骤S136中，控制代码移除单元417移除添加到分组数据的控制代码。
在步骤S137中，通道集成单元422集成从信号处理单元402-0至402-N提供的分组数据。
在步骤S138中，分组分离单元423将由通道集成单元422集成的分组数据作为有效载荷数据输出到有效载荷纠错单元424。
在步骤S139中，有效载荷纠错单元424基于插入到从分组分离单元423提供的有效载荷数据中的奇偶校验来校正有效载荷数据中的误差。
在步骤S140中，字节解包单元425对从有效载荷纠错单元424提供的有效载荷数据执行与字节打包相反的转换处理。字节解包单元425将获取的数据输出到有效载荷数据获取单元431。
在步骤S141中，有效载荷数据获取单元431以预定位宽为单位将从字节解包单元425提供的数据输出到信息处理单元332。此后，过程返回图42中的步骤S103，并且执行后续处理。
如上所述，通过使用通用I/F来执行发送侧LSI 311和接收侧LSI 312之间的数据传输。可以通过使用通用I/F发送各种类型的数据。
<3通信链路之间的数据偏斜>
[(1)通信链路之间的数据偏斜]
如上所述，在CIS I/F和通用I/F中，由每对单个发送单元和单个接收单元建立单个通信链路，并发送数据。
通信链路是CIS I/F中的成像单元和图像处理单元之间的数据传输路径和通用I/F中的两个信息处理单元之间的数据传输路径。由通信链路发送具有上述数据结构的数据阵列，作为数据流。
图1和33所示的传输系统包括每对发送单元和接收单元，并且通过使用单个路径发送数据。因此，传输系统是使用单个通信链路的系统。
另一方面，由于图2和34所示的传输系统包括两对发送单元和接收单元，并且通过使用两条路径发送数据，所以传输系统是使用两条通信链路的系统。这同样适用于图3和35所示的传输系统。
在下文中，在传输系统中使用一个通信链路的情况下，该通信链路被适当地称为单个通信链路。此外，在传输系统中使用多个通信链路的情况下，该通信链路称为多通信链路。
[(1-1)单个通信链路]
图45是示出单个通信链路的处理流程的实例的示图。将描述CIS I/F中的单个通信链路。然而，这同样适用于通用I/F。
如图45所示，作为单个通信链路的通信链路#0是包括发送单元22的链路层和物理层、发送单元22和接收单元31之间的传输路径以及接收单元31的物理层和链路层的路径。
根据如箭头A1所示的参考定时，数据从应用层(成像单元21)输入到发送单元22的链路层。参考定时是指示作为处理参考的定时的信号。
在发送单元22的链路层中，依次执行像素到字节转换、分组生成和通道分发，作为主要处理。
在物理层的每个通道中，依次执行控制代码的插入、8B10B转换、同步(符号同步和位同步)和数据发送，作为主要处理。在每个通道(信号处理单元83-0至83-N中的每一个)中并行执行发送单元22的物理层中的处理。注意，在发送侧不执行同步处理的情况下，按原样发送通过8B10B转换获取的数据。
相同的参考定时输入到物理层的每个通道，如箭头A2所示。在每个通道中，根据参考定时执行处理。
在物理层的每个通道中，根据要处理的数据之间的差异、信号处理单元的特性之间的差异等，生成相应通道的数据定时之间的差异。数据定时之间的差异显示为通道之间的数据偏斜，如箭头A3所示。
从物理层的每个通道输出的数据输入到接收单元31，具有通道之间的数据偏斜，如箭头A11所示。
在每个通道(信号处理单元102-0至102-N中的每一个)中并行执行接收单元31的物理层中的处理。在物理层的每个通道中，依次执行数据接收、同步、10B8B转换和偏斜移除(通道间数据偏斜的校正)，作为主要处理。
通过执行参考图25所述的数据偏斜，如箭头A12所示，获取移除了通道之间的数据偏斜的数据。移除通道之间的数据偏斜的数据从物理层的每个通道输出到链路层。
在接收单元31的链路层中，依次执行通道集成、分组分离和字节到像素转换，作为主要处理。在从每个通道输出的数据整合为一个系统中的数据之后执行链路层的处理。
要发送的数据根据箭头A13所示的预定参考定时从链路层输出到应用层(图像处理单元32)。
以这种方式，执行通过CIS I/F和通用I/F的数据发送，作为通过接收侧的物理层移除在发送侧的物理层中生成的通道之间的数据偏斜。
[(1-2)多通信链路]
图46是示出多通信链路的处理流程的实例的示图。将适当省略与参考图45的上述描述重复的描述。
图46所示的多通信链路包括通信链路#0和#1。例如，通信链路#0由图2中的每对发送单元22-1和接收单元31-1实现，通信链路#1由每对发送单元22-2和接收单元31-2实现。
在这种情况下，通信链路#0是包括发送单元22-1的链路层和物理层、发送单元22-1和接收单元31-1之间的传输路径以及接收单元31-1的物理层和链路层的路径。此外，通信链路#1是包括发送单元22-2的链路层和物理层、发送单元22-2和接收单元31-2之间的传输路径以及接收单元31-2的物理层和链路层的路径。
根据箭头A21-0和A21-1所示的相同参考定时，执行向通信链路#0中包括的发送单元22-1的链路层的数据输入和向通信链路#1中包括的发送单元22-2的链路层的数据输入。
在通信链路#0中包括的发送单元22-1的链路层和通信链路#1中包括的发送单元22-2的链路层中，独立执行上述链路层中的处理。
分发给每个通道的数据从发送单元22-1的链路层输出到物理层。类似地，分发给每个通道的数据从发送单元22-2的链路层输出到物理层。
当在相同定时输入到链路层的数据输入到物理层时，输入定时不同，如箭头A22-0和A22-1的参考定时所示。
由用于执行发送单元22-1的链路层的处理的构造和用于执行发送单元22-2的链路层的处理的构造之间的特性差异(行为时钟等的差异)等生成定时之间的差异。
在下文中，在不同通信链路的链路层中引起的数据定时之间的差异适当地称为通信链路之间的数据偏斜。通信链路之间的数据偏斜不同于通过使用如上所述的偏斜移除代码移除的通道之间的数据偏斜。
在物理层的每个通道中，依次执行控制代码的插入、8B10B转换、同步和数据发送。在相应的通道中并行执行发送单元22-1和22-2的物理层的处理。
从包括在通信链路#0中的发送单元22-1的物理层的每个通道输出的数据混合地包括在链路层中引起的通信链路之间的数据偏斜和在物理层中引起的通道之间的数据偏斜，如箭头A23-0所示。
此外，从包括在通信链路#1中的发送单元22-2的物理层的每个通道输出的数据混合地包括在链路层中引起的通信链路之间的数据偏斜和在物理层中引起的通道之间的数据偏斜，如箭头A23-1所示。
如箭头A31-0和A31-1所示，包括通信链路之间的数据偏斜和通道之间的数据偏斜的数据输入到接收单元31-1和31-2的物理层。
在通信链路#0中包括的接收单元31-1的物理层的每个通道中，依次执行数据接收、同步、10B8B转换和偏斜移除，并且可以获取在通道之间移除数据偏斜的数据，如箭头A32-0所示。
在通信链路#1中包括的接收单元31-2的物理层的每个通道中，依次执行数据接收、同步、10B8B转换和偏斜移除，并且可以获取在通道之间移除数据偏斜的数据，如箭头A32-1所示。
移除通道之间的数据偏斜的数据从物理层的每个通道输出到链路层。注意，偏斜移除只在物理层的每个通道中移除通道之间的数据偏斜，不移除通信链路之间的数据偏斜。
在通信链路#0中包括的接收单元31-1的链路层中，依次执行通道集成、分组分离和字节到像素转换。如箭头A33-0所示，通信链路之间仍存在数据偏斜的数据从链路层输出到应用层。
在通信链路#1中包括的接收单元31-2的链路层中，依次执行通道集成、分组分离和字节到像素转换。如箭头A33-1所示，通信链路之间仍存在数据偏斜的数据从链路层输出到应用层。
注意，在接收单元31-1和31-2的每个链路层中，引起通信链路之间的数据偏斜，并将其添加到要处理的数据中。
以这种方式，在通过使用多通信链路的数据传输中，不仅需要考虑通道之间的数据偏斜，还需要考虑通信链路之间的数据偏斜。在下文中，将描述如何移除通信链路之间的数据偏斜。
[(2)移除通信链路之间的数据偏斜]
图47是示出传输系统301的另一示例性构造的示图。图47中示出的与图34中示出的组件相同的组件分别用相同的附图标记表示。将适当地省略重复的描述。
图47所示的传输系统301具有的构造与图34所示的构造不同之处在于，接收状态控制单元601设置在接收侧LSI 312中。将描述通用I/F中的多通信链路。然而，这同样适用于CIS I/F。
通信链路#0由每对设置在发送侧LSI 311中的发送单元322-1和设置在接收侧LSI312中的接收单元331-1实现。此外，通信链路#1由每对设置在发送侧LSI 311中的发送单元322-2和设置在接收侧LSI 312中的接收单元331-2实现。
接收状态控制单元601基于接收单元331-1的数据接收状态和接收单元331-2的数据接收状态来检测通信链路之间的数据偏斜。
此外，接收状态控制单元601控制由接收单元331-1处理的数据的定时和由接收单元331-2处理的数据的定时，以便校正通信链路之间的数据偏斜。接收状态控制单元601用作校正通信链路之间的数据偏斜的控制单元。
[(2-1)接收侧物理层移除通信链路之间的数据偏斜的第一实例]
传输系统的示例性构造
图48是示出发送侧LSI 311和接收侧LSI 312的示例性构造的示图。
图48中示出的与图37中示出的组件相同的组件分别用相同的附图标记表示。将适当地省略重复的描述。这同样适用于稍后将描述的图51、53等。
如图48所示，接收状态控制单元601连接到接收单元331-1的PHY-RX状态控制单元401，并且连接到接收单元331-2的PHY-RX状态控制单元401。
注意，在图48中，仅PHY-RX状态控制单元401被示出为接收单元331-2的构造，并且省略了其他组件的图示。在接收单元331-2中，提供与包括PHY-RX状态控制单元401的接收单元331-1的构造相同的构造。
此外，在图48中，作为发送单元的构造，仅示出了与接收单元331-1一起实现通信链路#0的发送单元322-1。提供了与接收单元331-2一起实现通信链路#1的发送单元322-2。接收单元331-2接收从发送单元322-2发送的数据，并将该数据输出到信息处理单元332。
通过使用包括通信链路#0和#1的多通信链路，在信息处理单元321和332之间传输数据。在每个通信链路中，执行参考图37等描述的处理。
接收单元331-1的信号处理单元402-0至402-N中的每一个的偏斜校正单元416检测偏斜移除代码，并将关于检测定时的信息输出到PHY-RX状态控制单元401。此外，每个偏斜校正单元416根据PHY-RX状态控制单元401的控制来校正检测到的偏斜移除代码的定时。
如下所述，接收状态控制单元601设置校正定时，以便校正通信链路之间的数据偏斜。
接收单元331-1的PHY-RX状态控制单元401将从信号处理单元402-0至402-N中的每一个的偏斜校正单元416提供的关于偏斜移除代码的检测定时的信息输出到接收状态控制单元601。在从接收状态控制单元601提供关于校正定时的信息的情况下，PHY-RX状态控制单元401控制信号处理单元402-0至402-N中的每一个的偏斜校正单元416的操作。
接收单元331-2的每个单元执行类似于接收单元331-1的每个单元的处理。
换言之，接收单元331-2的信号处理单元402-0至402-N中的每一个的偏斜校正单元416(未示出)检测偏斜移除代码，并将关于偏斜移除代码的检测定时的信息输出到PHY-RX状态控制单元401。此外，每个偏斜校正单元416根据PHY-RX状态控制单元401的控制来校正检测到的偏斜移除代码的定时。
接收单元331-2的PHY-RX状态控制单元401将从信号处理单元402-0至402-N中的每一个的偏斜校正单元416提供的关于偏斜移除代码的检测定时的信息输出到接收状态控制单元601。在从接收状态控制单元601提供关于校正定时的信息的情况下，PHY-RX状态控制单元401控制信号处理单元402-0至402-N中的每一个的偏斜校正单元416的操作。
接收状态控制单元601接收从接收单元331-1的PHY-RX状态控制单元401提供的关于检测定时的信息和从接收单元331-2的PHY-RX状态控制单元401提供的关于检测定时的信息。
接收状态控制单元601基于在接收单元331-1的每个通道和接收单元331-2的每个通道中检测到的偏斜移除代码的定时来设置校正定时。
图49是示出校正定时的设置实例的示图。
在图49的实例中，包括通道0至3的四个通道用于通信链路#0，包括通道4至7的四个通道用于通信链路#1。在每个通道中，类似于参考图25描述的那些，发送同步代码、同步代码、...、空闲代码、偏斜移除代码、空闲代码、...空闲代码和偏斜移除代码。
在通信链路#0中，在定时t11的定时检测通道0中的偏斜移除代码C1。在定时t12的同一定时检测通道1中的偏斜移除代码C1和通道2中的偏斜移除代码C1。在定时t13的定时检测通道3中的偏斜移除代码C1。
此外，在通信链路#0中，在定时t21的定时检测通道0中的偏斜移除代码C2。在定时t22的同一定时检测通道1中的偏斜移除代码C2和通道2中的偏斜移除代码C2。在定时t23的定时检测通道3中的偏斜移除代码C2。
这种关于检测定时的信息从接收单元331-1的PHY-RX状态控制单元401提供给接收状态控制单元601。
另一方面，在通信链路#1中，分别在定时t14、t15、t16和t17检测通道4至7中的偏斜移除代码C1。
此外，在通信链路#1中，在定时t24、t25、t26和t27分别检测通道4至7中的偏斜移除代码C2。
这种关于检测定时的信息从接收单元331-2的PHY-RX状态控制单元401提供给接收状态控制单元601。
在相应通道中检测到的偏斜移除代码C1是在同一定时插入通信链路#0和#1(发送单元322-1和322-2的物理层)的彼此对应的数据。类似地，在相应通道中检测到的偏斜移除代码C2是在同一定时插入通信链路#0和#1中的彼此对应的数据。
在这种情况下，接收状态控制单元601将例如通信链路#0的通道0至3和通信链路#1的通道4至7中的检测定时中最新的定时t17的定时设置为偏斜移除代码C1的校正定时。
此外，接收状态控制单元601将例如通信链路#0的通道0至3和通信链路#1的通道4至7中的检测定时中最新的定时t27的定时设置为偏斜移除代码C2的校正定时。
接收状态控制单元601将关于以这种方式设置的校正定时的信息输出到接收单元331-1的PHY-RX状态控制单元401和接收单元331-2的PHY-RX状态控制单元401。
接收单元331-1的信号处理单元402-0至402-N中的每一个的偏斜校正单元416执行偏斜移除，以便根据PHY-RX状态控制单元401的控制将偏斜移除代码C1的定时调整到定时t17的定时。此外，执行偏斜移除，以便将偏斜移除代码C2的定时调整到定时t27的定时。通过使用在每个偏斜校正单元416中提供的FIFO来校正偏斜移除代码的定时。
另一方面，接收单元331-2的信号处理单元402-0至402-N中的每一个的偏斜校正单元416执行偏斜移除，以便根据PHY-RX状态控制单元401的控制将偏斜移除代码C1的定时调整到定时t17的定时。此外，执行偏斜移除，以便将偏斜移除代码C2的定时调整到定时t27的定时。通过使用在每个偏斜校正单元416中提供的FIFO来校正偏斜移除代码的定时。
利用该操作，如图49中由轮廓箭头指示的部分所示，通信链路#0的通道0至3中的偏斜移除代码C1的定时和通信链路#1的通道4至7中的偏斜移除代码C1的定时被校正为相同。
此外，通信链路#1的通道0至3中的偏斜移除代码C2的定时和通信链路#1的通道4至7中的偏斜移除代码C2的定时被校正为相同的。
从偏斜校正单元416输出以这种方式校正定时的偏斜移除代码。
通过该操作，通过使用作为已知信息的偏斜移除代码来校正通信链路之间的数据偏斜。此外，校正了通道之间的数据偏斜。
传输系统的操作
接下来，将参考图50中的序列图描述在物理层中校正通信链路之间的数据偏斜的情况下的一系列操作。
图50左端所示的处理是实现通信链路#0的接收单元331-1的处理。在中心示出的处理是实现通信链路#1的接收单元331-2的处理。在右端示出的处理是接收状态控制单元601的处理。
在接收单元331-1中，从发送单元322-1发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。类似地，在接收单元331-2中，从发送单元322-2发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。
在步骤S301中，接收单元331-1的信号处理单元402-0至402-N中的每一个的偏斜校正单元416检测偏斜移除代码。关于检测定时的信息提供给接收单元331-1的PHY-RX状态控制单元401。
在步骤S302中，接收单元331-1的PHY-RX状态控制单元401将从信号处理单元402-0至402-N中的每一个的偏斜校正单元416提供的关于偏斜移除代码的检测定时的信息输出到接收状态控制单元601。
另一方面，在接收单元331-2中执行类似的处理。在步骤S311中，接收单元331-2的信号处理单元402-0至402-N中的每一个的偏斜校正单元416检测偏斜移除代码。关于检测定时的信息提供给接收单元331-2的PHY-RX状态控制单元401。
在步骤S312中，接收单元331-2的PHY-RX状态控制单元401将从信号处理单元402-0至402-N中的每一个的偏斜校正单元416提供的关于偏斜移除代码的检测定时的信息输出到接收状态控制单元601。
在步骤S321中，接收状态控制单元601接收从接收单元331-1的PHY-RX状态控制单元401提供的信息。
此外，在步骤S322中，接收状态控制单元601接收从接收单元331-2的PHY-RX状态控制单元401提供的信息。
在步骤S323中，接收状态控制单元601基于在接收单元331-1的每个通道和接收单元331-2的每个通道中检测到的偏斜移除代码的定时，设置校正定时，如上所述。
在步骤S324中，接收状态控制单元601将关于校正定时的信息输出到接收单元331-1的PHY-RX状态控制单元401和接收单元331-2的PHY-RX状态控制单元401。
在步骤S303中，接收单元331-1的PHY-RX状态控制单元401接收从接收状态控制单元601提供的关于校正定时的信息。
在步骤S304中，接收单元331-1的PHY-RX状态控制单元401向信号处理单元402-0至402-N中的每一个的偏斜校正单元416输出指示校正定时的控制信号。
在步骤S305中，接收单元331-1的信号处理单元402-0至402-N中的每一个的偏斜校正单元416通过将偏斜移除代码的定时调整到校正定时来校正通信链路之间的数据偏斜和通道之间的数据偏斜，并输出校正后的数据。
另一方面，在接收单元331-2中执行类似的处理。在步骤S313中，接收单元331-2的PHY-RX状态控制单元401接收从接收状态控制单元601提供的关于校正定时的信息。
在步骤S314中，接收单元331-2的PHY-RX状态控制单元401向信号处理单元402-0至402-N中的每一个的偏斜校正单元416输出指示校正定时的控制信号。
在步骤S315中，接收单元331-2的信号处理单元402-0至402-N中的每一个的偏斜校正单元416通过将偏斜移除代码的定时调整到校正定时，来校正通信链路之间的数据偏斜和通道之间的数据偏斜，并输出校正后的数据。
在校正通信链路之间的数据偏斜和通道之间的数据偏斜的每个通道中的数据集成为链路层中的一个系统中的数据之后，对集成的数据执行每个处理。通过链路层的处理获得的数据从链路层提供给应用层。
例如，每当在多个通信链路的每个通道中检测到偏斜移除代码时，执行上述处理。
根据上述处理，可以移除接收侧物理层中的通信链路之间的数据偏斜。
假设校正定时是基于偏斜移除代码的检测定时来设置的。然而，校正定时可以基于物理层中检测到的其他数据的定时来设置。例如，可以基于在每个通道中检测到的预定符号的检测定时和诸如开始代码和结束代码等其他控制代码的检测定时来设置校正定时。
无论用于传输的通信链路的差异如何，在发送侧生成的数据结构(例如，每个分组、作为要添加到分组的已知信息的控制代码等)都是相同的。作为形成具有上述结构的数据组(数据流)的数据，只要数据设置在每个通信链路的相同位置(定时)，任何数据都可以用于设置校正定时。
注意，即使在使用CIS I/F的多通信链路的传输系统中，也根据类似的处理，在接收侧的物理层中校正通信链路之间的数据偏斜。
[(2-2)接收侧链路层移除通信链路之间的数据偏斜情况下的第二实例]
传输系统的示例性构造
图51是示出发送侧LSI 311和接收侧LSI 312的另一示例性构造的示图。
在图51的实例中，接收状态控制单元601连接到接收单元331-1的分组分离单元423，并且连接到接收单元331-2的分组分离单元423。
在图51中，仅分组分离单元423被示出为接收单元331-2的构造，并且省略了其他组件的图示。在接收单元331-2中，提供与包括分组分离单元423的接收单元331-1的构造相同的构造。
通过使用包括通信链路#0和#1的多通信链路，在信息处理单元321和332之间传输数据。
接收单元331-1的分组分离单元423从由通道集成单元422集成的数据中检测每个分组的有效载荷数据，并将关于检测定时的信息输出到接收状态控制单元601。此外，分组分离单元423校正检测到的有效载荷数据的定时，以便调整到由接收状态控制单元601设置的校正定时，并输出数据。校正有效载荷数据的输出定时。通过使用分组分离单元423中提供的FIFO来校正有效载荷数据的输出定时。
接收单元331-2的分组分离单元423执行与接收单元331-1的分组分离单元423相似的处理。
换言之，接收单元331-2的分组分离单元423从由通道集成单元422集成的数据中检测每个分组的有效载荷数据，并将关于检测定时的信息输出到接收状态控制单元601。此外，分组分离单元423校正检测到的有效载荷数据的定时，以便调整到由接收状态控制单元601设置的校正定时，并输出数据。通过使用分组分离单元423中提供的FIFO来校正有效载荷数据的输出定时。
接收状态控制单元601接收从接收单元331-1的分组分离单元423提供的关于检测定时的信息和从接收单元331-2的分组分离单元423提供的关于检测定时的信息。
接收状态控制单元601基于接收单元331-1的分组分离单元423的有效载荷数据的检测定时和接收单元331-2的分组分离单元423的有效载荷数据的检测定时来设置校正定时。
例如，分别由接收单元331-1的分组分离单元423和接收单元331-2的分组分离单元423检测的相应有效载荷数据的检测定时中的最新定时被设置为校正定时。接收状态控制单元601将关于以这种方式设置的校正定时的信息输出到接收单元331-1的分组分离单元423和接收单元331-2的分组分离单元423。
传输系统的操作
接下来，将参考图52中的序列图描述在链路层中校正通信链路之间的数据偏斜的情况下的一系列操作。
在接收单元331-1中，从发送单元322-1发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。从物理层输出的每个通道中的数据被通道集成单元422集成为一个系统中的数据，并输出到分组分离单元423。注意，由于执行物理层的处理，所以要提供给分组分离单元423的数据是校正了通道之间的数据偏斜的数据。
类似地，在接收单元331-2中，从发送单元322-2发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。从物理层输出的每个通道中的数据被通道集成单元422集成为一个系统中的数据，并输出到分组分离单元423。
在步骤S351中，接收单元331-1的分组分离单元423从由通道集成单元422集成的数据中检测每个分组的有效载荷数据。
在步骤S352中，接收单元331-1的分组分离单元423向接收状态控制单元601输出关于有效载荷数据的检测定时的信息。
另一方面，在接收单元331-2中执行类似的处理。在步骤S361中，接收单元331-2的分组分离单元423从由通道集成单元422集成的数据中检测每个分组的有效载荷数据。
在步骤S362中，接收单元331-2的分组分离单元423向接收状态控制单元601输出关于有效载荷数据的检测定时的信息。
在步骤S371中，接收状态控制单元601接收从接收单元331-1的分组分离单元423提供的信息。
此外，在步骤S372中，接收状态控制单元601接收从接收单元331-2的分组分离单元423提供的信息。
在步骤S373中，接收状态控制单元601基于在通信链路#0和#1中检测到的相应有效载荷数据的定时来设置校正定时。
在步骤S374中，接收状态控制单元601将关于校正定时的信息输出到接收单元331-1的分组分离单元423和接收单元331-2的分组分离单元423。
在步骤S353中，接收单元331-1的分组分离单元423接收从接收状态控制单元601提供的关于校正定时的信息。
在步骤S354中，接收单元331-1的分组分离单元423通过将检测到的有效载荷数据的定时调整到校正定时来校正通信链路之间的数据偏斜，并输出数据。
另一方面，在接收单元331-2中执行类似的处理。在步骤S363中，接收单元331-2的分组分离单元423接收从接收状态控制单元601提供的关于校正定时的信息。
在步骤S364中，接收单元331-2的分组分离单元423通过将检测到的有效载荷数据的定时调整到校正定时来校正通信链路之间的数据偏斜，并输出数据。
在链路层中对有效载荷数据执行其他处理，其中，校正通信链路之间的数据偏斜，并提供给应用层。
例如，每当在每个通信链路中检测到有效载荷数据时，执行上述处理。
根据上述处理，可以在接收侧链路层中移除通信链路之间的数据偏斜。
假设校正定时是基于有效载荷数据的检测定时来设置的。然而，可以基于链路层中检测到的其他数据的定时来设置校正定时。例如，在有效载荷数据包括报头信息的情况下，可以基于相应的报头信息的检测定时来设置校正定时。
可以基于有效载荷数据中包括的奇偶校验的检测定时来设置校正定时，并且可以基于形成有效载荷数据的预定打包数据的检测定时来设置校正定时。在前一种情况下，有效载荷纠错单元424校正通信链路之间的数据偏斜。此外，在后一种情况下，字节解包单元425校正通信链路之间的数据偏斜。
注意，即使在使用CIS I/F的多通信链路的传输系统中，也根据类似的处理在接收侧的链路层中校正通信链路之间的数据偏斜。
[(2-3)在接收侧的适配层移除通信链路之间的数据偏斜的情况下的第三实例]
传输系统的示例性构造
图53是示出发送侧LSI 311和接收侧LSI 312的又一示例性构造的示图。
在图53的实例中，接收状态控制单元601连接到接收单元331-1的有效载荷数据获取单元431，并且连接到接收单元331-2的有效载荷数据获取单元431。
在图53中，仅有效载荷数据获取单元431被示出为接收单元331-2的构造，并且省略了其他组件的图示。在接收单元331-2中，提供与包括有效载荷数据获取单元431的接收单元331-1的构造相同的构造。
通过使用包括通信链路#0和#1的多通信链路，在信息处理单元321和332之间传输数据。
接收单元331-1的有效载荷数据获取单元431获取从链路层的字节解包单元425提供的每个分组的有效载荷数据，并将关于获取定时的信息输出到接收状态控制单元601。此外，有效载荷数据获取单元431校正检测到的有效载荷数据的定时，以便调整到由接收状态控制单元601设置的校正定时，并输出数据。校正有效载荷数据的输出定时。通过使用有效载荷数据获取单元431中提供的FIFO来校正有效载荷数据的输出定时。
接收单元331-2的有效载荷数据获取单元431执行与接收单元331-1的有效载荷数据获取单元431类似的处理。
换言之，接收单元331-2的有效载荷数据获取单元431获取从链路层的字节解包单元425提供的每个分组的有效载荷数据，并将关于获取定时的信息输出到接收状态控制单元601。此外，有效载荷数据获取单元431校正获取的有效载荷数据的定时，以便调整到由接收状态控制单元601设置的校正定时，并输出数据。通过使用有效载荷数据获取单元431中提供的FIFO来校正有效载荷数据的输出定时。
接收状态控制单元601接收从接收单元331-1的有效载荷数据获取单元431提供的关于获取定时的信息和从接收单元331-2的有效载荷数据获取单元431提供的关于获取定时的信息。
接收状态控制单元601基于接收单元331-1的有效载荷数据获取单元431对有效载荷数据的获取定时和接收单元331-2的有效载荷数据获取单元431对有效载荷数据的获取定时来设置校正定时。
例如，接收单元331-1的有效载荷数据获取单元431和接收单元331-2的有效载荷数据获取单元431获取的相应有效载荷数据的定时中的最新定时被设置为校正定时。接收状态控制单元601将关于以这种方式设置的校正定时的信息输出到接收单元331-1的有效载荷数据获取单元431和接收单元331-2的有效载荷数据获取单元431。
传输系统的操作
接下来，将参考图54中的序列图描述在自适应层中校正通信链路之间的数据偏斜的情况下的一系列操作。
在接收单元331-1中，从发送单元322-1发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。从物理层输出的每个通道中的数据被通道集成单元422集成为一个系统中的数据，并且执行链路层中的每个处理。每个分组的有效载荷数据从链路层输出到适配层的有效载荷数据获取单元431。注意，由于执行物理层的处理，所以要提供给有效载荷数据获取单元431的数据是已经校正通道之间的数据偏斜的数据。
类似地，在接收单元331-2中，从发送单元322-2发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。从物理层输出的每个通道中的数据被通道集成单元422集成为一个系统中的数据，并且执行链路层中的每个处理。每个分组的有效载荷数据从链路层输出到适配层的有效载荷数据获取单元431。
在步骤S401中，接收单元331-1的有效载荷数据获取单元431获取从字节解包单元425提供的每个分组的有效载荷数据。
在步骤S402中，接收单元331-1的有效载荷数据获取单元431向接收状态控制单元601输出关于有效载荷数据的获取定时的信息。
另一方面，在接收单元331-2中执行类似的处理。在步骤S411中，接收单元331-2的有效载荷数据获取单元431获取从字节解包单元425提供的每个分组的有效载荷数据。
在步骤S412中，接收单元331-2的有效载荷数据获取单元431向接收状态控制单元601输出关于有效载荷数据的获取定时的信息。
在步骤S421中，接收状态控制单元601接收从接收单元331-1的有效载荷数据获取单元431提供的信息。
此外，在步骤S422中，接收状态控制单元601接收从接收单元331-2的有效载荷数据获取单元431提供的信息。
在步骤S423中，接收状态控制单元601基于由接收单元331-1的有效载荷数据获取单元431和接收单元331-2的有效载荷数据获取单元431获取的相应有效载荷数据的定时来设置校正定时。
在步骤S424中，接收状态控制单元601将关于校正定时的信息输出到接收单元331-1的有效载荷数据获取单元431和接收单元331-2的有效载荷数据获取单元431。
在步骤S403中，接收单元331-1的有效载荷数据获取单元431接收从接收状态控制单元601提供的关于校正定时的信息。
在步骤S404中，接收单元331-1的有效载荷数据获取单元431通过将获取的有效载荷数据的定时调整到校正定时来校正通信链路之间的数据偏斜，并输出数据。
另一方面，在接收单元331-2中执行类似的处理。在步骤S413中，接收单元331-2的有效载荷数据获取单元431接收从接收状态控制单元601提供的关于校正定时的信息。
在步骤S414中，接收单元331-2的有效载荷数据获取单元431通过将获取的有效载荷数据的定时调整到校正定时来校正通信链路之间的数据偏斜，并输出数据。
在应用层中，对有效载荷数据执行预定处理，其中，校正通信链路之间的数据偏斜。
例如，每当在每个通信链路中获取有效载荷数据时，执行上述处理。
根据上述处理，可以在接收侧的适配层中移除通信链路之间的数据偏斜。
注意，由于没有提供适配层的构造，在使用CIS I/F的多通信链路的传输系统中，不可能在适配层中校正通信链路之间的数据偏斜。
[(2-4)接收侧应用层移除通信链路之间的数据偏斜情况下的第四实例]
通过校正从接收侧LSI 312到另一外部处理单元的有效载荷数据的输出定时，可以在接收侧应用层中校正通信链路之间的数据偏斜。
在这种情况下，信息处理单元332的系统控制单元441基于从接收单元331-1提供的有效载荷数据的获取定时和从接收单元331-2提供的有效载荷数据的获取定时来设置校正定时。
数据输出单元442获取从接收单元331-1提供的有效载荷数据和从接收单元331-2提供的有效载荷数据。此外，数据输出单元442将获取的有效载荷数据的定时校正为由系统控制单元441设置的校正定时，并输出数据。校正有效载荷数据的输出定时。通过使用数据输出单元442中提供的FIFO来校正有效载荷数据的输出定时。
注意，在这种情况下，不需要上述接收状态控制单元601。
传输系统的操作
将参考图55中的序列图描述在应用层中校正通信链路之间的数据偏斜的情况下的一系列操作。
在接收单元331-1中，从发送单元322-1发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。从物理层输出的每个通道中的数据被通道集成单元422集成为一个系统中的数据，并且执行链路层中的每个处理。每个分组的有效载荷数据从链路层输出到适配层的有效载荷数据获取单元431。注意，由于执行物理层的处理，所以要提供给有效载荷数据获取单元431的数据是已经校正通道之间的数据偏斜的数据。
类似地，在接收单元331-2中，从发送单元322-2发送的数据由每个通道的信号处理单元接收，并且执行物理层的每个处理。从物理层输出的每个通道中的数据被通道集成单元422集成为一个系统中的数据，并且执行链路层中的每个处理。每个分组的有效载荷数据从链路层输出到适配层的有效载荷数据获取单元431。
在步骤S441中，接收单元331-1的有效载荷数据获取单元431获取从字节解包单元425提供的每个分组的有效载荷数据。
在步骤S442中，接收单元331-1的有效载荷数据获取单元431向应用层输出有效载荷数据。
另一方面，在接收单元331-2中执行类似的处理。在步骤S451中，接收单元331-2的有效载荷数据获取单元431获取从字节解包单元425提供的每个分组的有效载荷数据。
在步骤S452中，接收单元331-2的有效载荷数据获取单元431向应用层输出有效载荷数据。
在步骤S461中，信息处理单元332的数据输出单元442接收从接收单元331-1的有效载荷数据获取单元431提供的有效载荷数据。
此外，在步骤S462中，信息处理单元332的数据输出单元442接收从接收单元331-2的有效载荷数据获取单元431提供的有效载荷数据。
在步骤S463中，信息处理单元332的系统控制单元441基于相应的有效载荷数据的定时来设置校正定时。
在步骤S464中，信息处理单元332的数据输出单元442通过将获取的有效载荷数据的定时调整到校正定时来校正通信链路之间的数据偏斜，并输出数据。
例如，每当有效载荷数据从每个通信链路提供给应用层时，执行上述处理。
根据上述处理，可以在接收侧应用层中移除通信链路之间的数据偏斜。
注意，即使在使用CIS I/F的多通信链路的传输系统中，也根据类似的处理在接收侧的应用层中校正通信链路之间的数据偏斜。
[(2-5)在发送侧移除通信链路之间的数据偏斜的情况下的第五实例]
传输系统的示例性构造
图56是示出传输系统301的又一示例性构造的示图。
图56所示的传输系统301的构造与图47所示的构造不同之处在于，对应于接收状态控制单元601的发送状态控制单元611设置在发送侧LSI 311中。将描述通用I/F中的多通信链路。然而，这同样适用于CIS I/F。
图57是示出图56中的发送侧LSI 311和接收侧LSI 312的示例性构造的示图。
在图57中，仅PHY-TX状态控制单元381被示为发送单元322-2的构造，并且省略了其他组件的图示。在发送单元322-2中，提供与包括PHY-TX状态控制单元381的发送单元322-1的构造相同的构造。
此外，在图57中，作为接收侧的构造，仅示出了与发送单元322-1一起实现通信链路#0的接收单元331-1。提供了与发送单元322-2一起实现通信链路#1的接收单元331-2。接收单元331-2接收从发送单元322-2发送的数据，并将该数据输出到信息处理单元332。
如图57所示，发送状态控制单元611连接到发送单元322-1的PHY-TX状态控制单元381，并且连接到发送单元322-2的PHY-TX状态控制单元381。
发送单元322-1的PHY-TX状态控制单元381向发送状态控制单元611输出关于相对于信号处理单元383-0至383-N的控制定时的信息。例如，PHY-TX状态控制单元381输出关于预定控制代码的插入定时的信息。
此外，发送单元322-1的PHY-TX状态控制单元381控制信号处理单元383-0至383-N中的每一个的控制代码插入单元391的操作，以便根据发送状态控制单元611设置的校正定时插入控制代码。
发送单元322-1的信号处理单元383-0至383-N中的每一个的控制代码插入单元391根据PHY-TX状态控制单元381的控制来插入控制代码。
发送单元322-2的每个单元执行类似于发送单元322-1的每个单元的处理。
换言之，发送单元322-2的PHY-TX状态控制单元381向发送状态控制单元611输出关于相对于信号处理单元383-0至383-N的控制定时的信息。
此外，发送单元322-2的PHY-TX状态控制单元381控制信号处理单元383-0至383-N中的每一个的控制代码插入单元391的操作，以便根据发送状态控制单元611设置的校正定时插入控制代码。
发送单元322-2的信号处理单元383-0至383-N中的每一个的控制代码插入单元391根据PHY-TX状态控制单元381的控制来插入控制代码。
发送状态控制单元611接收从发送单元322-1的PHY-TX状态控制单元381提供的信息和从发送单元322-2的PHY-TX状态控制单元381提供的信息。
发送状态控制单元611基于发送单元322-1的PHY-TX状态控制单元381的预定控制代码的插入定时和发送单元322-2的PHY-TX状态控制单元381的预定控制代码的插入定时来设置校正定时。
例如，发送单元322-1的相应信号处理单元383-0至383-N的控制代码插入单元391的插入定时和发送单元322-2的相应信号处理单元383-0至383-N的控制代码插入单元391的插入定时中的最新定时被设置为校正定时。发送状态控制单元611将关于以这种方式设置的校正定时的信息输出到发送单元322-1的PHY-TX状态控制单元381和发送单元322-2的PHY-TX状态控制单元381。
以这种方式，发送状态控制单元611控制由发送单元322-1处理的数据的定时和由发送单元322-2处理的数据的定时，以便校正通信链路之间的数据偏斜。发送状态控制单元611用作校正通信链路之间的数据偏斜的控制单元。
传输系统的操作
接下来，将参考图58中的序列图描述在发送侧校正通信链路之间的数据偏斜的情况下的一系列操作。
图58左端所示的处理是实现通信链路#0的发送单元322-1的处理。在中心示出的处理是实现通信链路#1的发送单元322-2的处理。在右端示出的处理是发送状态控制单元611的处理。
发送单元322-1对要发送的数据执行链路层中的每个处理，并且分发给每个通道的数据输出到物理层的信号处理单元383-0至383-N。类似地，发送单元322-2对要发送的数据执行链路层中的每个处理，并且分发给每个通道的数据输出到物理层的信号处理单元383-0至383-N。
在步骤S501中，发送单元322-1的PHY-TX状态控制单元381向发送状态控制单元611输出关于预定控制代码的插入定时的信息。
另一方面，发送单元322-2执行类似的处理。在步骤S511中，发送单元322-2的PHY-TX状态控制单元381向发送状态控制单元611输出关于相应预定控制代码的插入定时的信息。
在步骤S521中，发送状态控制单元611接收从发送单元322-1的PHY-TX状态控制单元381提供的信息。
此外，在步骤S522中，发送状态控制单元611接收从发送单元322-2的PHY-TX状态控制单元381提供的信息。
在步骤S523中，发送状态控制单元611基于发送单元322-1的控制代码的插入定时和发送单元322-2的控制代码的插入定时来设置校正定时。
在步骤S524中，发送状态控制单元611将关于校正定时的信息输出到发送单元322-1的PHY-TX状态控制单元381和发送单元322-2的PHY-TX状态控制单元381。
在步骤S502中，发送单元322-1的PHY-TX状态控制单元381接收从发送状态控制单元611提供的关于校正定时的信息。
在步骤S503中，发送单元322-1的PHY-TX状态控制单元381向信号处理单元383-0至383-N中的每一个的控制代码插入单元391输出指示校正定时的控制信号。
在步骤S504中，发送单元322-1的信号处理单元383-0至383-N中的每一个的控制代码插入单元391根据控制信号指示的校正定时插入控制代码，以便校正通信链路之间的数据偏斜。
另一方面，发送单元322-2执行类似的处理。在步骤S512中，发送单元322-2的PHY-TX状态控制单元381接收从发送状态控制单元611提供的关于校正定时的信息。
在步骤S513中，发送单元322-2的PHY-TX状态控制单元381向信号处理单元383-0至383-N中的每一个的控制代码插入单元391输出指示校正定时的控制信号
在步骤S514中，发送单元322-2的信号处理单元383-0至383-N中的每一个的控制代码插入单元391根据控制信号指示的校正定时插入控制代码，以便校正通信链路之间的数据偏斜。
对校正通信链路之间的数据偏斜的每个通道中的数据执行在物理层中的其他处理之后，每个通道中的数据发送到接收单元。
根据上述处理，发送侧的物理层可以移除在发送侧的链路层中引起的通信链路之间的数据偏斜。
假设通过调整控制代码的插入定时来校正通信链路之间的数据偏斜。然而，可以通过调整物理层中其他处理的定时来校正通信链路之间的数据偏斜。例如，通过匹配在每个通道中处理的预定符号的输出定时和诸如开始代码、结束代码等其他控制代码的插入定时，可以校正通信链路之间的数据偏斜。
注意，即使在使用CIS I/F的多通信链路的传输系统中，也根据类似的处理在接收侧的物理层中校正通信链路之间的数据偏斜。
<4.变形例>
假设在接收侧的四层中的任何一层中校正通信链路之间的数据偏斜。然而，数据偏斜可以在两层或更多层中进行校正。换言之，至少在物理层、链路层、适配层或应用层中的任何一个中，可以校正通信链路之间的数据偏斜。在CIS I/F的情况下，至少在物理层、链路层或应用层的任何一个中，可以校正通信链路之间的数据偏斜。
此外，在以上描述中，在接收侧或发送侧校正通信链路之间的数据偏斜。然而，可以在接收侧和发送侧都校正通信链路之间的数据偏斜。
假设包括在多通信链路中的通信链路的数量是两个。然而，通信链路的数量可以等于或多于三个。
在上面，假设图像传感器11和DSP 12设置在同一装置中。然而，图像传感器11和DSP 12可以设置在不同的装置中。类似地，发送侧LSI 311和接收侧LSI 312可以设置在相同的装置或不同的装置中。
计算机的示例性构造
上述一系列处理可以通过硬件和软件来执行。在软件执行一系列处理的情况下，包括在软件中的程序从程序记录介质安装到包含在专用硬件中的计算机或者例如通用个人计算机。
图59是示出用于通过程序执行上述一系列处理的计算机硬件的示例性构造的框图。
中央处理器(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。
此外，输入/输出接口1005连接到总线1004。输入/输出接口1005连接到包括键盘、鼠标等的输入单元1006和包括显示器、扬声器等的输出单元1007。此外，输入/输出接口1005连接到包括硬盘、非易失性存储器等的存储单元1008、包括网络接口等的通信单元1009以及驱动可移除介质1011的驱动器1010。
在如上所述构造的计算机中，例如，CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003，并执行该程序，从而执行上述一系列处理。
由CPU 1001执行的程序提供并安装到存储单元1008，例如，通过将程序记录在可移动介质1011中，或者经由有线或无线传输介质，例如，局域网、互联网和数字广播。
注意，由计算机执行的程序可以是以定时序列方式沿着本文描述的顺序执行处理的程序以及并行或在必要的定时执行处理的程序，例如，当已经执行调用时。
本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种改变。
注意，本说明书中描述的效果仅是示例性的，并不限于此。此外，可能还有额外的效果。
<5.应用实例>
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。在这种情况下，图像传感器11设置在内窥镜的壳体中，并且DSP 12设置在处理从内窥镜发送的图像数据的图像处理装置的壳体中。
图60是示出可以应用根据本公开的技术的内窥镜手术系统5000的示例性示意性构造的示图。在图60中，示出了操作者(医生)5067通过使用内窥镜手术系统5000给病床5069上的患者5071做手术的状态。如图60所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、用于支撑内窥镜5001的支撑臂装置5027以及其上安装有用于内窥镜手术的各种装置的推车5037。
在内窥镜手术中，并未切割腹壁和打开腹部，腹壁被称为套管针5025a至5025d的多个圆柱形穿刺装置穿刺。然后，通过套管针5025a至5025d，内窥镜5001的镜筒5003和其他手术工具5017插入患者5071的体腔中。在示出的实例中，作为其他手术工具5017，气腹管5019、能量治疗仪器5021和镊子5023插入患者5071的体腔中。此外，能量治疗仪器5021是通过高频电流或超声波振动执行组织的解剖和分离、血管的密封等的治疗仪器。然而，示出的手术工具5017仅是示例性的，并且优选使用用于普通内窥镜手术的各种手术工具，例如，镊子、牵开器等，作为手术工具5017。
在显示装置5041上显示由内窥镜5001成像的患者5071体腔内的手术部位的图像。当实时观察显示装置5041上显示的手术部位的图像时，操作者5067通过使用能量治疗仪器5021和镊子5023来执行治疗，例如，去除患部等。注意，尽管未示出，但是气腹管5019、能量治疗仪器5021和镊子5023在手术期间由操作者5067、助手等支撑。
(支撑臂装置)
支撑臂装置5027包括从基部5029延伸的臂部5031。在示出的实例中，臂部5031包括接合部分5033a、5033b和5033c以及连杆5035a和5035b，并且由臂控制装置5045的控制来驱动。臂部5031支撑内窥镜5001，并控制内窥镜5001的位置和姿势。利用该装置，内窥镜5001可以稳定地固定到一个位置。
(内窥镜)
内窥镜5001包括镜筒5003和连接到镜筒5003的底端的摄像头5005，镜筒5003的具有预定长度的部分从前端插入患者5071的体腔中。在示出的实例中，示出了形成为具有刚性镜筒5003的所谓刚性内窥镜的内窥镜5001。然而，内窥镜5001可以形成为具有柔性镜筒5003的所谓柔性内窥镜。
在镜筒5003的前端，设置有开口，物镜安装在该开口中。光源装置5043连接到内窥镜5001，并且由光源装置5043生成的光由在镜筒5003中延伸的光导引导到镜筒的前端，并且通过物镜照射到患者5071的体腔中待观察的对象。注意，内窥镜5001可以是前视内窥镜、斜视内窥镜或侧视内窥镜。
光学系统和成像元件设置在摄像头5005中，并且由待观察对象反射的光(观察光)由光学系统收集到成像元件。成像元件光电转换观察光并生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为原始数据发送到相机控制单元(CCU)5039。注意，摄像头5005具有通过适当驱动摄像头5005的光学系统来调节放大率和焦距的功能。
注意，例如，为了实现立体观看(3D显示)等，可以在摄像头5005中提供多个成像元件。在这种情况下，多个中继光学系统设置在镜筒5003中，以便将观察光引导到多个成像元件中的每一个。
(安装在手推车上的各种装置)
CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并全面控制内窥镜5001和显示装置5041的操作。具体地，CCU 5039基于从摄像头5005接收的图像信号执行例如，显影处理(去马赛克处理)等各种图像处理，以显示图像。CCU 5039向显示装置5041提供图像处理后的图像信号。此外，CCU 5039向摄像头5005发送控制信号，并控制摄像头5005的驱动。控制信号可以包括关于成像条件的信息，例如，放大率和焦距。
显示装置5041根据CCU 5039的控制，基于已经由CCU 5039执行了图像处理的图像信号来显示图像。例如，在内窥镜5001与诸如4K(水平像素的数量3840×垂直像素的数量2160)或8K(水平像素的数量7680×垂直像素的数量4320)等的高分辨率成像兼容的情况下，和/或在内窥镜5001与3D显示兼容的情况下，可以将能够实现高分辨率显示和/或3D显示以应对这两种情况的显示装置用作显示装置5041。在显示装置5041与诸如4K或8K等高分辨率成像兼容的情况下，可以通过使用尺寸等于或大于55英寸的显示装置5041来获得更沉浸感。此外，根据应用，可以提供具有不同分辨率和不同尺寸的多个显示装置5041。
光源装置5043包括诸如发光二极管(LED)等的光源，并且在对手术部位成像时向内窥镜5001提供照射光。
臂控制装置5045包括例如处理器，例如，CPU，并且根据预定程序操作，以便根据预定控制方法控制支撑臂装置5027的臂部5031的驱动。
输入装置5047可以是相对于内窥镜手术系统5000的输入接口。用户可以经由输入装置5047向内窥镜手术系统5000输入各种信息和输入指令。例如，用户经由输入装置5047输入关于手术的各种信息，例如，患者的身体信息、手术方法等。此外，例如，用户经由输入装置5047输入驱动臂部5031的指令、改变通过内窥镜5001的成像条件(照射光的种类、放大率、焦距等)的指令、驱动能量治疗仪器5021的指令等。
输入装置5047的种类不受限制，并且输入装置5047可以是各种已知的输入装置。作为输入装置5047，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057和/或杠杆等。在触摸板用作输入装置5047的情况下，触摸板可以设置在显示装置5041的显示表面上。
或者，输入装置5047是用户佩戴的装置，例如，眼镜型可佩戴装置、头戴式显示器(HMD)等，并且根据这些装置检测到的用户的手势和视线来执行各种输入。此外，输入装置5047包括能够检测用户运动的相机，并且根据从相机成像的视频中检测到的用户的手势和视线来执行各种输入。此外，输入装置5047包括能够收集用户语音的麦克风，并且通过经由麦克风使用语音来执行各种输入。以这种方式，输入装置5047被构造为能够以非接触方式输入各种信息，使得属于特别干净区域的用户(例如，操作者5067)能够以非接触方式操作属于不干净区域的装置。此外，由于用户可以操作该装置，而无需从握持的手术工具中松开手，因此提高了用户的便利性。
治疗仪器控制装置5049控制能量治疗仪器5021的驱动，用于例如烧灼或解剖组织或密封血管。为了通过内窥镜5001确保操作者的视野和操作空间，气腹装置5051通过气腹管5019将气体注入体腔，以膨胀患者5071的体腔。记录器5053是能够记录关于手术的各种信息的装置。打印机5055是能够以诸如文本、图像、图形等各种格式打印关于手术的各种信息的装置。
在下文中，将更详细地描述内窥镜手术系统5000的特定特征构造。
(支撑臂装置)
支撑臂装置5027包括作为基础的基部5029和从基部5029延伸的臂部5031。在示出的实例中，臂部5031包括多个接合部分5033a、5033b和5033c以及由接合部分5033b耦合的多个连杆5035a和5035b。然而，为了易于理解，在图60中示出了臂部5031的简化构造。实际上，可以适当地设定接合部分5033a至5033c以及连杆5035a和5035b的形状、数量和设置、接合部分5033a至5033c的旋转轴方向等，使得臂部5031具有期望的自由度。例如，臂部5031可以优选地构造为具有等于或大于六个自由度的自由度。利用这种构造，由于内窥镜5001可以在臂部5031的可移动范围内自由移动，所以内窥镜5001的镜筒5003可以在期望的方向上插入到患者5071的体腔中。
致动器设置在接合部分5033a至5033c中，并且接合部分5033a至5033c可以通过驱动致动器来绕预定旋转轴旋转。通过臂控制装置5045控制致动器的驱动，控制接合部分5033a至5033c中的每一个的旋转角度，并且控制臂部5031的驱动。通过该操作，可以控制内窥镜5001的位置和姿态。此时，臂控制装置5045可以通过诸如力控制或位置控制等各种已知控制方法来控制臂部5031的驱动。
例如，操作者5067经由输入装置5047(包括脚踏开关5057)适当地执行操作输入，以便根据操作输入适当地控制臂控制装置5045对臂部5031的驱动，并且可以控制内窥镜5001的位置和姿势。利用这种控制，在设置在臂部5031前端的内窥镜5001从某个位置移动到某个位置之后，内窥镜5001可以在移动后固定地支撑在该位置。注意，臂部5031可以通过所谓的主从方法来操作。在这种情况下，臂部5031可以由用户经由设置在远离手术室的地方的输入装置5047远程控制。
此外，在施加力控制的情况下，臂控制装置5045可以执行所谓的从用户接收外力并驱动接合部分5033a至5033c中的每一个的致动器的功率辅助控制，以便根据外力平滑地移动臂部5031。利用这种控制，当用户在直接接触臂部5031的同时移动臂部5031时，臂部5031能够以较弱的力移动。因此，可以通过更简单的操作更直观地移动内窥镜5001，并且可以提高用户的便利性。
在此处，通常，在内窥镜手术中，称为内窥镜技师的医生已经支撑内窥镜5001。另一方面，通过使用支撑臂装置5027，内窥镜5001的位置可以更可靠地固定，而无需手动操作。因此，可以稳定地获取手术部位的图像，并且可以平滑地执行手术。
注意，臂控制装置5045不必设置在推车5037上。此外，臂控制装置5045不一定是单个装置。例如，臂控制装置5045可以设置在支撑臂装置5027的臂部5031的接合部分5033a至5033c中的每一个中，并且臂部5031的驱动可以通过彼此协作地操作多个臂控制装置5045来控制。
(光源装置)
光源装置5043向内窥镜5001提供用于对手术部位成像的照射光。光源装置5043包括例如LED、激光光源或由LED和激光光源的组合构造的白光光源。此时，在白色光源由RGB激光光源的组合构造的情况下，可以高精度地控制每种颜色(每种波长)的输出强度和输出定时。因此，光源装置5043可以调整捕捉图像的白平衡。此外，在这种情况下，通过以时分方式用来自每个RGB激光源的激光照射待观察对象，并且与照射定时同步地控制摄像头5005的成像元件的驱动，可以以时分方式成像分别对应于R、G和B的图像。根据该方法，可以在成像元件中不提供滤色器的情况下获取彩色图像。
此外，可以控制光源装置5043的驱动，以便在每个预定时间段改变输出光的强度。通过与光强度变化的定时同步地控制摄像头5005的成像元件的驱动，并且以时分方式获取图像，并且合成图像，可以生成具有高动态范围的图像，该图像没有所谓的喷出高光和遮挡阴影。
此外，光源装置5043可以被形成为能够提供与特殊光观察兼容的预定波长带中的光。在特殊光观察中，例如，通过在正常观察时使用身体组织的波长依赖性照射比照射光(换言之，白光)窄的带中的光来吸收光，执行所谓的窄带成像，其中，以高对比度对诸如粘膜表面层中的血管等预定组织成像。或者，在特殊光观察中，可以执行用于获取具有通过照射激发光生成的荧光的图像的荧光观察。在荧光观察中，例如，可以通过用激发光照射身体组织来观察来自身体组织的荧光(自荧光观察)，或者可以将诸如吲哚菁绿(ICG)等试剂注射到身体组织中，并且用对应于试剂的荧光波长的激发光照射身体组织，以获取荧光图像。光源装置5043可以提供与这种特殊光观察兼容的窄带光和/或激发光。
(摄像头和CCU)
参考图61，将更详细地描述内窥镜5001的摄像头5005和CCU 5039的功能。图61是图60所示的摄像头5005和CCU 5039的示例性功能构造的框图。
参考图61，作为摄像头5005的功能，摄像头5005包括镜头单元5007、成像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015。此外，作为CCU 5039的功能，CCU 5039包括通信单元5059、图像处理单元5061和控制单元5063。摄像头5005和CCU 5039通过传输线缆5065相互通信和双向连接。
首先，将描述摄像头5005的功能构造。镜头单元5007是设置在与透镜镜筒5003的连接部分的光学系统。从镜筒5003的前端获取的观察光被引导到摄像头5005，并进入镜头单元5007。镜头单元5007通过组合包括变焦透镜和聚焦透镜的多个透镜而形成。调节镜头单元5007的光学特性，以将观察光收集在成像单元5009的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜在光轴上的位置可以移动，以调节成像图像的放大率和焦点。
成像单元5009包括成像元件，并且设置在镜头单元5007的后续阶段。已经穿过镜头单元5007的观察光被收集在成像元件的光接收表面上，并且通过光电转换生成对应于观察图像的图像信号。成像单元5009生成的图像信号提供给通信单元5013。
成像单元5009中包括的成像元件例如是互补金属氧化物半导体(CMOS)型图像传感器，其具有拜耳设置并且能够执行彩色成像。注意，作为成像元件，可以使用能够处理以例如等于或大于4K的高分辨率成像图像的成像元件。通过以高分辨率获取手术部位的图像，操作者5067可以更详细地识别手术部位的状态，并且手术可以更顺利地进行。
此外，构造成像单元5009的成像元件包括每对成像元件，用于分别获取用于应对3D显示的右眼和左眼的图像信号。利用3D显示，操作者5067可以更准确地识别手术部位中活组织的深度。注意，在成像单元5009具有多板类型构造的情况下，对应于成像元件设置多个镜头单元5007。
此外，成像单元5009不必设置在摄像头5005中。例如，成像单元5009可以设置在镜筒5003中物镜的正后方。
驱动单元5011包括致动器，并且在摄像头控制单元5015的控制下，将镜头单元5007的变焦镜头和聚焦镜头沿着光轴移动预定距离。通过这种移动，可以适当地调整由成像单元5009成像的图像的放大率和焦点。
通信单元5013包括用于向/从CCU 5039发送和接收各种信息的通信装置。通信单元5013经由传输线缆5065将从成像单元5009获取的图像信号作为原始数据发送到CCU5039。此时，为了以低延迟显示手术部位的成像图像，优选地通过光通信发送图像信号。这是因为，由于操作者5067在手术时通过使用成像图像来观察患部的状态的同时执行手术，因此需要尽可能实时地显示手术部位的运动图像，以进行更安全和更可靠的手术。在执行光通信的情况下，在通信单元5013中提供将电信号转换成光信号的光电转换模块。在图像信号被光电转换模块转换成光信号之后，图像信号经由传输线缆5065发送到CCU 5039。
此外，通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。控制信号包括例如关于成像条件的信息，例如，指定成像图像的帧速率的信息、指定成像时曝光值的信息和/或指定成像图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。注意，来自CCU 5039的控制信号可以通过光通信发送。在这种情况下，将光信号转换成电信号的光电转换模块设置在通信单元5013中，并且在被光电转换模块转换成电信号之后，控制信号提供给摄像头控制单元5015。
注意，CCU 5039的控制单元5063基于获取的图像信号自动设置成像条件，例如，帧率、曝光值、放大率和焦点。即，内窥镜5001具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像头控制单元5015基于经由通信单元5013接收的来自CCU 5039的控制信号来控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定成像图像的帧率的信息和/或指定成像时曝光的信息来控制成像单元5009的成像元件的驱动。此外，例如，摄像头控制单元5015基于指定成像图像的放大率和焦点的信息，经由驱动单元5011适当地移动镜头单元5007的变焦镜头和聚焦镜头。摄像头控制单元5015还可以具有存储用于识别镜筒5003和摄像头5005的信息的功能。
注意，通过将诸如镜头单元5007、成像单元5009等部件设置在具有高气密性和防水性的密封结构中，摄像头5005可以具有耐高压灭菌性。
接下来，将描述CCU 5039的功能构造。通信单元5059包括用于向/从摄像头5005发送和接收各种信息的通信装置。通信单元5059经由传输线缆5065接收从摄像头5005发送的图像信号。此时，如上所述，图像信号可以优选地通过光通信发送。在这种情况下，为了与光通信兼容，在通信单元5059中设置将光信号转换成电信号的光电转换模块。通信单元5059将转换成电信号的图像信号提供给图像处理单元5061。
此外，通信单元5059将控制摄像头5005的驱动的控制信号发送到摄像头5005。控制信号可以通过光通信发送。
图像处理单元5061对作为从摄像头5005发送的作为原始数据的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，例如，显影处理、图像质量增强处理(带强调处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理等)和/或放大处理(电子变焦处理)等。此外，图像处理单元5061对图像信号执行检测处理，以实现SE、SF和SWB。
图像处理单元5061包括诸如CPU和GPU等处理器，并且处理器根据预定程序操作，使得可以执行图像处理和检测处理。注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分关于图像信号的信息，并且通过使用多个GPU并行执行图像处理。
控制单元5063执行关于内窥镜5001对操作部位的成像和成像图像的显示的各种控制。例如，控制单元5063生成控制信号，以控制摄像头5005的驱动。此时，在用户输入成像条件的情况下，控制单元5063基于用户的输入生成控制信号。或者，在AE功能、AF功能和AWB功能安装在内窥镜5001上的情况下，控制单元5063根据图像处理单元5061的检测处理结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。
此外，控制单元5063使得显示装置5041基于图像处理单元5061已经对其执行了图像处理的图像信号来显示手术部位的图像。在这种情况下，控制单元5063通过使用各种图像识别技术来识别手术部位的图像中的各种对象。例如，通过检测手术部位的图像中包括的对象的边缘形状、颜色等，控制单元5063可以识别手术工具，例如，镊子、特定身体部分、出血、使用能量治疗仪器5021时的薄雾等。当使显示装置5041显示手术部位的图像时，控制单元5063通过使用识别结果在手术部位的图像上叠加并显示各种手术辅助信息。叠加并显示手术辅助信息，并呈现给操作者5067，使得可以更安全和可靠地进行手术。
用于连接摄像头5005和CCU 5039的传输线缆5065是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。
在此处，在示出的实例中，已经通过使用传输线缆5065来执行有线通信。然而，摄像头5005和CCU 5039可以彼此无线通信。在摄像头5005和CCU 5039彼此无线通信的情况下，不需要在手术室中提供传输线缆5065。因此，可以解决传输线缆5065阻碍手术室中医务人员移动的状态。
上面已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的实例。注意，在此处，内窥镜手术系统5000已经被描述为实例。然而，可以应用根据本公开的技术的系统不限于该实例。例如，根据本公开的技术可以应用于用于检查的柔性内窥镜系统和显微外科系统。
[构造组合的实例]
本技术可以具有以下构造。
(1)一种接收装置，包括：
多个接收单元，被配置为执行用于接收通过使用多个通道从包括在发送装置中的多个发送单元并行发送的、具有相同数据结构的数据流的处理，作为第一层的处理，并且所述接收单元被配置为执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为第二层的处理；以及
控制单元，被配置为校正由一个所述发送单元和一个所述接收单元构成的每对所实现的各通信链路中的对应的数据的定时之间的差异。
(2)根据(1)所述的接收装置，其中，
所述多个接收单元中的每一者从所接收的所述数据流中检测已知信息，并且
所述控制单元基于每个所述接收单元对所述已知信息的检测定时来校正所述定时之间的所述差异。
(3)根据(2)所述的接收装置，其中，
所述多个接收单元中的每一者：
包括信号处理单元，所述信号处理单元并行执行与所述通道的数量一样多的所述第一层的处理，并且
包括执行所述第二层的处理的处理单元。
(4)根据(3)所述的接收装置，其中，
所述多个接收单元中的每一者通过所述信号处理单元中的每一者检测控制代码，作为所述已知信息，并且
所述控制单元通过匹配各所述信号处理单元的所述控制代码的定时来校正所述定时之间的所述差异。
(5)根据(3)或(4)所述的接收装置，其中，
所述多个接收单元中的每一者通过所述处理单元检测构成所述分组的有效载荷数据，作为所述已知信息，并且
所述控制单元通过匹配各所述处理单元的所述有效载荷数据的输出定时来校正所述定时之间的所述差异。
(6)根据(3)至(5)中任一项所述的接收装置，其中，
所述多个接收单元中的每一者：
还包括获取单元，执行用于获取有效载荷数据的处理，作为第三层的处理，其中，所述有效载荷数据构成从所述处理单元输出的所述分组，并且
由所述获取单元构成分组配置检测为已知信息的有效载荷数据，并且
所述控制单元通过将各所述获取单元的所述有效载荷数据的输出定时匹配到外部信息处理单元来校正所述定时之间的所述差异。
(7)根据(3)至(6)中任一项所述的接收装置，其中，
所述控制单元接收从所述多个接收单元输出的数据，并将接收到的所述数据的输出定时匹配到外部，以便校正所述定时之间的所述差异。
(8)一种控制方法，包括：
由多个接收单元通过并行使用多个通道来执行用于接收具有相同数据结构并且从包括在发送装置中的多个发送单元发送的数据流的处理，作为第一层的处理，并且由所述接收单元执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为第二层的处理；并且
校正由一个所述发送单元和一个所述接收单元构成的每对所实现的相应的通信链路中的对应的数据的定时之间的差异。
(9)一种促使计算机执行处理的程序，包括以下步骤：
由多个接收单元通过并行使用多个通道来执行用于接收具有相同数据结构并且从包括在发送装置中的多个发送单元发送的数据流的处理，作为第一层的处理，并且由所述接收单元执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为第二层的处理；并且
校正由一个所述发送单元和一个所述接收单元构成的每对所实现的相应的通信链路中的对应的数据的定时之间的差异。
(10)一种发送装置，包括：
多个发送单元，被配置为执行生成存储要被发送的数据的分组以及用于将所生成的所述分组分发到多个通道中的处理，作为第一层的处理，并且所述发送单元执行通过使用所述多个通道并行发送包括所分发的分组的、具有相同数据结构的数据流到包括多个接收单元的接收装置的处理，作为第二层的处理；以及
控制单元，被配置为校正由一个所述发送单元和一个所述接收单元构成的每对所实现的相应的各链路中的对应的数据的定时之间的差异。
(11)根据(10)所述的发送装置，其中，
所述多个发送单元中的每一者：
包括信号处理单元，所述信号处理单元并行执行与所述通道的数量一样多的所述第二层的处理，并且
所述控制单元通过匹配相应的所述信号处理单元将控制代码插入所述数据流的定时来校正所述定时之间的所述差异。
(12)一种控制方法，包括：
由多个发送单元执行包括以下各项的处理：生成存储了要被发送的数据的分组以及用于将所生成的所述分组分发到多个通道中的处理，作为第一层的处理，并且通过并行使用所述多个通道来执行用于将具有包括所分发的分组的相同数据结构的数据流发送到包括多个接收单元的接收装置的处理，作为第二层的处理；以及
校正由一个所述发送单元和一个所述接收单元构成的每对所实现的通信链路中的对应的数据的定时之间的差异。
(13)一种促使计算机执行处理的程序，包括以下步骤：
由多个发送单元执行包括以下各项的处理：生成存储了要被发送的数据的分组以及用于将所生成的所述分组分发到多个通道中的处理，作为第一层的处理，并且通过并行使用所述多个通道来执行用于将具有包括所分发的分组的相同数据结构的数据流发送到包括多个接收单元的接收装置的处理，作为第二层的处理；以及
校正由一个所述发送单元和一个所述接收单元构成的每对所实现的相应的通信链路中的对应的数据的定时之间的差异。
(14)一种发送和接收系统，包括：
发送装置，包括：
多个发送单元，被配置为执行包括以下各项的处理：生成存储了要被发送的数据的分组以及用于将所生成的所述分组分发到多个通道中的处理，作为第一层的处理，并且通过并行使用所述多个通道来执行用于发送具有包括所分发的分组的相同数据结构的数据流的处理，作为第二层的处理；以及
接收装置，包括：
多个接收单元，通过并行使用多个通道来执行用于从多个所述发送单元发送的数据流的处理，作为第二层的处理，并且所述接收单元执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为所述第一层的处理；以及
控制单元，校正由一个所述发送单元和一个所述接收单元构成的每对所实现的相应的通信链路中的对应的数据的定时之间的差异。
附图标记列表
1 传输系统
11 图像传感器
12 DSP
21 成像单元
22 发送单元
31 接收单元
32 图像处理单元
62 像素到字节转换器
63 有效载荷ECC插入单元
64 分组生成单元
65 通道分发单元
72 报头生成单元
83-0至83-N 信号处理单元
91 控制代码插入单元
92 8B10B符号编码器
93 同步单元
94 发送单元
102-0至102-N 信号处理单元
111 接收单元
112 时钟生成单元
113 同步单元
114 符号同步单元
115 10B8B符号解码器
116 偏斜校正单元
117 控制代码移除单元
122 通道集成单元
123 分组分离单元
124 有效载荷纠错单元
125 字节到像素转换器
132 报头纠错单元。

Claims (8)

1.一种接收装置，包括：
多个接收单元，被配置为执行用于接收通过使用多个通道从包括在发送装置中的多个发送单元并行发送的、具有相同数据结构的数据流的处理，作为第一层的处理，其中，由所述多个接收单元中的一者，由所述多个发送单元中的一者和多个通道建立多个通信链路中的每一者，并且所述接收单元被配置为执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为第二层的处理，并且所述多个接收单元中的每一者包括：多个信号处理单元，所述信号处理单元并行执行与对应的数据链路中的所述通道的数量一样多的所述第一层的处理，并且所述信号处理单元从多个通道中的每一者中所接收的每个所述数据流中检测控制代码；以及
控制单元，被配置为通过匹配来自多个通信链路中的每一者中的多个通道中的每一者的控制代码的定时来校正多个通信链路中的每一者中的多个通道中的每一者中的对应的数据控制代码的定时之间的差异，其中，校正多个通信链路中的每一者中的对应的控制数据的定时之间的差异使得多个通信链路中的每一者中的控制代码的定时与多个通道中的每一者中的控制代码的定时相同。
2.根据权利要求1所述的接收装置，其中，
所述多个接收单元中的每一者通过所述处理单元检测构成所述分组的有效载荷数据，作为已知信息，并且
所述控制单元通过匹配各所述处理单元的所述有效载荷数据的输出定时来校正所述定时之间的所述差异。
3.根据权利要求1所述的接收装置，其中，
所述多个接收单元中的每一者还包括：
获取单元，执行用于获取有效载荷数据的处理，作为第三层的处理，其中，所述有效载荷数据构成从所述处理单元输出的所述分组，并且
由所述获取单元将构成所述分组的有效载荷数据检测为已知信息，并且
所述控制单元通过匹配各所述获取单元的所述有效载荷数据到外部信息处理单元的输出定时来校正所述定时之间的所述差异。
4.根据权利要求1所述的接收装置，其中，
所述控制单元接收从所述多个接收单元输出的数据，并匹配接收到的所述数据到外部的输出定时，以便校正所述定时之间的所述差异。
5.一种控制方法，包括：
由多个接收单元通过并行使用多个通道来执行用于接收具有相同数据结构并且从包括在发送装置中的多个发送单元发送的数据流的处理，作为第一层的处理，其中，由所述多个接收单元中的一者，由所述多个发送单元中的一者和多个通道建立多个通信链路中的每一者，并且由所述接收单元执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为第二层的处理，并且所述多个接收单元中的每一者包括：多个信号处理单元，所述信号处理单元并行执行与对应的数据链路中的所述通道的数量一样多的所述第一层的处理；并且
通过匹配来自多个通信链路中的每一者中的多个通道中的每一者的控制代码的定时来校正多个通信链路中的每一者中的多个通道中的每一者中的对应的控制代码的定时之间的差异，其中，校正多个通信链路中的每一者中的对应的控制数据的定时之间的差异使得多个通信链路中的每一者中的控制代码的定时与多个通道中的每一者中的控制代码的定时相同。
6.一种发送装置，包括：
多个发送单元，被配置为执行生成存储要被发送的数据的分组以及用于将所生成的所述分组分发到多个通道中的处理，作为第一层的处理，并且所述发送单元执行通过使用所述多个通道并行发送包括所分发的分组的、具有相同数据结构的数据流到包括多个接收单元的接收装置的处理，作为第二层的处理，其中，由所述多个接收单元中的一者，由所述多个发送单元中的一者和多个通道建立多个通信链路中的每一者，并且所述多个发送单元中的每一者包括：多个信号处理单元，所述信号处理单元并行执行与对应的数据链路中的多个所述通道的数量一样多的所述第二层的处理；以及
控制单元，被配置为通过匹配将控制代码插入多个通信链路中的每一者中的多个通道中的每一者的所述数据流的定时来校正所述定时之间的差异校正多个通信链路中的每一者中的多个通道中的每一者中的对应的数据的定时之间的差异。
7.一种控制方法，包括：
由多个发送单元执行第一层的处理以及第二层的处理，所述第一层的处理是包括生成存储要被传输的数据的分组、以及将所生成的所述分组分发到多个通道中的处理，所述第二层的处理是通过使用多个所述通道将包括所分发的分组的具有相同数据结构的数据流并行发送到包括多个接收单元的接收装置的处理，其中，由所述多个接收单元中的一者，由所述多个发送单元中的一者和多个通道建立多个通信链路中的每一者，并且所述多个发送单元中的每一者包括：多个信号处理单元，所述信号处理单元并行执行与对应的数据链路中的多个所述通道的数量一样多的所述第二层的处理；以及
通过匹配将控制代码插入多个通信链路中的每一者中的多个通道中的每一者的所述数据流的定时校正多个通信链路中的每一者中的多个通道中的每一者中的对应的数据的定时之间的差异。
8.一种发送和接收系统，包括：
发送装置，包括：
多个发送单元，被配置为执行第一层的处理以及第二层的处理，所述第一层的处理是包括生成存储要被传输的数据的分组、以及将所生成的所述分组分发到多个通道中的处理，所述第二层的处理是通过使用多个所述通道将包括所分发的分组的具有相同数据结构的数据流并行发送的处理；以及
接收装置，包括：
多个接收单元，通过并行使用多个通道来执行用于从多个所述发送单元发送的数据流的处理，作为第二层的处理，并且所述接收单元执行用于将所接收的所述数据流整合为单个系统数据并且获取构成所述数据流的分组的处理，作为所述第一层的处理；以及
其中，由所述多个接收单元中的一者，由所述多个发送单元中的一者和多个通道建立多个通信链路中的每一者；以及
其中，所述多个接收单元中的每一者包括：多个信号处理单元，所述信号处理单元并行执行与对应的数据链路中的多个所述通道的数量一样多的所述第一层的处理，并且所述信号处理单元从多个通道中的每一者中所接收的每个所述数据流中检测控制代码；以及
控制单元，通过匹配来自多个通信链路中的每一者中的多个通道中的每一者的控制代码的定时来校正相应的通信链路中的对应的数据的定时之间的差异；以及
其中，校正多个通信链路中的每一者中的对应的控制数据的定时之间的差异使得多个通信链路中的每一者中的控制代码的定时与多个通道中的每一者中的控制代码的定时相同。
CN201880036459.3A 2017-06-09 2018-05-25 接收装置、发送装置、控制方法、程序及发送和接收系统 Active CN110692222B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017114382 2017-06-09
JP2017-114382 2017-06-09
PCT/JP2018/020116 WO2018225534A1 (ja) 2017-06-09 2018-05-25 受信装置、送信装置、制御方法、プログラム、および送受信システム

Publications (2)

Publication Number Publication Date
CN110692222A CN110692222A (zh) 2020-01-14
CN110692222B true CN110692222B (zh) 2022-11-22

Family

ID=64567291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036459.3A Active CN110692222B (zh) 2017-06-09 2018-05-25 接收装置、发送装置、控制方法、程序及发送和接收系统

Country Status (6)

Country Link
US (1) US11457142B2 (zh)
EP (1) EP3637716B1 (zh)
JP (1) JP7094952B2 (zh)
KR (1) KR102538713B1 (zh)
CN (1) CN110692222B (zh)
WO (1) WO2018225534A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3419005A1 (en) * 2017-06-22 2018-12-26 Gemalto Sa Computing device processing expanded data
JP7550785B2 (ja) 2019-11-20 2024-09-13 ソニーセミコンダクタソリューションズ株式会社 送信装置、および伝送システム
EP3840368B1 (en) * 2019-12-18 2022-01-26 Axis AB Method of injecting additional data
JP2022182021A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 シリアル通信装置及びシリアル通信方法
US11847077B2 (en) * 2021-12-06 2023-12-19 Himax Technologies Limited Serial peripheral interface integrated circuit and operation method thereof
CN114297110B (zh) * 2021-12-28 2024-05-14 上海集成电路装备材料产业创新中心有限公司 Mipi信号解码方法、装置及其芯片
WO2024040604A1 (zh) * 2022-08-26 2024-02-29 华为技术有限公司 一种数据传输方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3487458B2 (ja) 1995-01-27 2004-01-19 株式会社リコー 並列信号伝送装置
JP3930823B2 (ja) 2003-03-24 2007-06-13 日本電信電話株式会社 フレーム信号符号化通信方法及び符号化装置並びに符号化送信装置及び符号化受信装置
JP2005229307A (ja) * 2004-02-12 2005-08-25 Sanyo Electric Co Ltd 撮像装置、撮像装置の制御方法及び撮像装置の制御プログラム
US20090135685A1 (en) * 2005-09-06 2009-05-28 Pioneer Corporation Aberration correcting apparatus and program for correcting aberration
CN101496367B (zh) * 2005-11-04 2012-04-04 Nxp股份有限公司 串行互联多通道的对齐和纠偏的方法及发送器
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
CN103299586B (zh) * 2007-07-05 2016-01-20 日本电信电话株式会社 信号块串处理方法以及信号块串处理装置
JP2012005622A (ja) * 2010-06-24 2012-01-12 Fujifilm Corp 光音響画像化装置及び方法
JP2012039523A (ja) 2010-08-10 2012-02-23 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
JP2012103772A (ja) * 2010-11-08 2012-05-31 Renesas Electronics Corp プロセッサおよびそれを用いた画像処理システム
US8970750B2 (en) 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
WO2012127575A1 (ja) * 2011-03-18 2012-09-27 富士通株式会社 伝送遅延差補正方法，通信装置および通信システム
EP2876836B1 (en) * 2012-07-20 2017-10-04 Fujitsu Limited Transmission device
TWI686085B (zh) 2012-11-29 2020-02-21 日商索尼半導體解決方案公司 攝像裝置及圖像感測器之資料傳送方法、資訊處理裝置及資訊處理方法以及程式
KR102023940B1 (ko) * 2012-12-27 2019-11-04 엘지디스플레이 주식회사 표시장치용 구동회로 및 이의 구동방법
JP6253272B2 (ja) * 2013-06-18 2017-12-27 キヤノン株式会社 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体
KR102166908B1 (ko) 2014-02-13 2020-10-19 삼성전자주식회사 고속 데이터 인터페이스 장치 및 상기 장치의 스큐 보정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种红外图像采集与校正系统的设计与实现;牟新刚等;《激光与红外》;20080820(第08期);全文 *

Also Published As

Publication number Publication date
KR20200016205A (ko) 2020-02-14
EP3637716A4 (en) 2020-05-06
EP3637716B1 (en) 2023-08-30
KR102538713B1 (ko) 2023-06-01
US20210360151A1 (en) 2021-11-18
EP3637716A1 (en) 2020-04-15
JPWO2018225534A1 (ja) 2020-04-09
CN110692222A (zh) 2020-01-14
WO2018225534A1 (ja) 2018-12-13
JP7094952B2 (ja) 2022-07-04
US11457142B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110692222B (zh) 接收装置、发送装置、控制方法、程序及发送和接收系统
CN110710177B (zh) 发送装置、接收装置、控制方法、程序以及发送/接收系统
EP4024796A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
US20240348266A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
US11896195B2 (en) Distributed image processing system in operating theater
US10924724B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system
EP4175183A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
US11969154B2 (en) Imaging system and endoscopic device
US11558673B2 (en) Transmission device, reception device, transmission system, and transmission method
JP2021193762A (ja) 受信装置、および受信方法、並びに、画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant