CN110719417B - 一种控制数据的系统、接收器和发射器 - Google Patents
一种控制数据的系统、接收器和发射器 Download PDFInfo
- Publication number
- CN110719417B CN110719417B CN201910626953.1A CN201910626953A CN110719417B CN 110719417 B CN110719417 B CN 110719417B CN 201910626953 A CN201910626953 A CN 201910626953A CN 110719417 B CN110719417 B CN 110719417B
- Authority
- CN
- China
- Prior art keywords
- video
- transmitter
- receiver
- time slots
- control data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims description 225
- 238000011144 upstream manufacturing Methods 0.000 claims description 83
- 238000012937 correction Methods 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 21
- 238000010168 coupling process Methods 0.000 description 46
- 238000005859 coupling reaction Methods 0.000 description 46
- 238000012545 processing Methods 0.000 description 40
- 230000015654 memory Effects 0.000 description 39
- 230000008878 coupling Effects 0.000 description 31
- 239000003990 capacitor Substances 0.000 description 30
- 239000004020 conductor Substances 0.000 description 26
- 230000000694 effects Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 239000000872 buffer Substances 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 11
- 230000006854 communication Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 229910052770 Uranium Inorganic materials 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 229920005994 diacetyl cellulose Polymers 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 229910052720 vanadium Inorganic materials 0.000 description 2
- 229910052777 Praseodymium Inorganic materials 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical group [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910052745 lead Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/10—Adaptations for transmission by electrical cable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C15/00—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
- G08C15/06—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path successively, i.e. using time division
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/003—Arrangements for allocating sub-channels of the transmission path
- H04L5/0053—Allocation of signalling, i.e. of overhead other than pilot signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/003—Arrangements for allocating sub-channels of the transmission path
- H04L5/0078—Timing of allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/10—Adaptations for transmission by electrical cable
- H04N7/102—Circuits therefor, e.g. noise reducers, equalisers, amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/10—Adaptations for transmission by electrical cable
- H04N7/108—Adaptations for transmission by electrical cable the cable being constituted by a pair of wires
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本公开涉及用于机动车应用的高清晰度模拟视频和控制链路。本文公开用于通过HD有线AC‑耦合的视频和控制链路通信视频信号和控制数据的系统和方法。在一个方面,示例系统包括调度器,该调度器被配置为在这样的链路上分配用于在发射器和接收器之间交换数据的时隙。对于由摄像机获取的视频信号的视频帧的至少一个或多个视频线中的每一个,调度器被配置为分配多个时隙用于将所述视频线的多个视频分量从发射器发送到接收器,分配一个或多个时隙用于将发射器控制数据从发射器发送到接收器,并且分配一个或多个时隙用于将接收器控制数据从接收器发送到发射器。
Description
相关申请的交叉引用
本申请要求2018年7月13日提交的题为“通过AC-耦合的信道的视频传输”的美国临时专利申请序列号62/697,664的权益和优先权,该申请通过引用整体并入本文。
技术领域
本公开涉及视频信号传输领域,尤其涉及交流(AC)耦合信道上的模拟视频信号传输。
背景技术
依赖于实时视频信息采集的基于视频的应用,例如汽车信息娱乐系统、汽车驾驶辅助系统(ADAS)、自动驾驶车辆和安全监控系统,通常涉及通过一个或多个摄像机捕获和生成视频数据。这样的相机可以包括例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器,或者广义地说将入射在其上的光子转换成数字(原始或像素)视频数据的任何其他合适的视频捕获设备。在这些应用中,视频数据通常必须从摄像机实时传输到其他设备进行处理。这些设备可以包括例如通信或警报系统中的电子控制单元(ECU)或分量。例如,这样的设备可以执行专用软件以基于所获取的图像和/或视频数据执行处理和分析任务,并相应地提供输出。能够在相机和视频数据接收设备/处理器之间传输数据的传输基础设施层的组合可以被称为“视频链路”或“相机链路”。
各种因素都会影响视频链路的成本、质量和稳健性。诸如空间/表面区域以及法规之类的物理限制可能对视频链路要求或规范造成进一步的限制,因此必须进行权衡和独创性。
发明内容
本公开的系统、方法和设备各自具有若干创新方面,其中没有一个单独地负责本文公开的所有期望属性。在下面的描述和附图中阐述了本说明书中描述的主题的一个或多个实施方式的细节。
本文公开了用于通过有线AC-耦合的视频和控制链路传送视频信号和控制数据的系统和方法。这样的系统和方法可以特别适合于但不限于用于车辆中(其中术语“车辆”不仅包括轮式车辆,例如汽车、卡车或公共汽车,还包括例如飞机、飞机或航天器)、监视系统中、或者任何其他发射器(放置在这样的环境中的一个位置(例如,在车辆内)并且被配置为接收由通信地耦合到发射器的相机获取的视频信号)和接收器(放置在这种环境中的另一个位置可能需要通过有线链路彼此传送视频信号和其他数据)的环境中。此外,虽然本公开主要描述视频链路和视频信号,但是本公开的实施方案可应用于除视频信号之外的信号类型,诸如音频,图像或其任何组合,其可以通过AC-耦合的模拟传输信道传输,如本文所公开的。
在本公开的一个方面,提供了一种用于通过有线模拟传输链路传送视频信号和控制数据的示例系统。该系统包括调度器,该调度器被配置为通过有线模拟传输链路分配用于在发射器和接收器之间交换数据的时隙。具体地,调度器被配置为,对于由相机中的图像传感器获取的视频信号的视频帧的至少一个或多个视频线中的每一个(例如,对于多个视频线,例如,对于每个视频线),通过有线模拟传输链路分配多个时隙用于从发射器向接收器发射所述视频线的多个视频分量,通过相同的有线模拟传输链路、发射器控制数据(即,由发射器发送的数据,在此也称为“下游”数据,该数据是指示由相机获取的有效像素值的视频分量以外的数据)分配一个或多个时隙用于从发射器发射到接收器,并且通过相同的有线模拟传输链路、接收器控制数据(即,由接收器发送的数据,在此也称为“上游”数据)分配一个或多个时隙用于从接收器发送到发射器。这种实现有利地允许通过单个有线传输链路传输所有不同的视频分量,而没有这些分量之间的干扰或串扰。此外,这种实现有利地不仅能够提供下游数据,而且还能够提供上游数据,这允许例如接收器或通信地耦合到接收器的另一设备(重新) 配置发射器或通信地耦合到发射器的另一设备,例如(重新)配置相机。此外,如本文所述调度时隙有利地允许通过单个有线链路发送视频信号和上游和下游控制数据,因此该链路可以称为“视频和控制”链路。在本公开的各个方面,这种链路可以是高清(HD)链路。
本公开的其他方面提供了用于操作这种系统的方法,以及存储指令的计算机可读存储介质,所述指令在由硬件处理器执行时使处理器执行实现时隙的方法,以通过AC-耦合的视频和控制链路在发射器和接收器之间交换视频信号以及下游和上游控制数据。
如本领域技术人员将理解的,本公开的各方面,在本文提出的HD、 AC-耦合的视频和控制链路的特定方面,可以以各种方式实现-例如,作为方法、系统、计算机程序产品或计算机可读存储介质。因此,本公开的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)的形式或者组合软件和硬件方面的实施方案,所述软件和硬件方面通常在这里都可以被称为“电路”、“模块”或“系统”。本发明中描述的功能可实施为由一个或一个以上硬件处理单元(例如,一个或多个计算机的一个或多个微处理器)执行的算法。在各种实施方案中,本文描述的每个方法的步骤的不同步骤和部分可以由不同的处理单元执行。此外,本公开的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,优选地是非暂时性的,具有在其上体现(例如,存储) 的计算机可读程序代码。在各种实施方案中,这样的计算机程序可以例如下载(更新)到现有设备和系统(例如,到现有的模拟传输系统,特别是 -使用AC-耦合的模拟视频传输系统,包括发射器、接收器和/或其控制器等)或在制造这些装置和系统时存储。
附图说明
为了更完整地理解本公开及其特征和优点,结合附图参考以下描述,其中相同的附图标记表示相同的部分,其中:
图1示出了根据本公开的一些实施方案的单端传输方案中的AC-耦合的电路的示意性示例;
图2示出了根据本公开的一些实施方案的差分传输方案中的AC-耦合的电路的示意性示例;
图3是在理想传输期间视频信号的示意图,其中信号不受信号幅度增益(SAG)影响;
图4是在AC-耦合的系统上传输期间表现出SAG效应的视频信号的示意图。
图5是根据本公开的一些实施方案的在视频线内分配时隙以在发射器和接收器之间交换视频信号和控制数据的方法的流程图;
图6是根据本公开的一些实施方案的用于YUV和RGB颜色空间的时隙的示例序列的示意图。
图7是根据本公开的一些实施方案的用于具有多个单独控制数据时隙的视频线的示例时隙序列的示意图。
图8是根据本公开的一些实施方案的视频系统中的控制数据流的示意图。
图9提供了示出根据本公开的一些实施方案的示例视频系统的框图;
图10提供了示出根据本公开的一些实施方案的示例数据处理系统的框图;
图11提供了示出根据本公开的一些实施方案的编码器/发射器的框图;
图12提供了示出根据本公开的一些实施方案的解码器/接收器的框图;和
图13提供了示出根据本公开的一些实施方案的两个示例视频系统架构的框图。
具体实施方式
以下详细描述呈现了特定某些实施方案的各种描述。然而,这里描述的创新可以以多种不同的方式体现,例如,如权利要求或选择的示例所定义和覆盖的。在以下描述中,参考附图,其中相同的附图标记可以表示相同或功能相似的元件。应该理解,附图中示出的元件不一定按比例绘制。此外,应当理解,某些实施方案可以包括比图中所示的元件更多的元件和 /或图中所示的元件的子集。此外,一些实施方案可以结合来自两个或更多个附图的特征的任何合适组合。
根据以下描述和权利要求,本公开的其他特征和优点将显而易见。
模拟与数字视频传输
在需要在系统元件之间传输视频数据的系统中(例如,在图像传感器和在距图像传感器一定距离处实现的处理器之间),例如环绕视图ADAS 或(安全)监视系统,相机获取的视频数据可以以数字形式传输,例如,作为串行化数字比特流,其可以是例如由图像传感器获取的RAW数据或以某种处理形式,例如由图像系统处理器(ISP)产生的YUV数据对RAW图像传感器数据执行去镶嵌。或者,可以在发送之前将相机获取的视频数据转换并格式化为模拟信号,然后以模拟形式发送。
与数字传输相比,模拟视频信号传输可能是有利的。数字传输的串行化特性导致数字传输需要比模拟传输更高的带宽。为了满足更高的带宽要求,需要更昂贵的基础设施。而且,虽然在数字传输中保持比特精度并且可能在模拟传输中受到损害,但是在数字传输中发生的错误的影响可能比在输出视频质量方面在模拟传输中发生的那些影响更大。因此,将原始数字视频数据作为模拟信号发送提供了优于数字信号传输的若干优点。基于模拟传输的系统可以提供降低的成本和更稳健的传输。因此,虽然图像传感器通常将输出数字视频数据,但是这可以被转换为模拟信号,以通过模拟视频链路传输到接收器以进行进一步处理。
AC-耦合与DC-耦合模拟传输
在通过有线传输线实现模拟信号传输时,可以在AC和DC-耦合的(后者也称为“导电耦合”)之间进行选择。
AC-耦合需要使用至少一个耦合电容器,与不需要这种电容器的DC- 耦合相比,这是一个额外的元件。发射器和接收器之间的AC-耦合的有线传输线通常包括第一耦合电容器和第二耦合电容器,第一耦合电容器放置在发射器之后并且在传输信道之前,第二耦合电容器放置在传输信道之后且在接收器之前。这里使用的术语“耦合电容器”可以指一个或多个耦合电容器。相反,在DC-耦合中,仅使用电阻器或简单的导线,并且不使用耦合电容器,因此,由于其更简单的实现和更低的成本和空间要求,DC-耦合通常是有利的。
此外,耦合电容器与两端的终端电阻器以及有线传输电缆的阻抗一起可以充当高通滤波器,因此可以衰减模拟信号的低频分量的传输。这与视频信号的传输有关,因为这种信号的频谱通常包括DC电平和低频元件,这些元件易受这种高通滤波的影响,导致图像信息的丢失或失真。因此,期望视频信号可以保持到非常低的频率并且一直保持到DC电平分量。这意味着用于AC-耦合的耦合电容器可能需要非常大,以便最小化由接收器终端形成的高通滤波器的截止频率。AC-耦合的一些实现可能需要大约220 微法(uF)的电容以保留那些较低频率的分量。因此,由于过大的电容器尺寸要求,AC-耦合的可能被认为是不合需要的选择。
然而,AC-耦合的在某些应用中可能是有利的,因为它提供了对某些故障条件的改进的容差。例如,在汽车/车辆应用中就是这种情况,其中降低电池短路(STB)故障期间损坏的风险可能是AC-耦合的视频链路的动机,因为,由于它们阻止直流电压电平,所以AC-耦合的链路本质上可以抵抗STB故障。另一方面,由于要求对STB故障条件具有鲁棒性,发射器输出缓冲器与传输介质的DC-耦合的可能是具有挑战性的,这可能要求发射器设备采用高压半导体工艺技术设计和制造,这种技术通常比标准 (低压)半导体工艺技术更昂贵。因此,以AC-耦合的模拟信号格式传输视频信号可以是成本有效且鲁棒的传输选项,特别是在汽车应用中。
单端与差分对AC-耦合的模拟传输
可以根据单端或差分对传输方案来实现用于传输视频数据的AC-耦合的传输线。在一些实施方案中,差分对视频传输可能是特别有利的,因为与单端视频传输相比,其可受益于对噪声的更强抗扰性。
在AC-耦合的传输线的单端实现中,相应的耦合电容器可以放置在单端传输线的两侧中的每一侧,即,在线路的发射器和导体电缆之间有一个耦合电容器,在该导体电缆和接收器之间有另一个耦合电容器。在AC-耦合的传输线的差分实现中,相应的一对耦合电容器可以放置在差分对传输线的两侧中的每一侧,即,在线路的发射器和导体电缆之间的一对耦合电容器,以及在该导体电缆和接收器之间的另一对耦合电容器。在各种实施方案中,导体电缆(或简称“电缆”)可以以任何合适的布线方案实现,例如,作为单个导体(即,导体线)、作为同轴电缆、或作为双导体(诸如非屏蔽双绞线(UTP)或STP(屏蔽双绞线)),这取决于所使用的传输方案(即,取决于传输方案是单端还是差分)。在一些实施方案中,在一个屏蔽束内,视频传输信道的电缆可包括RCA型电缆或同轴电缆(其包括至少部分地包围在导电材料的屏蔽内的信号线),或未屏蔽的AVSS、 CIVUS或类似的信号线。
图1和2分别示出单端和差分对传输信道的示意例子。
在图1所示的AC-耦合的传输方案100中,可以包括模拟格式视频信号的信号通过单个导体电缆108传输,该单个导体电缆108可以被视为传输信道108。在一些实施方案中,导体电缆108可包括简单的导线。在一些实施方案中,导体电缆108可以包括同轴电缆,该同轴电缆包括芯导电线和导电屏蔽,芯线承载视频信号并且屏蔽接地。由于传输方案100是单端信令传输方案,因此只有第一线在发射器和接收器之间承载变化的电压,而第二线导体(图1中未示出)可以连接到并承载参考电压信号(例如由图1中所示的地面参考114提供的)。如图1所示,导体电缆108连接发射器102和接收器116。在该方案中,一个或多个耦合电容器106a、106b 可以连接在发射器102和接收器116之间。具体地,一个或多个耦合电容器106a可以连接在发射器102和导体电缆108之间,并且一个或多个耦合电容器106b可以连接在导体电缆108和接收器116之间。发射器102可以呈现总电阻104,而接收器116可以呈现总电阻112,其与发射器102串联连接。
或者,在图2所示的AC-耦合的传输方案200中,可以包括模拟格式视频信号的信号通过差分对导体电缆208传输,差分对导体电缆208可以被视为传输信道208。在一些实施方案中,导体电缆208可包括UTP或STP 电缆。虽然单端实现由于其更简单的实现和更低的成本而是有利的,但差分对信令传输方案可以有利地提供对外部电磁干扰(EMI)的抵抗并且减少由链路产生的电磁发射的量。这是因为可以选择差分线对的两个单独信号/线的特性,以便提供共模干扰信号的消除。如图2所示,可以在差分对方案的两条线中呈现电阻204a和204b(串联连接到发射器202)的发射器 202经由一对耦合电容器206a、206b连接到导体电缆208。类似地,接收器216经由电阻212(与接收器216并联连接)和一对耦合电容器206c、206d耦合到导体电缆208。
AC-耦合的不良影响
如图1和2所示,发射器和接收器都可以AC-耦合的到导体电缆或导线(术语电线和电缆可以在本文中互换使用)。虽然AC-耦合的(无论是在单端还是差分对实现中)可以提供显着的鲁棒性、风险和成本效益,特别是在发射器侧,但是它也可能在模拟视频数据的传输中提出重大挑战。
如上面简要描述的,挑战的一个来源是由于存在用于AC-耦合的耦合电容器,因为这种电容器形成高通滤波器,在导体电缆的任一端具有终端电阻器。例如,在具有1uF耦合电容的50欧姆系统中,高通响应的截止频率可能约为3千赫兹(kHz),这意味着频率低于3kHz的信号分量不能通过耦合电容传输。增加耦合电容器的尺寸可以稍微降低截止频率,但是由于例如成本和空间考虑(例如,耦合电容器的最大尺寸可能受到可用电路板空间的限制),这并不总是可行或可行的。
不能传递低于特定频率的信号分量对于视频信号特别成问题,其频谱内容通常包括低频和DC电平分量,这可能源于视频数据通常被格式化的方式。尽管在本领域中是众所周知的,但是下面提供了视频数据的示例格式的简要说明。
在典型的相机中,通过过滤击中每个光点(或像素)的光来产生颜色,以产生红色、绿色或蓝色值。最常使用的照片的不同颜色(即,颜色图案) 的布置是所谓的“拜耳图案”。对于不同颜色的像素,由相机(其中视频是图像序列)获取的单个图像的RAW数据表示每个像素的值。换句话说,对于单个图像,RAW数据可包括所有红色像素的像素值(即,配置成过滤入射光以检测与红色相关的光谱中的波长的像素)、所有绿色像素的像素值(即,配置为过滤入射光以检测与绿色相关的光谱中的波长的像素)、以及所有蓝色像素的像素值(即,被配置为过滤入射光以检测与蓝色相关的光谱中的波长的像素)。每个像素的特征尤其可以在于强度或幅度,并且由用于表示针对特定分量在特定像素中获取/存储的信号的幅度的多个比特(例如,10比特)表示。
可以处理RAW数据以形成然后在视频信号中发送的分量。例如,红色、绿色和蓝色值或这些值的某些处理版本是获取图像的不同分量的一个示例,一起被称为“RGB”颜色空间。RAW数据可以被内插,称为去镶嵌的过程,然后由ISP转换到其他类型的颜色空间,例如,在“YUV”颜色空间中,其中Y是带有光信息强度的亮度分量,U和V是带有颜色信息的色度分量。视频帧可以由一个或多个分量的各个像素的矩阵组成。在一些实施方案中,可以通过不同的信道发送不同的分量。除非另有说明,否则这里提供的描述可以指代某个分量的像素值或分量的组合。
视频帧的像素值(像素值或像素有时被称为“有源像素”以指示它们包含表示由相机获取的视频帧的值)可以被分组为水平线,并且这些水平线可以垂直分组或堆叠,以形成视频帧。通过扫描线构建扫描线,通过在视频链路上发送由适当的分量值(例如,RGB或YUV值)表示的像素值。然而,仅具有分量流(例如,RGB颜色流)不足以知道流的哪个部分属于显示器上的特定像素(例如,左上像素)。为了解决这个问题,另外两个信号被加到包含要发送的有效像素值的视频信号中-一个是包含水平同步 (“水平同步”)脉冲的信号,另一个是包含垂直同步(“水平同步”)脉冲的信号。水平同步脉冲为不同的视频线提供参考(即,它提供线起点的指示),而垂直同步脉冲为不同的视频帧提供参考(即,它提供帧起始点的指示)。水平同步脉冲(或简称为“水平同步”)可以是在具有给定水平线的像素值的流开始之前或/和当水平线完成时插入到视频信号中的脉冲(但通常在水平线开始之前插入)。在两个连续的水平同步脉冲之间,包括用于该行的有效像素数据(即,表示视频帧的行的像素值)。垂直同步脉冲(或简称为“垂直同步”,有时也称为“垂直回扫”)可以是当给定视频帧的所有水平线已经完成时和/或当新视频帧的水平线开始之前时的插入到视频信号中的脉冲或脉冲序列。因此,每个帧边界可以由单个垂直同步脉冲或脉冲序列划分。由于帧的每一行具有相同数量的像素,因此连续水平同步脉冲之间的时间是常数。由于每个完整帧(即,具有其所有行的帧)具有相同数量的像素,因此连续垂直同步脉冲之间的时间是常数。以这种方式,水平和垂直同步脉冲允许确定视频信号的哪个颜色分量属于要在屏幕上显示的位置。所有常见的模拟视频传输方案都模仿帧中像素的这种组织,并分别用水平同步和垂直同步脉冲标记行开始和帧开始时间。
图3示出了模拟(视频)信号的简化示例,示出了水平同步脉冲300 如何被包括在要发送的视频信号中。如图3所示,在每两个连续的水平同步脉冲300之间,可以包括有源像素数据,在图3中标记为视频线302和 304(即,携带视频数据的线)。脉冲300被称为水平同步脉冲,因为它们指示将被渲染为水平像素线的有效像素值的起始点。垂直同步线(在该示例中未示出)指示新视频帧的开始(其中多个后续水平像素(数据)线将共享共同的垂直起始点)。通常但非必要地,水平同步脉冲占据信号范围的最低部分。紧接在水平同步脉冲之前的平坦部分被称为“前沿”,紧接在水平同步脉冲之后的水平部分被称为“后沿”,这些部分被设置为某些预定信号电平(例如,两者都可以设置为零电压电平)然后可以用于识别水平同步脉冲。
图3的示例示出了理想的传输场景,其中水平同步脉冲保持其原始电平。然而,当这些(电)脉冲通过AC-耦合的信道传输时,它们的平坦度或电平可能恶化(即,它们在整个指定持续时间内的恒定幅度将不会保持并且将恶化),因为耦合电容会延迟电荷的通过,从而导致图形上看起来像水平脉冲的下垂或下垂(即,直线变得弯曲)。通过使用耦合电容器引起的这种不期望的效果通常被称为信号幅度增益(SAG)效应(或简称为“SAG”或“下垂”)。SAG效应可以表征为视频信号电平在其水平(即,DC 电平)分量上的逐渐增加或减小,其方式取决于其幅度。当水平脉冲为低值时,SAG将导致脉冲的幅度逐渐增加。当水平脉冲为高值时,SAG将导致脉冲的幅度逐渐减小。虽然水平脉冲的第一个值可以保持不受影响,但是随后的点在脉冲低时逐渐增加或在脉冲高时逐渐减小。该效果在图4 中示出,其中水平同步脉冲400的电平相对于指示预期平坦电平的参考线 406显示下垂或下垂(因此,术语“下垂”和“SAG效应”)。如在图4中可以看到的,有源像素的值可以表现出相同的行为。
SAG效应源于以下事实:用于AC-耦合的耦合电容器与终端电阻一起有效地充当高通滤波器,允许高频分量通过,同时改变较低频率分量的幅度。效应的大小取决于一个或多个耦合电容器的总串联电容,以及所采用的终端阻抗的值。这自然会影响所传输的低频信号的质量,并且对视频信号特别有害,视频信号被格式化为具有DC分量,并且可能显着影响所渲染/显示的输出的质量和保真度。
SAG效应还可以显着影响视频信号中包括的定时数据,特别是它可以例如移动水平同步信号的前沿和后沿的DC电平,用于提取指示不同水平视频线的开始和结束的定时信息。因此,通常,对接收的视频信号执行DC 偏移校正,以尝试恢复被损害的DC内容。传统的DC偏移校正包括钳位方案,其中接收视频信号的DC电平在视频线的同步脉冲(即同步提示)、前沿或后沿区域的多个连续数字样本(例如8、16或32个样本)上累加或平均,然后将该计算的平均值与某个预定目标值进行比较。然后将计算的平均值与预定目标之间的差值用作钳位偏移信号,并通过该钳位偏移量调整下一视频线,从而实现DC偏移校正。这种用于AC-耦合的视频信号的DC偏移校正的传统实现的一个缺点是接收器侧上的测量中的任何误差都可能导致钳位偏移值中的显着的线到线未校正偏移。而且,夹具调节的钻头深度和因此精度通常是有限的。结果,传统的DC偏移校正方案仍然可能导致在最终输出视频中不期望地出现可见图案,其中所得图像的亮度稍微变化但是逐行变化。当在低环境光下观看时,这在具有均匀颜色的图片区域尤其明显,这通常是车辆内显示器的观看环境。
现有模拟视频传输方案的局限性
除了上面描述的与SAG效应相关的重大挑战之外,已知的视频传输链路还具有若干其他限制。
由于它们选择的传输格式,已知的模拟视频传输链路通常受限于它们可以携带的视频信号的类型,并且例如不能从图像传感器编码/传输完整的 RAW型视频数据。
另外,与常规定义的国家电视系统委员会(NTSC)模拟电视系统一样,已知的方案仍然保留一些传输质量限制并且在传输的数据中引起假象。例如,在NTSC和基于其的已知模拟视频传输链路中,颜色信号被调制到载波信号上,这导致光谱与彼此和/或与亮度信号的干扰/串扰重叠,这限制了接收的彩色信号的分辨率和质量。
高质量视频数据再现是ADAS等应用的关键因素,ADAS需要准确的图像识别和分析,以确保系统采取正确的行动和/或做出正确的决策。在传输期间数据被破坏和/或如果由于传输方案的限制而导致图像质量下降可能导致图像识别不良,这可能导致错过事件和/或错误警报。
此外,虽然数字传输方案不易受SAG影响,也不易受上述串扰问题的影响,但由于需要高带宽,因此高质量的电缆和连接器基础设施在某些部署方案中(例如在车辆和监视系统中)的实施通常非常昂贵。
视频和控制链路
本公开的实施方案旨在提供对上述至少一些限制的改进。为此,提供了若干方法和装置,用于以AC-耦合的模拟形式通过单线(在单端配置中,如上所述)传输HD视频信号(一般包括视频/音频/图像信号),或者通过差分对线(采用差分对配置,如上所述)用于接收所述视频信号,其中视频信号的分量部分可以在本文公开的多个传输序列中的任何一个的相应时隙内编码和传输。本公开的各个方面实现了视频数据的可靠且高质量的传输。此外,本公开的各个方面实现了有利的系统架构选项,例如使ISP 能够远离空间和功率受限的相机定位,同时保持整体系统成本低于已知的数字替代方案。注意,术语视频传输格式、视频线格式和传输序列在本文中可以互换使用。
本文描述了用于编码、发送、解码和接收一个或多个信号的系统、方法、设备和非暂时性计算机可读介质。可以单独地或组合地实现或部署本公开的各种实施方案。虽然这里关于视频信息信号解释了示例性实施方案,但是本公开的各种实施方案可以应用于各种类型的信息信号,例如,但不限于,视频和音频信息组合信号和组合媒体(例如视频、音频等)和控制数据信号,而不脱离本公开的范围。本公开的实施方案可以在广泛的系统、应用和/或环境中实现或部署,例如但不限于汽车信息娱乐系统、 ADAS、自动驾驶车辆、安全监视系统和CCTV系统。
调度用于传输信号和控制数据的时隙
本公开的实施方案基于用于在单个HD、AC-耦合的视频和控制链路上传输视频信号、下游控制数据和上游控制数据的调度时隙。图5呈现了根据本公开的一些实施方案的分配用于在发射器和接收器之间交换视频信号和控制数据的时隙的示例方法500的流程图。方法500可以使用任何视频系统来实现,其中视频信号由相机获取或者在发送侧以任何其他方式生成,并且由发射器通过AC-耦合的有线视频链路发送到接收器处理,并且可能在接收侧显示在显示器上。全部或部分地,方法500可以使用例如图 9中所示的视频系统900和/或下面描述的图10中所示的数据处理系统 1000来实现。然而,通常,方法500可以使用除视频系统之外的任何系统来实现,其中视频/音频/图像信号通过合适的传感器获取,或者以任何其他方式生成,通过AC-耦合的有线链路在发送侧由发射器发送到接收器,在接收侧进行处理并可能再现。
在方法500开始之前,生成要通过AC-耦合的视频和控制链路从发射器发送到接收器的视频信号。在一些实施方案中,视频信号可以由图像传感器生成,例如,在相机内。在其他实施方案中,视频信号可以是计算机生成的视频信号,或者是从某些其他系统提供的视频信号。在一些实施方案中,要从接收器发送到发射器的视频信号可以由图9中所示的视频发生器912生成,视频发生器912可以包括在发射器中,或者可以在发射器外部,但可以通信地耦合到发射器。
方法500的各种操作可以由调度器执行,调度器可以实现为控制发射器和接收器的功能的逻辑元件。例如,在各种实施方案中,调度器可以在发射器逻辑916中、在接收器逻辑926中实现、分布在这两个逻辑元件之间,或者在类似于发射器或接收器逻辑的单独逻辑元件中实现,如下参考图9和10所述。
方法500的各种操作可以由调度器针对视频信号的视频帧的至少一个或多个视频线中的每一个执行。在一些实施方案中,可以对视频信号的每个视频帧的每个视频线执行这些操作。在其他实施方案中,可以对视频信号的一些(可能是所有)视频帧的多个但不是所有视频线执行这些操作。因此,通常,方法500的操作可以重复若干次,以发送视频信号的不同部分(例如,不同的视频线)。一般来说,如果需要的话,可以在发射器和接收器之间传送控制数据时执行方法500的操作。尽管在图5中以特定顺序示出了方法500的各种操作,但是在其他实施方案中,这些操作的顺序可以与图5中所示的顺序不同,和/或可以重复一些操作。
如图5所示,方法500可以包括框502,其中调度器被配置为分配用于通过AC-耦合的传输链路(例如图9中示出的链路930)从发射器发射到接收器的多个时隙,分配由相机获取的视频信号的视频帧的各个视频线的多个视频分量。因此,502中的时隙调度允许多路复用不同的视频分量,使得它们可以通过单个有线链路传输,而不是多个单独的链路,如在一些传统实现中所做的那样,其中每个视频分量通过单独的线路传输。在一些实施方案中,与已知的模拟视频传输链路不同,从发射器发送到接收器的多个视频分量中没有一个在载波信号上被调制以便从发射器传输到接收器,这有利地防止这些分量之间的干扰/串扰,并允许每个像素的每个视频分量在接收器中单独恢复。视频分量不是在载波信号上被调制而是被时间复用,意味着不同的分量可以占据基本相同的频带,或者换句话说,在频率上没有分离,但是由于时间复用,不会彼此干扰。
在一些实施方案中,调度器在502中调度时隙的多个分量可以包括一组分量,其包括至少第一颜色分量和第二颜色分量。例如,来自图像传感器的RAW传输可以在奇数行上发送G分量和R分量,在偶数行上发送G 分量和B分量,反之亦然–G、B在偶数行上,G、R在奇数行上,然后分量将类似地安排用于从发射器到接收器的模拟传输。因此,尽管总共可以使用3种颜色分量,但是这些颜色分量可以被安排用于一次仅传输两种颜色成分。在其他实施方案中,调度器在502中调度时隙的一组分量可包括所有三种颜色分量。换句话说,在一些实施方案中,这样的一组分量还可以包括第三颜色分量,使得该组包括例如R、G和B分量。
在其他实施方案中,调度器在502中调度时隙的多个分量可以包括至少包括亮度分量和颜色分量(例如,Y和R分量)的一组分量。因此,即使总共使用2个颜色分量(除了亮度分量之外),也可以安排这些颜色分量一次只传输一个。在其他实施方案中,这样的一组分量还可以包括第二颜色分量,使得第二组包括例如Y、U和V分量。
在一些实施方案中,调度器在502中调度时隙的多个分量可以包括用于多个分量中的每个分量的单个(即,一个且仅一个)时隙。因此,发射器可以被配置为重新排列有源像素,例如,从图像传感器接收到的那些,使得给定视频线的第一视频分量的所有像素值被连续发送,同一行的第二视频分量的所有值被连续发送(其中第二视频分量的时隙可以但不必与第一视频分量的时隙连续),等等。换句话说,在这样的实施方案中,在为视频分量分配的多个时隙中的每个时隙中,给定视频分量的所有像素可以在分配给该视频分量的时隙内连续发送。这样的实现可以有利地将能量集中在较低频率,这可以使得发送信号不易受到符号间干扰,并且与在发送到接收器的视频信号中交错单个视频分量的不同像素值的方法相比,还产生来自电缆的较低电磁发射(例如,其中视频分量的像素值以相同的交错方式从发射器发送到接收器,其中从图像传感器接收原始数据)。
在一些实施方案中,用于发送给定视频线的多个分量的多个时隙(其中调度器在502中调度时隙)的组合持续时间可以等于或短于视频线从发射器提供(例如,从图像传感器提供给发射器)的时间。因此,在一些实施方案中,可以通过使视频时隙的持续时间更短来节省时间,例如,通过配置发射器的时钟发生器(例如,图9中所示的时钟发生器919)以更快地(即,以更高的时钟速率)对像素进行计时,其可以用于适合多个视频分量和多个控制时隙。换句话说,在一些实施方案中,链路时钟速率(即,通过链路在发射器和接收器之间交换数据的时钟速率)可以高于(例如,高2倍,或其他,整数或非整数,更高的倍数)输入像素时钟速率(即,由图像传感器获取和/或提供给发射器的输入像素数据的时钟速率)。视频信号的时间压缩传输的这种实现可以有利地允许在一个输入视频线占用的时间内传输多个视频分量和数据,使得视频线不在发射器处备份(即,使得发射器不会在将所获取的像素数据发送到接收器时产生瓶颈)。例如,在一些实施方案中,给定输出视频线(即,从发射器发射到接收器的视频线)的持续时间,该视频线可包括视频分量时隙、同步信号和水平消隐、下游控制数据和上游控制数据时隙的组合(就时间而言-总和),然后也可选地,保护频带可以等于由相机呈现给发射器的相同视频线(即,从相机发送到发射器的视频线)的持续时间,该视频线可以包括一个或多个视频分量、同步信号和水平消隐的组合(就时间而言-总和)。
在一些实施方案中,调度器可以被配置为独立于输入像素时钟速率选择用于发射器和接收器之间的数据交换的传输速率。这样的选择可以例如基于用户输入/配置或基于输入像素时钟速率进行,并且可以有利地允许调度器为发射器和接收器之间的控制数据的交换留出更多空间。
还如图5所示,方法500可以包括方框504,其中调度器被配置为分配一个或多个时隙,用于在用于发送视频分量的相同有线模拟传输链路 (例如,图9中所示的链路930)上从发射器到接收器发送,发射器控制数据。如上所述,由于这是用于从发射器到接收器的传输,因此该控制数据是“下游”控制数据。一般而言,下游控制数据可以包括除了指示由相机获取的有效像素值的视频分量之外的任何数据。在各种实施方案中,下游控制数据可包括能够进行一个或多个下列描述的数据:1)(重新)配置接收器、或通信地耦合到接收器的另一设备,由发射器或通信地耦合到发射器的另一设备,2)接收器使用所选有源像素的统计特性来执行DC偏移校正,如下面在指定部分中更详细地描述的,以及3)接收器使用信道特性的反转来执行SAG补偿,如下面在指定部分中更详细地描述的。
如图5中进一步所示,方法500可以包括方框506,其中调度器被配置为分配一个或多个时隙用于在用于发送视频分量的相同有线模拟传输链路(例如图9所示的链路930)上从接收器到发射器发送,接收器控制数据。如上所述,由于这是用于从接收器到发射器的传输,因此该控制数据是“上游”控制数据。因此,根据方法500调度时隙有利地不仅能够提供下游控制数据,还能够提供上游控制数据。在一些实施方案中,上游控制数据可以包括允许接收器或通信地耦合到接收器的另一设备(重新)配置发射器的数据,或者通信地耦合到发射器的另一设备(重新)配置相机内的图像传感器、ISP或其他分量(相机可能包括发射器)。
如前面的描述所示,根据方法500调度时隙有利地允许通过单个有线链路发送视频信号和上游和下游控制数据。在进一步的实施方案中,可以为一条视频线调度用于传输上游控制数据的时隙,而可以为另一条视频线调度用于传输下游控制数据的时隙。在这样的实施方案中,方法500仍然适用于上游和下游控制数据都可以在由调度器分配的时隙中交换,除了块 504和506的操作可以不是针对单个视频线(而是针对两条不同的视频线) 执行。
由相机/图像传感器获取的数据可以以本文公开的几种格式之一格式化,以便随后转换为模拟形式。因此,本文呈现了各种HD视频信号格式 (传输序列),其使得能够使用更具成本效益的视频链路架构。
图6是根据本公开的一些实施方案的分别用于YUV和RGB颜色空间的时隙的示例序列600和602的示意图。
如图6所示,序列600可以包括组合在一起以便在单个时隙内传输的所有Y分量的值(在序列600中示为时隙“Y”)、组合在一起以便在单个时隙内传输的所有U分量的值(在序列600中显示为时隙“U”)和组合在一起以在单个时隙内传输的所有V分量的值(在序列600中示为时隙“V”)。如上所述,这种分组可以有利地导致所有分量的能量集中在较低频率。在其他实施方案中,一个或多个YUV分量的不同值不必被分组在一起以在单个时隙内传输并且可以是交织的。此外,在其他实施方案中,序列600 可以仅包括所示出的3个视频分量中的两个-例如,仅Y和U,或者仅包括Y和V,因为如上所述,在一些实施方案中,在给定视频线中发送的视频分量可以包括总视频分量的子集。
序列600还示出了用于发送控制数据的时隙(在序列600中示为时隙“D”),在不同的实施方案中,其可以仅表示下游或仅表示上游数据,或者表示两个时隙(尽管未在序列600中具体示出)-一个用于下游控制数据,一个用于上游控制数据。序列600还示出了用于视频线的同步数据的时隙 (在序列600中示为时隙“S”),例如,具有其对应的前后门廊的水平同步脉冲,和/或可能有助于同步的任何其他数据。在各种其他实施方案中,序列600的时隙的顺序可以与图6中所示的顺序不同。此外,在序列600的其他实施方案中,视频分量与其他数据(例如,控制和/或同步数据)之间的视频线分配比例可以与图6中所示的不同,而不脱离本公开的范围。例如,在各种实施方案中,视频分量的时隙可占据视频线的总持续时间的约 2/3,以便从发射器传输到接收器,而其他数据可占据视频线的约1/3。
尽管未在图5中或在图6的序列中具体示出,但是在一些实施方案中,调度器还可以被配置为在用于发送下游控制数据的一个或多个时隙之前和/或之后立即分配一个或多个保护频带时隙,和/或在用于发送上游控制数据的一个或多个时隙之前和/或之后立即分配一个或多个保护频带时隙。可以在例如上游和下游控制数据时隙之间添加一个或多个这样的保护带时隙,以允许通过不同长度的信道/电缆的传播时间的差异,这可以有利地减少或防止上游和下游数据之间的干扰。在一个或多个保护带时隙期间,可以通过发射器在链路930上发送恒定电压信号。在一些实施方案中,在上游控制数据时隙和保护频带时隙期间,可以以预定的数字码级从发射器输出固定电平电压,其可以用于向接收器发送的上游控制数据添加偏移量,使得上游控制时隙期间(当发射器和接收器都将它们各自的信号驱动到链路上时)的组合信号处于远高于(例如,至少5-10%以上,至少30%以上,或至少50%以上)嵌入在下游视频信号中的同步信号的水平,并消除了上游控制数据被接收器解释为同步信号的风险。在一些实施方案中,在上游控制数据时隙和保护带期间,发射器可以被配置为找到或检测参考开始信号、解码上游控制数据、检查控制数据的错误并在相关控制接口上输出。
为了产生传输序列600,可以以预定义的速率接收在发射器处从例如相机接收的数字视频分量,并且可以在由调度器调度的视频线内的时隙中分配相应数量的时钟周期。在一些实施方案中,同步数据S和控制数据D 的时隙可以将序列600加起来。
在一些实施方案中,视频线可以由多个时钟周期定义,其具有例如每个视频分量在800和1920像素时钟周期之间的值或范围。
在一些实施方案中,传输序列600可以包括提供Y'(亮度或伽马压缩的亮度或亮度分量)作为基带信号,而U和V(分别为色度或蓝色亮度和红色亮度差)分量可以作为基带信号传输,以所选输出信号范围的中等或接近中等比例为中心。
在各种实施方案中,序列600的不同视频分量可在频域中重叠但在时域中可完全分离。这样的序列可以有利地防止亮度/亮度和颜色信号之间的串扰,并且进一步防止U和V色度分量之间的串扰。
图6中所示的序列602类似于序列600,因此,除了YUV颜色空间被 RGB颜色空间替换之外,以上针对序列600提供的描述适用于序列602。在进一步的实施方案中,序列600的格式可以与其他视频布置系统一起使用,例如Y'IQ或YCoCg色彩空间。其他颜色空间也在本公开的范围内。
在一些这样的实施方案中,Y分量可以用作基带信号,U和V分量也可以是基带但是亮度(Y)带宽的一半。
在其他实施方案中,传输序列的Y、U和V视频分量(或者,以与先前描述的序列类似的方式,R、G和B分量,或任何其他视频分量)可以在像素级而不是在分量级进行时间交织。然后,每个视频线可以包括交替的Y和C(即,在U和V之间交替)数据。在这样的序列中,同步数据S 和控制数据D的时隙也可以将视频线挂起。因此,在分量级别的交织意味着将用于传输的像素布置为[Y1Y2...Yn][U1U2...Un][V1V2...Vn](即,在分量级别的时间复用),例如当视频分量是YUV分量时,在像素级处的交错意味着在颜色分量是Y分量的像素数量的一半的情况下,以 [Y1U1V1Y2U2V2.....YnUnVn]或 [Y1U1Y2V1Y3U2Y4V2.....Yn-1Un/2YnVn/2]的替换布置排列用于传输的像素。与在组件级别涉及时间复用的传输序列实施方案相比,具有在像素级交织的像素值的传输序列可以有利地减少发射器和接收器中所需的存储器,因为在传输之前不必存储和重新排序给定分量的所有像素,它们可以很大程度上按照它们应用于发射器的顺序传输。
在504的一些实施方案中,用于发送下游控制数据的一个或多个时隙可以包括至少两个不同的时隙,这些时隙通过一个或多个时隙彼此分开,所述时隙不用于发送下游控制数据。类似地,在506的一些实施方案中,用于发送上游控制数据的一个或多个时隙包括至少两个时隙,这些时隙通过一个或多个时隙彼此分开,所述时隙不用于发送上游控制数据。图7是根据本公开的一些实施方案的用于具有多个单独的控制数据时隙的视频线的时隙的示例序列700的示意图。序列700的视频分量被示为分量C1、 C2和C3,其可以例如是YUV或RGB颜色分量,并且S可以是用于视频线的同步数据的时隙,如上所述。序列600和602的大多数描述适用于序列700,除了在一些实施方案中序列700具体地说明了在给定方向上(例如,在下游方向上或在上游方向上)的控制数据可以在彼此不连续的时隙中发送-如图7中所示,时隙D1和D2,由视频分量的传输分开。在各种实施方案中,D1和D2中的每一个可以包含上游和下游控制数据时隙。具有这样的多个上游和/或多个下游控制时隙可以允许通过链路930的控制数据的较低等待时间通信,例如,如下所述。
在一些实施方案中,下游控制数据可以包括发射器对最后上游通信的接收状态的确认(ACK)(接收有错误或没有错误地接收),或者来自连接到发射器的远程设备(其可能是最后上游通信的最终目的地)的确认或否定确认(NACK)。类似地,上游控制数据可以包括接收器对最后下游通信的状态的确认。每个视频线具有多个上游和/或多个下游控制时隙可以允许通过链路930的控制数据的较低等待时间通信,因为将接收ACK或 NACK,并且比在每个传输方向上每个视频线仅使用一个控制时隙更快地 (例如,如果错误则重试或如果确定则没有回复)作用或响应。
如上面简要提到的,在一些实施方案中,通过AC-耦合的链路930交换的视频和控制数据,特别是下游和/或上游控制数据,可以是不仅源自发射器和/或接收器的数据,还是来自通信地耦合到发射器和/或接收器的其他设备的数据。在一些实施方案中,上游控制数据可以从系统控制器通过接收器流动,而不仅仅流到发射器设备本身,还流到连接到该发射器的远程设备,这样可以使用可以连接到接收器的系统控制器通过发射器控制那些远程设备。在一些实施方案中,通信可以从接收器到达发射器,在那里检查是否有错误,然后,如果正确,则转发到目标设备。目标设备可以被配置为用ACK或NACK或响应数据进行回复,其可以由发射器发送回接收器。然后,接收器可以被配置为检查所接收的消息是否有错误,并将来自该消息的数据转发到连接到接收器的系统控制器。图8中示出了这种情况的示例。
图8是根据本公开的一些实施方案的视频系统800中的控制数据流的示意图。如图8所示,视频系统800可以包括发射器810和接收器820,其与HD、AC-耦合的视频和控制链路830通信地耦合。发射器810、接收器820和链路830可以与发射器910、接收器920和链路930类似,如图 9所示并在下面更详细地描述。因此,除了从发射器810到接收器820的视频信号的通信之外,链路830还可以被配置用于控制数据的双向通信。还如图8所示,在一些实施方案中,发射器810可以通过链路814通信地耦合到另一设备812,和/或接收器820可以通过链路824通信地耦合到另一设备822。链路814、824中的每一个可以是双向链路,即,允许双向信息通信的链路,并且可以是有线或无线链路。在一些实施方案中,链路814、 824可以是例如内部集成电路(I2C)链路。在一些实施方案中,另外的设备812可以是图像处理器/传感器,例如,包括在包含发射器810的相机模块中。在一些实施方案中,另外的设备822可以是系统控制器,例如微控制器单元(MCU)。如在链路830、814和824上的流程所示,在这样的实现中,另外的设备822和另外的设备812可以彼此通信,就像它们彼此直接连接一样,但是现在由于存在链路830而导致一些延迟。在一些实施方案中,另外的设备822可以用于(重新)配置发射器810本身,而在其他实施方案中,另外的设备822可以用于(重新)配置另外的设备812。类似地,在一些实施方案中,另外的设备812可以用于(重新)配置接收器 820本身,而在其他实施方案中,另外的设备812可以用于(重新)配置另外的设备822。
在下文中,将描述可以通过本文描述的AC-耦合的链路从发射器提供给接收器的两种特别有用的数据类型。两者都可以作为下游控制数据提供。第一个可以是用于DC偏移校正的元数据,第二个可以是用于SAG补偿的测试脉冲,以试图使接收器能够解决由于AC-耦合的传输信道的高通滤波器行为引起的SAG效应引起的接收视频信号的恶化。
下游控制数据的第一示例:用于DC偏移校正的元数据
在一些实施方案中,发射器可以被配置为计算并向接收器提供作为下游控制数据的元数据,该元数据指示由相机获取的视频信号的一部分的一组有源像素的统计特性(即,发射器可以被配置为在通过AC-耦合的视频链路发送信号之前计算视频信号上的统计特性)。然后,接收器可以被配置为计算在AC-耦合的视频链路上在接收器处接收的视频信号上的类似统计特性,并且在呈现接收的视频信号用于显示之前,基于由接收器计算的统计特性和由发射器计算的统计特性的比较,通过校正接收的视频信号的一个或多个值来执行DC偏移校正(如从发射器收到的元数据所示)。与传统的DC偏移校正实现相比,这种方法可以有利地允许使用更多的数据点来执行DC偏移校正,从而能够改善在接收器侧恢复的视频信号类似于发射器侧的相机获取的视频信号的程度,从而改善了渲染视频的质量。
“统计特性”是这里使用的术语,指的是以定量方式描述要发送到接收器的视频信号的一部分的像素值的任何合适的特性。关于如何计算这种统计特性以及视频信号的哪些像素,发射器和接收器将是一致的。因此,将由发射器计算的待发送视频信号的这种统计特性和接收器在接收器接收的视频信号上计算的模拟特性进行比较,即,在通过AC-耦合的链路传输信号之后,将提供视频信号由于AC-耦合传输而经历的DC偏移的量度。然后,接收器可以基于比较的结果对接收的视频信号执行DC偏移补偿。以这种方式,视频信号的实际有效像素值可以有利地用在前端或后沿的钳位方案中,如在上述DC偏移校正的常规实现中所使用的那样,而不是只有一个小的DC值窗口例如同步尖端。此外,这里描述的实施方案使得不需要假设任何DC级别的某些预定义目标值,如上述传统实现的情况那样,而是有利地允许使用动态计算的“目标”值(例如,由发射器计算的统计特性是用于在接收器侧执行钳位的“目标”)。
在这些一般原理的指导下,如何计算并从发射器到接收器提供统计特性有许多变化。下面描述了这些变化中的一些。然而,通常,以任何方式根据本文描述的原理计算并且以任何形式并且通过发射器和接收器之间的任何通信连接从发射器提供给接收器的任何统计特性都在本公开范围内。
有三个方面,发射器和接收器应基本上一致以受益于使用如本文所述的统计特性。第一方面包括在视频信号的哪些像素上计算统计特性。第二方面包括如何计算统计特性,即,对根据第一方面识别/选择的多个像素执行哪种数学运算。第三方面包括由发射器计算的计算的统计特性如何由所谓的“元数据”表示,然后该“元数据”从发射器发射到接收器以使接收器能够执行比较并基于该比较进一步执行DC偏移补偿。现在将描述这三个方面中的每一个。
关于第一方面,在AC-耦合的传输之前在视频信号之间所需的精度与在AC-耦合的传输之后在接收器侧恢复的视频信号之间实现了平衡。在一些实现中,这种平衡可以取决于特定部署场景的环境(例如,在发射器和 /或接收器处计算功率)、用于将元数据发送到接收器的带宽限制等。在一些实施方案中,可以对每条视频线的所有有源像素计算统计特性。因此,可以为视频帧的每个视频线计算一个这样的统计特性。在其他实施方案中,可以在每个视频线的所有有效像素的某个子集上(即,在单个视频线的一部分上)计算统计特性,例如,对于每个视频线的有效像素的前半部分、或者对于基本上围绕每个视频线的中心、或者对于每个视频线的每个偶数或每个奇数像素,或者在选择适合特定部署方案的任何其他像素上计算。在用于计算统计特性的视频线的像素的一小部分的这样的实施方案中,可以例如针对视频帧的每个视频线计算一个这样的统计特性。在其他实施方案中,要对来自两条或更多条线的像素计算统计特性,例如,对于视频帧的两个或更多个视频线的所有像素,或者对于两个或更多个视频线的所有像素的一些分量(例如,对于第一视频线的所有像素的前半部分和第二视频线的所有像素的后半部分,或者对于第一视频线的所有像素,第二视频线的特定数量(例如一半)的像素)。在这样的实施方案中,可以为视频帧的每两个或更多个视频线计算一个这样的统计特性,从而减少用于计算统计特性的计算资源和用于从发射器向接收器发送统计特性的带宽的负担,虽然可能牺牲精度,但视频信号可能具有从一条线到另一条线显着不同的像素值。在其他示例中,可以对来自给定视频帧的所有水平线的所有像素计算统计特性,或对视频帧的每隔一行的所有像素计算统计特性,或给定视频帧上的某些其他所选像素上计算统计特性,或者甚至是对来自两个或更多个视频帧的像素计算统计特性。
关于第二方面,在一些实施方案中,统计特性可以包括根据上述第一项选择的视频信号的多个有效像素的值的平均值或平均值。在其他实施方案中,统计特性可以包括这样的多个有源像素的所有像素值的总和。在其他实施方案中,统计特性可以包括所有像素值的中值,或者提供所选像素的像素值的有用指示的任何其他数值特性。应当注意,虽然下面提供的描述涉及针对特定多个像素值计算的单个统计特性(例如根据上述第一方面选择),但是在其他实施方案中,对于给定的多个像素值,发射器和接收器可以计算多个这样的特性,并且可以基于这些统计特性中的一个或多个来执行DC偏移校正。例如,在一些实施方案中,发射器可以被配置为计算视频信号的多个特定像素值的平均值和总和,然后向接收器提供平均值和和。由于接收器与发射器一致,接收器也将计算平均值和总和,但现在计算接收视频信号的模拟像素,然后基于由发射器和接收器计算的这两个不同统计特性中的每一个的比较来执行DC偏移校正。
关于第三方面,“元数据”是在此用于描述由发射器计算的统计特性的一些表示的术语。同样,基于由发射器计算的统计特性,如何生成元数据存在许多可能的变化,所有这些变化都在本公开的范围内。在一些实施方案中,元数据可以简单地包括由发射器计算的统计特性。在其他实施方案中,元数据可以包括由发射器计算的统计特性的一些编码版本。例如,统计特性的计算值可以被视为属于或属于多个预定水平之一,例如,10个级别,并且元数据可以是计算值对应的特定级别的指示。在其他实施方案中,元数据可以不是由发射器计算的统计特性的完整值,而是仅一定数量的最低有效位(LSB)。例如,考虑到发射器计算的统计特性可以是具有M比特的数字值,其中M等于或大于2,则元数据可以是统计特征的M比特字的N个LSB,其中N大于零且小于M(例如,M可以等于7并且N可以等于3)。这些实施方案基于以下认识:在发射器和接收器处计算的统计特性的值预计不会显着不同,因此,从发射器到接收器仅提供一定数量的 LSB将足以使接收器能够基于由元数据表示的LSB与由接收器计算的统计特性的值的比较确定如何修改接收的视频信号的值。
如上所述,接收器被配置为将接收器计算的统计特性与发射器计算的统计特性进行比较(后者由接收者收到的元数据表示),并基于所述比较对接收的视频信号的一个或多个值执行DC偏移校正。例如,在一些实施方案中,比较可以包括简单地确定统计特性的两个值之间的差异,并且DC 偏移校正可以包括通过将接收的视频信号的一个或多个值移位所述差值来进行钳位。在其他实施方案中,比较可以采用更复杂的形式,只要执行的DC偏移校正被确定为提供关于接收的视频信号如何类似于由发射器发送的视频信号的改进。
关于接收器被配置为基于作为下游控制数据接收的元数据进行校正的接收视频信号的哪些值,还存在许多不同的实施方案。在一些实施方案中,接收器可以被配置为仅将DC偏移校正应用于在其上计算统计特性的视频信号的那些像素值。在其他实施方案中,接收器可以被配置为对那些像素值的子集应用DC偏移校正。在其他实施方案中,接收器可以被配置为对比计算统计特性的像素更大数量的像素应用DC偏移校正。例如,可以针对每隔一行的像素值计算统计特性,并且接收器可以被配置为针对所接收的统计特性的每个值对两条线应用DC偏移校正。还应注意,DC偏移校正可以应用于除了像素值(例如应用于同步信号的值(水平和/或垂直同步信号))、同步信号的前沿和/或后沿等之外的视频信号的值。
下游控制数据的第二个例子:用于SAG补偿的测试脉冲
作为可以通过HD提供的下游数据的第二示例,本文描述的AC-耦合的视频和控制链路是由发射器提供的多个测试脉冲,并且被配置为使接收器能够将一个或多个SAG补偿技术应用于通过相同链路从发射器接收的多个视频分量。特别地,测试脉冲可以提供预定义/已知内容,其可以使接收器能够实现自适应滤波,以补偿由于已经通过本文所述的AC-耦合的链路传输而在视频信号上施加的SAG效应。在一些实施方案中,示例自适应滤波方法可以包括将滤波器应用于通过AC-耦合的链路接收的视频信号以生成校正的视频信号,其中滤波器的传递函数取决于基于AC-耦合的链路的多个参数(例如AC-耦合的链路的各种电阻和电容)的链路参数(α参数)。该方法还可以包括从校正的视频信号中提取预定义的(即,已知的)内容(可以实现为从发射器到接收器的下游方向提供的测试脉冲),并基于所提取的预定义内容与某些预期内容(即预期的预定义/已知内容) 的比较来调整链接参数α,因此,调整后的传输参数可用于滤波器的一个或多个后续应用,从而实现自适应滤波器。使用自适应滤波器来补偿SAG 效应可以有利地允许考虑由于过程、电压和/或温度(PVT)变化中的一个或多个引起的AC-耦合的链路的参数值的变化,与现有技术方法相比,导致SAG补偿结果得到改善。应当注意,虽然在一些实施方案中,这样的测试脉冲可以被认为是在下游方向上提供的控制数据的一部分,因为它们是在视频信号之外另外提供的,在其他实施方案中,这样的测试脉冲可以是视频信号的一部分,例如水平和/或垂直同步脉冲,在这种情况下,它们可以被认为是视频信号的一部分,而不是每个所说的“控制数据”。在任一情况下,从发射器提供给接收器以提供允许接收器执行SAG效应补偿的“已知内容”的测试脉冲可被视为在AC-耦合的视频和控制链路上的适当时隙中提供的下游数据,如本文所述。
在另一示例中,在一些实施方案中,下游数据还可以包括测试脉冲或多个测试脉冲,其可以与接收器用于应用一种或多种SAG补偿技术的脉冲相同或不同。如上所述的多个测试脉冲可用于帮助接收器应用一种或多种均衡技术,以补偿由传输信道的有限带宽引起的符号间干扰和/或补偿由阻抗不匹配(电缆和终端电阻之间,或传输电缆的不同部分之间)引起的反射,和/或使接收器能够应用时钟相位恢复技术,使得链路上的每个像素被单独地采样并且在其处于稳定值而不是在相邻像素值之间的转换中的点处。类似于上面描述的用于SAG补偿的测试脉冲,在一些实施方案中,提供给接收器以实现均衡技术、补偿反射和/或应用时钟相位恢复技术的测试脉冲或多个脉冲可以被认为是在下游方向上提供的控制数据的一部分,因为除了视频信号之外还提供它们,而在其他实施方案中,这种测试脉冲可以是视频信号的一部分。
示例视频系统
图9示出了根据本公开的一些实施方案的示例视频系统900。如图9 所示,示例系统900可以包括通过AC-耦合的链路930耦合的发射器910 和接收器920。AC-耦合的链路930可以是任何合适的有线导体电缆,例如,单端导体电缆108或差分对电缆208,如上所述。
如图9所示,发射器910可以包括视频信号发生器912,或者可以通信地耦合到视频信号发生器912。视频信号发生器912可以包括用于产生要通过AC-耦合的链路930发送到接收器920的信号的任何合适的装置。例如,在一些实施方案中,视频信号发生器912可以包括被配置为获取视频信号(可能包括多个视频信号)的任何合适的图像传感器、ISP或相机(可能包括多个相机)。在其他实施方案中,信号发生器912可以包括用于产生计算机生成的视频信号的装置。
如图9中进一步所示,发射器910还可以包括或通信地耦合到一个或多个转换器914。转换器914可以包括数模转换器(DAC)和/或模数转换器(ADC),并且可以提供由时钟发生器919产生的时钟信号,例如,在处理器915的控制下
如这里所使用的,术语“DAC”指的是将表示连续物理量的幅度的数字值转换为对应的模拟值的电子电路/设备。在一些实施方案中,转换器914 内的一个或多个DAC可以被配置为接收由信号发生器912生成的数字信号(例如,接收包括由相机获取的数字像素值的数字视频信号),并将数字值(即数字信号的离散时间和离散幅度值)转换为连续时间和连续幅度的模拟信号。在一些实施方案中,转换器914内的一个或多个DAC可以被配置为接收由信号发生器912(该信号发生器912被形成用于在此描述的任何传输序列中传输)产生的数字信号的处理版本,例如,如发射器逻辑916所处理的那样,包括如本文所述的下游控制数据(例如,元数据),并且通过AC-耦合的链路930将该信号转换为模拟域以用于AC-耦合的传输到接收器。
如这里所使用的,术语“ADC”指的是将由模拟信号携带的连续物理量转换为表示数量幅度的数字数量(或者携带该数字数量的数字信号)的电子电路/设备。结果是一系列数字值(即数字信号),它已经将连续时间和连续幅度的模拟输入信号转换成离散时间和离散幅度(单比特或多比特) 数字信号。在视频系统900中使用的转换器914内的一个或多个ADC的情况下,被转换的模拟输入信号可以是通过AC-耦合的视频和控制链路930 从接收器920接收的上游控制数据,如本文所述,例如,由发射器逻辑916 以数字形式进一步处理。
还如图9所示,发射器910还可以包括发射器逻辑916,或者可以通信地耦合到发射器逻辑916。发射器逻辑916可以用硬件、软件、固件或这些中的一个或多个的任何合适组合来实现,并且可以被配置为如本文所述控制发射器910的操作。为此,发射器逻辑916可以利用至少一个处理器915和至少一个存储器元件917以及任何其他合适的硬件和/或软件来实现如本文所述的其预期功能。发射器逻辑916的一些功能可以包括用作调度器以调度至少一些时隙以及准备视频和控制数据以通过AC-耦合的链路 930传输到接收器,如本文所述。在一些实施方案中,处理器915可以执行软件或算法以执行如本公开中所讨论的活动,例如,处理器915可以执行控制信号发生器912产生的信号的数模转换以在模拟传输链路930上传输的算法和/或执行控制通过模拟传输链路930从接收器920接收的上游控制数据的模数转换的算法。在另一个示例中,处理器915可以执行控制下游控制数据(例如,元数据,各种确认等)的生成和传输到接收器920的算法,如本文所述。下面提供对处理器915和存储器元件917的进一步描述。
图9中还示出了发射器910还可以包括或者通信地耦合到,发送(TX) 和接收(RX),即TX/RX,用于通过模拟传输链路930将视频和下游控制数据发送到接收器920并从接收器920接收上游控制数据的电路918。具体地,TX/RX电路918可以包括用于在其分配的时隙中实现具有视频和下游控制数据的传输序列的AC-耦合的传输的分量,如本文所述。在一些实施方案中,TX/RX电路918可以从,例如,转换器914内的DAC、发射器逻辑916处理(例如,准备)的传输序列获得这样的传输序列。此外, TX/RX电路918可以包括用于在分配的时隙中在任何传输序列内AC-耦合的接收上游控制数据的分量,如本文所述。在一些实施方案中,TX/RX电路918可以将这样的上游控制数据提供给转换器914内的ADC和/或直接提供给发射器逻辑916,以进行如本文所述的进一步处理。在一些实施方案中,TX/RX电路918的分量可以包括耦合电容器,例如,如参考图1和 2所述的发射器侧的耦合电容器,以及本领域已知的用于AC-耦合的模拟传输和信号接收的任何其他电路。
转向视频系统900的接收侧,如图9所示,接收器920可以包括或者通信地耦合到TX/RX电路928、接收器逻辑926、一个或多个转换器924,以及可选地,视频消费设备922。在一些实施方案中,视频消费设备922 可以是诸如ISP的视频处理设备、诸如ADAS处理器的视频分析设备、或诸如显示器的视频呈现设备。
类似于转换器914,转换器924可以包括一个或多个ADC和一个或多个DAC,并且可以提供有时钟发生器929产生的时钟信号,例如,在处理器925的控制下。在视频系统900中使用的转换器924内的ADC的情况下,被转换的模拟输入信号可以是如上所述的视频和下游控制数据传输序列,通过AC-耦合的视频和控制链路930从发射器910发送并由TX/RX电路928接收,例如,由接收器逻辑926以数字形式进一步处理。在视频系统900中使用的转换器924内的DAC的情况下,被转换的数字输入信号可以是如上所述的上游控制数据,通过AC-耦合的视频和控制链路930从接收器920发送到发射器910。
TX/RX电路928可以被配置为从发射器910接收信号。具体地,TX/RX 电路928可以包括用于在如本文所述的任何模拟传输序列中接收AC-耦合的视频和下游控制数据的分量,例如,被提供给转换器924内的一个或多个ADC,用于转换为数字并且可能在转换器924转换之后提供给接收器逻辑926以进行进一步处理。此外,TX/RX电路928可以被配置为在如本文所述的传输序列内的分配时隙中将上游控制信号从接收器920发送到发射器910。在一些实施方案中,TX/RX电路928的组件可以包括耦合电容器,例如,如参考图1和2所述的接收器侧的耦合电容器,以及本领域已知的用于接收和传输AC-耦合的模拟信号的任何其他电路。
类似于发射器逻辑916,接收器逻辑926可以用硬件、软件、固件或这些中的一个或多个的任何合适组合来实现,并且可以被配置为控制接收器920的操作,如本文所述。为此,接收器逻辑926可以利用至少一个处理器925和至少一个存储器元件927以及任何其他合适的硬件和/或软件来实现如本文所述的其预期功能。在一些实施方案中,处理器925可以执行软件或算法以执行如本公开中所讨论的活动,例如,在通过模拟传输链路 930传输之后(可能在由ADC924转换为数字域之后),处理器925可以执行控制由TX/RX电路928接收的信号的模数转换的算法。此外,处理器 925可以执行控制来自发射器910的下游控制数据的接收和处理的算法,如本文所述。此外,处理器925可以执行锁定嵌入在下游信号中的同步信号的算法,并控制时钟发生器929产生的行锁定链路时钟,用于确保转换器924内的ADC对下游信号进行像素精确采样。此外,如本文所述,处理器925可以执行控制上游控制数据的传输和处理以便从接收器920传输到发射器910的算法。下面提供对处理器925和存储器元件927的进一步描述。
处理器915、925中的每一个可以被配置为经由一个或多个互连或总线通信地耦合到其他系统元件。这样的处理器可以包括提供可编程逻辑的硬件、软件或固件的任何组合,包括作为非限制性示例的微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、专用IC(ASIC)或虚拟机处理器。处理器915可以通信地耦合到存储器元件917,而处理器925可以通信地耦合到存储器元件927,例如以直接存储器访问(DMA)配置。每个存储器元件917、927可以包括任何合适的易失性或非易失性存储器技术,包括双倍数据速率(DDR)随机存取存储器(RAM)、同步RAM(SRAM)、动态RAM(DRAM)、闪存、只读存储器(ROM)、光学介质、虚拟存储器区域、磁性或磁带存储器或任何其他合适的技术。除非另有说明,否则本文所讨论的任何存储器项应被解释为包含在广义术语“存储器元件”内。
被跟踪或发送到发射器910和接收器920的一个或多个分量/元件的信息可以被提供和/或存储在任何数据库、寄存器、控制列表、高速缓存或存储结构中,所有这些都可以在任何合适的时间范围内引用。任何这样的存储选项可以包括在这里使用的广义术语“存储元件”内,并且可以用于实现存储元件917和/或存储元件927。类似地,这里描述的任何潜在处理元件,模块和机器应该被解释为包含在这里使用的广义术语“处理器”内,并且可以用于实现处理器915和/或处理器925。图9中所示的每个元件,例如,信号发生器912、转换器914、发射器逻辑916、信号呈现922、转换器924 或接收器逻辑926,还可以包括用于通过有线或无线通信链路在网络环境中接收、发送和/或以其他方式传送数据或信息的合适接口。
在某些示例实现中,如本文所概述的用于提供用于在AC-耦合的链路上发送视频和控制数据的传输序列的机制可以通过在一个或多个有形介质中编码的逻辑来实现,该有形介质可以包括非暂时性介质,例如,在ASIC 中提供的嵌入式逻辑,在DSP指令中,由处理器或其他类似机器执行的软件(可能包含目标代码和源代码)等。在这些实例中的一些实例中,存储器元件,例如图9中所示的存储器元件917和927,可以存储用于这里描述的操作的数据或信息。这包括存储器元件能够存储被执行以执行本文描述的活动的软件、逻辑、代码或处理器指令。处理器可以执行与数据或信息相关联的任何类型的指令以实现本文详述的操作。在一个示例中,处理器(例如,图9中所示的处理器915和925)可以将元素或物品(例如,数据)从一个状态或事物变换为另一个状态或事物。在另一个示例中,这里概述的活动可以用固定逻辑或可编程逻辑(例如,由处理器执行的软件 /计算机指令)来实现,并且这里标识的元件可以是某种类型的可编程处理器、可编程数字逻辑(例如,FPGA、DSP、可擦除可编程只读存储器 (EPROM)、电可擦除可编程只读存储器(EEPROM))或包括数字逻辑、软件、代码、电子指令或其任何合适组合的ASIC。
示例数据处理系统
图10提供了根据本公开的一些实施方案示出用于实现视频和控制数据的生成、调度和封装以用于在本文所公开的HD、AC-耦合的视频和控制链路(例如,链路930)上传输的示例数据处理系统的框图。这样的数据处理系统可以被配置为例如用作发射器逻辑916和/或用作本文描述的接收器逻辑926,或者被配置为实现与用于传输视频和双向控制数据作为AC- 耦合的信号的时隙的调度相关的各种改进机制的任何其他系统,如本文所公开的。
如图10所示,数据处理系统1000可以包括通过系统总线1006耦合到存储器元件1004的至少一个处理器1002。这样,数据处理系统可以将程序代码存储在存储器元件1004内。此外,处理器1002可以通过系统总线1006执行从存储器元件1004访问的程序代码。在一个方面,数据处理系统可以实现为适合于存储和/或执行程序代码的计算机。然而,应当理解,数据处理系统1000可以以包括处理器和能够执行本公开内容中描述的功能的存储器的任何系统的形式实现。
在一些实施方案中,处理器1002可以是处理器915,并且存储器元件 1004可以是图9中所示的视频系统900的发射器910的存储器元件917,如上所述。在一些实施方案中,处理器1002可以是处理器925,并且存储器元件1004可以是图9中所示的视频系统900的接收器920的存储器元件927,如上所述。
存储器元件1004可以包括一个或多个物理存储器设备,例如本地存储器1008和一个或多个大容量存储设备1010。本地存储器可以指RAM或通常在程序代码的实际执行期间使用的其他非持久性存储器设备。大容量存储设备可以实现为硬盘驱动器或其他持久数据存储设备。处理系统1000 还可以包括一个或多个高速缓冲存储器(未示出),其提供至少一些程序代码的临时存储,以便减少在执行期间必须从大容量存储设备1010检索程序代码的次数。
可选地,被描绘为输入设备1012和输出设备1014的输入/输出(I/O) 设备可以耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标的指示设备等。输出设备的示例可以包括但不限于监视器或显示器、扬声器等。输入和/或输出设备可以直接或通过中间I/O控制器耦合到数据处理系统。
在一个实施方案中,输入和输出设备可以实现为组合的输入/输出设备 (在图10中示出,其中虚线围绕输入设备1012和输出设备1014)。这种组合设备的示例是触敏显示器,有时也称为“触摸屏显示器”或简称为“触摸屏”。在这样的实施方案中,可以通过在触摸屏显示器上或附近的物理对象 (例如,触笔或用户的手指)的移动来提供对设备的输入。
当在根据本公开的各种实施方案的视频系统中使用时,例如,在图9 所示的视频系统900中,输入设备1012可用于接收输入,例如,如用户提供的输入,并根据用户输入配置视频系统900。然后可以根据输入设备 1012接收的输入来配置视频系统900的发射器910和接收器920。
网络适配器1016还可以可选地耦合到数据处理系统,以使其能够通过中间私有或公共网络耦合到其他系统、计算机系统、远程网络设备和/ 或远程存储设备。网络适配器可以包括:数据接收器,用于接收由所述系统、设备和/或网络发送到数据处理系统1000的数据;以及数据发射器,用于将数据从数据处理系统1000发送到所述系统、设备和/或网络。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统1000一起使用的不同类型的网络适配器的示例。
当在根据本公开的各种实施方案的视频系统中使用时,例如,在图9 所示的视频系统900中,网络适配器1016可用于通过中间私有或公共网络从其他系统、计算机系统、远程网络设备和/或远程存储设备接收输入,并根据接收的输入配置视频系统900。例如,网络适配器1016可以被配置为接收输入的示例,如参考输入设备1012从用户接收的输入所描述的,除了现在它将通过干预私人或公共网络从其他系统、计算机系统、远程网络设备和/或远程存储设备接收。然后可以根据网络适配器1016接收的输入来配置视频系统900的发射器910和接收器920。
如图10中所示,存储器元件1004可以存储应用程序1018。在多种实施方案中,应用程序1018可以存储在本地存储器1008、一个或多个大容量存储设备1010中,或者与本地存储器和大容量存储设备分开。应当理解,数据处理系统1000还可以执行可以促进应用程序1018的执行的操作系统(图10中未示出)。以可执行程序代码的形式实现的应用程序1018可以由数据处理系统1000(例如由处理器1002)执行。响应于执行应用程序,数据处理系统1000可以被配置为执行本文描述的一个或多个操作或方法步骤。
进一步的变化和修改
该部分旨在提供对这里描述的视频系统的进一步细节和可能的变化和修改,例如,视频系统900,特别是关于通过HD、AC-耦合的传输链路 (例如链路930)的视频和控制数据传输,如本文所述。
图11示出根据本发明的一些实施方案的编码方案/编码器1100的示意图。如图11所示,数字视频输入数据(可以是RGB视频数据、YUV视频数据或可能由ISP处理的任何其他颜色空间数据)可以作为视频分量部分提供给编码器(与复合视频形成对比)。在一些实施方案中,编码器1100 可以是如上所述的发射器910。视频分量部分在图11中表示为信号1104a、 1104b和1104c,并且例如可以包括亮度分量1104a(例如Y或Y'亮度分量) 和色差信号1104b和1104c(例如色差信号U和V,或Pb和Pr信号)。或者,分量部分可以包括RAW输入数据的G、R和B分量。
在一些实施方案中,U和V(色度)分量部分相对于Y(亮度)分量部分的采样率可以是,例如4:4:4(没有色度信道的下采样)、4:2:2 (或2:1)水平下采样,没有垂直下采样,即每两个U或V采样包含4 个Y采样的扫描线,4:2:0(或2:1)水平下采样,采用2:1垂直下采样,4:1:1(或4:1)水平下采样,无垂直下采样。类似方案可适用于除YUV分量之外的视频分量1104。在各种实施方案中,在不脱离本公开的范围的情况下,可以单独或组合地采用任何幅度或程度的垂直下采样和 /或水平下采样。
数据可以通过连接图像传感器和编码器的并行或串行数字接口/端口进入编码器。与并行数字接口相比,串行数字接口可以有利地需要更少的引脚用于数据传输。可以从单个或多个相机或图像传感器接收信号。例如,在ADAS系统中,相机可以布置在车辆的不同部分上,每个部分面向不同的方向(尽管它们的视野可以重叠)。在这种情况下,由各种图像传感器产生的信号可以以顺序形式提供,或者可以组合或插入。另外,系统内的相机/图像传感器可以是静态的(也就是说,总是朝着同一个方向),或者它们可以是动态的(根据用户的机械或手动输入或基于控制设备执行的自动输入改变方向),或两者的组合。术语相机和图像传感器可以在整个公开内容中互换使用,作为要发送的视频数据的源。
分量视频部分1104a、1104b和1104c可以被提供给相应的数据缓冲块 1106a、1106b和1106c。在一些实施方案中,数据缓冲块1106a、b、c可以包括例如先进先出(FIFO)数据缓冲器。时钟信号1102可以被提供给缓冲器1106。在一些实施方案中,时钟信号1102可以经由锁相环(PLL) 1105提供,锁相环1105可以被配置为例如将输入时钟频率加倍或将输入时钟频率乘以预定义和/或用户定义的因子(例如,因子2,或其他整数或非整数倍)。
在一些实施方案中,可以在缓冲之前将分量视频部分1104a、b、c提供给相应的低通滤波器(LPF)1108a、b、c。可以针对每个分量部分/信号不同地配置LPF1108。例如,可以绕过亮度分量的LPF,或者亮度分量的 LPF可以配置为满足全采样率(即,没有抽取),而用于色度(色差)分量的LPF可以应用滤波和下采样,使得它们可以具有仅为亮度信号的一半或另一部分的带宽和输出数据速率。如上所述,不同的LPF速率可以反映要从发射器发送到接收器的视频线中的不同分量部分的分配比例。
此外,可以在块1112从同步脉冲信号S生成定时生成信号,并且还可以将该定时生成信号提供给多路复用器块1110。块1112还可以负责生成下游控制数据以在如上所述的各个分配的时隙中从发射器提供给接收器。
数据缓冲器的输出信号可以随后提供给至少一个多路复用器1110,用于时间多路复用(可以使用不同的多路复用装置),以及来自控制数据/同步块1112的输出信号(包括控制数据以及同步信号),以便产生多路复用信号输出。因此,控制数据和同步信号可以与视频数据分量部分信号时间复用,例如,如上面参考方法500所述。
在控制数据和同步信号组合/捕获块1120中,数字同步信号和下游控制数据可以被组合并提供给多路复用器1110。可以在它们各自的位置添加多个空白像素。在各种实施方案中,控制数据可以从各种源(例如I2C、串行外围接口(SPI)、通用输入/输出(GPIO)和其他接口/链路)收集,并且可以被格式化并打包成控制分组,可能产生并包括错误保护/检测代码以提供传输的稳健性。控制数据可以包括发射器数据、接收器响应数据和 /或其组合。还可以在框1120处接收接收器数据RD(上游)并将其转发到编码器外部的组件。可以在DAC块1118的输出处生成发射器输出数据。还可以将发送数据信号TD提供给FIFO缓冲器1126,并且随后提供给控制数据和同步信号组合块1120。可以将下游控制数据/分组插入到视频线内的分配时隙中。每个视频线可能有多个上游和多个下游控制时隙,以允许系统级别的控制数据的较低延迟/较高吞吐量。
得到的时间复用信号可以提供给DAC块1118,例如,DAC实现为图9所示的914中的转换器之一,用于在传输之前转换成模拟格式。编码器 1100最终可以输出编码的模拟信号1124,并且组合的链路信号1124可以包括由发射器的DAC块1118驱动的下游数据和由远程接收器在上游驱动的数据,组合链路信号1124经由模数转换块1122反馈给编码器,用于解码上游控制数据。
可选地,在一些实施方案中,可以将时间复用信号提供给增益/偏移调整块1114。以这种方式,可以在模拟转换之前以数字形式向信号提供增益 /偏移调整。这可以有利地提供视频信号电平的数字转换,以便为Hs-水平同步脉冲留出远离(低于)有效视频的空间。可选地或另外地,可以在数模转换之后提供信号增益/偏移调整。
在一些实施方案中,在将时间复用信号提供给DAC块1118和任何增益/偏移块之前,可以可选地将时间复用信号提供给内插块1116。这可以有利地在数模转换之前增强信号,并且可以有利地使其频谱图像在频率上移动得更高,从而产生优选的电磁发射频谱并且减少在接收器中对恢复的数据混叠假象的可能性。
在一些实施方案中,视频信号可以是包括时间复用的Y、U和V分量的720p逐行扫描视频流,其可以以148.5兆赫兹(MHz)的频率输出/定时,从而生成1280个Y样本、640个U样本、640个V样本,以及740 同步/消隐/数据/音频样本(在发射器和接收器之间划分)。因此,在一些实施方案中,U和V色度分量可以被下采样/具有比亮度分量更低的采样率而没有显着的感知质量损失。这些样本可以组合在一起并进行时间复用,以组成视频线持续时间约为22.2微秒(μs)的视频信号。
在一些这样的实施方案中,FIFO 1106的大小可以被布置为例如以每个8比特容纳Y、U和V分量样本的至少一整行不同组合(不包括过滤器延迟,即输入和响应之间的时间差),以及每个4比特的740个其他数据样本。如果输入数字视频数据是RAW图像传感器数据,则可以分配每个附加位(例如,10、12或14)。输入视频信号或线可以具有74.25MHz时钟频率,而输出可以以148.5MHz时钟频率呈现,因此可以比输入速率更快地读出数据。
在一些实施方案中,可以通过以297MHz或4400个时钟周期的速率采样将1080p逐行扫描视频流编码成长度为22.2μs的视频线,其产生例如 1920个Y样本、960个U样本、960个V样本和560个可用于同步、消隐、控制数据或音频数据的样本。
在一些实施方案中,数字输入视频可以是隔行数字视频。
根据本公开的各种实施方案的解码和编码方案有利地允许在上游和下游方向上传输控制数据,并且还通过控制数据共享和/或交换来增强发射器和接收器之间的通信。
可以接收在接收器处生成的控制数据,并通过发射器/接收器控制数据块将其发送回发射器(下文中称为发射器-接收器数据交换块)。这些数据可以由发射器以模拟形式通过这里描述的AC-耦合的链路接收,并且可能必须在发射器处理之前被转换成数字信号。可以将任何相关数据时间复用回时间复用信号以进行(重新)传输。
在各种实施方案中,控制数据的传输可以根据数据类型以不同的速率发生。例如,来自接收器的配置数据(例如,来自ECU、主机单元(HU) 或系统控制器到发射器(例如,用于相机或图像传感器)的数据),以及发射器到接收器之间的任何状态/错误数据,可以以相对低的速度(例如,典型的I2C传输速率)发送。在一些实施方案中,例如,如图8所示的400 千赫兹(kHz)I2C链路将导致每次写入60μs(即,3行720p/4行1080p)。
为了将控制数据与视频分量时间复用,可以分别为上游和下游方向分配(例如,预定义)时隙,例如,如上面参考方法500所述。在一些实施方案中,发射器和/或接收器可以被配置为从同步信号中识别和导出发送开始和停止提示。
在一些实施方案中,视频系统可以被配置为通过周期性(至少一次建立了视频链接)测量序列来考虑和测量电缆的飞行时间。接收器可以被配置为缓冲数据并在其指定的时隙期间快速发送数据以发送上游控制数据。
例如,400kHzI2C传输(3×8位)可能需要60μs或3行720p才能发送。因此,它可以在162纳秒(ns)内发送,但必须等到下一行用于响应,并且响应可能至少延迟到下一行。在系统级,发射器可伪造握手,发送数据,接收响应,并发送回发射器(例如,使用I2C脉冲/时钟拉伸)。
在一些实施方案中,例如,对于720p/1080p视频,控制数据时隙可以是2.48μs/0.94μs宽。
实际上,视频线路中的可用时间可以在一定程度上减少发射器和接收器之间的飞行时间并返回。例如,在10米(m)传输电缆/电线的情况下,飞行时间可以达到100ns,或者在148.5MHz处达到15个时钟周期。在一些实施方案中,可以在视频系统内(例如视频系统900)提供对该时隙宽度减小效果的补偿。例如,可以测量和补偿效果,特别是如果发射器和接收器时隙在同一视频线上。如果发送短持续时间的比特,这可能特别重要。在一些实施方案中,可以通过测量周期性(至少在建立链接后一次)测量序列来解决传输电缆向下的飞行时间。
在视频系统900的一些实施方案中,为了建立时隙,发射器可以指示接收器发送测试脉冲序列。接收器可以在时隙开始时相对于其接收的同步脉冲发送测试脉冲。发射器可以监听并测量其自身同步脉冲的到达时间。发射器可以将数据发送到接收器以通过特定或预定数量的样本来推进其数据。或者,时隙设置可以涉及乒乓协议,其中,例如,发射器可以触发接收器“通话”,或者可选地,接收器可以触发发射器“通话”。
图12示出了根据本公开示例性实施方案的解码方案/解码器1200的示意图。在一些实施方案中,解码器1200可以是如上所述的接收器920。如图12所示,在一些实施方案中,包括编码的发射器输出信号的输入信号 1204可以被提供给模数转换器1208以转换成数字形式。可选地,输入信号1204可以在模数转换之前提供给钳位元件1206,其可以有利地锚定信号的垂直位置以抵消平均图像电平(APL)的变化,特别适合如本文所述的AC-耦合的传输链路,因为偏置电压可随视频内容而改变。无论视频或同步幅度如何,钳位器件都可以帮助保持相关电平恒定。在一些实施方案中,钳位器件1206可包括例如同步尖端钳位或二极管钳位。
该信号可以随后被提供给增益/偏移校正块1210,以及同步或“同步”检测块1212。同步检测块1212可以输出定时参考信号1214,其然后可以由定时生成块1230使用以向接收器中的其他块提供定时信号,包括增益/ 偏移块1210、组合的上游控制数据格式化/下游控制数据恢复块1232和可选的滤波器1216。
在一些实施方案中,处理后的输入信号1204可以被转发到解复用块1218,在解复用块1218中,它被解复用成提供给各个缓冲器1220a、b、c、 d的单独分量(即三个视频组件和控制数据信号)。缓冲器可以包括FIFO 缓冲器。例如,可以相应地选择缓冲器大小,以便适应分量部分信号的每行所需的像素数。因此,缓冲区大小对于不同的分量部分可以是不同的。或者,可以在处理各种信号类型或结构(例如RAW数据)时相应地缩放缓冲器。FIFO缓冲器可以分别输出分量信号1222a、b、c和控制数据信号 1222d。
链路时钟信号1202可以通过同步检测块1212和定时生成块1230从嵌入在下游视频传输中的同步脉冲中恢复。链路时钟可以被提供给分频器块1240,其可以通过某个因子(例如2)划分时钟频率,以产生一个或多个像素读取时钟1205。块1240可以包括PLL或频率合成器,使其能够执行整数或非整数比率的除法。随后还可以将像素读取时钟信号1205提供给多个缓冲器1220a、b、c、d。
组合的上游控制数据格式化/下游控制数据恢复块1232可以从处理的输入信号1204接收任何控制数据(无论是定时的还是视频内容的),并且经由DAC块1234将任何相关数据提供回发射器。
图13提供了示出根据本公开的一些实施方案的两个示例视频系统架构的框图。
参考系统架构1300(图13中所示的上图),在相机模块1301内,RAW 图像数据可以由图像传感器1303生成,由ISP 1304转换为YUV视频,并准备通过发射器1305在电缆1308上传输,其中发射器1305可以是这里描述的任何发射器(例如,图9中所示的发射器910)。在ECU 1307内,传输由接收器1306接收,其中接收器1306可以是本文描述的任何接收器 (例如,图9中所示的接收器920),其将视频解码并输出为YUV视频数据给视频消费者1307(例如,图9中所示的视频消费设备922)。虽然未明确示出,但是承载例如I2C事务、GPIO和/或帧同步参考信号的上游控制数据可以从接收器1306通过相同的电缆1308流到发射器1305和/或超出到ISP 1304和/或图像传感器1303。
现在参考替代系统架构1310(图13中所示的下部图像),在相机模块 1311内,RAW图像数据可以由图像传感器1313生成,并且准备通过发射器1315在线缆1318上传输,其中发射器1315可以是本文描述的任何发射器(例如,图9中所示的发射器910)。在ECU 1317内,传输由接收器 1316接收,其中接收器1316可以是本文描述的任何接收器(例如,图9 中所示的接收器920),其将视频解码并输出为RAW图像数据到ISP 1314,其产生YUV视频数据并将其输出到视频消费者1317(例如,图9中所示的视频消费设备922)。虽然未明确示出,但是承载例如I2C事务、GPIO 和/或帧同步参考信号的上游控制数据可以从接收器1316通过相同的电缆 1318流到发射器1315和/或更多地流到图像传感器1313。这样的架构有利地使ISP能够位于ECU 1317中而不是空间和功率受限的相机模块1311中,如果使用已知的模拟视频传输链路则是不可能的架构。
转到视频传输的细节,在各种实施方案中,视频数据优选地作为时间复用分量视频传输。在各种实施方案中,传输可采用各种形式或精度级别 (8位或完整14位RAW数据)。
在一些实施方案中,分量部分可以被布置成类似的组,被计时到存储器中并且被延迟不同的量/时间段,例如,以更快的速率读出它们,使得它们在被多路复用到视频线上分配的时隙之前被时间压缩。
在一些实施方案中,单个视频分量可以分布在多个(例如,1到3个) 样本上以提供传输的鲁棒性。
在一些实施方案中,可以从I2C、SPIGPIO和其他接口收集控制数据,格式化并打包到控制分组中,生成并添加错误保护/检测代码以提供传输的稳健性。
在一些实施方案中,可以将下游控制分组插入到视频线内的其分配的时隙中。在一些实施方案中,每个视频线可以有多个上游和下游控制时隙,以允许更低的等待时间/更高的控制数据吞吐量。在一些实施方案中,链路线频率可以是输入视频的倍数。因此,在一些实施方案中,链路时钟速率可以大于或等于输入像素时钟速率。链路时钟可以是输入像素时钟速率的更高整数、有理数或分数倍,从而为每条视频线上的控制时隙提供更多空间。
在一些实施方案中,发射器可以保持时隙清楚,以便上游控制数据由发射器外部的系统中的其他设备添加。
在一些实施方案中,可任选地对本文描述的任何DAC的输出进行滤波,以便降低噪声或增强某些频带。
在一些实施方案中,在上游控制时隙和保护带期间,可以找到或检测参考开始信号,并且解码上游数据,检查错误并在相关控制接口上输出。
在一些实施方案中,传输电缆可以是电端接的,并且可以在发射器和接收器处AC-耦合。
在一些实施方案中,可以在发射器或编码侧应用数字去加重,并且通过接收器或解码侧中的逆滤波器进行补偿,以便控制来自电缆的发射。
每个视频线,包括垂直消隐和垂直同步线,可以包括下游控制信道时隙,以及上游控制信道时隙。或者,下游和上游控制信道可以分别在每隔一行中提供(即,第一视频线可以包括一个或多个下游控制信道时隙,并且后续的,例如,第二视频线可以包括一个或多个上游控制信道时隙)。其他变化也是可能的。
在一些实施方案中,视频信号优选地包括定义视频像素行开始(行首点)的水平同步脉冲。或者,水平同步脉冲可以定义行尾点。在一些实施方案中,视频信号优选地包括定义垂直帧起始点的垂直同步信号。水平和垂直同步信号的组合可以形成复合同步。
在一些实施方案中,可以提供每行两个控制时隙。在其他实施方案中,可以提供每行超过两个控制时隙。
在一些实施方案中,偏移校正码(OCC)可以包括在控制数据时隙中。 OCC可以包括关于视频线的平均电平的信息,其可以有利地被系统接收器用来改善视频钳位的质量,例如如上所述参考元数据的使用。
在一些实施方案中,可以提供控制时隙的不对称布置。例如,在一些实施方案中,可以提供比下游控制时隙更多的上游控制时隙。在一些实施方案中,可以保留初始化用于控制数据的传输,并且在初始化期间不传输视频数据,从而使得能够在短时间内通过链路远程配置相机模块,从而缩短上电时间以配置相机进行视频生成。
在一些实施方案中,接收器可以包括共模跟踪电路,该电路可以应用于来自电缆的信号,以便在它被滤波然后由ADC采样之前消除干扰信号在电缆上引起的共模偏移,干扰信号的时钟频率和相位可由数字PLL控制,数字PLL可配置为锁定信号内的嵌入式同步脉冲,从而确保发射器发送的每个像素在接收器中有一个样本。信号可以通过一个或多个数字处理块,包括SAG效应校正(也称为SAG)以校正由于AC-耦合的引起的伪像,并且通过数字均衡器,以便补偿电缆/传输信道中的任何损耗和/或反射。然后可以将经补偿的信号解复用为其颜色分量。嵌入的控制数据可以从它们在信号中分配的时隙中恢复,并且检查错误检测和保护代码以检查错误,成功接收的分组被确认给发射器,并且错误接收的分组被标记为发射器的NACK(未确认)。可以在适当的时隙中插入上游控制数据,以便将电缆传输回到发射器。
选择例子
本文所述的视频和控制链路是一种创新的新型相机链路技术,能够通过UTP电缆和非屏蔽连接器实现高清视频,从而能够实现从标准清晰度 (SD)到HD相机的简单升级路径,无需更改现有的电缆和连接器基础设施。本文所述的视频和控制链路能够使相机链路具有降低的系统成本,显着的重量减轻以及与替代解决方案相比增强的稳健性。如本文所述的发射器和接收器装置的组合实现了车辆中的无缝相机连接,并且对于汽车应用而言可以特别有利地为后视相机、环绕视图相机和电子镜提供稳健的相机链路解决方案。
例子1提供一种通过有线(即非无线)模拟传输链路在车辆中通信视频信号和控制数据的系统,该系统包括发射器、接收器和调度器。发射器被放置在车辆内的第一位置处并且被配置为接收由图像传感器获取的视频信号。接收器放置在车辆内的第二位置,其中所述第二位置与所述第一位置不同。调度器被配置为通过对视频信号的视频帧的至少一个或多个视频线中的每一个执行下列内容,通过有线模拟传输链路为发射器和接收器之间的数据交换分配时隙:分配多个时隙,用于通过有线模拟传输链路从发射器向接收器发送由图像传感器获取的视频信号的视频帧的单个视频线的多个基带(即,未在载波信号上调制)视频分量;分配一个或多个时隙,用于通过有线模拟传输链路(即,在用于传输视频分量的相同链路上) 从发射器发送到接收器,发送发射器控制数据(即发射器发送的数据,在此也称为“下游”数据,该数据不是表示由图像传感器获取的有效像素值的视频分量);以及分配一个或多个时隙,用于通过有线模拟传输链路(即,通过用于传输视频分量的相同链路)从接收器发送到发射器,发送接收器控制数据(即接收器发送的数据,在此也称为“上游”数据)。
例子2提供根据例子1的系统,其中有线模拟传输链路是单差分对传输链路。
例子3提供根据例子1的系统,其中有线模拟传输链路是单端有线传输链路。
例子4提供根据前述任一项的系统,其中有线模拟传输链路是在所述发射器和所述接收器之间的AC-耦合的模拟传输链路。
例子5提供根据例子4的系统,其中发射器控制数据包括指示由图像传感器获取的单个视频线的两个或更多个像素值的统计特性的元数据,并且其中元数据被配置为使所述接收器能够将一个或多个DC偏移校正技术应用于从所述发射器接收的多个视频分量。
例子6提供根据例子5的系统,其中统计特性是两个或更多个像素值的平均值(或均值)、和或中值。
例子7提供根据例子6的系统,其中所述调度器还被配置为分配一个或多个时隙,用于通过所述有线模拟传输链路从所述发射器向所述接收器发送多个测试脉冲,所述测试脉冲被配置为使所述接收器能够将一种或多种SAG补偿技术应用于从所述发射器接收的多个视频分量。在一些实施方案中,发射器数据还可以包括(即,调度器可以被配置为分配一个或多个时隙,用于通过有线模拟传输链路从发射器发送到接收器)多个测试脉冲(可以与例子7的脉冲相同或不同),使接收器能够应用一种或多种均衡技术和/或使接收器能够应用时钟相位恢复技术。
例子8提供根据前述任一项的系统,其中用于发送发射器控制数据的一个或多个时隙包括至少两个这样的时隙,该时隙被不用于发送发射器控制数据的一个或多个时隙彼此分开一个或多个时隙,和/或用于发送接收器控制数据的一个或多个时隙包括至少两个这样的时隙,该时隙被不用于发送接收器控制数据的一个或多个时隙彼此分开一个或多个时隙。
例子9提供根据前述任一项的系统,其中调度器进一步被配置为在用于发送发射器控制数据的一个或多个时隙之前和/或之后立即分配一个或多个保护频带时隙,和/或在用于发送接收器控制数据的一个或多个时隙之前和/或之后立即分配一个或多个保护频带时隙,其中所述发射器被配置为在一个或多个保护频带时隙和/或在用于发送接收器控制数据的一个或多个时隙中发送恒定电压信号。
例子10提供根据前述任一项的系统,其中所述多个分量包括第一组分量和第二组分量中的一个,第一组分量包括至少第一颜色分量和第二颜色分量(例如G和R分量),并且所述第二组分量至少包括亮度分量和颜色分量(例如Y和R分量)。在一些另外的实施方案中,第一组分量还可以包括第三颜色分量,使得第一组包括例如R、G和B分量。在一些另外的实施方案中,第二组分量还可以包括第二颜色分量,使得第二组包括例如Y、U和V分量。
例子11提供根据前述任一项的系统,其中分配用于发送多个分量的多个时隙包括用于多个分量中的每一个的单个(即,一个且仅一个)时隙。
例子12提供根据前述任一项的系统,其中用于发送单个视频线的多个分量的多个时隙的组合持续时间等于或短于从所述图像传感器向所述发射器提供单个视频线的时间。
例子13提供根据前述任一项的系统,其中所述调度器被配置为选择所述发射器和所述接收器之间的数据交换的传输速率,独立于输入像素时钟速率。
例子14提供一种用于在AC-耦合的视频系统中接收数据的视频接收器,视频接收器包括:构件,用于通过AC-耦合的模拟传输信道接收数据;构件,用于从接收的数据中提取视频信号数据,其中所述视频信号数据的每一行从多个时隙中提取,在接收的数据内,分配用于发送由图像传感器获取的视频信号的视频帧的单个视频线的多个基带视频分量;构件,用于从接收的数据中提取下游控制数据,其中所述下游控制数据从一个或多个时隙中提取,在接收的数据内,分配用于发送下游控制数据;和构件,用于通过所述AC-耦合的模拟传输信道发送上游控制数据,其中所述上游控制数据在分配用于发送上游控制数据的一个或多个时隙中发送。
例子15提供根据例子14的视频接收器,其中所述视频接收器设置在所述车辆内的第一位置,并且所述图像传感器设置在所述车辆内的第二位置内,所述第二位置不同于所述第一位置。
例子16提供根据例子14或15的视频接收器,其中所述视频接收器被配置为从发射器接收数据,通信地耦合到另外设备,并且被配置为使用所述上游控制数据和/或下游控制数据来执行以下中的一个或多个,协助所述另外设备修改所述发射器或通信耦合到发射器的一个或多个设备的操作设置(例如图像传感器和/或ISP),读取所述发射器或通信地耦合到所述发射器的一个或多个设备的状态信息。
例子17提供根据例子16的视频接收器,其中所述另外设备是车辆的系统控制器或微控制器单元.
例子18提供一种用于在AC-耦合的视频系统中发送数据的视频发射器,视频发射器包括:构件,用于通过AC-耦合的模拟传输信道发送视频信号数据,其中视频信号数据的每一行在分配用于发送视频信号数据的多个时隙中发送,并且包括由图像传感器获取的视频信号的视频帧的单个视频线的多个基带视频分量;构件,用于通过AC-耦合的模拟传输信道发送下游控制数据,其中所述下游控制数据在分配用于发送下游控制数据的一个或多个时隙中发送;和构件,用于通过AC-耦合的模拟传输信道接收上游控制数据,其中上游控制数据包括在分配用于将上游控制数据发送到视频发射器的一个或多个时隙中。
例子19提供根据例子18的视频发射器,其中所述视频发射器通信地耦合到所述图像传感器,并且被配置为根据由所述视频发射器接收的上游控制数据来辅助修改图像传感器设备的一个或多个操作设置。
例子20提供根据例子18或19的视频发射器,还包括:构件,用于通过AC-耦合的模拟传输信道在一个或多个保护频带时隙中和/或在分配用于将上游控制数据发送到视频发射器的一个或多个时隙中发送恒定电压信号,其中所述一个或多个保护频带时隙立刻在分配用于发送下游控制数据的一个或多个时隙之前和/或之后,和/或所述一个或多个保护频带时隙立刻在分配用于发送上游控制数据的一个或多个时隙之前和/或之后。
例子21提供一种编码方法,用于将图像传感器的数字输出信号编码成上述任何传输序列。这可以有利地允许视频数据的更鲁棒的传输。
例子22提供根据例子21的编码方法,还包括SAG效果降低机制或步骤。这可以有利地使得能够以可以恢复或至少在接收时基本上校正的方式准备视频数据以进行传输。
例子23提供一种解码方法,用于解码编码成上述传输序列之一的模拟输出。这可以有利地允许对发送的视频数据进行适当的解码。
例子24提供根据例子23的解码方法,还包括SAG效应降低机制和/ 或方法。这可以有利地改善接收信号的质量以供进一步处理和使用。
例子25提供一种编码装置,用于将图像传感器的数字输出信号编码成上述任何传输序列。这可以有利地允许对发送的视频数据进行适当的解码。
例子26提供一种解码装置,用于解码编码成上述传输序列之一的模拟输出。这可以有利地允许对发送的视频数据进行适当的解码。
例子27提供一种发射器,用于将图像传感器的数字输出信号编码成上述任何传输序列。这可以有利地允许对发送的视频数据进行适当的解码。
例子28提供一种接收器,用于解码编码成上述传输序列之一的模拟输出。这可以有利地允许对发送的视频数据进行适当的解码。
例子29提供传输信道/链路,其由电阻器或一端或两端的有效电阻端接。这可以有利地提高传输质量。
系统、发射器、接收器和前述示例中的任何一个的方法中的任何一个可以在车辆或监视系统中实现。此外,前述示例中的任一个的系统、发射器,接收器和方法中的任何一个可以包括或者通信地耦合/连接到图像传感器或相机,其被配置为获取将在如本文所述的AC-耦合的链路上传输的视频信号(或者,通常,视频/音频/图像信号,其可包括视频和/或音频和/或图像信号),其将通过如本文所述的AC-耦合的链路传输,其中相机可包括多个光学传感器(例如,光电二极管),其被配置为生成要在这种AC-耦合的链路上发送的视频/音频/图像信号的像素值。
其他实施说明、变型和应用程序
这里讨论的原理和优点可以用在任何可能需要HD、AC-耦合的信号和控制链路的设备或系统中,用于传送视频信号、音频信号和/或图像,以及双向控制数据。应当理解,根据本文描述的任何特定实施方案,不一定可以实现本文提到的所有目的或优点。因此,例如,本领域技术人员将认识到,某些实施方案可以被配置为以实现或优化本文所教导的一个优点或一组优点的方式操作,而不必实现本文可能教导或建议的其他目的或优点。
在一个示例实施方案中,图中的任何数量的电路可以在相关电子设备的板上实现。该板可以是通用电路板,其可以保持电子设备的内部电子系统的各种组件,并且还提供用于其他外围设备的连接器。更具体地,电路板可以提供电连接,系统的其他组件可以通过电连接进行电气通信。任何合适的处理器(包括DSP、微处理器、支持芯片组等)、计算机可读的非暂时性存储器元件等可以基于特定的配置需求、处理需求、计算机设计等适当地耦合到板。诸如外部存储器、附加传感器、用于音频/视频显示器的控制器和外围设备的其他组件可以作为插入式卡,通过电缆或者集成到板本身中而附接到板上。在各种实施方案中,本文描述的功能可以以仿真形式实现为在以支持这些功能的结构布置的一个或多个可配置(例如,可编程)元件内运行的软件或固件。提供仿真的软件或固件可以在非暂时性计算机可读存储介质上提供,该非暂时性计算机可读存储介质包括允许处理器执行那些功能的指令。
在另一示例实施方案中,图中的电路可以被实现为独立模块(例如,具有被配置为执行特定应用或功能的相关组件和电路的设备)或者作为插件模块实现为电子设备的专用硬件。注意,本公开的特定实施方案可以部分地或整体地容易地包括在片上系统(SOC)封装中。SOC表示将计算机或其他电子系统的组件集成到单个芯片中的IC。它可以包含数字、模拟、混合信号以及通常的射频功能:所有这些功能都可以在单个芯片衬底上提供。其他实施方案可以包括多芯片模块(MCM),其中多个单独的IC位于单个电子封装内并且被配置为通过电子封装彼此紧密地交互。在各种其他实施方案中,数字滤波器可以在专用集成电路(ASIC)、FPGA和其他半导体芯片中的一个或多个硅核中实现。
还必须注意,本文概述的所有规范、维度和关系(例如,处理器的数量、逻辑操作等)仅出于示例和教导的目的而提供。在不脱离本公开的精神或所附权利要求的范围的情况下,可以显着改变这样的信息。该说明书仅适用于一个非限制性示例,因此,它们应被解释为如此。在前面的描述中,已经参考组件的特定布置描述了示例实施方案。在不脱离所附权利要求的范围的情况下,可以对这些实施方案进行各种修改和改变。因此,说明书和附图应被视为说明性的而非限制性的。
注意,利用本文提供的众多示例,可以根据两个、三个、四个或更多个电子组件来描述交互。然而,这仅出于清楚和示例的目的而进行。应该理解,系统可以以任何合适的方式分发或合并。沿着类似的设计替代方案,图中所示的任何组件、模块和元件可以以各种可能的配置组合,所有这些配置显然都在本公开的广泛范围内。在某些情况下,仅通过参考有限数量的电气元件来描述给定流程集的一个或多个功能可能更容易。应当理解,附图及其教导的电路易于扩展,并且可以容纳大量组件,以及更复杂/复杂的布置和配置。因此,所提供的示例不应限制范围或抑制可能应用于无数其他架构的电路的广泛教导。
注意,在本公开中,参考“一个实施方案”、“示例实施方案”、“实施方案”、“另一个实施方案”、“一些实施方案”、“各种实施方案”、“其他实施方案”、“替代实施方案”等中包括的各种特征(例如,元件、结构、模块、组件、步骤、操作、特性等)旨在表示任何这样的特征包括在本公开的一个或多个实施方案中,但是可以或可以不必在相同的实施方案中组合。
同样重要的是要注意,与HD、AC-耦合的视频/音频/图像和控制链路相关的功能(那些在图5中所示的一个或多个过程中总结的那些)仅示出了可以由图中所示的系统(例如,图9和10中所示的系统)执行或在其内执行的一些可能的功能。在适当的情况下可以删除或移除这些操作中的一些,或者可以在不脱离本公开的范围的情况下显着地修改或改变这些操作。此外,这些操作的时间可能会大大改变。前面的操作流程,例如,如图5所示,已经出于示例和讨论的目的提供了它们。本文描述的实施方案提供了实质的灵活性,因为可以提供任何合适的布置、时间顺序、配置和定时机制而不脱离本公开的教导。
本领域技术人员可以确定许多其他改变、替换、变化、替代和修改,并且本公开旨在涵盖落入所附权利要求的范围内的所有这样的改变、替换、变化、替代和修改。注意,上述任何装置、设备或系统的所有可选特征也可以关于使用或操作所述装置设备或系统的方法或过程来实现,并且为在此描述的任何装置、设备或系统提供的示例中的细节可以在相应的方法或过程中的任何地方使用,反之亦然。
Claims (20)
1.一种用于通过有线模拟传输链路在车辆中通信视频信号和控制数据的系统,该系统包括:
发射器,放置在所述车辆内的第一位置,并被配置为接收由图像传感器获取的视频信号;
接收器,放置在所述车辆内的第二位置,其中所述第二位置与所述第一位置不同;
调度器,被配置为通过对所述视频信号的视频帧的至少一个视频线中的每一个通过执行以下来分配用于通过所述有线模拟传输链路在所述发射器和所述接收器之间交换数据的时隙:
分配用于通过所述有线模拟传输链路从所述发射器向所述接收器发送单个视频线的多个基带视频分量的多个时隙,
分配用于通过所述有线模拟传输链路从所述发射器向所述接收器发送发射器控制数据的一个或多个时隙,和
分配用于通过所述有线模拟传输链路从所述接收器到所述发射器发送接收器控制数据的一个或多个时隙。
2.根据权利要求1所述的系统,其中所述有线模拟传输链路是差分对传输链路。
3.根据权利要求1所述的系统,其中所述有线模拟传输链路是单端有线传输链路。
4.根据权利要求1所述的系统,其中所述有线模拟传输链路是在所述发射器和所述接收器之间的AC-耦合的模拟传输链路。
5.根据权利要求4所述的系统,其中所述发射器控制数据包括指示由所述图像传感器获取的单个视频线的两个或更多个像素值的统计特性的元数据,并且其中所述元数据被配置为使所述接收器能够将一个或多个DC偏移校正技术应用于从所述发射器接收的多个视频分量。
6.根据权利要求5所述的系统,其中所述统计特性是所述两个或更多个像素值的平均值、总和或中值。
7.根据权利要求6所述的系统,其中所述调度器还被配置为分配用于通过所述有线模拟传输链路从所述发射器向所述接收器发送多个测试脉冲的一个或多个时隙,所述多个测试脉冲被配置为使所述接收器能够将一种或多种SAG补偿技术应用于从所述发射器接收的多个视频分量。
8.根据权利要求1所述的系统,其中:
用于发送发射器控制数据的一个或多个时隙包括被不用于发送发射器控制数据的一个或多个时隙彼此分开的至少两个时隙,和/或
用于发送接收器控制数据的一个或多个时隙包括被不用于发送接收器控制数据的一个或多个时隙彼此分开的至少两个时隙。
9.根据权利要求1所述的系统,其中所述调度器进一步被配置为:
在用于发送发射器控制数据的一个或多个时隙之前和/或之后立即分配一个或多个保护频带时隙,和/或
在用于发送接收器控制数据的一个或多个时隙之前和/或之后立即分配一个或多个保护频带时隙,
其中所述发射器被配置为在一个或多个保护频带时隙和/或在用于发送接收器控制数据的一个或多个时隙中发送恒定电压信号。
10.根据权利要求1所述的系统,其中:
所述多个基带视频分量包括第一组分量和第二组分量中的一个,
所述第一组分量包括第一颜色分量和第二颜色分量,和
所述第二组分量至少包括亮度分量和颜色分量。
11.根据权利要求1所述的系统,其中分配用于发送所述多个基带视频分量的多个时隙包括用于所述多个基带视频分量中的每一个的单个时隙。
12.根据权利要求1所述的系统,其中用于发送单个视频线的所述多个基带视频分量的多个时隙的组合持续时间等于或短于从所述图像传感器向所述发射器提供单个视频线的时间。
13.根据权利要求1所述的系统,其中所述调度器被配置为选择所述发射器和所述接收器之间的数据交换的传输速率。
14.一种用于在AC-耦合的视频系统中接收数据的视频接收器,该视频接收器包括:
用于通过AC-耦合的模拟传输信道接收数据的构件;
用于从接收的数据中提取视频信号数据的构件,其中所述视频信号数据的每一行从接收的数据内的多个时隙中提取,所述多个时隙被分配用于发送由图像传感器获取的视频信号的视频帧的单个视频线的多个基带视频分量;
用于从接收的数据中提取下游控制数据的构件,其中所述下游控制数据从接收的数据内的一个或多个时隙中提取,所述一个或多个时隙被分配用于发送所述下游控制数据;和
用于通过所述AC-耦合的模拟传输信道发送上游控制数据的构件,其中所述上游控制数据在分配用于发送所述上游控制数据的一个或多个时隙中发送。
15.根据权利要求14所述的视频接收器,其中所述视频接收器设置在车辆内的第一位置,并且所述图像传感器设置在所述车辆内的第二位置内,所述第二位置不同于所述第一位置。
16.根据权利要求14所述的视频接收器,其中所述视频接收器被配置为从发射器接收数据,通信地耦合到另外设备,并且被配置为使用所述上游控制数据和/或下游控制数据来执行以下中的一个或多个:
协助所述另外设备修改所述发射器或通信耦合到所述发射器的一个或多个设备的操作设置,
读取所述发射器或通信地耦合到所述发射器的一个或多个设备的状态信息。
17.根据权利要求16所述的视频接收器,其中所述另外设备是车辆的系统控制器或微控制器单元。
18.一种用于在AC-耦合的视频系统中发送数据的视频发射器,该视频发射器包括:
用于通过AC-耦合的模拟传输信道发送视频信号数据的构件,其中所述视频信号数据的每一行在分配用于发送所述视频信号数据的多个时隙中发送,并且包括由图像传感器获取的视频信号的视频帧的单个视频线的多个基带视频分量;
用于通过AC-耦合的模拟传输信道发送下游控制数据的构件,其中所述下游控制数据在分配用于发送所述下游控制数据的一个或多个时隙中发送;和
用于通过AC-耦合的模拟传输信道接收上游控制数据的构件,其中所述上游控制数据包括在分配用于将所述上游控制数据发送到所述视频发射器的一个或多个时隙中。
19.根据权利要求18所述的视频发射器,其中所述视频发射器通信地耦合到所述图像传感器,并且被配置为根据由所述视频发射器接收的上游控制数据来协助修改图像传感器设备的一个或多个操作设置。
20.根据权利要求18所述的视频发射器,还包括:
用于通过AC-耦合的模拟传输信道在一个或多个保护频带时隙中和/或在分配用于将上游控制数据发送到所述视频发射器的一个或多个时隙中发送恒定电压信号的构件,
其中:
所述一个或多个保护频带时隙紧接在分配用于发送下游控制数据的一个或多个时隙之前和/或之后,和/或
所述一个或多个保护频带时隙紧接在分配用于发送上游控制数据的一个或多个时隙之前和/或之后。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862697664P | 2018-07-13 | 2018-07-13 | |
US62/697,664 | 2018-07-13 | ||
US16/174,356 | 2018-10-30 | ||
US16/174,356 US10623692B2 (en) | 2018-07-13 | 2018-10-30 | High definition analog video and control link for automotive applications |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110719417A CN110719417A (zh) | 2020-01-21 |
CN110719417B true CN110719417B (zh) | 2021-10-15 |
Family
ID=69139342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910626953.1A Active CN110719417B (zh) | 2018-07-13 | 2019-07-12 | 一种控制数据的系统、接收器和发射器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10623692B2 (zh) |
KR (1) | KR102641184B1 (zh) |
CN (1) | CN110719417B (zh) |
DE (1) | DE102019119037A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10855951B2 (en) * | 2018-07-13 | 2020-12-01 | Analog Devices Global Unlimited Company | Methods and devices for compensating sag effect |
EP3624355A1 (en) * | 2018-09-17 | 2020-03-18 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | A vehicle communication tool for retrofitting a wired communication and a method of its usage |
US10931476B2 (en) * | 2018-10-29 | 2021-02-23 | Analog Devices Global Unlimited Company | Content protection over synchronous data networks |
US11769257B2 (en) * | 2019-05-30 | 2023-09-26 | Honeywell International Inc. | Systems and methods for image aided navigation |
US11074081B2 (en) * | 2019-08-02 | 2021-07-27 | GM Global Technology Operations LLC | Architecture and method supporting multiple vision stream using shared server on embedded platform |
US11206180B2 (en) | 2020-05-06 | 2021-12-21 | Honeywell International Inc. | Methods, systems and apparatuses for implementing time-triggered ethernet (TTE) feature set scheduling with configuration-division multiplexing (CDM) to support in situ re-configuration and complex system commissioning |
CN115343964B (zh) * | 2022-08-17 | 2024-02-09 | 苏州泛科众维智能科技有限公司 | 一种用于自动驾驶测试的视频模拟设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1879438A (zh) * | 2003-12-10 | 2006-12-13 | 松下电器产业株式会社 | 站间传输方法、无线电基站监视方法、以及使用该方法的设备 |
US7295578B1 (en) * | 2001-09-12 | 2007-11-13 | Lyle James D | Method and apparatus for synchronizing auxiliary data and video data transmitted over a TMDS-like link |
CN101174926A (zh) * | 2006-10-31 | 2008-05-07 | 中兴通讯股份有限公司 | 一种无线Ad hoc网络视频传输链路质量检测方法 |
CN102037686A (zh) * | 2008-03-18 | 2011-04-27 | 罗伯特·博世有限公司 | 在无线车载网络中实现可靠通信的拓扑布置 |
CN102821004A (zh) * | 2012-07-30 | 2012-12-12 | 泉州市铁通电子设备有限公司 | 无线调度命令监测设备及无线调度命令传送系统 |
CN105119794A (zh) * | 2011-10-05 | 2015-12-02 | 美国亚德诺半导体公司 | 用于高速数据和电力分配的双线通信系统 |
CN107389120A (zh) * | 2016-08-30 | 2017-11-24 | 北京华力兴科技发展有限责任公司 | 车辆传输系统和车辆传输方法 |
CN107566986A (zh) * | 2017-08-28 | 2018-01-09 | 东软集团股份有限公司 | 用于车辆的数据传输方法、装置、可读存储介质及车辆 |
CN107888227A (zh) * | 2017-06-30 | 2018-04-06 | 比亚迪股份有限公司 | 列车车地通信方法、系统及应答器装置 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4376957A (en) | 1980-02-25 | 1983-03-15 | Rca Corporation | Transmission system with sequential time-compressed baseband color |
US4300161A (en) | 1980-03-03 | 1981-11-10 | Bell Telephone Laboratories, Incorporated | Time compression multiplexing of video signals |
US4335393A (en) | 1980-04-15 | 1982-06-15 | Harris Video Systems, Inc. | Method and system using sequentially encoded color and luminance processing of video type signals to improve picture quality |
US4410981A (en) | 1981-01-28 | 1983-10-18 | Rca Corporation | Simplified transmission system for sequential time-compression of two signals |
US4467368A (en) | 1981-08-12 | 1984-08-21 | Robert Bosch Gmbh | Method and means for recording and playback of color television signals |
NL8301013A (nl) | 1983-03-22 | 1984-10-16 | Philips Nv | Kleurentelevisie transmissie- respektievelijk informatieopslagsysteem met tijdmultiplexkodering en daartoe geschikte informatiegever en -ontvanger. |
US4593318A (en) | 1983-06-03 | 1986-06-03 | At&T Bell Laboratories | Technique for the time compression multiplexing of three television signals |
US4714959A (en) | 1986-07-22 | 1987-12-22 | Vicon Industries, Inc. | Bi-directional amplifier for control and video signals in a closed circuit television system |
JP2651872B2 (ja) | 1989-09-28 | 1997-09-10 | 松下電器産業株式会社 | Cctvシステム装置 |
US5559559A (en) | 1991-06-14 | 1996-09-24 | Wavephore, Inc. | Transmitting a secondary signal with dynamic injection level control |
US6345390B1 (en) | 1993-12-28 | 2002-02-05 | Hitachi Denshi Kabushiki Kaisha | Bidirectional digital signal transmission system and repeater for the same |
US5701581A (en) | 1993-12-28 | 1997-12-23 | Hitachi Denshi Kabushiki Kaisha | Method for bidirectionally transmitting digital video signal and digital video signal bidirectional transmission system |
US5614914A (en) * | 1994-09-06 | 1997-03-25 | Interdigital Technology Corporation | Wireless telephone distribution system with time and space diversity transmission for determining receiver location |
US5646569A (en) | 1995-08-30 | 1997-07-08 | Hewlett-Packard Company | Method and apparatus for AC coupling |
US6711590B1 (en) | 1998-07-10 | 2004-03-23 | Canon Kabushiki Kaisha | Linking metadata with a time-sequential digital signal |
US7218890B1 (en) * | 1998-08-07 | 2007-05-15 | Input/Output, Inc. | Seismic telemetry system |
US6600896B2 (en) * | 1999-06-25 | 2003-07-29 | Cocomo Mb Communications, Inc. | Exciter system and excitation methods for communications within and very near to vehicles |
US7684433B2 (en) | 2005-03-31 | 2010-03-23 | Sony Corporation | Method and apparatus for bi-directional communication between analog and digital devices |
US8243340B2 (en) | 2006-02-23 | 2012-08-14 | Microsoft Corporation | Pre-processing of image data for enhanced compression |
US7796194B2 (en) | 2006-09-06 | 2010-09-14 | Rgb Systems, Inc. | Automatic video format identification system |
JP5358931B2 (ja) * | 2007-11-28 | 2013-12-04 | ソニー株式会社 | 送信装置及び受信装置 |
US8928462B2 (en) * | 2011-05-06 | 2015-01-06 | Amtech Systems, LLC | RFID system with time slot interleaving |
JP5755592B2 (ja) | 2012-03-22 | 2015-07-29 | 株式会社ジャパンディスプレイ | 表示装置および電子機器 |
US9713675B2 (en) * | 2012-07-17 | 2017-07-25 | Elwha Llc | Unmanned device interaction methods and systems |
CA2847683A1 (en) * | 2014-03-28 | 2015-09-28 | Kapsch Trafficcom Ag | An electronic commerce transaction system using electronic toll collection transponders |
JPWO2016013147A1 (ja) | 2014-07-22 | 2017-04-27 | パナソニックIpマネジメント株式会社 | 符号化方法、復号方法、符号化装置および復号装置 |
EP3021579B1 (en) * | 2014-11-14 | 2016-10-12 | Axis AB | Method and encoder system for encoding video |
KR102414300B1 (ko) * | 2015-08-26 | 2022-06-30 | 삼성전자주식회사 | 디스플레이 구동 모듈 및 구동 방법과 이를 지원하는 전자 장치 |
US9521455B1 (en) | 2015-09-22 | 2016-12-13 | Rovi Guides, Inc. | Methods and systems for playing media |
KR102425345B1 (ko) * | 2015-09-30 | 2022-07-26 | 현대모비스 주식회사 | 차량용 오브젝트 리마인더 제공 장치 및 방법 |
KR102718457B1 (ko) * | 2016-07-14 | 2024-10-17 | 엘지이노텍 주식회사 | 영상 처리 장치 |
US10251211B1 (en) * | 2018-04-06 | 2019-04-02 | Nissan North America, Inc. | Vehicle connection maintenance system |
-
2018
- 2018-10-30 US US16/174,356 patent/US10623692B2/en active Active
-
2019
- 2019-07-12 KR KR1020190084309A patent/KR102641184B1/ko active IP Right Grant
- 2019-07-12 CN CN201910626953.1A patent/CN110719417B/zh active Active
- 2019-07-13 DE DE102019119037.1A patent/DE102019119037A1/de active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7295578B1 (en) * | 2001-09-12 | 2007-11-13 | Lyle James D | Method and apparatus for synchronizing auxiliary data and video data transmitted over a TMDS-like link |
CN1879438A (zh) * | 2003-12-10 | 2006-12-13 | 松下电器产业株式会社 | 站间传输方法、无线电基站监视方法、以及使用该方法的设备 |
CN101174926A (zh) * | 2006-10-31 | 2008-05-07 | 中兴通讯股份有限公司 | 一种无线Ad hoc网络视频传输链路质量检测方法 |
CN102037686A (zh) * | 2008-03-18 | 2011-04-27 | 罗伯特·博世有限公司 | 在无线车载网络中实现可靠通信的拓扑布置 |
CN105119794A (zh) * | 2011-10-05 | 2015-12-02 | 美国亚德诺半导体公司 | 用于高速数据和电力分配的双线通信系统 |
CN102821004A (zh) * | 2012-07-30 | 2012-12-12 | 泉州市铁通电子设备有限公司 | 无线调度命令监测设备及无线调度命令传送系统 |
CN107389120A (zh) * | 2016-08-30 | 2017-11-24 | 北京华力兴科技发展有限责任公司 | 车辆传输系统和车辆传输方法 |
CN107888227A (zh) * | 2017-06-30 | 2018-04-06 | 比亚迪股份有限公司 | 列车车地通信方法、系统及应答器装置 |
CN107566986A (zh) * | 2017-08-28 | 2018-01-09 | 东软集团股份有限公司 | 用于车辆的数据传输方法、装置、可读存储介质及车辆 |
Non-Patent Citations (1)
Title |
---|
《高速TDM-PON上行传输方案及突发模式DSP技术研究》;陈彦旭;《信息科技》;20180319;全文 * |
Also Published As
Publication number | Publication date |
---|---|
US20200021775A1 (en) | 2020-01-16 |
KR20200007723A (ko) | 2020-01-22 |
KR102641184B1 (ko) | 2024-02-26 |
DE102019119037A1 (de) | 2020-01-16 |
US10623692B2 (en) | 2020-04-14 |
CN110719417A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110719417B (zh) | 一种控制数据的系统、接收器和发射器 | |
US10789684B2 (en) | Method, apparatus, and system for multilevel bilateral noise filtering | |
CN111866417B (zh) | 用于减少周期性干扰信号对模拟视频传输的影响的视频线反转 | |
CN103888693A (zh) | 图像传输装置 | |
US20070263122A1 (en) | Digital Image Transmission Apparatus | |
TWI532374B (zh) | 訊號傳輸裝置及其傳送器與接收器 | |
KR102699390B1 (ko) | Sag 효과를 보상하기 위한 방법들 및 디바이스들 | |
CN217563710U (zh) | 一种mipi信号延长器 | |
CN205283706U (zh) | 一种高清模拟复合视频信号传输系统 | |
CN109286839B (zh) | eDP接口驱动方法与FPGA主控芯片 | |
US10750118B2 (en) | Using metadata for DC offset correction for an AC-coupled video link | |
US11736815B2 (en) | Interferer removal for reducing impact of periodic interference signals on analog video transmission | |
KR100874671B1 (ko) | 데이터 전송을 위한 장치 및 그 방법 | |
CN110072124B (zh) | 一种对视频信号进行复合的方法、装置及电子设备 | |
TW202322580A (zh) | 分配分段式取樣訊號及在電磁路徑傳送 | |
JP2004193970A (ja) | 画像データ処理装置 | |
US8705884B2 (en) | Image processing apparatus and method for controlling the same | |
CN100551085C (zh) | 一种供计算机切换器使用的线长测量装置及其测量方法 | |
JP5244448B2 (ja) | ライン長さ測定装置、検出装置およびビデオ信号送信装置 | |
CN100571334C (zh) | 一种电视信号彩度重建的系统和方法 | |
US20220166598A1 (en) | Transmission apparatus, reception apparatus, and transmission system | |
KR20230010194A (ko) | 이미지 신호 프로세서 리소스 관리 | |
CN103918254A (zh) | 具有补偿功能的视频解码系统 | |
JP2004101683A (ja) | 画像処理方法、および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220107 Address after: Limerick Patentee after: ANALOG DEVICES INTERNATIONAL UNLIMITED Co. Address before: Bermuda (UK), Hamilton Patentee before: Analog Devices Global Unlimited Co. |
|
TR01 | Transfer of patent right |