CN109922367A

CN109922367A - 视频输入端口

Info

Publication number: CN109922367A
Application number: CN201811462794.8A
Authority: CN
Inventors: C·J·布罗德赫斯特
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 2017-12-13
Filing date: 2018-12-03
Publication date: 2019-06-21
Anticipated expiration: 2038-12-03
Also published as: US11134297B2; US20190182531A1; US20220014810A1; CN109922367B; US11902612B2

Abstract

本申请公开视频输入端口。在所描述的示例中，视频集成电路(IC)芯片(56)包括接收视频流的视频输入端口(VIP)(54)。视频IC芯片(56)还包括耦合到非暂时性存储器(58)的处理单元(57)，并且被配置为检测提供给VIP(54)的数据流的存在，以致使VIP(54)将用于数据流的目标分区从存储器(58)中的给定分区切换到存储器(58)中的另一个分区，并将数据流写入存储器(58)中的另一个分区。

Description

视频输入端口

技术领域

本公开涉及经由集成电路芯片的视频输入端口接收数据流。

背景技术

单片系统或片上系统(SoC或SOC)是集成电路(IC)芯片，其集成了计算机或其他电子系统的组件。SoC可以在公共衬底上包含数字、模拟、混合信号和/或射频(RF)功能。SoC具有低等级的功耗。因此，SoC用于移动计算机、汽车计算机系统、嵌入式系统等。

SoC将微控制器(或微处理器)与高级外围设备(如图形处理单元(GPU)、Wi-Fi模块和/或协处理器)集成在一起。在一些示例中，SoC可以包括内置存储器。

低压差分信号或LVDS(也称为TIA/EIA-644)是一种技术标准，它规定了差分、串行通信协议的电气特性。LVDS以低功率运行，并且可以使用廉价的双绞铜线高速运行。

平板显示器链路(FPD-Link)是一种实现LVDS的高速数字视频接口。FPD-link提供了用于将来自膝上型计算机、平板计算机、平板显示器或液晶显示器(LCD)电视中的图形处理单元的输出连接到显示面板的控制器的标准。膝上型计算机、平板计算机、平板显示器和电视机在内部使用此接口。

发明内容

在第一示例中，视频集成电路(IC)芯片包括接收视频流的视频输入端口(VIP)。视频IC芯片还包括耦合到非暂时性存储器的处理单元，并且被配置为检测提供给VIP的数据流的存在，以致使VIP将用于数据流的目标分区从存储器中的给定分区切换到存储器中的另一个分区，并且将数据流写入存储器中的另一个分区。

在第二示例中，一种系统包括具有VIP的视频IC芯片，该VIP从远程IC芯片接收视频流。该系统还包括视频介质，其促进将视频流从远程IC芯片传送到VIP。VIP间歇地接收数据流并且视频IC芯片被配置为将用于数据流的目标分区从视频IC芯片的存储器的给定分区切换到视频IC芯片的存储器的另一个分区，并且将数据流写入到视频IC芯片的存储器的另一个分区。

在第三示例中，一种方法包括在视频IC芯片的VIP处接收从远程IC芯片发送的视频流。该方法还包括接收指示数据流被提供给视频IC芯片的VIP的控制信号。该方法还包括响应于接收到控制信号，将用于数据流的VIP的目标分区从存储器中的给定分区切换到存储器中的另一个分区。该方法还包括将视频流中的数据流写入视频IC芯片的存储器的另一个分区。

附图说明

图1是将视频流和数据流发送到视频集成电路(IC)芯片的视频输入端口(VIP)的系统的图。

图2是示出将视频流和数据流发送到视频IC芯片的VIP的系统的另一个图。

图3是用于在视频IC芯片的VIP处接收视频流和数据流的方法的流程图。

具体实施方式

视频集成电路(IC)芯片的视频输入端口(VIP)可以将输入的视频流解释为数据。因此，在所描述的示例中，视频IC芯片被配置/编程为检测数据流，该数据流与视频流同时(或代替视频流)经由VIP被提供给视频IC芯片。在这样的检测后，视频IC芯片可以将数据流写入视频IC芯片的存储器(数据存储设备)。

以这种方式，在远程IC芯片经由总线接口(例如，视频介质)连接到VIP的情况下，远程IC芯片可以提供数据流而无需在远程IC芯片和视频IC芯片之间添加另外的物理连接。

图1示出了用于将视频流和数据流(非视频数据)从远程集成电路(IC)芯片52发送到视频IC芯片56的视频输入端口(VIP)54的系统50的一个示例。视频流可以是表征一个或更多个图像的序列的数据。在一些示例中，视频流可以是原始视频数据或预处理的视频数据，诸如从图像捕获设备(例如，摄像机)提供的视频数据。系统50可以用于以下情况：受限空间可以用于远程IC芯片52和视频IC芯片56例如汽车系统和/或工业控制系统之间的物理连接。在一些示例中，VIP 54包括多通道原始视频解析器、各种视频处理块和灵活的视频端口直接存储器访问(VPDMA)引擎，以存储各种格式的输入视频。

视频IC芯片56可以实现为单片系统(SoC)。在一些示例中，视频IC芯片56包括处理单元57(例如，一个或更多个处理器核)，其执行存储在非暂时性存储器58(例如，易失性和/或非易失性机器可读介质)中的机器可读指令。

远程IC芯片52经由视频介质59向视频IC芯片56提供视频流和控制信号(控制层面上的信号)。视频介质59可以代表物理连接(例如，数据总线、电缆和/或一个或更多个导体的组)，其建立远程IC芯片52和视频IC芯片56之间的通信。作为一个示例，视频介质59包括用于建立串行通信信道的IC芯片(和/或其他电路组件)。在一些示例中，视频介质59的长度可达约10米或更短。在其他示例中，视频介质59可以是几乎任何长度。在至少一些示例中，视频介质59用低压差分信号(LVDS)标准例如FPD-link实现。

视频流可以实现为从远程IC芯片52到视频IC芯片56的VIP 54的单向高速数据链路(例如，每秒1千兆位(Gbps)或更多)。另外，控制信号可以是远程IC芯片52和视频IC芯片56之间的相对低速的双向通信信号(例如，10Mbps或更低)。在这种情况下，视频流和控制层面可以被多路复用并通过视频介质56发送。

控制信号(在图1中标记为“控制信号”)可以指示视频流正从远程IC芯片52被发送。响应于在VIP 54处接收到视频流，执行存储在视频IC芯片56的存储器58中的流控制60的处理单元57对视频流进行编码并将视频流存储在存储器58中。在一些示例中，视频IC芯片56在显示器上输出编码的视频流。

周期性地和/或异步地，可能希望远程IC芯片52向视频IC芯片56提供数据流。如本文所使用的，术语“数据流”表示非视频数据(例如，视频数据以外的数据)的流。在一些示例中，数据流实现对视频IC芯片56的固件更新。在其他示例中，数据流可以表示几乎任何类型的非视频数据。

为了发起数据流的发送，远程IC芯片52在控制信号中提供通信信息(例如，代码)以指示数据流即将到来。作为响应，执行流控制60的处理单元57使用控制信号来确认即将发生的(pending)数据流。

远程IC芯片52将数据流与视频流并行发送或以数据流代替视频流发送。因此，为了简化说明，在图1中，从远程IC芯片52到远程IC芯片52的VIP54的信号被标记为“视频/数据流”。然而，应该理解，在任何给定时间，“视频/数据流”可以具有视频流、数据流或两者。

响应于发送数据流的控制信号中的通知，执行流控制60的处理单元57致使VIP 54将数据流路由到视频IC芯片56的存储器58。具体地，如本文所讨论的，执行流控制60的处理单元57致使VIP 54将用于数据流的存储器130的目标分区从存储器58的给定分区切换到存储器58的另一个分区，并且在VPDMA操作中将数据流写入存储器58的另一个分区。

如上所述，在一些情况下，视频流和数据流由远程IC芯片52并行发送，其被称为组合的视频/数据流。在这种情况下，执行视频IC芯片56的流控制60的处理单元57可以被配置/编程为独立地将每个流的内容写入存储器58。

在完成数据流的传送后，远程IC芯片52改变控制信号以指示视频流被提供。作为响应，执行视频IC芯片56的流控制60的处理单元57致使VIP 54以本文描述的方式处理视频流。流控制60可以被实现为存储在视频IC芯片56的存储器58上的机器可读指令。

通过使用系统50，可以采用相同的物理连接(视频介质59)来传送视频流和/或数据流。以这种方式，避免了对视频流和数据流的单独物理连接的需要。因此，系统50可以被改装(例如，通过更新软件)到现有系统中，而无需在远程IC芯片52和视频IC芯片56之间添加第二物理连接。

图2示出了用于从远程集成电路(IC)芯片向视频IC芯片102提供视频流和数据流的系统100的另一个示例。系统100可以例如，在诸如交通工具或工业控制系统的空间受限的环境中实现。在一些示例中，远程IC芯片104可以代表具有处理器内核诸如微控制器等的IC芯片。在其他示例中，远程IC芯片104可以代表专用集成电路(ASIC)芯片。

远程IC芯片104从视频传感器106接收视频流。视频传感器106可以被实现为可以捕获如箭头108所指示的图像或图像流的几乎任何设备。视频传感器106例如，可以是摄像机、静止帧摄像机等。另外，在一些示例中，视频传感器106和远程IC芯片104可以集成在远程设备110上。作为一个示例，远程设备110可以是交通工具上的备用摄像机。在其他示例中，远程设备110可以是在工业机器上实现的单元。

远程IC芯片104和视频IC芯片102经由视频介质112进行通信。视频介质112在第一发送器/接收器模块116(TX/RX MOD 1)和第二发送器/接收器模块(TX/RX MOD 2)118之间提供通信信道114。在一些示例中，第一TX/RX模块116被实现为串行器IC芯片，第二TX/RX模块118利用解串器IC芯片实现。通信信道114是支持单向高速数据链路(例如，大约1Gbps或更高)和相对低速(例如，10Mbps或更低)双向控制信道的通信路径。通信信道114可以实现为低压差分信号(LVDS)链路，诸如FPD-link。通信信道114可以实现为传输单向高速数据链路和相对低速双向控制信道的单个导体或一组导体。也就是说，在至少一个示例中，单向高速数据链路和低速数据链路被多路复用并在相同导体或导体组上传输。

远程IC芯片104从视频传感器106接收视频信号。远程IC芯片104将视频信号数字化以产生视频流，该视频流被实现为表征一个或更多个捕获的图像的数字数据的流。在一些示例中，视频流可以被实现为原始视频流，其除了数字化之外几乎没有视频处理。

视频流在一组视频数据引脚(VDP)120上被发送到第一TX/RX模块116(在图2中标记为“视频/数据流”)。如本文所讨论的，在给定时间时，所示的视频/数据流可包括视频流、(非视频数据的)数据流或其组合。视频流可以表示多个信号，这些信号可以包括但不限于水平同步(HSYNC)信号、垂直同步(VSYNC)、像素时钟等。第一TX/RX模块116使视频流串行化并通过通信信道114将原始视频流经由高速数据链路发送到第二TX/RX模块118。

另外，远程IC芯片104生成识别视频流的控制信号(在图2中标记为“控制信号”)。在一些示例中，在控制层面上提供控制信号。控制信号可以是，例如，在远程IC芯片104的通用输入/输出(GPIO)引脚122处施加的代码。以这种方式，控制信号可以是写入第一TX/RX模块116的寄存器(例如，临时(scratch)寄存器)的数字值。在其他示例中，控制信号可以与视频流信号集成。第一TX/RX模块116将控制信号(例如，作为寄存器值)经由通信信道114与视频流一起经由低速控制信道发送。在第一操作模式(下文中，“第一操作模式”)中，假设控制信号指示视频流包含视频数据。

第二TX/RX模块118对视频流进行解串和解码(如果需要)，并将解码的视频流转发到视频IC芯片102的视频输入端口(VIP)124。在至少一个示例中，第二TX/RX模块118(由远程IC芯片104的GPIO端口122控制)将控制信号写入可由视频IC芯片102的GPIO引脚126访问的寄存器。在另一个示例中，控制信号与视频流集成。应理解，控制层面是双向的。也就是说，控制信号可以由远程IC芯片104和视频IC芯片102两者生成和读取。

视频IC芯片102可以实现为通用或专用计算机芯片，诸如单片系统(SoC)。视频IC芯片102包括处理单元128，其被实现为一个或更多个处理器内核。在一些示例中，处理单元128可以实现为ARM处理器或x86处理器。例如，处理单元128可以实现为Cortex系列处理器。在这种情况下，视频IC芯片102可以实现为来自德克萨斯仪器股份有限公司(TexasInstruments^TM)的DRA7xx设备处理器或ARM57xx设备。应当理解，可以替代地采用其他类型的处理单元。

视频IC芯片102包括非暂时性存储器130。存储器130存储数据和机器可读指令。存储器130可以包括易失性和/或非易失性存储器。在一些示例中，存储器130可以是随机存取存储器(RAM)、闪存或其组合。存储器130包括流控制131，其在执行时致使处理单元128控制向存储器130写入数据。另外，存储器130包括用于存储数据的多个分区。具体地，存储器130包括视频存储器分区132(在图2中标记为“V-MEM”)和通用存储器134(在图2中标记为“G-MEM”)。应理解，在其他示例中，可以实现附加分区。在其他示例中，可以集成视频存储器132和通用存储器134。

提供给视频IC芯片102的GPIO引脚126的控制信号由处理单元128采用，处理器单元128执行流控制131以控制视频IC芯片102的操作。具体地，在第一操作模式中，处理单元128执行流控制131可以读取控制信号并致使视频IC芯片102以视频模式操作。在视频模式中，VIP 124将视频流转发到VIP 124的视频端口直接存储器访问(VPDMA)136。作为响应，在至少一个示例中，在直接存储器访问(DMA)写入中，VPDMA 136将视频流传送到存储器130的视频存储器132。

响应于将视频流写入视频存储器132，执行流控制131的处理单元128访问视频流并在显示器140上输出视频流(或其一部分)，或者将视频流编码为预定格式。预定格式可以是，例如，运动图像专家组第4部分(MPEG-4)格式、联合图像专家组(JPEG)格式、标记图像文件格式(TIFF)等。如上所述，远程设备110可以实现为备用摄像机。在这种情况下，显示器140可以实现为内置式交通工具显示器。

在第二操作模式(下文中，“第二操作模式”)中，远程设备110被配置为向视频IC芯片102提供(非视频)数据流。配置系统100使得数据流可以与视频流复用，以形成同时提供视频流和数据流的(组合的)视频/数据流信号。此外，在一些示例中，远程IC芯片104可以暂时停止视频流并单独提供数据流。

数据流可以由远程设备110间歇地和/或周期性地提供。作为一个示例，数据流被提供给视频IC芯片102以促进对视频IC芯片102的固件更新。但是，应理解，数据流中的数据可以是几乎任何类型的非视频数据。在确定数据流应该被提供给视频IC芯片102后，远程IC芯片104设置控制信号以指示(非视频)数据正在VDP 120处被提供。例如，在至少一个示例中，远程IC芯片104将GPIO引脚122设置为指示数据流正在VDP 120处被输出的值。视频介质102经由相对低速控制信道发送控制信号。

远程IC芯片104将数据流添加到VDP 120的输出，使得VDP 120将视频/数据流发送到第一TX/RX模块116。替代性地，如所指出的，远程IC芯片104可以停止视频流并将数据流从VDP 120提供给第一TX/RX模块116。第一TX/RX模块116使视频/数据流串行化并以类似于第一操作模式中的视频流的传输的方式，经由高速数据链路经由通信信道114将组合的视频/数据流或专用数据流提供给第二TX/RX模块118。

第二TX/RX模块118将视频/数据流提供给视频IC芯片102的VIP 124。另外，视频IC芯片102的GPIO引脚126接收控制信号，其(在第二操作模式中)具有指示数据流被提供的值。作为响应，处理单元128(其执行流控制131)致使视频IC芯片以混杂(miscellaneous)数据模式操作。在混杂数据模式中，处理单元131向VPDMA 136发信号通知数据流(具有非视频数据)被包括在视频/数据流中。作为响应，VPDMA 136将用于数据流的目标分区从视频存储器132切换到通用存储器134，并将数据流写入通用存储器134而不进行修改(处理)。在一些示例中，VPDMA 136可以执行直接存储器访问(DMA)操作以将数据流写入通用存储器134。

如所指出的，在至少一个示例中，视频/数据流同时携带视频流和数据流两者。在这种情况下，视频/数据流中的给定部分的位可以专用于视频，而视频/数据流中的另一部分的位专用于数据流。例如，在视频IC芯片102被实现为DRA7xx或AM57xx IC芯片的示例中，数据流可以被提供为24位RGB888帧的12位，并且视频流可以在RGB888帧的另外12位中被提供。在这种情况下，VPDMA 136可以将专用于数据流的位写入通用存储器134，并且VPDMA136可以处理专用于视频流的位以写入视频存储器132。

另外，如所指出的，在至少一个其他示例中，可以暂时停止视频流以传输数据流。在这种情况下，视频/数据流上的有效位(或其某个子集)的每个专用于数据流。在这种情况下，VPDMA136可以将有效位写入通用存储器134。

在至少一个示例中，数据流具有多个帧。在这种情况下，初始(第一)帧标识预期帧数、有效载荷长度和有效载荷的循环冗余校验(CRC)。这可以确保由远程IC芯片104递送完整的数据流。另外，初始帧中的数据可以由执行视频IC芯片102的流控制131的处理单元128使用以确定何时将经由控制信号提供确认(ACK)包或否定确认(NAK)包(例如，由于损坏或超时)。应当理解，在其他示例中，执行视频IC芯片的流控制131的处理单元128可以采用其他方法和/或信号。

在完成数据流的传输后，远程IC芯片104改变控制信号以指示视频流的传输(指示没有非视频数据)，与第一操作模式一致。在这种情况下，在检测到控制信号后，执行流控制131的处理单元128将视频IC芯片102返回到视频模式，以便以本文描述的方式处理输入视频流。

通过使用系统100，可以经由VIP 124将数据流(非视频数据)传输到视频IC芯片102。以这种方式，在单个通信信道(例如，通信信道114)耦合远程IC芯片104和视频IC芯片102的情况下，通信信道114可以用于数据流和视频流两者。因此，系统100不需要用于视频流和数据流的远程IC芯片104和视频IC芯片102之间的单独物理数据路径。在某些情况下，诸如汽车系统和工业控制系统，运行单独的物理线路将是昂贵的和/或不可行的。

鉴于上述结构和功能特征，参考图3将更好地理解示例方法。虽然为了简化说明的目的，图3的示例方法被示出和描述为连续地执行，但应理解和明白，本示例不受所示顺序的限制，因为在其他示例中，某些动作可以以与本文示出和描述相比不同的顺序、多次和/或同时发生。此外，不必执行所有描述的动作来实现方法。

图3示出了用于经由视频IC芯片的VIP传送数据流的示例方法200的流程图。例如，可以通过图1的视频IC芯片56和/或图2的102来实现方法200。

在210处，视频IC芯片在VIP(视频输入端口)处接收视频流。在220处，视频IC芯片将视频流写入存储器(例如，视频存储器)。

在230处，视频IC芯片接收控制信号，该控制信号指示数据流将被提供给VIP。在240处，视频IC芯片在VIP上接收数据流。在250处，视频IC芯片在直接存储器访问操作中将VIP上的一部分输入信号(例如，组合的视频/数据流)写入存储器。

在本说明书中，术语“基于”意味着至少部分地基于。在权利要求的范围内，在所描述的实施例中，修改是可能的，并且其他实施例也是可能的。

Claims

1.一种视频集成电路芯片即视频IC芯片，包括：

视频输入端口即VIP，其接收视频流；和

处理单元，其耦合到非暂时性存储器，并且被配置为检测提供给所述VIP的数据流的存在，致使所述VIP将用于所述数据流的目标分区从所述存储器中的给定分区切换到所述存储器中的另一个分区，并且将所述数据流写入所述存储器中的所述另一个分区。

2.根据权利要求1所述的视频IC芯片，还包括：

至少一个通用输入/输出引脚即至少一个GPIO引脚，其接收表征发送到所述VIP的数据类型的控制信号。

3.根据权利要求2所述的视频IC芯片，其中，响应于指示所述数据流的存在的所述控制信号，所述处理单元致使视频端口直接存储器访问即VPDMA将所述数据流写入所述存储器。

4.根据权利要求1所述的视频IC芯片，其中，所述视频流是从远程IC芯片发送的，并且所述远程IC芯片和所述视频IC芯片经由视频介质进行通信。

5.根据权利要求1所述的视频IC芯片，其中，所述视频流是从远程IC芯片发送的，并且所述视频介质包括：

第一发送和接收模块，其与所述远程IC芯片通信；和

第二发送和接收模块，其与所述视频IC芯片通信。

6.根据权利要求1所述的视频IC芯片，其中所述第一发送和接收模块以及所述第二发送和接收模块经由串行通信信道进行通信。

7.根据权利要求6所述的视频IC芯片，其中，所述串行通信信道是平板显示器链路即FPD-link。

8.根据权利要求6所述的视频IC芯片，其中，所述通信信道包括单向数据链路和双向控制信道。

9.根据权利要求1所述的视频IC芯片，其中，所述VIP同时接收所述视频流和所述数据流。

10.根据权利要求1所述的视频IC芯片，其中，所述处理单元被配置为致使所述VIP对所述视频流进行编码，并且将编码的视频流写入所述存储器。

11.根据权利要求10所述的视频IC芯片，其中，所述编码的视频流存储在所述存储器的所述给定分区中，并且所述数据流存储在所述存储器的所述另一分区中。

12.根据权利要求10所述的视频IC芯片，其中，所述视频IC芯片利用所述编码的视频流驱动显示器。

13.一种系统，包括：

视频集成电路芯片即视频IC芯片，其包括从远程IC芯片接收视频流的视频输入端口即VIP；和

视频介质，其促进将所述视频流从所述远程IC芯片传送到所述VIP；

其中，所述VIP间歇地接收数据流并且所述视频IC芯片被配置为将用于所述数据流的目标分区从所述视频IC芯片的存储器中的给定分区切换到所述视频IC芯片的所述存储器中的另一个分区，并且将所述数据流写入所述视频IC芯片的所述存储器中的所述另一个分区。

14.根据权利要求13所述的系统，其中所述视频介质包括：

解串器；和

串行器，其接收来自所述远程IC芯片的所述视频流和控制信号，并且使所述视频流和所述控制信号串行化，以用于在所述串行器和所述解串器之间的通信信道上进行通信；

其中，所述解串器使所述视频流和所述控制信号解串，并且将所述视频流提供给所述视频IC芯片的所述VIP。

15.根据权利要求14所述的系统，其中，所述串行器从所述远程IC芯片的至少一个通用输入/输出引脚即至少一个GPIO引脚接收所述控制信号，并且所述解串器将所述控制信号提供给所述视频IC芯片的至少一个GPIO。

16.根据权利要求13所述的系统，其中，所述控制信号识别所述数据流被提供给所述视频IC芯片的所述VIP的时间。

17.根据权利要求13所述的系统，其中，所述视频介质提供所述视频IC芯片和所述远程IC芯片之间的唯一通信路径。

18.一种方法，包括：

在视频集成电路芯片即视频IC芯片的视频输入端口即VIP处接收视频流；

接收指示数据流被提供给所述视频IC芯片的所述VIP的控制信号；

响应于接收到所述控制信号，将用于所述数据流的所述VIP的目标分区从存储器中的给定分区切换到存储器中的另一分区；和

将所述视频流中的所述数据流写入所述视频IC芯片的所述存储器的所述另一个分区。

19.根据权利要求18所述的方法，还包括：

将所述视频流写入所述IC芯片的所述存储器的所述给定分区。

20.根据权利要求19所述的方法，其中，在所述视频IC芯片的所述VIP处同时接收所述数据流和所述视频流。