CN117499576A - 视频系统及芯片 - Google Patents

视频系统及芯片 Download PDF

Info

Publication number
CN117499576A
CN117499576A CN202311574653.6A CN202311574653A CN117499576A CN 117499576 A CN117499576 A CN 117499576A CN 202311574653 A CN202311574653 A CN 202311574653A CN 117499576 A CN117499576 A CN 117499576A
Authority
CN
China
Prior art keywords
module
video data
data
video
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311574653.6A
Other languages
English (en)
Inventor
詹建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ava Electronic Technology Co Ltd
Original Assignee
Ava Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ava Electronic Technology Co Ltd filed Critical Ava Electronic Technology Co Ltd
Priority to CN202311574653.6A priority Critical patent/CN117499576A/zh
Publication of CN117499576A publication Critical patent/CN117499576A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种视频系统及芯片。其中,该视频系统,其特征在于,包括:SENSOR模组、近端装置和远端装置;其中,近端装置包括:近端核心模组;近端核心模组包括:采集转换模块、封包模块和近端通信模块;近端核心模组采集SENSOR模组生成的bayer RAW格式视频数据并根据传输所需的协议进行封装发送;近端通信模块用于发送数据给远端模块;远端装置包括:远端核心模组;远端核心模组包括:远端通信模块和远端ISP;远端核心模组用于接收并拆分出bayer RAW格式视频数据,对拆分出的视频数据进行处理并转化成目标格式的视频数据。本发明能够大大减降低传输过程中因处理数据而造成的延迟。

Description

视频系统及芯片
技术领域
本发明涉及视频芯片的技术领域,更具体地,涉及一种视频系统及芯片。
背景技术
在传统视频会议系统中,使用的芯片架构通常基于多核处理器或专用的视频编解码器。多核处理器通过并行处理来分担视频编解码和数据传输的负载。虽然多核处理器在处理复杂任务时表现出色,但在实时视频会议中存在延迟和性能限制。传统的视频编解码器通常使用标准的视频编码算法,如H.264或H.265,以实现高效的压缩和传输。然而,这些编码算法通常需要较长的编码和解码时间,导致传统视频会议系统存在较高的延迟。此外,数据传输和网络延迟也会对视频会议的实时性和质量产生影响。
发明内容
本发明为克服上述现有技术中视频传输延时长的缺陷,提供一种超低延时的视频系统及芯片,本发明采用的技术方案如下。
第一方面,本发明提供一种视频系统,包括:SENSOR模组、近端装置和远端装置;
其中,SENSOR模组用于将模拟信号转成数字信号,并生成bayer RAW格式视频数据;
近端装置包括:近端核心模组;
近端核心模组包括:采集转换模块、封包模块和近端通信模块;
采集转换模块用于采集SENSOR模组生成的bayer RAW格式视频数据;
封包模块用于根据传输所需的协议对待传输数据进行封装,生成封装后的待发送数据,其中,所述待传输数据包括采集转换模块采集的bayer RAW格式视频数据;
近端通信模块用于将所述待发送数据发送给远端模块;
所述远端装置包括:远端核心模组;
所述远端核心模组包括:远端通信模块和远端ISP;
远端通信模块用于接收并解析近端装置发送的数据,并对接收到的数据进行拆分,其中,拆分出的数据包括bayer RAW格式视频数据;
远端ISP用于对拆分出的bayer RAW格式视频数据进行处理并转化成目标格式的视频数据。
在一种实施方式中,所述近端核心模组还包括:
近端ISP,用于根据采集转换模块采集的bayer RAW格式视频数据控制所述SENSOR模组,以实现对SENSOR模组的拍摄参数的自动控制。
在一种实施方式中,所述近端ISP还用于对采集转换模块采集的bayer RAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据;
近端通信模块还用于发送所述YUV或RGB格式的视频数据。
在一种实施方式中,所述近端核心模组还包括:
编码器,用于对近端ISP转化后的视频数据进行编码,生成编码后的视频数据;
近端通信模块还用于发送所述编码后的视频数据。
在一种实施方式中,所述近端ISP还用于对接收到的bayer RAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据;
所述近端核心模组还包括:编码器;
所述编码器用于对近端ISP转化后的视频数据进行编码,生成编码后的视频数据;
所述近端通信模块还用于发送所述编码后的视频数据。
在一种实施方式中,所述近端通信模块还用于接收控制信号,并根据控制信号在近端核心模组生成的视频数据中选择一种视频数据发送。
在一种实施方式中,远端核心模组还包括:SOC模块;
所述SOC模块用于接收外界的控制指令,并根据所述控制指令生成控制信号,其中,所述控制信号用于控制远端ISP、SENSOR模组和近端核心模组。
在一种实施方式中,近端通信模块与远端通信模块之间以SDI线、网线或光纤的形式传输数据。
第二方面,本发明提供一种芯片,其特征在于,包括前述中的近端核心模组或前述中的远端核心模组。
本发明中,直接将编码和解码流程去掉,故这方案比传统视频会议方案少了“编码-解码”环节,不仅大大减降低了传输过程中因处理数据而造成的延迟,并且还能避免因“编码-解码”环节而造成的视频图像质量损失。
附图说明
图1是本发明实施例一一实施方式的视频系统示意图。
图2是本发明实施例一的一实施方式的近端装置示意图。
图3是本发明实施例一的另一实施方式的近端装置示意图。
图4是本发明实施例一的又一实施方式的近端装置示意图。
图5是本发明实施例一的再一实施方式的近端装置示意图。
图6是本发明实施例一另一实施方式的视频系统示意图。
图7是本发明实施例二的芯片的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是,本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\……”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
实施例一
请参见图1,图1为本发明实施例一的视频系统的整体结构示意图。该视频系统,包括:SENSOR模组1、近端装置2和远端装置3。
其中,SENSOR模组1用于将模拟信号转成数字信号,并生成bayer RAW格式视频数据。
近端装置2包括:近端核心模组200;
近端核心模组200包括:采集转换模块210、封包模块220和近端通信模块230。
采集转换模块210用于采集SENSOR模组1生成的bayer RAW格式视频数据;
封包模块220用于根据传输所需的协议对待传输数据进行封装,生成封装后的待发送数据,其中,所述待传输数据包括采集转换模块采集的bayer RAW格式视频数据;
近端通信模块230用于将所述待发送数据发送给远端模块。
所述远端装置3包括:远端核心模组300;
所述远端核心模组300包括:远端通信模块310和远端ISP 320。
远端通信模块310用于接收并解析近端装置发送的数据,并对接收到的数据进行拆分,其中,拆分出的数据包括bayer RAW格式视频数据;
远端ISP 320用于对拆分出的bayer RAW格式视频数据进行处理并转化成目标格式的视频数据。
SENSOR模组1由至少一个图像传感器组成。图像传感器是一种用于将光学图像转换为数字信号的设备。它的作用是捕捉光线并将其转化为电信号,然后将这些信号转换为数字图像。图像传感器能够感知环境中的光线并将其转换为电信号。当拍摄照片或录制视频时,图像传感器负责捕捉光线并将其转化为数字图像。而Bayer是一种常用的图像传感器的颜色滤镜阵列(CFA)排列方式。在数字图像传感器中,使用Bayer排列的色滤阵列来捕捉彩色图像。而Bayer RAW是一种特殊的图像文件格式,它保存了由Bayer模式图像传感器捕捉到的未经处理的原始图像数据。Bayer RAW文件包含了每个像素的原始亮度信息,但没有经过插值或色彩校正,保留了更多的图像细节和灵活性。SENSOR模组1将光信号转化为电信号后,生成bayer RAW格式视频数据。这里SENSOR模组1生成并发送给采集转换模块210的bayer RAW格式视频数据是未经ISP(图像信号处理)处理的Bayer数据。未经ISP(图像信号处理)处理的Bayer数据指的是直接从图像传感器中读取到的未经过任何处理的原始Bayer模式图像数据。ISP是指相机或图像处理器内部的处理引擎,负责对图像传感器捕捉到的原始数据进行插值、白平衡、色彩校正、降噪、锐化等处理,以生成最终的可视图像。
采集转换模块采集到bayer RAW格式视频数据后,将其发送给封包模块,封包模块对该采集转换模块采集的bayer RAW格式视频数据进行封包。封包模块根据传输所需的协议对待传输数据进行封装,生成封装后的待发送数据。这里需要指出的是,封包模块可以是只对该bayer RAW格式视频数据进行封装,也可以是与其他的数据,如控制信号数据,一并封包。
近端通信模块可以通过网线、光纤、SDI、双绞线等方式传输数据,使用不同的方式传输数据都有自己的传输协议,封包模块按照近端通信模块发送的要求,对待传输数据进行封装。
例如,通过网线的方式传输数据,则封包模块需要按照以太网的mac帧格式将数据填充到IP数据报中,再按照以太网接口的协议将视频数据发送至远端。远端接收到数据后同样按照mac帧格式将数据解析出来即可得到原始数据。
近端装置的近端通信模块与远端装置的远端通信模块通信,将含有bayer RAW格式视频数据的封装好的数据发送给远端通信模块。远端通信模块接收到数据后,对数据接收到的数据进行拆分,把各类型的数据分别拆分出来,当然也把bayer RAW格式的视频数据给拆分出来。
如前面所述,bayer RAW格式的视频数据是未经ISP处理过的数据,这些数据是不能被显示设备等装置所识别的,因此远端装置的核心模组中设置有ISP核320。ISP核对摄像头或图像传感器采集到并生成的bayer RAW格式视频数据进行处理、修正和优化。通过ISP对bayer RAW格式的视频数据进行处理,可以最大限度地优化和改善图像质量,提供更准确、真实、清晰和自然的图像表现。
ISP处理后的输出图像类型可以是多种形式,具体根据用户的需求确定。例如,用户需要用显示设备播放该视频数据的,那么就根据显示设备的要求选用合适的算法配置,输出适用于显示设备播放的视频数据,如RGB图像或YUV图像等,此时,远端ISP与对应的显示设备相连,将转化后的视频数据发送至显示设备。
现有技术中,近端要将视频发送到远端的话,近端ISP模块需要将bayer RAW格式视频数据进行处理输出合适的格式给编码器,编码器对ISP模块处理后的数据再发送至远端;远端装置接收到编码数据之后再进行解码,然后再送到显示模块显示处理。这种情况下,整个链路中包含了ISP处理、编码、解码等流程,一般每个流程都需要至少1个buffer,总共至少存在5个buffer,每个buffer的大小至少为1帧,如果按照每秒30帧的帧率计算,将导致了165ms(即5帧时长)的延时。
本系统中,直接将编码和解码流程去掉,故这方案比传统视频会议方案少了“编码-解码”环节,不仅大大减降低了传输过程中因处理数据而造成的延迟,并且还能避免因“编码-解码”环节而造成的视频图像质量损失。
在一种实施方式中,如图2所示,近端核心模组200还包括:近端ISP 240。
近端ISP用于根据采集转换模块采集的bayer RAW格式视频数据控制所述SENSOR模组,以实现对SENSOR模组的拍摄参数的自动控制。
光圈、快门、曝光时间、增益、对焦、变焦、白平衡的控制等拍摄参数需要ISP来控制调整,但ISP设置在远端,数据传输是需要时间的,用远端的ISP调整SENSOR模组,显然会有较大的延时。因此,本实施方式中在近端再设置了一个ISP,用于发送控制信号(图2中用虚线表示控制信号),解决SENSOR模组的即时控制问题,大大降低了调整拍摄参数的延时。
这里需要说明的是,由于近端ISP只使用了普通ISP的部分功能,所以前端ISP可以使用小的ISP,以节约成本,当然,也可以使用普通ISP。
在一种实施方式中,如图3所示,所述近端ISP还用于对采集转换模块采集的bayerRAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据;
近端通信模块还用于发送所述YUV或RGB格式的视频数据。
相对于上一实施方式,本实施方式中的ISP使用普通的具有对图像进行处理功能的ISP,本实施方式中的ISP对bayer RAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据。这种设置使得本实施方式的近端装置更具有通用性,除了能够与远端装置3配合使用外,还可以跟显示设备或其他接收装置配合使用。
这里需要说明的是,通信模块可以是具有一个接口或多个接口,在只具有一个接口或视频数据的类型多于接口数量时,可以在通信模块上增加数据选择单元,用于在接收到的不同类型的视频数据中选择其中的一种视频数据发送,如果是具有多个接口或接口数量充足时,可以预先设定好不同的接口负责传输不同类型的视频数据。
在一种实施方式中,如图4所示,所述近端核心模组还包括:编码器250;
编码器250用于对近端ISP转化后的视频数据进行编码,生成编码后的视频数据;
近端通信模块还用于发送所述编码后的视频数据。
相对于上一实施方式,本实施方式中进一步丰富了通信模块输出的视频数据的类型,让近端装置更具有通用性。
在一种实施方式中,如图5所示,所述近端核心模组还包括:编码器250;
所述近端ISP还用于对接收到的bayer RAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据;
编码器250用于对近端ISP转化后的视频数据进行编码,生成编码后的视频数据;
近端通信模块还用于发送所述编码后的视频数据。
本实施方式是对上一实施方式的一种简化,本实施方式中不发送近端ISP转化后的视频数据,只发送编码后的视频数据。
在一种实施方式中,近端通信模块还用于接收控制信号,并根据控制信号在近端核心模组生成的视频数据中选择一种视频数据发送。
本实施方式就是之前说的在只具有一个接口或视频数据的类型多于接口数量时的情形,这时可以在通信模块上增加数据选择单元,并对通信模块施加控制信号,以使得数据选择单元根据控制信号在本端生成的的视频数据中选定一种视频数据,并发送出去。
在一种实施方式中,如图6所示,远端核心模组300还包括:SOC模块330。
SOC模块330用于接收外界的控制指令,根据所述控制指令生成控制信号,其中,所述控制信号用于控制远端ISP、SENSOR模组和近端核心模组。
SOC模块是根据接收到的控制指令对整个视频系统进行控制的,它的控制信号是贯穿整个链路的(图6中的控制信号用虚线表示),比如说,控数近端通信模块选择视频数据的类型、控制封包模块的封装过程、控制采集转换模块是否需要转换一路数据给近端ISP、控制SENSOR模组相关寄存器的读写等。
实施例二
请参阅图7,图7是本申请实施例的芯片的结构示意图,芯片70包括上述的近端核心模组200,或者上述的远端核心模组300,图7的(a)是本申请实施例的一种芯片的结构示意图,芯片70包括上述实施例中的近端核心模组200;图7的(b)是本申请实施例的又一种芯片的结构示意图,芯片70包括上述实施例中远端核心模组300。
本发明的芯片,直接将编码和解码流程去掉,故这方案比传统视频会议方案少了“编码-解码”环节,不仅大大减降低了传输过程中因处理数据而造成的延迟,并且还能避免因“编码-解码”环节而造成的视频图像质量损失。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和相关设备,可以通过其它的方式实现。例如,以上所描述的相关设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口,装置或单元的间接耦合或通信断开连接,可以是电性、机械或其它的形式。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种视频系统,其特征在于,包括:SENSOR模组、近端装置和远端装置;
其中,SENSOR模组用于将模拟信号转成数字信号,并生成bayer RAW格式视频数据;
近端装置包括:近端核心模组;
近端核心模组包括:采集转换模块、封包模块和近端通信模块;
采集转换模块用于采集SENSOR模组生成的bayer RAW格式视频数据;
封包模块用于根据传输所需的协议对待传输数据进行封装,生成封装后的待发送数据,其中,所述待传输数据包括采集转换模块采集的bayer RAW格式视频数据;
近端通信模块用于将所述待发送数据发送给远端模块;
所述远端装置包括:远端核心模组;
所述远端核心模组包括:远端通信模块和远端ISP;
远端通信模块用于接收并解析近端装置发送的数据,并对接收到的数据进行拆分,其中,拆分出的数据包括bayer RAW格式视频数据;
远端ISP用于对拆分出的bayer RAW格式视频数据进行处理并转化成目标格式的视频数据。
2.根据权利要求1所述的视频系统,其特征在于,所述近端核心模组还包括:
近端ISP,用于根据采集转换模块采集的bayer RAW格式视频数据控制所述SENSOR模组,以实现对SENSOR模组的拍摄参数的自动控制。
3.根据权利要求2所述的视频系统,其特征在于,所述近端ISP还用于对采集转换模块采集的bayer RAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据;
近端通信模块还用于发送所述YUV或RGB格式的视频数据。
4.根据权利要求3所述的视频系统,其特征在于,所述近端核心模组还包括:
编码器,用于对近端ISP转化后的视频数据进行编码,生成编码后的视频数据;
近端通信模块还用于发送所述编码后的视频数据。
5.根据权利要求2所述的视频系统,其特征在于,所述近端ISP还用于对接收到的bayerRAW格式视频数据进行处理并转化成YUV或RGB格式的视频数据;
所述近端核心模组还包括:编码器;
所述编码器用于对近端ISP转化后的视频数据进行编码,生成编码后的视频数据;
所述近端通信模块还用于发送所述编码后的视频数据。
6.根据权利要求2-5任一项所述的视频系统,其特征在于,所述近端通信模块还用于接收控制信号,并根据控制信号在近端核心模组生成的视频数据中选择一种视频数据发送。
7.根据权利要求1所述的视频系统,其特征在于,远端核心模组还包括:SOC模块;
所述SOC模块用于接收外界的控制指令,并根据所述控制指令生成控制信号,其中,所述控制信号用于控制远端ISP、SENSOR模组和近端核心模组。
8.根据权利要求1所述的视频系统,其特征在于,近端通信模块与远端通信模块之间以SDI线、网线或光纤的形式传输数据。
9.一种芯片,其特征在于,包括如权利要求1-8中任一项所述的近端核心模组或如权利要求1-8中任一项所述的远端核心模组。
CN202311574653.6A 2023-11-23 2023-11-23 视频系统及芯片 Pending CN117499576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311574653.6A CN117499576A (zh) 2023-11-23 2023-11-23 视频系统及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311574653.6A CN117499576A (zh) 2023-11-23 2023-11-23 视频系统及芯片

Publications (1)

Publication Number Publication Date
CN117499576A true CN117499576A (zh) 2024-02-02

Family

ID=89670736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311574653.6A Pending CN117499576A (zh) 2023-11-23 2023-11-23 视频系统及芯片

Country Status (1)

Country Link
CN (1) CN117499576A (zh)

Similar Documents

Publication Publication Date Title
US10237514B2 (en) Camera system, video processing apparatus, and camera apparatus
US8976260B2 (en) Image processing apparatus and image processing method
US6529236B1 (en) Digital camera for outputting digital image signals and image reproducing device connectable thereof
US5412427A (en) Electronic camera utilizing image compression feedback for improved color processing
US20080247653A1 (en) Method and apparatus for parallelization of image compression encoders
US20080247672A1 (en) System and method for image processing of multi-sensor network cameras
US7898573B1 (en) Camera with high-quality still capture during continuous video capture
KR20000064323A (ko) 범용 직렬 버스 인터페이스 방식의 동영상 카메라
US6256350B1 (en) Method and apparatus for low cost line-based video compression of digital video stream data
US8564685B2 (en) Video signal capturing apparatus, signal processing and control apparatus, and video signal capturing, video signal processing, and transferring system and method
US8228362B2 (en) Image capturing device and image delivery method
EP2538670B1 (en) Data processing unit
EP0463827A2 (en) Video cameras
US7936378B2 (en) Image pickup device and encoded data transferring method
CN117499576A (zh) 视频系统及芯片
US8718451B1 (en) Camera with high-quality still capture during continuous video capture
CN100586179C (zh) 一种智能家居网关呈现视频控制方法及其系统
CN102970583A (zh) 信号发送、接收装置和方法以及信号传输系统
US20080266415A1 (en) Image Pickup Device and Encoded Data Outputting Method
US8970783B2 (en) Image processing apparatus and control method therefor
Nakamura et al. An 8K full-resolution 60-Hz/120-Hz multi-format portable camera system
JP2000244796A (ja) カメラシステム
WO2022044839A1 (ja) 撮像装置、および画像処理システム
US20070280347A1 (en) Video signal transmitting method
KR20010056572A (ko) 다중 영상신호저장 제어장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination