CN110956574B - Soc芯片、移动终端 - Google Patents

Soc芯片、移动终端 Download PDF

Info

Publication number
CN110956574B
CN110956574B CN201911157638.5A CN201911157638A CN110956574B CN 110956574 B CN110956574 B CN 110956574B CN 201911157638 A CN201911157638 A CN 201911157638A CN 110956574 B CN110956574 B CN 110956574B
Authority
CN
China
Prior art keywords
format
module
operator
video image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911157638.5A
Other languages
English (en)
Other versions
CN110956574A (zh
Inventor
王鹏
田楷云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201911157638.5A priority Critical patent/CN110956574B/zh
Publication of CN110956574A publication Critical patent/CN110956574A/zh
Priority to PCT/CN2020/130445 priority patent/WO2021098827A1/zh
Application granted granted Critical
Publication of CN110956574B publication Critical patent/CN110956574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种SOC芯片和移动终端。移动终端可以将支持不同非Bayer格式的视频传感器获取到视频图像信号通过SOC芯片将其转换成Bayer格式的视频图像信号。由于在SOC芯片上增设一个视频信号格式适配与预处理器来完成视频图像信号的格式转换,无需通过DSP/CPU或者外置独立芯片完成视频图像信号的格式转换,也无需在视频传感器上增加数字逻辑器件处理视频图像信号的格式转换。进一步,在视频信号格式适配与预处理器中通过第一配置管理模块根据不同格式的视频图像信号配置相应的算法模块及算法功能,且配置数据可在每个时钟周期调整,从而灵活支持不同非Bayer格式的视频图像信号转换成Bayer格式的视频图像信号。

Description

SOC芯片、移动终端
技术领域
本申请涉及图像处理技术领域,特别涉及一种SOC芯片、移动终端。
背景技术
用于移动终端的图像传感器(camera sensor)分为YUV传感器和Bayer传感器。当前主流的摄像传感器是Bayer传感器,即传感器(Sensor)输出Bayer格式(RGGB格式)的未经过插值混色的原始数据(Raw Data)。由片上系统(System On Chip,简称SOC)平台自带的图像处理器(Image Signal Processor,简称ISP)进行图像效果处理,因而当前业界主流ISP仅设计用于支持Bayer格式的传感器。然而,出于对更高画质(分辨率、动态范围)的追求,最近几年以及可预见的未来,传感器更新换代越来越频繁,各种非Bayer格式层出不穷,且主流厂家格式不统一,新开发硬件需要算法和模组提前2年稳定,扩展性风险高。
现有技术中,有如下几种方式来处理非Bayer格式的原始数据:
1)采用传感器与图像信号处理器(Digital Signal Processing,简称DSP)直连,用DSP做非Bayer格式到Bayer格式的转化处理。
2)终端的前置摄像头采用Quadra格式的传感器,先经过RDI把Quadra格式的原始数据写入外存,然后由CPU完成Bayer格式转化后交由ISP处理。
3)用外置独立芯片(TPU)完成非Bayer格式处理。
4)图像传感器的厂家有自带Bayer格式转换的方案,将数字逻辑电路叠加于图像传感器的芯片上。
但上述方式都存在缺陷:
方式1)由于DSP提供的处理能力有限,适用于较小分辨率,无法支持QuadraSensor实时处理,且功耗偏高;
方式2)存在时延问题;
方式3)外置独立芯片则会影响到整机结构和布局;
方式4)在芯片上集成模拟器件,导致功耗过高,成本增加。
发明内容
本申请提供了一种SOC芯片、移动终端,以解决现有技术中移动终端在处理非Bayer格式的视频图像数据的技术方案效果不佳的技术问题。
第一方面,本申请提供了一种SOC芯片,包括:传感器接口模块、通过总线相连的视频信号处理器和视频信号格式适配与预处理器;其中,所述视频信号格式适配与预处理器包括多个算法模块和第一配置管理模块;其中,所述算法模块包括可配置的算子;所述传感器接口模块,用于将接收到的第一格式的视频图像信号传送至所述视频信号格式适配与预处理器;所述第一配置管理模块,用于根据所述第一格式的视频图像信号确定配置的算法模块,以及每个时钟周期内所述配置的算法模块内各个算子的配置数据;所述视频信号格式适配与预处理器,用于根据所述配置管理模块所确定配置的算法模块以及每个时钟周期所述配置的算法模块内算子的配置数据,将所述第一格式的视频图像信号转换成第二格式的视频图像信号,并将所述第二格式的视频图像信号输出至所述视频信号处理器。
通过本实施例提供的方案,在SOC芯片上增加视频信号格式适配与预处理器,该视频信号格式适配与预处理器与传感器接口模块相连接,且通过总线与视频信号处理器相连接。视频信号格式适配与预处理器通过传感器接口模块接收到第一格式的视频图像信号后,通过配置管理模块配置相应的算法模块以及每个时钟周期内所述配置的算法模块内各个算子的配置数据对该第一格式的视频图像信号进行处理,从而将第一格式的视频图像信号转换成第二格式的视频图像信号,并将其输出至视频信号处理器。
由于视频信号格式适配与预处理器内的算法模块之间的互连关系和算法功能都是可配置的,因此可以根据不同的第一格式的视频图像信号灵活配置不同的算法模块实现将其转换成第二格式的视频图像信号。
在一种可能的设计中,所述算法模块包括:第二配置管理模块和多个子算法模块;每个所述子算法模块包括算法模块数据选择器和算子单元;其中,所述第二配置管理模块,用于根据所述第一配置管理模块的指示确定各个所述子算法模块的配置数据;所述算法模块数据选择器,用于根据所述配置数据确定每个时钟周期所述子算法模块的输入数据;所述算子单元,用于根据所述配置数据所确定的算子的计算功能对所述输入数据进行计算,以得到所述子算法模块的输出数据。
通过本实施例提供的方案,每个算法模块包括多个子算法模块,在每个算法模块内通过第二配置管理模块根据第一配置管理模块的指示确定各个所述子算法模块的配置数据;进而,算法模块数据选择器根据第二配置管理模块确定的配置数据配置每个时钟周期各个子算法模块的输入数据,以及每个算子单元内各个算子的计算功能。而且,第二配置管理模块可以在每个时钟周期更新配置数据,因此使得相邻两个时钟周期的输入数据和子算法模块的计算功能可以快速调整。
在一种可能的设计中,所述算子单元中的每个算子包括:第三配置管理模块和多个子算子;每个所述子算子包括:算子数据选择器、运算器以及查找表;其中,所述第三配置管理模块,用于根据所述第一配置管理模块或所述第二配置管理模块的指示确定各个子算子的配置数据;所述算子单元数据选择器,用于根据所述配置数据确定每个时钟周期所述子算子的输入数据;所述运算器,用于根据所述配置数据所确定的算子的计算功能对所述输入数据进行代数运算,以得到所述子算子的输出数据;所述查找表,用于根据所述配置数据所确定的子算子的计算功能对所述输入数据中不能用有限次代数运算进行计算的输入数据进行处理,以得到所述子算子的输出数据。
通过本实施例提供的方案,子算法模块中的各个算子单元进一步包括第三配置管理模块和多个算子;通过第三配置管理模块根据第一配置管理模块或者第二配置管理模块的指示确定各个算子的配置数据,进而算子单元数据选择器根据配置数据配置每个时钟周期各个算子的输入数据,以及每个算子的算法功能。而且,第三配置管理模块可以在每个时钟周期更新配置数据,因此使得相邻两个时钟周期的输入数据和各个算子的计算功能可以快速调整。
在一个可能的设计中,所述第一格式的视频图像信号包括非Bayer格式的视频图像信号、所述第二格式的视频图像信号为Bayer格式的视频图像信号。
因此,通过本实施例提供的方案,SOC芯片可以将多种非Bayer格式的视频图像信号转换成Bayer格式的视频图像信号。例如,非Bayer格式的视频图像信号可以是Quadra格式的视频图像信号。
在一个可能的设计中,所述算法模块包括但不限于:背光补偿模块、GAMMA校正模块、坏点纠正模块、像素还原模块,相位点纠正模块、坏点纠正模块、颜色校正矩阵模块以及高动态范围图像(High-Dynamic Range,简称HDR)图像合成模块。
通过视频信号格式适配与预处理器中的第一配置管理模块可以根据获取到的不同的第一格式的视频图像信号配置相适应的多个算法模块的组合,以实现将其转换成第二格式的视频图像信号。
第二方面,本申请提供一种移动终端,包括:视频传感器和上述实施例提供的SOC芯片。利用SOC芯片可以将视频传感器获取到的第一格式的视频图像信号转换成第二格式的视频图像信号,并对第二格式的视频图像信号进行处理。
通过本实施例提供的方案,移动终端可以将支持不同非Bayer格式的视频传感器获取到视频图像信号通过SOC芯片将其转换成Bayer格式的视频图像信号。由于在SOC芯片上增设一个视频信号格式适配与预处理器来完成视频图像信号的格式转换,无需通过DSP/CPU或者外置独立芯片完成视频图像信号的格式转换,也无需在视频传感器上增加数字逻辑器件处理视频图像信号的格式转换。进一步,在视频信号格式适配与预处理器中通过第一配置管理模块根据视频传感器获取到的不同格式的视频图像信号配置相应的算法模块及算法功能,且配置数据可以在每个时钟周期调整更新,从而灵活支持不同非Bayer格式的视频图像信号转换成Bayer格式的视频图像信号。
附图说明
图1为本申请实施例提供的一种SOC芯片的一个具体实施例的结构示意图;
图2为图1所示的SOC芯片中视频信号格式适配与预处理器的一个具体实施例的结构示意图;
图3为图2所示的视频信号格式适配与预处理器中算法模块的一个具体实施例的结构示意图;
图4为图3所示的算法模块中算子的一个具体实施例的结构示意图;
图5为本申请实施例提供的一种移动终端的一个具体实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
图1为本申请实施例提供的一种SOC芯片的一个实施例的结构示意图。
参考图1,所述SOC芯片1包括:传感器接口模块11、视频信号格式适配与预处理器12、视频信号处理器13、协处理器14、桥接模块15、主处理器16、系统控制模块17以及存储器控制模块18。所述SOC芯片1还包括两条总线,分别为第一总线101和第二总线102。
具体来说,所述视频信号格式适配与预处理器12、所述视频信号处理器13以及所述协处理器14均连接至所述第二总线102,通过所述第二总线102实现相互通信。所述主处理器16、所述系统控制模块17以及所述存储器控制模块18分别连接至所述第一总线101,通过所述第一总线101实现相互通信。所述第一总线101与所述第二总线102之间通过所述桥接模块15连接。所述传感器接口模块11分别连接至所述第一总线101和所述第二总线102,所述传感器接口模块11与所述视频信号格式适配与预处理器12连接。
其中,所述传感器接口模块11用于将接收到的第一格式的视频图像信号传送至所述视频信号格式适配与预处理器12。其中,所述第一格式的视频图像信号可以通过视频传感器(图1中未示出)获取得到。所述视频信号格式适配与预处理器12用于将所述第一格式的视频图像信号转换成第二格式的视频图像信号后传送至所述视频信号处理器13。所述视频信号处理器13是一种适用于处理所述第二格式的视频图像信号的图像处理器。
关于所述视频信号格式适配与预处理器12的具体结构及实现方式将在下文的实施例中详细描述。
本领域技术人员理解,SOC芯片是一种由多个具有特定功能的集成电路组合在一个芯片上形成的系统或产品,其中包含完整的硬件系统及其承载的嵌入式软件。如图1所示的所述SOC芯片1中,通过所述协处理器14、所述主处理器16、所述系统控制模块17以及所述存储器控制模块18可以完成所述SOC芯片1的其他特定功能。
与现有技术相比,本实施例中,通过在SOC芯片上增加视频信号格式适配与预处理器来处理视频图像信号的格式转换(即从第一格式的视频图像信号转换成第二格式的视频图像信号),无需通过DSP/CPU或者外置独立芯片完成视频图像信号的格式转换,也无需在视频传感器上增加数字逻辑器件处理视频图像信号的格式转换。
图2为图1所示的SOC芯片中视频信号格式适配与预处理器的一个具体实施例的结构示意图。
参考图2,所述视频信号格式适配与预处理器21包括:第一配置管理模块211、多个算法模块(如图2所示的算法模块212a、算法模块212b、算法模块212c和算法模块212d)。需要说明的是,图2仅为示意图,在实际应用中,所述视频信号格式适配与预处理器21中算法模块的数目可以根据不同格式的视频图像信号转换需求来设定。
具体来说,根据所述视频信号格式适配与预处理器21接收到第一格式的视频图像信号,所述第一配置管理模块211将配置算法模块来处理将第一格式的视频图像信号转换成第二格式的视频图像信号。
图2所示的是所述第一配置管理模块211配置的一种算法模块之间的算法功能组合。具体地,所述视频信号格式适配与预处理器21接收到的第一格式的视频图像信号将依次经过所述算法模块212a、所述算法模块212b、所述算法模块212c和所述算法模块212d(如图2中的实线箭头标识的处理流程)处理后输出第二格式的视频图像信号。也就是说,所述算法模块212a、所述算法模块212b、所述算法模块212c和所述算法模块212d分别完成各自的算法模块在整个转换过程的一部分计算功能,且这四个算法模块依照实线箭头标识的处理流程依次执行相应的算法功能,从而实现将第一格式的视频图像信号转换成第二格式的视频图像信号的功能。
进一步,根据不同的所述第一格式的视频图像信号,所述第一配置管理模块211可以配置不同的算法模块之间的算法功能组合。
例如,将所述算法模块212a、所述算法模块212b以及所述算法模块212c配置为算法功能组合(即舍弃算法模块212d),以使所述第一格式的视频图像信号依次进过所述算法模块212a、所述算法模块212b以及所述算法模块212c处理后,以转换得到第二格式的视频图像信号。也就是说,所述第一配置管理模块211可以根据第一格式的视频图像信号的具体格式选取其中部分算法模块组成算法功能组合。
又例如,同样是将所述算法模块212a、所述算法模块212b以及所述算法模块212c配置为算法功能组合,在算法模块之间的执行顺序上可以不同,例如执行顺序为先经过所述算法模块212b、再经过所述算法模块212a、最后经过所述算法模块212c。
在本实施例中,所述第一配置管理模块211是所述视频信号格式适配与预处理器21中最高层的配置管理模块,在这一层所述第一配置管理模块211用于根据所述第一格式的视频图像信号确定算法功能组合,从而配置相应的算法模块来执行算法功能。进一步,各个算法模块的内部还包括多个子算法模块(作为算法模块的下一层)、每个子算法模块中还包括多个算子(作为子算法模块的下一层),而子算法模块之间的算法功能组合和算子之间的算法功能组合都需要做配置,所述第一配置管理模块211可以将下层的配置数据发送至对应层中的配置管理模块中,由对应层中的配置管理模块根据配置数据完成相应的算法功能的配置。或者所述第一配置管理模块211只将下一层(子算法模块)的配置数据发送至该层对应的配置管理模块(即第二配置管理模块)中,由第二配置管理模块对算法模块进行配置;第二配置管理模块再将下一层(算子)的配置数据发送至该层对应的配置管理模块(即第三配置管理模块),由第三配置管理模块对算子进行配置。
关于算法模块内部的具体结构以及配置方法将在下文的实施例中描述。
图3为图2所示的视频信号格式适配与预处理器中算法模块的一个具体实施例的结构示意图。
参考图3,所述算法模块31包括多个子算法模块(例如图3中所示的子算法模块311、子算法模块312、子算法模块313以及子算法模块314)和第二配置管理模块215。需要说明的是,图3仅为示意图,在实际应用中,所述算法模块31中子算法模块的数目可以根据不同格式的视频图像信号转换需求来设定。也就是说,子算法模块是根据算法模块所要实现的算法功能,将整个算法拆分成多个子算法,由各个子算法模块分别执行相应的子算法功能,各个子算法模块的组合实现该算法模块的算法功能。
所述第二配置管理模块315用于根据第一配置管理模块(如图2中的第一配置管理模块211)的指示确定各个子算法模块的配置数据。如上文所述,第一配置管理模块是最高层的配置管理模块,也是所述第二配置管理模块315的上一层配置管理模块,所述第二配置管理模块315根据最高层的配置管理模块下发的配置数据进行所述算法模块31内的配置。
本实施例中,各个子算法模块包括算法模块数据选择器和算子单元。其中,算法模块数据选择器用于根据配置数据确定每个时钟周期子算法模块的输入数据。算子单元用于根据配置数据所确定的算子的计算功能对所述输入数据进行计算,以得到子算法模块的输出数据。算子单元内包括多个算子。
其中,所述时钟周期是指算法模块数据选择器和算子单元的时钟周期,例如,若时钟频率为100MHz,则时钟周期为10纳秒。根据配置数据可以调整每个时钟周期内算法模块数据选择器选择的输入数据以及算子单元内各个算子的计算功能,从而使得算子单元中采用相同的硬件,通过不同的配置数据来调整每个时钟周期算子单元的计算功能,这样可以节省硬件成本。
继续参考图3,所述子算法模块311包括:算法模块数据选择器3111和算子单元3112。所述子算法模块312包括:算法模块数据选择器3121和算子单元3122。所述子算法模块313包括:算法模块数据选择器3131和算子单元3132。所述子算法模块314包括:算法模块数据选择器3141和算子单元3142。需要说明的是,图3中所述算子单元3112、所述算子单元3122所述算子单元3132以及所述算子单元3142中均包括三个算子,但图3仅为示意图,在实际应用中,各个算子单元中算子的数目可以配置数据来确定。
具体地,在所述子算法模块311中,所述算法模块数据选择器3111根据配置数据从算法模块31的输入数据中确定所述子算法模块311的输入数据,并将确定的输入数据传送至所述算子单元3112进行处理,所述算子单元3112根据配置数据确定的算子的计算功能对输入数据进行计算,从而得到所述子算法模块311的输出数据,该输出数据传送至所述子算法模块312。
在所述子算法模块312中,所述算法模块数据选择器3121根据配置数据从所述子算法模块311的输出数据中确定所述子算法模块311的输入数据,并将确定的输入数据传送至所述算子单元3122进行处理,所述算子单元3122根据配置数据确定的算子的计算功能对输入数据进行计算,从而得到所述子算法模块312的输出数据,该输出数据传送至所述子算法模块313。
在所述子算法模块313中,所述算法模块数据选择器3131根据配置数据从所述子算法模块312的输出数据中确定所述子算法模块313的输入数据,并将确定的输入数据传送至所述算子单元3132进行处理,所述算子单元3132根据配置数据确定的算子的计算功能对输入数据进行计算,从而得到所述子算法模块313的输出数据,该输出数据传送至所述子算法模块314。
在所述子算法模块314中,所述算法模块数据选择器3141根据配置数据从所述子算法模块313的输出数据中确定所述子算法模块314的输入数据,并将确定的输入数据传送至所述算子单元3142进行处理,所述算子单元3142根据配置数据确定的算子的计算功能对输入数据进行计算,从而得到所述子算法模块314的输出数据,在如图3所示的算法模块31中,所述子算法模块314的输出数据即为所述算法模块31的输出数据。
结合参考图2和图3,所述图3中所示的算法模块31是图2所示的视频信号格式适配与预处理器21中的算法模块的一个具体实施例,所述视频信号格式适配与预处理器21中的算法模块212a、算法模块212b、算法模块212c和算法模块212d都可以采用如图3所示的算法模块31的具体结构。
图4为图3所示的算法模块中算子的一个具体实施例的结构示意图。
参考图4,所述算子41包括多个子算子(例如图4中所示的子算子411、子算子412、子算子413以及子算子414)和第三配置管理模块416。需要说明的是,图4仅为示意图,在实际应用中,所述算子41中子算子的数目和类型可以根据不同格式的视频图像信号转换需求来设定。也就是说,子算子是根据算子所要实现的算法功能,将算子的整个算法拆分成多个子算法,由各个子算子分别执行相应的子算法功能,各个子算子的组合实现该算子的算法功能。
所述第三配置管理模块416用于根据所述第一配置管理模块(如图2中的第一配置管理模块211)或者所述第二配置管理模块315的指示确定各个子算子的配置数据。如上文所述,一种方式是:第一配置管理模块是最高层的配置管理模块,所述第三配置管理模块416可以根据最高层的配置管理模块下发的配置数据进行所述算子41内的配置。另一种方式是:所述第二配置管理模块315是所述第三配置管理模块的上一层配置管理模块,由所述第二配置管理模块315将算子所需的配置数据发送至所述第三配置管理模块416。
本实施例中,各个子算子包括算子数据选择器、运算器以及查找表。其中,算子单元数据选择器,用于根据所述配置数据确定每个时钟周期所述子算子的输入数据。运算器,用于根据所述配置数据所确定的算子的计算功能对所述输入数据进行代数运算,以得到所述子算子的输出数据。查找表(lookup table,简称LUT),用于根据所述配置数据所确定的子算子的计算功能对所述输入数据中不能用有限次代数运算进行计算的输入数据进行处理,以得到所述子算子的输出数据。
其中,所述时钟周期是指子算子中算子数据选择器、运算器的时钟周期。根据配置数据可以调整每个时钟周期内算子数据选择器选择的输入数据以及运算器之间的计算功能。
继续参考图4,所述子算子411包括:算子数据选择器411a、运算器411b以及查找表411c。所述子算子412包括:算子数据选择器412a、运算器412b以及查找表412c。所述子算子413包括:算子数据选择器413a、运算器413b以及查找表413c。所述子算子414包括:算子数据选择器414a、运算器414b以及查找表414c。其中,根据不同的配置数据各个运算器中可以包括加法器、减法器、乘法器等,各种运算器的数目和类型在硬件设计时确定,而在工作时,根据配置数据来确定这些运算器中使能的运算器的数目和类型。
具体地,在所述子算子411中,算子数据选择器411a根据配置数据从算子41的输入数据中确定所述子算子411的输入数据,并将确定的输入数据中适于进行代数运算的数据传送至运算器411b进行运算处理以得到子算子411的输出数据,而将输入数据中不能用有限次代数运算进行计算的数据通过查找表411c进行处理以得到子算子411的输出数据,该输出数据传送至所述子算子412。
在所述子算子412中,算子数据选择器412a根据配置数据从子算子411的输出数据中确定所述子算子412的输入数据,并将确定的输入数据中适于进行代数运算的数据传送至运算器412b进行运算处理以得到子算子412的输出数据,而将输入数据中不能用有限次代数运算进行计算的数据通过查找表412c进行处理以得到子算子412的输出数据。
在所述子算子413中,算子数据选择器413a根据配置数据从子算子412的输出数据中确定所述子算子413的输入数据,并将确定的输入数据中适于进行代数运算的数据传送至运算器413b进行运算处理以得到子算子413的输出数据,而将输入数据中不能用有限次代数运算进行计算的数据通过查找表413c进行处理以得到子算子413的输出数据。
在所述子算子414中,算子数据选择器414a根据配置数据从子算子413的输出数据中确定所述子算子414的输入数据,并将确定的输入数据中适于进行代数运算的数据传送至运算器414b进行运算处理以得到子算子414的输出数据,而将输入数据中不能用有限次代数运算进行计算的数据通过查找表414c进行处理以得到子算子414的输出数据。
本实施例中,所述子算子414的输出数据还通过算子数据选择器415a做数据选择处理后得到所述算子41的输出数据。
结合参考图3和图4,所述图4中所示的算子41是图3所示的算法模块31中的算子的一个具体实施例,所述算法模块3中各个算子都可以采用如图4所示的算子41的具体结构。
在上述实施例中,所述第一格式的视频图像信号包括非Bayer格式的视频图像信号、所述第二格式的视频图像信号为Bayer格式的视频图像信号。
因此,通过本实施例提供的方案,SOC芯片可以将多种非Bayer格式的视频图像信号转换成Bayer格式的视频图像信号。例如,非Bayer格式的视频图像信号可以是Quadra格式的视频图像信号。
上述实施例中,各个算法模块包括但不限于:背光补偿模块、GAMMA校正模块、坏点纠正模块、像素还原模块,相位点纠正模块、坏点纠正模块、颜色校正矩阵模块以及HDR图像合成模块。进一步,通过上述实施例中SOC芯片的视频信号格式适配与预处理器中的第一配置管理模块可以根据获取到的不同的第一格式的视频图像信号配置相适应的多个算法模块的组合,以实现将其转换成第二格式的视频图像信号。
本领域技术人员知晓,上述各种算法模块都是图像处理中常用的算法功能,根据不同的第一格式的视频图像信号和第二格式的视频图像信号,通过配置数据可以配置不同的算法模块以及算法模块中算子单元的计算功能,以实现将第一格式的视频图像信号转换成第二格式的视频图像信号,在此不再赘述。
图5为本申请实施例提供的一种移动终端的一个具体实施例的结构示意图。参考图5,所述移动终端5包括:视频传感器51和SOC芯片52。
在本实施例中,所述视频传感器51用于获取第一格式的视频图像信号。其中,所述视频传感器是所述移动终端5的摄像装置的摄像传感器,所述视频传感器为非Bayer格式传感器,即所述视频传感器51获取到的所述第一格式的视频图像信号为非Bayer格式的视频图像信号。
所述SOC芯片52用于将所述视频传感器获取到的所述第一格式的视频图像信号转换成第二格式的视频图像信号,并对所述第二格式的视频图像信号进行处理。
其中,所述SOC芯片52可以采用如上文图1至图4所述的实施例中的SOC芯片。与现有的SOC芯片不同,本实施例中,在SOC芯片上增加视频信号格式适配与预处理器,该视频信号格式适配与预处理器与传感器接口模块相连接,且通过总线与视频信号处理器相连接。视频信号格式适配与预处理器通过传感器接口模块接收到第一格式的视频图像信号后,通过配置管理模块配置相应的算法模块以及每个时钟周期内所述配置的算法模块内各个算子的配置数据对该第一格式的视频图像信号进行处理,从而将第一格式的视频图像信号转换成第二格式的视频图像信号,并将其输出至视频信号处理器。由于视频信号格式适配与预处理器内的算法模块之间的互连关系和算法功能都是可配置的,因此可以根据不同的第一格式的视频图像信号灵活配置不同的算法模块实现将其转换成第二格式的视频图像信号。
综上所述,根据本技术方案提供的SOC芯片和移动终端,移动终端可以将支持不同非Bayer格式的视频传感器获取到视频图像信号通过SOC芯片将其转换成Bayer格式的视频图像信号。由于在SOC芯片上增设一个视频信号格式适配与预处理器来完成视频图像信号的格式转换,无需通过DSP/CPU或者外置独立芯片完成视频图像信号的格式转换,也无需在视频传感器上增加数字逻辑器件处理视频图像信号的格式转换。进一步,在视频信号格式适配与预处理器中通过第一配置管理模块根据视频传感器获取到的不同格式的视频图像信号配置相应的算法模块及算法功能,且配置数据可以在每个时钟周期调整更新,从而灵活支持不同非Bayer格式的视频图像信号转换成Bayer格式的视频图像信号。

Claims (7)

1.一种SOC芯片,其特征在于,包括:传感器接口模块、通过总线相连的视频信号处理器和视频信号格式适配与预处理器;其中,所述视频信号格式适配与预处理器包括多个算法模块和第一配置管理模块;其中,所述算法模块包括可配置的算子;
所述传感器接口模块,用于将接收到的第一格式的视频图像信号传送至所述视频信号格式适配与预处理器;
所述第一配置管理模块,用于根据所述第一格式的视频图像信号确定配置的算法模块,以及每个时钟周期内所述配置的算法模块内各个算子的配置数据;
所述视频信号格式适配与预处理器,用于根据所述配置管理模块所确定配置的算法模块以及每个时钟周期所述配置的算法模块内算子的配置数据,将所述第一格式的视频图像信号转换成第二格式的视频图像信号,并将所述第二格式的视频图像信号输出至所述视频信号处理器;
其中,所述第一格式的视频图像信号包括非Bayer格式的视频图像信号、所述第二格式的视频图像信号为Bayer格式的视频图像信号。
2.如权利要求1所述的SOC芯片,其特征在于,所述算法模块包括:第二配置管理模块和多个子算法模块;每个所述子算法模块包括算法模块数据选择器和算子单元;其中,
所述第二配置管理模块,用于根据所述第一配置管理模块的指示确定各个所述子算法模块的配置数据;
所述算法模块数据选择器,用于根据所述配置数据确定每个时钟周期所述子算法模块的输入数据;
所述算子单元,用于根据所述配置数据所确定的算子的计算功能对所述输入数据进行计算,以得到所述子算法模块的输出数据。
3.如权利要求2所述的SOC芯片,其特征在于,所述算子单元中的每个算子包括:第三配置管理模块和多个子算子;每个所述子算子包括:算子数据选择器、运算器以及查找表;
其中,所述第三配置管理模块,用于根据所述第一配置管理模块或所述第二配置管理模块的指示确定各个子算子的配置数据;
所述算子单元数据选择器,用于根据所述配置数据确定每个时钟周期所述子算子的输入数据;
所述运算器,用于根据所述配置数据所确定的算子的计算功能对所述输入数据进行代数运算,以得到所述子算子的输出数据;
所述查找表,用于根据所述配置数据所确定的子算子的计算功能对所述输入数据中不能用有限次代数运算进行计算的输入数据进行处理,以得到所述子算子的输出数据。
4.如权利要求1所述的SOC芯片,其特征在于,所述非Bayer格式的视频图像信号包括Quadra格式的视频图像信号。
5.如权利要求1所述的SOC芯片,其特征在于,所述算法模块包括:背光补偿模块、GAMMA校正模块、坏点纠正模块以及像素还原模块的多种组合。
6.如权利要求5所述的SOC芯片,其特征在于,所述算法模块还包括:相位点纠正模块、坏点纠正模块、颜色校正矩阵模块以及HDR图像合成模块。
7.一种移动终端,其特征在于,包括:视频传感器和权利要求1~6中任一项所述的SOC芯片;其中,
所述视频传感器,用于获取第一格式的视频图像信号;
所述SOC芯片,用于将所述视频传感器获取到的所述第一格式的视频图像信号转换成第二格式的视频图像信号,并对所述第二格式的视频图像信号进行处理。
CN201911157638.5A 2019-11-22 2019-11-22 Soc芯片、移动终端 Active CN110956574B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911157638.5A CN110956574B (zh) 2019-11-22 2019-11-22 Soc芯片、移动终端
PCT/CN2020/130445 WO2021098827A1 (zh) 2019-11-22 2020-11-20 Soc芯片、移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911157638.5A CN110956574B (zh) 2019-11-22 2019-11-22 Soc芯片、移动终端

Publications (2)

Publication Number Publication Date
CN110956574A CN110956574A (zh) 2020-04-03
CN110956574B true CN110956574B (zh) 2024-04-09

Family

ID=69978239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911157638.5A Active CN110956574B (zh) 2019-11-22 2019-11-22 Soc芯片、移动终端

Country Status (2)

Country Link
CN (1) CN110956574B (zh)
WO (1) WO2021098827A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956574B (zh) * 2019-11-22 2024-04-09 华为终端有限公司 Soc芯片、移动终端
CN113115112B (zh) * 2021-06-16 2021-09-21 上海齐感电子信息科技有限公司 验证平台和验证方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067803A (zh) * 2007-05-22 2007-11-07 北京中星微电子有限公司 一种图像处理系统及其方法
CN104516841A (zh) * 2013-10-02 2015-04-15 三星电子株式会社 包括可配置的图像处理管线的片上系统及包含其的系统
CN107071324A (zh) * 2017-01-25 2017-08-18 上海电气集团股份有限公司 一种视觉图像处理系统及其设计方法
CN108632505A (zh) * 2018-03-21 2018-10-09 西安电子科技大学 一种基于SoC FPGA的高动态视频处理系统
CN108830198A (zh) * 2018-05-31 2018-11-16 上海玮舟微电子科技有限公司 视频格式的识别方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4646446B2 (ja) * 2001-06-28 2011-03-09 パナソニック株式会社 映像信号処理装置
CN105681720B (zh) * 2016-03-18 2019-04-16 青岛海信电器股份有限公司 视频播放的处理方法及装置
CN110956574B (zh) * 2019-11-22 2024-04-09 华为终端有限公司 Soc芯片、移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067803A (zh) * 2007-05-22 2007-11-07 北京中星微电子有限公司 一种图像处理系统及其方法
CN104516841A (zh) * 2013-10-02 2015-04-15 三星电子株式会社 包括可配置的图像处理管线的片上系统及包含其的系统
CN107071324A (zh) * 2017-01-25 2017-08-18 上海电气集团股份有限公司 一种视觉图像处理系统及其设计方法
CN108632505A (zh) * 2018-03-21 2018-10-09 西安电子科技大学 一种基于SoC FPGA的高动态视频处理系统
CN108830198A (zh) * 2018-05-31 2018-11-16 上海玮舟微电子科技有限公司 视频格式的识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021098827A1 (zh) 2021-05-27
CN110956574A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956574B (zh) Soc芯片、移动终端
CN108989655B (zh) 图像处理装置
US20180262744A1 (en) Systems, methods and apparatuses for stereo vision
US20200162719A1 (en) Systems, methods and apparatuses for stereo vision
EP1079604B1 (en) Image processing apparatus
CA2994188A1 (en) Self-adaptive chip and configuration method
CN110996022A (zh) 图像感测系统及其操作方法
JP4317624B2 (ja) 画像処理装置
US9288286B2 (en) Configurable quad byte framer
US6967660B2 (en) Image processing apparatus and image processing system
US8412003B2 (en) Image processing methods, apparatus and computer program products using interdependent pixel interpolation operations
CN104243889A (zh) 红外热成像机芯数字视频信号传输格式匹配方法
US20080262760A1 (en) Semiconductor inspecting apparatus
US9412145B2 (en) System and method for processing digital data
US9113025B2 (en) Image signal processor circuits and methods for correcting crosstalk artifacts
US20220311963A1 (en) On-chip multiplexing pixel control circuit
JP2003009167A (ja) 撮像装置
US20240163417A1 (en) Image sensor testing system
JP7094454B2 (ja) 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム
KR20140111758A (ko) 이미지 처리 장치 및 이를 포함하는 컴퓨팅 시스템
CN110505435B (zh) 图像传输方法及其系统与图像传送端装置
US11238565B1 (en) Tone based non-smooth detection
US8786615B2 (en) Image processor including reconfigurable input and output domain selectors
KR100607804B1 (ko) 아이피를 공유할 수 있는 디지털 색공간 변환 회로
US20050083418A1 (en) Camera control device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant