CN115225828B - 前置图像信号处理装置及图像信息传输方法 - Google Patents
前置图像信号处理装置及图像信息传输方法 Download PDFInfo
- Publication number
- CN115225828B CN115225828B CN202110421250.2A CN202110421250A CN115225828B CN 115225828 B CN115225828 B CN 115225828B CN 202110421250 A CN202110421250 A CN 202110421250A CN 115225828 B CN115225828 B CN 115225828B
- Authority
- CN
- China
- Prior art keywords
- image
- statistical information
- capability
- module
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 230000005540 biological transmission Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims description 25
- 230000004044 response Effects 0.000 claims description 29
- 239000003086 colorant Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种前置图像信号处理装置及相关产品，其耦合在摄像装置与应用处理装置之间，包括：图像信号处理模块，用于生成针对多个图像通道图像数据的多路图像统计信息；中央处理模块，用于基于多路图像统计信息生成图像通道综合统计信息；第一传输端口模块，用于向应用处理装置传输图像通道综合统计信息。本申请实施例有利于降低传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。
Description
技术领域
本申请属于图像信号处理芯片技术领域，具体涉及一种前置图像信号处理装置及相关产品。
背景技术
目前，手机相机功能在虚化等模式时，需要同时打开多摄像头，每个摄像头的图像通道统计信息(例如：3A统计信息中的自动曝光AE统计信息等)都会通过前置图像信号处理器中对应的单个通道回传给应用处理装置，因此与多个摄像头一一对应的多个图像通道统计信息需要前置图像信号处理器中多个通道同时开启以实现回传，这导致前置图像信号处理器中的通道硬件开销和功耗较大。
发明内容
本申请实施例提供了一种前置图像信号处理装置及相关产品，以期降低传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。
第一方面，本申请实施例提供了一种前置图像信号处理装置，其耦合在摄像装置与应用处理装置之间，包括：
图像信号处理模块，用于生成针对多个图像通道图像数据的多路图像统计信息；
中央处理模块，用于基于所述多路图像统计信息生成图像通道综合统计信息；
第一传输端口模块，用于向所述应用处理装置传输所述图像通道综合统计信息。
可以看出，本申请实施例中，由于前置图像信号处理装置能够将多路图像统计信息合并为图像通道综合统计信息，并通过单个第一传输端口模块向应用处理装置传输所述图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现回传的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低前置图像信号处理装置传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。
第二方面，本申请实施例提供了一种图像统计信息处理芯片，其连接摄像装置，包括：
前置图像信号处理装置，电连接所述摄像装置，用于执行如第一方面任一项所述的装置的功能。
所述应用处理装置，电连接所述图像信号处理装置，用于接收所述图像通道综合统计信息，根据所述图像通道综合统计信息确定每个摄像单元的图像通道统计结果。
可以看出，本申请实施例中，由于前置图像信号处理装置能够将多路图像统计信息合并为图像通道综合统计信息，并通过单个第一传输端口模块向应用处理装置传输所述图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现回传的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低图像统计信息处理芯片传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。同时提高图像统计信息处理芯片计算每个摄像单元的图像通道统计结果的效率。
第三方面，本申请实施例提供了一种电子设备，包括：
摄像装置，用于采集多个图像通道图像数据；
图像统计信息处理芯片，电连接所述摄像装置，用于实现如第二方面任一项所述的芯片的功能。
可以看出，本申请实施例中，由于前置图像信号处理装置能够将多路图像统计信息合并为图像通道综合统计信息，并通过单个第一传输端口模块向应用处理装置传输所述图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现回传的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低电子设备传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。同时提高电子设备计算每个摄像单元的图像通道统计结果的效率。
第四方面，本申请实施例提供了一种图像信息传输方法，包括：
生成多个摄像模块的多个图像通道图像数据的多路图像统计信息；
基于所述多路图像统计信息生成图像通道综合统计信息；
传输所述图像通道综合统计信息。
可以看出，本申请实施例中，由于设备能够将多路图像统计信息合并为单路的图像通道综合统计信息，并传输该图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现传输的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低设备传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种前置图像信号处理装置100的结构示意图；
图1b是本申请实施例提供的另一种前置图像信号处理装置100的结构示意图；
图1c是本申请实施例提供的另一种前置图像信号处理装置的结构示意图；
图1d是本申请实施例提供的一种传输端口模块的结构示意图；
图2是本申请实施例提供的一种图像统计信息处理芯片10的结构示意图；
图3是本申请实施例提供的一种图像通道统计结果确定装置的功能单元组成框图；
图4a是本申请实施例提供的另一种图像通道统计结果确定装置的功能单元组成框图；
图4b是本申请实施例提供的一种用于支持本申请图像信息传输方法的软件系统架构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
目前，手机相机应用在虚化等模式，需要多个摄像头同时打开，每个摄像头的图像通道统计信息都要经过图像信号处理装置统计和回传，具体来说，每个摄像头的图像通道统计信息都会由对应的前置ISP进行统计，且经过对应的传输端口模块传给应用处理装置，例如对于3DOL(索尼SONY多曝光)摄像头能够需要输出长、中、短三路，每路数据都要统计3A信息，如果系统中有两路3DOL摄像头，则需要统计3路*2颗sensor*3A，至少需要使用和传递18种类的统计数据，对应需要占用与该2个3DOL摄像头对应的2个传输接口模块传输数据，占用的接口资源较多。
针对上述问题，本申请提出一种前置图像信号处理装置及相关产品，下面结合附图进行详细说明。
请参阅图1a，图1a是本申请实施例提供的一种前置图像信号处理装置100的结构示意图，所述前置图像信号处理装置100耦合在摄像装置200与应用处理装置300之间，包括：
图像信号处理模块110，用于生成针对多个图像通道图像数据的多路图像统计信息；
中央处理模块120，用于基于所述多路图像统计信息生成图像通道综合统计信息；
第一传输端口模块131，用于向所述应用处理装置300传输所述图像通道综合统计信息。
其中，摄像装置200包含多个摄像单元，摄像单元的类型包括主摄、广角、长焦等，此处不做唯一限定。所述图像通道与所述摄像单元一一对应。
其中，第一传输端口模块131例如可以是移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)。
其中，图像统计信息可以是3A统计信息中的AE统计信息和/或自动白平衡AWB统计信息，所述AE统计信息包括R、G、B直方图和/或亮度信息，所述AWB统计信息可以包括以下至少一种：红R像素、绿G像素、蓝B像素的点的个数、红像素绿像素的比值、蓝像素绿像素的比值。
具体实现中，所述图像通道综合统计信息可以是多路图像统计信息的叠加，即信息内容不变，仅叠加到一起进行传输，这样整体数据量基本没有增加，不会带来额外的数据传输负担。此外，所述图像通道综合统计信息也可以是通过数据融合实现数据量的降低，以此来提高整体数据传输效率。
其中，所述图像通道统计结果可以是3A统计结果中的AE统计结果和/或AWB统计结果，所述AE统计结果可以包括曝光时间和/或曝光增益，所述AWB统计结果例如可以包括以下至少一种：R通道增益、G通道增益、B通道增益以及颜色校正矩阵。
在一个可能的示例中，所述中央处理模块120在基于所述多路图像统计信息生成图像通道综合统计信息之前，还用于：基于所述摄像装置200中多个摄像单元的能力对齐系数，对所述多路图像统计信息进行能力对齐处理，得到经能力对齐后的多路图像统计信息，其中，所述能力对齐系数用于描述所述多个摄像单元之间对颜色的响应程度的差异。
具体实现中，所述能力对齐是指针对各个摄像模块，电子设备的图像信号处理装置根据预先配置的当前的摄像模块的能力对齐系数将当前的摄像模块的图像统计信息进行更新，从而得到能力对齐后的当前的摄像模块的图像统计信息。
其中，所述能力对齐系数可以是针对摄像模块的图像信号的能力对齐系数，也可以是经过转换后的直接针对图像统计信息的能力对齐系数，此处不做唯一限定。
具体实现中，电子设备可以针对画面重合区域的图像数据的统计信息进行能力对齐，具体可以在单摄光调整Tuning(Tuning指的是现有方案中专用于计算摄像头相关参数的Tuning工具tool)条件下确认与多个摄像模块一一对应的多个视场角FOV值，然后根据多个FOV值确定多个摄像模块的画面重合区域。
可见，本示例中，由于摄像单元的性能差异，各个摄像单元所采集到的图像信号存在明显差异，导致对应的图像统计信息也存在差异，通过能力对齐将多个摄像单元的多个统计信息适配至同一标准，克服传感器性能差异性带来的误差，从而为后续数据处理提供统一数据基础，提高准确度。
在本可能的示例中，所述中央处理模块120还用于：
确定当前处理的图像统计信息所对应的摄像单元是否为基准摄像单元；
若是，则将所述当前处理的图像统计信息确定为经能力对齐后的图像统计信息；
若否，则获取所述摄像单元的信息统计能力对齐系数，并根据所述当前处理的图像统计信息、所述信息统计能力对齐系数，确定能力对齐后的所述图像统计信息。
具体实现中，所述图像统计信息的信息统计能力对齐通过如下公式表示：
Ystats’＝KX*Ystats+BX，
其中，Ystats表示当前处理的摄像模块的原始的图像统计信息，Ystats’表示当前处理的摄像模块的信息统计能力对齐后的最终的图像统计信息，KX表示当前处理的摄像模块的信息统计能力对齐一阶系数，BX表示当前处理的摄像模块的信息统计能力对齐补偿系数。
可见，本示例中，电子设备将基准摄像模块之外的其他摄像模块的图像统计信息进行信息统计能力对齐，从而使得多个摄像模块的多个能力对齐后的图像统计信息能够克服传感器性能差异性带来的误差，能够为后续数据处理提供统一的数据基础，提高准确度。
在一个可能的示例中，所述中央处理模块120还用于：
获取与所述摄像装置200对应的多个图像数据；
对所述多个图像数据中每个图像数据进行采集信号响应能力对齐，得到采集信号响应能力对齐后的多个图像数据；
根据所述采集信号响应能力对齐后的多个图像数据中的每个图像数据确定对应的能力对齐后的图像统计信息，得到能力对齐后的多路图像统计信息。
在一个可能的示例中，所述中央处理模块120还用于：
确定当前处理的图像数据所对应的摄像单元是否为基准摄像单元；
若是，则将所述当前处理的图像数据确定为经能力对齐后的图像数据；
若否，则获取预配置的所述摄像模块的采集信号响应能力对齐系数，根据所述当前处理的图像统计信息、所述采集信号响应能力对齐系数，确定采集信号响应能力对齐后的所述图像数据。
具体实现中，所述图像数据的采集信号响应能力对齐通过如下公式表示：
Xstats’＝KX*Xstats+BX
其中，Xstats表示当前处理的摄像模块的图像数据中颜色X通道的原始信号响应数值，Xstats’表示当前处理的摄像模块的颜色X通道的采集信号响应能力对齐后的最终信号响应数值，KX表示当前处理的摄像模块的传感器颜色X通道的采集信号响应能力对齐一阶系数，BX表示当前处理的摄像模块的颜色X通道的采集信号响应能力对齐补偿系数。
举例来说，以RGB编码方案为例，则公式可以为：
R0＝Kr*R1+Br，
G0＝Kg*G1+Bg，
B0＝Kb*B1+Bb，
其中，R0表示当前处理的摄像模块的图像数据中颜色R通道的采集信号响应能力对齐后的最终信号响应数值，G0表示当前处理的摄像模块的图像数据中颜色G通道的采集信号响应能力对齐后的最终信号响应数值，B0表示当前处理的摄像模块的图像数据中颜色B通道的采集信号响应能力对齐后的最终信号响应数值，R1表示当前处理的摄像模块的图像数据中颜色R通道的原始信号响应数值，G1表示当前处理的摄像模块的图像数据中颜色G通道的原始信号响应数值，B1表示当前处理的摄像模块的图像数据中颜色B通道的原始信号响应数值，Kr表示当前处理的摄像模块的颜色R通道的采集信号响应能力对齐一阶系数，Gr表示当前处理的摄像模块的颜色G通道的采集信号响应能力对齐一阶系数，Br表示当前处理的摄像模块的颜色B通道的采集信号响应能力对齐一阶系数，Br表示当前处理的摄像模块的颜色R通道的采集信号响应能力对齐补偿系数，Gr表示当前处理的摄像模块的颜色G通道的采集信号响应能力对齐补偿系数，Bb表示当前处理的摄像模块的颜色B通道的采集信号响应能力对齐补偿系数。
在一个可能的示例中，在所述基于所述多路图像统计信息生成图像通道综合统计信息方面，所述中央处理模块120具体用于：将所述多路图像统计信息叠加为单个图像通道综合统计信息。
具体实现中，电子设备的图像信号处理装置具体采用扩展位宽的方式，将两路数据融合在一路数据中，例如多个摄像模块包括主摄像头和副摄像头，主摄像头统计位宽为12，副摄像头统计位宽12位，则扩展位宽后为24位，且主摄像头对应的传输端口模块的统计信息传输接口可以使用3个8bits位宽传递。
此外，可以按照摄像模块的预设编号进行各个对应的图像统计信息的标定，从而使得叠加后的单个图像通道综合统计信息中的预设编号识关联对应的摄像模块。
可见，本示例中，多路图像统计信息叠加为单个图像通道综合统计信息，即信息内容不变，仅叠加到一起进行传输，这样整体数据量基本没有增加，不会带来额外的数据传输负担。且单路传输节省了硬件接口资源开销和电量损耗。
在一个可能的示例中，在所述基于所述多路图像统计信息生成图像通道综合统计信息方面，所述中央处理模块120具体用于：获取所述多个摄像模块中每个摄像模块的统计信息配置权重；根据所述多路图像统计信息和所述每个摄像模块的统计信息配置权重，确定所述图像通道综合统计信息。
可见，本示例中，电子设备能够通过权重配比，加权计算图像通道综合统计信息，从而实现数据融合和数据量收敛，提高传输效率。
在本可能的示例中，在所述获取所述多个摄像模块中每个摄像模块的统计信息配置权重方面，所述中央处理模块120具体用于：根据所述每个摄像模块的图像数据确定所述每个摄像模块所采集图像的平均亮度；根据所述每个摄像模块所采集图像的平均亮度确定所述每个摄像模块的统计信息配置权重。
举例来说，假设多个摄像模块包括第一摄像头和第二摄像头，且第一摄像头采集的图像数据的平均亮度为L1，第二摄像头采集的图像数据的平均亮度为L2，L1:L2＝2:1，则第一摄像头的统计信息配置权重W1可以为0.67，第二摄像头的统计信息配置权重W2可以为0.33。
可见，本示例中，由于图像亮度越高，其对应的统计信息的置信度越高，因此，通过图像的平均亮度确定各个摄像模块的权重，能够有效提高加权计算的图像通道综合统计信息的准确度。
在一个可能的示例中，所述第一传输端口模块131中的第一统计信息传输接口用于传输所述图像通道综合统计信息。
其中，所述传输端口模块可以是MIPI传输端口，所述统计信息传输接口可以是DMA接口。
可见，本示例中，电子设备能够通过多个传输端口模块中的第一传输端口模块中的第一统计信息传输接口传输所述图像通道综合统计信息，即复用原统计信息传输接口传输多个摄像模块的图像通道综合统计信息，无需改变硬件接口，提高利用率。
在本可能的示例中，如图1b所示，所述前置图像信号处理装置100还包括第二传输端口模块132；
所述第二传输端口模块132至少用于传输所述图像数据，和/或所述第二传输端口模块132的供电状态可调。
其中，所述除所述图像通道综合统计信息之外的信息包括用于目标功能的目标信息，目标功能如人脸识别，目标信息如小图。提高信息传输全面性和效率。
其中，第二传输端口模块132可以是单个或者多个。
可见，本示例中，电子设备的第二传输端口模块可以包含传输除所述图像通道综合统计信息之外的信息的第二统计信息传输接口，从而实现其他信息复用原统计信息传输接口进行传输，提高硬件接口资源的利用率和传输信息的全面性。或者，电子设备的第二传输端口模块包含的第二统计信息传输接口也可以直接处于休眠状态，即不供电，从而实现省电。
可以看出，本申请实施例中，由于前置图像信号处理装置能够将多路图像统计信息合并为图像通道综合统计信息，并通过单个第一传输端口模块向应用处理装置传输所述图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现回传的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低前置图像信号处理装置传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。
如图1c所示，本申请实施例提供一种前置图像信号处理装置100的示例结构示意图，所述前置图像信号处理装置100耦合在多个摄像单元200与应用处理装置300之间，前置图像信号处理装置100可以包括多个传输端口模块110、与多个摄像单元200对应连接的前置图像信号处理器ISP120、神经网络处理器(Neural-network Processing Unit，NPU)130、前置中央处理单元CPU140、双倍速率SDRAM(Double Data Rate SDRAM，DDR)150以及电源管理单元(Power Management Unit，PMU)160，每个前置ISP 120均连接NPU130，NPU130连接所述多个传输端口模块110和DDR150，PMU160为NPU130、前置CPU140、传输端口模块110供电，前置CPU140连接多个前置ISP 120、NPU130以及多个传输端口模块。所述应用处理装置300包括与所述多个传输端口模块110对应的多个后置ISP 310、以及后置CPU320，所述前置CPU140连接(例如：通过安全数字输入输出SDIO接口或者串行外设接口SPI接口)所述后置CPU320。
其中，所述前置CPU140用于与应用处理装置300的后置CPU320交互，接收应用处理装置300的控制命令和数据，并发送信息回传给应用处理装置300。同时负责对前置ISP120、NPU130的控制。所述前置ISP120用于基础的图像处理，常规的ISP功能类似，包括坏点校正、暗电流校正、镜头阴影校正、数字增益、白平衡、去马赛克Demosaic、颜色校正、伽马Gamma、降噪等模块。所述NPU130用于运行人工智能AI算法对预览图像数据进行处理(例如：降噪、HDR、超分辨率等)。所述DDR150存储用于NPU130调用的算法。
此外，如图1d所示，所述传输端口模块110可以包括用于传输图像数据的图像数据传输接口1101(例如：直接存储器访问DMA接口)和用于传输图像通道统计信息的统计信息传输接口1102(例如：DMA接口)，或者，仅包括用于传输图像数据的图像数据传输接口1101。
请参阅图2，图2是本申请实施例提供的一种图像统计信息处理芯片10，其连接摄像装置200，包括：
所述前置图像信号处理装置100，电连接所述摄像装置200，用于实现图1a或图2中前置图像信号处理装置100的功能；
所述应用处理装置300，电连接所述图像信号处理装置，用于接收所述图像通道综合统计信息，根据所述图像通道综合统计信息确定每个摄像单元的图像通道统计结果。
在一个可能的示例中，在所述根据所述图像通道综合统计信息确定每个摄像单元的图像通道统计结果方面，所述应用处理装置300具体用于：将叠加的所述单个图像通道综合统计信息拆分为与多个摄像单元一一对应的多路图像统计信息；获取当前环境参数；根据拆分后的所述多路图像统计信息中每个图像统计信息、所述每个摄像模块的配置参数以及所述当前环境参数，确定所述每个摄像模块的图像通道统计结果。
其中，所述当前环境参数包括以下至少一种：当前环境亮度和当前环境的色温。所述当前环境亮度用于计算AE统计结果。所述当前环境的色温用于计算AWB统计结果。
其中，所述配置参数包括以下至少一种：AE的tuning参数和AWB的tuning参数，所述AE的tuning参数包括曝光指数曲线，所述AWB的tuning参数包括γ曲线。
可见，本示例中，电子设备能够通过应用处理装置对接收到的单个图像通道综合统计信息拆分和处理，从而计算出每个摄像模块的图像通道统计结果，由于单路传输，在实现图像通道统计结果计算的同时能够提高硬件接口资源利用率。
在一个可能的示例中，在所述根据所述图像通道综合统计信息确定每个摄像单元的图像通道统计结果方面，所述应用处理装置300具体用于：获取当前环境参数和所述每个摄像模块的配置参数；根据所述图像通道综合统计信息、所述每个摄像模块的配置参数以及所述当前环境参数，确定所述每个摄像模块的图像通道统计结果。
具体实现中，电子设备在根据所述多路图像统计信息和所述每个摄像模块的统计信息配置权重，确定所述图像通道综合统计信息之后，将该图像通道综合统计信息通过第一传输端口模块传输发给应用处理装置，应用处理装置接收该图像通道综合统计信息，并将该图像通道综合统计信息应用到各个摄像模块的图像通道统计结果的计算过程中，即应用处理装置获取当前环境参数和每个摄像模块的配置参数，根据所述图像通道综合统计信息、所述每个摄像模块的配置参数以及所述当前环境参数，确定所述每个摄像模块的图像通道统计结果。
可见，本示例中，电子设备能够将融合得到的图像通道综合统计信息适配到各个摄像单元的图像通道统计结果的计算过程中去，提高计算效率。
可以看出，本申请实施例中，由于前置图像信号处理装置能够将多路图像统计信息合并为图像通道综合统计信息，并通过单个第一传输端口模块向应用处理装置传输所述图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现回传的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低图像统计信息处理芯片传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。同时提高图像统计信息处理芯片计算每个摄像单元的图像通道统计结果的效率。
请参阅图3，图3是本申请实施例提供的一种电子设备1，包括：
摄像装置200，用于采集多个图像通道图像数据；
图像统计信息处理芯片10，电连接所述摄像装置200，用于实现图2中图像统计信息处理芯片10的功能。
可以看出，本申请实施例中，由于前置图像信号处理装置能够将多路图像统计信息合并为图像通道综合统计信息，并通过单个第一传输端口模块向应用处理装置传输所述图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现回传的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低电子设备传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。同时提高电子设备计算每个摄像单元的图像通道统计结果的效率。
请参阅图4a，图4a是本申请实施例提供的一种图像信息传输方法的流程示意图，应用于电子设备，所述方法包括：
步骤401，生成多个摄像模块的多个图像通道图像数据的多路图像统计信息；
步骤402，基于所述多路图像统计信息生成图像通道综合统计信息；
步骤403，传输所述图像通道综合统计信息。
如图4b所示的用于支持本申请图像信息传输方法的图像信息传输系统的架构图，该软件系统架构的应用层包括相机应用，谷歌框架层包括谷歌相机框架层接口GoogleCamera HAL3interface，硬件抽象层包括通道Pipeline模块、3A模块、前置ISP硬件抽象层PreISP HAL模块，内核Kernel层包括PreISP子系统subsystem、PreISP驱动模块、串行通信总线I2C驱动Driver、设备树Device Tree配置(内含IMX586和OV23850)以及ISP驱动Driver。
可以看出，本申请实施例中，由于设备能够将多路图像统计信息合并为单路的图像通道综合统计信息，并传输该图像通道综合统计信息。相对于多个图像通道统计信息需要多个通道同时开启以实现传输的方案，无需占用其他传输端口模块的接口资源传输图像通道统计信息，有利于降低设备传输多个图像通道统计信息的硬件开销和功耗，提高资源利用率。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应该理解为对本申请的限制。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。
Claims (8)
1.一种前置图像信号处理装置，其耦合在摄像装置与应用处理装置之间，其特征在于，包括：
图像信号处理模块，用于生成针对多个图像通道图像数据的多路图像统计信息；
中央处理模块，用于基于所述摄像装置中多个摄像模块的信息统计能力对齐系数，对所述多路图像统计信息进行能力对齐处理，得到经能力对齐后的多路图像统计信息，其中，所述能力对齐系数用于描述所述多个摄像模块之间对颜色的响应程度的差异，以及用于基于所述经能力对齐后的多路图像统计信息生成图像通道综合统计信息；
第一传输端口模块，用于向所述应用处理装置传输所述图像通道综合统计信息。
2.根据权利要求1所述的前置图像信号处理装置，其特征在于，所述中央处理模块还用于：
确定当前处理的图像统计信息所对应的摄像模块是否为基准摄像模块；
若是，则将所述当前处理的图像统计信息确定为经能力对齐后的图像统计信息；
若否，则获取所述摄像模块的信息统计能力对齐系数，并根据所述当前处理的图像统计信息、所述信息统计能力对齐系数，确定能力对齐后的所述图像统计信息。
3.根据权利要求1所述的前置图像信号处理装置，其特征在于，在所述基于所述经能力对齐后的多路图像统计信息生成图像通道综合统计信息方面，所述中央处理模块具体用于：
将所述经能力对齐后的多路图像统计信息叠加为单个图像通道综合统计信息。
4.根据权利要求1所述的前置图像信号处理装置，其特征在于，在所述基于所述经能力对齐后的多路图像统计信息生成图像通道综合统计信息方面，所述中央处理模块具体用于：
获取所述多个摄像模块中每个摄像模块的统计信息配置权重；
根据所述经能力对齐后的多路图像统计信息和所述每个摄像模块的统计信息配置权重，确定所述图像通道综合统计信息。
5.根据权利要求4所述的前置图像信号处理装置，其特征在于，在所述获取所述多个摄像模块中每个摄像模块的统计信息配置权重方面，所述中央处理模块具体用于：
根据所述每个摄像模块的图像数据确定所述每个摄像模块所采集图像的平均亮度；
根据所述每个摄像模块所采集图像的平均亮度确定所述每个摄像模块的统计信息配置权重。
6.根据权利要求1-5任一项所述的前置图像信号处理装置，其特征在于，所述第一传输端口模块中的第一统计信息传输接口用于传输所述图像通道综合统计信息。
7.根据权利要求6所述的前置图像信号处理装置，其特征在于，所述前置图像信号处理装置还包括第二传输端口模块；
所述第二传输端口模块至少用于传输所述图像数据，和/或所述第二传输端口模块的供电状态可调。
8.一种图像信息传输方法，其特征在于，包括：
生成多个摄像模块的多个图像通道图像数据的多路图像统计信息；
基于摄像装置中多个摄像模块的信息统计能力对齐系数，对所述多路图像统计信息进行能力对齐处理，得到经能力对齐后的多路图像统计信息，其中，所述能力对齐系数用于描述所述多个摄像模块之间对颜色的响应程度的差异；
基于所述经能力对齐后的多路图像统计信息生成图像通道综合统计信息；
传输所述图像通道综合统计信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421250.2A CN115225828B (zh) | 2021-04-17 | 2021-04-17 | 前置图像信号处理装置及图像信息传输方法 |
| PCT/CN2022/080676 WO2022218080A1 (zh) | 2021-04-17 | 2022-03-14 | 前置图像信号处理装置及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421250.2A CN115225828B (zh) | 2021-04-17 | 2021-04-17 | 前置图像信号处理装置及图像信息传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115225828A CN115225828A (zh) | 2022-10-21 |
| CN115225828B true CN115225828B (zh) | 2024-04-23 |
Family
ID=83604593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421250.2A Active CN115225828B (zh) | 2021-04-17 | 2021-04-17 | 前置图像信号处理装置及图像信息传输方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115225828B (zh) |
| WO (1) | WO2022218080A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117560552B (zh) * | 2024-01-10 | 2024-05-31 | 荣耀终端有限公司 | 拍摄控制方法、电子设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101283604A (zh) * | 2005-08-30 | 2008-10-08 | 诺基亚公司 | 具有自动白平衡的图像处理设备 |
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的系统和方法 |
| CN103686111A (zh) * | 2013-12-31 | 2014-03-26 | 上海富瀚微电子有限公司 | 一种基于rgbir图像传感器的颜色校正方法以及装置 |
| CN105141841A (zh) * | 2015-08-25 | 2015-12-09 | 上海兆芯集成电路有限公司 | 摄像设备及其方法 |
| CN209656980U (zh) * | 2019-04-08 | 2019-11-19 | 深圳市星火电子工程公司 | 一种可调焦变焦的摄像眼镜 |
-
2021
- 2021-04-17 CN CN202110421250.2A patent/CN115225828B/zh active Active
-
2022
- 2022-03-14 WO PCT/CN2022/080676 patent/WO2022218080A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101283604A (zh) * | 2005-08-30 | 2008-10-08 | 诺基亚公司 | 具有自动白平衡的图像处理设备 |
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的系统和方法 |
| CN103686111A (zh) * | 2013-12-31 | 2014-03-26 | 上海富瀚微电子有限公司 | 一种基于rgbir图像传感器的颜色校正方法以及装置 |
| CN105141841A (zh) * | 2015-08-25 | 2015-12-09 | 上海兆芯集成电路有限公司 | 摄像设备及其方法 |
| CN209656980U (zh) * | 2019-04-08 | 2019-11-19 | 深圳市星火电子工程公司 | 一种可调焦变焦的摄像眼镜 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115225828A (zh) | 2022-10-21 |
| WO2022218080A1 (zh) | 2022-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220207680A1 (en) | Image Processing Method and Apparatus | |
| US10325354B2 (en) | Depth assisted auto white balance | |
| WO2021160001A1 (zh) | 图像获取方法和装置 | |
| CN110675458B (zh) | 用于摄像头标定的方法、装置及存储介质 | |
| CN114693580B (zh) | 图像处理方法及其相关设备 | |
| CN110213502A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112202986A (zh) | 图像处理方法、图像处理装置、可读介质及其电子设备 | |
| WO2023036034A1 (zh) | 图像处理方法及其相关设备 | |
| WO2023040725A1 (zh) | 白平衡处理方法与电子设备 | |
| CN115225828B (zh) | 前置图像信号处理装置及图像信息传输方法 | |
| KR102285756B1 (ko) | 전자 시스템 및 영상 처리 방법 | |
| CN113727085B (zh) | 一种白平衡处理方法、电子设备、芯片系统和存储介质 | |
| CN114331916A (zh) | 图像处理方法及电子设备 | |
| JP7387872B2 (ja) | キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器 | |
| KR102412020B1 (ko) | 이미지 센서의 파라미터 제어 방법 | |
| CN115550575B (zh) | 图像处理方法及其相关设备 | |
| US20220301278A1 (en) | Image processing method and apparatus, storage medium, and electronic device | |
| US11501418B2 (en) | Multi-level lookup tables for control point processing and histogram collection | |
| WO2022226732A1 (zh) | 电子装置和电子装置的图像处理方法 | |
| CN113873142B (zh) | 多媒体处理芯片、电子设备和动态图像处理方法 | |
| EP4198869A1 (en) | Electronic apparatus, and image processing method for electronic apparatus | |
| WO2023040540A1 (zh) | 图像处理芯片、应用处理芯片、电子设备和图像处理方法 | |
| CN115103173B (zh) | 图像自动白平衡的实现方法、装置及其芯片 | |
| CN115955611B (zh) | 图像处理方法与电子设备 | |
| CN108924410A (zh) | 拍照控制方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |