CN111343375A - 图像信号处理方法及装置、电子设备、存储介质 - Google Patents

图像信号处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111343375A
CN111343375A CN201811555796.1A CN201811555796A CN111343375A CN 111343375 A CN111343375 A CN 111343375A CN 201811555796 A CN201811555796 A CN 201811555796A CN 111343375 A CN111343375 A CN 111343375A
Authority
CN
China
Prior art keywords
data set
image
signal data
image signal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811555796.1A
Other languages
English (en)
Inventor
武隽
过一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201811555796.1A priority Critical patent/CN111343375A/zh
Publication of CN111343375A publication Critical patent/CN111343375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于一种图像信号处理方法及装置、电子设备、存储介质,该方法可以包括:向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。

Description

图像信号处理方法及装置、电子设备、存储介质
技术领域
本公开涉及图像信号处理技术领域,尤其涉及一种图像信号处理方法及装置、电子设备、存储介质。
背景技术
在相机系统中,Sensor(图像传感器)包含感光区域,该感光区域中的每一感光像素通过光电转换生成相应的原始信号数据,而所有感光像素共同形成相应的原始信号数据集。
然后,ISP(Image Signal Processor,图像信号处理器)负责接收Sensor输出的原始信号数据集,并实施诸如AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)等处理,对保障图像质量起着非常重要的作用。
但是,相关技术中的Sensor与ISP之间需要确保性能一致,否则可能影响图像的正常输出。
发明内容
本公开提供一种图像信号处理方法及装置、电子设备、存储介质,以解决相关技术中的不足。
根据本公开实施例的第一方面,提供一种图像信号处理方法,包括:
向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;
融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
可选的,还包括:
根据对所述图像传感器的感光区域的预设划分规则、所述第一原始信号数据集与所述感光区域中感光像素之间的映射关系,对所述第一原始信号数据集进行划分,以得到所述多组数据子集。
可选的,还包括:
基于预设规格的窗口和预设步长,依次对所述第一原始信号数据集中落入窗口内的原始信号数据进行选取,以分别选取出各组数据子集;其中,所述预设规格匹配于所述处理能力上限。
可选的,
所述向图像信号处理器依次输出多组数据子集中的每组数据子集,包括:当接收到拍摄指令时,向所述图像信号处理器依次输出所述多组数据子集中的每组数据子集;
所述方法还包括:根据所述第一处理后信号数据集,生成相应的图像或视频。
可选的,还包括:
当处于预览状态时,根据所述第一处理后信号数据集示出相应的预览图像。
可选的,还包括:
当处于预览状态时,将所述图像传感器配置为下采样类型的工作模式;
将所述图像传感器生成的第二原始信号数据集输出至所述图像信号处理器;
根据所述图像信号处理器输出的第二处理后信号数据集,示出相应的预览图像。
根据本公开实施例的第二方面,提供一种图像信号处理装置,包括:
第一输出单元,向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;
融合单元,融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
可选的,还包括:
划分单元,根据对所述图像传感器的感光区域的预设划分规则、所述第一原始信号数据集与所述感光区域中感光像素之间的映射关系,对所述第一原始信号数据集进行划分,以得到所述多组数据子集。
可选的,还包括:
选取单元,基于预设规格的窗口和预设步长,依次对所述第一原始信号数据集中落入窗口内的原始信号数据进行选取,以分别选取出各组数据子集;其中,所述预设规格匹配于所述处理能力上限。
可选的,
所述第一输出单元包括:输出子单元,当接收到拍摄指令时,向所述图像信号处理器依次输出所述多组数据子集中的每组数据子集;
所述装置还包括:生成单元,根据所述第一处理后信号数据集,生成相应的图像或视频。
可选的,还包括:
第一显示单元,当处于预览状态时,根据所述第一处理后信号数据集示出相应的预览图像。
可选的,还包括:
配置单元,当处于预览状态时,将所述图像传感器配置为下采样类型的工作模式;
第二输出单元,将所述图像传感器生成的第二原始信号数据集输出至所述图像信号处理器;
第二显示单元,根据所述图像信号处理器输出的第二处理后信号数据集,示出相应的预览图像。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如上述实施例中任一所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如上述实施例中任一所述方法的步骤。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像信号处理方法的流程图。
图2是根据一示例性实施例示出的一种输出预览图像的示意图。
图3是根据一示例性实施例示出的一种输出高分辨率图像的示意图。
图4是根据一示例性实施例示出的一种划分原始信号数据集的示意图。
图5是根据一示例性实施例示出的另一种划分原始信号数据集的示意图。
图6是根据一示例性实施例示出的一种生成数据子集的示意图。
图7~12是根据一示例性实施例示出的一种图像信号处理装置的框图。
图13是根据一示例性实施例示出的一种用于图像信号处理的装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种图像信号处理方法的流程图,如图1所示,该方法应用于终端(如电子设备)中,可以包括以下步骤:
在步骤102中,向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限。
在一实施例中,通过向图像信号处理器依次输出每组数据子集,且每组数据子集的像素量不大于图像信号处理器的处理能力上限,那么即便第一原始信号数据集的像素量超出了图像信号处理器的处理能力上限,图像信号处理器仍然能够分别对每组数据子集进行处理,使得性能较弱的图像信号处理器能够适配性能较强的图像传感器,突破了图像信号处理器的带宽限制,消除了图像信号处理器必须与图像传感器性能一致的技术偏见。
在一实施例中,图像传感器在单次曝光后生成的第一原始信号数据集,可用于生成相应的一帧图像;通过多次曝光可以生成多帧图像或一段视频。
在一实施例中,可以根据图像传感器的感光区域的感光像素数量和图像信号处理器的处理能力上限,预先对图像传感器的感光区域设定划分规则,该预设划分规则可以确保划分得到的每一感光子区域的像素量均不大于图像信号处理器的性能上线,比如该预设划分规则可以对感光区域进行四等分、六等分、八等分等或者不一定采用平均划分的方式,本公开并不对此进行限制。相应地,根据对所述图像传感器的感光区域的预设划分规则、所述第一原始信号数据集与所述感光区域中感光像素之间的映射关系,可以对所述第一原始信号数据集进行划分,以得到所述多组数据子集。其中,上述感光区域内的每一感光像素可以分别生成相应的原始信号数据(一个感光像素对应于一份原始信号数据,或者多个感光像素可能作为一组而同时对应于一份原始信号数据),而所有感光像素(即所有参与感光的感光像素,不排除感光区域内的部分感光像素可能在部分情况或模式下不参与感光)所产生原始信号数据构成了上述的第一原始信号数据集,所以第一原始信号数据集与感光区域中感光像素之间的映射关系可以理解为每一原始信号数据与感光像素之间的映射关系。每一感光子区域内的感光像素所形成的原始信号数据构成了一组数据子集,因而多个感光子区域分别形成了上述的多组数据子集。
在一实施例中,可以基于预设规格的窗口和预设步长,依次对所述第一原始信号数据集中落入窗口内的原始信号数据进行选取,以分别选取出各组数据子集;其中,所述预设规格匹配于所述处理能力上限。换言之,不需要基于上述实施例中的预设划分规则对感光区域进行划分,而是基于图像信号处理器的处理能力上限设定相匹配预设规格的窗口,使得每次落入窗口内的原始信号数据的数据量不大于该处理能力上限,即可确保图像信号处理器能够对每组数据子集分别进行处理。其中,当窗口沿预设方向进行移动时,预设步长的取值应当不大于窗口在该预设方向上的长度,以确保覆盖到所有原始信号数据。在一实施例中,窗口在上述预设方向上的长度可以被图像传感器的感光区域在该预设方向上的长度整除,且预设步长的取值可与窗口在该预设方向上的长度相等,使得各个数据子集之间不存在重复的原始信号数据,且恰好能够覆盖第一原始信号数据集;或者,可使每次落入窗口内的原始信号数据的数据量等于图像信号处理器的处理能力上限,那么绝大部分数据子集均能够恰好被图像信号处理器所处理、不会造成图像信号处理器的性能浪费,只是感光区域的边缘处的感光像素所对应的少数数据子集的像素量可能小于处理能力上限(此时窗口在上述预设方向上的长度无法被图像传感器的感光区域在该预设方向上的长度整除)。
在步骤104中,融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
在一实施例中,通过图像信号处理器分别将各组数据子集处理为相应的处理后数据子集,然后对多组处理后数据子集进行融合为第一处理后信号数据集,其处理结果等同于通过图像信号处理器将第一原始信号数据集直接处理为第一处理后信号数据集,且处理过程中可以突破图像信号处理器的带宽等方面的性能限制。
在一实施例中,可以在接收到拍摄指令时,向所述图像信号处理器依次输出所述多组数据子集中的每组数据子集,以生成上述的第一处理后信号数据集;然后,根据所述第一处理后信号数据集,生成相应的图像或视频,从而完成对图像或视频的拍摄。
在一实施例中,当处于预览状态时,可以根据所述第一处理后信号数据集示出相应的预览图像,使得用户可以在终端的显示屏上查看该预览图像,以实现取景操作。
在一实施例中,当处于预览状态时,可以将所述图像传感器配置为下采样类型的工作模式,比如相关技术中的binning模式或skipping模式等,本公开并不对此进行限制;基于下采样类型的工作模式,使得图像传感器生成的第二原始信号数据集的像素量小于上述的第一原始信号数据集,比如可以将其控制在不超出图像信号处理器的处理能力上限的状态,从而可以将该第二原始信号数据集输出至所述图像信号处理器,然后根据所述图像信号处理器输出的第二处理后信号数据集,示出相应的预览图像。
图2是根据一示例性实施例示出的一种输出预览图像的示意图。如图2所示,假定Sensor的分辨率为8000万像素,即Sensor的感光区域包含8000万个感光像素,可以最大生成8000万像素的原始信号数据集;同时,假定ISP的处理能力上限为2000万像素,即ISP仅能够针对2000万像素的原始信号数据集进行处理,无法对Sensor产生的上述8000万像素的原始信号数据集进行直接处理。
当电子设备处于预览模式时,Sensor可以工作于Binning模式或Skipping模式,使得Sensor可以通过下采样而获得较低像素量的原始信号数据集,使其满足ISP的处理能力上限。例如,Sensor可以生成2000万像素量的原始信号数据集,使得ISP可以直接对该原始信号数据集进行处理。其中,对原始信号数据集的处理方式可以参考ISP在相关技术中的处理功能,比如AEC(Automatic Exposure Control,自动曝光控制)、AGC(Automatic GainControl,自动增益控制)、AWB(Automatic white balance,自动白平衡)等,本公开并不对此进行限制。
经过上述处理后,ISP可以输出2000万像素量的处理后信号数据集,并将该处理后信号数据集用于展示在电子设备的显示屏上,以供用户进行预览。
图3是根据一示例性实施例示出的一种输出高分辨率图像的示意图。如图3所示,仍以上述分辨率为8000万像素的Sensor、处理能力上限为2000万像素量的ISP为例。当电子设备生成拍摄指令时,相机系统可以从上述的Binning模式或Skipping模式切换至高分辨率输出模式,使得Sensor可以输出全量的、8000万像素的原始信号数据集。
针对8000万像素的原始信号数据集,并结合ISP仅为2000万像素的处理能力上限,可以对原始信号数据集进行划分,比如将其划分为如图3所示的数据子集1、数据子集2、数据子集3和数据子集4,其中数据子集1~数据子集4分别包含2000像素的原始信号数据。其中,可以通过多种方式得到数据子集1~数据子集4,本公开并不对此进行限制;例如,图4是根据一示例性实施例示出的一种划分原始信号数据集的示意图,如图4所示,由于原始信号数据集中的每一原始信号数据分别对应于Sensor感光区域中的各个感光像素,因而可以预先对感光区域进行划分为多个感光子区域,比如划分为感光子区域1~感光子区域4,那么在生成原始信号数据集后,可以将对应于感光子区域1内的感光像素的原始信号数据划分至数据子集1、将对应于感光子区域2内的感光像素的原始信号数据划分至数据子集2、将对应于感光子区域3内的感光像素的原始信号数据划分至数据子集3、将对应于感光子区域4内的感光像素的原始信号数据划分至数据子集4。
虽然8000万像素的原始信号数据集实际上对应于一帧图像,但是在处理过程中,可以将数据子集1~数据子集4分别视为4帧图像,分别将数据子集1~数据子集4输出至ISP,使得ISP分别对数据子集1~数据子集4中的原始信号数据进行处理,并分别输出相应的处理后数据子集1~处理后数据子集4。然后,根据每一数据子集与处理后数据子集之间的对应关系、每一数据子集与感光子区域之间的对应关系、各个感光子区域之间的相对位置关系,可以对处理后数据子集1~处理后数据子集4进行融合,从而相应得到8000万像素的处理后信号数据集,其效果相同于通过高性能(如处理能力上限不低于8000万像素)的ISP将原始信号数据集处理为上述的处理后信号数据集。进一步地,可以根据处理后信号数据集生成相应的图像或视频,这与相关技术中的处理过程一致,此处不再赘述。
虽然在上述实施例中,可以将原始信号数据集划分为数据子集1~数据子集4,但本公开并不限制数据子集的数量,这可以取决于Sensor和ISP的实际性能。例如,图5是根据一示例性实施例示出的另一种划分原始信号数据集的示意图,如图5所示,当原始信号数据集为8000万像素时,如果ISP的处理能力上限为4000万像素,那么可以将原始信号数据集划分为数据子集1和数据子集2,每一数据子集包含4000万像素的原始信号数据,而ISP可以分别对数据子集1和数据子集2进行处理、分别得到相应的处理后数据子集1和处理后数据子集2,然后将处理后数据子集1和处理后数据子集2融合为8000万像素的处理后信号数据集。当然,每一数据子集的数据量并不一定等于ISP的处理能力上限,比如在图5所示的实施例中,仍然可以将原始信号数据集划分为数据子集1~数据子集4,其中数据子集1~数据子集4分别包含2000万像素的原始信号数据。
除了预先对感光区域进行划分之外,还可以通过其他方式得到满足ISP性能状况的数据子集,本公开并不对此进行限制。例如,图6是根据一示例性实施例示出的一种生成数据子集的示意图。如图6所示,可以根据ISP的处理能力上限确定一选择窗口,比如当ISP的处理能力上限为2000万时,可使得该窗口每次覆盖不超过2000万像素的原始信号数据,比如图6中的窗口每次可以覆盖1500万像素。那么,在生成原始信号数据集后,可以通过该窗口对原始信号数据集所包含的原始信号数据进行依次选择,比如可以从左上角开始、将位于窗口内的原始信号数据选择并生成为数据子集1,然后按照预设步长对窗口进行移动,比如可使该窗口向右移动后恰好与数据子集1对应的原始信号数据相邻,将此时位于窗口内的原始信号数据选择并生成为数据子集2;类似地,可以将窗口继续向右移动,但窗口可能在左右方向上超出了原始信号数据集,那么本次生成的数据子集3可以小于1500万像素。然后,可以将窗口移动至下一行并继续生成其他的数据子集,此处不再赘述。
与图6所示的数据子集1~数据子集3相类似的,在如图4-5所示的实施例中,各个数据子集的像素量也并不一定相同,本公开并不对此进行限制。此外,每一数据子集的数据量可以等于ISP的处理能力上限,这样可以避免ISP性能浪费的同时,尽量减少数据子集的数量,以提升对原始信号数据集的处理效率。
与前述的图像信号处理方法的实施例相对应,本公开还提供了图像信号处理装置的实施例。
图7是根据一示例性实施例示出的一种图像信号处理装置框图。参照图7,该装置包括:
第一输出单元71,被配置为向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;
融合单元72,被配置为融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
如图8所示,图8是根据一示例性实施例示出的另一种图像信号处理装置的框图,该实施例在前述图7所示实施例的基础上,还可以包括:
划分单元73,被配置为根据对所述图像传感器的感光区域的预设划分规则、所述第一原始信号数据集与所述感光区域中感光像素之间的映射关系,对所述第一原始信号数据集进行划分,以得到所述多组数据子集。
如图9所示,图9是根据一示例性实施例示出的另一种图像信号处理装置的框图,该实施例在前述图7所示实施例的基础上,还可以包括:
选取单元74,被配置为基于预设规格的窗口和预设步长,依次对所述第一原始信号数据集中落入窗口内的原始信号数据进行选取,以分别选取出各组数据子集;其中,所述预设规格匹配于所述处理能力上限。
需要说明的是,上述图9所示的装置实施例中的选取单元74的结构也可以包含在前述图8所述的装置实施例中,对此本公开不进行限制。
如图10所示,图10是根据一示例性实施例示出的另一种图像信号处理装置的框图,该实施例在前述图7所示实施例的基础上,所述第一输出单元71可以包括:输出子单元711,被配置为当接收到拍摄指令时,向所述图像信号处理器依次输出所述多组数据子集中的每组数据子集;所述装置还可以包括:
生成单元75,被配置为根据所述第一处理后信号数据集,生成相应的图像或视频。
需要说明的是,上述图10所示的装置实施例中的输出子单元711和生成单元75的结构也可以包含在前述图8或图9所述的装置实施例中,对此本公开不进行限制。
如图11所示,图11是根据一示例性实施例示出的另一种图像信号处理装置的框图,该实施例在前述图7所示实施例的基础上,还可以包括:
第一显示单元76,被配置为当处于预览状态时,根据所述第一处理后信号数据集示出相应的预览图像。
需要说明的是,上述图11所示的装置实施例中的第一显示单元76的结构也可以包含在前述图8-10中任一所述的装置实施例中,对此本公开不进行限制。
如图12所示,图12是根据一示例性实施例示出的另一种图像信号处理装置的框图,该实施例在前述图7所示实施例的基础上,还可以包括:
配置单元77,被配置为当处于预览状态时,将所述图像传感器配置为下采样类型的工作模式;
第二输出单元78,被配置为将所述图像传感器生成的第二原始信号数据集输出至所述图像信号处理器;
第二显示单元79,被配置为根据所述图像信号处理器输出的第二处理后信号数据集,示出相应的预览图像。
需要说明的是,上述图12所示的装置实施例中的配置单元77、第二输出单元78和第二显示单元79的结构也可以包含在前述图8-11中任一所述的装置实施例中,对此本公开不进行限制。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本公开还提供一种图像信号处理装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
相应的,本公开还提供一种终端,所述终端包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
图13是根据一示例性实施例示出的一种用于图像信号处理的装置1300的框图。例如,装置1300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图13,装置1300可以包括以下一个或多个组件:处理组件1302,存储器1304,电源组件1306,多媒体组件1308,音频组件1310,输入/输出(I/O)的接口1312,传感器组件1314,以及通信组件1316。
处理组件1302通常控制装置1300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1302可以包括一个或多个模块,便于处理组件1302和其他组件之间的交互。例如,处理组件1302可以包括多媒体模块,以方便多媒体组件1308和处理组件1302之间的交互。
存储器1304被配置为存储各种类型的数据以支持在装置1300的操作。这些数据的示例包括用于在装置1300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1306为装置1300的各种组件提供电力。电源组件1306可以包括电源管理系统,一个或多个电源,及其他与为装置1300生成、管理和分配电力相关联的组件。
多媒体组件1308包括在所述装置1300和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1308包括一个前置摄像头和/或后置摄像头。当装置1300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1310被配置为输出和/或输入音频信号。例如,音频组件1310包括一个麦克风(MIC),当装置1300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中,音频组件1310还包括一个扬声器,用于输出音频信号。
I/O接口1312为处理组件1302和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1314包括一个或多个传感器,用于为装置1300提供各个方面的状态评估。例如,传感器组件1314可以检测到装置1300的打开/关闭状态,组件的相对定位,例如所述组件为装置1300的显示器和小键盘,传感器组件1314还可以检测装置1300或装置1300一个组件的位置改变,用户与装置1300接触的存在或不存在,装置1300方位或加速/减速和装置1300的温度变化。传感器组件1314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1316被配置为便于装置1300和其他设备之间有线或无线方式的通信。装置1300可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1304,上述指令可由装置1300的处理器1320执行以完成上述图像信号处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像信号处理方法,其特征在于,包括:
向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;
融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据对所述图像传感器的感光区域的预设划分规则、所述第一原始信号数据集与所述感光区域中感光像素之间的映射关系,对所述第一原始信号数据集进行划分,以得到所述多组数据子集。
3.根据权利要求1所述的方法,其特征在于,还包括:
基于预设规格的窗口和预设步长,依次对所述第一原始信号数据集中落入窗口内的原始信号数据进行选取,以分别选取出各组数据子集;其中,所述预设规格匹配于所述处理能力上限。
4.根据权利要求1所述的方法,其特征在于,
所述向图像信号处理器依次输出多组数据子集中的每组数据子集,包括:当接收到拍摄指令时,向所述图像信号处理器依次输出所述多组数据子集中的每组数据子集;
所述方法还包括:根据所述第一处理后信号数据集,生成相应的图像或视频。
5.根据权利要求1所述的方法,其特征在于,还包括:
当处于预览状态时,根据所述第一处理后信号数据集示出相应的预览图像。
6.根据权利要求1所述的方法,其特征在于,还包括:
当处于预览状态时,将所述图像传感器配置为下采样类型的工作模式;
将所述图像传感器生成的第二原始信号数据集输出至所述图像信号处理器;
根据所述图像信号处理器输出的第二处理后信号数据集,示出相应的预览图像。
7.一种图像信号处理装置,其特征在于,包括:
第一输出单元,被配置为向图像信号处理器依次输出多组数据子集中的每组数据子集,其中所述多组数据子集的并集为图像传感器在单次曝光后生成的第一原始信号数据集,且每组数据子集的像素量不大于所述图像信号处理器的处理能力上限;
融合单元,被配置为融合所述图像信号处理器对所述多组数据子集分别进行处理得到的多组处理后数据子集,得到所述第一原始信号数据集对应的第一处理后信号数据集。
8.根据权利要求7所述的装置,其特征在于,还包括:
划分单元,被配置为根据对所述图像传感器的感光区域的预设划分规则、所述第一原始信号数据集与所述感光区域中感光像素之间的映射关系,对所述第一原始信号数据集进行划分,以得到所述多组数据子集。
9.根据权利要求7所述的装置,其特征在于,还包括:
选取单元,被配置为基于预设规格的窗口和预设步长,依次对所述第一原始信号数据集中落入窗口内的原始信号数据进行选取,以分别选取出各组数据子集;其中,所述预设规格匹配于所述处理能力上限。
10.根据权利要求7所述的装置,其特征在于,
所述第一输出单元包括:输出子单元,被配置为当接收到拍摄指令时,向所述图像信号处理器依次输出所述多组数据子集中的每组数据子集;
所述装置还包括:生成单元,被配置为根据所述第一处理后信号数据集,生成相应的图像或视频。
11.根据权利要求7所述的装置,其特征在于,还包括:
第一显示单元,被配置为当处于预览状态时,根据所述第一处理后信号数据集示出相应的预览图像。
12.根据权利要求7所述的装置,其特征在于,还包括:
配置单元,被配置为当处于预览状态时,将所述图像传感器配置为下采样类型的工作模式;
第二输出单元,被配置为将所述图像传感器生成的第二原始信号数据集输出至所述图像信号处理器;
第二显示单元,被配置为根据所述图像信号处理器输出的第二处理后信号数据集,示出相应的预览图像。
13.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN201811555796.1A 2018-12-19 2018-12-19 图像信号处理方法及装置、电子设备、存储介质 Pending CN111343375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811555796.1A CN111343375A (zh) 2018-12-19 2018-12-19 图像信号处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811555796.1A CN111343375A (zh) 2018-12-19 2018-12-19 图像信号处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN111343375A true CN111343375A (zh) 2020-06-26

Family

ID=71183295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811555796.1A Pending CN111343375A (zh) 2018-12-19 2018-12-19 图像信号处理方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111343375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484357A (zh) * 2021-05-31 2022-12-16 北京小米移动软件有限公司 图像处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719985A (zh) * 2009-11-17 2010-06-02 北京中星微电子有限公司 一种图像采集和处理的方法和装置
CN102956027A (zh) * 2011-08-30 2013-03-06 安凯(广州)微电子技术有限公司 基于摄像头图像处理芯片的图像增强处理系统及处理方法
CN104902193A (zh) * 2015-05-19 2015-09-09 上海集成电路研发中心有限公司 一种基于fpga对图像数据进行分割处理和显示的方法
CN107343120A (zh) * 2017-06-30 2017-11-10 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719985A (zh) * 2009-11-17 2010-06-02 北京中星微电子有限公司 一种图像采集和处理的方法和装置
CN102956027A (zh) * 2011-08-30 2013-03-06 安凯(广州)微电子技术有限公司 基于摄像头图像处理芯片的图像增强处理系统及处理方法
CN104902193A (zh) * 2015-05-19 2015-09-09 上海集成电路研发中心有限公司 一种基于fpga对图像数据进行分割处理和显示的方法
CN107343120A (zh) * 2017-06-30 2017-11-10 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484357A (zh) * 2021-05-31 2022-12-16 北京小米移动软件有限公司 图像处理方法及电子设备

Similar Documents

Publication Publication Date Title
CN109600659B (zh) 播放视频时的操作方法、装置、设备及存储介质
CN108419016B (zh) 拍摄方法、装置及终端
CN106657780B (zh) 图像预览方法和装置
CN110493526B (zh) 基于多摄像模块的图像处理方法、装置、设备及介质
US20170311004A1 (en) Video processing method and device
CN106210496B (zh) 照片拍摄方法及装置
KR20170037868A (ko) 촬영 제어 방법, 장치, 프로그램 및 기록매체
EP3945494A1 (en) Video processing method, apparatus and storage medium
CN110876014B (zh) 图像处理方法及装置、电子设备及存储介质
CN111343386B (zh) 图像信号处理方法及装置、电子设备、存储介质
CN111835941B (zh) 图像生成方法及装置、电子设备、计算机可读存储介质
CN111343375A (zh) 图像信号处理方法及装置、电子设备、存储介质
CN107920015B (zh) 发布图片的方法和发布图片的装置
CN111698414B (zh) 图像信号处理方法及装置、电子设备、可读存储介质
CN110891131A (zh) 摄像头模组、处理方法及装置、电子设备、存储介质
CN111835977B (zh) 图像传感器、图像生成方法及装置、电子设备、存储介质
CN110874829B (zh) 图像处理方法及装置、电子设备及存储介质
CN115134505B (zh) 预览画面生成方法及装置、电子设备、存储介质
US11838655B2 (en) Image acquiring method and apparatus, electronic device, and storage medium
CN110876013B (zh) 确定图像分辨率的方法及装置、电子设备及存储介质
CN113852752B (zh) 照片拍摄方法、照片拍摄装置及存储介质
CN110933300B (zh) 一种图像处理方法和电子终端设备
CN118102095A (zh) 相机控制方法、装置、相机、可读存储介质及芯片
CN117499776A (zh) 拍摄方法、装置、电子设备及存储介质
CN116489507A (zh) 对焦方法、对焦装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication