CN110177223B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110177223B
CN110177223B CN201910573946.XA CN201910573946A CN110177223B CN 110177223 B CN110177223 B CN 110177223B CN 201910573946 A CN201910573946 A CN 201910573946A CN 110177223 B CN110177223 B CN 110177223B
Authority
CN
China
Prior art keywords
image
exposed
offset
camera
row selector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910573946.XA
Other languages
English (en)
Other versions
CN110177223A (zh
Inventor
徐锐
张海裕
韦怡
陈嘉伟
杨鑫
周彦汝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910573946.XA priority Critical patent/CN110177223B/zh
Publication of CN110177223A publication Critical patent/CN110177223A/zh
Application granted granted Critical
Publication of CN110177223B publication Critical patent/CN110177223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。该方法包括:接收曝光指令,控制行选择器曝光待曝光图像;当摄像头发生抖动时,获取曝光的第一图像,并检测所述摄像头偏移的角度和所述待曝光图像偏移的方向;根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数;控制所述行选择器按照所述待曝光图像偏移的方向相同的方向调整所述偏移的行数,并继续曝光所述待曝光图像,得到第二图像;将所述第一图像和所述第二图像进行拼接处理,得到目标图像。采用本方案可以解决因抖动导致拍摄的图像不连续的问题。

Description

图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及信息技术领域,特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。
背景技术
随着移动通信技术的发展,移动终端的拍摄功能越来越多样化。用户对拍摄的图像质量要求也不断提高,但是用户在使用移动终端拍摄过程中容易产生抖动,这种抖动会导致拍摄得到的图像不连续。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质,可以解决因抖动导致拍摄的图像不连续的问题。
一种图像处理方法,包括:
接收曝光指令,控制行选择器曝光待曝光图像;
当摄像头发生抖动时,获取曝光的第一图像,并检测所述摄像头偏移的角度和所述待曝光图像偏移的方向;
根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数;
控制所述行选择器按照所述待曝光图像偏移的方向相同的方向调整所述偏移的行数,并继续曝光所述待曝光图像,得到第二图像;
将所述第一图像和所述第二图像进行拼接处理,得到目标图像。
一种图像处理装置,包括:
曝光模块,用于接收曝光指令,控制行选择器曝光待曝光图像;
检测模块,用于当摄像头发生抖动时,获取曝光的第一图像,并检测所述摄像头偏移的角度和所述待曝光图像偏移的方向;
确定模块,用于根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数;
调整模块,用于控制所述行选择器按照所述待曝光图像偏移的方向相同的方向调整所述偏移的行数,并继续曝光所述待曝光图像,得到第二图像;
拼接模块,用于将所述第一图像和所述第二图像进行拼接处理,得到目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行任一项图像处理方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现任一项图像处理方法的步骤。
上述图像处理方法、装置、计算机可读存储介质和计算机设备,通过接收曝光指令,控制行选择器曝光待曝光图像,以开始图像的曝光。当摄像头发生抖动时,停止图像的曝光,并获取曝光的第一图像,得到摄像头发生抖动前待曝光图像中已经被曝光的部分图像。并检测摄像头偏移的角度和待曝光图像偏移的方向,根据摄像头偏移的角度确定待曝光图像偏移的行数,控制行选择器按照待曝光图像偏移的方向相同的方向调整偏移的行数,从而使得行控制器返回发生抖动前所处的位置,并从该位置继续曝光待曝光图像,得到继续曝光的图像。接着,将每次曝光的图像进行拼接处理,得到待曝光图像对应的目标图像。采用本方案,可以调节摄像头的抖动以得到连续完整的图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中确定偏移的行数步骤的流程图;
图4为一个实施例中摄像头产生向上抖动时的图像处理示意图;
图5为一个实施例中摄像头产生向下抖动时的图像处理示意图;
图6为一个实施例中图像处理装置的结构框图;
图7为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种图像,但这些图像不受这些术语限制。这些术语仅用于将第一个图像与另一个图像区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。在本实施例中,图像传感器114接收曝光指令,控制行选择器曝光待曝光图像。当传感器120检测到摄像头发生抖动时,检测该摄像头偏移的角度。传感器120可基于传感器120接口类型将摄像头偏移的角度提供给ISP处理器140。图像传感器114控制该行选择器按照该待曝光图像偏移的方向相同的方向调整该偏移的行数,并继续曝光该待曝光图像,得到第二图像。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器114也可将原始图像数据发送给传感器120,传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140,或者传感器120将原始图像数据存储到图像存储器130中。在本实施例中,图像传感器114获取曝光的第一图像,将获取曝光的第一图像发送给传感器120。
ISP处理器140接收摄像头偏移的角度,计算待曝光图像偏移的行数。ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。在本实施例中,ISP处理器140从图像存储器130接收第一图像和第二图像数据,将第一图像和第二图像进行拼接处理,得到目标图像。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct MemoryAccess,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器130,且显示器170可从图像存储器130读取图像数据。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。此外,ISP处理器140的输出可发送给编码器/解码器160,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器170设备上之前解压缩。编码器/解码器160可由CPU或GPU或协处理器实现。
ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
图2为一个实施例中图像处理方法的流程图。如图2所示,该图像处理方法包括:
步骤202,接收曝光指令,控制行选择器曝光待曝光图像。
其中,行选择器是图像传感器中用于曝光图像的器件。
具体地,当图像传感器接收到曝光指令时,控制图像传感器中的行选择器开始曝光待曝光图像。
步骤204,当摄像头发生抖动时,获取曝光的第一图像,并检测该摄像头偏移的角度和该待曝光图像偏移的方向。
具体地,当携带OIS系统的摄像头的电子设备进入图像预览界面时,摄像头会实时采集各个视角范围的图像,同时,基于摄像头中的陀螺仪传感器或基于电子设备原有中的陀螺仪传感器和/或加速度传感器可以检测摄像头是否发生抖动。当陀螺仪传感器或加速度传感器检测到摄像头抖动时,可以检测该摄像头偏移的角度,并通过图像信号处理器获取待曝光图像中的已经被曝光的第一图像,可将曝光的第一图像缓存在图像存储器中。接着,通过图像信号处理器检测待曝光图像相对于行选择器偏移的方向。
在本实施例中,当陀螺仪传感器采集的角速度发生变化时,则可认为该摄像头发生了抖动。
步骤206,根据该摄像头偏移的角度确定该待曝光图像偏移的行数。
其中,偏移的行数是指摄像头发生抖动时,待曝光图像相对于行选择器的偏移量。
具体地,当陀螺仪传感器和/或加速度传感器检测到摄像头发生抖动时,图像信号处理器可根据摄像头偏移的角度,计算出该偏移的角度对应偏移的行数,则该偏移的角度对应偏移的行数即为待曝光图像偏移的行数。
步骤208,控制行选择器按照该待曝光图像偏移的方向相同的方向调整该偏移的行数,并继续曝光该待曝光图像,得到第二图像。
具体地,图像信号处理器检测得到待曝光图像相对于行选择器偏移的方向后,图像信号处理器可控制行选择器按照待曝光图像相对于行选择器偏移的方向相同的方法回退或者跳过该待曝光图像偏移的行数。接着,图像信号处理器控制行选择器从当前所在的位置回退或者跳过该待曝光图像偏移的行数,使得行控制器返回发生抖动时所处的位置,并从该位置继续曝光该待曝光图像,从而得到待曝光图像中已经被曝光的第二图像。接着,图像传感器可将第二图像发送给图像信号处理器,图像信号处理器将该第二图像缓存在图像存储器中。
步骤210,将该第一图像和该第二图像进行拼接处理,得到目标图像。
具体地,图像信号处理器从图像存储器中获取缓存的第一图像和第二图像,将第一图像和第二图像进行拼接处理,得到待曝光图像对应的目标图像。
在本实施例中,图像信号处理器确定第二图像中与第一图像的重叠区域,将第一图像和第二图像的重叠区域融合叠加以实现图像的拼接,得到目标图像。
在上述图像处理方法中,通过接收曝光指令,控制行选择器曝光待曝光图像,以开始图像的曝光。当摄像头发生抖动时,停止图像的曝光,并获取曝光的第一图像,得到摄像头发生抖动时待曝光图像中已经被曝光的部分图像。并检测摄像头偏移的角度和待曝光图像偏移的方向,根据摄像头偏移的角度确定待曝光图像偏移的行数,控制行选择器按照待曝光图像偏移的方向相同的方向调整偏移的行数,从而使得行控制器返回发生抖动时所处的位置,并从该位置继续曝光待曝光图像,得到继续曝光的图像。接着,将每次曝光的图像进行拼接处理,得到待曝光图像对应的目标图像。采用本方案,可以解决因摄像头的抖动导致拍摄的图像不连续和不完整的问题。
在一个实施例中,如图3所示,该根据该摄像头偏移的角度确定该待曝光图像偏移的行数,包括:
步骤302,检测摄像头拍摄该待曝光图像时的视场角。
步骤304,获取视场角对应的行数。
其中,在光学仪器中,以光学仪器的镜头为顶点,以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角称为视场角。视场角越大,视野越大,视场角越小,视野越小。
具体地,电子设备预先存储了不同视场角对应的行数。例如,70度的视场角对应第1行到第300行等。图像信号处理器检测摄像头拍摄该待曝光图像时所对应的视场角。接着,图像信号处理器根据该视场角获取该视场角对应的行数。
步骤306,根据视场角、视场角对应的行数和摄像头偏移的角度,确定待曝光图像偏移的行数。
具体地,图像信号处理器可根据摄像头拍摄该待曝光图像时的视场角对应的行数,计算出1度视场角所对应的行数。接着,图像信号处理器获取摄像头偏移的角度,根据1度视场角所对应的行数,计算出摄像头偏移的角度对应的行数。则计算得到的摄像头偏移的角度对应的行数即为该待曝光图像偏移的行数。
例如,待曝光图像偏移的行数可按照以下公式计算:偏移的行数=摄像头偏移的角度*视场角对应的行数/视场角。如:摄像头拍摄该待曝光图像时的视场角为70度,70度对应的行数为300行,则1度=300/70。如果摄像头偏移的角度为2度,则偏移的行数=2*300/70。
上述图像处理方法,通过检测摄像头拍摄待曝光图像时的视场角,并获取视场角对应的行数,从而确定该待曝光图像对应的行数。根据视场角、视场角对应的行数,可计算出每度视场角对应的行数。再根据每度视场角对应的行数和摄像头偏移的角度,则可简单快速地计算出该待曝光图像在发生抖动时偏移的行数。
在一个实施例中,该控制该行选择器按照该待曝光图像偏移的方向相同的方向调整该偏移的行数,包括:当待曝光图像相对于行选择器向上偏移时,控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数。
具体地,图像信号处理器检测到待曝光图像相对于行选择器向上偏移时,表示待曝光图像中的未曝光的部分图像进入了曝光区域。如果此时行选择器仍然逐行曝光图像,则进入曝光区域且还未曝光的图像就会缺失。则图像信号处理器可控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数,使得行选择器回退后刚好处于摄像头发生抖动的位置。接着,行选择器从该位置继续向下逐行曝光该待曝光图像中未曝光的图像。当待曝光图像相对于行选择器向上偏移时,通过控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数,使得行选择器在摄像头发生抖动后,可以回退到摄像头发生抖动的位置,从而避免因抖动造成的部分图像缺失的现象。
例如,摄像头发生抖动时刚好处于第20行,抖动后待曝光图像相对于行选择器向上偏移了10行,意味着有10行的并未曝光的图像进行了曝光区域。则图像信号处理器控制行选择器回退10行,即回退到第10行。接着,行选择器从第10行开始继续向下曝光待曝光图像中未曝光部分的图像。使得行选择器在摄像头发生抖动后,可以回退到摄像头发生抖动的位置,从而避免因抖动造成的部分图像缺失的现象。
如图4所示,为一个实施例中摄像头产生向上抖动时的图像处理示意图。
行选择器曝光的位置就是图4中箭头所指的行。如图4中(a)所示当摄像头产生向上抖动时,待曝光图像相对于行控制器(即箭头所在的位置)上移,导致未曝光部分的图像进入了曝光区域,如(b)所示。此时,图像传感器读取已曝光的图像至缓存中,并通过视场角、视场角对应的行数和摄像头偏移的角度,确定待曝光图像相对于行控制器向上偏移的行数。接着,如图4中的(c)所示图像信号处理器可控制行选择器向上回退M行,该M行即为待曝光图像相对于行控制器偏移的行数,使得行选择器回退后刚好处于摄像头发生抖动的位置。接着,如图4中的(d)所示,行选择器从该位置继续向下逐行曝光该待曝光图像中未曝光的图像。当行控制器曝光到待曝光图像的最后一行时,图像传感器读取行控制器回退后的起始曝光位置到待曝光图像的最后一行的图像,并与缓存的图像进行拼接处理,得到目标图像。
在一个实施例中,该控制行选择器按照该待曝光图像偏移的方向相同的方向调整该偏移的行数,包括:当待曝光图像相对于行选择器向下偏移时,控制行选择器按照待曝光图像偏移的方向相同的方向跳过偏移的行数。
具体地,图像信号处理器检测到待曝光图像相对于行选择器向下偏移时,表示待曝光图像中的已曝光部分的图像进入了未曝光区域。如果此时行选择器仍然逐行曝光图像,则进入已曝光的图像就会被再次曝光,可能使图像出现重影。则图像信号处理器可控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数,即图像信号处理器控制行选择器向下跳过偏移的行数,使得行选择器跳到处于摄像头发生抖动的位置。接着,行选择器从该位置继续向下逐行曝光该待曝光图像中未曝光的图像。当待曝光图像相对于行选择器向下偏移时,通过控制行选择器按照待曝光图像偏移的方向相同的方向跳过偏移的行数,使得行选择器在摄像头发生抖动后,可以直接跳到摄像头发生抖动的位置,从而避免因抖动造成的部分已曝光的图像再次曝光造成的图像重影的现象。
例如,摄像头发生抖动时刚好处于第20行,抖动后待曝光图像相对于行选择器向下偏移了10行,意味着有10行的已曝光的图像进行了未曝光区域。则图像信号处理器控制行选择器跳过10行,即跳到第30行。接着,行选择器从第30行继续向下曝光待曝光图像中未曝光部分的图像。使得行选择器在摄像头发生抖动后,可以直接跳到摄像头发生抖动的位置,从而避免因抖动造成的部分已曝光的图像再次曝光所导致的图像重影的现象。
如图5所示,为一个实施例中摄像头产生向下抖动时的图像处理示意图。
行选择器曝光的位置就是图5中箭头所指的行。如图5中(a)所示当摄像头产生向下抖动时,待曝光图像相对于行控制器(即箭头所在的位置)下移,导致部分已曝光的图像进入了未曝光区域,如图5中的(b)所示。此时,图像传感器读取已曝光的图像至缓存中,并通过视场角、视场角对应的行数和摄像头偏移的角度,确定待曝光图像相对于行控制器向上偏移的行数。接着,如图5中的(c)所示,图像信号处理器可控制行选择器向下跳过M行,该M行就是待曝光图像相对于行控制器偏移的行数,使得行选择器跳过M行后刚好处于摄像头发生抖动的位置,即正好处于已曝光图像和未曝光图像交界的位置。接着,如图5中的(d)所示,行选择器从该位置继续向下逐行曝光该待曝光图像中未曝光的图像。当行控制器曝光到待曝光图像的最后一行时,图像传感器读取行控制器跳过M行后的起始曝光位置到向下曝光至待曝光图像的最后一行的图像,并与缓存的图像进行拼接处理,得到目标图像。
在一个实施例中,该得到第二图像,包括:读取行选择器调整偏移的行数后的起始曝光位置到待曝光图像的最后一行的图像,生成第二图像。
具体地,行选择器回退或跳过偏移的行数后,继续曝光该待曝光图像中未曝光部分的图像。当行选择器曝光到待曝光图像的最后一行时,停止曝光,图像信号传感器从行选择器回退或跳过偏移的行数后的起始曝光位置开始,读取该位置到到待曝光图像的最后一行的图像,得到第二图像。通过读取行选择器调整偏移的行数后的起始曝光位置到待曝光图像的最后一行的图像,生成第二图像,使得生成的第二图像与第一图像中不存在重叠的区域,便于将第一图像和第二图像的拼接。
在一个实施例中,该方法还包括:当摄像头连续预设次数发生抖动时,检测摄像头在连续预设次数抖动后偏移的角度;
该根据该摄像头偏移的角度确定该待曝光图像偏移的行数,包括:根据该偏移的角度确定待曝光图像经过该连续预设次数偏移后偏移的行数。
具体地,当陀螺仪传感器和/或加速度传感器检测到摄像头连续发生多次抖动时,并且该连续预设次数抖动的方向都相同时,检测摄像头的抖动次数。当检测到摄像头的抖动次数达到预设次数时,检测摄像头在连续预设次数抖动后偏移的角度。接着,图像信号处理器获取摄像头拍摄该待曝光图像时的视场角,获取该视场角对应的行数,通过视场角、视场角对应的行数和摄像头连续预设次数抖动后偏移的角度,计算出摄像头连续预设次数抖动后偏移的角度对应的行数,该行数即为待曝光图像经过该连续预设次数偏移后相对于行控制器偏移的行数。
例如,陀螺仪传感器和/或加速度传感器检测到摄像头连续3次发生向下抖动时,图像信号处理器检测摄像头从第1次抖动到第3次抖动后偏移的角度,该角度是指3次抖动角度之和。通过视场角、视场角对应的行数和3次抖动角度之和,计算出待曝光图像从第1次抖动到第3次抖动后相对于行选择器偏移的行数。
上述图像处理方法,通过当摄像头连续预设次数发生抖动时,检测摄像头在连续预设次数抖动后偏移的角度,再根据该偏移的角度确定待曝光图像经过该连续预设次数偏移后偏移的行数,使得多次抖动通过一次调整即可返回发生抖动的位置,减少了行选择器调整的次数,提高调整的效率。
在一个实施例中,该方法还包括:检测该行选择器调整的次数;当行选择器调整的次数达到预设次数时,控制行选择器停止调整。
具体地,图像信号处理器设置行选择器调整的次数,当行选择器每次调整后,检测行选择器调整的次数。当行选择器调整的次数小于预设次数时,控制行选择器进行调整,以调整到摄像头发生抖动的位置。当行选择器调整的次数达到预设次数时,控制行选择器停止调整。通过设置行选择器的调整次数,能够最大限度地保证得到的图像连续完整,又能够避免行选择器反复调整而导致拍摄的时间太长。
在一个实施例中,该图像处理方法还包括:检测目标图像的噪点数量;当噪点数量大于预设阈值,则对该目标图像进行降噪处理。
具体地,预设阈值可根据需要设定或根据历史统计值得到。得到目标图像后,图像信号处理器检测目标图像的噪点,当目标图像的噪点的数量大于预设阈值时,对该目标图像进行降噪处理。通过对图像进行降噪,提高了图像的质量。
在一个实施例中,该图像处理方法还包括:获取目标图像中各像素点的亮度值;当亮度值小于预设亮度值,则调整该亮度值为预设亮度值。
具体地,预设亮度值可为经验值,或根据需要设置。得到目标图像后,图像信号处理器检测目标图像中各像素点的亮度值。当目标图像的亮度值小于预设亮度值时,将该目标图像的亮度值调整为预设亮度值。通过调整亮度值,可提高目标图像的质量。
在一个实施例中,提供了一种图像处理方法,包括:
步骤(a1),接收曝光指令,控制行选择器曝光待曝光图像。
步骤(a2),当摄像头发生抖动时,获取曝光的第一图像,并检测该摄像头偏移的角度和该待曝光图像偏移的方向。
步骤(a3),检测该摄像头拍摄该待曝光图像时的视场角。
步骤(a4),获取该视场角对应的行数。
步骤(a5),根据该视场角、该视场角对应的行数和该摄像头偏移的角度,确定该待曝光图像偏移的行数。
步骤(a6),当该待曝光图像相对于行选择器向上偏移时,控制该行选择器按照该待曝光图像偏移的方向相同的方向回退该偏移的行数,并继续曝光该待曝光图像。
步骤(a7),当该待曝光图像相对于行选择器向下偏移时,控制该行选择器按照该待曝光图像偏移的方向相同的方向跳过该偏移的行数,并继续曝光该待曝光图像。
步骤(a8),读取该行选择器调整该偏移的行数后的起始曝光位置到该待曝光图像的最后一行的图像,生成第二图像。
步骤(a9),将该第一图像和该第二图像进行拼接处理,得到目标图像。
上述图像处理方法中,通过接收曝光指令,控制行选择器曝光待曝光图像,以开始图像的曝光。当摄像头发生抖动时,停止图像的曝光,并获取曝光的第一图像,得到摄像头发生抖动前待曝光图像中已经被曝光的部分图像。
通过检测摄像头拍摄待曝光图像时的视场角,并获取市场角对应的行数,从而确定该待曝光图像对应的行数。根据视场角、视场角对应的行数,可计算出每度视场角对应的行数。再根据每度视场角对应的行数和摄像头偏移的角度,则可简单快速地计算出该待曝光图像在发生抖动时偏移的行数。
当待曝光图像相对于行选择器向上偏移时,通过控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数,使得行选择器在摄像头发生抖动后,可以回退到摄像头发生抖动的位置,从而避免因抖动造成的部分图像缺失的现象。
当待曝光图像相对于行选择器向下偏移时,通过控制行选择器按照待曝光图像偏移的方向相同的方向跳过偏移的行数,使得行选择器在摄像头发生抖动后,可以直接跳到摄像头发生抖动的位置,从而避免因抖动造成的部分已曝光的图像再次曝光造成的图像重影的现象。
通过读取行选择器调整偏移的行数后的起始曝光位置到待曝光图像的最后一行的图像,生成第二图像,使得生成的第二图像与第一图像中不存在重叠的区域,便于将第一图像和第二图像的拼接。
应该理解的是,虽然图2-图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图6所示,提供了一种图像处理装置,该装置包括:曝光模块602,检测模块604,确定模块606,调整模块608和拼接模块610。其中,
曝光模块602,用于接收曝光指令,控制行选择器曝光待曝光图像。
检测模块604,用于当摄像头发生抖动时,获取曝光的第一图像,并检测该摄像头偏移的角度和该待曝光图像偏移的方向。
确定模块606,用于根据该摄像头偏移的角度确定该待曝光图像偏移的行数。
调整模块608,用于控制该行选择器按照该待曝光图像偏移的方向相同的方向调整该偏移的行数,并继续曝光该待曝光图像,得到第二图像。
拼接模块610,用于将该第一图像和该第二图像进行拼接处理,得到目标图像。
上述图像处理装置,通过接收曝光指令,控制行选择器曝光待曝光图像,以开始图像的曝光。当摄像头发生抖动时,停止图像的曝光,并获取曝光的第一图像,得到摄像头发生抖动前待曝光图像中已经被曝光的部分图像。并检测摄像头偏移的角度和待曝光图像偏移的方向,根据摄像头偏移的角度确定待曝光图像偏移的行数,控制行选择器按照待曝光图像偏移的方向相同的方向调整偏移的行数,从而使得行控制器返回发生抖动前所处的位置,并从该位置继续曝光待曝光图像,得到继续曝光的图像。接着将每次曝光的图像进行拼接处理,得到待曝光图像对应的目标图像。
在一个实施例中,确定模块606还用于:检测摄像头拍摄该待曝光图像时的视场角;获取视场角对应的行数;根据视场角、视场角对应的行数和摄像头偏移的角度,确定待曝光图像偏移的行数。通过检测摄像头拍摄待曝光图像时的视场角,并获取市场角对应的行数,从而确定该待曝光图像对应的行数。根据视场角、视场角对应的行数,可计算出每度视场角对应的行数。再根据每度视场角对应的行数和摄像头偏移的角度,则可简单快速地计算出该待曝光图像在发生抖动时偏移的行数。
在一个实施例中,调整模块608还用于:当待曝光图像相对于行选择器向上偏移时,控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数。当待曝光图像相对于行选择器向上偏移时,通过控制行选择器按照待曝光图像偏移的方向相同的方向回退偏移的行数,使得行选择器在摄像头发生抖动后,可以回退到摄像头发生抖动的位置,从而避免因抖动造成的部分图像缺失的现象。
在一个实施例中,调整模块608还用于:当待曝光图像相对于行选择器向下偏移时,控制行选择器按照待曝光图像偏移的方向相同的方向跳过偏移的行数。当待曝光图像相对于行选择器向下偏移时,通过控制行选择器按照待曝光图像偏移的方向相同的方向跳过偏移的行数,使得行选择器在摄像头发生抖动后,可以直接跳到摄像头发生抖动的位置,从而避免因抖动造成的部分已曝光的图像再次曝光造成的图像重影的现象。
在一个实施例中,调整模块608还用于:读取行选择器调整偏移的行数后的起始曝光位置到待曝光图像的最后一行的图像,生成第二图像。通过读取行选择器调整偏移的行数后的起始曝光位置到待曝光图像的最后一行的图像,生成第二图像,使得生成的第二图像与第一图像中不存在重叠的区域,便于将第一图像和第二图像的拼接。
在一个实施例中,检测模块604还用于:当摄像头连续预设次数发生抖动时,检测摄像头在连续预设次数抖动后偏移的角度;
确定模块606还用于:根据该偏移的角度确定待曝光图像经过该连续预设次数偏移后偏移的行数。
上述图像处理装置,通过当摄像头连续预设次数发生抖动时,检测摄像头在连续预设次数抖动后偏移的角度,再根据该偏移的角度确定待曝光图像经过该连续预设次数偏移后偏移的行数,使得多次抖动通过一次调整即可返回发生抖动的位置,减少了行选择器调整的次数,提高调整的效率。
在一个实施例中,该装置还包括:停止模块。该停止模块用于:检测该行选择器调整的次数;当行选择器调整的次数达到预设次数时,控制行选择器停止调整。通过设置行选择器的调整次数,能够最大限度地保证得到的图像连续完整,又能够避免行选择器反复调整而导致拍摄的时间太长。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
图7为一个实施例中电子设备的内部结构示意图。如图7所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述任一项图像处理方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一项图像处理方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
接收曝光指令,控制行选择器按行曝光待曝光图像;
当摄像头发生抖动时,获取所述待曝光图像中曝光的第一图像,并检测所述摄像头偏移的角度和所述待曝光图像偏移的方向;
根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数;
当所述待曝光图像相对于所述行选择器向上偏移时,控制所述行选择器按照所述待曝光图像相对于所述行选择器偏移的方向相同的方向回退所述偏移的行数,并继续按行曝光所述待曝光图像,得到所述待曝光图像中曝光的第二图像;
当所述待曝光图像相对于所述行选择器向下偏移时,控制所述行选择器按照所述待曝光图像相对于所述行选择器偏移的方向相同的方向跳过所述偏移的行数,并继续按行曝光所述待曝光图像,得到所述待曝光图像中曝光的第二图像;
将所述第一图像和所述第二图像进行拼接处理,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数,包括:
检测所述摄像头拍摄所述待曝光图像时的视场角;
获取所述视场角对应的行数;
根据所述视场角、所述视场角对应的行数和所述摄像头偏移的角度,确定所述待曝光图像偏移的行数。
3.根据权利要求1所述的方法,其特征在于,所述得到所述待曝光图像中曝光的第二图像,包括:
读取所述行选择器调整所述偏移的行数后的起始曝光位置到所述待曝光图像的最后一行的图像,生成第二图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述摄像头连续预设次数发生抖动时,检测所述摄像头在所述连续预设次数抖动后偏移的角度;
所述根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数,包括:
根据所述偏移的角度确定所述待曝光图像经过所述连续预设次数偏移后偏移的行数。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述行选择器调整的次数;
当所述行选择器调整的次数达到预设次数时,控制所述行选择器停止调整。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
检测所述目标图像的噪点数量;
当所述噪点数量大于预设阈值时,对所述目标图像进行降噪处理。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
获取所述目标图像中各像素点的亮度值;
当所述各像素点的亮度值小于预设亮度值时,将所述亮度值调整为预设亮度值。
8.一种图像处理装置,其特征在于,包括:
曝光模块,用于接收曝光指令,控制行选择器按行曝光待曝光图像;
检测模块,用于当摄像头发生抖动时,获取所述待曝光图像中曝光的第一图像,并检测所述摄像头偏移的角度和所述待曝光图像偏移的方向;
确定模块,用于根据所述摄像头偏移的角度确定所述待曝光图像偏移的行数;
调整模块,用于当所述待曝光图像相对于所述行选择器向上偏移时,控制所述行选择器按照所述待曝光图像相对于所述行选择器偏移的方向相同的方向回退所述偏移的行数,并继续按行曝光所述待曝光图像,得到所述待曝光图像中曝光的第二图像;当所述待曝光图像相对于所述行选择器向下偏移时,控制所述行选择器按照所述待曝光图像相对于所述行选择器偏移的方向相同的方向跳过所述偏移的行数,并继续按行曝光所述待曝光图像,得到所述待曝光图像中曝光的第二图像;
拼接模块,用于将所述第一图像和所述第二图像进行拼接处理,得到目标图像。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项图像处理方法的步骤。
CN201910573946.XA 2019-06-28 2019-06-28 图像处理方法和装置、电子设备、计算机可读存储介质 Active CN110177223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910573946.XA CN110177223B (zh) 2019-06-28 2019-06-28 图像处理方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910573946.XA CN110177223B (zh) 2019-06-28 2019-06-28 图像处理方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110177223A CN110177223A (zh) 2019-08-27
CN110177223B true CN110177223B (zh) 2021-10-22

Family

ID=67699270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910573946.XA Active CN110177223B (zh) 2019-06-28 2019-06-28 图像处理方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110177223B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050075B (zh) * 2019-12-26 2021-06-04 维沃移动通信有限公司 图像处理方法及电子设备
CN113840093B (zh) * 2020-06-24 2023-07-25 北京小米移动软件有限公司 图像生成方法及装置
CN113411499B (zh) * 2021-06-17 2023-03-24 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN113205518B (zh) * 2021-07-05 2021-09-07 雅安市人民医院 医疗车图像信息处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231180A (zh) * 2016-07-29 2016-12-14 广东欧珀移动通信有限公司 全景拍照时的处理方法、装置和移动终端
CN106257912A (zh) * 2015-06-16 2016-12-28 奥林巴斯株式会社 摄像装置、摄像方法
CN106357968A (zh) * 2015-07-13 2017-01-25 奥林巴斯株式会社 摄像装置、图像处理方法
CN108989672A (zh) * 2018-07-26 2018-12-11 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109660718A (zh) * 2018-11-30 2019-04-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227856A (zh) * 2015-09-28 2016-01-06 广东欧珀移动通信有限公司 一种图像处理的方法及移动终端
JP2018146672A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 撮像装置およびその制御方法、外付け装置
CN109194877B (zh) * 2018-10-31 2021-03-02 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257912A (zh) * 2015-06-16 2016-12-28 奥林巴斯株式会社 摄像装置、摄像方法
CN106357968A (zh) * 2015-07-13 2017-01-25 奥林巴斯株式会社 摄像装置、图像处理方法
CN106231180A (zh) * 2016-07-29 2016-12-14 广东欧珀移动通信有限公司 全景拍照时的处理方法、装置和移动终端
CN108989672A (zh) * 2018-07-26 2018-12-11 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109660718A (zh) * 2018-11-30 2019-04-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN110177223A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110177223B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110166697B (zh) 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110166695B (zh) 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN109842753B (zh) 摄像头防抖系统、方法、电子设备和存储介质
CN110012224B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110278360B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110233970B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110049237B (zh) 摄像头防抖方法、装置、电子设备和计算机存储介质
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN110177212B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111246100B (zh) 防抖参数的标定方法、装置和电子设备
CN110636216B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107197152B (zh) 对焦方法、装置、计算机可读存储介质和移动终端
CN111432118B (zh) 图像防抖处理方法、装置、电子设备和存储介质
CN112087580A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
JP2006179966A (ja) 動画撮像装置及び動画撮像方法
CN110266966A (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN107465880B (zh) 对焦方法、装置、终端和计算机可读存储介质
CN112087571A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant