CN105827971A - 一种图像处理方法及移动终端 - Google Patents
一种图像处理方法及移动终端 Download PDFInfo
- Publication number
- CN105827971A CN105827971A CN201610195410.5A CN201610195410A CN105827971A CN 105827971 A CN105827971 A CN 105827971A CN 201610195410 A CN201610195410 A CN 201610195410A CN 105827971 A CN105827971 A CN 105827971A
- Authority
- CN
- China
- Prior art keywords
- image
- bit
- multiframe
- pixel
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 88
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000006835 compression Effects 0.000 claims abstract description 22
- 238000007906 compression Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 147
- 230000008569 process Effects 0.000 claims description 103
- 230000001186 cumulative effect Effects 0.000 claims description 20
- 230000006978 adaptation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000004549 pulsed laser deposition Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法及移动终端。该图像处理方法包括：获取所述摄像头连续采集的多帧原始图像；通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像；对所述第一中间图像进行图像处理，得到第二中间图像；对所述第二中间图像进行图像压缩处理，得到最终图像，其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。本发明实施例提供的图像处理方法，能够在使用移动终端对多帧图像进行合成增强处理时获得更宽的动态范围、更少的图像噪声、更多的图像细节，从而可提升图像增强效果。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种图像处理方法及移动终端。
背景技术
随着通信技术的发展，移动终端的功能越来越多样化。例如，许多移动终端都具有拍照功能，在拍照过程中，用户可选择与当前环境(例如，光照、场景等)相应的拍照模式来进行拍照。目前，拍照模式包括图像增强模式，图像增强模式包括夜景模式、高动态范围(High-DynamicRange，HDR)模式等。图像增强算法主要在电子设备的硬件抽象层(HAL)中实现，其输入的数据是YUV420格式的图像数据，即对YUV420格式的多个图像数据帧执行合成增强技术，来提升拍摄夜景、高反差场景时的图像质量。
然而，现有的图像增强方法，首先将Raw格式图像转换为YUV格式图像，然后再对YUV格式图像进行图像增强处理。但是，Raw格式图像的数据位宽(例如，10比特)大于YUV格式图像的数据位宽(例如，8比特)，因此，在将Raw格式图像转换为YUV格式图像时会损失一部分数据，然后再进行图像增强处理，导致图像增强效果减弱。
发明内容
本发明实施例提供一种图像处理方法及移动终端，以解决现有的图像增强方法由于图像处理时变换到更低的位宽导致数据损失，导致图像增强效果减弱的问题。
第一方面，本发明实施例提供一种图像处理方法，应用于具有摄像头的移动终端，该图像处理方法包括：
获取所述摄像头连续采集的多帧原始图像；
通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像；
对所述第一中间图像进行图像处理，得到第二中间图像；
对所述第二中间图像进行图像压缩处理，得到最终图像；
其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。
第二方面，本发明实施例还提供一种移动终端，包括摄像头，该移动终端还包括：
图像获取模块，用于获取所述摄像头连续采集的多帧原始图像；
图像合成模块，用于通过预设算法将所述图像获取模块获取的多帧原始图像进行合成处理，得到第一中间图像；
图像处理模块，用于对所述图像合成模块得到的第一中间图像进行图像处理，得到第二中间图像；图像压缩处理模块，用于对所述图像处理模块得到的第二中间图像进行图像压缩处理，得到最终图像；
其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。
这样，本发明实施例中，通过基于Raw域的合成增强算法对从相机获得的Raw格式图像进行合成，再对合成的图像进行图像处理，能够避免在合成增强之前的图像处理损失过多细节，因此能够获得比先进行图像处理再进行合成增强的现有多帧合成增强技术更好的合成效果，从而提高了合成图像的质量，增强了用户体验。在本发明的实施例中，通过使用比Raw域更宽的数据带宽来执行合成增强算法，从而提高更大处理空间以保证运算精度并获得更好细节展现的图像，能够在使用移动终端对多帧图像进行合成增强处理时获得更宽的动态范围、更少的图像噪声、更多的图像细节，从而可提升图像增强效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的图像处理方法的第一实施例的流程图；
图2是本发明的图像处理方法的第二实施例的流程图；
图3a是本发明的移动终端的第一实施例的框图之一；
图3b是本发明的移动终端的第一实施例的框图之二；
图4是本发明的移动终端的第二实施例的框图；
图5是本发明的移动终端的第三实施例的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
参见图1，为本发明图像处理方法的第一实施例的流程图，该图像处理方法应用于具有摄像头的移动终端，该图像处理方法包括：
步骤101，获取所述摄像头连续采集的多帧原始图像。
本发明实施例中，步骤101之前，进一步包括：接收用户的拍照功能启动请求，然后根据该拍照功能启动请求，显示拍照预览界面。
本发明实施例中，显示出拍照预览界面之后，接收用户的图像增强模式请求，然后根据该图像增强模式请求，进入图像增强模式。图像增强模式包括夜景模式和HDR模式等，其中，夜景模式用于夜景图像合成处理，HDR模式用于HDR图像合成处理，其中，HDR图像合成处理是指将三张不同曝光值的图像合成一张高动态范围的图像，以三帧不同曝光值的图像中的一张正常曝光图像为基准，分别在三帧图像中的一帧低曝光和一帧高曝光图像中搜索亮暗部分像素信息并补充到正常曝光图像中，最后输出合成后的图像。
本发明实施例中，进入图像增强模式之后，开始获取所述摄像头连续采集的多帧原始图像，其中，所述摄像头所连续采集的多帧原始图像为10比特位宽的Raw格式图像，本步骤是为了获取步骤102的合成处理所需的多帧原始图像。
步骤102，通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像。
在本发明实施例中，可使用一个临时数据存储空间来存储这些原始图像，并且使用零快门延迟(ZeroShutterLag，ZSL)模式来更新相机实时拍摄的图像，即，使用最新获得的图像来替换最初的图像。当用户选择多帧图像增强模式中的一种模式时，可存储与选择的模式相应的数量的最新图像，并对存储的图像执行基于Raw域的合成增强算法。例如，当用户选择夜景模式时，可存储最新的六帧原始图像，并对存储的六帧原始图像执行基于Raw域的合成增强算法。当用户选择HDR模式时，可存储最新的三个原始图像，并对存储的三个原始图像执行基于Raw域的合成增强算法。
本步骤中，通过预设算法将所述多帧原始图像进行合成处理，得到10比特位宽的第一中间图像，可使图像的动态范围更宽，图像噪声更少，并能够展现更多的图像细节。
步骤103，对所述第一中间图像进行图像处理，得到第二中间图像。
在本发明的实施例中，可通过对10比特位宽的第一中间图像进行图像处理来产生8比特位宽的YUV格式图像。这里，图像处理包括一些常规的图像处理操作，例如，马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理等。这里，YUV格式图像可以是图像格式为4：2：0的YUV格式图像。
步骤104，对所述第二中间图像进行图像压缩处理，得到最终图像。
在本发明的实施例中，可对产生的8比特位宽的YUV格式图像进行JPEG压缩以获得8比特位宽的JPEG格式图像，并存储获得的8比特位宽的JPEG格式图像以作为拍照的结果图像保存呈现给用户。
本发明实施例的图像处理方法，通过获取所述摄像头连续采集的多帧原始图像，通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像，对所述第一中间图像进行图像处理，得到第二中间图像，对所述第二中间图像进行图像压缩处理，得到最终图像。本发明实施例的图像处理方法通过基于Raw域的合成增强算法对从相机获得的Raw格式图像进行合成，再对合成的图像进行图像处理，能够避免在合成增强之前的图像处理损失过多细节，因此能够获得比先进行图像处理再进行合成增强的现有多帧合成增强技术更好的合成效果，能够在使用移动终端对多帧图像进行合成增强处理时获得更宽的动态范围、更少的图像噪声、更多的图像细节，从而可提升图像增强效果。
第二实施例
参照图2，为本发明图像处理方法的第二实施例的流程图，该图像处理方法应用于具有摄像头的移动终端，该图像处理方法包括：
步骤201,获取所述摄像头连续采集的多帧原始图像。
本发明实施例中，步骤201之前，进一步包括：接收用户的拍照功能启动请求，然后根据该拍照功能启动请求，显示拍照预览界面。
本发明实施例中，显示出拍照预览界面之后，接收用户的图像增强模式请求，然后根据该图像增强模式请求，进入图像增强模式。在图像增强模式下，可进行夜景图像合成处理或HDR图像合成处理。
本发明实施例中，进入图像增强模式之后，开始获取所述摄像头连续采集的多帧原始图像，其中，摄像头所连续采集的多帧原始图像为10比特位宽的Raw格式图像。
步骤202，将所述多帧原始图像转换为16比特位宽，得到多帧16比特位宽图像。
本步骤中，通过将所述多帧原始图像转换为16比特位宽，以保证图像运算的数据带宽，保证运算精度。
步骤203，将所述多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。
本发明实施例中，采用运动检测算法将所述多帧16比特位宽图像校正至同一拍摄角度，具体地，以所述多帧16比特位宽图像中的第一帧图像为基准，对所述多帧16比特位宽图像中的除了所述第一帧图像外的其他帧16比特位宽图像进行运动检测校正，使所述16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。其中，运动检测算法可以是视频压缩的运动检测校正算法或光流算法。第一帧图像可以指所述多帧16比特位宽图像之中的在时间上摄像头最早采集的一帧原始图像。
具体地，在夜景模式中，以摄像头所采集的六帧原始图像中的第一帧图像为基准，对其他五帧原始图像进行运动检测校正，使六帧原始图像校正至同一拍摄角度，得到六帧相同角度图像。在HDR模式中，以摄像头所采集的三帧原始图像中的第一帧图像为基准，对其他两帧原始图像进行运动检测校正，使三帧原始图像校正至同一拍摄角度，得到三帧相同角度图像。
步骤204，对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像。
本步骤中，均值滤波处理过程包括：对所述多帧相同角度图像中每帧图像进行均值滤波处理，得到多帧中间图像。
其中，所述对所述多帧相同角度图像中每帧图像进行均值滤波处理具体包括：将以所述多帧相同角度图像中每帧图像的每个像素点为中心的与该像素点临近的八个像素点作为滤波模板，对所述滤波模板中的所有像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替每个像素点的像素值，得到多帧中间图像。
例如，在夜景模式中，以六帧相同角度图像中的第一帧图像中的像素点a为例，在第一帧图像中，将以像素点a为中心的与像素点a临近的八个像素点作为滤波模板，对上述八个像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替像素点a的像素值，其他像素点的处理方式和像素点a均相同。对六帧相同角度图像中的第二帧图像至第六帧图像执行与第一帧图像相同的处理，得到六帧中间图像。
本步骤中，亮度增强处理过程具体包括：将所述多帧中间图像中每个像素点的像素值进行累加得到每个像素点的累加像素值，将每个像素点的累加像素值减去预设像素值阈值作为该像素点的最终像素值，当每个像素点都得到最终像素值时，得到一帧16比特位宽的亮度增强中间图像。
例如，在夜景模式中，将六帧中间图像中的第一帧图像中的像素点a、第二帧图像中的像素点a、第三帧图像中的像素点a、第四帧图像中的像素点a、第五帧图像中的像素点a和第六帧图像中的像素点a的像素值进行累加，得到像素点a的累加像素值，将像素点a的累加像素值减去预设像素值阈值，并将得到的差值作为像素点a的最终像素值，其它像素点的处理与像素点a相同，从而将六帧中间图像合成为一帧亮度增强中间图像。
本步骤中，小波去噪处理过程具体包括：使用边缘检测算法获得所述亮度增强中间图像的图像内容边缘信息，根据获得的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪，得到一帧16比特位宽的低噪声图像。
例如，在夜景模式中，使用边缘检测算法检测由六帧中间图像合成的一帧亮度增强中间图像的图像内容边缘信息，根据检测到的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪。
步骤205，对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像。
本发明实施例中，局部曲线适配是指对于二维空间曲线，在一个维度中某一取值范围内对应的另一维度值进行增加或减小操作。
本步骤中，局部曲线适配过程具体包括：统计所述低噪声图像在0到(216-1)的像素值范围中的每个像素值上的像素数，将0到(216-1)的像素值范围划分为N个区域段，分别统计每个区域段中的像素数，分别通过将每个区域段中的像素数除以总像素数获得每个区域段的像素数占比，对像素数占比小于或等于预设阈值的区域段进行压缩，不对像素数占比大于所述预设阈值的区域段进行压缩，从而将16比特位宽的低噪声图像至10比特位宽，得到第一中间图像，其中，N为大于0的整数。其中，N和预设阈值可由用户预先设置，例如，N取值为10，预设阈值取值为20％。
采用局部曲线适配的优点在于基于图像内容进行适配，而不是简单的压缩，因此，通过局部曲线适配来进行压缩的操作可提升先前较暗的区域的增亮，具有亮度增强的功能。
步骤206，对所述第一中间图像进行图像处理，得到第二中间图像。
在本发明的实施例中，可通过对10比特位宽的第一中间图像进行图像处理来产生8比特位宽的YUV格式图像。这里，图像处理包括一些常规的图像处理操作，例如，马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理等。这里，YUV格式图像可以是图像格式为4：2：0的YUV格式图像。
步骤207，对所述第二中间图像进行图像压缩处理，得到最终图像。
在本发明的实施例中，可对产生的8比特位宽的YUV格式图像进行JPEG压缩以获得JPEG格式图像，并存储获得的8比特位宽的JPEG格式图像以作为拍照的结果图像保存呈现给用户。
本发明的图像处理方法的第一实施例和第二实施例可应用于具有拍照功能的任何移动终端，诸如，智能手机、平板电脑、个人数字助理等。
可选地，本发明的图像处理方法的第一实施例和第二实施例的合成处理可由支持相机原始域操作的移动终端芯片执行。
可选地，本发明的图像处理方法的第一实施例和第二实施例的合成处理可由移动终端的外置ARM核或DSP核的芯片执行。这里，外置的芯片可通过MIPICSI接口与移动终端中的相机模块连接。在获得多个多帧原始图像之后，将获得的多帧原始图像传送到外置芯片进行合成处理。在外置芯片上对多帧原始图像进行合成处理之后，将合成的第一中间图像传送回移动终端的芯片以进行图像处理以及图像压缩处理。例如，可以选用强大的专用图像处理DSP核来实现外置芯片。因此，利用外置芯片的优点在于可以提升图像处理的速度和质量。
本发明实施例的图像处理方法，通过获取所述摄像头连续采集的多帧原始图像，将所述多帧原始图像转换为16比特位宽，得到多帧16比特位宽图像，将所述多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像，对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像得到第一中间图像，对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像，对所述第一中间图像进行图像处理，得到第二中间图像，对所述第二中间图像进行图像压缩处理，得到最终图像。本发明实施例的图像处理方法通过基于Raw域的合成增强算法对从相机获得的Raw格式图像进行合成，再对合成的图像进行图像处理，能够避免在合成增强之前的图像处理损失过多细节，因此能够获得比先进行图像处理再进行合成增强的现有多帧合成增强技术更好的合成效果，从而提高了合成图像的质量，增强了用户体验。此外，本发明实施例的图像处理方法通过将所述多帧原始图像转换为16比特位宽，基于16比特位宽进行合成增强处理，从而保证图像运算的数据带宽，保证运算精度。此外，本发明实施例的图像处理方法通过对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，从而提升先前较暗的区域的增亮，提高了亮度增强的效果。
第三实施例
参照图3a，图3a为本发明移动终端的第一实施例的结构框图之一，图3a中的移动终端300包括摄像头，所述移动终端300还包括：图像获取模块301、图像合成模块302、图像处理模块303、图像压缩处理模块304。
在本发明实施例中，图像获取模块301用于获取所述摄像头连续采集的多帧原始图像。
具体地，在图像获取模块301获取所述摄像头连续采集的多帧原始图像之前，移动终端300可接收用户的拍照功能启动请求，然后根据该拍照功能启动请求，显示拍照预览界面。显示出拍照预览界面之后，移动终端300可接收用户的图像增强模式请求，然后根据该图像增强模式请求，进入图像增强模式。在图像增强模式下，移动终端300可进行夜景图像合成处理或HDR图像合成处理。进入图像增强模式之后，图像获取模块301开始获取所述摄像头连续采集的多帧原始图像，其中，摄像头所连续采集的多帧原始图像为10比特位宽的Raw格式图像。
在本发明实施例中，图像合成模块302用于通过预设算法将所述图像获取模块301获取的多帧原始图像进行合成处理，得到第一中间图像。
具体地，可使用一个临时数据存储空间来存储这些原始图像，并且使用零快门延迟(ZeroShutterLag，ZSL)模式来更新相机实时拍摄的图像，即，使用最新获得的图像来替换最初的图像。当用户选择多帧图像增强模式中的一种模式时，图像合成模块302可存储与选择的模式相应的数量的最新图像，并对存储的图像执行基于Raw域的合成增强算法。例如，当用户选择夜景模式时，图像合成模块302可存储最新的六帧原始图像，并对存储的六帧原始图像执行基于Raw域的合成增强算法。当用户选择HDR模式时，图像合成模块302可存储最新的三个原始图像，并对存储的三个原始图像执行基于Raw域的合成增强算法。
通过预设算法将所述多帧原始图像进行合成处理，得到10比特位宽的第一中间图像，可使图像的动态范围更宽，图像噪声更少，并能够展现更多的图像细节。
在本发明实施例中，图像处理模块303用于对所述图像合成模块302得到的第一中间图像进行图像处理，得到第二中间图像。
具体地，图像处理模块303可通过对10比特位宽的第一中间图像进行图像处理来产生8比特位宽的YUV格式图像。这里，图像处理包括一些常规的图像处理操作，例如，马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理等。这里，YUV格式图像可以是图像格式为4：2：0的YUV格式图像。
在本发明实施例中，图像压缩处理模块304用于对所述图像处理模块303得到的第二中间图像进行图像压缩处理，得到最终图像。
具体地，图像压缩处理模块304可对产生的8比特位宽的YUV格式图像进行JPEG压缩以获得JPEG格式图像，并存储获得的JPEG格式图像以作为拍照的结果图像保存呈现给用户。
可选地，如图3b所示，本发明的移动终端的第一实施例的图像合成模块302还包括：位宽转换单元3021、拍摄角度校正单元3022、图像处理单元3023、局部曲线适配单元3024。
在本发明实施例中，位宽转换单元3021用于将多帧10比特的原始图像转换为16比特位宽，得到多帧16比特位宽图像。这样可提高多帧图像增强算法的处理空间，获得更好的细节展现的图像。
在本发明实施例中，拍摄角度校正单元3022用于将所述位宽转换单元3021得到的多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。
具体地，拍摄角度校正单元3022可采用运动检测算法将所述多帧16比特位宽图像校正至同一拍摄角度。具体地，拍摄角度校正单元3022还用于以所述多帧16比特位宽图像中的第一帧图像为基准，对所述多帧16比特位宽图像中的除了所述第一帧图像外的其他帧16比特位宽图像进行运动检测校正，使所述16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。其中，运动检测算法可以是视频压缩的运动检测校正算法或光流算法。第一帧图像可以指所述多帧16比特位宽图像之中的在时间上摄像头最早采集的一帧原始图像。
在本发明实施例中，图像处理单元3023用于对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像。
具体地，图像处理单元3023可包括均值滤波处理子单元30231、亮度增强处理子单元30232和小波去噪处理子单元30233。
均值滤波处理子单元30231用于对所述多帧相同角度图像中每帧图像进行均值滤波处理，得到多帧中间图像。具体地，均值滤波处理子单元30231还用于将以所述多帧相同角度图像中每帧图像中每个像素点为中心的与该像素点临近的八个像素点作为滤波模板，对所述滤波模板中的所有像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替每个像素点的像素值，得到多帧中间图像。
亮度增强处理子单元30232用于对多帧中间图像进行亮度增强处理。具体地，亮度增强处理子单元30232还用于：将所述多帧中间图像中每个像素点的像素值进行累加得到每个像素点的累加像素值，将每个像素点的累加像素值减去预设像素值阈值作为该像素点的最终像素值，当每个像素点都得到最终像素值时，得到一帧16比特位宽的亮度增强中间图像。
小波去噪处理子单元30233用于对亮度增强中间图像进行小波去噪处理。具体地，小波去噪处理子单元30233还用于：使用边缘检测算法获得所述亮度增强中间图像的图像内容边缘信息，根据获得的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪，得到一帧16比特位宽的低噪声图像。
在本发明实施例中，局部曲线适配单元3024用于对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像。
具体地，局部曲线适配是指对于二维空间曲线，在一个维度中某一取值范围内对应的另一维度值进行增加或减小操作。
局部曲线适配单元3024还用于统计所述低噪声图像在0到(216-1)的像素值范围中的每个像素值上的像素数，将0到(216-1)的像素值范围划分为N个区域段，分别统计每个区域段中的像素数，分别通过将每个区域段中的像素数除以总像素数获得每个区域段的像素数占比，对像素数占比小于或等于预设阈值的区域段进行压缩，不对像素数占比大于所述预设阈值的区域段进行压缩，从而将16比特位宽的低噪声图像至10比特位宽，得到第一中间图像，其中，N为大于0的整数。其中，N和预设阈值可由用户预先设置。例如，N取值为10，预设阈值取值为20％。
本发明实施例中，采用局部曲线适配的优点在于基于图像内容进行适配，而不是简单的压缩，因此，通过局部曲线适配来进行压缩的操作可提升先前较暗的区域的增亮，具有亮度增强的功能。
这里，采用局部曲线适配的优点在于基于图像内容进行适配，而不是简单的压缩，因此，通过局部曲线适配来进行压缩的操作可提升先前较暗的区域的增亮，具有亮度增强的功能。
本发明实施例的移动终端300可以是具有拍照功能的任何移动终端，诸如，智能手机、平板电脑、个人数字助理等。
可选地，图像合成模块302的操作可由支持相机原始域操作的移动终端芯片执行。
可选地，图像合成模块302的操作可由移动终端的外置ARM核或DSP核的芯片执行。这里，外置的芯片可通过MIPICSI接口与移动终端中的相机模块连接。在获得多个多帧原始图像之后，将获得的多帧原始图像传送到外置芯片进行合成处理。在外置芯片上对多帧原始图像进行合成处理之后，将合成的第一中间图像传送回移动终端的芯片以进行图像处理以及图像压缩处理。例如，可以选用强大的专用图像处理DSP核来实现外置芯片。因此，利用外置芯片的优点在于可以提升图像处理的速度和质量。
本发明实施例的移动终端300通过上述模块，通过基于Raw域的合成增强算法对从相机获得的Raw格式图像进行合成，再对合成的图像进行图像处理，能够避免在合成增强之前的图像处理损失过多细节，因此能够获得比先进行图像处理再进行合成增强的现有多帧合成增强技术更好的合成效果，从而提高了合成图像的质量，增强了用户体验。此外，本发明实施例的移动终端300通过上述模块将所述多帧原始图像转换为16比特位宽，基于16比特位宽进行合成增强处理，从而保证图像运算的数据带宽，保证运算精度。此外，本发明实施例的移动终端300通过上述模块对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，从而提升先前较暗的区域的增亮，提高了亮度增强的效果。
第四实施例
参照图4，图4为本发明的移动终端400的第二实施例的框图，移动终端400包括：至少一个处理器401、存储器402、至少一个网络接口404和其他用户接口403、拍照模组406，拍照模组406包括摄像头。移动终端400中的各个组件通过总线系统405耦合在一起。可理解，总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统405。
其中，用户接口403可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统4021和应用程序4022。
其中，操作系统4021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序4022中。
在本发明实施例中，通过调用存储器402存储的程序或指令，具体的，可以是应用程序4022中存储的程序或指令。处理器401用于获取所述拍照模组406的摄像头连续采集的多帧原始图像；通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像；对所述第一中间图像进行图像处理，得到第二中间图像；对所述第二中间图像进行图像压缩处理，得到最终图像，其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，处理器401还用于：将所述多帧原始图像转换为16比特位宽，得到多帧16比特位宽图像；将所述多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像；对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像；对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像。
可选地，处理器401还用于：以所述多帧16比特位宽图像中的第一帧图像为基准，对所述多帧16比特位宽图像中的除了所述第一帧图像外的其他帧16比特位宽图像进行运动检测校正，使所述16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。
可选地，处理器401还用于：将以所述多帧相同角度图像中每帧图像的每个像素点为中心的与该像素点临近的八个像素点作为滤波模板，对所述滤波模板中的所有像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替每个像素点的像素值，得到多帧中间图像；将所述多帧中间图像中每个像素点的像素值进行累加得到每个像素点的累加像素值，将每个像素点的累加像素值减去预设像素值阈值作为该像素点的最终像素值，当每个像素点都得到最终像素值时，得到一帧16比特位宽的亮度增强中间图像；使用边缘检测算法检测所述亮度增强中间图像的图像内容边缘信息，根据检测到的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪，得到一帧16比特位宽的低噪声图像。
可选地，处理器401还用于：统计所述低噪声图像在0到(216-1)的像素值范围中的每个像素值上的像素数，将0到(216-1)的像素值范围划分为N个区域段，分别统计每个区域段中的像素数，分别通过将每个区域段中的像素数除以总像素数获得每个区域段的像素数占比，对像素数占比小于或等于预设阈值的区域段进行压缩，不对像素数占比大于所述预设阈值的区域段进行压缩，从而将16比特位宽的低噪声图像至10比特位宽，得到第一中间图像，其中，N为大于0的整数。
可选地，处理器401还用于：对所述第一中间图像进行马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理。
可选地，通过预设算法将所述多帧原始图像进行合成处理的操作可由移动终端的外置ARM核或DSP核的芯片执行。
移动终端400能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
本发明实施例的移动终端400通过上述模块，通过基于Raw域的合成增强算法对从相机获得的Raw格式图像进行合成，再对合成的图像进行图像处理，能够避免在合成增强之前的图像处理损失过多细节，因此能够获得比先进行图像处理再进行合成增强的现有多帧合成增强技术更好的合成效果，从而提高了合成图像的质量，增强了用户体验。此外，本发明实施例的移动终端400通过上述模块将所述多帧原始图像转换为16比特位宽，基于16比特位宽进行合成增强处理，从而保证图像运算的数据带宽，保证运算精度。此外，本发明实施例的移动终端400通过上述模块对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，从而提升先前较暗的区域的增亮，提高了亮度增强的效果。
第五实施例
参见图5，图5是本发明的移动终端的第三实施例的框图。移动终端可以为手机、平板电脑、个人数字助理(PersonalDigitalAssistant，PDA)、或车载电脑等。
图5中的移动终端包括射频(RadioFrequency，RF)电路510、存储器520、输入单元530、显示单元540、拍照模组550、处理器560、音频电路570、WiFi(WirelessFidelity)模块580和电源590，其中，拍照模组550包括摄像头。
其中，输入单元530可用于接收用户输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元530可以包括触控面板531。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器560，并能接收处理器560发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中，显示单元540可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单界面。显示单元540可包括显示面板541，可选的，可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板541。
应注意，触控面板531可以覆盖显示面板541，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器560以确定触摸事件的类型，随后处理器560根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中，处理器560是移动终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器521内的软件程序和/或模块，以及调用存储在第二存储器522内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器560可包括一个或多个处理单元。
在本发明实施例中，通过调用存储该第一存储器521内的软件程序和/或模块和/或该第二存储器522内的数据，处理器560用于获取拍照模组550的摄像头连续采集的多帧原始图像；通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像；对所述第一中间图像进行图像处理，得到第二中间图像；对所述第二中间图像进行图像压缩处理，得到最终图像，其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。
可选地，处理器560还用于：将所述多帧原始图像转换为16比特位宽，得到多帧16比特位宽图像；将所述多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像；对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像；对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像。
可选地，处理器560还用于：以所述多帧16比特位宽图像中的第一帧图像为基准，对所述多帧16比特位宽图像中的除了所述第一帧图像外的其他帧16比特位宽图像进行运动检测校正，使所述16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。
可选地，处理器560还用于：将以所述多帧相同角度图像中每帧图像的每个像素点为中心的与该像素点临近的八个像素点作为滤波模板，对所述滤波模板中的所有像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替每个像素点的像素值，得到多帧中间图像；将所述多帧中间图像中每个像素点的像素值进行累加得到每个像素点的累加像素值，将每个像素点的累加像素值减去预设像素值阈值作为该像素点的最终像素值，当每个像素点都得到最终像素值时，得到一帧16比特位宽的亮度增强中间图像；使用边缘检测算法检测所述亮度增强中间图像的图像内容边缘信息，根据检测到的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪，得到一帧16比特位宽的低噪声图像。
可选地，处理器560还用于：统计所述低噪声图像在0到(216-1)的像素值范围中的每个像素值上的像素数，将0到(216-1)的像素值范围划分为N个区域段，分别统计每个区域段中的像素数，分别通过将每个区域段中的像素数除以总像素数获得每个区域段的像素数占比，对像素数占比小于或等于预设阈值的区域段进行压缩，不对像素数占比大于所述预设阈值的区域段进行压缩，从而将16比特位宽的低噪声图像至10比特位宽，得到第一中间图像，其中，N为大于0的整数。
可选地，处理器560还用于：对所述第一中间图像进行马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理。
可选地，通过预设算法将所述多帧原始图像进行合成处理的操作可由移动终端的外置ARM核或DSP核的芯片执行。
移动终端能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
本发明实施例的移动终端通过上述模块，通过基于Raw域的合成增强算法对从相机获得的Raw格式图像进行合成，再对合成的图像进行图像处理，能够避免在合成增强之前的图像处理损失过多细节，因此能够获得比先进行图像处理再进行合成增强的现有多帧合成增强技术更好的合成效果，从而提高了合成图像的质量，增强了用户体验。此外，本发明实施例的移动终端通过上述模块将所述多帧原始图像转换为16比特位宽，基于16比特位宽进行合成增强处理，从而保证图像运算的数据带宽，保证运算精度。此外，本发明实施例的移动终端通过上述模块对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，从而提升先前较暗的区域的增亮，提高了亮度增强的效果。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种图像处理方法，应用于具有摄像头的移动终端，其特征在于，所述图像处理方法包括：
获取所述摄像头连续采集的多帧原始图像；
通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像；
对所述第一中间图像进行图像处理，得到第二中间图像；
对所述第二中间图像进行图像压缩处理，得到最终图像；
其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述通过预设算法将所述多帧原始图像进行合成处理，得到第一中间图像的步骤，包括：
将所述多帧原始图像转换为16比特位宽，得到多帧16比特位宽图像；
将所述多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像；
对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像；
对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像的步骤，包括：
以所述多帧16比特位宽图像中的第一帧图像为基准，对所述多帧16比特位宽图像中的除了所述第一帧图像外的其他帧16比特位宽图像进行运动检测校正，使所述16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。
4.根据权利要求2所述的图像处理方法，其特征在于，所述对所述多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像的步骤，包括：
将以所述多帧相同角度图像中每帧图像的每个像素点为中心的与该像素点临近的八个像素点作为滤波模板，对所述滤波模板中的所有像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替每个像素点的像素值，得到多帧中间图像；
将所述多帧中间图像中每个像素点的像素值进行累加得到每个像素点的累加像素值，将每个像素点的累加像素值减去预设像素值阈值作为该像素点的最终像素值，当每个像素点都得到最终像素值时，得到一帧16比特位宽的亮度增强中间图像；
使用边缘检测算法检测所述亮度增强中间图像的图像内容边缘信息，根据检测到的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪，得到一帧16比特位宽的低噪声图像。
5.根据权利要求2所述的图像处理方法，其特征在于，所述对所述低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像的步骤，包括：
统计所述低噪声图像在0到(216-1)的像素值范围中的每个像素值上的像素数，将0到(216-1)的像素值范围划分为N个区域段，分别统计每个区域段中的像素数，分别通过将每个区域段中的像素数除以总像素数获得每个区域段的像素数占比，对像素数占比小于或等于预设阈值的区域段进行压缩，不对像素数占比大于所述预设阈值的区域段进行压缩，从而将16比特位宽的低噪声图像至10比特位宽，得到第一中间图像，其中，N为大于0的整数。
6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一中间图像进行图像处理的步骤，包括：
对所述第一中间图像进行马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理。
7.根据权利要求1所述的图像处理方法，其特征在于，所述通过预设算法将所述多帧原始图像进行合成处理的步骤由移动终端的外置ARM核或DSP核的芯片执行。
8.一种移动终端，包括摄像头，其特征在于，所述移动终端还包括：
图像获取模块，用于获取所述摄像头连续采集的多帧原始图像；
图像合成模块，用于通过预设算法将所述图像获取模块获取的多帧原始图像进行合成处理，得到第一中间图像；
图像处理模块，用于对所述图像合成模块得到的第一中间图像进行图像处理，得到第二中间图像；
图像压缩处理模块，用于对所述图像处理模块得到的第二中间图像进行图像压缩处理，得到最终图像；
其中，所述多帧原始图像和第一中间图像均为10比特位宽的Raw格式图像，所述第二中间图像为8比特位宽的YUV格式图像，最终图像为8比特位宽的JPEG格式图像。
9.根据权利要求8所述的移动终端，其特征在于，所述图像合成模块包括：
位宽转换单元，用于将所述多帧原始图像转换为16比特位宽，得到多帧16比特位宽图像；
拍摄角度校正单元，用于将所述位宽转换单元得到的多帧16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像；
图像处理单元，用于对所述拍摄角度校正单元得到的多帧相同角度图像依次进行均值滤波处理、亮度增强处理和小波去噪处理，得到一帧16比特位宽的低噪声图像；
局部曲线适配单元，用于对所述图像处理单元得到的低噪声图像进行局部曲线适配，将所述低噪声图像压缩至10比特位宽，得到第一中间图像。
10.根据权利要求9所述的移动终端，其特征在于，所述拍摄角度校正单元具体用于以所述多帧16比特位宽图像中的第一帧图像为基准，对所述多帧16比特位宽图像中的除了所述第一帧图像外的其他帧16比特位宽图像进行运动检测校正，使所述16比特位宽图像校正至同一拍摄角度，得到多帧相同角度图像。
11.根据权利要求9所述的移动终端，其特征在于，所述图像处理单元包括：
均值滤波处理子单元，用于将以所述多帧相同角度图像中每帧图像的每个像素点为中心的与该像素点临近的八个像素点作为滤波模板，对所述滤波模板中的所有像素点的像素值进行求平均值运算，得到平均像素值，用所述平均像素值来代替每个像素点的像素值，得到多帧中间图像；
亮度增强处理子单元，用于将所述多帧中间图像中每个像素点的像素值进行累加得到每个像素点的累加像素值，将每个像素点的累加像素值减去预设像素值阈值作为该像素点的最终像素值，当每个像素点都得到最终像素值时，得到一帧16比特位宽的亮度增强中间图像；
小波去噪处理子单元，用于使用边缘检测算法检测所述亮度增强中间图像的图像内容边缘信息，根据检测到的图像内容边缘信息将所述亮度增强中间图像划分成多个区域，并分别对每个区域执行小波去噪，得到一帧16比特位宽的低噪声图像。
12.根据权利要求9所述的移动终端，其特征在于，所述局部曲线适配单元具体用于统计所述低噪声图像在0到(216-1)的像素值范围中的每个像素值上的像素数，将0到(216-1)的像素值范围划分为N个区域段，分别统计每个区域段中的像素数，分别通过将每个区域段中的像素数除以总像素数获得每个区域段的像素数占比，对像素数占比小于或等于预设阈值的区域段进行压缩，不对像素数占比大于所述预设阈值的区域段进行压缩，从而将16比特位宽的低噪声图像至10比特位宽，得到第一中间图像，其中，N为大于0的整数。
13.根据权利要求8所述的移动终端，其特征在于，所述图像处理模块还用于对所述第一中间图像进行马赛克处理、锐化处理、去噪处理、色彩转换处理、色彩增强处理。
14.根据权利要求8所述的移动终端，其特征在于，所述图像合成模块通过预设算法将所述多帧原始图像进行合成处理的操作由移动终端的外置ARM核或DSP核的芯片执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610195410.5A CN105827971B (zh) | 2016-03-31 | 2016-03-31 | 一种图像处理方法及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610195410.5A CN105827971B (zh) | 2016-03-31 | 2016-03-31 | 一种图像处理方法及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105827971A true CN105827971A (zh) | 2016-08-03 |
| CN105827971B CN105827971B (zh) | 2019-01-11 |
Family
ID=56525436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610195410.5A Active CN105827971B (zh) | 2016-03-31 | 2016-03-31 | 一种图像处理方法及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105827971B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534694A (zh) * | 2016-11-28 | 2017-03-22 | 上海传英信息技术有限公司 | 一种夜拍模式下处理拍摄照片的方法和装置 |
| CN106651999A (zh) * | 2016-12-27 | 2017-05-10 | 北京智能管家科技有限公司 | 帧动画加载加速方法及装置 |
| CN106875344A (zh) * | 2016-12-21 | 2017-06-20 | 浙江大华技术股份有限公司 | 一种视频图像的补光处理方法及装置 |
| CN107205120A (zh) * | 2017-06-30 | 2017-09-26 | 维沃移动通信有限公司 | 一种图像的处理方法和移动终端 |
| CN107360342A (zh) * | 2017-06-30 | 2017-11-17 | 维沃移动通信有限公司 | 一种图像数据的处理方法和移动终端 |
| CN107483844A (zh) * | 2017-09-04 | 2017-12-15 | 青岛海信电器股份有限公司 | 一种图像处理的方法和设备 |
| CN107576618A (zh) * | 2017-07-20 | 2018-01-12 | 华南理工大学 | 基于深度卷积神经网络的水稻穗瘟检测方法及系统 |
| CN107809592A (zh) * | 2017-11-13 | 2018-03-16 | 广东欧珀移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| CN108063920A (zh) * | 2017-12-26 | 2018-05-22 | 深圳开立生物医疗科技股份有限公司 | 一种图像冻结方法、装置、设备及计算机可读存储介质 |
| CN108307109A (zh) * | 2018-01-16 | 2018-07-20 | 维沃移动通信有限公司 | 一种高动态范围图像预览方法及终端设备 |
| CN109005368A (zh) * | 2018-10-15 | 2018-12-14 | Oppo广东移动通信有限公司 | 一种高动态范围图像的生成方法、移动终端及存储介质 |
| CN109640088A (zh) * | 2018-12-30 | 2019-04-16 | 成都纵横自动化技术股份有限公司 | 图像数据处理方法、装置及系统 |
| CN110035233A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110248098A (zh) * | 2019-06-28 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110648288A (zh) * | 2019-08-27 | 2020-01-03 | 上海理工大学 | 一种基于残差转置去卷积神经网络的胆道镜图像增强方法 |
| CN110942427A (zh) * | 2018-09-21 | 2020-03-31 | 西安中兴新软件有限责任公司 | 一种图像降噪的方法及装置、设备、存储介质 |
| CN110969046A (zh) * | 2018-09-28 | 2020-04-07 | 深圳云天励飞技术有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
| CN111292282A (zh) * | 2020-01-21 | 2020-06-16 | 展讯通信（上海）有限公司 | 低比特位宽hdr图像的生成方法及装置、存储介质、终端 |
| WO2020207200A1 (zh) * | 2019-04-10 | 2020-10-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理器、拍摄装置和电子设备 |
| WO2020207261A1 (zh) * | 2019-04-09 | 2020-10-15 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| WO2020207262A1 (zh) * | 2019-04-09 | 2020-10-15 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| CN112135053A (zh) * | 2020-09-25 | 2020-12-25 | 努比亚技术有限公司 | 图像处理方法、移动终端及计算机可读存储介质 |
| CN112508820A (zh) * | 2020-12-18 | 2021-03-16 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| CN112672033A (zh) * | 2019-10-15 | 2021-04-16 | 中兴通讯股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
| CN113810622A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 一种图像处理方法及设备 |
| US11328449B2 (en) | 2019-04-10 | 2022-05-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing apparatus, method for image processing, and electronic device |
| CN114494053A (zh) * | 2022-01-17 | 2022-05-13 | 北京翠鸟视觉科技有限公司 | 近眼显示设备的图像处理方法以及近眼显示设备 |
| US11412153B2 (en) | 2017-11-13 | 2022-08-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Model-based method for capturing images, terminal, and storage medium |
| WO2023036007A1 (zh) * | 2021-09-07 | 2023-03-16 | 荣耀终端有限公司 | 一种获取图像的方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101764959A (zh) * | 2008-12-25 | 2010-06-30 | 昆山锐芯微电子有限公司 | 图像拾取系统及图像处理方法 |
| CN102300055A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 图像处理装置、图像拍摄装置、图像处理方法和程序 |
| US8599282B2 (en) * | 2007-04-26 | 2013-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus for generating image |
| CN104349066A (zh) * | 2013-07-31 | 2015-02-11 | 华为终端有限公司 | 一种生成高动态范围图像的方法、装置 |
| CN105827965A (zh) * | 2016-03-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种基于移动终端的图像处理方法及移动终端 |
-
2016
- 2016-03-31 CN CN201610195410.5A patent/CN105827971B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8599282B2 (en) * | 2007-04-26 | 2013-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus for generating image |
| CN101764959A (zh) * | 2008-12-25 | 2010-06-30 | 昆山锐芯微电子有限公司 | 图像拾取系统及图像处理方法 |
| CN102300055A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 图像处理装置、图像拍摄装置、图像处理方法和程序 |
| CN104349066A (zh) * | 2013-07-31 | 2015-02-11 | 华为终端有限公司 | 一种生成高动态范围图像的方法、装置 |
| CN105827965A (zh) * | 2016-03-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种基于移动终端的图像处理方法及移动终端 |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534694A (zh) * | 2016-11-28 | 2017-03-22 | 上海传英信息技术有限公司 | 一种夜拍模式下处理拍摄照片的方法和装置 |
| CN106875344B (zh) * | 2016-12-21 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种视频图像的补光处理方法及装置 |
| CN106875344A (zh) * | 2016-12-21 | 2017-06-20 | 浙江大华技术股份有限公司 | 一种视频图像的补光处理方法及装置 |
| US11055831B2 (en) | 2016-12-21 | 2021-07-06 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for filling light for video images |
| CN106651999A (zh) * | 2016-12-27 | 2017-05-10 | 北京智能管家科技有限公司 | 帧动画加载加速方法及装置 |
| CN107360342A (zh) * | 2017-06-30 | 2017-11-17 | 维沃移动通信有限公司 | 一种图像数据的处理方法和移动终端 |
| CN107205120A (zh) * | 2017-06-30 | 2017-09-26 | 维沃移动通信有限公司 | 一种图像的处理方法和移动终端 |
| CN107576618A (zh) * | 2017-07-20 | 2018-01-12 | 华南理工大学 | 基于深度卷积神经网络的水稻穗瘟检测方法及系统 |
| CN107483844A (zh) * | 2017-09-04 | 2017-12-15 | 青岛海信电器股份有限公司 | 一种图像处理的方法和设备 |
| CN107483844B (zh) * | 2017-09-04 | 2020-08-25 | 海信视像科技股份有限公司 | 一种图像处理的方法和设备 |
| US11102397B2 (en) | 2017-11-13 | 2021-08-24 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for capturing images, terminal, and storage medium |
| US11412153B2 (en) | 2017-11-13 | 2022-08-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Model-based method for capturing images, terminal, and storage medium |
| CN107809592B (zh) * | 2017-11-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| CN107809592A (zh) * | 2017-11-13 | 2018-03-16 | 广东欧珀移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| CN108063920A (zh) * | 2017-12-26 | 2018-05-22 | 深圳开立生物医疗科技股份有限公司 | 一种图像冻结方法、装置、设备及计算机可读存储介质 |
| CN108307109B (zh) * | 2018-01-16 | 2020-04-17 | 维沃移动通信有限公司 | 一种高动态范围图像预览方法及终端设备 |
| CN108307109A (zh) * | 2018-01-16 | 2018-07-20 | 维沃移动通信有限公司 | 一种高动态范围图像预览方法及终端设备 |
| CN110942427A (zh) * | 2018-09-21 | 2020-03-31 | 西安中兴新软件有限责任公司 | 一种图像降噪的方法及装置、设备、存储介质 |
| CN110969046B (zh) * | 2018-09-28 | 2023-04-07 | 深圳云天励飞技术有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
| CN110969046A (zh) * | 2018-09-28 | 2020-04-07 | 深圳云天励飞技术有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
| CN109005368A (zh) * | 2018-10-15 | 2018-12-14 | Oppo广东移动通信有限公司 | 一种高动态范围图像的生成方法、移动终端及存储介质 |
| CN109640088A (zh) * | 2018-12-30 | 2019-04-16 | 成都纵横自动化技术股份有限公司 | 图像数据处理方法、装置及系统 |
| WO2020207261A1 (zh) * | 2019-04-09 | 2020-10-15 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| WO2020207262A1 (zh) * | 2019-04-09 | 2020-10-15 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| CN110035233A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2020207200A1 (zh) * | 2019-04-10 | 2020-10-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理器、拍摄装置和电子设备 |
| US11328449B2 (en) | 2019-04-10 | 2022-05-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing apparatus, method for image processing, and electronic device |
| CN110248098A (zh) * | 2019-06-28 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110248098B (zh) * | 2019-06-28 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110648288A (zh) * | 2019-08-27 | 2020-01-03 | 上海理工大学 | 一种基于残差转置去卷积神经网络的胆道镜图像增强方法 |
| CN110648288B (zh) * | 2019-08-27 | 2023-02-03 | 上海理工大学 | 一种基于残差转置去卷积神经网络的胆道镜图像增强方法 |
| CN112672033A (zh) * | 2019-10-15 | 2021-04-16 | 中兴通讯股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
| EP4095793A4 (en) * | 2020-01-21 | 2023-10-25 | Spreadtrum Communications (Shanghai) Co., Ltd. | METHOD AND APPARATUS FOR GENERATING LOW BIT WIDTH HDR IMAGE, RECORDING MEDIUM AND TERMINAL |
| CN111292282B (zh) * | 2020-01-21 | 2023-02-17 | 展讯通信（上海）有限公司 | 低比特位宽hdr图像的生成方法及装置、存储介质、终端 |
| CN111292282A (zh) * | 2020-01-21 | 2020-06-16 | 展讯通信（上海）有限公司 | 低比特位宽hdr图像的生成方法及装置、存储介质、终端 |
| CN112135053A (zh) * | 2020-09-25 | 2020-12-25 | 努比亚技术有限公司 | 图像处理方法、移动终端及计算机可读存储介质 |
| CN112508820A (zh) * | 2020-12-18 | 2021-03-16 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| CN113810622A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 一种图像处理方法及设备 |
| WO2023036007A1 (zh) * | 2021-09-07 | 2023-03-16 | 荣耀终端有限公司 | 一种获取图像的方法及电子设备 |
| CN114494053A (zh) * | 2022-01-17 | 2022-05-13 | 北京翠鸟视觉科技有限公司 | 近眼显示设备的图像处理方法以及近眼显示设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105827971B (zh) | 2019-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105827971A (zh) | 一种图像处理方法及移动终端 | |
| CN105827754A (zh) | 一种高动态范围图像的生成方法及移动终端 | |
| CN105827965A (zh) | 一种基于移动终端的图像处理方法及移动终端 | |
| CN107635093A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN106161967A (zh) | 一种逆光场景全景拍摄方法及移动终端 | |
| CN106060406A (zh) | 一种拍照方法及移动终端 | |
| CN105827964A (zh) | 一种图像处理方法及移动终端 | |
| CN107302664A (zh) | 一种拍摄方法及移动终端 | |
| CN106488133A (zh) | 一种运动对象的检测方法及移动终端 | |
| CN107231530A (zh) | 一种拍照方法及移动终端 | |
| CN107197169A (zh) | 一种高动态范围图像拍摄方法及移动终端 | |
| CN105872148A (zh) | 一种高动态范围图像的生成方法及移动终端 | |
| CN106648035A (zh) | 一种图像分辨率的调整方法及移动终端 | |
| CN107395898A (zh) | 一种拍摄方法及移动终端 | |
| CN107205119B (zh) | 一种图像数据的处理方法和装置 | |
| CN105227858A (zh) | 一种图像处理方法及移动终端 | |
| CN105827951A (zh) | 一种运动对象拍照方法及移动终端 | |
| CN106506962A (zh) | 一种图像处理方法及移动终端 | |
| CN106231187A (zh) | 一种拍摄图像的方法及移动终端 | |
| CN105979155A (zh) | 一种拍照方法及移动终端 | |
| CN106101545A (zh) | 一种图像处理方法及移动终端 | |
| CN107395976A (zh) | 一种拍摄参数设置方法及移动终端 | |
| CN105827963A (zh) | 一种拍照过程中场景变化检测方法及移动终端 | |
| CN106657806A (zh) | 一种曝光方法及移动终端 | |
| CN106126108A (zh) | 一种缩略图的生成方法及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |