CN106357967B - 控制方法、控制装置和电子装置 - Google Patents

控制方法、控制装置和电子装置 Download PDF

Info

Publication number
CN106357967B
CN106357967B CN201611078974.7A CN201611078974A CN106357967B CN 106357967 B CN106357967 B CN 106357967B CN 201611078974 A CN201611078974 A CN 201611078974A CN 106357967 B CN106357967 B CN 106357967B
Authority
CN
China
Prior art keywords
pixel
image
unit
module
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611078974.7A
Other languages
English (en)
Other versions
CN106357967A (zh
Inventor
韦怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201611078974.7A priority Critical patent/CN106357967B/zh
Publication of CN106357967A publication Critical patent/CN106357967A/zh
Priority to PCT/CN2017/081724 priority patent/WO2018098978A1/zh
Priority to US15/807,024 priority patent/US10277803B2/en
Priority to EP17204187.3A priority patent/EP3327666B1/en
Priority to ES17204187T priority patent/ES2731695T3/es
Application granted granted Critical
Publication of CN106357967B publication Critical patent/CN106357967B/zh
Priority to US15/974,211 priority patent/US10469736B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Abstract

本发明公开了一种控制方法、控制装置和电子装置。首先，控制图像传感器输出同一场景的合并图像和色块图像。其次根据用户输入确定预定区域；然后，利用第一插值算法处理色块图像的预定区域内的图像，利用第二插值算法处理合并图像；最后将两帧经插值处理后的图像进行合并。本发明实施方式的控制方法、控制装置和电子装置根据用户选择的预定区域，对色块图像中的预定区域内的图像采用第一插值算法进行处理，从而获得高质量的图像，同时避免了对整帧图像进行图像处理带来的大量工作，提高了工作效率。

Description

控制方法、控制装置和电子装置
技术领域
本发明涉及图像处理技术，尤其涉及基于图像处理的控制方法、控制装置和电子装置。
背景技术
现有的一种图像传感器包括像素单元阵列和设置在像素单元阵列上的滤光片单元阵列，每个滤光片单元阵列覆盖对应一个感光像素单元，每个感光像素单元包括多个感光像素。工作时，可以控制图像传感器曝光输出合并图像，合并图像包括合并像素阵列，同一像素单元的多个感光像素合并输出作为一个合并像素。如此，可以提高合并图像的信噪比，然而，合并图像的解析度降低。当然，也可以控制图像传感器曝光输出高像素的色块图像，色块图像包括原始像素阵列，每个感光像素对应一个原始像素。然而，由于同一滤光片单元对应的多个原始像素颜色相同，同样无法提高色块图像的解析度。因此，需要通过插值计算的方式将高像素的色块图像转换成高像素的仿原图像，仿原图像可以包括呈拜耳阵列排布的仿原像素。仿原图像可以通过控制方法转换成真彩图像并保存下来。插值计算可以提高真彩图像的清晰度，然而耗费资源且耗时，导致拍摄时间加长，用户体验差。另一方面，具体应用时，用户往往只关注真彩图像中的主体部分的清晰度。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种基于图像处理的控制方法、控制装置和电子装置。
本发明实施方式的控制方法，用于控制电子装置，所述电子装置包括成像装置和触摸屏，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制方法包括以下步骤：
控制所述图像传感器输出同一场景的合并图像和色块图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；
根据用户输入在所述合并图像上确定预定区域；
利用第一插值算法将所述色块图像转换成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述色块图像包括与所述合并图像的预定区域对应的预定区域，所述将所述色块图像转换成所述仿原图像的步骤包括以下步骤：
判断所述关联像素是否位于所述色块图像的预定区域内；
在所述关联像素位于所述色块图像的预定区域内时判断所述当前像素的颜色与所述关联像素的颜色是否相同；
在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述关联像素相邻；和
将所述合并图像通过第二插值算法转换成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和
合并所述仿原图像及所述还原图像以得到合并仿原图像。
在某些实施方式中，所述预定阵列包括拜耳阵列。
在某些实施方式中，所述图像像素单元包括2*2阵列的所述原始像素。
所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤包括以下步骤：
计算所述关联像素各个方向上的渐变量；
计算所述关联像素各个方向上的权重；和
根据所述渐变量及所述权重计算所述当前像素的像素值。
在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：
对所述色块图像做白平衡补偿；
所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括以下步骤：
对所述仿原图像做白平衡补偿还原。
在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：
对所述色块图像做坏点补偿。
在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：
对所述色块图像做串扰补偿。
在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括如下步骤：
对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。
在某些实施方式中，所述根据用户输入在所述合并图像上确定预定区域的步骤包括以下步骤：
利用第三插值算法将所述合并图像转换成预览图像，所述第三插值算法包括所述第二插值算法；
控制所述触摸屏显示所述预览图像；和
处理所述触摸屏上的用户输入确定所述预定区域。
在某些实施方式中，所述处理所述触摸屏上的用户输入确定所述预定区域的步骤包括以下步骤：
将所述预览图像划分为阵列排布的扩展单元；
处理所述用户输入以识别触摸位置；
确定所述触摸位置所在的原点扩展单元，所述扩展单元包括所述原点扩展单元；
计算以所述原点扩展单元为中心向外依次扩展的每个所述扩展单元的反差值；
当所述反差值超过预定阈值时确定对应的所述扩展单元为边缘扩展单元，所述扩展单元包括所述边缘扩展单元；和
确定所述边缘扩展单元围成的区域为所述预定区域。
在某些实施方式中，所述处理所述触摸屏上的用户输入确定所述预定区域的步骤包括以下步骤：
处理所述用户输入以识别触摸位置；和
以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域。
在某些实施方式中，所述以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域的步骤包括以下步骤：
处理所述用户输入以确定所述预定形状。
本发明实施方式的控制装置，用于控制电子装置，所述电子装置包括成像装置和触摸屏，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制装置包括输出模块、选定模块、第一转换模块、合并模块。所述选定模块用于根据用户输入在所述合并图像上确定预定区域；所述第一转换模块用于利用第一插值算法将所述色块图像转换成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述色块图像包括与所述合并图像的预定区域对应的预定区域，所述第一转换模块包括第一判断模块、第二判断模块、第一计算模块、第二计算模块、第三计算模块，所述第一判断模块用于判断所述关联像素是否位于所述色块图像的预定区域内；所述第二判断模块用于在所述关联像素位于所述色块图像的预定区域内时判断所述当前像素的颜色与所述关联像素的颜色是否相同；所述第一计算模块用于在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；所述第二计算模块用于在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述关联像素相邻；所述第三计算模块用于将所述合并图像通过第二插值算法转换成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；所述合并模块用于合并所述仿原图像及所述还原图像以得到合并仿原图像
在某些实施方式中，所述预定阵列包括拜耳阵列。
在某些实施方式中，所述图像像素单元包括2*2阵列的所述原始像素。
在某些实施方式中，所述第二计算模块包括第一计算单元、第二计算单元、第三计算单元。所述第一计算单元用于计算所述关联像素各个方向上的渐变量；所述第二计算单元用于计算所述关联像素各个方向上的权重；所述第三计算单元用于根据所述渐变量及所述权重计算所述当前像素的像素值。
在某些实施方式中，所述第一转换模块包括白平衡补偿模块和白平衡补偿还原模块。所述白平衡补偿模块用于对所述色块图像做白平衡补偿；所述白平衡补偿还原模块用于对所述仿原图像做白平衡补偿还原。
在某些实施方式中，所述第一转换模块包括坏点补偿模块，所述坏点补偿模块用于对所述色块图像做坏点补偿。
在某些实施方式中，所述第一转换模块包括串扰补偿模块，所述串扰补偿模块用于对所述色块图像做串扰补偿。
在某些实施方式中，所述第一转换模块包括第一处理模块，所述第一处理模块用于对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。
在某些实施方式中，所述选定模块包括第二转换模块、显示模块和第二处理模块。所述第二转换模块用于利用第三插值算法将所述合并图像转换成预览图像，所述第三插值算法包括所述第二插值算法；所述显示模块用于控制所述触摸屏显示所述预览图像；所述第二处理模块用于处理所述触摸屏上的用户输入确定所述预定区域。
在某些实施方式中，所述第二处理模块包括划分单元、第一识别单元、定点单元、第四计算单元、第一处理单元和第二处理单元。所述划分单元用于将所述预览图像划分为阵列排布的扩展单元；所述定点单元用于确定所述触摸位置所在的原点扩展单元，所述扩展单元包括所述原点扩展单元；所述第四计算单元用于计算以所述原点扩展单元为中心向外依次扩展的每个所述扩展单元的反差值；所述第一处理单元用于当所述反差值超过预定阈值时确定对应的所述扩展单元为边缘扩展单元，所述扩展单元包括所述边缘扩展单元；所述第二处理单元用于确定所述边缘扩展单元围成的区域为所述预定区域。
在某些实施方式中，所述第二处理模块包括第二识别单元和扩展单元。所述第二识别单元用于处理所述用户输入以识别触摸位置；所述扩展单元用于以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域。
在某些实施方式中，所述扩展单元包括第三处理单元，所述第三处理单元用于处理所述用户输入以确定所述预定形状。
本发明实施方式的电子装置，所述电子装置包括成像装置、触摸屏和上述的控制装置。
在某些实施方式中，所述电子装置包括手机和平板电脑。
在某些实施方式中，所述成像装置包括前置相机和后置相机。
本发明实施方式的控制方法、控制装置和电子装置，对色块图像中预定区域内的图像采用第一插值算法处理以提高预定区域图像的分辨率及解析度，且对合并图像采用复杂度小于第一插值算法的第二插值算法进行处理，在提高图像主体部分的信噪比、分辨率和解析度的同时，减少所需处理的数据和处理时间，提升用户体验。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的控制方法的流程示意图；
图2是本发明实施方式的控制方法的另一流程示意图；
图3是本发明实施方式的控制装置的功能模块示意图；
图4是本发明实施方式的图像传感器的模块示意图；
图5是本发明实施方式的图像传感器的电路示意图；
图6是本发明实施方式的滤光片单元的示意图；
图7是本发明实施方式的图像传感器的结构示意图；
图8是本发明实施方式的合并图像状态示意图；
图9是本发明实施方式的色块图像的状态示意图；
图10是本发明实施方式的控制方法的状态示意图；
图11是本发明某些实施方式的控制方法的流程示意图；
图12是本发明某些实施方式的第二计算模块的功能模块示意图；
图13是本发明某些实施方式的控制方法的流程示意图；
图14是本发明某些实施方式的控制装置的功能模块示意图；
图15是本发明某些实施方式的控制方法的图像合并的状态示意图；
图16是本发明某些实施方式的控制方法的流程示意图；
图17是本发明某些实施方式的选定模块的功能模块示意图；
图18是本发明某些实施方式的控制方法的流程示意图；
图19是本发明某些实施方式的第二处理模块的功能模块示意图；
图20是本发明某些实施方式的控制方法的状态示意图；
图21是本发明某些实施方式的控制方法的流程示意图；
图22是本发明某些实施方式的第二处理模块的功能模块示意图；
图23是本发明某些实施方式的控制方法的流程示意图；
图24是本发明某些实施方式的扩展单元的功能模块示意图；
图25是本发明某些实施方式的控制方法的状态示意图；
图26是本发明实施方式的电子装置的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。
请参阅图1至图2，本发明实施方式的控制方法，用于控制电子装置，所述电子装置包括成像装置和触摸屏，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制方法包括以下步骤：
S11：控制所述图像传感器输出同一场景的合并图像和色块图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；
S12：根据用户输入在所述合并图像上确定预定区域；
S13：利用第一插值算法将所述色块图像转换成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述色块图像包括与所述合并图像的预定区域对应的预定区域，所述将所述色块图像转换成所述仿原图像的步骤包括以下步骤：
S131：判断所述关联像素是否位于所述色块图像的预定区域内；
S133：在所述关联像素位于所述色块图像的预定区域内时判断所述当前像素的颜色与所述关联像素的颜色是否相同；
S135：在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
S137：在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述关联像素相邻；和
S139：将所述合并图像通过第二插值算法转换成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和
S14：合并所述仿原图像及所述还原图像以得到合并仿原图像。
请参阅图3，本发明实施方式的控制方法可以由控制装置10实现。
控制装置10用于控制电子装置100，所述电子装置包括成像装置20和触摸屏30，所述成像装置20包括图像传感器21，所述图像传感器21包括感光像素单元阵列212和设置在所述感光像素单元阵列212上的滤光片单元阵列211，每个所述滤光片单元212a覆盖对应一个所述感光像素单元212a，每个所述感光像素单元212a包括多个感光像素2121，控制装置10包括输出模块11、选定模块12、第一转换模块13、合并模块14。选定模块11用于根据用户输入在所述合并图像上确定预定区域；选定模块12用于根据用户输入在所述合并图像上确定预定区域；第一转换模块13用于利用第一插值算法将所述色块图像转换成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述色块图像包括与所述合并图像的预定区域对应的预定区域，第一转换模块13包括第一判断模块131、第二判断模块133、第一计算模块135、第二计算模块137、第三计算模块139，第一判断模块131用于判断所述关联像素是否位于所述色块图像的预定区域内；第二判断模块133用于在所述关联像素位于所述色块图像的预定区域内时判断所述当前像素的颜色与所述关联像素的颜色是否相同；第一计算模块135用于在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；第二计算模块137用于在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述关联像素相邻；第三计算模块139用于将所述合并图像通过第二插值算法转换成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；合并模块14用于合并所述仿原图像及所述还原图像以得到合并仿原图像。
也即是说，步骤S11可以由输出模块11实现；步骤S12可以由选定模块12实现；步骤S13可以由第一转换模块13实现；步骤S131可以由第一判断模块131实现；步骤S133可以由第二判断模块133实现；步骤S135可以由第一计算模块135实现；步骤S137可以由第二计算模块137实现；步骤S139可以由第三计算模块139实现；步骤S14可以由合并模块14实现。
可以理解，本发明实施方式的控制方法采用第一插值算法处理色块图像的预定区域内的图像，采用第二插值算法处理合并图像。其中，预定区域可由用户进行输入和选择。第二插值算法的复杂度包括时间复杂度和空间复杂度，相较于第一插值算法，第二插值算法的时间复杂度和空间复杂度均小于第一插值算法。如此，在实际拍摄中，图像传感器21分别输出色块图像和合并图像，并且仅对色块图像的用户指定区域内的图像采用复杂度较大的第一插值算法进行图像处理，可以有效减少图像处理的数据和所需时间，还能提高用户关注的主体部分即预定区域内的图像的解析度，提升了用户体验。
请一并参阅图4至7，本发明实施方式的图像传感器21包括感光像素单元阵列212和设置在感光像素单元阵列212上的滤光片单元阵列211。
进一步地，感光像素单元阵列212包括多个感光像素单元212a，每个感光像素单元212a包括多个相邻的感光像素2121。每个感光像素2121包括一个感光器件21211和一个传输管21212，其中，感光器件21211可以是光电二极管，传输管21212可以是MOS晶体管。
滤光片单元阵列211包括多个滤光片单元211a，每个滤光片单元211a覆盖对应一个感光像素单元212a。
具体地，在某些示例中，滤光片单元阵列211包括拜耳阵列，也即是说，相邻的四个滤光片单元211a分别为一个红色滤光片单元、一个蓝色滤光片单元和两个绿色滤光片单元。
每一个感光像素单元212a对应同一颜色的滤光片211a，若一个感光像素单元212a中一共包括n个相邻的感光器件21211，那么一个滤光片单元211a覆盖一个感光像素单元212a中的n个感光器件21211，该滤光片单元211a可以使一体构造，也可以由n个独立的子滤光片组装连接在一起。
在某些实施方式中，每个感光像素单元212a包括四个相邻的感光像素2121，相邻两个感光像素2121共同构成一个感光像素子单元2120，感光像素子单元2120还包括一个源极跟随器21213和一个模数转换器21214。感光像素单元212a还包括一个加法器2122。其中，一个感光像素子单元2120中的每个传输管21212的一端电极被连接到对应感光器件21211的阴极电极，每个传输管21212的另一端被共同连接至源极跟随器21213的闸极电极，并通过源极跟随器21213源极电极连接至一个模数转换器21214。其中，源极跟随器21213可以是MOS晶体管。两个感光像素子单元2120通过各自的源极跟随器21213及模数转换器21214连接至加法器2122。
也即是说，本发明实施方式的图像传感器21的一个感光像素单元212a中相邻的四个感光器件21211共用一个同颜色的滤光片单元211a，每个感光器件21211对应连接一个传输管21212，相邻两个感光器件21211共用一个源极跟随器21213和一个模数转换器21214，相邻四个感光器件21211共用一个加法器2122。
进一步地，相邻四个感光器件21211呈2*2阵列排布。其中，一个感光像素子单元2120中的两个感光器件21211可以处于同一列。
在成像时，当同一滤光片单元211a下覆盖的两个感光像素子单元2120或者说四个感光器件21211同时曝光时，可以对像素进行合并进而可输出合并图像。
具体地，感光器件21211用于将光照转换为电荷，且产生的电荷与光照强度成比例关系，传输管21212用于根据控制信号来控制电路的导通或断开。当电路导通时，源极跟随器21213用于将感光器件21211经光照产生的电荷信号转换为电压信号。模数转换器21214用于电压信号转换为数字信号。加法器2122用于将两路数字信号相加共同输出，以供与图像传感器21相连的图像处理模块处理。
请参阅图8，以16M的图像传感器21举例来说，本发明实施方式的图像传感器21可以将16M的感光像素合并成4M，或者说，输出合并图像，合并后，感光像素的大小相当于变成了原来大小的4倍，从而提升了感光像素的感光度。此外，由于图像传感器21中的噪声大部分都是随机噪声，对于合并之前的感光像素来说，有可能其中一个或两个像素中存在噪点，而在将四个感光像素合并成一个大的感光像素后，减小了噪点对该大像素的影响，也即是减弱了噪声，提高了信噪比。
但在感光像素大小变大的同时，由于像素值降低，合并图像的解析度也将降低。
在成像时，当同一滤光片单元211a覆盖的四个感光器件21211依次曝光时，经过图像处理可以输出色块图像。
具体地，感光器件21211用于将光照转换为电荷，且产生的电荷与光照的强度成比例关系，传输管21212用于根据控制信号来控制电路的导通或断开。当电路导通时，源极跟随器21213用于将感光器件21211经光照产生的电荷信号转换为电压信号。模数转换器21214用于将电压信号转换为数字信号以供与图像传感器21相连的图像处理模块处理。
请参阅图9，以16M的图像传感器21举例来说，本发明实施方式的图像传感器21还可以保持16M的感光像素输出，或者说输出色块图像，色块图像包括图像像素单元，图像像素单元包括2*2阵列排布的原始像素，该原始像素的大小与感光像素大小相同，然而由于覆盖相邻四个感光器件21211的滤光片单元211a为同一颜色，也即是说，虽然四个感光器件21211分别曝光，但其覆盖的滤光片单元211a颜色相同，因此，输出的每个图像像素单元的相邻四个原始像素颜色相同，仍然无法提高图像的解析度。
本发明实施方式的控制方法，用于对输出的色块图像进行处理，以得到仿原图像。
可以理解，合并图像在输出时，四个相邻的同色的感光像素以合并像素输出，如此，合并图像中的四个相邻的合并像素仍可看作是典型的拜耳阵列，可以直接被图像处理模块接收进行处理以输出真彩图像。而色块图像在输出时每个感光像素分别输出，由于相邻四个感光像素颜色相同，因此，一个图像像素单元的四个相邻原始像素的颜色相同，是非典型的拜耳阵列。而图像处理模块无法对非典型拜耳阵列直接进行处理，也即是说，在图像传感器21采用统一图像处理模式时，为兼容两种模式的真彩图像输出即合并模式下的真彩图像输出及色块模式下的真彩图像输出，需将色块图像转换为仿原图像，或者说将非典型拜耳阵列的图像像素单元转换为典型的拜耳阵列的像素排布。
仿原图像包括呈拜耳阵列排布的仿原像素。仿原像素包括当前像素，原始像素包括与当前像素对应的关联像素。
本发明实施方式的控制方法分别输出色块图像和合并图像。
对于一帧色块图像的预定区域内的图像，先将该色块图像的预定区域转换成拜耳图像阵列，再利用第一插值算法进行图像处理。具体地，请参阅图10，当前像素为R3’3’和R5’5’，对应的关联像素分别为R33和B55。
在获取当前像素R3’3’时，由于R3’3’与对应的关联像素R33的颜色相同，因此在转换时直接将R33的像素值作为R3’3’的像素值。
在获取当前像素R5’5’时，由于R5’5’与对应的关联像素B55的颜色不相同，显然不能直接将B55的像素值作为R5’5’的像素值，需要根据R5’5’的关联像素单元通过插值的方式计算得到。
需要说明的是，以上及下文中的像素值应当广义理解为该像素的颜色属性数值，例如色彩值。
关联像素单元包括多个，例如4个，颜色与当前像素相同且与当前像素相邻的图像像素单元中的原始像素。
需要说明的是，此处相邻应做广义理解，以图10为例，R5’5’对应的关联像素为B55，与B55所在的图像像素单元相邻的且与R5’5’颜色相同的关联像素单元所在的图像像素单元分别为R44、R74、R47、R77所在的图像像素单元，而并非在空间上距离B55所在的图像像素单元更远的其他的红色图像像素单元。其中，与B55在空间上距离最近的红色原始像素分别为R44、R74、R47和R77，也即是说，R5’5’的关联像素单元由R44、R74、R47和R77组成，R5’5’与R44、R74、R47和R77的颜色相同，关联像素单元R44、R74、R47和R77与R5’5’对应的B55相邻。
如此，针对不同情况的当前像素，采用不同方式的将原始像素转换为仿原像素，从而将色块图像转换为仿原图像，由于拍摄图像时，采用了特殊的拜耳阵列结构的滤光片，提高了图像信噪比，并且在图像处理过程中，通过第一插值算法对色块图像进行插值处理，提高了图像的分辨率及解析度。
请参阅图11，在某些实施方式中，步骤S137包括以下步骤：
S1371：计算所述关联像素各个方向上的渐变量；
S1372：计算所述关联像素各个方向上的权重；和
S1373：根据所述渐变量及所述权重计算所述当前像素的像素值。
请参阅图12，在某些实施方式中，第二计算模块137包括第一计算单元1371、第二计算单元1372和第三计算单元1373。第一计算单元1371用于计算所述关联像素各个方向上的渐变量；第二计算单元1372用于计算所述关联像素各个方向上的权重；第三计算单元1373用于根据所述渐变量及所述权重计算所述当前像素的像素值。
也即是说，步骤S1371可以由第一计算单元1371实现，步骤S1372可以由第二计算单元1372实现，步骤S1373可以由第三计算单元1373实现。
具体地，第一插值算法是参考图像在不同方向上的能量渐变，将与当前像素对应的颜色相同且相邻的关联像素单元依据在不同方向上的渐变权重大小，通过线性插值的方式计算得到当前像素的像素值。其中，在能量变化量较小的方向上，参考比重较大，因此，在插值计算时的权重较大。
在某些示例中，为方便计算，仅考虑水平和垂直方向。
R5’5’由R44、R74、R47和R77插值得到，而在水平和垂直方向上并不存在颜色相同的原始像素，因此需要根据关联像素单元计算在水平和垂直方向上该颜色的分量。其中，水平方向上的分量为R45和R75、垂直方向的分量为R54和R57可以分别通过R44、R74、R47和R77计算得到。
具体地，R45＝R44*2/3+R47*1/3，R75＝2/3*R74+1/3*R77，R54＝2/3*R44+1/3*R74，R57＝2/3*R47+1/3*R77。
然后，分别计算在水平和垂直方向的渐变量及权重，也即是说，根据该颜色在不同方向的渐变量，以确定在插值时不同方向的参考权重，在渐变量小的方向，权重较大，而在渐变量较大的方向，权重较小。其中，在水平方向的渐变量X1＝|R45-R75|，在垂直方向上的渐变量X2＝|R54-R57|，W1＝X1/(X1+X2)，W2＝X2/(X1+X2)。
如此，根据上述可计算得到，R5’5’＝(2/3*R45+1/3*R75)*W2+(2/3*R54+1/3*R57)*W1。可以理解，若X1大于X2，则W1大于W2，因此计算时水平方向的权重为W2，而垂直方向的权重为W1，反之亦反。
如此，可根据第一插值算法计算得到当前像素的像素值。依据上述对关联像素的处理方式，可将原始像素转换为呈典型拜耳阵列排布的仿原像素，也即是说，相邻的四个2*2阵列的仿原像素包括一个红色仿原像素，两个绿色仿原像素和一个蓝色仿原像素。
需要说明的是，第一差值算法包括但不限于本实施例中公开的在计算时仅考虑垂直和水平两个方向相同颜色的像素值的方式，例如还可以参考其他颜色的像素值。
请参阅图13，在某些实施方式中，在步骤S137前包括步骤：
S136a，对所述色块图像做白平衡补偿；
步骤S137后包括步骤：
S138a：对所述仿原图像做白平衡补偿还原。
请参阅图14，在某些实施方式中，第一转换模块13包括白平衡补偿模块136a和白平衡补偿还原模块138a。白平衡补偿模块136a用于对所述色块图像做白平衡补偿，白平衡补偿还原模块138a用于对所述仿原图像做白平衡补偿还原。
也即是说，步骤S136a可以由白平衡补偿模块136a实现，步骤S138a可以由白平衡补偿还原模块138a实现。
具体地，在一些示例中，在将色块图像转换为仿原图像的过程中，在插值时，红色和蓝色仿原像素往往不仅参考与其颜色相同的通道的原始像素的颜色，还会参考绿色通道的原始像素的颜色权重，因此，在插值前需要进行白平衡补偿，以在插值计算中排除白平衡的影响。为了不破坏色块图像的白平衡，因此，在插值之后需要将仿原图像进行白平衡补偿还原，还原时根据在补偿中红色、绿色及蓝色的增益值进行还原。
如此，可排除在插值过程中白平衡的影响，并且能够使得插值后得到的仿原图像保持色块图像的白平衡。
请再参阅图13，在某些实施方式中，步骤S137前包括步骤：
S136b：对色块图像做坏点补偿。
请再参阅图14，在某些实施方式中，第一转换模块13包括坏点补偿模块136b。
也即是说，步骤S136b可以由坏点补偿模块136b实现。
可以理解，受限于制造工艺，图像传感器21可能会存在坏点，坏点通常不随感光度变化而始终呈现同一颜色，坏点的存在将影响图像质量，因此，为保证插值的准确，不受坏点的影响，需要在插值前进行坏点补偿。
具体地，坏点补偿过程中，可以对原始像素进行检测，当检测到某一原始像素为坏点时，可根据其所在的图像像素单元的其他原始像的像素值进行坏点补偿。
如此，可排除坏点对插值处理的影响，提高图像质量。
请再参阅图13，在某些实施方式中，步骤S137前包括步骤：
S136c：对色块图像做串扰补偿。
请再参阅图14，在某些实施方式中，第一转换模块13包括串扰补偿模块136c。
也即是说，步骤S136c可以由串扰模块136c实现。
具体的，一个感光像素单元中的四个感光像素覆盖同一颜色的滤光片，而感光像素之间可能存在感光度的差异，以至于以仿原图像转换输出的真彩图像中的纯色区域会出现固定型谱噪声，影响图像的质量。因此，需要对色块图像进行串扰补偿。
请再参阅图13，在某些实施方式中，步骤S137后包括步骤：
S138b：对仿原图像进行镜片阴影校正、去马赛克、降噪和边缘锐化处理。
请再参阅图14，在某些实施方式中，第一转换模块13还包括第一处理模块138b。
也即是说，步骤S138b可以由第一处理模块138b实现。
可以理解，将色块图像转换为仿原图像后，仿原像素排布为典型的拜耳阵列，可采用第一处理模块138b进行处理，处理过程中包括镜片阴影校正、去马赛克、降噪和边缘锐化处理，如此，处理后即可得到真彩图像输出给用户。
对于一帧合并图像的预定区域外的图像，请参阅图8，以图8为例，由于合并图像为非典型的拜耳阵列，图像传感器21将16M的感光像素合并成4M直接输出，因此，为便于后续的色块图像与合并图像的合成，需要先利用第二插值算法将合并图像拉伸放大以转换成大小与色块图像相同的还原图像。请参阅图15，对色块图像的预定区域内图像利用第一插值算法处理成为仿原图像，对合并图像利用第二插值算法处理成为还原图像后，将两幅图像进行合成以得到合并仿原图像。合并仿原图像中预定区域内的图像具有较高的解析度。
请参阅图16，在某些实施方式中，步骤S12包括以下步骤：
S121：利用第三插值算法将所述合并图像转换成预览图像，所述第三插值算法包括所述第二插值算法；
S122：控制所述触摸屏显示所述预览图像；和
S123：处理所述触摸屏上的用户输入确定所述预定区域。
请参阅图17，在某些实施方式中，选定模块12包括第二转换模块121、显示模块122及第二处理模块123。第二转换模块121用于利用第三插值算法将所述合并图像转换成预览图像，所述第三插值算法包括所述第二插值算法，显示模块122用于控制所述触摸屏显示所述预览图像，第二处理模块123用于处理所述触摸屏上的用户输入确定所述预定区域。
也即是说，步骤S121可以由第二转换模块121实现，步骤S122可以由显示模块122实现，步骤S123可以由第二处理模块123实现。
可以理解，用户选择预定区域时，需要在预览图像中进行选取。第二转换模块121将合并图像转换成预览图像并由显示模块122显示。其中，合并图像转换成预览图像的过程采用第三插值算法进行计算。第三插值算法包括第二插值算法和双线性插值法。转换过程中，首先利用第二插值算法将合并图像转换成拜耳阵列的还原图像，再利用双线性插值法将仿原图像转换成真彩图像。如此，用户可进行预览，便于用户选取预定区域。
需要说明的是，还原图像转换成真彩图像的算法不限定于双线性插值法，也可采用其他插值算法进行计算。
请参阅图18，在某些实施方式中，步骤S123包括以下步骤：
S1231：将所述预览图像划分为阵列排布的扩展单元；
S1232：处理所述用户输入以识别触摸位置；
S1233：确定所述触摸位置所在的原点扩展单元，所述扩展单元包括所述原点扩展单元；
S1234：计算以所述原点扩展单元为中心向外依次扩展的每个所述扩展单元的反差值；
S1235：当所述反差值超过预定阈值时确定对应的所述扩展单元为边缘扩展单元，所述扩展单元包括所述边缘扩展单元；和
S1236：确定所述边缘扩展单元围成的区域为所述预定区域。
请参阅图19，在某些实施方式中，第二处理模块123包括划分单元1231、第一识别单元1232、定点单元1233、第四计算单元1234、第一处理单元1235、第二处理单元1236。划分单元1231用于将所述预览图像划分为阵列排布的扩展单元，第一识别单元1232用于识别所述用户输入以识别触摸位置，定点单元1233用于确定所述触摸位置所在的原点扩展单元，所述扩展单元包括所述原点扩展单元，第四计算单元1234用于计算以所述原点扩展单元为中心依次向外扩展的每个所述扩展单元的反差值，第一处理单元1235用于当所述反差值超过预定阈值时确定对应的所述扩展单元为边缘扩展单元，所述扩展单元包括所述边缘扩展单元，第二处理单元1236用于确定所述边缘扩展单元围成的区域为所述预定区域。
也即是说，步骤S1231可以由划分单元1231实现，步骤S1232可以由第一识别单元实现，步骤S1233可以由定点单元1233实现，步骤S1234可以由第四计算单元1234实现，步骤S1235可以由第一处理单元1235实现，步骤S1236可以由第二处理单元1236实现。
具体地，请参阅图20，以图20为例，黑色圆点为用户的触摸位置，以该触摸位置为原点扩展单元向外扩展，图中每个方框即为一个扩展单元。随后比较每个扩展单元的反差值与预设阈值的大小，反差值大于预设阈值的扩展单元即为边缘扩展单元。图19中所示人脸的边缘部分所在的扩展单元的反差值均大于预设阈值，也即是说，图中人脸边缘部分所在的扩展单元即为边缘扩展单元，图中灰色方框为边缘扩展单元。如此，将多个边缘扩展单元围成的区域作为预定区域，预定区域是由用户指定的处理区域即用户关注的主体部分，采用第一插值算法对该区域内的图像进行处理，提升用户关注的主体部分的图像的解析度，提升用户体验。
请参阅图21，在某些实施方式中，步骤S123包括以下步骤：
S127：处理所述用户输入以识别触摸位置；和
S128：以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域。
请参阅图22，在某些实施方式中，第二处理模块123包括第二识别单元1237和扩展单元1238。第二识别单元1237用于处理所述用户输入以识别触摸位置，扩展单元1238用于以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域。
也即是说，步骤S1237可以由第二识别单元1237实现，步骤S1238可以由扩展单元1238实现。
请参阅图23，在某些实施方式中，步骤S1238包括以下步骤：
S12381：处理所述用户输入以确定所述预定形状。
请参阅图24，在某些实施方式中，扩展单元1238包括第三处理单元12381，第三处理单元12381用于处理所述用户输入以确定所述预定形状。
也即是说，步骤S12381可以由第三处理单元12381实现。
具体地，请参阅图25，图中的黑色圆点为用户的触摸位置。以该触摸位置为中心，向外扩展圆形的区域以生成预定区域。图中所示以圆形扩展的预定区域包括了整个人脸部分，可以对人脸部分采用第一插值算法以提高人脸部分的解析度。
需要说明的是，在其它具体实施例中，扩展的预定形状还可以是矩形、方形或其他形状，用户可以根据实际所需对扩展的预定形状进行大小的调整以及拖动。此外，用户指定预定区域的方式还包括用户直接在触摸屏上勾画出一个任意形状作为预定区域，或者用户在触摸屏上选取几个点，这几个点连线后围成的区域作为预定区域后进行第一插值算法的图像处理。如此，便于用户自主选择关注的主体部分以提高主体部分的清晰度，从而进一步提升用户体验。
请参阅图26，本发明实施方式的电子装置100包括控制装置10、触摸屏30和成像装置20。
在某些实施方式中，电子装置100包括手机或平板电脑。
手机和平板电脑均带有摄像头即成像装置20，用户使用手机或平板电脑进行拍摄时，可以采用本发明实施方式的控制方法，以得到高解析度的图片。
需要说明的是，电子装置100也包括其他具有拍摄功能的电子设备。本发明实施方式的控制方法是电子装置100进行图像处理的指定处理模式之一。也即是说，用户利用电子装置100进行拍摄时，需要对电子装置100中包含的各种指定处理模式进行选择，当用户选择本发明实施方式的指定处理模式时，用户可以自主选择预定区域，电子装置100采用本发明实施方式的控制方法进行图像处理。
在某些实施方式中，所述成像装置20包括前置相机和后置相机。
可以理解，许多电子装置100包括前置相机和后置相机，前置相机和后置相机均可采用本发明实施方式的控制方法实现图像处理，以提升用户体验。
在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
上文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (27)

1.一种控制方法，用于控制电子装置，其特征在于，所述电子装置包括成像装置和触摸屏，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制方法包括以下步骤：
控制所述图像传感器输出同一场景的合并图像和色块图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；
根据用户输入在所述合并图像上确定预定区域；
利用第一插值算法将所述色块图像转换成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述色块图像包括与所述合并图像的预定区域对应的预定区域，所述将所述色块图像转换成所述仿原图像的步骤包括以下步骤：
判断所述关联像素是否位于所述色块图像的预定区域内；
在所述关联像素位于所述色块图像的预定区域内时判断所述当前像素的颜色与所述关联像素的颜色是否相同；
在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述关联像素相邻；和
将所述合并图像通过第二插值算法转换成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和
合并所述仿原图像及所述还原图像以得到合并仿原图像。
2.如权利要求1所述的控制方法，其特征在于，所述预定阵列包括拜耳阵列。
3.如权利要求1所述的控制方法，其特征在于，所述图像像素单元包括2*2阵列的所述原始像素。
4.如权利要求1所述的控制方法，其特征在于，所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤包括以下步骤：
计算所述关联像素各个方向上的渐变量；
计算所述关联像素各个方向上的权重；和
根据所述渐变量及所述权重计算所述当前像素的像素值。
5.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：
对所述色块图像做白平衡补偿；
所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括以下步骤：
对所述仿原图像做白平衡补偿还原。
6.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：
对所述色块图像做坏点补偿。
7.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：
对所述色块图像做串扰补偿。
8.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括如下步骤：
对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。
9.如权利要求1所述的控制方法，其特征在于，所述根据用户输入在所述合并图像上确定预定区域的步骤包括以下步骤：
利用第三插值算法将所述合并图像转换成预览图像，所述第三插值算法包括所述第二插值算法；
控制所述触摸屏显示所述预览图像；和
处理所述触摸屏上的用户输入确定所述预定区域。
10.如权利要求9所述的控制方法，其特征在于，所述处理所述触摸屏上的用户输入确定所述预定区域的步骤包括以下步骤：
将所述预览图像划分为阵列排布的扩展单元；
处理所述用户输入以识别触摸位置；
确定所述触摸位置所在的原点扩展单元，所述扩展单元包括所述原点扩展单元；
计算以所述原点扩展单元为中心向外依次扩展的每个所述扩展单元的反差值；
当所述反差值超过预定阈值时确定对应的所述扩展单元为边缘扩展单元，所述扩展单元包括所述边缘扩展单元；和
确定所述边缘扩展单元围成的区域为所述预定区域。
11.如权利要求9所述的控制方法，其特征在于，所述处理所述触摸屏上的用户输入确定所述预定区域的步骤包括以下步骤：
处理所述用户输入以识别触摸位置；和
以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域。
12.如权利要求11所述的控制方法，其特征在于，所述以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域的步骤包括以下步骤：
处理所述用户输入以确定所述预定形状。
13.一种控制装置，用于控制电子装置，其特征在于，所述电子装置包括成像装置和触摸屏，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制装置包括：
输出模块，所述输出模块用于控制所述图像传感器输出同一场景的合并图像和色块图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；
选定模块，所述选定模块用于根据用户输入在所述合并图像上确定预定区域；
第一转换模块，所述第一转换模块用于利用第一插值算法将所述色块图像转换成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述色块图像包括与所述合并图像的预定区域对应的预定区域，所述第一转换模块包括：
第一判断模块，所述第一判断模块用于判断所述关联像素是否位于所述色块图像的预定区域内；
第二判断模块，所述第二判断模块用于在所述关联像素位于所述色块图像的预定区域内时判断所述当前像素的颜色与所述关联像素的颜色是否相同；
第一计算模块，所述第一计算模块用于在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
第二计算模块，所述第二计算模块用于在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述关联像素相邻；和
第三计算模块，所述第三计算模块用于将所述合并图像通过第二插值算法转换成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和合并模块，所述合并模块用于合并所述仿原图像及所述还原图像以得到合并仿原图像。
14.如权利要求13所述的控制装置，其特征在于，所述预定阵列包括拜耳阵列。
15.如权利要求13所述的控制装置，其特征在于，所述图像像素单元包括2*2阵列的所述原始像素。
16.如权利要求13所述的控制装置，其特征在于，所述第二计算模块包括：
第一计算单元，所述第一计算单元用于计算所述关联像素各个方向上的渐变量；
第二计算单元，所述第二计算单元用于计算所述关联像素各个方向上的权重；和
第三计算单元，所述第三计算单元用于根据所述渐变量及所述权重计算所述当前像素的像素值。
17.如权利要求13所述的控制装置，其特征在于，所述第一转换模块包括：
白平衡补偿模块，所述白平衡补偿模块用于对所述色块图像做白平衡补偿；
白平衡补偿还原模块，所述白平衡补偿还原模块用于对所述仿原图像做白平衡补偿还原。
18.如权利要求13所述的控制装置，其特征在于，所述第一转换模块包括：
坏点补偿模块，所述坏点补偿模块用于对所述色块图像做坏点补偿。
19.如权利要求13所述的控制装置，其特征在于，所述第一转换模块包括：
串扰补偿模块，所述串扰补偿模快用于对所述色块图像做串扰补偿。
20.如权利要求13所述的控制装置，其特征在于，所述第一转换模块包括：
第一处理模块，所述第一处理模块用于对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。
21.如权利要求13所述的控制装置，其特征在于，所述选定模块包括：
第二转换模块，所述第二转换模块用于利用第三插值算法将所述合并图像转换成预览图像，所述第三插值算法包括所述第二插值算法；
显示模块，所述显示模块用于控制所述触摸屏显示所述预览图像；和
第二处理模块，所述第二处理模块用于处理所述触摸屏上的用户输入确定所述预定区域。
22.如权利要求21所述的控制装置，其特征在于，所述第二处理模块包括：
划分单元，所述划分单元用于将所述预览图像划分为阵列排布的扩展单元；
第一识别单元，所述第一识别单元用于处理所述用户输入以识别触摸位置；
定点单元，所述定点单元用于确定所述触摸位置所在的原点扩展单元，所述扩展单元包括所述原点扩展单元；
第四计算单元，所述第四计算单元用于计算以所述原点扩展单元为中心向外依次扩展的每个所述扩展单元的反差值；
第一处理单元，所述第一处理单元用于当所述反差值超过预定阈值时确定对应的所述扩展单元为边缘扩展单元，所述扩展单元包括所述边缘扩展单元；和
第二处理单元，所述第二处理单元用于确定所述边缘扩展单元围成的区域为所述预定区域。
23.如权利要求21所述的控制装置，其特征在于，所述第二处理模块包括：
第二识别单元，所述第二识别单元用于处理所述用户输入以识别触摸位置；和
扩展单元，所述扩展单元用于以所述触摸位置为中心向外扩展预定形状的区域作为所述预定区域。
24.如权利要求23所述的控制装置，其特征在于，所述扩展单元包括：
第三处理单元，所述第三处理单元用于处理所述用户输入以确定所述预定形状。
25.一种电子装置，其特征在于包括：
成像装置；
触摸屏；和
如权利要求13-24任意一项所述的控制装置。
26.如权利要求25所述的电子装置，其特征在于，所述电子装置包括手机或平板电脑。
27.如权利要求25所述的电子装置，其特征在于，所述成像装置包括前置相机和后置相机。
CN201611078974.7A 2016-11-29 2016-11-29 控制方法、控制装置和电子装置 Active CN106357967B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201611078974.7A CN106357967B (zh) 2016-11-29 2016-11-29 控制方法、控制装置和电子装置
PCT/CN2017/081724 WO2018098978A1 (zh) 2016-11-29 2017-04-24 控制方法、控制装置、电子装置和计算机可读存储介质
US15/807,024 US10277803B2 (en) 2016-11-29 2017-11-08 Control method and electronic apparatus
EP17204187.3A EP3327666B1 (en) 2016-11-29 2017-11-28 Control method and electronic apparatus
ES17204187T ES2731695T3 (es) 2016-11-29 2017-11-28 Método de control y aparato electrónico
US15/974,211 US10469736B2 (en) 2016-11-29 2018-05-08 Control method and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611078974.7A CN106357967B (zh) 2016-11-29 2016-11-29 控制方法、控制装置和电子装置

Publications (2)

Publication Number Publication Date
CN106357967A CN106357967A (zh) 2017-01-25
CN106357967B true CN106357967B (zh) 2018-01-19

Family

ID=57862867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611078974.7A Active CN106357967B (zh) 2016-11-29 2016-11-29 控制方法、控制装置和电子装置

Country Status (5)

Country Link
US (2) US10277803B2 (zh)
EP (1) EP3327666B1 (zh)
CN (1) CN106357967B (zh)
ES (1) ES2731695T3 (zh)
WO (1) WO2018098978A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357967B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106604001B (zh) 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106713790B (zh) * 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN107370917B (zh) * 2017-06-30 2020-01-10 Oppo广东移动通信有限公司 控制方法、电子装置和计算机可读存储介质
JP6840860B2 (ja) * 2017-10-23 2021-03-10 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备
CN111785220B (zh) * 2019-04-03 2022-02-08 名硕电脑(苏州)有限公司 显示器校正方法与系统
CN112785533B (zh) * 2019-11-07 2023-06-16 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、电子设备与存储介质
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578078A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN105611258A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002099749A2 (en) * 2001-06-06 2002-12-12 Koninklijke Philips Electronics N.V. Conversion unit and method and image processing apparatus
JP5012333B2 (ja) * 2007-08-30 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
JP5068158B2 (ja) * 2007-12-28 2012-11-07 イーストマン コダック カンパニー 撮像装置
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
CN101815157B (zh) 2009-02-24 2013-01-23 虹软(杭州)科技有限公司 图像及视频的放大方法与相关的图像处理装置
JP5644177B2 (ja) * 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
CN102547080B (zh) * 2010-12-31 2015-07-29 联想(北京)有限公司 摄像模组以及包含该摄像模组的信息处理设备
DE102011100350A1 (de) 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Bildsensor mit einstellbarer Auflösung
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014045689A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
CN104423946B (zh) * 2013-08-30 2018-02-27 联想(北京)有限公司 一种图像处理方法以及电子设备
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
CN104580910B (zh) 2015-01-09 2018-07-24 宇龙计算机通信科技(深圳)有限公司 基于前、后摄像头的图像合成方法及系统
US20170019615A1 (en) * 2015-07-13 2017-01-19 Asustek Computer Inc. Image processing method, non-transitory computer-readable storage medium and electrical device thereof
CN106713790B (zh) * 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578078A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN105611258A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置

Also Published As

Publication number Publication date
ES2731695T3 (es) 2019-11-18
EP3327666B1 (en) 2019-05-29
US20180152625A1 (en) 2018-05-31
US10469736B2 (en) 2019-11-05
EP3327666A1 (en) 2018-05-30
US20180255234A1 (en) 2018-09-06
US10277803B2 (en) 2019-04-30
WO2018098978A1 (zh) 2018-06-07
CN106357967A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106357967B (zh) 控制方法、控制装置和电子装置
CN106507019B (zh) 控制方法、控制装置、电子装置
CN106713790B (zh) 控制方法、控制装置及电子装置
CN106488203B (zh) 图像处理方法、图像处理装置、成像装置及电子装置
CN106604001B (zh) 图像处理方法、图像处理装置、成像装置及电子装置
CN106412592B (zh) 图像处理方法、图像处理装置、成像装置及电子装置
CN106454289B (zh) 控制方法、控制装置及电子装置
CN106454288B (zh) 控制方法、控制装置、成像装置及电子装置
CN106507068A (zh) 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106504218B (zh) 控制方法、控制装置及电子装置
CN106412407A (zh) 控制方法、控制装置及电子装置
US20030197793A1 (en) Imaging device
CN106791477B (zh) 图像处理方法、图像处理装置、成像装置及制造方法
CN106454054B (zh) 控制方法、控制装置及电子装置
CN110475066A (zh) 控制方法、成像装置和电子设备
CN106341670A (zh) 控制方法、控制装置及电子装置
CN106534822B (zh) 控制方法、控制装置及电子装置
US11546562B2 (en) Efficient and flexible color processor
CN106506984B (zh) 图像处理方法及装置、控制方法及装置、成像及电子装置
Getreuer Image demosaicking with contour stencils
CN102905077B (zh) 一种图像暗角亮度调节方法及装置
CN111050097B (zh) 红外线串扰补偿方法及其装置
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
KR101612315B1 (ko) 이미지 보간 방법
JP3711401B2 (ja) 撮像装置及びカラー撮像信号の処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Patentee before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CP01 Change in the name or title of a patent holder