CN108989713A - 影像处理方法、电子装置及非暂态电脑可读取记录媒体 - Google Patents

影像处理方法、电子装置及非暂态电脑可读取记录媒体 Download PDF

Info

Publication number
CN108989713A
CN108989713A CN201810558160.6A CN201810558160A CN108989713A CN 108989713 A CN108989713 A CN 108989713A CN 201810558160 A CN201810558160 A CN 201810558160A CN 108989713 A CN108989713 A CN 108989713A
Authority
CN
China
Prior art keywords
image
camera
moment
processing circuit
treatment method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810558160.6A
Other languages
English (en)
Inventor
俞文翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN108989713A publication Critical patent/CN108989713A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种影像处理方法包含：由摄影装置，于第一时刻捕捉第一影像；由电性连接于摄影装置的致动器，移动摄影装置的镜头；由摄影装置，于第一时刻后的第二时刻捕捉第二影像；由处理电路对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。因此，影像处理方法便可降低所捕捉的影像中的空间噪声、时间噪声和/或固定图像噪声。

Description

影像处理方法、电子装置及非暂态电脑可读取记录媒体
技术领域
本公开内容涉及一种电子装置及一种影像处理方法，且特别是涉及影像合成的电子装置及影像处理方法。
背景技术
近来，影像合成方法被广泛使用在各种应用当中以改善相机拍摄所得影像的品质。举例来说，高动态范围成像(High Dynamic Range Imaging，HDRI/HDR)可被应用以取得影像中的更多细节。
发明内容
本公开内容的一实施方式为一种影像处理方法。影像处理方法包含：由摄影装置，于第一时刻捕捉第一影像；由电性连接于摄影装置的致动器，移动摄影装置的镜头；由摄影装置，于第一时刻后的第二时刻捕捉第二影像；由处理电路对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。
在部分实施例中，影像处理方法还包含：由处理电路于第一时刻记录第一环境参数；由处理电路于第二时刻记录第二环境参数；以及由处理电路基于移动量、第一环境参数与第二环境参数对第一影像与第二影像执行影像合成。
在部分实施例中，影像处理方法还包含：由电性连接于摄影装置的致动器，于第一时刻启动光学防手震；以及由电性连接于摄影装置的致动器，于第二时刻启动光学防手震。
在部分实施例中，摄影装置的镜头于第一时刻与第二时刻之间的移动量小于或等于第一影像与第二影像的像素。
在部分实施例中，影像处理方法还包含：由处理电路，计算第一影像与第二影像的加权平均；以及由处理电路，基于第一影像的第一色阶分布与第二影像的第二色阶分布重新分配输出影像的色阶分布。
在部分实施例中第一影像和第二影像是以不同曝光时间长度捕捉。
在部分实施例中，影像处理方法还包含：由处理电路根据第一影像与第二影像执行内插以取得输出影像，其中输出影像的分辨率大于第一影像以及第二影像的分辨率。
在部分实施例中，固定图像噪声包含暗信号非均匀性噪声、光子响应非均匀性噪声或其结合。
本公开内容的另一实施方式为一种电子装置。电子装置包含处理电路、电性连接于处理电路的摄影装置、电性连接于摄影装置的致动器、电性连接处理电路的存储器，以及一或多程序。一或多程序存储于存储器中，并用以被处理电路所执行。一或多程序包括以下指令：控制摄影装置，于第一时刻捕捉第一影像；控制致动器，移动摄影装置的镜头；控制摄影装置，于第一时刻后的第二时刻捕捉第二影像；对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。
本公开内容的另一实施方式为一种非暂态电脑可读取记录媒体，用以存储包含多个指令的一或多个电脑程序，当执行指令时，将致使处理电路执行多个操作包含：控制摄影装置，于第一时刻捕捉第一影像；控制电性连接于摄影装置的致动器，移动摄影装置的镜头；控制摄影装置，于第一时刻后的第二时刻捕捉第二影像；对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。
综上所述，通过上述各个实施例的操作，一种影像处理方法是实现以降低所捕捉的影像中的空间噪声、时间噪声、及/或固定图像噪声。在部分实施例中，影像处理方法可更实现以增加所捕捉的影像中的动态范围，或增加影像的分辨率。光学防手震功能于操作过程中可启动以减少影像模糊。
附图说明
图1为根据本公开内容部分实施例所示出的电子装置的方框示意图。
图2为根据本公开内容部分实施例所示出的影像处理方法的流程图。
图3A为根据本公开内容部分实施例所示出的影像处理方法的操作示意图。
图3B为根据本公开内容部分实施例所示出的第一影像、第二影像、输出影像的色阶分布的示意图。
图4为根据本公开内容其他部分实施例所示出的影像处理方法的操作示意图。
其中，附图标记说明如下：
100 电子装置
110 处理电路
120 存储器
130 摄影装置
132 镜头
140 位置感测器
150 惯性测量单元感测器
160 致动器
900 影像处理方法
PR1 软件程序
S1-S4 操作
IMG1、IMG2、IMG3 影像
P1(1,1)-P1(2,2)，P2(1,1)-P2(2,2)，P3(1,1)-P3(2,2) 像素
FP1 特征点
L1、L2、L3 曲线
P1、P2、P3 点
具体实施方式
以下将以附图及详细叙述清楚说明本公开内容的构思，任何所属技术领域中技术人员在了解本公开内容的实施例后，当可由本公开内容所启示的技术，加以改变及修饰，其并不脱离本公开内容的构思与范围。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。
请参考图1。图1为根据本公开内容部分实施例所示出的电子装置100的方框示意图。电子装置100可用以按序捕捉多个多个影像，并基于捕捉的影像产生一输出影像以降低空间噪声(spatial noise)、时间噪声(temporal noise)及/或固定图像噪声(fixedpattern noise，FPN)。详细来说，多个多个模拟数字转换器(Analog-to-Digitalconverter，ADC)的信号放大器分别被设置于CMOS影像感测阵列的多个像素上。由于元件差异，各个垂直放大器的放大系数，或称放大增益并不完全一致，并导致影像感测器中的固定图像噪声。各种影像处理可根据按序捕捉的多个影像进行处理。在部分实施例中，输出影像的动态范围可借此相应增加。
举例来说，在部分实施例中，电子装置100可为一智能手机、平板电脑、一笔记本电脑或其他具有内建数字摄影装置的电子装置。在其他部分实施例中，电子装置100可应用于一虚拟现实(Virtual Reality，VR)/混合实境(Mixed Reality，MR)/增强现实(AugmentedReality，AR)系统当中。举例来说，电子装置100可由独立头戴式显示器(Head MountedDevice，HMD)或是VIVE头戴式显示器实现。具体来说，独立头戴式显示器可处理包含方位、旋转的位置数据处理、图像处理或其他数据运算等。
如图1所示，电子装置100包含处理电路110、存储器120、摄影装置(Camera)130、位置感测器140、惯性测量单元(Inertial Measurement Unit，IMU)感测器150，以及致动器160。一或多个软件程序PR1存储于存储器120中并用以被处理电路110执行，以执行各种影像处理。
在结构上，存储器120、摄影装置130、位置感测器140、惯性测量单元感测器150以及致动器160分别电性连接于处理电路110。
具体来说，致动器160连接于摄影装置130的镜头132，以根据自处理电路110接收的控制信号移动镜头132。因此，镜头132相对于摄影装置130的相对位置便可在操作的过程中改变。镜头132的位置的变化可由位置感测器140相应检测。在部分实施例中，位置感测器140可由一或多个霍尔元件(Hall Element)实作。通过控制致动器160调整镜头132的位置，摄影装置130所捕捉的影像便可在例如手震、头部晃动、交通工具振动中等各种运动状态下维持稳定。如此一来，便可通过处理电路110、惯性测量单元感测器150以及致动器160的协作实现光学防手震(Optical Image stabilization，OIS)。
在部分实施例中，处理电路110例如可用一或多处理器，例如中央处理器(centralprocessor)及/或微处理器(microprocessor)等处理器实现，但不以此为限。在部分实施例中，存储器120可包括一或多个存储器装置，其中，每一存储器装置或多个存储器装置的集合包括电脑可读取记录媒体。电脑可读取记录媒体可包括只读存储器、快闪存储器、软盘(软碟)、硬盘、光盘、U盘、磁带、可由网络存取的数据库、或熟悉此技艺者可轻易思及具有相同功能的电脑可读取记录媒体。
为了优选地理解本公开内容，电子装置100的详细操作将搭配图2中所示实施例进行说明。图2为根据本公开内容部分实施例所示出的影像处理方法900的流程图。值得注意的是，影像处理方法900可应用于相同或相似于图1中所示结构的电子装置100。为使叙述简单，以下将根据本公开内容部分实施例，以图1中的实施例为例进行对影像处理方法900的说明，然而本公开内容不以图1中的实施例的应用为限。
如图2所示，影像处理方法900包含操作S1、S2、S3以及操作S4。在操作S1中，处理电路110用以控制摄影装置130于第一时刻捕捉第一影像。在部分实施例中，于操作S1中，处理电路110亦可用以控制位置感测器140取得代表镜头132于第一时刻的位置的第一镜头位置。
具体来说，在部分实施例中，处理电路110可用以于第一时刻记录第一环境参数，以代表第一影像的环境状态。举例来说，第一环境参数可包含第一影像中的亮度参数、焦点位置参数、白平衡参数、色阶分布(histogram)、曝光时间长度参数或其任意组合。
在操作S2中，处理电路110用以控制致动器160移动摄影装置130的镜头132。具体来说，处理电路110可输出相应信号至致动器160的驱动电路，使得驱动电路驱动致动器160沿水平方向及/或垂直方向移动。即，移动量与移动方向两者皆可由处理电路110控制并决定。在部分实施例中，驱动电路可由光学防手震控制器实现，镜头132的位置可由位置感测器140读回以确保位置的准确度。
在操作S3中，处理电路110用以控制摄影装置130于第一时刻后的第二时刻捕捉第二影像。相似地，在部分实施例中，于操作S3中，处理电路110亦可用以控制位置感测器140取得代表镜头132于第二时刻的位置的第二镜头位置。在部分实施例中，处理电路110可用以于第二时刻记录第二环境参数，以代表第二影像的环境状态。与第一环境参数相似，第二环境参数亦可包含第二影像中的亮度参数、焦点位置参数、白平衡参数、色阶分布、曝光时间长度参数或其任意组合。在部分实施例中，第一影像和第二影像是以不同曝光时间长度捕捉。换言的，两个影像中的曝光值可相异。
具体来说，摄影装置130的镜头132于第一时刻与第二时刻之间的移动量可小于、等于或大于第一影像与第二影像的像素。举例来说，摄影装置130的镜头132于第一时刻与第二时刻之间的移动量可为0.5像素、1像素或3像素。值得注意的是，上述移动量仅为示例，并非用以限制本公开内容。
此外，在部分实施例中，于第一时刻与第二时刻之间，处理电路110可用以控制惯性测量单元感测器150以取得惯性测量单元信号。惯性测量单元信号代表电子装置100于第一时刻与第二时刻之间的运动。换言的，当摄影装置130于动态中捕捉第一影像与第二影像时，处理电路110仍可进行计算并控制致动器160的移动方向和移动量以取得具有所需相异视角的两张影像。
接着，在操作S4中，处理电路110用以对第一影像与第二影像执行影像合成，以基于摄影装置130的镜头132于第一时刻与第二时刻之间的移动量产生输出影像。具体来说，在操作S4中，处理电路110用以对第一影像与第二影像执行影像合成以去除固定图像噪声。接着，在影像合成后，处理电路110用以基于摄影装置130的镜头132于第一时刻与第二时刻之间的移动量产生输出影像。
具体来说，在部分实施例中，可基于移动量、第一环境参数与第二环境参数对第一影像与第二影像执行影像合成。在其他部分实施例中，由位置感测器140或惯性测量单元感测器150取得的动态感测器输出、垂直同步(Vertical Sync，Vsync)输出亦可于进行影像合成时纳入考虑。在其他部分实施例中，各种摄影模式可由使用者介由使用者接口进行设定及选择，在不同摄影模式中，可相应采用不同的移动量或移动设定。举例来说，当使用者于放大(Zoom-In)模式下拍摄照片时，可启动进行影像合成以降低噪声。
请参考图3A。图3A为根据本公开内容部分实施例所示出的影像处理方法900的操作示意图。如图3A所示，摄影装置130于第一时刻捕捉第一影像IMG1，并于第二时刻捕捉第二影像IMG2。处理电路110用以合成第一影像IMG1与第二影像IMG2以产生并输出一输出影像IMG3。
摄影装置130的镜头132于第一时刻与第二时刻之间的移动量在垂直方向上与水平方向上皆相当于第一影像与第二影像上的1像素。换言的，对应于第一影像IMG1中的第一像素P1(2,2)的特征点FP1，对应于第二影像IMG2中的第二像素P2(1,1)。
处理电路110可用以合成对应到同一个特征点FP1的第一影像IMG1和第二影像IMG2中的像素P1(2,2)与像素P2(1,1)。上述操作亦可实施于影像中的其他像素，故其细节不再于此赘述。借此因此，通过合成两张不同影像当中的像素，由于两张影像是于不同时间以不同视角拍摄，因此空间噪声与时间噪声便可被消除。
在部分实施例中，第一影像IMG1是以较长的曝光时间捕捉，因此具有较亮的曝光值。另一方面，第二影像IMG2是以较短的曝光时间捕捉，因此具有较暗的曝光值。如此一来，通过计算加权平均，并重新分布第一影像IMG1与第二影像IMG2的色阶分布，便可相较于第一影像IMG1与第二影像IMG2增加输出影像IMG3的动态范围。
请一并参考图3B。图3B为根据本公开内容部分实施例所示出的第一影像IMG1、第二影像IMG2、输出影像IMG3的色阶分布的示意图。在图3B中，曲线L1代表第一影像IMG1的色调分布，曲线L2代表第二影像IMG2的色调分布，曲线L3代表输出影像IMG1的色调分布。横轴为像素的色调，纵轴为该色调出现的百分比。
如图3B中所绘，通过移动影像，取得加权平均，并重新分布色阶分布，输出影像IMG3的动态范围可增加。举例来说，点P1为具有较高曝光值的第一影像IMG1中特征点FP1的色调值，点P2为具有较低曝光值的第二影像IMG2中特征点FP1的色调值，点P3为经过影像合成并对色阶分布进行压缩与位移后的输出影像IMG3中特征点FP1的色调值。
具体来说，在部分实施例中，在操作S4中，处理电路110用以计算第一影像IMG1与第二影像IMG2的加权平均，并基于第一影像IMG1的第一色阶分布与第二影像IMG2的第二色阶分布重新分配输出影像IMG3的色阶分布。在部分其他实施例中，处理电路110亦可用以执行各种计算以由单一摄影装置130实现并实现高动态范围成像(High Dynamic RangeImaging，HDRI/HDR)。
请参考图4。图4为根据本公开内容其他部分实施例所示出的影像处理方法900的操作示意图。如图4所示，与图3A中实施例相似，摄影装置130于第一时刻补捉第一影像IMG1，并于第二时刻补捉第二影像IMG2。处理电路110用以合成第一影像IMG1以及第二影像IMG2以产生并输出其输出影像IMG3。
与图3A所示实施例相比，在图4的实施例中，摄影装置130的镜头132于第一时刻与第二时刻之间的移动量在垂直方向上与水平方向上皆相当于第一影像与第二影像上的0.5像素。换言的，对应于第一影像IMG1中的像素P1(1,1)与对应于第二影像IMG2中的像素P2(1,1)之间具有依个重叠叠区域R1。
处理电路110可用以根据第一影像IMG1与第二影像IMG2执行内插以取得输出影像IMG3以实现超分辨率(super-resolution)影像处理。举例来说，第一影像IMG1中的像素P1(1,1)可合成为像素P3(1,1)，第二影像IMG2中的像素P2(1,1)可合成为像素P3(2,2)，像素P3(1,2)和像素P3(2,1)的数据可由像素P1(1,1)与像素P3(2,2)计算内插而得。上述操作亦可应用于影像中的其他像素，故其余细节不再于此赘述。
借此因此，通过应用超分辨率影像处理，输出影像IMG3的分辨率便可大于第一影像IMG1以及第二影像IMG2的分辨率。
此外，如先前实施例所描述，第一影像IMG1可以较长的曝光时间捕捉，第二影像IMG2可以较短的曝光时间捕捉以提高输出影像IMG3的动态范围并以单一摄影装置130实现并实现高动态范围成像。换言的，在图4所示的实施例中，空间－时间噪声去除处理、高动态范围成像处理以及超分辨率影像处理可由具有光学防手震能力的单一摄影装置130同步实现。降低噪声以及高动态范围成像的操作已于先前段落中具体说明，故其余细节不再于此赘述。
值得注意的是，在操作S1与S3中，处理电路110可用以控制致动器160于第一时刻与第二时刻启用光学防手震。如此一来，当拍摄影像时，光学防手震系统仍可继续工作以避免手晃所导致的影像模糊。
此外，虽然在上述实施例中，摄影装置130用以捕捉两个影像，本公开内容并不以此为限。在其他实施例中，三或多个影像可由摄影装置130于不同时刻和不同移动方向及/移动量捕捉，以根据依续捕捉的影像合成输出影像。通过合成影像，固定图像噪声例如暗信号非均匀性噪声(Dark Signal Non-Uniformity，DSNU)及光子响应非均匀性噪声(PhotoResponse Non-Uniformity，PRNU)可相应被降低并消除。
值得注意的是，在部分实施例中，影像处理方法900的上述操作可实作为一电脑程序。当电脑程序是被一电脑、一电子装置，或图1中处理电路110所执行，此执行装置执行影像处理方法900。电脑程序可被存储于一非暂态电脑可读取记录媒体，例如一只读存储器、一快闪存储器、一软盘、一硬盘、一光盘、一快闪碟、一U盘、一磁带、一可从网络读取的数据库，或任何本公开内容所属技术领域中具通常知识者所能想到具有相同功能的记录媒体。
另外，应了解到，在所提及的影像处理方法900的操作，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
再者，在本公开内容的不同实施例中，影像处理方法900中的这些操作亦可适应性地增加、置换及/或省略。
通过上述各个实施例的操作，一种影像处理方法是实现以降低所捕捉的影像中的空间噪声、时间噪声、及/或固定图像噪声。在部分实施例中，影像处理方法可更实现以增加所捕捉的影像中的动态范围，或增加影像的分辨率。光学防手震功能于操作过程中可启动以减少影像模糊。
虽然本公开内容已以实施方式公开如上，然其并非用以限定本公开内容，任何本领域技术人员，在不脱离本公开内容的构思和范围内，当可作各种变动与润饰，因此本公开内容的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种影像处理方法，其特征在于，包含：
由一摄影装置，于一第一时刻捕捉一第一影像；
由电性连接于该摄影装置的一致动器，移动该摄影装置的一镜头；
由该摄影装置，于该第一时刻后的一第二时刻捕捉一第二影像；
由一处理电路对该第一影像与该第二影像执行一影像合成以去除一固定图像噪声；以及
基于该摄影装置的该镜头于该第一时刻与该第二时刻之间的一移动量产生一输出影像。
2.如权利要求1所述的影像处理方法，其特征在于，还包含：
由该处理电路于该第一时刻记录一第一环境参数；
由该处理电路于该第二时刻记录一第二环境参数；以及
由该处理电路基于该移动量、该第一环境参数与该第二环境参数对该第一影像与该第二影像执行该影像合成。
3.如权利要求1所述的影像处理方法，其特征在于，还包含：
由电性连接于该摄影装置的该致动器，于该第一时刻启动光学防手震；以及
由电性连接于该摄影装置的该致动器，于该第二时刻启动光学防手震。
4.如权利要求1所述的影像处理方法，其特征在于，该摄影装置的该镜头于该第一时刻与该第二时刻之间的该移动量小于或等于该第一影像与该第二影像的一像素。
5.如权利要求1所述的影像处理方法，其特征在于，还包含：
由该处理电路，计算该第一影像与该第二影像的一加权平均；以及
由该处理电路，基于该第一影像的一第一色阶分布与该第二影像的一第二色阶分布重新分配该输出影像的一色阶分布。
6.如权利要求1所述的影像处理方法，其特征在于，该第一影像和该第二影像是以不同曝光时间长度捕捉。
7.如权利要求1所述的影像处理方法，其特征在于，还包含：
由该处理电路根据该第一影像与该第二影像执行内插以取得该输出影像，其中，该输出影像的分辨率大于该第一影像以及该第二影像的分辨率。
8.如权利要求1所述的影像处理方法，其特征在于，该固定图像噪声包含一暗信号非均匀性噪声、一光子响应非均匀性噪声或其结合。
9.一种电子装置，其特征在于，包含：
一处理电路；
一摄影装置，电性连接于该处理电路；
一致动器，电性连接于该摄影装置；
一存储器，电性连接该处理电路；以及
一或多程序，其中该一或多程序存储于该存储器中，并用以被该处理电路所执行，该一或多程序包括以下指令：
控制该摄影装置，于一第一时刻捕捉一第一影像；
控制该致动器，移动该摄影装置的一镜头；
控制该摄影装置，于该第一时刻后的一第二时刻捕捉一第二影像；
对该第一影像与该第二影像执行一影像合成以去除一固定图像噪声；以及
基于该摄影装置的该镜头于该第一时刻与该第二时刻之间的一移动量产生一输出影像。
10.一种非暂态电脑可读取记录媒体，其特征在于，该非暂态电脑可读取记录媒体用以存储包含多个指令的一或多个电脑程序，当执行所述指令时，将致使一处理电路执行多个操作包含：
控制一摄影装置，于一第一时刻捕捉一第一影像；
控制电性连接于该摄影装置的一致动器，移动该摄影装置的一镜头；
控制该摄影装置，于该第一时刻后的一第二时刻捕捉一第二影像；
对该第一影像与该第二影像执行一影像合成以去除一固定图像噪声；以及
基于该摄影装置的该镜头于该第一时刻与该第二时刻之间的一移动量产生一输出影像。
CN201810558160.6A 2017-06-02 2018-06-01 影像处理方法、电子装置及非暂态电脑可读取记录媒体 Pending CN108989713A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762514015P 2017-06-02 2017-06-02
US62/514,015 2017-06-02

Publications (1)

Publication Number Publication Date
CN108989713A true CN108989713A (zh) 2018-12-11

Family

ID=64460882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810558160.6A Pending CN108989713A (zh) 2017-06-02 2018-06-01 影像处理方法、电子装置及非暂态电脑可读取记录媒体

Country Status (3)

Country Link
US (1) US20180352154A1 (zh)
CN (1) CN108989713A (zh)
TW (1) TWI692965B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166705B (zh) * 2019-06-06 2021-04-23 Oppo广东移动通信有限公司 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质
US11611692B2 (en) 2020-11-09 2023-03-21 Rockwell Collins, Inc. Fixed pattern noise reduction and high spatial frequency filtering using vari-focus lenses in low contrast scenes
CN115103113B (zh) * 2022-06-14 2024-06-25 维沃移动通信有限公司 图像处理方法和电子设备
CN115396596B (zh) * 2022-08-15 2023-06-30 上海交通大学 一种超分辨率图像成像方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128636A1 (en) * 2007-11-19 2009-05-21 Sony Corporation Image pickup apparatus
CN102457682A (zh) * 2010-11-03 2012-05-16 索尼公司 采用多透镜和光圈单元的相机系统和成像方法
US20120274779A1 (en) * 2011-04-28 2012-11-01 Yukio Tanaka Image Capture Device, Method for Generating Image, Infrared Camera System, and Interchangeable Lens System
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置
CN103034982A (zh) * 2012-12-19 2013-04-10 南京大学 一种基于变焦视频序列的图像超分辨率重建方法
CN104125408A (zh) * 2013-04-28 2014-10-29 比亚迪股份有限公司 一种高动态范围图像处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119969B1 (ko) * 2004-11-09 2012-02-22 삼성전자주식회사 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법
JP4900401B2 (ja) * 2008-05-16 2012-03-21 カシオ計算機株式会社 撮影装置およびプログラム
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128636A1 (en) * 2007-11-19 2009-05-21 Sony Corporation Image pickup apparatus
CN102457682A (zh) * 2010-11-03 2012-05-16 索尼公司 采用多透镜和光圈单元的相机系统和成像方法
US20120274779A1 (en) * 2011-04-28 2012-11-01 Yukio Tanaka Image Capture Device, Method for Generating Image, Infrared Camera System, and Interchangeable Lens System
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置
CN103034982A (zh) * 2012-12-19 2013-04-10 南京大学 一种基于变焦视频序列的图像超分辨率重建方法
CN104125408A (zh) * 2013-04-28 2014-10-29 比亚迪股份有限公司 一种高动态范围图像处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李银辉: "序列图像超分辨率重建技术研究", 《中国优秀硕士论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
TW201904260A (zh) 2019-01-16
US20180352154A1 (en) 2018-12-06
TWI692965B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
EP3494693B1 (en) Combining images aligned to reference frame
JP7340624B2 (ja) 写真撮影装置における形状記憶合金モータの制御方法及び写真撮影装置
CN108989713A (zh) 影像处理方法、电子装置及非暂态电脑可读取记录媒体
US10359498B2 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
JP6652039B2 (ja) 撮像装置、撮像方法及びプログラム
US20080101710A1 (en) Image processing device and imaging device
WO2014074250A1 (en) Super-resolution based on optical image stabilization
WO2016008359A1 (zh) 物体运动轨迹图像的合成方法、装置及计算机存储介质
JP5159189B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR20100094397A (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
JPWO2011077659A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP5976315B2 (ja) 撮像装置
KR20160044945A (ko) 이미지 촬영 장치
JP2009272740A (ja) 撮像装置、画像選択方法及び画像選択プログラム
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
US9986163B2 (en) Digital photographing apparatus and digital photographing method
JP2010072813A (ja) 画像処理装置および画像処理プログラム
US9066011B2 (en) Image synthesizing apparatus that synthesizes multiple images to obtain moving image, control method therefor, and storage medium
JP2013074572A (ja) 画像処理装置、画像処理方法及びプログラム
US11622175B2 (en) Electronic apparatus and control method thereof
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
KR20180028961A (ko) 영상비교장치
JP7513081B2 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181211

WD01 Invention patent application deemed withdrawn after publication