CN107800953B - 图像获取装置及其缩放图像的方法 - Google Patents

图像获取装置及其缩放图像的方法 Download PDF

Info

Publication number
CN107800953B
CN107800953B CN201710058397.3A CN201710058397A CN107800953B CN 107800953 B CN107800953 B CN 107800953B CN 201710058397 A CN201710058397 A CN 201710058397A CN 107800953 B CN107800953 B CN 107800953B
Authority
CN
China
Prior art keywords
image
wide
angle
interest
telephoto
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710058397.3A
Other languages
English (en)
Other versions
CN107800953A (zh
Inventor
王煜智
魏守德
王耀笙
黄琪盈
陈正旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Semiconductor Corp
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Publication of CN107800953A publication Critical patent/CN107800953A/zh
Application granted granted Critical
Publication of CN107800953B publication Critical patent/CN107800953B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像获取装置及其缩放图像的方法。此方法利用广角镜头与望远镜头分别拍摄广角图像与望远图像，接着识别广角图像或望远图像中的兴趣目标。然后，接收缩放倍率以缩放广角图像或望远图像，并在缩放过程中调整用以获取广角图像与望远图像的兴趣窗口的获取范围，使得由兴趣窗口所获取的广角图像的中心朝向所述兴趣目标移动，且当缩放倍率到达望远镜头的放大倍率时，该兴趣目标在兴趣窗口所获取的广角图像与望远图像中的位置等同。藉此，可减少图像中主体目标跳动所造成的不连续感觉。

Description

图像获取装置及其缩放图像的方法
技术领域
本发明是涉及一种图像获取装置及图像处理方法，特别是涉及一种图像获取装置及其缩放图像的方法。
背景技术
随着图像获取技术的日益进步，数字相机的像素大幅增加，但相机尺寸则相对缩小，而可配置在手机、平板电脑等可携式电子装置上，让使用者能够随时随地拍摄图像。为了在手机、平板电脑上实现相机变焦功能，市面上许多产品会同时配备具不同可视范围(Field of View，FOV)的广角镜头及望远镜头。如图1所示的广角镜头12及望远镜头14，其中广角镜头12的放大倍率为Zwide，其具有较大的可视范围及较短的焦距；望远镜头14的放大倍率为Ztele，其具有较小的可视范围及较长的焦距。通过这两个镜头的搭配，可提供类似光学变焦的功能，让使用者能够自由调整缩放倍率(zoom factor)，观看不同倍率的缩放图像。
上述的缩放图像是电子装置针对双镜头所获取的图像实施裁切、对位、融合等处理所得到的结果，其可能是从广角镜头拍摄的广角图像、望远镜头拍摄的望远图像或以上两者所获得。具体来说，根据输入的缩放倍率，电子装置例如会从广角图像或望远图像中获取部分图像来放大，而提供符合此缩放倍率的图像。或者，电子装置会将两张图像融合以产生合成图像，其中是以望远图像做为合成图像的中央部分，而以广角图像作为合成图像的周围部分，藉此合成的图像将会近似于光学变焦后的图像。
在许多情况下，电子装置仅执行数字变焦来获得缩放图像，也就是缩放图像是从广角图像或望远图像中裁切一部分放大而成。具体来说，图2是现有双镜头装置缩放图像的示意图。请参照图1，现有双镜头装置会利用广角镜头、望远镜头分别获取广角图像22及望远图像24，并根据使用者输入的缩放倍率ZF，从广角图像22或望远图像24中获取缩放图像。其中，若使用者输入的缩放倍率ZF介于望远镜头的放大倍率Ztele与广角镜头的放大倍率Zwide之间，双镜头装置会使用广角图像22来产生缩放图像，即根据缩放倍率ZF的大小获取广角图像22中央部分的图像22a并放大为缩放图像22b；而若使用者输入的缩放倍率ZF高于或等于望远镜头的放大倍率Ztele，双镜头装置则会使用望远图像24来产生缩放图像，即根据缩放倍率ZF的大小获取望远图像24中央部分的图像24a并放大为缩放图像24b。其中，当使用者输入的缩放倍率ZF由低于放大倍率Ztele增加至高于放大倍率Ztele，则在缩放倍率ZF恰等于放大倍率Ztele的当下，双镜头装置获取缩放图像的对象会由广角图像22转换至望远图像24。
然而，当双镜头装置要在广角图像与望远图像之间转换时，因为广角镜头与望远镜头的视角不同，使用者常会看到不连续的图像变化。
具体来说，图3是图1中广角镜头与望远镜头的视角差异的示意图。请参照图3，由于广角镜头12与望远镜头14之间会有间隔(长度为d)，两个镜头获取的图像会有些许差异。例如，广角图像12a中的像素点B’会对应到望远图像14a中的像素点A’’、B’’，这是因为在广角图像12a的视角中，目标A会被目标B遮蔽，因此在广角图像12a中只会看到像素点B’。
图4是现有双镜头装置缩放图像的示意图。请参照图4，当使用者输入的缩放倍率是介于广角镜头的放大倍率Zwide与望远镜头的放大倍率Ztele之间时，电子装置会直接获取广角图像42中央部分的图像42a，并放大为缩放图像42b；而当使用者输入的缩放倍率等于望远镜头的放大倍率Ztele时，电子装置则会将所显示的缩放图像由广角图像22中央部分的图像42a的放大图像42b切换为望远图像44。比较放大图像42b和望远图像44可知，其中兴趣目标C的位置具有偏移，此偏移将造成电子装置在从放大图像42b切换至望远图像44时，使用者会看到兴趣目标C突然跳动到另一个位置，从而影响到使用者的观感。
发明内容
本发明提供一种图像获取装置及其缩放图像的方法，可减少图像切换过程中不连续的图像变化。
本发明实施例提供的一种图像获取装置缩放图像的方法，适用于具有广角镜头与望远镜头的图像获取装置。此方法利用广角镜头与望远镜头分别拍摄广角图像与望远图像，接着识别广角图像与望远图像中的一兴趣目标。然后，接收缩放倍率以缩放广角图像或望远图像，并在缩放过程中调整用以获取广角图像的兴趣窗口(Window of Interest，WOI)的获取范围，使得由兴趣窗口所获取的广角图像的中心朝向所述兴趣目标移动，且当缩放倍率到达望远镜头的放大倍率时，所述兴趣目标在兴趣窗口所获取的广角图像与望远图像中的位置等同。
进一步的，所述在缩放过程中调整用以获取广角图像与望远图像的兴趣窗口的获取范围，使得由兴趣窗口所获取的广角图像的中心朝向兴趣目标移动的步骤包括获取广角图像及望远图像中的兴趣目标的至少一个特征点及其对应的至少一个匹配点，然后利用所述特征点及匹配点，计算望远图像的中心在广角图像中对应的虚拟中心，而根据广角图像的中心、望远图像的虚拟中心及缩放倍率，计算广角图像的中心与虚拟中心之间的多个中间点，作为缩放过程中用以获取缩放图像的兴趣窗口的中心，最后则根据兴趣窗口的中心及缩放倍率，利用兴趣窗口从广角图像及望远图像中获取缩放图像。
在本发明的一实施例中，所述获取广角图像及望远图像中的兴趣目标的特征点及其对应的匹配点的步骤包括获取广角图像中兴趣目标的特征点，并搜寻望远图像中对应于所述特征点的匹配点。
在本发明的一实施例中，所述利用特征点及匹配点，计算望远图像的中心在广角图像中对应的虚拟中心的步骤包括计算由望远图像中各个匹配点至望远图像的中心的向量，将向量乘以广角镜头与望远镜头的放大倍率的比值，以获得转换向量，以及由广角镜头中对应于此匹配点的特征点加上转换向量，推算望远图像的中心在广角图像中对应的虚拟中心。
在本发明的一实施例中，所述获取广角图像及望远图像中的兴趣目标的特征点及其对应的匹配点的步骤包括获取望远图像中兴趣目标的特征点，并搜寻广角图像中对应于所述特征点的匹配点。
在本发明的一实施例中，所述利用特征点及匹配点，计算望远图像的中心在广角图像中对应的虚拟中心的步骤包括计算由望远图像中各个特征点至望远图像的中心的向量，将此向量乘以广角镜头与望远镜头的放大倍率的比值，以获得转换向量，以及由广角镜头中对应于所述特征点的匹配点加上转换向量，推算望远图像的中心在广角图像中对应的虚拟中心。
在本发明的一实施例中，所述根据广角图像的中心、望远图像的虚拟中心及缩放倍率，计算广角图像的中心与虚拟中心之间的中间点，作为缩放过程中用以获取缩放图像的兴趣窗口的中心的步骤包括根据缩放倍率与广角镜头及望远镜头的放大倍率之间的比例关系，在广角图像的中心与虚拟中心之间内插中间点。
在本发明的一实施例中，所述方法还包括将广角图像的尺寸乘上广角镜头的放大倍率与缩放过程中各个兴趣窗口对应的缩放倍率的比值，以获得兴趣窗口的尺寸。
在本发明的一实施例中，所述根据兴趣窗口的中心及缩放倍率，利用兴趣窗口从广角图像及望远图像中获取缩放图像的步骤还包括判断广角图像与望远图像中的场景是否有变化，其中若有发生变化，则根据当前使用的兴趣窗口的中心、望远图像的虚拟中心及缩放倍率，计算兴趣窗口的中心与虚拟中心之间的中间点，作为后续缩放过程中用以获取缩放图像的兴趣窗口的中心。
本发明提供一种图像获取装置，包括广角镜头、望远镜头及图像处理电路。其中，广角镜头用以获取广角图像，望远镜头用以获取望远图像。图像处理电路耦接广角镜头与望远镜头，用以处理广角图像与望远图像以产生缩放图像，其中包括兴趣目标识别模块及图像缩放模块。兴趣目标识别模块是用以识别广角图像或望远图像中的兴趣目标。图像缩放模块是用以接收缩放倍率以缩放广角图像或望远图像，并在缩放过程中调整用以获取广角图像的兴趣窗口的获取范围，使得由兴趣窗口所获取的广角图像的中心朝向兴趣目标移动，且当缩放倍率到达望远镜头的放大倍率时，兴趣目标在兴趣窗口所获取的广角图像与望远图像中的位置等同。
在本发明的一实施例中，所述的兴趣目标识别模块包括获取广角图像及望远图像中的兴趣目标的至少一个特征点及其对应的至少一个匹配点，而所述的缩放图像获取模块包括利用所述特征点及匹配点，计算望远图像的中心在广角图像中对应的虚拟中心，并根据广角图像的中心、望远图像的虚拟中心及缩放倍率，计算广角图像的中心与虚拟中心之间的多个中间点，作为缩放过程中用以获取缩放图像的兴趣窗口的中心，以及根据兴趣窗口的中心及缩放倍率，利用兴趣窗口从广角图像中获取缩放图像。
在本发明的一实施例中，所述的兴趣目标识别模块包括获取广角图像中兴趣目标的特征点，并搜寻望远图像中对应于这些特征点的匹配点。
在本发明的一实施例中，所述的缩放图像获取模块包括计算由望远图像中各个匹配点至望远图像的中心的向量，将此向量乘以广角镜头与望远镜头的放大倍率的比值，以获得转换向量，以及由广角镜头中对应于匹配点的特征点加上转换向量，推算望远图像的中心在广角图像中对应的虚拟中心。
在本发明的一实施例中，所述的兴趣目标识别模块包括获取望远图像中兴趣目标的特征点，并搜寻广角图像中对应于这些特征点的匹配点。
在本发明的一实施例中，所述的缩放图像获取模块包括计算由望远图像中各个特征点至望远图像的中心的向量，将此向量乘以广角镜头与望远镜头的放大倍率的比值，以获得转换向量，以及由广角镜头中对应于特征点的匹配点加上转换向量，推算望远图像的中心在广角图像中对应的虚拟中心。
在本发明的一实施例中，所述的缩放图像获取模块包括根据缩放倍率与广角镜头及望远镜头的放大倍率之间的比例关系，在广角图像的中心与所述虚拟中心之间内插中间点。
在本发明的一实施例中，所述的缩放图像获取模块还将广角图像的尺寸乘上广角镜头的放大倍率与缩放过程中各个兴趣窗口对应的缩放倍率的比值，以获得兴趣窗口的尺寸。
在本发明的一实施例中，所述的图像处理电路还包括场景判断模块，其是用以判断广角图像与望远图像中的场景是否有变化，其中若有发生变化，由缩放图像获取模块根据当前使用的兴趣窗口的中心、望远图像的虚拟中心及缩放倍率，计算兴趣窗口的中心与虚拟中心之间的中间点，作为后续缩放过程中用以获取缩放图像的兴趣窗口的中心。
基于上述，本发明的图像获取装置及其缩放图像的方法，通过找出广角或望远图像中的兴趣目标，并以此兴趣目标作为中心定义缩放过程中用以获取缩放图像的兴趣窗口。通过兴趣窗口在缩放过程中将缩放图像的中心逐渐转移到兴趣目标上，使得图像获取装置在从广角图像切换至望远图像时，图像中的兴趣目标位于相同位置。藉此，可减少图像中主体目标跳动所造成的不连续感觉。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1是现有广角镜头及望远镜头的可视范围的示意图；
图2是现有双镜头装置缩放图像的示意图；
图3是图1中广角镜头与望远镜头的视角差异的示意图；
图4是现有双镜头装置缩放图像的示意图；
图5是依照本发明一实施例所示出的图像获取装置缩放图像的方法的示意图；
图6是依照本发明一实施例所示出的图像获取装置的方块图；
图7是依照本发明一实施例所示出的图像获取装置缩放图像的方法流程图；
图8是依照本发明一实施例所示出的图像获取装置缩放图像的方法流程图；
图9A至图9D是依照本发明一实施例所示出的定义兴趣窗口的示意图；
图10是依照本发明一实施例所示出的定义兴趣窗口的示意图。
附图标记说明：
12、62：广角镜头；
14、64：望远镜头；
22、42、52、92：广角图像；
24、44、54、94：望远图像；
22a、24a、42a：中央部分的图像；
22b、24b、42b、52b：缩放图像；
52a：兴趣窗口；
60：图像获取装置；
66：图像处理电路；
662：兴趣目标识别模块；
664：缩放图像获取模块；
ZF、Zcurrent：缩放倍率；
A、B：目标；
A’、B’、B’’：像素点；
C、D、E、E’：兴趣目标；
H：广角图像的高；
Hwoi：兴趣窗口的高；
W：广角图像的宽；
Wwoi：兴趣窗口的宽；
pt：匹配点t的位置；
pw：特征点w的位置；
ct：望远图像中心；
cw：广角图像中心；
ct_vrt、ct_vrt1、ct_vrt2：虚拟中心；
ccurrent：中间点；
cprevious：目前缩放的兴趣窗口的中心；
t：匹配点；
w：特征点；
vt：向量；
vt_vrt：转换向量；
Zwide：广角镜头的放大倍率；
Ztele：望远镜头的放大倍率；
S702～S706：本发明一实施例的图像获取装置缩放图像的方法的步骤；
S802～S810：本发明一实施例的图像获取装置缩放图像的方法的步骤。
具体实施方式
相对于现有图像获取装置在缩放图像时是获取广角图像中央部分来放大的做法，本发明是基于广角图像或望远图像中的兴趣目标(object of interest)的位置来选择获取部分并进行放大。具体来说，本发明会识别广角图像及望远图像中的兴趣目标，并根据此兴趣目标在广角图像与望远图像中的对应位置定义一个用以获取缩放图像的兴趣窗口(window of interest，WOI)，进而获取此兴趣窗口内的图像来放大作为缩放图像。本发明更进一步监测缩放过程中的场景变化，并在检测到场景变化时，重新计算上述兴趣窗口的位置，并以最近一次使用的兴趣窗口的位置作为起点重新计算后续缩放过程中兴趣窗口的位置。藉此，可在图像缩放过程中，将所获取缩放图像的中心逐渐由广角图像的中心转移至兴趣目标上，从而减少图像中主体目标跳动所造成的不连续。
图5是依照本发明一实施例所示出的图像获取装置缩放图像的方法的示意图。请参照图5，本实施例示出图像获取装置在缩放图像时由广角图像52切换至望远图像54的过程。其中，图像获取装置例如会识别广角图像52与望远图像54中的兴趣目标D，而根据兴趣目标D在广角图像52的位置决定兴趣窗口52a。在本实施例中，兴趣窗口52a是以兴趣目标D在广角图像52中的位置作为中心。而在其他实施例中，兴趣窗口52a的位置也可参考兴趣目标D在望远图像54中的位置来决定。兴趣窗口52a的尺寸是根据使用者输入的缩放倍率来决定，而兴趣窗口52a内的图像将被放大为缩放图像52b。通过兴趣窗口52a调整放大区域，当缩放倍率等于望远镜头的放大倍率Ztele时，由兴趣窗口52a内图像放大的缩放图像52b中的兴趣目标D将会与望远图像54中的兴趣目标D位于同一位置。通过在缩放过程中将使用者关注的兴趣目标D调整到同一位置，可在图像获取装置切换图像时，减少使用者因兴趣目标D位置跳动所产生的图像不连续的观感。
图6是依照本发明一实施例所示出的图像获取装置的方块图。请参照图1，本实施例的图像获取装置60例如是数字相机、数字摄影机(Digital Video Camcorder，DVC)，或是手机、平板电脑等可携式电子装置，其可提供摄像功能。图像获取装置60中包括广角镜头62、望远镜头64与图像处理电路66，其功能分述如下：
广角镜头62与望远镜头64分别包括光学镜头、致动器、光圈、快门及图像传感器等元件。其中，光学镜头是由数个凹凸透镜组合而成，其是由步进马达或音圈马达(VoiceCoil Motor，VCM)等致动器驱动以改变透镜之间的相对位置，从而改变焦距。光圈是由许多金属叶片构成的圈状开孔，此开孔会随着光圈值的大小而开大或缩小，进而控制光学镜头的进光量。快门是用以控制光进入光学镜头的时间长短，其与光圈的组合会影响图像传感器所获取图像的曝光量。图像传感器中配置有电荷耦合元件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他种类的感光元件，而可感测进入光学镜头的光线强度以产生图像。在本实施例中，广角镜头62具有较大的放大倍率与可视范围(Field of View，FOV)以及较短的焦距，望远镜头64具有较小的放大倍率与可视范围以及较长的焦距。
图像处理电路66中包括兴趣目标识别模块662及缩放图像获取模块664。在一实施例中，上述图像处理电路66中的各个模块例如是以集成电路集成电路(IntegrateCircuit，IC)实作，而可实现本发明实施例所述的图像缩放方法。在另一实施例中，上述的图像处理电路66例如包括存储装置及处理器，其中存储装置例如是具有数据存储功能的硬盘或存储器，而处理器则例如是中央处理单元(Central Processing Unit，CPU)、微处理器(Microprocessor)、数字信号处理器、可程序化控制器、特殊应用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable LogicDevice，PLD)或其他具有数据运算功能的装置。上述图像处理电路66中的各个模块例如是存储在存储装置中的电脑程序，这些程序可经由处理器载入，而执行本发明实施例所述的图像缩放方法。
具体来说，图7是依照本发明一实施例所示出的图像获取装置缩放图像的方法流程图。请同时参照图6及图7，本实施例的方法适用于上述图6的图像获取装置60，以下即搭配图6中图像获取装置60的各项元件，说明本实施例的图像缩放方法的详细步骤：
首先，利用广角镜头62与望远镜头64分别拍摄广角图像与望远图像(步骤S702)。其中，图像获取装置60例如是在使用者按下快门键后，即同时触发广角镜头62与望远镜头64拍摄图像。
接着，兴趣目标识别模块662识别广角图像及望远图像中的一兴趣目标(步骤S704)。其中，兴趣目标识别模块662例如会根据广角镜头62与望远镜头64的对焦位置，或是广角图像与望远图像中的人像或移动目标，来识别兴趣目标。
然后，缩放图像获取模块664会接收缩放倍率以缩放广角图像或望远图像，并在缩放过程中调整用以获取广角图像与望远图像的兴趣窗口(Window of Interest，WOI)的获取范围，使得由兴趣窗口所获取的广角图像的中心朝向兴趣目标移动，且当缩放倍率到达望远镜头的放大倍率时，兴趣目标在兴趣窗口所获取的广角图像与所述望远图像中的位置等同(步骤S706)。其中，缩放图像获取模块664可依据兴趣目标在望远图像中的位置，移动用以获取广角图像的兴趣窗口的获取范围，使得所获取的广角图像逐渐朝向兴趣目标移动。最终，当缩放至望远镜头的放大倍率时，兴趣目标在兴趣窗口所获取的广角图像与所述望远图像中的位置将会是等同的。例如图5中，由兴趣窗口52a内图像放大的缩放图像52b中的兴趣目标D将会与望远图像54中的兴趣目标D位于同一位置。
在缩放过程中，由缩放图像获取模块668获取的图像会依序显示在图像获取装置60的显示器(未示出)上，以供使用者观看图像缩放的过程。其中，由于图像获取装置60显示的图像在缩放过程中会逐渐移往兴趣目标，即便使用者所要缩放的倍率高过望远镜头64的放大倍率，使得图像获取装置60必须从广角图像切换为望远图像以继续进行图像缩放，由于在缩放倍率等于望远镜头64的放大倍率的当下，从广角图像中获取的缩放图像的可视范围已移到兴趣目标上，而与望远图像中的兴趣目标的位置重叠，故使用者在图像切换过程中将不会察觉到兴趣目标有明显变化。
藉此，由于使用者所关注的兴趣目标在切换前后的位置及大小并未明显变化，因此可减少使用者对于图像切换所造成的图像不连续的观感。
需说明的是，上述实施例的方法适用于缩放倍率由小至大、缩放图像会由广角图像切换至望远图像的情况，也适用于缩放倍率由大至小、缩放图像会由望远图像切换至广角图像的情况。也就是说，无论预设倍率与所接收缩放倍率是大是小，本实施例的方法均能够通过将兴趣窗口所获取的广角图像的中心朝向兴趣目标移动，使得在缩放至望远镜头的放大倍率的当下，由广角图像获取的缩放图像中的兴趣目标，将与由望远图像获取的缩放图像中的兴趣目标的位置等同。藉此，使用者在图像切换过程中将不会察觉到兴趣目标有明显变化。
举例来说，对于缩放倍率由小至大、缩放图像由广角图像切换至望远图像的情况，图8是依照本发明一实施例所示出的图像获取装置缩放图像的方法流程图。请同时参照图6及图8，本实施例的方法适用于上述图6的图像获取装置60，以下即搭配图6中图像获取装置60的各项元件，说明本实施例的图像缩放方法的详细步骤：
首先，利用广角镜头62与望远镜头64分别拍摄广角图像与望远图像(步骤S802)。其中，图像获取装置60例如是在使用者按下快门键后，即同时触发广角镜头62与望远镜头64拍摄图像。
接着，兴趣目标识别模块662识别广角图像及望远图像中的一兴趣目标，获取广角图像及望远图像中的兴趣目标的特征点及其对应的匹配点(步骤S804)。在一实施例中，兴趣目标识别模块662可获取广角图像中兴趣目标的特征点，并搜寻望远图像中对应于所述特征点的匹配点。而在另一实施例中，兴趣目标识别模块662则可获取望远图像中兴趣目标的特征点，并搜寻广角图像中对应于所述特征点的匹配点。其中，兴趣目标识别模块662所获取的特征点可以是兴趣目标的一或多个特征点，本实施例并不设限。
接着，缩放图像获取模块664利用兴趣目标识别模块662所获取的特征点及匹配点，计算望远图像的中心在广角图像中对应的虚拟中心(步骤S806)。具体来说，缩放图像获取模块664例如会先计算由望远图像中的匹配点至望远图像中心的向量，然后将此向量乘以广角镜头与望远镜头的放大倍率的比值，以获得转换向量，最后再将广角镜头中对应于匹配点的特征点加上此转换向量，从而推算出望远图像中心在广角图像中对应的虚拟中心。
之后，缩放图像获取模块664即根据广角图像中心、望远图像的虚拟中心及缩放倍率，计算广角图像中心与虚拟中心之间的多个中间点，作为缩放过程中用以获取缩放图像的多个兴趣窗口的中心(步骤S808)。具体来说，缩放图像获取模块664例如是根据缩放倍率与广角镜头及望远镜头的放大倍率之间的比例关系，在广角图像中心与虚拟中心之间内插多个中间点，以作为多个兴趣窗口的中心。缩放图像获取模块664还将广角图像的尺寸乘上广角镜头62的放大倍率与缩放过程中兴趣窗口对应的缩放倍率的比值，以获得兴趣窗口的尺寸。
最后，缩放图像获取模块664即根据其所计算的兴趣窗口的中心及缩放倍率，利用兴趣窗口从广角图像及望远图像中获取缩放图像(步骤S810)。缩放过程中由缩放图像获取模块664获取的缩放图像会依序显示在图像获取装置60的显示器(未示出)上供使用者观看图像缩放的过程。其中，由于图像获取装置60显示的图像在缩放过程中会逐渐移往兴趣目标，即便使用者所要缩放的倍率高过望远镜头64的放大倍率，使得图像获取装置60必须从广角图像切换为望远图像以继续进行图像缩放，由于在缩放倍率等于望远镜头64的放大倍率的当下，从广角图像中获取的缩放图像的可视范围已移到兴趣目标上，而与望远图像中的兴趣目标的位置重叠，故使用者在图像切换过程中将不会察觉到兴趣目标有明显变化。
需说明的是，虽然本实施例通过在广角图像中移动兴趣窗口以获取缩放图像的方式可确保图像切换过程中兴趣目标的位置维持不变，但由于广角镜头62与望远镜头64先天即具有视角不同的问题，图像切换过程中缩放图像的背景部分仍会有偏移。惟，由于使用者的视线通常专注于图像中的兴趣目标，而非背影，因此采用本实施例的方法可减少或避免使用者察觉到图像切换过程所产生的图像不连续。
举例来说，图9A至图9D是依照本发明一实施例所示出的定义兴趣窗口的示意图。请先参照图9A，本实施例是利用特征点比对演算法中的特征点检测、特征点描述及特征点对应三个步骤，识别广角图像92中的兴趣目标E，并以特征向量来描述兴趣目标E，之后则利用此特征向量在望远图像94中搜寻与兴趣目标E相对应的兴趣目标E’。其中，本实施例使用兴趣目标E的顶点作为特征点w，而通过上述的特征点对应方式，可在兴趣目标E’中找到与特征点w相对应的匹配点t。
接着，请参照图9B，本实施例继续利用上述特征点计算广角图像92与望远图像94的对应关系(correspondence)，其中例如会计算望远图像94中由匹配点t的位置pt至其中心ct的向量vt，然后将此向量vt乘上广角镜头与望远镜头的放大倍率的比值(即Zwide/Ztele)，而获得转换向量vt_vrt。最后，将此转换向量vt_vrt导入广角图像中92，从特征点w的位置pw加上转换向量vt_vrt后，即可获得与望远图像中心ct相对应的虚拟中心ct_vrt。计算公式如下：
vt＝ct-pt (1)
Figure BDA0001217420950000131
ct_vrt＝pw+vt_vrt (3)
之后，请参照图9C，在取得虚拟中心ct_vrt的位置后，即可计算出由广角镜头的放大倍率Zwide缩放至望远镜头的放大倍率Ztele的过程中，任何一个缩放倍率所对应的兴趣窗口的中间点位置。以缩放倍率Zcurrent为例，根据其与广角镜头及望远镜头的放大倍率Zwide与Ztele之间的比例关系，即可在广角图像92的中心cw与虚拟中心ct_vrt之间内插出其对应的中间点ccurrent。计算公式如下：
Figure BDA0001217420950000132
最后，请参照图9D，在取得中间点ccurrent的位置后，即可以此位置做为中心，而定义出兴趣窗口92a的范围。其中，兴趣窗口92a的宽Wwoi与高Hwoi可由广角图像92的宽W与高H依照缩放倍率Zcurrent与广角镜头及望远镜头的放大倍率Zwide与Ztele之间的比例关系算出。计算公式如下：
Figure BDA0001217420950000133
Figure BDA0001217420950000134
通过上述方式定义的兴趣窗口，即可用以界定出由广角镜头的放大倍率Zwide缩放至望远镜头的放大倍率Ztele的过程中，任何一个缩放倍率下要从广角镜头中获取的图像的范围。而由于在缩放过程中，兴趣窗口的中心会逐渐移往与与望远图像中心相对应的虚拟中心，因此当缩放倍率放大到达望远镜头的放大倍率而需要由广角图像切换至望远图像时，图像中出现的兴趣目标将会位于相同位置。藉此，使用者所关注的兴趣目标在切换前后的位置及大小并未明显变化，因此可减少使用者对于图像切换所造成的图像不连续的观感。
需说明的是，在使用者进行变焦操作的同时，原本的拍摄场景可能发生变化，此时若依照先前所计算的方式缩放图像，将会因为兴趣目标的位置发生变化，而同样产生图像不连续的状况。对此，本发明一实施例是在缩放过程中检测图像中的场景变化，并在场景发生变化时，重新计算后续缩放所使用的兴趣窗口的位置，以解决图像不连续的问题。
具体来说，在图6的实施例中，图像获取装置60的图像处理电路66例如还包括场景判断模块(未给出)，其会判断缩放过程中广角图像与望远图像中的场景是否有变化。其中，若场景判断模块判断有发生变化，则缩放图像获取模块664会根据当前使用的兴趣窗口的中心、望远图像的虚拟中心及缩放倍率，计算兴趣窗口的中心与虚拟中心之间的中间点，作为后续缩放过程中用以获取缩放图像的兴趣窗口的中心。
举例来说，图10是依照本发明一实施例所示出的定义兴趣窗口的示意图。请参照图10，本实施例是使用图9A至图9D所揭露的方法，计算出由广角镜头的放大倍率Zwide缩放至望远镜头的放大倍率Ztele的过程(兴趣窗口的中心由广角图像102的中心cw移至望远图像虚拟中心ct_vrt1)中，任何一个缩放倍率下的兴趣窗口的中心及尺寸后。若广角图像与望远图像中的场景发生变化，则会以前次缩放的兴趣窗口的中心cprevious作为起点，重新计算新的望远图像的虚拟中心ct_vrt2的位置，再计算此兴趣窗口的中心cprevious与虚拟中心ct_vrt2之间的中间点ccurrent，而用以作为后续缩放过程中用以获取缩放图像的兴趣窗口的中心。
通过上述方法，本实施例的图像获取装置可在缩放过程中因应图像场景的变化而改变获取图像的范围，使得缩放图像的范围继续向图像中的兴趣目标移动，确保后续图像切换时兴趣目标的显示为连续的。
综上所述，本发明的图像获取装置及其缩放图像的方法是在图像获取装置根据使用者输入的缩放倍率而获取并显示缩放图像的过程中，将从广角图像及望远图像中获取图像由图像中心逐渐转移到兴趣目标中心，确保在后续进行图像切换时，兴趣目标在切换前后图像中的位置是一致的。藉此，可减少图像中主体目标跳动所造成的不连续感觉。本发明还在图像缩放过程中监测场景变化，并适时调整所获取图像的范围，使得缩放图像继续向图像中的兴趣目标移动，确保后续图像切换时兴趣目标的显示为连续的。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求书所界定者为准。

Claims (14)

1.一种图像获取装置缩放图像的方法，其特征在于，适用于具有广角镜头与望远镜头的图像获取装置，其中所述广角镜头的可视范围大于所述望远镜头的可视范围，所述方法包括下列步骤：
利用所述广角镜头与所述望远镜头分别拍摄广角图像与望远图像；
识别所述广角图像与所述望远图像中的一兴趣目标；以及
接收缩放倍率以缩放所述广角图像或所述望远图像，并在缩放过程中调整用以获取所述广角图像的兴趣窗口的获取范围，使得由所述兴趣窗口所获取的所述广角图像的中心朝向所述兴趣目标移动，其中包括：获取所述广角图像及所述望远图像中的所述兴趣目标的至少一特征点及其对应的至少一匹配点；利用所述特征点及所述匹配点，计算所述望远图像的中心在所述广角图像中对应的虚拟中心；根据所述广角图像的中心、所述望远图像的所述虚拟中心及所述缩放倍率，计算所述广角图像的中心与所述虚拟中心之间的多个中间点，作为缩放过程中用以获取缩放图像的所述兴趣窗口的中心，其中根据所述缩放倍率与所述广角镜头及所述望远镜头的放大倍率之间的比例关系，在所述广角图像的中心与所述虚拟中心之间内插所述中间点；以及根据所述兴趣窗口的所述中心及所述缩放倍率，利用所述兴趣窗口从所述广角图像及所述望远图像中获取所述缩放图像；且
当所述缩放倍率到达所述望远镜头的放大倍率时，所述兴趣目标在所述兴趣窗口所获取的所述广角图像与所述望远图像中的位置等同。
2.根据权利要求1所述的方法，其特征在于，获取所述广角图像及所述望远图像中的所述兴趣目标的所述特征点及其对应的所述匹配点的步骤包括：
获取所述广角图像中所述兴趣目标的所述特征点，并搜寻所述望远图像中对应于所述特征点的所述匹配点。
3.根据权利要求2所述的方法，其特征在于，利用所述特征点及所述匹配点，计算所述望远图像的中心在所述广角图像中对应的虚拟中心的步骤包括：
计算由所述望远图像中各所述匹配点至所述望远图像的中心的向量；
将所述向量乘以所述广角镜头与所述望远镜头的放大倍率的比值，以获得转换向量；以及
由所述广角镜头中对应于所述匹配点的所述特征点加上所述转换向量，推算所述望远图像的中心在所述广角图像中对应的所述虚拟中心。
4.根据权利要求1所述的方法，其特征在于，获取所述广角图像及所述望远图像中的所述兴趣目标的所述特征点及其对应的所述匹配点的步骤包括：
获取所述望远图像中所述兴趣目标的所述特征点，并搜寻所述广角图像中对应于所述特征点的所述匹配点。
5.根据权利要求4所述的方法，其特征在于，利用所述特征点及所述匹配点，计算所述望远图像的中心在所述广角图像中对应的虚拟中心的步骤包括：
计算由所述望远图像中各所述特征点至所述望远图像的中心的向量；
将所述向量乘以所述广角镜头与所述望远镜头的放大倍率的比值，以获得转换向量；以及
由所述广角镜头中对应于所述特征点的所述匹配点加上所述转换向量，推算所述望远图像的中心在所述广角图像中对应的所述虚拟中心。
6.根据权利要求1所述的方法，其特征在于，还包括：
将所述广角图像的尺寸乘上所述广角镜头的放大倍率与缩放过程中各所述兴趣窗口对应的所述缩放倍率的比值，以获得所述兴趣窗口的尺寸。
7.根据权利要求1所述的方法，其特征在于，根据所述兴趣窗口的所述中心及所述缩放倍率，利用所述兴趣窗口从所述广角图像及所述望远图像中获取所述缩放图像的步骤还包括：
判断所述广角图像与所述望远图像中的场景是否有变化；以及
若有发生变化，根据当前使用的所述兴趣窗口的中心、所述望远图像的所述虚拟中心及所述缩放倍率，计算所述兴趣窗口的中心与所述虚拟中心之间的所述中间点，作为后续缩放过程中用以获取所述缩放图像的所述兴趣窗口的所述中心。
8.一种图像获取装置，其特征在于，包括：
广角镜头，获取广角图像；
望远镜头，获取望远图像；以及
图像处理电路，耦接所述广角镜头与所述望远镜头，处理所述广角图像与所述望远图像以产生缩放图像，包括：
兴趣目标识别模块，识别所述广角图像与所述望远图像中的一兴趣目标；以及
缩放图像获取模块，接收缩放倍率以缩放所述广角图像或所述望远图像，并在缩放过程中调整用以获取所述广角图像的兴趣窗口的获取范围，使得由所述兴趣窗口所获取的所述广角图像的中心朝向所述兴趣目标移动，其中所述兴趣目标识别模块还获取所述广角图像及所述望远图像中的所述兴趣目标的至少一特征点及其对应的至少一匹配点，且所述缩放图像获取模块包括利用所述特征点及所述匹配点，计算所述望远图像的中心在所述广角图像中对应的虚拟中心，并根据所述广角图像的中心、所述望远图像的所述虚拟中心及缩放倍率，计算所述广角图像的中心与所述虚拟中心之间的多个中间点，作为缩放过程中用以获取缩放图像的兴趣窗口的中心，其中所述缩放图像获取模块包括根据所述缩放倍率与所述广角镜头及所述望远镜头的放大倍率之间的比例关系，在所述广角图像的中心与所述虚拟中心之间内插所述中间点，以及根据所述兴趣窗口的所述中心及所述缩放倍率，利用所述兴趣窗口从所述广角图像及所述望远图像中获取所述缩放图像且
当所述缩放倍率到达所述望远镜头的放大倍率时，所述兴趣目标在所述兴趣窗口所获取的所述广角图像与所述望远图像中的位置等同。
9.根据权利要求8所述的图像获取装置，其特征在于，所述兴趣目标识别模块包括获取所述广角图像中所述兴趣目标的所述特征点，并搜寻所述望远图像中对应于所述特征点的所述匹配点。
10.根据权利要求9所述的图像获取装置，其特征在于，所述缩放图像获取模块包括计算由所述望远图像中各所述匹配点至所述望远图像的中心的向量，将所述向量乘以所述广角镜头与所述望远镜头的放大倍率的比值，以获得转换向量，以及由所述广角镜头中对应于所述匹配点的所述特征点加上所述转换向量，推算所述望远图像的中心在所述广角图像中对应的所述虚拟中心。
11.根据权利要求8所述的图像获取装置，其特征在于，所述兴趣目标识别模块包括获取所述望远图像中所述兴趣目标的所述特征点，并搜寻所述广角图像中对应于所述特征点的所述匹配点。
12.根据权利要求11所述的图像获取装置，其特征在于，所述缩放图像获取模块包括计算由所述望远图像中各所述特征点至所述望远图像的中心的向量，将所述向量乘以所述广角镜头与所述望远镜头的放大倍率的比值，以获得转换向量，以及由所述广角镜头中对应于所述特征点的所述匹配点加上所述转换向量，推算所述望远图像的中心在所述广角图像中对应的所述虚拟中心。
13.根据权利要求8所述的图像获取装置，其特征在于，所述缩放图像获取模块还将所述广角图像的尺寸乘上所述广角镜头的放大倍率与缩放过程中各所述兴趣窗口对应的所述缩放倍率的比值，以获得所述兴趣窗口的尺寸。
14.根据权利要求8所述的图像获取装置，其特征在于，所述图像处理电路还包括：
场景判断模块，判断所述广角图像与所述望远图像中的场景是否有变化，其中若有发生变化，由所述缩放图像获取模块根据当前使用的所述兴趣窗口的中心、所述望远图像的所述虚拟中心及所述缩放倍率，计算所述兴趣窗口的中心与所述虚拟中心之间的所述中间点，作为后续缩放过程中用以获取所述缩放图像的所述兴趣窗口的所述中心。
CN201710058397.3A 2016-09-02 2017-01-23 图像获取装置及其缩放图像的方法 Expired - Fee Related CN107800953B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662382787P 2016-09-02 2016-09-02
US62/382,787 2016-09-02

Publications (2)

Publication Number Publication Date
CN107800953A CN107800953A (zh) 2018-03-13
CN107800953B true CN107800953B (zh) 2020-07-31

Family

ID=61530923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710058397.3A Expired - Fee Related CN107800953B (zh) 2016-09-02 2017-01-23 图像获取装置及其缩放图像的方法

Country Status (2)

Country Link
CN (1) CN107800953B (zh)
TW (1) TWI629550B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513070B (zh) * 2018-04-04 2020-09-04 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
WO2020162218A1 (ja) * 2019-02-08 2020-08-13 ソニー株式会社 再生装置、および再生方法、並びにプログラム
CN110602389B (zh) * 2019-08-30 2021-11-02 维沃移动通信有限公司 一种显示方法及电子设备
CN111479055B (zh) * 2020-04-10 2022-05-20 Oppo广东移动通信有限公司 拍摄方法、装置、电子设备及存储介质
CN111641775B (zh) * 2020-04-14 2021-10-01 北京迈格威科技有限公司 多摄变焦控制方法、装置及电子系统
CN114339018B (zh) * 2020-09-30 2023-08-22 北京小米移动软件有限公司 镜头切换的方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783129B (zh) * 2009-01-04 2012-12-05 虹软(杭州)科技有限公司 影像缩放装置以及影像缩放方法
JP5792607B2 (ja) * 2011-12-09 2015-10-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN109040553B (zh) * 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
TWI539226B (zh) * 2014-10-09 2016-06-21 聚晶半導體股份有限公司 物件追蹤影像處理方法及其系統

Also Published As

Publication number Publication date
TWI629550B (zh) 2018-07-11
TW201812424A (zh) 2018-04-01
CN107800953A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN107800953B (zh) 图像获取装置及其缩放图像的方法
US20180070010A1 (en) Image capturing apparatus and image zooming method thereof
WO2021208371A1 (zh) 多摄变焦控制方法、装置、电子系统及存储介质
JP7311418B2 (ja) 焦点合わせの方法、端末、およびコンピュータ可読記憶媒体
TWI531852B (zh) 影像擷取裝置及數位變焦方法
US9313400B2 (en) Linking-up photographing system and control method for linked-up cameras thereof
US9888163B2 (en) Imaging device
KR20190052031A (ko) 선명하고 정확한 주밍 메커니즘 구현을 위한 광각 이미지 캡쳐링 요소 및 장초점 이미지 캡쳐링 요소의 활용방법
CN110493526B (zh) 基于多摄像模块的图像处理方法、装置、设备及介质
TWI539226B (zh) 物件追蹤影像處理方法及其系統
WO2014105507A1 (en) Front camera face detection for rear camera zoom function
CN104954672B (zh) 一种移动终端的手动调焦方法及移动终端
GB2535706A (en) Device with an adaptive camera array
WO2022007500A1 (zh) 图像的处理方法、装置、电子设备、可读介质及移动终端
CN112532808A (zh) 图像处理方法、装置和电子设备
US20110242346A1 (en) Compound eye photographing method and apparatus
KR101038815B1 (ko) 고속 오토 포커스가 가능한 촬상 시스템
TWI693828B (zh) 顯示擷取裝置與其操作方法
TWI524757B (zh) 影像擷取裝置及數位變焦顯示方法
CN107147848B (zh) 自动对焦方法及采用该方法的实时视频采集系统
CN108810326B (zh) 一种拍照方法、装置及移动终端
CN105744158A (zh) 视频图像显示的方法、装置及移动终端
JP5744527B2 (ja) 撮像装置及びその制御方法
TW201642008A (zh) 影像擷取裝置及其動態對焦方法
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200731