CN106385541A - 利用广角摄像组件及长焦摄像组件实现变焦的方法 - Google Patents

利用广角摄像组件及长焦摄像组件实现变焦的方法 Download PDF

Info

Publication number
CN106385541A
CN106385541A CN201610872244.8A CN201610872244A CN106385541A CN 106385541 A CN106385541 A CN 106385541A CN 201610872244 A CN201610872244 A CN 201610872244A CN 106385541 A CN106385541 A CN 106385541A
Authority
CN
China
Prior art keywords
image
wide
focal length
angle
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610872244.8A
Other languages
English (en)
Inventor
边巧玲
陆艳青
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ArcSoft Corp Ltd
Original Assignee
ArcSoft Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ArcSoft Hangzhou Co Ltd filed Critical ArcSoft Hangzhou Co Ltd
Priority to CN201610872244.8A priority Critical patent/CN106385541A/zh
Publication of CN106385541A publication Critical patent/CN106385541A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明是一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至安装有一广角摄像组件及一长焦摄像组件的一电子装置上，该电子装置能控制该摄像组件，同时对同一景点，分别撷取一广角影像及一长焦影像，且能分别对该影像执行一曝光及白平衡调整处理，使二者的曝光和白平衡趋于一致；对该影像执行一鲁棒性图像匹配运算，以使该影像上对应的像素点能相互匹配；最后，根据匹配运算所获得的该长焦影像上各像素点偏移量的稠密光流场，对该长焦影像上的像素点进行偏移变形，且在其与该广角影像上对应的像素点逐一相互匹配后，即能与该广角影像上对应的像素值相融合，而完成一图像变形融合处理，进而实现精准且清晰的光学变焦。

Description

利用广角摄像组件及长焦摄像组件实现变焦的方法
技术领域
本发明是关于一种图像处理方法，尤指一种利用广角摄像组件及长焦摄像组件实现精准且清晰光学变焦的方法。
背景技术
近年来，随着电子科技的突飞猛进，智能手机的摄像功能亦愈来愈强大，且已有逐渐取代一般随手相机的趋势，为了创造差异化，各大智能手机的厂商莫不竭尽心思，不断改进其智能手机的摄像规格及功能，如：提升影像画素、强化自拍功能、加大光圈、增强光学防抖(OIS)功能、加快对焦速度、支持手动的专业模式等，该些摄像规格及功能上的改善虽已普遍地实现在各式智能手机上，但是，其中有关“双镜头”的设计却是目前最被业界看好的硬件发展趋势。
为何要针对智能手机发展“双镜头”的摄像规格及功能呢？配置“双镜头”的智能手机到底可以提供哪些功能？此谨就目前智能手机在“双镜头”设计上的需求及现况，说明如下：
(1)单镜头的摄像局限：随着影像感测芯片(如：CMOS)的像素及精准度、镜头质量及后期算法等特性的不断进化，智能手机的摄像功能亦日益强大，且已达逐渐威胁专业单反相机的程度，然而，轻薄短小的发展趋势，却导致智能手机因受限于体积与硬件结构的限制，仅能采用较小的摄像组件(由镜头及影像感测芯片整合而成者)，且该些摄像组件大都采用固定大光圈及广角设计的单镜头，并不具备光学变焦功能。一般言，智能手机的拍照对象大都是人物与近物为主，加上场合仍以低光源的室内居多，大光圈设计因能产生较浅的景深，往往能获得较好的成像效果，但是，却亦容易产生景深不足的问题，特别是，容易令对焦主体以外的背景或前景变得模糊不清，因此，当使用目前的智能手机拍摄大山大景时，所撷取的影像画质就会显得松散而不够锐利，也不容易做到捕捉时间的效果(如：拍摄流水、车轨、星轨、光影涂鸦、光点变光芒等效果)，在阳光普照及光源充足的摄像环境下，通常也容易产生曝光过度的问题。
(2)双镜头或多镜头需求因运而生：近年来，由于各式3D或全景电影在全球热卖，掀起了消费者对3D或全景摄像的热切需求，也让不少智能手机的大厂对相关研发及应用更加重视，且相继推出可支持3D或全景摄像的智能手机，以提供新一代的摄像应用，如：360度虚拟现实(VR)实时视讯串流、远程扩增实境(AR)、超高画质现场视讯转播等，由于，各该摄像应用都需要不同的特殊镜头加以支持，双镜头或多镜头的设计乃因此摇身一变成为新一代智能手机必须添增的配备。
(3)双镜头技术无法实现精准且清晰的光学变焦机制：此以HTC Corporation在2014年推出的全球首款双景深的One M8型智能手机为例，其所采用的双镜头技术是AltekCorporation设计的UltraPixel with Duo Camera，该Duo Camera分为主镜头与副镜头，主要是通过智能手机背面的两个镜头共同运作，其中，下方较大的主镜头负责捕捉影像，而上方较小的副镜头则用来记录环境深度数据(depth information)，如此，使用者事后即能通过操作接口来改变对焦点位置；其次，以LG Corporation在2015年11月推出的V10型智能手机为例，其内建有两个500万画素的80°一般镜头与120°超广角镜头，双前镜头设计可在自拍时选择标准或广角视野，120°广角镜头能够捕捉整个背景，甚至团体自拍都能全部入镜，80°标准镜头则能拍摄精彩的自拍特写，LG Corporation在2016发表的G5型智能手机，则将双镜头设计改成后置，具备1600万像素的78°一般镜头及800万像素的135°超广角镜头，其中，135°超广角镜头能提供比其他智能手机宽广1.7倍的视角，且超出肉眼视角15度，让用户无需远距拍摄，即能轻易拍摄到更多及更高的景物；最后，以不少科技媒体于2016年预测Apple Corporation可能在iPhone7上推出的内建双镜头设计为例，其双镜头设计是运用2颗不同焦距的摄像组件，令智能手机能被使用于标准模式和远景模式的摄像切换。然而，无论前述何种双镜头设计均无法实现精准且清晰的光学变焦机制。
此以前述双镜头设计的各式智能手机为例，充其无法实现精准且清晰光学变焦机制的真正原因，主要是其上配设的双镜头仅为一标准镜头及一大光圈的广角镜头，因此，欲借此实现光学变焦时，经常会在变焦过程中发生下列问题：
(1)令远摄对焦的主体影像变得模糊不清：请参阅图1所示，因该标准镜头及广角镜头均无法对远摄主体10(如图1所示的矿泉水瓶身)精准定焦，极易在变焦放大的主体10上产生模糊不清的影像11(如图1右下角所示的矿泉水瓶身上的文字影像)。
(2)在变焦过程中发生明显的影像跳变现象：请参阅图2a至图2b所示，因该标准镜头及广角镜头在硬件参数上的差异，如：视野(Field of View，简称FOV)参数、视角(Picture Angle)参数等及其对应的影像感测芯片(如：CMOS)的尺寸大小，导致该标准镜头及广角镜头所撷取的影像间存在影像比率上的差异，进而令该些影像上对应的像素点发生偏移，并在变焦过程中，如：变焦率(zoom ratio)由1.79(如图2a所示)至1.80(如图2b所示)的变焦过程中，发生明显的影像跳变现象(如图2a及图2b所示xl与x2间的跳变差异)。
据上所述，以目前双镜头智能手机的发展沿革及历程观之，双镜头的应用与设计虽相当多元且分歧，如：提升3D效能、拉高景深、追踪面部、超广角、增补画素、多光圈等，但是，若双镜头设计只是为了弥补单镜头的大光圈广角设计的不足，却不具备精准且清晰的光学变焦机制，则其将难能达成专业级单反相机所提供的光学变焦功能。据此，如何设计出一种利用双镜头实现精准且清晰光学变焦的方法，以使智能手机能在对远距主体变焦放大时，不仅能获得清晰的变焦影像，且不致在变焦过程中发生明显的影像跳变现象，而令智能手机具备优异的光学变焦机制，即成为本发明在此欲探讨的一重要课题。
发明内容
本发明的目的，是提供一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至一电子装置(如：智能手机、数字相机或平板电脑等)，该电子装置上装设有一广角摄像组件及一长焦摄像组件，该广角摄像组件及该长焦摄像组件能受该电子装置的控制，同时对同一景点，分别撷取一广角影像(wide-angle image)及一长焦影像(long-focus image)，且该电子装置能在读取该广角影像及该长焦影像后，分别对该些影像执行一曝光(exposure)及白平衡(white balance)调整处理(adjustment)，以使二者的曝光和白平衡一致；然后，对该些影像执行一鲁棒性(robust)图像匹配运算，使得该些影像上对应的像素点能相互匹配；最后，根据匹配运算所获得的该长焦影像上各像素点偏移量的稠密光流场，对该长焦影像上各像素点进行偏移变形，以使已变形的该长焦影像上的像素点能与该广角影像上对应的像素点逐一相互匹配后，即能将二者融合，完成对该些影像的一图像变形融合处理。
本发明相比于现有技术的有益效果在于：
本发明是应用至安装有一广角摄像组件及一长焦摄像组件之一电子装置上，以使该电子装置能控制该些摄像组件，同时对同一景点，分别撷取一广角影像及一长焦影像，且能对该些影像分别且依序执行一曝光及白平衡调整处理、一鲁棒性图像匹配运算及一图像变形融合处理，进而在该电子装置上呈现出清晰的一变焦影像，且不致在变焦过程中发生明显的影像跳变现象，以实现精准且清晰的光学变焦机制(optical zoom mechanism)。
如此，本发明的电子装置在对远距主体变焦放大时，能轻易获得精准且清晰的变焦影像，且不会在变焦过程中发生明显的影像跳变现象，而令智能手机具备优异的光学变焦机制。
附图说明
图1是背景技术单镜头或双镜头智能手机数码变焦所撷取的影像；
图2a、图2b是背景技术双镜头智能手机数码变焦过程中发生的影像跳变现象示意图；
图3是本发明的电子装置示意图；
图4是本发明的流程示意图；
图5是摄像组件硬件参数的示意图；
图6a至图6c是本发明的电子装置将广角影像与长焦影像融合成一新的广角影像的示意图；及
图7a、图7b是本发明的电子装置在变焦过程中未发生影像跳变的示意图。
附图标记
10、60～主体；
11、61、62、63～影像；
30～电子装置；
31～广角摄像组件；
32～长焦摄像组件；
401、402、403～步骤；
L～镜头；
S～影像感测芯片；
M～景点。
具体实施方式
为便于贵审查委员能对本发明目的、技术特征及其功效，做更进一步的认识与了解，此举实施例配合附图，详细说明如下：
随着移动电子装置(如：智能手机、数字相机或平板电脑等)愈来愈普及，且其功能愈来愈全面的状态下，人们利用各该移动电子装置拍摄影像时，已不再能满足于简单的拍摄功能，而是更希望各该移动电子装置的摄像过程及所拍摄到的影像画质均能媲美高级且专业的单反相机，比如能够更清晰地拍摄到远景。然而，由于目前各式移动电子装置，碍于其轻薄短小的尺寸设计，其上单镜头或前述双镜头的设计，在进行远景拍摄时，多为数码变焦，乃至到一定距离后，其影像上的像素点将变得模糊不清，而无法实现高级专业单反相机上优异光学变焦的效果。
有鉴于此，发明人经过多年研究、实验及不断改良，才想到利用一广角摄像组件及一长焦摄像组件，令移动电子装置能轻易实现精准且清晰光学变焦的机制。
本发明是提供一种利用广角摄像组件及长焦摄像组件实现精准且清晰光学变焦的方法，该方法是应用至一电子装置(如：智能手机、数字相机或平板电脑等)，请参阅图3所示，该电子装置30上装设有一广角摄像组件31及一长焦摄像组件32，该广角摄像组件31及该长焦摄像组件32是分别安装在该电子装置30的前面或背面上二相邻位置，该广角摄像组件31是由一广角镜头(wide-angle lens)及一第一影像感测芯片(如：CMOS)所组成，该长焦摄像组件32则是由一长焦镜头(long-focus lens)及一第二影像感测芯片所组成，该广角镜头的焦距(focal length)是小于一标准镜头的50厘米焦距。
标准镜头的焦距，该广角摄像组件31及该长焦摄像组件32能分别受该电子装置30的控制，同时对同一景点，分别撷取一广角影像及一长焦影像，该方法是令该电子装置30能依下列步骤，请参阅图4所示，实现精准且清晰光学变焦机制：
(401)读取该广角影像W(x，y)及该长焦影像T(x+u，y+v)，且分别对该广角影像W(x，y)及该长焦影像T(x+u，y+v)执行一曝光及白平衡调整处理，以使二者的曝光和白平衡一致；该调整处理之主要目的是，虽然，该广角摄像组件31及该长焦摄像组件32能同时针对同一景点，分别撷取该广角影像W(x，y)及该长焦影像T(x+u，y+v)，但是，因为该广角摄像组件31及该长焦摄像组件32并非安装至该电子装置30上的同一位置，而是在该电子装置30上二相邻的不同位置，导致该广角影像W(x，y)及该长焦影像T(x+u，y+v)仍会因摄像角度的差异，而在曝光和白平衡上存在一定差异，同时，在该广角影像及该长焦影像的对应像素点(pixel)(x，y)的位置上会存在一定偏移量(u，v)。
(402)执行一鲁棒性图像匹配(robust image matching)运算(algorithm)，使得该广角影像W(x，y)及该长焦影像T(x+u，y+v)上对应的像素点(pixel)能相互匹配，其作法是根据该广角摄像组件31及该长焦摄像组件32的硬件参数，请参阅图5所示，如：其上镜头L(即，该广角镜头及该长焦镜头)的视野(Field of View，简称FOV)参数、图角(PictureAngle)参数、视角(Vertical Angle ofView and Horizontal Angle ofView)参数等及其上影像感测芯片S(即，该第一影像感测芯片及该第二影像感测芯片)的尺寸大小，计算得到该景点M分别在该第一影像感测芯片及该第二影像感测芯片上成像的该广角影像W(x，y)及该长焦影像T(x+u，y+v)间的一影像比率，再根据该影像比率，从该广角影像W(x，y)中撷取出与该长焦影像T(x+u，y+v)相对应的区域(以下简称为“对应广角影像W(x，y)”)，接着，采用光流法(optical flow estimation)，如依下列Horn-Schunck光流法估计模型的能量方程式(这是目前较成熟且通用的算法，但在本发明的实际施作时，并不局限于此)，将光流估计转换成求取误差最小的优化过程，以获得稠密光流场(dense optical flow field)，并据以针对该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)进行鲁棒性图像匹配运算，以使该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)上的像素点能逐一相互对应：
其中，第一项的是一数据项，表示灰度值守恒约束，是使配准后的该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)上每个对应的像素点尽可能相同，是误差函数；第二项的是一平滑项，表示光流平滑约束，因为仅凭该数据项是不足以完成稠密匹配，如：对该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)上纯色区域的像素点，是无法只通过该数据项找到准确的偏移量，因此，还需要加入该平滑项，以使该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)上相邻两个特征像素点的偏移量相差不致太大，也就是，偏移量的变化率不能太大，α是权重因子，用于控制该数据项和该平滑项的权重，以提高在多样复杂场景中的光流估计精度，其值能根据经验值设定，亦能根据实际需求动态变化，亦是误差函数。该些误差函数、能根据不同需求，取绝对值函数、二次函数或非负对称且正半轴单调递增的函数等，在本发明后续所示的实施例中，为计算方便起见，取的是二次函数，以便于进行极值求解，但在本发明的实际施作时，并不局限于此。则为偏移量梯度的模长。此外，前述光流法的前提假设是：
(1)该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)间的亮度恒定；
(2)该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)内对应像素点的运动差异微小；
(3)该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)内对应像素点具有相同的运动向量。
由于，该对应广角影像W(x，y)与该长焦影像T(x+u，y+v)是同一时刻对同一景点获取的图像，因此，应能轻易满足前述光流法的前提假设；如此，待完成鲁棒性图向匹配运算后，即能根据上列能量方程式，获得该长焦影像T(x+u，y+v)上每个像素点偏移量的一稠密光流场。
(403)执行一图像变形融合处理(image morphing fusion)，其做法是根据前述运算所获得的该长焦影像T(x+u，y+v)上各像素点偏移量的稠密光流场，对该长焦影像T(x+u，y+v)上各像素点进行偏移变形，以使已变形的该长焦影像T(x+u，y+v)上的像素点能与该对应广角影像W(x，y)上的像素点逐一相互对应匹配，如此，已变形的该长焦影像T(x+u，y+v)即能根据需求，通过一权值λ，与该对应广角影像W(x，y)进行下列融合，以获得一新的对应广角影像WNEW：
WNEW＝(1-λ)T(x+u，y+v)+λ*W(x，y)
其中，该权值λ是根据实际需求而定，如：已变形的该长焦影像T(x+u，y+v)上的像素点较该对应广角影像W(x，y)上对应的像素点清晰时，可以取λ＝0，其间的过渡区域则可以取0＜λ＜1.0，待已变形的该长焦影像T(x+u，y+v)上的像素点能与该对应广角影像W(x，y)上的像素点逐一对应后，即能直接选取已变形的该长焦影像T(x+u，y+v)上的像素值取代该对应广角影像W(x，y)上的像素值，完成图像的变形融合处理；至于，该广角影像W(x，y)上(除该对应广角影像之外)未匹配到的像素点，亦能通过图像增强处理，强化其视觉效果。
如此，在本发明中，虽然该广角摄像组件31及该长焦摄像组件32上所使用的该广角镜头及该长焦镜头分别都是定焦镜头，且该电子装置30均仅能分别对该广角影像W(x，y)及该长焦影像T(x+u，y+v)执行数码变焦，但是，诚如前述，一旦该广角摄像组件31及该长焦摄像组件32的硬件参数被确定后，该广角影像W(x，y)及该长焦影像T(x+u，y+v)间的影像比率即被确定，如：1.8或2.3，本发明在后续实施例的验证过程中，均是以影像比率1.8为例，进行说明。
据此，请参阅图6a至图6c所示，若用户在操作该电子装置30执行数码变焦(其变焦率(zoom ratio)为0～3.0)时，当该广角摄像组件31变焦产生图6a所示的广角影像时，虽然该广角摄像组件31无法对其中的主体60(如图6a所示的矿泉水瓶身)精准定焦，导致变焦放大的主体60上产生模糊不清的影像61(如图6a右下角所示的矿泉水瓶身上的文字影像)，但是，此时因该长焦摄像组件32能对其中的主体60(如图6b所示的矿泉水瓶身)精准定焦，故该长焦摄像组件32变焦产生图6b所示的长焦影像时，变焦放大的主体60上的影像62(如图6b右下角所示的矿泉水瓶身上的文字影像)依然保持清晰无比，因此，通过本发明的方法，将该广角影像及长焦影像融合后，新的广角影像中的主体60(如图6c所示的矿泉水瓶身)上的影像63(如图6c右下角所示的矿泉水瓶身上的文字影像)仍将保持清晰无比，而无任何模糊不清的问题。
此外，当使用者通过本发明的方法，对该电子装置30执行数码变焦时，请参阅图7a至图7b所示，此以变焦率(zoom ratio)由1.79(如图7a所示)至1.80(如图7b所示)的变焦过程为例，亦能清楚发现完全无任何明显的影像跳变现象。据此，本发明的方法，确实令该电子装置30具备精准且清晰的优异光学变焦机制，能媲美专业级单反相机所提供的光学变焦功能。
以上所述，仅是本发明的较佳实施例，但是，本发明所主张的权利范围，并不局限于此，本领域技术人员，依据本发明所揭露的技术内容，可轻易思及的等效变化，均应属不脱离本发明的保护范畴。

Claims (9)

1.一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至一电子装置，该电子装置上装设有一广角摄像组件及一长焦摄像组件，其特征在于，该广角摄像组件的镜头焦距是小于一标准镜头的50厘米焦距，该长焦摄像组件的镜头焦距则是大于该标准镜头的焦距，该广角摄像组件及该长焦摄像组件能受该电子装置的控制，同时对同一景点，分别撷取一广角影像及一长焦影像，该方法是令该电子装置能依下列步骤，实现精准且清晰光学变焦机制：
读取该广角影像及该长焦影像，且分别对该广角影像及该长焦影像执行一曝光及白平衡调整处理，以使二者的曝光和白平衡一致；
对该广角影像及该长焦影像执行一鲁棒性图像匹配运算，使得该长焦影像上的像素点能与该广角影像上对应的像素点相互匹配；及
对该长焦影像上的像素点及该广角影像上对应的像素点执行一图像变形融合处理，以产生一新的广角影像。
2.根据权利要求1所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该鲁棒性图像匹配运算是根据该广角摄像组件及该长焦摄像组件的硬件参数，计算出该广角影像及该长焦影像间的一影像比率，且根据该影像比率，自该广角影像中撷取出与该长焦图像映射的区域，然后，采用一光流法，计算出该长焦影像上像素点相对于该广角影像上对应像素点的一偏移量的稠密光流场。
3.根据权利要求2所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该图像变形融合处理是根据该长焦影像T(x+u，y+v)上像素点的偏移量(u，v)的稠密光流场，对该长焦影像T(x+u，y+v)上像素点进行偏移变形，以使已变形的该长焦影像T(x+u，y+v)上的像素点能与该广角影像W(x，y)上对应的像素点相互匹配，并依下列公式，对该长焦影像T(x+u，y+v)及该广角影像W(x，y)进行融合，以获得该新的广角影像WNEW：
WNEW＝(1-λ)T(x+u，y+v)+λ*W(x，y)
其中，λ是权值。
4.根据权利要求3所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，当已变形的该长焦影像T(x+u，y+v)上的像素点较该广角影像W(x，y)上对应的像素点清晰时，取λ＝0，针对其它像素点则取0＜λ＜1.0。
5.根据权利要求2至4任一项所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该光流法是通过一光流法估计模型的下列能量方程式，将光流估计转换成求取误差最小的优化过程，以获得该稠密光流场：
其中，第一项的是一数据项，表示灰度值守恒约束，是使配准后的该广角影像W(x，y)与该长焦影像T(x+u，y+v)上每个对应的像素点尽可能相同，是误差函数；第二项的是一平滑项，表示光流平滑约束，以使该广角影像W(x，y)与该长焦影像T(x+u，y+v)上相邻的两个像素点的偏移量不致相差太大，α是用于控制该数据项和该平滑项的权重，以提高在多样复杂场景中的光流估计精度，ψ亦是误差函数，则为偏移量梯度的模长。
6.根据权利要求5所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其中，该误差函数ψ是一二次函数。
7.根据权利要求6所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该光流法的前提假设是，该长焦影像T(x+u，y+v)上像素点与该广角影像W(x，y)上对应像素点间的亮度恒定。
8.根据权利要求7所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该光流法的前提假设是，该长焦影像T(x+u，y+v)上像素点与该广角影像W(x，y)上对应像素点间的运动差异微小。
9.根据权利要求8所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该光流法的前提假设是，该长焦影像T(x+u，y+v)上像素点与该广角影像W(x，y)上对应像素点间具有相同的运动向量。
CN201610872244.8A 2016-09-30 2016-09-30 利用广角摄像组件及长焦摄像组件实现变焦的方法 Pending CN106385541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610872244.8A CN106385541A (zh) 2016-09-30 2016-09-30 利用广角摄像组件及长焦摄像组件实现变焦的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610872244.8A CN106385541A (zh) 2016-09-30 2016-09-30 利用广角摄像组件及长焦摄像组件实现变焦的方法

Publications (1)

Publication Number Publication Date
CN106385541A true CN106385541A (zh) 2017-02-08

Family

ID=57937170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872244.8A Pending CN106385541A (zh) 2016-09-30 2016-09-30 利用广角摄像组件及长焦摄像组件实现变焦的方法

Country Status (1)

Country Link
CN (1) CN106385541A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371007A (zh) * 2017-07-25 2017-11-21 广东欧珀移动通信有限公司 白平衡处理方法、装置和终端
CN107948505A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN107979726A (zh) * 2017-11-28 2018-05-01 信利光电股份有限公司 一种全景镜头的配对方法和全景镜头
CN108377342A (zh) * 2018-05-22 2018-08-07 Oppo广东移动通信有限公司 双摄像头拍照方法、装置、存储介质及终端
CN108737739A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 一种预览画面采集方法、预览画面采集装置及电子设备
CN108965719A (zh) * 2018-08-08 2018-12-07 杭州赛翁思科技有限公司 一种图像处理方法及装置
WO2019019923A1 (en) * 2017-07-25 2019-01-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR ADJUSTING WHITE BALANCE AND STORAGE MEDIUM
CN109937568A (zh) * 2016-11-17 2019-06-25 索尼公司 图像处理装置和图像处理方法
WO2019148996A1 (zh) * 2018-01-31 2019-08-08 Oppo广东移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN110365894A (zh) * 2018-03-26 2019-10-22 联发科技股份有限公司 摄像机装置中图像融合的方法及相关装置
CN110493539A (zh) * 2019-08-19 2019-11-22 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
CN110855883A (zh) * 2019-11-05 2020-02-28 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
CN110868541A (zh) * 2019-11-19 2020-03-06 展讯通信（上海）有限公司 视场融合方法及装置、存储介质、终端
CN111294505A (zh) * 2019-07-19 2020-06-16 展讯通信（上海）有限公司 图像处理方法及装置
CN111510618A (zh) * 2019-01-30 2020-08-07 虹软科技股份有限公司 变焦方法及应用其的电子设备
CN111563552A (zh) * 2020-05-06 2020-08-21 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
CN112118393A (zh) * 2019-06-19 2020-12-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
KR20210032922A (ko) * 2019-09-10 2021-03-25 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 다중 카메라 모듈 기반의 이미지 처리 방법, 장치, 기기 및 매체
CN112584034A (zh) * 2019-09-30 2021-03-30 虹软科技股份有限公司 图像处理方法、图像处理装置及应用其的电子设备
US11140327B2 (en) 2018-06-28 2021-10-05 Aver Information Inc. Image-capturing device and method for operating image-capturing system of two cameras
CN114205515A (zh) * 2020-09-18 2022-03-18 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
EP4040776A1 (en) * 2017-07-10 2022-08-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for inhibiting aec value jump, and terminal device
US11758265B2 (en) 2020-03-03 2023-09-12 Honor Device Co., Ltd. Image processing method and mobile terminal

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060175549A1 (en) * 2005-02-09 2006-08-10 Miller John L High and low resolution camera systems and methods
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN103109524A (zh) * 2010-09-24 2013-05-15 英特尔公司 变焦拍摄装置图像融合技术
CN103247058A (zh) * 2013-05-13 2013-08-14 北京工业大学 一种基于误差分布式多层网格的快速光流场计算方法
CN103871056A (zh) * 2014-03-11 2014-06-18 南京信息工程大学 基于各向异性光流场与去偏移场的脑部mr图像配准方法
US20150207999A1 (en) * 2014-01-17 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for compositing image by using multiple focal lengths for zooming image
US20160028949A1 (en) * 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Image photographing apparatus and image photographing method
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060175549A1 (en) * 2005-02-09 2006-08-10 Miller John L High and low resolution camera systems and methods
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN103109524A (zh) * 2010-09-24 2013-05-15 英特尔公司 变焦拍摄装置图像融合技术
CN103247058A (zh) * 2013-05-13 2013-08-14 北京工业大学 一种基于误差分布式多层网格的快速光流场计算方法
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
US20150207999A1 (en) * 2014-01-17 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for compositing image by using multiple focal lengths for zooming image
CN103871056A (zh) * 2014-03-11 2014-06-18 南京信息工程大学 基于各向异性光流场与去偏移场的脑部mr图像配准方法
US20160028949A1 (en) * 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Image photographing apparatus and image photographing method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张枝军: "《网店商品图像信息与视觉设计》", 31 January 2015 *
朱璐瑶: "改进的Horn_Schunck光流法在目标追踪中的应用", 《中国体视学与图像分析》 *
田中希美男: "《数码单反摄影从入门到精通 镜头篇》", 30 June 2011 *
苏松志等: "《行人检测 理论与实践》", 31 March 2016 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937568A (zh) * 2016-11-17 2019-06-25 索尼公司 图像处理装置和图像处理方法
CN109937568B (zh) * 2016-11-17 2021-03-09 索尼公司 图像处理装置和图像处理方法
EP4040776A1 (en) * 2017-07-10 2022-08-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for inhibiting aec value jump, and terminal device
WO2019019923A1 (en) * 2017-07-25 2019-01-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR ADJUSTING WHITE BALANCE AND STORAGE MEDIUM
US10455206B2 (en) 2017-07-25 2019-10-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd Method and device for adjusting white balance and storage medium
CN107371007A (zh) * 2017-07-25 2017-11-21 广东欧珀移动通信有限公司 白平衡处理方法、装置和终端
US11412195B2 (en) 2017-07-25 2022-08-09 Shenzhen Heytap Technology Corp., Ltd. Method and device for adjusting white balance and storage medium
CN107948505A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN107948505B (zh) * 2017-11-14 2020-06-23 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN107979726B (zh) * 2017-11-28 2020-05-22 信利光电股份有限公司 一种全景镜头的配对方法和全景镜头
CN107979726A (zh) * 2017-11-28 2018-05-01 信利光电股份有限公司 一种全景镜头的配对方法和全景镜头
WO2019148996A1 (zh) * 2018-01-31 2019-08-08 Oppo广东移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN110365894A (zh) * 2018-03-26 2019-10-22 联发科技股份有限公司 摄像机装置中图像融合的方法及相关装置
CN110365894B (zh) * 2018-03-26 2021-05-07 联发科技股份有限公司 摄像机装置中图像融合的方法及相关装置
CN108377342A (zh) * 2018-05-22 2018-08-07 Oppo广东移动通信有限公司 双摄像头拍照方法、装置、存储介质及终端
CN108737739A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 一种预览画面采集方法、预览画面采集装置及电子设备
US11140327B2 (en) 2018-06-28 2021-10-05 Aver Information Inc. Image-capturing device and method for operating image-capturing system of two cameras
CN108965719A (zh) * 2018-08-08 2018-12-07 杭州赛翁思科技有限公司 一种图像处理方法及装置
CN108965719B (zh) * 2018-08-08 2021-05-28 常山赛翁思智能科技有限公司 一种图像处理方法及装置
CN111510618B (zh) * 2019-01-30 2022-04-05 虹软科技股份有限公司 变焦方法及应用其的电子设备
CN111510618A (zh) * 2019-01-30 2020-08-07 虹软科技股份有限公司 变焦方法及应用其的电子设备
US11490016B2 (en) 2019-01-30 2022-11-01 Arcsoft Corporation Limited Zooming method and electronic device using the same
CN112118393B (zh) * 2019-06-19 2022-03-15 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112118393A (zh) * 2019-06-19 2020-12-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021012766A1 (zh) * 2019-07-19 2021-01-28 展讯通信（上海）有限公司 图像处理方法及装置
CN111294505B (zh) * 2019-07-19 2021-05-04 展讯通信（上海）有限公司 图像处理方法及装置
US11792518B2 (en) 2019-07-19 2023-10-17 Spreadtrum Communications (Shanghai) Co., Ltd. Method and apparatus for processing image
CN111294505A (zh) * 2019-07-19 2020-06-16 展讯通信（上海）有限公司 图像处理方法及装置
CN110493539A (zh) * 2019-08-19 2019-11-22 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
KR102278474B1 (ko) 2019-09-10 2021-07-20 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 다중 카메라 모듈 기반의 이미지 처리 방법, 장치, 기기 및 매체
KR20210032922A (ko) * 2019-09-10 2021-03-25 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 다중 카메라 모듈 기반의 이미지 처리 방법, 장치, 기기 및 매체
US11070744B2 (en) 2019-09-10 2021-07-20 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing based on multiple camera modules, electronic device, and storage medium
CN112584034A (zh) * 2019-09-30 2021-03-30 虹软科技股份有限公司 图像处理方法、图像处理装置及应用其的电子设备
CN112584034B (zh) * 2019-09-30 2023-04-07 虹软科技股份有限公司 图像处理方法、图像处理装置及应用其的电子设备
WO2021063245A1 (zh) * 2019-09-30 2021-04-08 虹软科技股份有限公司 图像处理方法、图像处理装置及应用其的电子设备
CN110855883B (zh) * 2019-11-05 2021-07-20 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
CN110855883A (zh) * 2019-11-05 2020-02-28 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
CN110868541A (zh) * 2019-11-19 2020-03-06 展讯通信（上海）有限公司 视场融合方法及装置、存储介质、终端
US11758265B2 (en) 2020-03-03 2023-09-12 Honor Device Co., Ltd. Image processing method and mobile terminal
CN111563552A (zh) * 2020-05-06 2020-08-21 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
CN114205515A (zh) * 2020-09-18 2022-03-18 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
US11750926B2 (en) 2020-09-18 2023-09-05 Honor Device Co., Ltd. Video image stabilization processing method and electronic device

Similar Documents

Publication Publication Date Title
CN106385541A (zh) 利用广角摄像组件及长焦摄像组件实现变焦的方法
US10432869B2 (en) Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
WO2015161698A1 (zh) 一种图像拍摄终端和图像拍摄方法
CN102761706B (zh) 成像设备和成像方法
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
KR101720190B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
CN108024058B (zh) 图像虚化处理方法、装置、移动终端和存储介质
CN105141841B (zh) 摄像设备及其方法
JP2015231220A (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN107205109A (zh) 具有多摄像模块的电子装置及其控制的方法
CN107800979A (zh) 高动态范围视频拍摄方法及拍摄装置
EP4169240A1 (en) Multiple camera system for wide angle imaging
US20160292842A1 (en) Method and Apparatus for Enhanced Digital Imaging
WO2023086694A1 (en) Image modification techniques
JP2016208075A (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
CN106303202A (zh) 一种图像信息处理方法及装置
WO2022247731A1 (zh) 一种摄像头、拍照方法、终端及存储介质
US11330204B1 (en) Exposure timing control for multiple image sensors
JP2016134886A (ja) 撮像装置およびその制御方法
US20130321690A1 (en) Methods and Apparatus for Refocusing via Video Capture
US11825207B1 (en) Methods and systems for shift estimation for one or more output frames

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180306

Address after: 310012 room B, block A, block A, No. three, Paradise Software Park, West Dou Gate Road, Xihu District, Hangzhou, Zhejiang

Applicant after: ArcSoft (Hangzhou) Multimedia Technology Company Limited

Address before: 310000 building A, No. 3, No. 3, Paradise Software Park, West Dou Gate Road, Xihu District, Zhejiang

Applicant before: ArcSoft Hangzhou Co., Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310000 Building 22 and 23 of Paradise Software Park A, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Hongsoft Technology Co., Ltd.

Address before: Room B, 20th floor, Building A, Paradise Software Park, No. 3 Xidoumen Road, Xihu District

Applicant before: ArcSoft (Hangzhou) Multimedia Technology Company Limited

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170208