CN112930677B - 用于在第一镜头和第二镜头之间切换的方法和电子设备 - Google Patents

用于在第一镜头和第二镜头之间切换的方法和电子设备 Download PDF

Info

Publication number
CN112930677B
CN112930677B CN201980067152.4A CN201980067152A CN112930677B CN 112930677 B CN112930677 B CN 112930677B CN 201980067152 A CN201980067152 A CN 201980067152A CN 112930677 B CN112930677 B CN 112930677B
Authority
CN
China
Prior art keywords
frame
camera
electronic device
alignment data
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980067152.4A
Other languages
English (en)
Other versions
CN112930677A (zh
Inventor
拉维普拉萨德·莫汉·基尼
古拉吉·巴特
帕万·苏德伦德拉
吉里什·库尔卡尼
维尼思·塔尼康达·穆尼拉特南
桑贾伊·纳拉西姆哈·穆尔蒂
巴尔文德·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202211597708.0A priority Critical patent/CN115866394A/zh
Priority to CN202311477673.1A priority patent/CN117336602A/zh
Publication of CN112930677A publication Critical patent/CN112930677A/zh
Application granted granted Critical
Publication of CN112930677B publication Critical patent/CN112930677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/14—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function

Abstract

用于在第一镜头和第二镜头之间切换的方法，该方法在电子设备中进行，该方法包括：由电子设备显示展示第一镜头的视场(FOV)的第一帧；由电子设备检测使得电子设备从显示第一帧转换到显示第二帧的事件，第二帧示出第二镜头的FOV；由电子设备基于检测到事件，生成用于从第一帧转换到第二帧的至少一个中间帧；以及由电子设备基于检测到事件，从第一镜头切换到第二镜头并显示第二帧，其中，在执行切换期间，在显示第一帧之后且在显示第二帧之前显示至少一个中间帧。

Description

用于在第一镜头和第二镜头之间切换的方法和电子设备
技术领域
本公开涉及一种图像处理系统，以及更具体地，涉及一种用于在第一镜头和第二镜头之间切换的方法和电子设备。
背景技术
通常，在电子设备(例如，智能电话等)中引入诸如双相机和三相机之类的旗舰特性(flagship feature)。但是，在旗舰特性的实现中存在着各种限制。一个主要的限制是，所有的相机系统不能同时保持开启，这会导致相机切换延迟。相机之间的转换不是无缝的，这会导致用户体验的降低。
在现有方法中，当在转换期间来自两个相机的帧可用时，可以执行从一个相机到另一个相机的切换。多帧融合模块组合来自帧的信息并将结果帧发送到显示器以供预览。这也会导致用户体验的降低。
因此，希望解决上述缺点或其他缺点或提供有用的替代方案。
发明内容
解决方案
根据本公开的方面，一种在电子设备中进行的用于在第一镜头和第二镜头之间切换的方法包括：由电子设备显示展示第一镜头的视场(FOV)的第一帧；由电子设备检测使得电子设备从显示第一帧转换到显示第二帧的事件，该第二帧示出第二镜头的FOV；由电子设备基于检测到事件，生成用于从第一帧转换到第二帧的至少一个中间帧；由电子设备基于检测到事件，从第一镜头切换到第二镜头并显示第二帧，其中，在执行切换期间，在显示第一帧之后且在显示第二帧之前显示至少一个中间帧。
生成至少一个中间帧可以包括：确定从显示第一帧的第一时间到显示第二帧的第二时间的镜头切换延迟；识别第一镜头和第二镜头的至少一个转换参数以生成至少一个中间帧；获取第一镜头和第二镜头的空间对准数据、光度对准数据和颜色对准数据之中的至少一个；基于空间对准数据、光度对准数据和颜色对准数据之中的至少一个、至少一个转换参数、以及镜头切换延迟来生成至少一个中间帧。
至少一个中间帧可以是相对于第一帧和第二帧在空间上对准、相对于第一帧和第二帧在光度上对准以及相对于第一帧和第二帧在颜色上对准中的至少一种。
该方法还可以包括：确定要生成的至少一个中间帧，其中，确定要生成的至少一个中间帧包括：使用至少一个转换参数来确定空间对准数据；基于所确定的空间对准数据和至少一个转换参数来确定要生成的至少一个中间帧。
通过以下步骤获取空间对准数据：当电子设备处于空闲模式时，捕获与第一镜头相关联的第一单帧和与第二镜头相关联的同一场景的第二单帧；调整第一单帧和第二单帧的大小为预览分辨率大小；计算第一单帧和第二单帧中的特征点；使用所识别的至少一个转换参数以及第一单帧和第二单帧之间的单应性关系来计算变换矩阵，其中变换矩阵包括第一单帧的第一缩放、第二单帧的第二缩放、第一单帧的第一旋转、第二单帧的第二旋转、第一单帧的第一平移以及第二单帧的第二平移；使用变换矩阵来获取空间对准数据。
可以通过以下步骤获取光度对准数据：针对所生成的至少一个中间帧计算变换矩阵；基于变换矩阵计算校正因子；基于校正因子获取光度对准数据。
可以通过以下步骤获取颜色对准数据：针对所生成的至少一个中间帧计算变换矩阵；基于变换矩阵计算针对颜色对准数据的校正因子；基于校正因子获取颜色对准数据。
至少一个转换参数可以包括第一镜头的F值、第一镜头的FOV、第一镜头的颜色分布、第一镜头的饱和度分布、第二镜头的F值、第二镜头的FOV、第二镜头的颜色分布、第二镜头的饱和度分布、第一镜头的缩放因子、第二镜头的缩放因子、第一镜头和第二镜头之间的缩放因子、第一镜头和第二镜头的组合的单个缩放因子、第一镜头和第二镜头之间的枢轴以及第一镜头和第二镜头的组合的单个枢轴值。
根据本公开的方面，一种用于在第一镜头和第二镜头之间切换的电子设备包括存储器和处理器，其中，处理器与存储器联接，处理器配置为：显示展示第一镜头的视场(FOV)的第一帧；检测使得电子设备从显示第一帧转换到显示第二帧的事件，该第二帧示出第二镜头的FOV；基于检测到事件，生成用于从第一帧转换到第二帧的至少一个中间帧；基于检测到事件，从第一镜头切换到第二镜头并显示第二帧，其中在执行切换期间，在显示第一帧之后且在显示第二帧之前显示至少一个中间帧。
处理器还可以配置为：确定从显示第一帧的第一时间到显示第二帧的第二时间的镜头切换延迟；识别第一镜头和第二镜头的至少一个转换参数以生成至少一个中间帧；获取第一镜头和第二镜头的空间对准数据、光度对准数据和颜色对准数据中的至少一个；基于空间对准数据、光度对准数据和颜色对准数据之中的至少一个、至少一个镜头转换参数、以及镜头切换延迟来生成至少一个中间帧。
至少一个中间帧可以是相对于第一帧和第二帧在空间上对准、相对于第一帧和第二帧在光度上对准以及相对于第一帧和第二帧在颜色上对准中的至少一种。
处理器还可以配置为：使用至少一个转换参数来确定空间对准数据；基于所确定的空间对准数据和至少一个转换参数来确定要生成的至少一个中间帧。
处理器还可以配置为：当电子设备处于空闲模式时捕获与第一镜头相关联的第一单帧以及与第二镜头相关联的同一场景的第二单帧；调整第一单帧和第二单帧的大小为预览分辨率大小；计算第一单帧和第二单帧中的特征点；使用所识别的至少一个转换参数以及第一单帧和第二单帧之间的单应性关系来计算变换矩阵，其中变换矩阵包括第一单帧的第一缩放、第二单帧的第二缩放、第一单帧的第一旋转、第二单帧的第二旋转、第一单帧的第一平移以及第二单帧的第二平移；使用变换矩阵来获取空间对准数据。
可以通过以下步骤来获取光度对准数据：针对所生成的至少一个中间帧计算变换矩阵；基于变换矩阵计算校正因子；基于校正因子获取光度对准数据。
可以通过以下步骤来获取颜色对准数据：针对所生成的至少一个中间帧计算变换矩阵；基于变换矩阵计算针对颜色对准数据的校正因子；基于校正因子获取颜色对准数据。
至少一个转换参数可以包括第一镜头的F值、第一镜头的FOV、第一镜头的颜色分布、第一镜头的饱和度分布、第二镜头的F值、第二镜头的FOV、第二镜头的颜色分布、第二镜头的饱和度分布、第一镜头的缩放因子、第二镜头的缩放因子、第一镜头和第二镜头之间的缩放因子、第一镜头和第二镜头的组合的缩放因子、第一镜头和第二镜头之间的枢轴以及第一镜头和第二镜头的组合的单个枢轴值。
根据本公开的方面，设备包括存储器和处理器，其中，存储器配置为存储第一相机的第一属性和第二相机的第二属性，处理器配置为：基于第一属性和第二属性生成至少一个中间图像帧；在输出由第一相机拍摄的第一图像帧之后且在输出由第二相机拍摄的第二图像帧之前，输出至少一个中间图像帧。
存储器还可以配置为基于第一属性和第二属性存储至少一个转换参数，并且处理器还可以配置为基于至少一个转换参数生成至少一个中间图像帧。
由第一相机捕获的第一图像帧和由第二相机捕获的第二图像帧可以具有相同的场景，并且处理器可以配置为基于第一图像帧和第二图像帧之间的单应性关系生成变换矩阵，该单应性关系是基于至少一个转换参数确定的，并且使用变换矩阵生成至少一个中间图像帧。
处理器还可以配置为从至少一个中间图像帧之中确定针对每一中间图像帧的系数，且基于变换矩阵以及基于各自确定的系数来生成每一中间图像帧。
存储器还可以配置为存储第一相机和第二相机之间的切换延迟以及帧速率，并且处理器还可以配置为基于切换延迟和帧速率来确定各自确定的系数。
由第一相机捕获的第一图像帧和由第二相机捕获的第二图像帧可以具有相同的场景，并且处理器还可以配置为基于至少一个转换参数生成光度对准系数，并且使用该光度对准系数生成至少一个中间图像帧。
处理器还可以配置为从至少一个中间图像帧之中确定针对每一中间图像帧的转换系数，并且基于光度对准系数以及各自所确定的转换系数来生成每一中间图像帧。
存储器还可以配置为存储第一相机和第二相机之间的切换延迟和帧速率，并且处理器还可以配置为基于切换延迟和帧速率来确定各自确定的转换系数。
由第一相机捕获的第一图像帧和由第二相机捕获的第二图像帧可以具有相同的场景，并且处理器还可以配置为基于至少一个转换参数生成颜色对准系数，并且使用该颜色对准系数生成至少一个中间图像帧。
处理器还可以配置为从至少一个中间图像帧之中确定针对每一中间图像帧的转换系数，并且基于颜色对准系数以及各自确定的转换系数来生成每一中间图像帧。
存储器还可以配置为存储第一相机和第二相机之间的切换延迟以及帧速率，并且处理器还可以配置为基于切换延迟和帧速率来确定各自确定的转换系数。
附图说明
本公开的某些实施例的上述和其他方面、特征和优点将从以下结合附图的描述中变得更加显而易见，其中：
图1是根据实施例的电子设备在第一镜头和第二镜头之间进行切换的示例性视图；
图2示出根据实施例的电子设备的各种硬件组件；
图3示出根据实施例的包括在电子设备中的处理器的各种硬件组件；
图4是根据实施例的帧生成引擎计算要生成的多个帧的示例性情景；
图5是示出根据实施例的用于在电子设备中的第一镜头和第二镜头之间进行切换的方法的流程图；
图6和图7是根据实施例的描绘了镜头之间的无缝转换的示例性情景；
图8是示出根据实施例的用于在电子设备中在第一镜头和第二镜头之间进行切换的各种操作的示例性流程图；
图9是根据实施例的电子设备计算空间对准数据的示例性情景；
图10是根据实施例的电子设备计算相对于位置(即，帧中心对准)和尺度(即，对象的大小)的空间对准数据的示例性情景；
图11是根据实施例的电子设备计算光度对准数据的示例性情景；
图12是根据实施例的电子设备确定颜色对准数据的示例性情景；
图13是示出根据实施例的生成用于从第一镜头平滑变换到第二镜头的中间帧的各种操作的示例性流程图；
图14是示出根据实施例的用于执行空间对准程序的各种过程的示例性流程图；
图15是示出根据实施例的用于执行光度对准程序的各种过程的示例性流程图；
图16是示出根据实施例的用于执行颜色对准程序的各种过程的示例性流程图；以及
图17是示出根据实施例的用于确定生成的帧的数量的各种过程的示例性流程图。
具体实施方式
本文的实施例及其各种特征和有利细节将参考附图中所示的和以下描述中所详述的非限制性实施例来进行更全面地解释。省略了对众所周知的组件和处理技术的描述，以便不会不必要地使本文的实施例不清楚。此外，本文的各种实施例不必相互排斥，因为一些实施例可以与一个或多个其他实施例组合以形成新的实施例。除非另有说明，否则本文所用的术语“或”是指非排他性的“或”。本文所用的示例仅旨在有助于理解可实践本文实施例的方式，且进一步使所属领域的技术人员能够实践本文实施例。因此，不应将示例解释为限制本文的实施例的范围。
可以根据执行所描述的一个或多个功能的块来描述和说明实施例。这些在本文中可以被称为单元或模块等的块在物理上由模拟或数字电路(例如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件和软件驱动。例如，电路可以在一个或多个半导体芯片中实施，或者在诸如印刷电路板等的衬底支撑件上实施。构成块的电路可以由专用硬件实现，或由处理器(例如，一个或多个编程的微处理器和相关联的电路)实现，或由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下，实施例的每个块可以被物理地分成两个或更多交互且离散的块。同样，在不脱离本公开的范围的情况下，可以将实施例的块物理地组合成更复杂的块。
附图用于帮助容易地理解各种技术特征，并且应当理解的是，本文呈现的实施例不受附图的限制。因此，本公开应当被解释为除了在附图中具体阐述的那些内容之外还扩展到任何改变、等同和替代。尽管术语“第一”、“第二”等在本文中可用于描述各种元件，但这些元件不应受到这些术语的限制。这些术语通常仅用于将一个元件与另一元件区分开。
因此，本文的实施例实现了一种在电子设备中进行的用于在第一镜头和第二镜头之间进行切换的方法。该方法包括由电子设备显示展示第一镜头的视场(FOV)的第一帧。此外，该方法包括由电子设备检测从第一镜头切换到第二镜头的事件。此外，该方法包括由电子设备生成用于平滑地从第一帧变换到第二帧的至少一个中间帧，该第二帧示出第二镜头的FOV。此外，该方法包括由电子设备从第一镜头切换到第二镜头，并显示展示第二镜头的FOV的第二帧。在执行切换的同时，在第一帧和第二帧之间显示至少一个中间帧。
与传统的方法和系统不同，电子设备基于与空间变换、光度和颜色对准相关计算的离线信息生成中间帧。所生成的帧在第一镜头预览(即，源镜头预览)与第二镜头预览(即，目标镜头预览)之间进行平滑地变换。电子设备利用源帧、离线的空间对准数据、光度数据和颜色对准数据来执行该变换。这使得提高了用户体验。
电子设备从显示来自一个相机的帧切换到显示来自另一相机的帧。转换表包含用于各种转换(例如，广角到超广角、长焦到广角、广角到长焦等)的预先计算和预先校准的信息。该信息包括精确的切换延迟、镜头的FOV、相机的颜色和饱和度分布等。电子设备利用来自单个相机的帧和转换表来生成中间帧的最终输出。例如，电子设备计算连续帧之间的间隔、每个生成的帧的缩放和位置变换、每个帧的颜色校正以及每个帧的光度校正。这使得提高了用户体验。
图1是示出根据实施例的电子设备(100)在第一镜头和第二镜头之间进行切换的过程的示例性视图。电子设备(100)可以是例如但不限于蜂窝电话、智能电话、个人数字助理(PDA)、平板电脑、笔记本电脑、智能手表、物联网(IoT)设备、多相机系统等。第一镜头和第二镜头可以是例如但不限于广角镜头、超广角镜头、长焦镜头等。
在实施例中，电子设备(100)配置为显示展示第一镜头的FOV的第一帧。此外，电子设备(100)配置为检测从第一镜头切换到第二镜头的事件。此外，电子设备(100)配置为生成用于从第一镜头平滑地变换到第二镜头的至少一个中间帧。
在实施例中，通过以下步骤来生成用于从第一镜头平滑转换到第二镜头的至少一个中间帧：确定从示出第一镜头的FOV的第一帧到示出第二镜头的FOV的第二帧的镜头切换延迟；检测至少一个镜头转换参数以生成至少一个中间帧；获取空间对准数据、光度对准数据和颜色对准数据中的至少一个；以及基于空间对准数据、光度对准数据和颜色对准数据中的至少一个、至少一个镜头转换参数、以及镜头切换延迟来生成第一帧与第二帧之间的至少一个中间帧。
在实施例中，通过以下步骤来获取空间对准数据：当电子设备(100)处于空闲模式时捕获与第一镜头相关联的单帧和与第二镜头相关联的单帧，调整与第一镜头相关联的单帧和与第二镜头相关联的单帧的大小为预览分辨率大小，计算与第一镜头相关联的单帧和与第二镜头相关联的单帧中的特征点，使用与第一镜头相关联的单帧和与第二镜头相关联的单帧之间的单应性关系来计算变换矩阵以及使用变换矩阵来获取空间对准数据。其中，变换矩阵包括与第一镜头相关联的单帧和与第二镜头相关联的单帧的缩放、与第一镜头相关联的单帧和与第二镜头相关联的单帧的旋转以及与第一镜头相关联的单帧和与第二镜头相关联的单帧的平移。在图14中解释空间对准程序的详细操作。
在实施例中，通过以下步骤来获取光度对准数据：针对所生成的帧计算变换矩阵，基于变换矩阵计算校正因子以及基于校正因子获取光度对准数据。在图15中解释光度对准程序的详细操作。
在实施例中，通过以下步骤来获取颜色对准数据：针对所生成的帧计算变换矩阵，基于变换矩阵计算针对颜色对准数据的校正因子，以及基于校正因子获取颜色对准数据。在图16中解释颜色对准程序的详细操作。
在实施例中，至少一个镜头转换参数是第一镜头的F值、第一镜头的FOV、第一镜头的颜色分布、第一镜头的饱和度分布、第二镜头的F值、第二镜头的FOV、第二镜头的颜色分布、第二镜头的饱和度分布、第一镜头和第二镜头之间的缩放因子(scale factor)。第一镜头和第二镜头的组合的单个缩放因子、第一镜头和第二镜头之间的枢轴以及第一镜头和第二镜头的组合的单个枢轴值(pivot value)。
在实施例中，至少一个中间帧是相对于第一帧和第二帧在空间上对准、相对于第一帧和第二帧在光度上对准以及相对于第一帧和第二帧在颜色上对准中的至少一种。在图13中解释为了从第一镜头(150)平滑变换到第二镜头(160)而生成的中间帧的详细操作。
此外，电子设备(100)配置为从第一镜头切换到第二镜头并显示展示第二镜头的FOV的第二帧。在执行切换期间，在第一帧和第二帧之间显示至少一个中间帧。换句话说，在显示第一帧之后以及显示第二帧之前显示至少一个中间帧。
在实施例中，通过以下步骤来确定要生成的至少一个中间帧：使用镜头转换参数确定空间对准数据，并基于所确定的空间对准数据和镜头转换参数确定要生成的至少一个中间帧。
在实施例中，在图6和图7中示出镜头之间的无缝转换。
例如，如图7中所示，当在宽FOV图像中没有足够的细节可用时，电子设备(100)的用户在具有较宽FOV的图像上调用手势缩放，以便平滑转换到具有较窄FOV的图像。类似地，当在较窄FOV图像中没有足够的细节可用时，电子设备(100)的用户在具有较窄FOV的图像上调用手势缩放，以便平滑转换到具有较宽FOV的图像。
图2示出根据本文所公开的实施例的电子设备(100)的各种硬件组件。在实施例中，电子设备(100)包括处理器(110)、通信器(120)、存储器(130)、显示器(140)、第一镜头(150)、第二镜头(160)和应用(170)。处理器(110)与通信器(120)、存储器(130)、显示器(140)、第一镜头(150)、第二镜头(160)和应用(170)一起被提供。应用(170)可以是例如但不限于与美颜相关的应用、相机应用、与健康相关的应用等。
在实施例中，处理器(110)配置为显示展示第一镜头(150)的FOV的第一帧。此外，处理器(110)配置为检测引起从第一镜头(150)切换到第二镜头(160)的事件。此外，处理器(150)配置为生成用于从第一镜头(150)平滑地变换到第二镜头(160)的至少一个中间帧。此外，处理器(110)配置为从第一镜头(150)切换到第二镜头(160)并显示展示第二镜头(160)的FOV的第二帧。在执行切换期间，在显示器(140)上在第一帧和第二帧之间显示至少一个中间帧。显示在显示器(140)上的至少一个中间帧可以是用户可见的或者可以是用户不可见的。
处理器(110)配置为执行存储在存储器(130)中的指令并执行各种处理。通信器(120)配置为用于经由一个或多个网络在内部硬件组件之间进行内部通信以及与外部设备进行通信。
存储器(130)还存储要由处理器(110)执行的指令。存储器(130)可以包括非易失性存储元件。此类非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、快闪存储器或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。此外，在一些示例中，存储器(130)可以被认为是非暂时性存储介质。术语“非暂时性”可以表示该存储介质没有在载波或传播信号中实施。然而，术语“非暂时性”不应被解释为存储器(130)是不可移动的。在一些实例中，存储器(130)可以配置为存储比存储器更大量的信息。在某些示例中，非暂时性存储介质可以存储可随时间改变的数据(例如，在随机存取存储器(RAM)或高速缓冲存储器中)。
尽管图2示出电子设备(100)的各种硬件组件，但是应当理解的是，其他实施例不限于此。在其他实施例中，电子设备(100)可以包括更少或更多的组件。此外，组件的附图标记或名称仅用于说明的目的，而不限制本公开的范围。可以将一个或多个组件组合在一起以执行相同或基本上类似的功能，从而在电子设备(100)中的第一镜头(150)和第二镜头(160)之间进行切换。
图3示出根据实施例的包括在电子设备(100)中的处理器(110)的各种硬件组件。在实施例中，处理器(110)包括事件检测器(110a)、帧生成引擎(110b)、镜头切换延迟确定引擎(110c)、空间对准数据确定引擎(110d)、光度对准数据确定引擎(110e)和颜色对准数据确定引擎(110f)。
在实施例中，事件检测器(110a)配置为显示展示第一镜头(150)的FOV的第一帧，并检测引起从第一镜头(150)切换到第二镜头(160)的事件。此外，帧生成引擎(110b)配置为使用镜头切换延迟确定引擎(110c)、空间对准数据确定引擎(110d)、光度对准数据确定引擎(110e)和颜色对准数据确定引擎(110f)生成用于从第一镜头(150)(即，从示出第一镜头的FOV的第一帧)平滑地变换到第二镜头(160)(即，到示出第二镜头的FOV的第二帧)的至少一个中间帧。此外，帧生成引擎(110b)配置为从第一镜头(150)切换到第二镜头(160)并显示展示第二镜头(160)的FOV的第二帧。在执行切换期间，在第一帧和第二帧之间显示至少一个中间帧。
空间对准数据确定引擎(110d)配置为处理第一帧和第二帧之间的空间对准失配。光度对准数据确定引擎(110e)配置为处理第一帧和第二帧之间的不同曝光。颜色对准数据确定引擎(110f)配置为处理第一帧和第二帧之间的色差。
尽管图3示出处理器(110)的各种硬件组件，但是应当理解的是，其他实施例不限于此。在其他实施例中，处理器(110)可以包括更少或更多的组件。此外，组件的附图标记或名称仅用于说明目的，而不限制本公开的范围。可以将一个或多个组件组合在一起以执行相同或基本上类似的功能，从而在电子设备(100)中的第一镜头(150)和第二镜头(160)之间进行切换。
图4是根据实施例的帧生成引擎(110b)计算要生成的多个帧的示例性情景。帧生成引擎(110b)利用转换表，该转换表保存用于各种转换(例如，广角镜头到超广角镜头、长焦镜头到广角镜头、广角镜头到长焦镜头等)的预先计算和预先校准的信息。该信息包括镜头(150和160)的切换延迟、缩放因子、颜色和饱和度分布等。帧生成引擎(110b)使用转换表计算要生成的用于显示的多个帧。
在示例中，转换表1至6是用于具有三个镜头(例如，超广角镜头、广角镜头、长焦镜头等)的电子设备的示例表。针对镜头转换的每种组合，转换表显示转换中使用的相应转换参数。下面简要说明转换表中所示的参数。
“启用”参数表示转换表是启用还是禁用(取决于电子设备(100)的镜头配置)。“切换延迟”参数表示源镜头的帧和目标镜头的帧之间的延迟。“缩放因子X”参数表示源镜头和目标镜头之间的X缩放因子。“缩放因子Y”参数表示源镜头和目标镜头之间的Y缩放因子。“枢轴X”参数表示用于在源镜头帧和目标镜头帧之间转换的枢轴点的X值。“枢轴Y”参数表示用于在源镜头帧和目标镜头帧之间转换的枢轴点的Y值。“亮度”参数表示目标镜头帧的以平均值和标准差表示的亮度分布。“颜色”参数表示目标镜头帧的以平均值和标准差表示的颜色分布。枢轴点是在转换期间保持恒定并且可以使用X和Y坐标指定的源目标镜头帧和目标镜头帧之间的点。
【表1】
【表2】
【表3】
【表4】
【表5】
【表6】
转换表1至6仅是示例，并且是为了理解转换参数而提供的。此外，可以基于用户设置、原始设备制造商(OEM)和电子设备(100)的配置中的至少一者来改变转换表1至6的值。
图5是示出根据实施例的用于在电子设备(100)中的第一镜头(150)和第二镜头(160)之间进行切换的方法的流程图(500)。操作(502-508)由处理器(110)执行。
在502处，方法包括显示展示第一镜头(150)的FOV的第一帧。在504处，方法包括检测引起从第一镜头(150)切换到第二镜头(160)的事件。在506处，方法包括生成至少一个中间帧，用于从第一镜头(150)平滑变换到第二镜头(160)。在508处，方法包括从第一镜头(150)切换到第二镜头(160)并显示展示第二镜头(160)的FOV的第二帧。在执行切换期间，在第一帧和第二帧之间显示至少一个中间帧。
图8是示出根据实施例的用于在电子设备(100)中的第一镜头(150)和第二镜头(160)之间进行切换的各种操作的示例性流程图。在802处，电子设备(100)获取帧(即，来自第一镜头FOV的最后一帧和来自第二镜头FOV的第一帧)。在804处，电子设备(100)基于第一镜头FOV的最后一帧和第二镜头FOV的第一帧生成具有空间对准数据的中间帧。在806处，电子设备(100)生成具有光度对准数据的中间帧。在808处，电子设备(100)生成具有颜色对准数据的中间帧。在810处，电子设备(100)组合帧。在812处，电子设备(100)呈现帧。
图9是根据实施例的电子设备(100)计算空间对准数据的示例性情景。
例如，电子设备(100)捕获保持电子设备静止的一对广角帧和超广角帧。此外，电子设备(100)调整两个图像的大小为预览分辨率。此外，电子设备(100)计算两个图像中的拐角点。此外，电子设备(100)使用单应矩阵来计算变换矩阵。这里，单应矩阵是将一个图像中的点映射到另一图像中的相应点的变换矩阵(例如，3×3矩阵)。当应用于源帧数据时，变换矩阵影响源帧数据的缩放、旋转和平移。针对空间对准，电子设备(100)需要缩放和枢轴数据。此外，电子设备(100)仅使用缩放和枢轴数据来构造变换矩阵。在示例中，下面的矩阵被用于计算空间对准数据。
如参考上面的转换表所描述的，在这个示例中，sx和sy表示缩放因子X和Y，px和py表示枢轴因子X和Y。
图10是根据实施例的电子设备(100)计算相对于位置(即，帧中心对准)和尺度(scale)(即，对象的大小)的空间对准数据的示例性情景。
在超广角帧和广角帧中，帧的中心点是不同的(例如，在超广角帧和广角帧中所显示的瓶子上的十字准线位置是不同的)。在实施例中，使用所生成的中间帧，空间对准数据将中心从超广角中心逐渐移动到广角中心。超广角帧和广角帧的尺度是不同的(例如，超广角帧中的瓶子的尺寸比广角帧中的小)。因此，使用所生成的中间帧，尺度也从超广角尺度逐渐移动到广角尺度。
图11是根据实施例的电子设备(100)计算光度对准数据的示例性情景。
在左侧，示出来自第一镜头(即，广角镜头)的最后一帧的光度直方图。来自第一镜头的最后一帧被用作光度对准的参考图像。在右侧，示出来自第二镜头(即，超广角镜头)的第一预览帧。如图11所示，来自第二镜头的第一预览帧的光度直方图与来自第一镜头的最后一帧的光度直方图不同。电子设备(100)使用光度对准数据确定引擎(110e)将中间帧与目标帧逐渐在光度上对准。从直方图平移来看，来自第一镜头和第二镜头的帧在光度上是不同的。在没有光度对准的情况下，亮度将突然变化。
图12是根据实施例的电子设备(100)确定颜色对准数据的示例性情景。
考虑到，用于颜色对准数据的参考图像显示在图12的左侧(即，来自第一镜头(即，广角镜头)的最后一帧)。电子设备(100)生成具有低饱和度的在光度上不对准的帧。在转换之后，电子设备(100)示出来自第二镜头(即，超广角镜头)的第一预览帧。电子设备(100)生成具有光度对准数据以及逐渐变化的饱和度的帧。电子设备(100)使用颜色对准数据确定引擎(110f)修改中间帧的颜色，使得颜色逐渐改变，用以进行无缝转换。
图13是示出根据实施例的生成用于从第一镜头(150)平滑变换到第二镜头(160)的中间帧的各种操作的示例性流程图(1300)。由帧生成引擎(110b)执行操作(1302-1318)。
在1302处，电子设备(100)的用户启动从第一镜头(150)到第二镜头(160)的平滑变换。在1304处，电子设备(100)使用来自相应转换表的镜头转换参数来计算对准参数。在1306处，电子设备(100)针对要生成的每个中间帧生成帧索引。如以下参考图14所述，基于切换延迟(TSD)和目标帧速率(FPS)来确定要生成的中间帧的数量N。在1308处，电子设备(100)将帧号与最后一帧的帧号N进行比较。如果帧号不小于最后一帧的帧号，则在1318处，该方法将停止。如果帧号小于最后一帧的帧号，则在1310处，电子设备(100)执行空间对准程序。在1312处，电子设备(100)执行光度对准程序。在1314处，电子设备(100)执行颜色对准程序。在1316处，电子设备(100)通过在执行空间对准程序、光度对准程序和颜色对准程序之后组合帧来显示帧。
图14是示出根据实施例的用于执行空间对准程序的各种过程的示例性流程图(1400)。操作(1402-1416)由空间对准数据确定引擎(110d)执行。
在1402处，电子设备(100)获取转换表信息。在1404处，电子设备(100)计算要生成的帧的数量(即，N＝TSD/FPS)。在1406处，电子设备(100)确定帧号是否大于最后一帧的帧号。如果帧号大于最后一帧的帧号，则在1416处，该方法将停止。如果帧号不大于最后一帧的帧号，则在1408处，电子设备(100)计算αf(即，αf＝F(f，N，模式))。这里，项αf是在确定针对帧f的变换矩阵时使用的系数。对于帧f和帧的总数N，αf＝(N-f)/N。在1410处，电子设备(100)计算变换矩阵(即，Mf＝αf*Z+(1-af)*T)。如下所述，这里，矩阵Z是针对帧0的变换矩阵，矩阵T是针对帧N的变换矩阵。在1412处，电子设备(100)利用所确定的变换矩阵执行仿射变换。在1414处，电子设备(100)显示帧。
在示例中，帧生成引擎(110b)相对于空间对准数据的工作如下所示：
空间对准示例：
可以使用从转换表信息识别的至少一个镜头转换参数来计算变换矩阵。
考虑切换延迟(ms)：TSD，目标帧速率(FPS)：F，则要生成的帧(N)＝TSD/F，
针对帧0的变换矩阵
针对帧N的变换矩阵
然后，针对每个生成帧的变换矩阵是：
Mf＝αf*Z+(1-αf)*T
其中，f是帧号以及αf＝F(f，N，模式)
考虑其中TSD＝720ms，F＝60fps，则N＝(720/60)＝12，以及 的示例，
α1＝0.92，α2＝0.83，α3＝0.75……αN＝0
图15是示出根据实施例的用于执行光度对准程序的各种过程的示例性流程图(1500)。由光度对准数据确定引擎(110e)执行操作(1502-1516)。
在1502处，电子设备(100)获取转换表信息。在1504处，电子设备(100)计算要生成的帧的数量(即，N＝TSD/FPS)。在1506处，电子设备(100)确定帧号是否大于最后一帧的帧号。如果帧号大于最后一帧的帧号，则在1516处，该方法将停止。如果帧号不大于最后一帧的帧号，则在1508处，电子设备(100)计算αf(即，αf＝F(f，N，模式))。这里，项αf是在确定帧f的变换矩阵时使用的系数。对于帧f和帧的总数N，αf＝(N-f)/N。在1510处，电子设备(100)计算强度均值-标准差校正Pf＝αf*Y+(1-af)*S。如下所述，这里，Y是针对帧0的校正因子，S是帧N的校正因子。在1512处，电子设备(100)提供利用校正因子Pf的光度对准。在1514处，电子设备(100)显示帧。
在示例中，帧生成引擎(110b)相对于光度对准数据的工作如下所示：
考虑切换延迟(ms)：TSD，目标帧速率(FPS)：F，要生成的帧(N)＝TSD/F，平均校正因子：CMean，标准差校正因子：CSTD，
针对帧0的校正因子(Y)：Ymean＝1.0，YSTD＝1.0，以及针对帧N的校正因子(S)：Smean＝Cmean，SSTD＝CSTD，
则，针对每个生成的帧的校正因子Pf(即)是：Pf＝αf*Y+(1-αf)*S，其中，f是帧号，αf＝F(f，N，模式)。
考虑TSD＝720ms，F＝60fps，N＝(720/60)＝12，α1＝0.92，α2＝0.83，α3＝0.75，……αN＝0，
使用上述公式，可以计算针对每个中间帧的校正因子P1、P2、P3……PN。
根据以下关系应用光度对准来生成每个中间帧：
【数学公式1】
其中，Lf是帧f的强度通道，LfMean是帧f的平均强度。
电子设备(100)对颜色对准数据应用相同的逻辑。
图16是示出根据实施例的用于执行颜色对准程序的各种过程的示例性流程图(1500)。由颜色对准数据确定引擎(110f)执行操作(1602-1616)。
在1602处，电子设备(100)获取转换表信息。在1604处，电子设备(100)计算要生成的帧的数量(即，N＝TSD/FPS)。在1606处，电子设备(100)确定帧号是否大于最后一帧的帧号。如果帧号大于最后一帧的帧号，则在1616处，该方法将停止。如果帧号不大于最后一帧的帧号，则在1608处，电子设备(100)计算αf(即，αf＝F(f，N，模式))。这里，项αf是在确定帧f的变换矩阵时使用的系数。对于帧f和帧的总数N，αf＝(N-f)/N。在1610处，电子设备(100)计算颜色均值-标准差校正Cf＝αf*X+(1-af)*R。如下所述，这里，X是帧0的校正因子，R是帧N的校正因子。在1612处，电子设备(100)提供具有校正因子Cf的颜色对准数据。在1614处，电子设备(100)显示帧。
图17是示出根据实施例的用于确定要生成的帧的数量的各种过程的示例性流程图(1700)。操作(1702-1706)由帧生成引擎(110b)执行。
在1702处，电子设备(100)获取转换表信息。在1704处，电子设备(100)计算要生成的帧的数量(即，N＝TSD/FPS)。在1706处，电子设备(100)显示帧。
流程图(500、800和1300-1700)中的各种举措、动作、块、步骤等可以以所呈现的顺序执行，以不同的顺序执行或同时执行。此外，在一些实施例中，在不脱离本公开的范围的情况下，可以对行为、动作、块、步骤等中的一些进行省略、添加、修改、跳过等。
可以使用在至少一个硬件设备上运行并执行网络管理功能以控制元件的至少一个软件程序来实现本文公开的实施例。
前面对具体实施例的描述将如此完全地揭示本文中的实施例的一般性质，使得在不脱离一般构思的情况下，其他实施例可以通过应用当前知识而容易地进行修改和/或适配于各种应用，且因此，此类适配和修改将且旨在被理解在所公开的实施例的等效方案的意义和范围内。应当理解的是，本文使用的措辞或术语是为了描述的目的而不是限制的目的。因此，虽然已经根据优选实施例描述了本文的实施例，但是本领域的技术人员将认识到，可以在本文描述的实施例的精神和范围内进行修改来实践本文的实施例。

Claims (15)

1.由电子设备执行的方法，其中，所述电子设备包括第一相机和第二相机，所述方法包括：
由所述电子设备显示具有所述第一相机的第一视场FOV的第一帧；
由所述电子设备检测使得所述电子设备从显示具有所述第一FOV的所述第一帧到显示具有所述第二相机的第二FOV的第二帧的第一事件；
基于检测到所述第一事件，由所述电子设备生成在显示所述第一帧之后且在显示所述第二帧之前显示的第一数量的中间帧；以及
在显示所述第一数量的中间帧之后，由所述电子设备显示来自所述第二相机的所述第二帧，
其中，在显示所述第一帧之后且在显示所述第二帧之前显示所述第一数量的中间帧，
其中，在检测到第二事件时生成第二数量的中间帧，所述第二事件使得所述电子设备从显示由所述第二相机捕获的第三帧转换到显示由所述第一相机捕获的第四帧，以及
其中，所述第一数量不同于所述第二数量。
2.如权利要求1所述的方法，其中，生成所述第一数量的中间帧包括：
确定从显示所述第一帧的第一时间到显示所述第二帧的第二时间的镜头切换延迟；
识别所述第一相机和所述第二相机的至少一个转换参数以生成所述第一数量的中间帧；
获取所述第一相机和所述第二相机的空间对准数据、光度对准数据和颜色对准数据之中的至少一个；以及
基于所述空间对准数据、所述光度对准数据和所述颜色对准数据之中的所述至少一个、所述至少一个转换参数、以及所述镜头切换延迟来生成所述第一数量的中间帧。
3.如权利要求1所述的方法，其中，所述第一数量的中间帧是相对于所述第一帧和所述第二帧在空间上对准、相对于所述第一帧和所述第二帧在光度上对准以及相对于所述第一帧和所述第二帧在颜色上对准之中的至少一种。
4.如权利要求2所述的方法，还包括：
确定要生成的所述第一数量的中间帧，
其中，确定要生成的所述第一数量的中间帧包括：
使用所述至少一个转换参数来确定所述空间对准数据；以及
基于所确定的空间对准数据和所述至少一个转换参数来确定要生成的所述第一数量的中间帧。
5.如权利要求2所述的方法，其中，通过以下步骤获取所述空间对准数据：
当所述电子设备处于空闲模式时，捕获与所述第一相机相关联的第一单帧以及与所述第二相机相关联的同一场景的第二单帧；
调整所述第一单帧和所述第二单帧的大小为预览分辨率大小；
计算所述第一单帧和所述第二单帧中的特征点；
使用所识别的至少一个转换参数以及所述第一单帧和所述第二单帧之间的单应性关系来计算变换矩阵，其中所述变换矩阵包括所述第一单帧的第一缩放、所述第二单帧的第二缩放、所述第一单帧的第一旋转、所述第二单帧的第二旋转、所述第一单帧的第一平移以及所述第二单帧的第二平移；以及
使用所述变换矩阵来获取所述空间对准数据。
6.如权利要求2所述的方法，其中，通过以下步骤获取所述光度对准数据：
针对所生成的第一数量的中间帧计算变换矩阵；
基于所述变换矩阵计算校正因子；以及
基于所述校正因子获取所述光度对准数据。
7.如权利要求2所述的方法，其中，通过以下步骤获取所述颜色对准数据：
针对所生成的第一数量的中间帧计算变换矩阵；
基于所述变换矩阵计算针对所述颜色对准数据的校正因子；以及
基于所述校正因子获取所述颜色对准数据。
8.如权利要求2所述的方法，其中，所述至少一个转换参数包括所述第一相机的F值、所述第一相机的FOV、所述第一相机的颜色分布、所述第一相机的饱和度分布、所述第二相机的F值、所述第二相机的FOV、所述第二相机的颜色分布、所述第二相机的饱和度分布、所述第一相机的缩放因子、所述第二相机的缩放因子、所述第一相机和所述第二相机之间的缩放因子、所述第一相机和所述第二相机的组合的单个缩放因子、所述第一相机和所述第二相机之间的枢轴以及所述第一相机和所述第二相机的组合的单个枢轴值。
9.电子设备，包括：
第一相机和第二相机；
存储器；
处理器，与所述存储器联接，所述处理器配置为：
显示具有所述第一相机的第一视场FOV的第一帧；
检测使得所述电子设备从显示具有所述第一FOV的所述第一帧到显示具有所述第二相机的第二FOV的第二帧的第一事件；
基于检测到所述第一事件，生成在显示所述第一帧之后且在显示所述第二帧之前显示的第一数量的中间帧；以及
在显示所述第一数量的中间帧之后，显示来自所述第二相机的所述第二帧，
其中，在显示所述第一帧之后且在显示所述第二帧之前显示所述第一数量的中间帧，
其中，在检测到第二事件时生成第二数量的中间帧，所述第二事件使得所述电子设备从显示由所述第二相机捕获的第三帧转换到显示由所述第一相机捕获的第四帧，以及
其中，所述第一数量不同于所述第二数量。
10.如权利要求9所述的电子设备，其中，所述处理器还配置为：
确定从显示所述第一帧的第一时间到显示所述第二帧的第二时间的镜头切换延迟；
识别所述第一相机和所述第二相机的至少一个转换参数以生成所述第一数量的中间帧；
获取所述第一相机和所述第二相机的空间对准数据、光度对准数据和颜色对准数据之中的至少一个；以及
基于所述空间对准数据、所述光度对准数据和所述颜色对准数据之中的至少一个、所述至少一个转换参数、以及所述镜头切换延迟来生成所述第一数量的中间帧。
11.如权利要求9所述的电子设备，其中，所述第一数量的中间帧是相对于所述第一帧和所述第二帧在空间上对准、相对于所述第一帧和所述第二帧在光度上对准、以及相对于所述第一帧和所述第二帧在颜色上对准之中的至少一种。
12.如权利要求10所述的电子设备，其中，所述处理器还配置为：
使用所述至少一个转换参数来确定所述空间对准数据；以及
基于所确定的空间对准数据和所述至少一个转换参数来确定要生成的所述第一数量的中间帧。
13.如权利要求10所述的电子设备，其中，所述处理器还配置为：
当所述电子设备处于空闲模式时，捕获与所述第一相机相关联的第一单帧以及与所述第二相机相关联的同一场景的第二单帧；
调整所述第一单帧和所述第二单帧的大小为预览分辨率大小；
计算所述第一单帧和所述第二单帧中的特征点；
使用所识别的至少一个转换参数以及所述第一单帧和所述第二单帧之间的单应性关系来计算变换矩阵，其中所述变换矩阵包括所述第一单帧的第一缩放、所述第二单帧的第二缩放、所述第一单帧的第一旋转、所述第二单帧的第二旋转、所述第一单帧的第一平移以及所述第二单帧的第二平移；以及
使用所述变换矩阵来获取所述空间对准数据。
14.如权利要求10所述的电子设备，
其中，所述光度对准数据通过以下步骤获取：
针对所生成的第一数量的中间帧计算变换矩阵；
基于所述变换矩阵计算校正因子；以及
基于所述校正因子获取所述光度对准数据，以及
其中，所述光度对准数据通过以下步骤获取：
针对所生成的第一数量的中间帧计算变换矩阵；
基于所述变换矩阵计算针对所述颜色对准数据的校正因子；以及
基于所述校正因子获取所述颜色对准数据。
15.如权利要求10所述的电子设备，其中，所述至少一个转换参数包括所述第一相机的F值、所述第一相机的FOV、所述第一相机的颜色分布、所述第一相机的饱和度分布、所述第二相机的F值、所述第二相机的FOV、所述第二相机的颜色分布、所述第二相机的饱和度分布、所述第一相机的缩放因子、所述第二相机的缩放因子、所述第一相机和所述第二相机之间的缩放因子、所述第一相机和所述第二相机的组合的缩放因子、所述第一相机和所述第二相机之间的枢轴以及所述第一相机和所述第二相机的组合的单个枢轴值。
CN201980067152.4A 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备 Active CN112930677B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211597708.0A CN115866394A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN202311477673.1A CN117336602A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201841038833 2018-10-12
IN201841038833 2019-10-07
PCT/KR2019/013388 WO2020076128A1 (en) 2018-10-12 2019-10-11 Method and electronic device for switching between first lens and second lens

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202311477673.1A Division CN117336602A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN202211597708.0A Division CN115866394A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备

Publications (2)

Publication Number Publication Date
CN112930677A CN112930677A (zh) 2021-06-08
CN112930677B true CN112930677B (zh) 2023-11-10

Family

ID=70165357

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980067152.4A Active CN112930677B (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN202311477673.1A Pending CN117336602A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN202211597708.0A Pending CN115866394A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202311477673.1A Pending CN117336602A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN202211597708.0A Pending CN115866394A (zh) 2018-10-12 2019-10-11 用于在第一镜头和第二镜头之间切换的方法和电子设备

Country Status (4)

Country Link
US (1) US11637957B2 (zh)
EP (1) EP3818689A4 (zh)
CN (3) CN112930677B (zh)
WO (1) WO2020076128A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US11115590B1 (en) 2020-03-04 2021-09-07 Gopro, Inc. Intelligent sensor switch during recording
US11509837B2 (en) * 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending
KR20220151451A (ko) * 2021-05-06 2022-11-15 삼성전자주식회사 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539942A (zh) * 2014-12-26 2015-04-22 赞奇科技发展有限公司 基于帧差聚类的视频镜头切换检测方法及其装置
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN106331524A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种识别镜头切换的方法及装置
WO2017025822A1 (en) * 2015-08-13 2017-02-16 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
CN107111864A (zh) * 2014-12-23 2017-08-29 华为技术有限公司 用于平滑视图切换和缩放的计算性多相机调整
CN108604373A (zh) * 2016-02-08 2018-09-28 高通股份有限公司 用于使用多个相机实施无缝缩放功能的系统和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000201285A (ja) * 1999-01-05 2000-07-18 Mitsubishi Electric Corp 撮影装置
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
KR101366091B1 (ko) * 2006-03-28 2014-02-21 삼성전자주식회사 영상 부호화 및 복호화 방법과 장치
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP2009060404A (ja) * 2007-08-31 2009-03-19 Denso Corp 映像処理装置
US8542287B2 (en) * 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
US8619198B1 (en) * 2009-04-28 2013-12-31 Lucasfilm Entertainment Company Ltd. Adjusting frame rates for video applications
TW201117594A (en) * 2009-11-09 2011-05-16 Kuo-Ching Chiang Portable device having sterio-image capturing module
US20160360121A1 (en) * 2009-11-09 2016-12-08 Yi-Chuan Cheng Portable device with successive extension zooming capability
JP4651745B2 (ja) * 2010-03-29 2011-03-16 株式会社デンソー 映像処理装置
GB2492529B (en) * 2011-05-31 2018-01-10 Skype Video stabilisation
JP2013165488A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム
US9183618B2 (en) * 2012-05-09 2015-11-10 Nokia Technologies Oy Method, apparatus and computer program product for alignment of frames
CN103391447B (zh) * 2013-07-11 2015-05-20 上海交通大学 3d节目镜头切换中安全深度保证与调整方法
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
CN105446631B (zh) * 2014-08-19 2019-02-12 昆山纬绩资通有限公司 具有照相功能的电子装置及照相方法
KR20170020069A (ko) * 2015-08-13 2017-02-22 엘지전자 주식회사 이동 단말기 및 그의 영상촬영 방법
KR102291525B1 (ko) * 2015-12-29 2021-08-19 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
CN107219710B (zh) * 2016-03-21 2020-12-08 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
WO2018007951A1 (en) * 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US10540824B1 (en) * 2018-07-09 2020-01-21 Microsoft Technology Licensing, Llc 3-D transitions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN107111864A (zh) * 2014-12-23 2017-08-29 华为技术有限公司 用于平滑视图切换和缩放的计算性多相机调整
CN104539942A (zh) * 2014-12-26 2015-04-22 赞奇科技发展有限公司 基于帧差聚类的视频镜头切换检测方法及其装置
WO2017025822A1 (en) * 2015-08-13 2017-02-16 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
CN108604373A (zh) * 2016-02-08 2018-09-28 高通股份有限公司 用于使用多个相机实施无缝缩放功能的系统和方法
CN106331524A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种识别镜头切换的方法及装置

Also Published As

Publication number Publication date
US20220086352A9 (en) 2022-03-17
CN115866394A (zh) 2023-03-28
CN112930677A (zh) 2021-06-08
WO2020076128A1 (en) 2020-04-16
CN117336602A (zh) 2024-01-02
EP3818689A1 (en) 2021-05-12
US20200120284A1 (en) 2020-04-16
US11637957B2 (en) 2023-04-25
EP3818689A4 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
CN112930677B (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
US9325899B1 (en) Image capturing device and digital zooming method thereof
US9558543B2 (en) Image fusion method and image processing apparatus
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
CN109474780B (zh) 一种用于图像处理的方法和装置
KR102512889B1 (ko) 이미지 융합 프로세싱 모듈
CN109409147B (zh) 一种条码识别方法和装置
US20220222830A1 (en) Subject detecting method and device, electronic device, and non-transitory computer-readable storage medium
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
CN112584034B (zh) 图像处理方法、图像处理装置及应用其的电子设备
CN111654637B (zh) 对焦方法、对焦装置及终端设备
US20160292842A1 (en) Method and Apparatus for Enhanced Digital Imaging
US8823820B2 (en) Methods and apparatuses for capturing an image
US20230033956A1 (en) Estimating depth based on iris size
CN110896444B (zh) 一种双摄像头切换方法和设备
CN110930440A (zh) 图像对齐方法、装置、存储介质及电子设备
WO2016071566A1 (en) Variable resolution image capture
US20230262333A1 (en) Method and electronic device for switching between first lens and second lens
CN111866383A (zh) 一种图像处理方法、终端及存储介质
CN110717944A (zh) 一种相机标定在智能手机、摄像头、数码相机里的应用
CN108377376B (zh) 视差计算方法，双摄像头模组和电子设备
US11206344B2 (en) Image pickup apparatus and storage medium
US20240121511A1 (en) Lens positioning for secondary camera in multi-camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant