CN113271406B - 具有多个图像源的图像处理的方法和系统 - Google Patents

具有多个图像源的图像处理的方法和系统 Download PDF

Info

Publication number
CN113271406B
CN113271406B CN202110090707.6A CN202110090707A CN113271406B CN 113271406 B CN113271406 B CN 113271406B CN 202110090707 A CN202110090707 A CN 202110090707A CN 113271406 B CN113271406 B CN 113271406B
Authority
CN
China
Prior art keywords
image
image frame
frame
image frames
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110090707.6A
Other languages
English (en)
Other versions
CN113271406A (zh
Inventor
尼尔·伍德尔
张洪敏
马越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Point By Point Co ltd
Original Assignee
Point By Point Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Point By Point Co ltd filed Critical Point By Point Co ltd
Publication of CN113271406A publication Critical patent/CN113271406A/zh
Application granted granted Critical
Publication of CN113271406B publication Critical patent/CN113271406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了具有多个图像源的图像处理的方法和系统。该方法和系统应用于多个照相机的图像处理。在一个实施方式中，该方法包括：采用被配置有不同的获取设置的多个图像帧源获取图像帧；基于不同的获取设置处理图像帧以生成至少一个最终图像帧；以及输出至少一个最终图像帧。这样，可以利用来自诸如照相机的不同图像帧源的信息来实现提高的帧速率以及改进的图像质量和期望的运动外观。

Description

具有多个图像源的图像处理的方法和系统
技术领域
本文公开的主题的实施方式涉及用于具有多个图像源的系统的图像处理。
背景技术
随着照相机技术从摄影胶片发展到数字图像传感器，照相机的尺寸已经减小到将照相机集成到用户可以方便携带的移动设备(例如，智能电话)中的程度。光学技术和图像传感器技术的进一步发展使这样的设备能够包括配置有不同焦距和视场的多个照相机，它们使用户不仅可以捕获高清照片，还可以捕获高清视频，同时在无需手动切换镜头的情况下轻松地在镜头之间切换。
发明内容
在一个实施方式中，一方法包括：采用被配置有不同的获取设置的多个图像帧源获取图像帧；基于不同的获取设置处理图像帧以生成至少一个最终图像帧；以及输出至少一个最终图像帧。这样，可以利用来自诸如照相机的不同图像帧源的信息来实现提高的帧速率以及改进的图像质量和期望的运动外观。
应该理解，以上简要描述被提供用来以简化的形式介绍在具体实施方式部分中进一步描述的许多概念。其并不意味着确定所要求保护的主题的关键或必要特征，所要求保护的主题的范围由所附权利要求唯一地限定。此外，所要求保护的主题不限于解决以上或本公开的任何部分中指出的任何缺点的实施方式。
附图说明
通过参照附图阅读以下非限制性实施方式的描述，将更好地理解本发明，在附图中：
图1表示高分层框图，其示出了根据一个实施方式的用于处理来自多个图像帧源的输出的示例图像处理系统；
图2表示高分层流程图，其示出了根据一个实施方式的用于对来自多个图像帧源的图像帧进行图像处理的示例方法；
图3表示高分层流程图，其示出了根据一个实施方式的用于对来自具有不同获取参数的两个图像帧源的图像帧进行图像处理的示例方法；
图4表示高分层框图，其示出了根据一个实施方式的用于利用从高帧速率的图像帧的运动估计来提高高分辨率的图像帧的帧速率的示例方法；
图5表示曲线图，其示出了根据一个实施方式的采用不同的图像帧源获取图像帧的示例定时；
图6表示高分层框图，其示出了根据一个实施方式的用于对来自两个图像帧源的图像帧进行图像处理的示例方法；
图7表示高分层流程图，其示出了根据一个实施方式的用于基于用多个图像帧源获取的图像帧来生成高动态范围的图像的示例方法；
图8表示高分层框图，其示出了根据一个实施方式的用于利用具有相同曝光的图像帧来改善具有不同曝光的图像帧的内插以生成高动态范围的图像的方法；
图9表示高分层流程图，其示出了根据一个实施方式的用于从以低帧速率进行获取的多个图像帧源的输出生成高帧速率视频的示例方法；
图10表示高分层示意图，其示出了根据一个实施方式的为了生成高帧速率视频的多个图像帧源的获取时间；
图11表示高分层框图，其示出了根据一个实施方式的用于通过调节时间相干性和运动模糊来管理多个图像帧流的示例数据流；
图12表示高分层框图，其示出了根据一个实施方式的用于管理多个图像帧流的示例数据流；以及
图13表示高分层示意图，其示出了根据一个实施方式的用于多个图像帧源的运动矢量。
具体实施方式
以下描述涉及图像处理的各种实施方式。特别地，提供了用于多照相机系统的图像处理的系统和方法。图像处理系统(例如，图1中描绘的系统)可以包括记录图像帧的多个照相机或图像帧源。可以对多个照相机的输出进行处理以产生具有期望运动外观的帧速率高(例如，高于每秒24帧的帧速率)的视频。为此，用于图像处理的方法(例如，图2中描绘的方法)利用来自采用不同的照相机获取的图像帧的信息生成包括一系列图像帧的改进的图像帧或视频。例如，如图3至图6所示，两个照相机可以以不同的帧速率和不同的分辨率获取视频，并且可以使用在帧速率较高的视频中估计的运动来改善分辨率较高、帧速率较低的视频的内插，以产生分辨率高、帧速率高的视频。作为另一个示例，如图7和图8所示，第一照相机可以采用不同曝光设置获取图像帧，而第二照相机采用一致的曝光设置获取图像帧，并且可以使用来自第二照相机的图像帧来改善来自第一照相机的图像帧的内插以产生高动态范围(HDR)的图像或视频。作为又一个示例，如图9所示，可以采用更多个照相机以相同的帧速率获取图像帧，并且可以将该图像帧组合或融合为具有更高帧速率的单个视频。如图10所示，通过调节不同照相机的初始获取时间之间的间隔，可以使最终视频的运动外观流畅或根据需要以其他方式对其进行调节。如图11所描绘的，可使用各种图像帧流来调节由各种图像帧流形成的单个图像帧流的时间相干性和运动模糊，或者如图12所描绘的，可以将各种图像帧流简单地组合成无需下游校正的单个图像帧流。如图13所描绘的，可以计算来自每个图像帧源的相邻的图像帧之间运动矢量以及图像帧源之间的运动矢量。
图1表示高分层框图，其示出了用于处理来自多个图像帧源110的输出的示例图像处理系统100。在一些示例中，图像处理系统100的组件可以被组合在共享外壳(未被示出)中，例如在单个照相机装置或移动电话内。替代地，图像处理系统100的一个或多个组件被配置为可以通信地耦合以形成图像处理系统100的外围设备。
多个图像帧源110至少包括第一图像帧源112和第二图像帧源114。多个图像帧源110中的每个图像帧源可以包括例如被配置为获取一个或多个图像帧的图像传感器或照相机。多个图像帧源可以采用已知的相对定位而彼此相邻地定位。例如，图像帧源可以是不同类型的照相机和/或可以被配置有不同的镜头。
图像处理系统100包括图像处理器120，该图像处理器120与多个图像帧源110通信地耦合，并且被配置为从多个图像帧源110接收图像帧。在一些示例中，图像处理器120可以被配置为控制一个或多个图像帧源110以调节一个或多个获取参数。如本文关于图2至图12进一步所述，图像处理器120被配置为处理从多个图像帧源110接收的图像帧。例如，图像处理器120可以利用来自由图像帧源112获取的图像帧的信息来改善由第二图像帧源114获取的图像帧。
图像处理器120可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，图像处理器120可包括被配置为执行软件指令的一个或多个处理器。附加地或替代地，图像处理器120可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机。图像处理器120可以是单核或多核，并且在其上执行的程序可以被配置为用于并行或分布式处理。
图像处理系统100还包括存储器124，该存储器124包括用于存储将由图像处理器120执行以执行本文进一步描述的方法的指令的非瞬态和瞬态存储器。存储器124还可以提供缓冲器和/或高速缓存，以用于存储与来自多个图像帧源110的图像帧的处理有关的数据，从而支持图像处理器120的功能。
图像处理系统100还包括显示器130，该显示器130与图像处理器120通信地耦合，并且被配置为显示由图像处理器120输出到显示器130的一个或多个图像帧。即，图像处理器120可以呈现由图像处理器120和/或存储器124保存或输出的数据的视觉表示。显示器130可以包括实际上利用任何类型的技术的显示设备。
图2表示高分层流程图，其示出了根据一个实施方式的用于对来自多个图像帧源的图像帧进行图像处理的示例方法200。特别地，方法200涉及采用多个图像帧源获取图像帧，并利用来自一个源的图像帧的信息来改善第二源的图像帧。按照图1的系统和组件描述方法200，但是应当理解，方法200可以在不脱离本公开的范围的情况下采用其他系统和组件来实现。方法200可以被实现为存储器124中的例如可由图像处理器120执行以实现本文描述的动作的指令。
方法200以205开始。在205中，方法200通过采用不同的获取设置的多个图像帧源获取图像帧。例如，方法200可以采用至少两个图像帧源获取图像帧，其中两个图像帧源配置有不同的获取设置。例如，如本文关于图3至图6进一步所述，第一图像帧源可以以第一帧速率和第一图像分辨率获取图像帧，而第二图像帧源可以以第二帧速率和第二图像分辨率获取图像帧，其中第一帧速率高于第二帧速率并且第一图像分辨率低于第二图像分辨率。作为另一个示例，如本文关于图7和图8进一步所述，第一图像帧源可以采用不同的曝光设置和第一帧速率获取图像帧，而第二图像帧源可以采用一致的曝光设置和高于第一帧速率的第二帧速率获取图像帧。作为又一个示例，如本文关于图9至图12进一步所述，多个图像帧源可以以相同的帧速率但以交错的初始获取时间和不同的快门角度来获取图像帧。
因此，在一些示例中，方法200可以直接从多个图像帧源获取图像帧(例如，实时地)。在其他示例中，可以在执行方法200之前通过多个图像帧源获取图像帧，因此方法200可以从非易失性存储器中获取图像帧(例如，不是实时地)。
在210中，方法200基于不同的获取设置处理图像帧以获得(多个)最终图像帧。例如，如本文关于图3至图6进一步所述，可以从帧速率高但分辨率低的图像帧确定运动估计，然后将其用于将帧速率低但分辨率高的图像帧内插成帧速率高、分辨率高的视频。作为另一个示例，如本文关于图7和图8进一步所述，可以从具有一致的曝光设置的高帧速率的图像帧确定运动估计，然后可以将其用于调节具有不同曝光的图像帧，以合并或内插为单个高动态范围的图像帧。作为又一个示例，如本文关于图9至图12进一步所述，可以从所有图像帧源的图像帧确定运动估计，可以根据需要将该运动估计用于改善或调节时间相干性和运动模糊。
在210中处理图像帧之后，方法200继续到215。在215中，方法200输出(多个)最终图像帧。(多个)最终图像帧可以在获得多个图像帧的示例中作为视频输出，或者作为单个图像帧输出。(多个)最终图像帧被输出到显示器(例如，显示器130)和存储器124中的至少一个。
在220中，方法200判断获取是否完成。如果获取未完成(“否”)，则方法200返回到205以继续采用多个图像帧源获取图像帧。一旦获取完成(“是”)，方法200返回。因此，本文描述的处理技术可以实时地应用于图像帧，使得可以对来自多个图像帧源的图像帧进行处理以生成高质量的视频、高帧速率的视频、高动态范围的视频及它们的组合(例如，高质量的高帧速率的视频、高质量的HDR视频等)。应当理解，尽管本文描述的方法可以实时地执行，但是这些方法也适用于后制作期间(即，在获取图像帧并将其存储在非易失性存储器中之后)的图像帧的后处理。
图3表示高分层流程图，其示出了根据一个实施方式的用于对来自具有不同获取参数的两个图像帧源的图像帧进行图像处理的示例方法300。按照图1的系统和组件描述方法300，但是应当理解，方法300可以在不脱离本公开的范围的情况下采用其他系统和组件来实现。方法300可以被实现为存储器124中的例如可由图像处理器120执行以实现本文描述的动作的指令。
方法300以302开始。在302中，方法300接收对预设的运动外观设置的选择。例如，这样的预设的运动外观设置可以由用户根据正在成像的对象和/或正在成像的对象的环境(例如，运动或高速动作、电影、低光、风景、人像等)进行选择。
在305中继续，方法300通过采用低分辨率和高帧速率的第一图像帧源获取图像帧。例如，方法300可以控制第一图像帧源(例如，图像帧源112)，以采用低图像分辨率和高帧速率捕获或获取图像帧。
同时，在310中，方法300通过采用高分辨率和低帧速率的第二图像帧源获取图像帧。例如，方法300可以控制第二图像帧源(例如，图像帧源114)，以采用高图像分辨率但低帧速率捕获或获取图像帧。例如，尤其是对于低光捕获，可以以较低的快门速度来捕获图像帧以改善信噪比。
用于采用第一图像帧源和第二图像帧源获取图像帧的初始开始时间可以由在302中选择的预设的运动外观设置来控制。例如，可以确定开始时间以限定基础运动采样周期、时间相干性、快门角度和运动线性度。因此，可以根据不同的时间相干性设置来调节(多个)开始时间，其中时间相干性越高，则初始捕获之间的开始时间间隔就越大。
在315中，方法300将来自第一图像帧源的图像帧和来自第二图像帧源的图像帧对准。例如，方法300可以使图像帧的定时对准或同步，以使来自第一图像源的至少一个图像帧与来自第二图像源的对应的图像帧时间对准。此外，由于图像帧源在物理上是不同的并因此在物理上是分开的，因此当基于第一图像帧源和第二图像帧源的已知相对定位而对准图像帧时，方法300解决了视差。在一些示例中，方法300使用全局统计信息来确定来自不同的图像帧源的图像帧之间的失准，并相应地校正图像帧之间的失准。
在320中继续，方法300对高分辨率的图像帧进行下采样以匹配低分辨率的图像帧的分辨率。然后，在325中，方法300在下采样的图像帧中搜索对象匹配。方法300可以使用在下采样的图像帧中找到的对象匹配来提高分辨率。
在330中，方法300对低分辨率的图像帧执行运动模型分析以获得运动矢量。各种类型的运动模型可以用于获得运动矢量。例如，方法300确定描述从低分辨率的图像帧中的第一图像帧到低分辨率的图像帧中的后续第二图像帧的转换的运动矢量。方法300可以确定与在325中在下采样的图像帧中找到的对象匹配以及基于块的匹配相对应的图像帧的区域的运动矢量。在其他示例中，可以针对图像帧全局地执行运动估计。
在335中，方法300确定一个或多个去卷积核以基于运动矢量调节运动模糊。例如，可以确定去卷积核，以减少或去除运动模糊，或者在需要附加模糊时引入模糊。可以基于运动矢量在图像帧之间确定或调节去卷积核。在340中，方法300对图像帧应用(多个)去卷积核以调节运动模糊。
因此，方法300使用高帧速率的图像帧来创建以较低帧速率或较长曝光捕获的对象的运动模型，然后估计该运动和照相机运动是如何导致对象变模糊的。然后，方法300生成与模糊相对应的核，并且采用该核使图像帧锐化。此外，可以调节这样的模糊核以改变低帧速率的高分辨率的图像帧的有效快门速度。
在345中，方法300基于高分辨率的图像帧、低分辨率的图像帧和运动矢量来生成具有所选的预设的运动外观的最终图像帧。例如，方法300可以对高分辨率的图像帧进行内插以匹配低分辨率的图像帧的帧速率，其中通过运动矢量提供运动校正。作为另一个示例，可以基于所选的预设的运动外观来选择最终图像帧的相位，并且可以对高分辨率的图像帧和低分辨率的图像帧进行内插以生成这些相位下的最终图像帧，其中对用于与低分辨率的图像帧的相位不对准的最终图像帧的相位的运动矢量进行调节。在本文中按照图4进一步讨论如何针对不同的运动外观设置调节最终图像帧的采样或相位的示例。
在350中，方法300输出最终图像帧。例如，方法300可以将最终图像帧输出到显示器130。最终图像帧通过显示器130显示为具有期望的运动外观的视频。然后，方法300返回。
在一些示例中，第一图像帧源和第二图像帧源可以包括不同类型的照相机。在这样的示例中，第一图像帧源可以根据由照相机类型预设的相位来获取图像帧，而第二图像帧源可以基于预设的模糊角度来获取更高质量的图像。第一照相机可以用于创建运动矢量，并且这些运动矢量可以用于将第二照相机的输出转换为第一照相机的预设相位。当第一照相机采样时间和第二照相机采样时间相同时，深度信息可以用于进一步细化运动矢量。因此，可以通过高分辨率的第二照相机来设置用于定义视频外观的快门角度，而可以通过采用由较低分辨率的第一照相机捕获的图像帧之间的运动矢量执行运动内插来调节抖动水平。
作为说明性示例，图4表示高分层框图，其示出了根据一个实施方式的用于利用来自高帧速率的图像帧的运动估计来增加高分辨率的图像帧的帧速率的示例方法400。例如，方法400在视觉上描绘了方法300的示例，其中期望的输出包括高分辨率的高帧速率的视频。
第一图像帧源(例如，图像帧源112)采用高帧速率和低分辨率获取第一多个图像帧410。如所描绘的，第一多个图像帧410包括第一图像帧411、第二图像帧412、第三图像帧413、第四图像帧414、第五图像帧415和第六图像帧416。
第二图像帧源(例如，图像帧源114)采用低帧速率和高分辨率获取第二多个图像帧420。第二多个图像帧420包括第一图像帧421和第二图像帧422。
尽管图像帧410在图4中被描绘为等间隔，但是应当理解，总的来说，图像帧410在各捕获之间可以具有任何时间间隔。类似地，图像帧420也可以采用相等或不等的采样时间进行捕获。此外，第一图像帧411和第一图像帧421在一些示例中可以同时被捕获，或者在其他示例中可以在略微不同的时间被捕获。类似地，第六图像帧416和第二图像帧422可以同时或在略微不同的时间被捕获。
方法400确定第一多个图像帧410中的图像帧之间的运动矢量，包括第一图像帧411和第二图像帧412之间的运动矢量432、第二图像帧412和第三图像帧413之间的运动矢量434、以及第一图像帧411和第三图像帧413之间的运动矢量436。应当理解，确定了附加运动矢量，包括表征各帧之间的不同对象的运动的附加运动矢量，并且所描绘的运动矢量是说明性的而非限制性的。
此外，方法400将照相机输出进行对准430，使得第一图像帧411与第一图像帧421对准，并且还使得第六图像帧416与第二图像帧422对准。然后，方法400对通过运动矢量(包括从低分辨率的图像帧410确定的运动矢量432)辅助的高分辨率的图像帧420进行内插438，以生成多个最终图像帧440，多个最终图像帧440包括第一最终图像帧441、第二最终图像帧442、第三最终图像帧443、第四最终图像帧444、第五最终图像帧445和第六最终图像帧446。在一些示例中，第一最终图像帧441包括图像帧421，第六最终图像帧446包括图像帧422。
可以基于预设的运动外观或期望的运动外观来确定或选择最终图像帧440的采样或各帧之间的时间间隔。例如，预设的运动外观可以包括“运动型”运动外观，可以为包括快速移动的对象的视频内容选择该“运动型”运动外观。对于这样的预设的运动外观，最终图像帧440的采样可以是相等的，使得最终图像帧440的每个图像帧均等间隔。这样，显示为视频的最终图像帧440的最终运动外观描绘了流畅运动。
作为另一个示例，可以选择用于“电影型”运动外观的预设的运动外观，以使最终输出视频展现出与电影院中播放的电影或影片的观感匹配的“电影感”。为了获得抖动减少的电影感，最终图像帧440的采样可以是不等的。在这样的示例中，输出图像帧440可以包括不与来自第一多个图像帧410或第二多个图像帧420的任何图像帧时间对准的至少一个图像帧。如所描绘的，第三最终图像帧443定位在第一多个图像帧410中的第二图像帧412和第三图像帧413之间。为了适当地对第三最终图像帧443进行内插，第一图像帧411和第二图像帧412之间的运动矢量432可以与第二图像帧412和第三图像帧413之间的运动矢量434的一部分组合。例如，将第一图像帧411和第二图像帧412之间的运动矢量423表示为MV12，并将第二图像帧412和第三图像帧413之间的运动矢量434表示为MV23，则用于可以表示为MV13的第一图像帧411和第三图像帧413之间的运动矢量436的候选者可以包括运动矢量432和434的矢量相加：
MV13＝MV12+MV23。
为了在第二图像帧412和第三图像帧413之间的时间间隔或采样处内插第三最终输出帧443，运动矢量可以包括运动矢量436的修正：
MV13′＝MV12+k*MV23，
其中，k是用于缩放运动矢量434或MV23的0和1之间的参数，其可以根据预设的运动外观来确定，以减少最终输出图像帧440中的抖动。
此外，如果以低于图像帧410的高帧速率的帧速率进行输出，则图像帧410的运动矢量将会被转换为更低帧速率的运动矢量。由于运动估计涉及跟踪对象/块，因此可以将许多帧的运动矢量组合以在较长的时间段内跟踪对象。
图5示出了曲线图500，其示出了根据一个实施方式的采用不同的图像帧源获取图像帧的示例定时。曲线图500描绘了可以与上文描述的第一图像帧组410对应的第一图像帧组510的获取定时，以及可以与第二图像帧组420对应的第二图像帧组520的获取定时。即，第一图像帧组510包括低分辨率的高帧速率的图像帧，而第二图像帧组520包括高分辨率的低帧速率图像帧。如所描绘的，可以使获取同步，以使第二图像帧组520中的每个图像帧与第一图像帧组510中的对应的图像帧的获取一致。但是，在一些示例中，这些获取可以是非同步的或交错的，以使无法同时获取高分辨率的图像帧和低分辨率的图像帧。在这样的示例中，可以基于预设的运动外观设置来有意地选择非同步性。另外，可以调节第一图像帧组510或第二图像帧组520，以使图像帧是时间对准的。
此外，不同图像帧的曝光设置可以不同。例如，如所描绘的，第一图像帧组510中的每个图像帧的曝光时间短于第二图像帧组520中的每个图像帧的曝光时间。
图6表示高分层框图，其示出了根据一个实施方式的用于对来自两个图像帧源的图像帧进行图像处理的示例数据流600。数据流600描绘了如何处理以高帧速率获取的低分辨率(LR)的图像帧610和以低帧速率获取的高分辨率(HR)的图像帧620以生成高分辨率的高帧速率的视频。因此，数据流600是上述用于对来自具有不同获取参数的两个图像帧源的图像帧进行图像处理的方法300的示例实现方式。
如所描绘的，对低分辨率的图像帧610执行运动分析630，以确定低分辨率的图像帧610之间的对象运动(OM)632。对象运动632可以由图像帧610之间的一个或多个运动矢量来表示或表征。
然后将对象运动632用于模糊分析660以确定至少一个模糊核662。例如，模糊分析660确定一个或多个去卷积核或模糊核662以基于描述对象运动632的运动矢量调节运动模糊。例如，可以确定去卷积核或模糊核，以减少或去除运动模糊，或者在需要附加模糊时引入模糊。如所描绘的，对高分辨率的图像帧620应用模糊核662以进行模糊控制665，从而得到第一校正后的高分辨率的图像帧(HR’)667。
同时，对低分辨率的图像帧610进行上采样640以获得上采样的低分辨率的图像帧(LR’)642。特别地，可以对低分辨率的图像帧610进行上采样以匹配高分辨率的图像帧620的分辨率。对上采样的低分辨率的图像帧642以及高分辨率的图像帧620应用匹配搜索650，以识别高分辨率的图像帧之间的匹配块。匹配搜索650产生一个或多个融合参数652，以用于微调低分辨率的图像帧610和高分辨率的图像帧620之间的对准。
此外，将低分辨率的图像帧610、从其测量的对象运动632以及第一校正后的高分辨率的图像帧667输入到覆盖/暴露/重新覆盖模块670，以用于检测覆盖、暴露或重新覆盖的区域。覆盖/暴露/重新覆盖检测包括确定移动对象覆盖先前暴露的事物，暴露先前覆盖的背景，或者重新覆盖先覆盖然后暴露的事物的区域(如果有)。这样的区域被称为被遮挡区域。因此，覆盖/暴露/重新覆盖模块670例如在逐块的基础上比较图像帧610和667，以识别被遮挡区域并校正链接到被遮挡的区域的运动矢量。覆盖/暴露/重新覆盖模块670输出第二校正后的高分辨率的图像帧(HR”)672。
然后，将低分辨率的图像帧610、高分辨率的图像帧620、第二校正后的高分辨率的图像帧672和(多个)融合参数652输入到分辨率提高/降噪模块680，该分辨率提高/降噪模块680基于各种输入来执行分辨率提高、降噪和内插，以产生多个高分辨率的、高帧速率(HRHFR)的图像帧682。将高分辨率的、高帧速率的图像帧682输出到用于存储和随后的获取的一个或多个存储器(例如，存储器124)和用于显示包括多个高分辨率的、高帧速率的图像帧682的视频的显示器(例如，显示器130)中的一个或多个。
作为利用来自多个图像帧源的信息来改善图像处理的另一个示例，图7表示高分层流程图，其示出了根据一个实施方式的用于基于采用多个图像帧源获取的图像帧来生成高动态范围(HDR)的图像的示例方法700。按照图1的系统和组件描述方法700，但是应当理解，方法700可以在不脱离本公开的范围的情况下采用其他系统和组件实现。方法700可以被实现为存储器124中的例如可由图像处理器120执行以实现本文描述的动作的指令。
方法700以705开始。在705中，方法700采用具有不同曝光的第一图像帧源获取图像帧。例如，第一图像帧源(例如，图像帧源112)采用不同曝光获取多个图像帧。在一些示例中，第一图像帧源可以在第一组曝光设置(例如，长曝光设置)和第二组曝光设置(例如，短曝光设置)之间交替以获取交替的长曝光图像帧和短曝光图像帧。在其他示例中，第一图像帧源可以在多于两组曝光设置之间交替。例如，可以包括第三组曝光设置(例如，中等曝光设置)，使得第一图像帧源获取随时间交替的长曝光图像帧、中等曝光图像帧和短曝光图像帧。
同时，在710中，方法700采用具有高帧速率、低分辨率和相同曝光的第二图像帧源获取图像帧。方法700可以采用第二图像帧源(例如，图像帧源114)获取图像帧，同时还从第一图像帧源获取图像帧。
在715中，方法700将第一图像帧源的图像帧和第二图像帧源的图像帧对准。此外，在720中，方法700对来自第二图像帧源的图像帧执行运动模型分析，以确定运动矢量。方法700还可以考虑第一图像帧源和第二图像帧源的相对定位，例如以校正视差误差。
在725中，方法700基于运动矢量对来自第一图像帧源的图像帧进行内插以生成组合的HDR图像。通过使用从第二图像帧源的图像帧获取的运动矢量，改善了来自第一图像帧源的图像帧的对准和内插。如果图像帧的捕获模糊不均衡(例如，通过去卷积核或模糊核)并且没有对准，则较短的曝光看起来更锐利，并且与较长的曝光相偏差。因此，可选地，可以如上所述从运动矢量确定去卷积核或模糊核，并且将该核用于调节来自第一图像帧源的图像帧的模糊，使得当组合图像帧内的所有对象时具有相同的外观。为了对图像帧进行内插，可以将图像帧选择性地合并在一起。例如，可以减小长曝光图像帧的像素值，使得它们表示由短曝光图像帧捕获的相同场景亮度值。当长曝光图像帧饱和并且不再能够捕获高光区域的细节时，来自较短曝光的图像帧的像素将用于填充细节。在730中，方法700输出组合图像。例如，方法700可以将组合图像输出到显示器130。然后，方法700返回。
图8表示高分层框图，其示出了根据一个实施方式的用于利用采用相同曝光的图像帧来改善采用不同曝光的图像帧的内插以生成高动态范围的图像的方法800。例如，方法800在视觉上描绘了方法700的示例，其中使用了多种不同的曝光设置。
如所描绘的，采用第一图像帧源(例如，图像帧源112)获取包括第一图像帧812、第二图像帧814和第三图像帧816的第一图像帧组810。采用长曝光获取第一图像帧812，采用中等曝光获取第二图像帧814，采用短曝光获取第三图像帧816。
同时，采用不同的第二图像帧源(例如，图像帧源114)获取包括第一图像帧822、第二图像帧823、第三图像帧824、第四图像帧825和第五图像帧826的第二图像帧组820。采用相同的曝光和低分辨率获取图像帧820。此外，如所描绘的，与来自第一图像帧源的图像帧810的帧速率相比，采用更高的帧速率获取图像帧820。这样，可以采用第二图像帧组820执行运动估计，例如如以上关于图3所述，第二图像帧组820可以被利用来对第一图像帧组810进行模糊校正。
如所描绘的，基于第三图像帧824的曝光与中等曝光图像帧814的曝光相同的假设，不同的图像帧源之间的输出至少在中等曝光图像帧814和第三图像帧824之间对准830。总的来说，将来自不同图像帧源的采用相同曝光的帧对准。第二图像帧组820用于随时间的运动估计，对于给定不同曝光率的第一图像帧组810可能难以执行该运动估计。基于从第二图像帧组820估计的运动对第一图像帧组810进行内插835，以生成组合的HDR图像840。
应该理解的是，尽管关于获得单个组合的HDR图像描述了图7和图8，但是可以重复执行该方法以获取HDR视频。例如，可以重复方法700以生成多个组合的图像帧，该组合的图像帧可以以得到的帧速率被显示为HDR视频。
在一些示例中，可以使用多于两个图像帧源来获取图像帧，并且可以利用来自多个图像帧源的每个图像帧流的数据来产生改进的最终输出。作为说明性示例，图9表示高分层流程图，其示出了根据一个实施方式的用于从以低帧速率进行获取的多个图像帧源的输出来生成高帧速率视频的示例方法900。按照图1的系统和组件描述方法900，但是应当理解，方法900可以在不脱离本公开的范围的情况下采用其他系统和组件实现。方法900可以被实现为存储器124中的例如可由图像处理器120执行以实现本文描述的动作的指令。
方法900以905开始。在905中，方法900从采用相同的帧速率和交错的获取时间的两个或更多个图像帧源获取图像帧。例如，图像帧源可以以每秒24帧的帧速率获取图像帧。对于交错的获取时间，每个图像帧源的初始开始获取时间都相对于彼此延迟，以使图像帧源都不能同时获取图像帧。开始时间之间的距离间隔是可控制的或可调节的，以调节最终视频的流畅度。例如，间隔可以相等，使得获取随着时间均匀分布。替代地，可以增大一个或多个间隔以增加最终视频的流畅度，或可以减小一个或多个间隔以降低流畅度。
在910中，方法900根据获取顺序将来自所有图像帧源的图像帧布置成单个图像帧组。在910中继续，方法900分析来自所有图像帧源的该图像帧组以生成运动矢量。由于不同的图像帧源或照相机可能会出现倾斜误差、错误的开始时间、不同的闪光条件等，因此可以对整个图像帧组应用运动估计和运动补偿，以最大程度地减少伪影或图像帧之间的实质性的不连续(例如，闪烁)。然后，在915中，方法900基于运动矢量对图像帧组应用运动校正以生成最终图像帧。
在920中，方法900输出最终图像帧。例如，方法900可以将最终图像帧输出到显示器130。采用比各个图像帧源的帧速率高的帧速率将最终图像帧显示为视频。例如，对于包括五个图像帧源的多照相机系统，如果每个图像帧源的获取帧速率为每秒24帧，则最终图像帧的帧速率为每秒120帧。然后，方法900返回。
可以选择用于获取每个图像帧源的图像帧的初始开始时间以确定最终图像帧或最终视频的外观。作为说明性示例，图10表示定时图1000，其示出了根据一个实施方式的为了生成高帧速率视频的多个图像帧源的获取时间。具体地，定时图1000示出了五个照相机或五个图像帧源的获取时间，这些照相机或图像帧源包括第零照相机(Cam 0)、第一照相机(Cam 1)、第二照相机(Cam2)、第三照相机(Cam 3)和第四照相机(Cam 4)。
如通过第零照相机的获取定时1002所描绘的，第零照相机在时间t0获取第一图像帧1004，在时间t5获取第二图像帧1005，并在时间t10获取第三图像帧1006。第一图像帧1004和第二图像帧1005之间的间隔1008建立基础运动采样频率。
如通过第一照相机的获取时刻1012所描绘的，第一照相机在时间t1获取第一图像帧1014，并在时间t6获取第二图像帧1015。通过第零照相机对第一图像帧1004的获取与通过第一照相机对第一图像帧1014的获取之间的间隔1018建立运动线性度。
如通过第二照相机的获取定时1022所描绘的，第二照相机在时间t2获取第一图像帧924，并在时间t7获取第二图像帧1025。通过第一照相机对第一图像帧1014的获取与通过第二照相机对第一图像帧1024的获取之间的间隔1028与间隔1018一起进一步确定运动线性度。
如通过第三照相机的获取定时1032所描绘的，第三照相机在时间t3获取第一图像帧1034，并在时间t8获取第二图像帧1035。通过第二照相机对第一图像帧1024的获取与通过第三照相机对第一图像帧1034的获取之间的间隔1038限定了最终视频的相干性水平或流畅度水平。
此外，如通过第四照相机的获取定时1042所描绘的，第四照相机在时间t4获取第一图像帧1044，并在时间t9获取第二图像帧1045。在一些示例中，用于获取第一图像帧1044的定时可以基于间隔1028，以使时间t3和时间t4之间的间隔等于时间t1和时间t2之间的间隔1028。然而，可以调节第四照相机的获取定时1042以控制时间相干性，该时间相干性由时间t4和时间t5之间的间隔1048设置。
因此，间隔1008确定基础运动采样频率，间隔1014和1018定义运动线性度，间隔1038定义最终视频的相干性水平，该最终视频的相干性水平包括来自所有图像帧源的图像帧的融合。间隔可以根据最终视频的期望外观来调节。
图11表示高分层框图，其示出了根据一个实施方式的用于通过对时间相干性和运动模糊进行调节来管理多个图像帧流的示例数据流1100。特别地，数据流1100描绘了对来自多照相机系统或多个图像帧源1105的多个图像帧流的管理，所述多照相机系统或多个图像帧源包括第零照相机(C0)或第零图像源1110、第一照相机(C1)或第一图像源1111、第二照相机(C2)或第二图像源1112、第三照相机(C3)或第三图像源1113、以及第四照相机(C4)或第四图像源1114。多个图像帧源1105中的每个照相机或图像帧源可以以相同的帧速率(例如，如上所述的帧速率)采用不同的获取设置来捕获图像帧。
例如，可以根据定时控制输入1106来控制图像帧源1105，该定时控制输入1106包括：第一时间间隔dt1，其相对于第零图像帧源1110的初始获取来控制第一图像帧源1111的初始获取时间；第二时间间隔dt2，其相对于第一图像帧源1111的初始获取时间来控制第二图像帧源1112的初始获取时间；第三时间间隔dt3，其相对于第二图像帧源1112的初始获取时间来控制第三图像帧源1113的初始获取时间；以及第四时间间隔dt4，其相对于第三图像帧源1113的初始获取时间来控制第四图像帧源1114的初始获取时间。
可以根据用于控制每个图像帧源的快门角度的快门角度控制输入1108来进一步控制图像帧源1105。例如，快门角度控制输入1108可以包括用于第零图像帧源1110的第零快门角度、用于第一图像帧源1111的第一快门角度、用于第二图像帧源1112的第二快门角度、用于第三图像帧源1113的第三快门角度、以及用于第四图像帧源1114的第四快门角度。如上所述，可以根据期望的运动外观来选择定时控制输入1106和快门角度控制输入1108。
多个图像帧源1105将对应的多个低帧速率图像帧流1120输出到多流管理模块1130。多流管理模块1130使多个图像帧流1120交织以生成单个高帧速率图像帧流1132。例如，如果多个图像帧源1105中的每个图像帧源的低帧速率是24fps，由于五个图像帧源乘以每个源24fps可得到120fps，则多流管理1130将所有图像帧组合成帧速率为120fps的单个图像帧流。因此，单个图像帧流1132的帧速率取决于多个图像帧源1105中的图像帧源的数量以及每个图像帧源的原始帧速率。尽管将五个图像帧源描绘为以24fps获取图像帧，但是应该理解，可以使用不同数量的图像帧源来以不同于24fps的帧速率获取图像帧。具体设置取决于图像帧源的配置(例如，图像帧源的数量)以及单个图像帧流1132的期望的最终帧速率。
多流管理模块1130还将图像帧流1120和/或单个图像帧流1132输出到运动分析模块1140，以分析图像帧之间的运动。例如，运动分析模块1140可以分析多个图像帧流1120的各个流中的图像帧之间的运动。附加地或替代地，运动分析模块1140可以分析单个图像帧流1132中的图像帧之间的运动。运动分析模块1140生成运动模型1142，该运动模型1142包括例如描述对象在图像帧之间的逐块水平和/或全局水平上的运动的运动矢量。
将运动模型1140和单个图像帧流1132输入到时间相干性调节模块1150，该时间相干性调节模块1150可以例如基于运动模型1142来调节单个图像帧流1132的时间相干性。例如，如上所述，时间相干性调节模块1150可以通过调节或缩放运动模型1142的运动矢量来调节单个图像帧流1132中的一个或多个图像帧的相位。在一些示例中，如果单个图像帧流1132的时间相干性已经对应于期望的时间相干性，则时间相干性调节模块1150可以不应用时间相干性调节。
在时间相干性调节模块1150进行可选的时间相干性调节之后，单个图像帧流1132与运动模型1142一起被输入到运动模糊调节模块1160。运动模糊调节模块1160基于运动模型1142确定一个或多个去卷积核或模糊核，并将该(多个)核应用于单个图像帧流1132的图像帧。因此，运动模糊调节模块1160输出高帧速率的单个图像帧流1162。因此，可以通过时间相干性调节和模糊调节将多个低帧速率的图像帧流组合成单个高帧速率的图像帧流，以实现具有所需运动外观和一致呈现(consistent look)的高帧速率视频。
在一些示例中，多个图像帧流可以被集成到单个图像帧流中，而无需对时间相干性和模糊进行额外的调节。作为说明性示例，图12表示高分层框图，其示出了根据一个实施方式的用于管理多个图像帧流的示例数据流1200。特别地，类似于数据流1100，数据流1200描绘了对来自多照相机系统或多个图像帧源1205的多个图像帧流的管理，所述多照相机系统或多个图像帧源1205包括第零照相机(C0)或第零图像源1210、第一照相机(C1)或第一图像源1211、第二照相机(C2)或第二图像源1212、第三照相机(C3)或第三图像源1213、以及第四照相机(C4)或第四图像源1214。多个图像帧源1205中的每个照相机或图像帧源可以以相同的帧速率(例如，如上所述的帧速率)采用不同的获取设置来捕获图像帧。
例如，可以根据定时控制输入1206来控制图像帧源1205，该定时控制输入1206包括：第一时间间隔dt1，其相对于第零图像帧源1210的初始获取来控制第一图像帧源1211的初始获取时间；第二时间间隔dt2，其相对于第一图像帧源1211的初始获取时间来控制第二图像帧源1212的初始获取时间；第三时间间隔dt3，其相对于第二图像帧源1212的初始获取时间来控制第三图像帧源1213的初始获取时间；以及第四时间间隔dt4，其相对于第三图像帧源1213的初始获取时间来控制第四图像帧源1214的初始获取时间。
可以根据用于控制每个图像帧源的快门角度的快门角度控制输入1208进一步控制图像帧源1205。例如，快门角度控制输入1208可以包括用于第零图像帧源1210的第零快门角度、用于第一图像帧源1211的第一快门角度、用于第二图像帧源1212的第二快门角度、用于第三图像帧源1213的第三快门角度、以及用于第四图像帧源1214的第四快门角度。如上所述，可以根据期望的运动外观来选择定时控制输入1206和快门角度控制输入1208。
多个图像帧源1205将对应的多个低帧速率图像帧流1220输出到多流管理模块1230。多流管理模块1230使多个图像帧流1220交织以生成单个高帧速率图像帧流1232。因此，与单个高帧速率图像帧流1232对应的视频的呈现和观感由控制输入1206和1208建立。
图13表示图1300，其示出了根据一个实施方式的用于生成高帧速率视频的通过多个图像帧源获取的图像帧之间的运动矢量。特别地，图1300示出了以上关于图10描述的五个照相机或五个图像帧源的获取时间，所述五个照相机或五个图像帧源包括第零照相机(Cam 0)、第一照相机(Cam 1)、第二照相机(Cam 2)、第三照相机(Cam 3)和第四照相机(Cam4)。如所描绘的，图1300包括分别用于第零照相机、第一照相机、第二照相机、第三照相机和第四照相机的获取定时1002、1012、1022、1032和1042。
对于根据不同的获取定时描绘的图像帧，可以计算多个运动矢量。多个运动矢量可以包括每个图像帧源或照相机的图像帧之间的运动矢量。例如，多个运动矢量可以包括第零照相机的图像帧1004和图像帧1005之间的运动矢量1307、第一照相机的图像帧1014和图像帧1015之间的运动矢量1317、第二照相机的图像帧1024和图像帧1025之间的运动矢量1327、第三照相机的图像帧1034和图像帧1035之间的运动矢量1337、以及第四照相机1045的图像帧1044和图像帧1045之间的运动矢量1347。
如上所述，可以调节每个图像帧源的获取定时，以控制最终融合视频的整体呈现和观感。在一些示例中，可以相对于第零照相机的获取来确定每个图像帧源的间隔。例如，用于通过第一照相机获取第一图像帧1014的时间t1可以等于t0+dt1，其中dt1是t0和t1之间的间隔。类似地，时间t2可以表示为t0+dt2，时间t3可以表示为t0+dt3，时间t4可以表示为t0+dt4，时间t6可以表示为t5+dt1，时间t7可以表示为t5+dt2，依此类推。
每个图像帧源的图像帧之间的这些运动矢量可以用于在所获取的图像帧之间生成或内插中间图像帧。例如，运动矢量1307可以用于计算第一图像帧1004和第二图像帧1005之间的四个相位的运动矢量。然后，可以将这些计算出的运动矢量用于基于第一图像帧1004和第二图像帧1005生成用于四个相位中的每个相位的图像帧。可以基于所有照相机或图像帧源的图像获取之间的间隔来确定四个相位。例如，用于图像帧1004和1005之间的中间图像帧的时间t0和时间t5之间的相位可以包括dt1/(t5-t0)、dt2/(t5-t0)、dt3/(t5-t0)和dt4/(t5-t0)。
类似地，第一照相机的运动矢量1317可以用于计算第一照相机的第一图像帧1014和第二图像帧1015之间的四个相位的运动矢量。然后，可以将这些计算出的运动矢量用于生成基于第一图像帧1014和第二图像帧1015的四个相位中的每个相位的图像帧。可以基于间隔来确定四个相位。例如，用于图像帧1014和1015之间的中间图像帧的时间t0和时间t5之间的相位可以包括(dt2-dt1)/(t5-t0)、(dt3-dt2)/(t5-t0)、(dt4-dt3)/(t5-t0)和(t5-t0-dt1)/(t5-t0)。
第二照相机的运动矢量1327可以用于计算第二照相机的第一图像帧1024和第二图像帧1025之间的四个相位的运动矢量。然后，可以将这些计算出的运动矢量用于生成基于第一图像帧1024和第二图像帧1025的四个相位中的每个相位的图像帧。例如，用于图像帧1024和1025之间的中间图像帧的时间t0和时间t5之间的相位可以包括(dt3-dt2)/(t5-t0)、(dt4-dt3)/(t5-t0)、(t5-t0-dt2)/(t5-t0)和(t5-t0-(dt2-dt1))/(t5-t0)。
第三照相机的运动矢量1337可以用于计算第三照相机的第一图像帧1034和第二图像帧1035之间的四个相位的运动矢量。然后，可以将这些计算出的运动矢量用于生成基于第一图像帧1034和第二图像帧1035的四个相位中的每个相位的图像帧。例如，用于图像帧1034和1035之间的中间图像帧的时间t0和时间t5之间的相位可以包括(dt4-dt3)/(t5-t0)、(t5-t0-dt3)/(t5-t0)、(t5-t0-(dt3-dt1))/(t5-t0)和(t5-t0-(dt3-dt2))/(t5-t0)。
此外，第四照相机的运动矢量1347可以用于计算第四照相机的第一图像帧1044和第二图像帧1045之间的四个相位的运动矢量。然后，可以将这些计算出的运动矢量用于生成基于第一图像帧1044和第二图像帧1045的四个相位中的每个相位的图像帧。例如，用于图像帧1044和1045之间的中间图像帧的时间t0和时间t5之间的相位可以包括(t5-t0-dt4)/(t5-t0)、(t5-t0-(dt4-dt1))/(t5-t0)、(t5-t0-(dt4-dt2))/(t5-t0)和(t5-t0-(dt4-dt3)/(t5-t0)。
多个运动矢量还可包括来自不同图像帧源的图像帧之间的运动矢量。例如，如所描绘的，多个运动矢量可以包括来自第零照相机的图像帧1004和来自第一照相机的图像帧1014之间的运动矢量1309、来自第一照相机的图像帧1014和来自第二照相机的图像帧1024之间的运动矢量1329、来自第二照相机的图像帧1024和来自第三照相机的图像帧1034之间的运动矢量1339、以及来自第三照相机的图像帧1034和来自第四照相机的图像帧1044之间的运动矢量1349。来自不同图像帧源的图像帧之间的这些运动矢量可用于解决照相机之间的潜在图像移位。例如，计算出的来自第零照相机的图像帧1004和来自第一照相机的图像帧1014之间的运动矢量1309是可通常用于解决第零照相机和第一照相机的位置差异以及图像帧1004和图像帧1014之间的图像移位的运动矢量场。类似地，计算出的来自第一照相机的图像帧1014和来自第二照相机的图像帧1024之间的运动矢量1329是可用于解决第一照相机和第二照相机之间的潜在图像移位的运动矢量场，计算出的来自第二照相机的图像帧1024和来自第三照相机的图像帧1034之间的运动矢量1339是可用于解决第二照相机和第三照相机之间的潜在图像移位的运动矢量场，并且计算出的来自第三照相机的图像帧1034和来自第四照相机的图像帧1044之间的运动矢量1349是可用于解决第三照相机和第四照相机之间的潜在图像移位的运动矢量场。
在每个捕获时间，基于照相机之间的这些运动矢量场来应用图像融合。此外，这些运动矢量场可以通过使用场的全局运动矢量来逼近。最终视频包括来自所有五个图像帧源的图像帧的融合。
因此，提供了用于多个图像帧源或照相机的图像处理的各种实施方式。在一个实施方式中，一种方法包括：采用被配置有不同的获取设置的多个图像帧源获取图像帧；基于不同的获取设置处理图像帧以生成至少一个最终图像帧；以及输出该至少一个最终图像帧。将至少一个最终图像帧输出到显示器(例如，用于显示该至少一个最终图像帧)和存储器(例如，存储该至少一个最终图像帧以用于随后的后处理和/或显示)中的一个或多个。
在该方法的第一示例中，采用被配置有不同的获取设置的多个图像帧源获取图像帧包括：采用第一图像帧源获取第一图像帧组，并且采用第二图像帧源获取第二图像帧组，其中第一图像帧组以低分辨率和高帧速率来获取，并且第二图像帧组以高分辨率和低帧速率来获取。在可选地包括第一示例的方法的第二示例中，该方法还包括将来自第一图像帧组的至少一个图像帧与来自第二图像帧组的图像帧对准。在可选地包括第一示例和第二示例中的一个或多个示例的方法的第三示例中，基于不同的获取设置处理图像帧以生成至少一个最终图像帧包括：估计第一图像帧组中的运动。在可选地包括第一至第三示例中的一个或多个示例的方法的第四示例中，基于不同的获取设置处理图像帧以生成至少一个最终图像帧还包括：采用从所估计的第一图像帧组中的运动确定的去卷积核来使第二图像帧组锐化。在可选地包括第一至第四示例中的一个或多个示例的方法的第五示例中，基于不同的获取设置处理图像帧以生成至少一个最终图像帧还包括：基于所估计的运动在第二图像帧组中的图像帧之间内插高分辨率的图像帧以生成一组最终图像帧。在可选地包括第一至第五示例中的一个或多个示例的方法的第六示例中，采用多个图像帧源获取图像帧包括：采用第一图像帧源获取第一图像帧组，第一图像帧组中的每个图像帧采用不同的曝光设置来获取；以及采用第二图像帧源获取第二图像帧组，其中第二图像帧组采用一致的曝光设置来获取。在可选地包括第一至第六示例中的一个或多个示例的方法的第七示例中，基于不同的获取设置处理图像帧以生成至少一个最终图像帧包括：估计第二图像帧组中的运动；以及基于所估计的第二图像帧组中的运动对第一图像帧组进行内插以生成所述至少一个最终图像帧。在可选地包括第一至第七示例中的一个或多个示例的方法的第八示例中，该方法还包括：根据图像帧的获取顺序将图像帧布置成单个图像帧组，每个图像帧源被配置有获取帧速率，其中不同的获取设置包括每个图像帧源的不同的初始开始时间，并且其中每个图像帧源的初始开始时间之间的间隔是可调节的以控制由单个图像帧组形成的视频的外观。在可选地包括第一至第八示例中的一个或多个示例的方法的第九示例中，该方法还包括：估计单个图像帧组中的图像帧之间的运动；以及基于所估计的运动对图像帧应用运动补偿以生成具有高于获取帧速率的帧速率的运动校正后的图像帧组，其中至少一个最终图像帧包括运动校正后的图像帧组。
在另一个实施方式中，一种方法包括：采用第一图像帧源获取第一图像帧组；采用第二图像帧源获取第二图像帧组，第一图像帧组与第二图像帧组并行获取；估计第二图像帧组中的运动；从第一图像帧组和所估计的运动生成至少一个校正后的图像帧；以及将该至少一个校正后的图像帧输出到显示器。
在该方法的第一示例中，第一图像帧源采用高分辨率和低帧速率获取第一图像帧组，并且其中第二图像帧源采用低分辨率和高帧速率获取第二图像帧组。在可选地包括第一示例的方法的第二示例中，该方法还包括：采用从所估计的运动确定的去卷积核对第一图像帧组进行滤波，以调节第一图像帧组中的模糊。在可选地包括第一示例和第二示例中的一个或多个示例的方法的第三示例中，第一图像帧源采用交替的曝光设置获取第一图像帧组，并且第二图像帧源采用单组曝光设置获取第二图像帧组。在可选地包括第一至第三示例中的一个或多个示例的方法的第四示例中，该方法还包括：将来自第一图像帧组的至少一个图像帧与来自第二图像帧组的对应的图像帧对准。
在又一个实施方式中，一种系统包括图像处理器，该图像处理器在非瞬态存储器中配置有指令，该指令在被执行时使图像处理器：采用被配置有不同的获取设置的多个图像帧源获取多个图像帧；基于不同的获取设置处理多个图像帧以生成至少一个最终图像帧；以及将至少一个最终图像帧输出到显示器。
在系统的第一示例中，为了采用被配置有不同的获取设置的多个图像帧源获取图像帧，图像处理器被配置有指令，该指令在被执行时使图像处理器：采用第一图像帧源获取第一图像帧组，并且采用第二图像帧源获取第二图像帧组，其中第一图像帧组采用低分辨率和高帧速率来获取，并且第二图像帧组采用高分辨率和低帧速率来获取。在可选地包括第一示例的系统的第二示例中，为了基于不同的获取设置处理图像帧以生成至少一个最终图像帧，图像处理器还被配置有指令，该指令在被执行时使图像处理器：估计第一图像帧组中的运动，并且基于所估计的运动在第二图像帧组的图像帧之间内插高分辨率的图像帧以生成一组最终图像帧。在可选地包括第一示例和第二示例中的一个或多个示例的系统的第三示例中，为了采用多个图像帧源获取图像帧，该图像处理器被配置有指令，该指令在被执行时使图像处理器：采用第一图像帧源获取第一图像帧组，第一图像帧组中的每个图像帧采用不同的曝光设置来获取；并且采用第二图像帧源获取第二图像帧组，其中第二图像帧组采用一致的曝光设置来获取。在可选地包括第一至第三示例中的一个或多个示例的系统的第四示例中，为了基于不同的获取设置处理多个图像帧以生成至少一个最终图像帧，该图像处理器还被配置有指令，该指令在被执行时使图像处理器：估计第二图像帧组中的运动，并且基于所估计的第二图像帧组中的运动对第一图像帧组进行内插以生成至少一个最终图像帧。
在一个实现方式中，一种方法包括：从多个图像帧源中的每个图像帧源获取多个图像帧，以第一帧速率获取每组多个图像帧；将来自每个图像帧源的多个图像帧组合成具有高于第一帧速率的第二帧速率的单独多个图像帧；以及将该单独多个图像帧作为视频示出。
在该方法的第一示例中，多个图像帧源包括第一图像帧源、第二图像帧源、第三图像帧源、第四图像帧源和第五图像帧源，其中多个图像帧源彼此相邻地定位并且采用重叠的视场定向。在可选地包括第一示例的方法的第二示例中，第一帧速率包括每秒24帧，并且第二帧速率包括每秒120帧。在可选地包括第一示例和第二示例中的一个或多个示例的方法的第三示例中，该方法还包括：使各图像帧源的初始获取时间交错，以使一次至多一个图像帧源获取图像帧。在可选地包括第一至第三示例中的一个或多个示例的方法的第四示例中，多个图像帧源的初始获取时间之间的相对间隔是可调节的，以控制单独多个图像帧的运动线性度。在可选地包括第一至第四示例中的一个或多个示例的方法的第五示例中，该方法还包括：计算每组多个图像帧中的图像帧之间的运动矢量以及来自不同图像帧源的图像帧之间的运动矢量。在可选地包括第一至第五示例中的一个或多个示例的方法的第六示例中，该方法还包括：基于运动矢量来调节单独多个图像帧的时间相干性。在可选地包括第一至第六示例中的一个或多个示例的方法的第七示例中，该方法还包括：基于运动矢量来调节单独多个图像帧的运动模糊。在可选地包括第一至第七示例中的一个或多个示例的方法的第八示例中，该方法还包括：基于运动矢量和相邻的图像帧在每组多个图像帧的相邻的图像帧之间内插图像帧，并且基于内插的图像帧和运动矢量将来自每个图像帧源的多个图像帧组合成单独多个图像帧。在可选地包括第一至第八示例中的一个或多个示例的方法的第九示例中，每个图像帧源的快门角度是可调节的，以控制单独多个图像帧的运动模糊。
在另一个实现方式中，一种方法包括：从采用第一帧速率和交错的获取时间的两个或更多个图像帧源获取图像帧；根据获取顺序将来自两个或更多个图像帧源中的图像帧布置成单个图像帧组；计算来自两个或更多个图像帧源的图像帧的运动矢量；基于运动矢量对单个图像帧组应用运动校正以生成最终图像帧；以及将最终图像帧作为具有高于第一帧速率的第二帧速率的视频输出。
在该方法的第一示例中，计算来自两个或更多个图像帧源的图像帧的运动矢量包括：计算单个图像帧组中的相邻的图像帧之间的第一组运动矢量，并且基于运动矢量对单个图像帧组应用运动校正包括：基于第一组运动矢量对单个图像帧组应用运动校正以校正图像帧源之间的潜在图像移位。在可选地包括第一示例的方法的第二示例中，计算来自两个或更多个图像帧源的图像帧的运动矢量还包括：计算来自每个图像帧源的相邻的图像帧之间的第二组运动矢量，并且基于运动矢量对单个图像帧组应用运动校正还包括：基于相邻的图像帧和第二组运动矢量中的相应的运动矢量在来自每个图像帧源的相邻的图像帧的相位之间的相位处内插图像帧，并且基于第一组运动矢量执行内插的图像帧与单个图像帧组中的图像帧的图像融合。在可选地包括第一示例和第二示例中的一个或多个示例的方法的第三示例中，两个或更多个图像帧源包括五个图像帧源，第一帧速率包括每秒24帧，第二帧速率包括每秒120帧。在可选地包括第一至第三示例中的一个或多个示例的方法的第四示例中，基于视频的期望的呈现和观感来调节交错的获取时间。
在又一个实现方式中，一种系统包括图像处理器，该图像处理器在非瞬态存储器中配置有指令，该指令在被执行时使该图像处理器：通过被配置有不同的获取设置的多个图像帧源获取来自每个图像帧源的多个图像帧，每组多个图像帧以第一帧速率并且采用与其他图像帧源不同的初始获取时间来获取；将来自每个图像帧源的多个图像帧组合成具有高于第一帧速率的第二帧速率的单独多个图像帧；以及将单独多个图像帧作为具有第二帧速率的视频输出。
在系统的第一示例中，图像处理器还在非瞬态存储器中配置有指令，该指令在被执行时使图像处理器：计算来自每组多个图像帧中的图像帧之间的运动矢量以及来自不同图像帧源的图像帧之间的运动矢量。在可选地包括第一示例的系统的第二示例中，图像处理器还在非瞬态存储器中配置有指令，该指令在被执行时使图像处理器基于运动矢量调节单独多个图像帧的时间相干性。在可选地包括第一示例和第二示例中的一个或多个示例的系统的第三示例中，图像处理器还在非瞬态存储器中配置有指令，该指令在被执行时使图像处理器基于运动矢量调节单独多个图像帧的运动模糊。在可选地包括第一至第三示例中的一个或多个示例的系统的第四示例中，图像处理器还在非瞬态存储器中配置有指令，该指令在被执行时使图像处理器基于运动矢量和每组多个图像帧的相邻的图像帧在该相邻的图像帧之间内插图像帧，并且基于内插的图像帧和运动矢量将来自每个图像帧源的多个图像帧组合为单独多个图像帧。
本文中使用的以单数形式叙述并且以数量词“一个”开始的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地指出了这种排除。此外，对本发明的“一个实施方式”的引用无意被解释为排除也包含所述特征的其他实施方式的存在。此外，除非有相反的明确说明，否则“包括”、“包含”或“具有”带有特定特性的一个或多个元件的实施方式可以包括不带有该特性的其他这样的元件。术语“包含”和“在……中”用作相应术语“包括”和“其中”的简明语言等效形式。此外，术语“第一”、“第二”和“第三”等仅用作标签，并不旨在对其对象施加数字要求或特定的位置顺序。
本说明书使用示例来公开本发明，包括最佳方式，并且还使相关领域的普通技术人员能够实践本发明，包括制造和使用任何装置或系统以及执行任何结合的方法。本发明的专利范围由权利要求书限定，并且可以包括本领域普通技术人员想到的其他示例。如果这样的其他示例具有与权利要求的字面语言没有不同的结构元件，或者如果它们包括与权利要求的字面语言没有实质性差异的等效结构元件，则它们旨在落在权利要求的范围内。

Claims (12)

1.一种图像处理方法，包括：
采用被配置有不同的获取设置的多个图像帧源获取图像帧，包括：通过第一透镜采用第一图像帧源获取第一图像帧组，并且通过第二透镜采用第二图像帧源获取第二图像帧组，其中所述第一图像帧组以低分辨率和高帧速率来获取，并且所述第二图像帧组以高分辨率和低帧速率来获取；
获得修改后的第二图像帧组，所述修改后的第二图像帧组具有与所述低分辨率匹配的分辨率；
搜索所述第一图像帧组和所述修改后的第二图像帧组，以产生一个或多个参数，来校正所述第一图像帧组和所述第二图像帧组之间的多个视差误差；
基于所述不同的获取设置和所述一个或多个参数，处理所述图像帧以生成至少一个最终图像帧；以及
输出所述至少一个最终图像帧。
2.根据权利要求1所述的图像处理方法，其还包括：将来自所述第一图像帧组的至少一个图像帧与来自所述第二图像帧组的图像帧对准，其中来自所述第一图像帧组的图像帧具有与来自所述第二图像帧组的图像帧相同的曝光。
3.根据权利要求1所述的图像处理方法，其中，基于所述不同的获取设置和所述一个或多个参数，处理所述图像帧以生成所述至少一个最终图像帧包括：估计所述第一图像帧组中的运动。
4.根据权利要求3所述的图像处理方法，其中，基于所述不同的获取设置处理所述图像帧以生成所述至少一个最终图像帧还包括：
采用从所估计的所述第一图像帧组中的运动确定的去卷积核来使所述第二图像帧组锐化；或者
基于所估计的运动在所述第二图像帧组的图像帧之间内插高分辨率的图像帧以生成形成最终视频的一组最终图像帧。
5.根据权利要求1所述的图像处理方法，其中，采用所述多个图像帧源获取所述图像帧包括：
采用第一图像帧源获取第一图像帧组，所述第一图像帧组中的每个图像帧采用不同的曝光设置来获取；以及
采用第二图像帧源获取第二图像帧组，其中所述第二图像帧组采用一致的曝光设置来获取，
其中，基于所述不同的获取设置处理所述图像帧以生成至少一个最终图像帧包括：
估计所述第二图像帧组中的运动；以及
基于所估计的所述第二图像帧组中的运动对所述第一图像帧组进行内插以生成所述至少一个最终图像帧。
6.根据权利要求1所述的图像处理方法，其还包括：根据所述图像帧的获取顺序将所述图像帧布置成单个图像帧组，每个图像帧源被配置有获取帧速率，其中所述不同的获取设置包括每个图像帧源的不同的初始开始时间，并且其中每个图像帧源的所述初始开始时间之间的间隔是可调节的以控制由所述单个图像帧组形成的视频的外观，
其中，所述图像处理方法还包括：
估计所述单个图像帧组中的图像帧之间的运动；以及
基于所估计的运动对所述图像帧应用运动补偿以生成具有高于所述获取帧速率的帧速率的运动校正后的图像帧组，
其中所述至少一个最终图像帧包括所述运动校正后的图像帧组。
7.一种图像处理方法，包括：
通过第一透镜采用第一图像帧源获取第一图像帧组；
通过第二透镜采用第二图像帧源获取第二图像帧组，所述第一图像帧组与所述第二图像帧组并行获取，其中所述第一图像帧组以高分辨率和低帧速率来获取，并且所述第二图像帧组以低分辨率和高帧速率来获取；
估计所述第二图像帧组中的运动；
根据所述第一图像帧组和所估计的运动生成至少一个校正后的图像帧；
采用从所估计的运动确定的去卷积核对所述第一图像帧组进行滤波，以调节所述第一图像帧组中的模糊；以及
将所述至少一个校正后的图像帧输出到显示器。
8.根据权利要求7所述的图像处理方法，其中，所述第一图像帧源采用交替的曝光设置获取所述第一图像帧组，并且所述第二图像帧源采用单组曝光设置获取所述第二图像帧组，
其中，所述图像处理方法还包括：将来自所述第一图像帧组的至少一个图像帧与来自所述第二图像帧组的对应的图像帧对准。
9.一种图像处理系统，包括：
在非瞬态存储器中配置有指令的图像处理器，所述指令在被执行时使所述图像处理器：
采用被配置有不同的获取设置的多个图像帧源获取多个图像帧，包括：通过第一透镜采用第一图像帧源获取第一图像帧组，并且通过第二透镜采用第二图像帧源获取第二图像帧组，其中所述第一图像帧组以低分辨率和高帧速率来获取，并且所述第二图像帧组以高分辨率和低帧速率来获取；
获得修改后的第二图像帧组，所述修改后的第二图像帧组具有与所述低分辨率匹配的分辨率；
搜索所述第一图像帧组和所述修改后的第二图像帧组，以产生一个或多个参数，来校正所述第一图像帧组和所述第二图像帧组之间的多个视差误差；
基于所述不同的获取设置和所述一个或多个参数，处理所述多个图像帧以生成至少一个最终图像帧；以及
将所述至少一个最终图像帧输出到显示器。
10.根据权利要求9所述的图像处理系统，其中，为了基于所述不同的获取设置处理所述图像帧以生成所述至少一个最终图像帧，所述图像处理器还被配置有指令，所述指令在被执行时使所述图像处理器：估计所述第一图像帧组中的运动，并且基于所估计的运动在所述第二图像帧组的图像帧之间内插高分辨率的图像帧以生成一组最终图像帧。
11.根据权利要求9所述的图像处理系统，其中，为了采用所述多个图像帧源获取所述图像帧，所述图像处理器被配置有指令，所述指令在被执行时使所述图像处理器：采用第一图像帧源获取第一图像帧组，所述第一图像帧组中的每个图像帧采用不同的曝光设置来获取；并且采用第二图像帧源获取第二图像帧组，其中所述第二图像帧组采用一致的曝光设置来获取。
12.根据权利要求11所述的图像处理系统，其中，为了基于所述不同的获取设置处理所述多个图像帧以生成至少一个最终图像帧，所述图像处理器还被配置有指令，所述指令在被执行时使所述图像处理器：估计所述第二图像帧组中的运动，并且基于所估计的所述第二图像帧组中的运动对所述第一图像帧组进行内插以生成所述至少一个最终图像帧。
CN202110090707.6A 2020-02-14 2021-01-22 具有多个图像源的图像处理的方法和系统 Active CN113271406B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/792,005 US11295427B2 (en) 2020-02-14 2020-02-14 Methods and systems for image processing with multiple image sources
US16/792,005 2020-02-14

Publications (2)

Publication Number Publication Date
CN113271406A CN113271406A (zh) 2021-08-17
CN113271406B true CN113271406B (zh) 2023-12-08

Family

ID=77227996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110090707.6A Active CN113271406B (zh) 2020-02-14 2021-01-22 具有多个图像源的图像处理的方法和系统

Country Status (2)

Country Link
US (2) US11295427B2 (zh)
CN (1) CN113271406B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636375B (zh) * 2019-11-11 2022-03-11 RealMe重庆移动通信有限公司 视频流处理方法、装置、终端设备及计算机可读存储介质
US11356604B2 (en) * 2020-02-14 2022-06-07 Pixelworks, Inc. Methods and systems for image processing with multiple image sources
JP2022142932A (ja) * 2021-03-17 2022-10-03 ラピステクノロジー株式会社 ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム
US20220327718A1 (en) * 2021-04-13 2022-10-13 Qualcomm Incorporated Techniques for enhancing slow motion recording
US20230095237A1 (en) * 2021-09-23 2023-03-30 Samsung Electronics Co., Ltd. Efficient flicker suppression for single image super-resolution

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167259A (zh) * 2011-12-19 2013-06-19 索尼公司 对内插帧的抖动的使用
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN109218621A (zh) * 2018-10-23 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US9236043B2 (en) * 2004-04-02 2016-01-12 Knfb Reader, Llc Document mode processing for portable reading machine enabling document navigation
US7641108B2 (en) * 2004-04-02 2010-01-05 K-Nfb Reading Technology, Inc. Device and method to assist user in conducting a transaction with a machine
US7325735B2 (en) * 2004-04-02 2008-02-05 K-Nfb Reading Technology, Inc. Directed reading mode for portable reading machine
JP3934151B2 (ja) * 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
WO2008053765A1 (ja) * 2006-10-30 2008-05-08 Panasonic Corporation 画像生成装置および画像生成方法
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
JP2010028722A (ja) * 2008-07-24 2010-02-04 Sanyo Electric Co Ltd 撮像装置及び画像処理装置
CN102065214A (zh) * 2009-11-12 2011-05-18 鸿富锦精密工业（深圳）有限公司 影像处理系统及方法
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
CN109089014B (zh) 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
US10284810B1 (en) * 2017-11-08 2019-05-07 Qualcomm Incorporated Using low-resolution frames to increase frame rate of high-resolution frames
US20190141332A1 (en) * 2017-11-08 2019-05-09 Qualcomm Incorporated Use of synthetic frames in video coding
US10230920B1 (en) 2017-12-06 2019-03-12 Pixelworks, Inc. Adjusting interpolation phase for MEMC using image analysis
US11356604B2 (en) 2020-02-14 2022-06-07 Pixelworks, Inc. Methods and systems for image processing with multiple image sources

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167259A (zh) * 2011-12-19 2013-06-19 索尼公司 对内插帧的抖动的使用
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN109218621A (zh) * 2018-10-23 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
US20210256670A1 (en) 2021-08-19
US11295427B2 (en) 2022-04-05
US11710223B2 (en) 2023-07-25
US20220180493A1 (en) 2022-06-09
CN113271406A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113271415B (zh) 具有多个图像源的图像处理的方法和系统
CN113271406B (zh) 具有多个图像源的图像处理的方法和系统
US11115638B2 (en) Stereoscopic (3D) panorama creation on handheld device
US10600157B2 (en) Motion blur simulation
JP3934151B2 (ja) 画像生成装置および画像生成方法
US8743222B2 (en) Method and apparatus for cropping and stabilization of video images
EP2545411B1 (en) Panorama imaging
US20110141224A1 (en) Panorama Imaging Using Lo-Res Images
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
KR102640227B1 (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
WO2013151873A1 (en) Joint video stabilization and rolling shutter correction on a generic platform
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
CN110958361B (zh) 能够进行hdr合成的摄像设备及其控制方法和存储介质
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP2010193476A (ja) 撮像装置及び画像再生装置
JP2017220885A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2013218031A (ja) 撮像装置
JP2013084124A (ja) 撮像システム、撮像装置および画像処理方法
JP6742823B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016100868A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2018174461A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6797566B2 (ja) 撮像装置、撮像装置の制御方法、および、画像処理装置
JP2022042829A (ja) 報知装置、撮像装置、報知方法、及びプログラム
JP2010193475A (ja) 撮像装置及び画像再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant