CN106170067B - 用于制作稳像视频的方法和摄像机 - Google Patents
用于制作稳像视频的方法和摄像机 Download PDFInfo
- Publication number
- CN106170067B CN106170067B CN201610320043.7A CN201610320043A CN106170067B CN 106170067 B CN106170067 B CN 106170067B CN 201610320043 A CN201610320043 A CN 201610320043A CN 106170067 B CN106170067 B CN 106170067B
- Authority
- CN
- China
- Prior art keywords
- vignetting
- video
- digital image
- image frames
- dislocation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于制作稳像视频的方法和摄像机。该方法包括:提供用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据;确定由摄像机拍摄的数字图像帧的位错值;基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域;至少在数字图像帧中的与将被显示在稳像视频中的区域相对应的像素上应用渐晕去除处理,其中该应用基于用于定义渐晕效应的数据;以及基于用于定义渐晕效应的数据及位错值,在数字图像帧中的将被显示在视频中的区域上再引入渐晕。
Description
技术领域
本发明涉及稳像视频的制作。
背景技术
由摄像机拍摄的视频可能会遇到被称为摄像机抖动的问题。例如,安装在一区域(用于例如监视该区域)的摄像机可能会不时地经历由于诸如风力、进入或离开该区域的交通工具(如飞机、火车、卡车等)、施工工程等改变环境因素而引起的抖动或振动。这种抖动或振动会引发摄像机的运动,因此使所拍摄的视频抖动。
用于减少摄像机抖动影响的图像稳定的现有技术系统通常包括在显示视频之前对由摄像机拍摄的视频的电子学操作。藉此,尽管有摄像机的诱发性运动,也会将视频的稳定视图呈献给观看者。
照片或图片的边缘在四周的纸面上逐渐消失被称为渐晕。生成这种图案的方法是有意识的。然而,渐晕这个用语也被用来指示在照片图像或图像流即视频中的图像角落的无意识的变黑。无意识的和不希望的渐晕是由透镜、可变光圈和/或图像传感器的限制所导致的结果。
对于在其中执行图像稳定的视频,渐晕可能变得令人讨厌。这是因为视频的图像帧将对于不同的图像帧不同地移位和/或裁剪,以使该视频看起来稳定。因此,在执行图像稳定之后,渐晕抖动的影响将被体现在视频中。渐晕去除算法是容易获得的。但是如果渐晕很严重,那么去除它将会严重地放大受影响区域中的噪声。
发明内容
鉴于上述问题,本发明的目的在于提供一种用于去除稳像视频中的渐晕移动的烦恼的方法。此外,本发明的目的在于提供一种用于在稳像视频中去除讨厌的渐晕效应而不会放大图像中的噪声的方法。
根据第一方面,提供一种用于实现稳像视频的方法。该方法包括:提供用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据;确定由摄像机拍摄的数字图像帧的位错值;基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域;至少在与数字图像帧中的将被显示在稳像视频中的区域相对应的像素上应用渐晕去除处理,其中应用基于用于定义渐晕效应的数据;以及基于用于定义渐晕效应的数据及位错值,在数字图像帧中的将被显示在视频中的区域上再引入渐晕。
根据以上所讨论的,去除和再引入渐晕将由于不同稳像数字图像帧中的不同渐晕而在稳像视频中产生闪烁效应,同时噪声的放大被最小化。
应用渐晕去除处理和再引入渐晕可在共同的图像处理步骤中执行。这将节省处理器所需的功率,并且使处理更快。
该方法可以进一步包括基于位错值对数字图像帧进行裁剪,以形成裁剪后图像帧,其中裁剪后图像帧对应于数字图像帧中的将被显示在稳像视频中的区域。
应用可以包括在裁剪后图像帧的像素上应用渐晕去除处理,其中应用基于用于定义渐晕效应的数据和/或位错值。再引入可以包括基于用于定义渐晕效应的数据,对裁剪后图像再引入渐晕。
提供用于定义渐晕效应的数据可以包括提供表格,该表格用于定义摄像机的图像传感器的不同像素如何受渐晕效应的影响。
该表格可以包括用于定义摄像机的图像传感器的所有像素如何受渐晕效应的影响的数据。
该表格可以包括用于定义仅摄像机的图像传感器的像素子集如何受渐晕效应的影响的数据。
在使用滚动快门拍摄数字图像帧的情况下,确定位错值可以包括确定传感器图像帧的至少两个不同行的不同位错值。
在使用全局快门拍摄数字图像帧的情况下,确定位错值可以包括确定传感器图像帧的单一位错值。
根据第二方面,提供一种在其上记录有程序的非暂时性计算机可读记录介质,当在具有处理能力的设备上执行该程序时,实现上述方法。
根据第三方面,提供一种图像处理设备,该图像处理设备被设置为生成包括由摄像机拍摄的数字图像帧的稳像视频。图像处理设备包括:存储器,包括用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据;位错值确定模块,被设置为确定由摄像机拍摄的数字图像帧的位错值;图像移位模块,被设置为基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域;渐晕去除模块,被设置为基于用于定义渐晕效应的数据,从至少与数字图像帧中的将被显示在稳像视频中的区域相对应的像素中去除渐晕;渐晕再引入模块,被设置为基于用于定义渐晕效应的数据及位错值,在数字图像帧中的将被显示在视频中的区域上再引入渐晕;以及视频模块,被设置为将连续的数字图像帧添加到稳像视频中。
设备可进一步包括:裁剪模块,被设置为基于位错值对数字图像帧进行裁剪,以形成裁剪后图像帧,其中裁剪后图像帧对应于数字图像帧中的将被显示在稳像视频中的区域。
设备可以是包括运动传感器的摄像机,运动传感器被设置为对摄像机的运动进行检测,其中位错值确定模块被设置为基于检测到的摄像机的运动,来确定由摄像机拍摄的数字图像帧的位错值。
以上所提到的用于实现稳像视频的方法的特征,在适用时,还将应用于第二和第三方面。为了避免不必要的重复,将参考上述内容。
本发明适用性的进一步范围将根据下面给出的详细描述而变得显而易见。然而,应当理解,虽然详细描述和具体示例在指示本发明的优选实施例时,仅通过例证的方式来给出,但是对于本领域技术人员而言,本发明的范围内的各种变化和修改按照该详细描述将变得显而易见。
因此,应当理解,本发明并不限于所描述的设备的特定部件或描述为这种设备的方法的步骤,并且方法可以变化。还应当理解,本文所使用的术语仅用于描述具体实施例的目的,并不旨在进行限制。必须指出,如在说明书和所附权利要求中使用的冠词“一个”、“一种”、“该”和“所述”意在表示存在一种或多种元件,除非上下文中另有明确说明。因此,例如提及“一单元”或“该单元”可以包括多个设备和类似物。此外,用语“包括”“、包含”、“含有”以及类似用语并不排除其他元件或步骤。
附图说明
现在将参照示出本发明实施例的附图来更详细地描述本发明的上述和其他方面。附图不应被认为是用于将本发明限制在具体实施例,相反它们被用来解释和理解本发明。
如图所示,层和区域的大小被放大以用作描述的目的,并因此被提供用以说明本发明实施例的一般结构。相同的附图标记始终指代相同的元件。
图1是稳像系统的实施例的框图。
图2是稳像的概念图。
图3和图4是在稳像过程中渐晕的去除和再引入的概念图。
图5是用于实现稳像视频的方法的框图。
图6是稳像系统的实施例的框图。
具体实施方式
现在将在下文参考附图来更全面地描述本发明,在附图中示出了本发明的当前优选实施例。然而,本发明可以以很多不同形式来体现,并且不应被解释为受限于本文所陈述的实施例;相反,这些实施例被提供用于彻底性以及完整性,并且向技术人员完全传达本发明的范围。
如本领域技术人员将意识到的,本发明的各方面可以被体现为设备、方法或计算机程序产品。因此,本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合了软件与硬件的实施例的形式。此外,本发明可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,一个或多个计算机可读介质具有体现在其上的计算机可读程序代码。
图1是图像稳定系统10的框图。图像稳定系统10包括:摄像机20、图像处理设备30和显示器40。
摄像机20被定位以使所关注的场景位于视场21之内。摄像机20可被设置用于监视该区域。摄像机20可以包括可调节的聚焦透镜装置22。摄像机20可被设置为输出携带有与聚焦透镜装置22的焦距相关的信息的信号。摄像机20也可以是用于监视摄像机前面的区域的监控摄像机。摄像机20进行操作以生成代表视场21内的关注场景的由摄像机20拍摄的视频的图像帧信息。
摄像机20会不时地经历由于诸如风力、进入或离开区域的交通工具(如飞机、火车、卡车等)、施工工程等改变环境因素而引起的抖动或振动。这种抖动或振动会引发摄像机20的运动,因此使由摄像机20所拍摄的视频抖动。
摄像机20还可包括运动传感器24。运动传感器24被设置为对摄像机20的运动进行检测。运动传感器24被设置为输出与摄像机20的运动相对应的信号。
从运动传感器24中输出的信号可对应于摄像机振动振幅。因摄像机的抖动或振动而引发的该摄像机的运动可对应于振荡运动,其中每个振荡具有振荡振幅。摄像机振动振幅可以是一个或多个振荡振幅的度量。摄像机振动振幅可以例如是预定的时间间隔期间内的平均振荡振幅的度量或预定的时间间隔期间内的最大振荡振幅的度量。
此外,摄像机振动振幅可被划分为分量。因此,摄像机振动振幅可以例如具有与摄像机的水平运动相关的一个分量以及与摄像机的垂直运动相关的一个分量。
可替代地或组合,从运动传感器24中输出的信号可对应于摄像机的朝向的瞬时变化。
根据结合图1所公开的实施例,摄像机20是数字摄像机。然而,应该认识到,模拟摄像机也可关联本发明来使用。在图像稳定系统包括模拟摄像机的情况下,模拟图像帧从模拟摄像机被传送至模数转换器(未示出),其进行操作以生成模拟图像帧的数字表示。
由摄像机20拍摄的数字图像帧被馈送到图像处理设备30。图像处理设备30包括:存储器31、位错值确定模块32、图像移位模块33、渐晕去除模块34、渐晕再引入模块35、视频模块36以及数据总线37。图像处理设备30可进一步包括裁剪模块38。图像处理设备30的模块32、33、34、35、36、38可被实现为由处理单元运行的软件代码、被实现为在图像处理设备30中实现的硬件、或被实现为它们的组合。位错值确定模块32、图像移位模块33、渐晕去除模块34、渐晕再引入模块35、视频模块36和/或裁剪模块38可被设置为将数据存储在存储器31上和/或从存储器31中检索数据。存储器31、位错值确定模块32、图像移位模块33、渐晕去除模块34、渐晕再引入模块35、视频模块36和/或裁剪模块38被设置为通过数据总线37彼此进行通信。
图像处理设备30被设置为接收来自摄像机20的信号。特别是,图像处理设备30被设置为接收由摄像机20生成的视频的数字图像帧。图像处理设备30也可被设置为接收从运动传感器24输出的信号。图像处理设备30还可被设置为接收携带有与聚焦透镜装置22的焦距相关的信息的信号。
在图2(A)中给出在执行图像稳定之前受到摄像机运动影响的视频的数字图像帧的示例。更确切而言,给出了描绘有人1与树2的场景的视频的多个叠加的数字图像帧。摄像机抖动或振动引发摄像机的运动。由于摄像机的运动,人1与树2移动到显示出的数字图像帧内的不同位置。代表在摄像机的不同位置处拍摄的场景的视频的数字图像帧的叠加具有该场景的模糊视觉信息的效果。因此,图2(A)给出人1与树2的不稳定视频的表示。
为了减少摄像机运动的影响,在显示视频之前,对视频流的数字图像帧进行电子操作。位错值确定模块32进行操作,以针对用于建立由摄像机拍摄的视频的每个数字图像帧确定位错值。取决于使用了位错的图像读出技术,因此数字图像帧的电子操作的方法可以不同。在使用全局快门的情况下,即整个数字图像帧被同时读出,数字图像帧的全部内容被移位,以对摄像机20的运动进行补偿。在使用滚动快门的情况下,即数字图像帧一次被读出一行或几行,数字图像帧中的每行或几行由于它们在不同时间点被显露而被单独移位。在使用滚动快门的情况下,数字图像帧中的每行或几行也可被单独插值,以对摄像机20的垂直运动进行补偿。为简单起见,在以下所公开的示例中,全局快门读出用于解释电子图像稳定,然而应当理解,滚动快门读出也可用于实现相同的结果。因此,术语“位错值”应被理解为完整数字图像帧的位错或数字图像帧中的一行或几行的位错。
位错值确定模块32可以以各种方式进行操作。根据一个实施例,位错值确定模块32被设置为使用与从运动传感器24输出的信号相关的信息连同聚焦透镜装置22的焦距的信息,以便确定在摄像机20的图像传感器上的对应位错值。可替代地或组合,缩放级别即视场也可被用于确定位错值。可替代地,可以使用图像处理技术来跟踪由视频流所描绘的场景中的被认为在图像帧之间是静止的特征。这种图像处理技术对本领域技术人员而言是公知的,将不在这里作进一步的讨论。位错值确定模块32进一步被设置为将所确定的位错值传送给图像处理设备30的其他模块。
图像移位模块33被设置为确定将被显示在稳像视频中的数字图像帧的区域。该确定基于位错值而进行。这是为了对由摄像机运动引起的位错进行补偿。因此,图像移位模块33被设置为生成用于描绘摄像机20前面的场景的视频流的稳定视图。换言之,对将被显示在稳像视频中的数字图像帧的区域的确定是通过根据所确定的位错值在每个图像帧上应用移位来补偿摄像机20的运动来进行的。因此,尽管有摄像机的诱发性运动,也会将视频的稳定视图呈献给观看者。由此,可以向观看者提供由视频所描绘的场景的稳定显示视图。
裁剪模块38被设置为基于位错值对数字图像帧进行裁剪,以形成裁剪后图像帧。裁剪后图像帧对应于将被显示在稳像视频中的数字图像帧的区域。裁剪不一定被视为数字图像帧的、去除原始数字图像帧的一些像素的实际裁剪。相反,在一些实施例中,裁剪应被理解为隐藏数字图像帧中的、不被显示在稳像视频中的像素。不需要的像素可通过应用掩码以掩蔽掉不需要的像素来隐藏。然而,在一些实施例中,裁剪是数字图像帧的实际裁剪,其在显示作为稳像视频的一部分的数字图像帧之前,去除原始数字图像帧的一些像素。
裁剪模块38被设置为针对相应的数字图像帧根据所确定的位错值来裁剪数字图像帧,以对摄像机20的运动进行补偿。裁剪模块38也可被设置为应用比例因子。比例因子可被设置为使得图像之间的像素数(像素分辨率)被保持。这可以在例如图像被裁剪为不同大小的图像时被应用。
在图2(B)中给出了图像稳定被应用于图2(A)中所呈现的不稳定视频后的视频的表示。在图2(B)中,在确定并对每个数字图像帧应用位错值之后显示视频的图像帧。因此,图2(B)是当已根据上述将电子图像稳定应用于图2(A)中所呈现的不稳定视频之后的视频的表示。在图2(B)中,稳定视频目前在显示器内位于中央并且是稳定的。因此,图像稳定系统10进行操作,以使每个图像帧移位,使得人1与树2在显示器中看上去是稳定的。然而,由于图像稳定操作以移位整个图像帧,因此所显示的视频的一部分将不包含任何被显示的信息,因此将出现空白。此外,如在图2(B)中由代表每个所显示的图像帧的一个边缘的实线3、4、5、6、7所指示的,当图像稳定系统进行操作以呈现场景的稳定视频流时,视频的边缘将连续移动。因此,所显示的视频流的周边区域将是连续移动的,这将分散观看者的注意力。
上述问题可以例如通过裁剪来解决。在图2(C)中给出了在对图2(B)的数字图像进行裁剪之后的视频的表示。在图2(C)中,视频流的经裁切的图像帧被显示在彼此的顶部。因此,图2(C)是已向图2(A)中所呈现的不稳定视频应用根据上述的图像稳定和裁剪之后的视频的表示。在图2(B)中,稳定的视频目前在显示器内位于中央并且是稳定的。
正如上面所提到的在应用电子图像稳定之后,渐晕可能会变得令人讨厌。而且,在视频的图像帧之间存在变化的渐晕可能会影响对视频所执行的运动检测。根据摄像机的运动,图像帧将被不同地移位和/或剪裁,以使视频显得稳定。然而,这反而将具有渐晕移动的效果。
针对这个问题的显而易见的解决方法是数字化地去除渐晕。然而,因为图像中的噪声因渐晕的去除而增加,因此这将导致更多接近图像边缘的噪声。
根据本发明,这个问题通过首先去除渐晕(图像稳定之前或之后)然后再次对稳定图像重新应用均匀渐晕来缓解。均匀是指针对将被显示在稳像视频中的后续数字图像帧中的区域的基本上相似的渐晕。这将去除渐晕移动的烦恼,同时使附加噪声最小化。另一个好处是,当摄像机完全没有移动时,这些操作甚至相互抵消,导致根本没有附加噪声。
因此,渐晕去除模块34被设置为至少从与数字图像帧中的将被显示在稳像视频中的区域相对应的像素中去除渐晕。该去除基于用于定义由摄像机20拍摄的数字图像帧的渐晕效应的数据。渐晕的去除可以以本领域技术人员已知的不同方式来执行。但是,常见的渐晕去除处理会放大数字图像帧中的噪声。
用于定义由摄像机20拍摄的数字图像帧的渐晕效应的数据被存储在存储器31中。如以上所提到的,渐晕效应可依赖于各种因素,诸如摄像机设置和/或镜头限制。因渐晕效应而对由摄像机20拍摄的数字图像帧所产生的影响对于本领域技术人员而言可以以已知的许多不同的方式来确定。因而用于定义由摄像机20拍摄的数字图像帧的渐晕效应的数据可以被推导出,并且被存储在存储器31中。用于定义渐晕效应的数据可以例如被提供为表格,该表格用于定义摄像机的图像传感器的不同像素如何受渐晕效应影响。该表格可包括用于定义摄像机的图像传感器的所有像素如何受渐晕效应影响的数据。可替代地,该表格可包括用于定义仅摄像机的图像传感器的像素子集如何受渐晕效应影响的数据。渐晕效应将如何影响不是该子集一部分的像素可随后例如通过插值来得到。
渐晕再引入模块35被设置为在数字图像帧中的将被显示在视频中的区域上再引入渐晕。该再引入基于用于定义渐晕效应的数据以及位错值。渐晕去除模块34和渐晕再引入模块35可以彼此独立地进行工作,使得渐晕去除模块34被设置为去除渐晕,此后渐晕再引入模块35被设置为再引入渐晕。然而,根据一个实施例,渐晕去除模块34和渐晕再引入模块35被设置为同时工作,因此渐晕去除和渐晕再引入在共同的图像处理步骤中被执行。
渐晕的去除和再引入现在将结合图3和图4作进一步的说明。在图3(A)中,由摄像机20拍摄的原始数字图像帧100被示出。原始数字图像帧100包含渐晕区域50。在图3(B)中图示了其中在使用渐晕去除模块34应用渐晕去除处理后去除渐晕区域的原始数字图像帧。渐晕区域被去除的原始数字图像帧在这里被称为数字图像帧102。在图3(C)中图示了数字图像帧102中的将被显示在稳像视频中的确定区域104。区域104将根据以上所讨论的来确定。在图3(D)中,区域104被示为居中叠加在原始数字图像帧100的顶部,这是为了可视化何种渐晕将再引入。因此,欲再引入的渐晕将取决于用于定义由摄像机拍摄的原始数字图像帧100的渐晕效应的数据以及区域104的位错这两者。在图3(E)中图示了将与再引入渐晕52一起被显示的所得到的数字图像帧106。
在结合图3所讨论的渐晕的去除和再引入中,该去除和再引入被示为单独的图像处理步骤。但是,去除和再引入也可在共同的图像处理步骤中执行,这将在图4中示出。在图4(A)中图示了与图3(A)中相同的原始数字图像帧。另一方面,还图示了数字图像帧中的将被显示在稳像视频中的确定区域104。区域104将根据以上所讨论的来确定,但是,应当做出说明,区域104是在应用渐晕去除之前被确定的。另外,区域104的特定像素60被高亮显示。高亮显示的特定像素60当然也属于原始数字图像帧100。假设用于定义如何去除特定像素60的渐晕效应的数据被设定为Vremove。在图4(B)中,区域104被示出为居中叠加在原始数字图像帧100的顶部,这是为了可视化将再引入何种渐晕。区域104中具有与图4(A)中的特定像素60相同的位置的像素62被标出。如图4(A)所示,由于区域的位错,像素62并不对应于原始数字图像帧中的特定像素60。相反,像素62对应于原始数字图像帧的另一像素。假设用于定义如何对像素62再引入渐晕效应的数据被设定为Vreintro。如图4(C)所示,渐晕的去除和再引入现在可通过向区域104的像素64的像素数据同时应用Vremove和Vreintro,来在单个的图像处理步骤中执行。此后,可对区域的所有像素执行相同的步骤。结果将与图3中所示的处理相同,与以上的区别是,潜在的舍入误差可以被避免。
根据以上所讨论的,渐晕的去除和再引入因不同稳像数字图像帧中的不同渐晕,而在稳像视频中具有闪烁效应,同时最小化视频中所增加的噪声。
视频模块36被设置为将连续的数字图像帧添加到稳像视频中。
然后,稳像视频可被输出到显示器40。
在图5中示出用于实现稳像视频的方法的框图。该方法包括:S500,提供用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据。S502,确定由摄像机拍摄的数字图像帧的位错值。S504,基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域。S506,至少在数字图像帧中的与将被显示在稳像视频中的区域相对应的像素上应用渐晕去除处理,其中应用基于用于定义渐晕效应的数据。S508,基于用于定义渐晕效应的数据及位错值,在数字图像帧中的将被显示在视频中的区域上再引入渐晕。
该方法可以进一步包括:S505,基于位错值对数字图像帧进行裁剪,以形成裁剪后图像帧,其中裁剪后图像帧对应于数字图像帧中的将被显示在稳像视频中的区域。
本领域技术人员将意识到,本发明不受以上所描述的优选实施例的限制。相反,在附加的权利要求的范围内,许多修改和变更是可能的。
例如,图像处理设备30可在摄像机20内实现。这在图6中示出。
在使用滚动快门拍摄数字图像帧的情况下,确定位错值可包括确定传感器图像帧的至少两个不同行的不同位错值。
在使用全局快门拍摄数字图像帧的情况下,确定位错值可包括确定传感器图像帧的单一位错值。
此外,通过研究附图、公开和所附权利要求,本领域技术人员在实践所要求保护的本发明时将能够理解并实施针对所公开的实施例的变化。
Claims (11)
1.一种制作稳像视频的方法,所述方法包括:
提供用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据(S500);
确定由所述摄像机拍摄的数字图像帧的位错值(S502),其中所述位错值是完整数字图像帧的位错或者所述数字图像帧中的一行或几行的位错,所述位错是由摄像机运动而引发的;
根据所确定的位错值在所述数字图像帧上应用移位,来补偿所述摄像机的运动;
基于所述位错值,对所述数字图像帧进行裁剪,以形成裁剪后图像帧(S505),其中所述裁剪后图像帧对应于所述数字图像帧中的将被显示在所述稳像视频中的区域;
至少在所述数字图像帧中的与将被显示在所述稳像视频中的所述区域相对应的像素上应用渐晕去除处理,其中所述渐晕去除处理的应用基于用于定义所述渐晕效应的所述数据(S506);
其特征在于:
基于用于定义所述渐晕效应的所述数据及所述位错值,在所述数字图像帧中的将被显示在所述视频中的所述区域上再引入渐晕(508);以及
显示所述数字图像帧的所述区域,以作为所述稳像视频的部分被显示。
2.根据权利要求1所述的方法,其中应用渐晕去除处理和再引入渐晕在共同的图像处理步骤中执行。
3.根据权利要求1或2所述的方法,其中所述渐晕去除处理的应用包括在所述裁剪后图像帧的像素上应用所述渐晕去除处理,其中所述应用基于用于定义所述渐晕效应的所述数据,并且其中所述再引入包括基于用于定义所述渐晕效应的所述数据,向所述裁剪后图像帧再引入渐晕。
4.根据权利要求3所述的方法,其中向所述裁剪后图像帧再引入渐晕也基于所述位错值。
5.根据权利要求1所述的方法,其中提供用于定义渐晕效应的数据包括提供表格,所述表格用于定义所述摄像机的图像传感器中的不同像素如何受所述渐晕效应的影响。
6.根据权利要求5所述的方法,其中所述表格包括用于定义所述摄像机的所述图像传感器中的所有像素如何受所述渐晕效应的影响的数据。
7.根据权利要求5所述的方法,其中所述表格包括用于定义仅所述摄像机的所述图像传感器中的像素子集如何受所述渐晕效应的影响的数据。
8.根据权利要求1所述的方法,其中在使用滚动快门拍摄所述数字图像帧的情况下,确定位错值包括确定传感器图像帧的至少两个不同行的不同位错值。
9.根据权利要求1所述的方法,其中在使用全局快门拍摄所述数字图像帧的情况下,确定位错值包括确定传感器图像帧的单一位错值。
10.一种图像处理设备,被设置为生成包括由摄像机(20)拍摄的数字图像帧的稳像视频,所述图像处理设备包括:
存储器(31),包括用于定义由所述摄像机拍摄的数字图像帧的渐晕效应的数据;
位错值确定模块(32),被设置为确定由所述摄像机拍摄的数字图像帧的位错值,其中所述位错值是完整数字图像帧的位错或者所述数字图像帧中的一行或几行的位错,所述位错是由摄像机运动而引发的;
图像移位模块(33),被设置为基于所述位错值,根据所确定的位错值在所述数字图像帧上应用移位,来补偿所述摄像机的运动;
裁剪模块(38),被设置为基于所述位错值,对所述数字图像帧进行裁剪,以形成裁剪后图像帧,其中所述裁剪后图像帧对应于所述数字图像帧中的将被显示在所述稳像视频中的区域;以及
渐晕去除模块(34),被设置为基于用于定义所述渐晕效应的所述数据,从所述数字图像帧中的至少与将被显示在所述稳像视频中的所述区域相对应的像素中去除渐晕;
其特征在于:
渐晕再引入模块(35),被设置为基于用于定义所述渐晕效应的所述数据及所述位错值,在所述数字图像帧中的将被显示在所述视频中的所述区域上再引入渐晕;及
视频模块(36),被设置为将连续的数字图像帧添加到所述稳像视频中。
11.根据权利要求10所述的设备,其中所述设备是包括运动传感器(24)的摄像机(20),所述运动传感器(24)被设置为对所述摄像机(20)的运动进行检测,其中所述位错值确定模块被设置为基于所检测到的所述摄像机的运动,来确定由所述摄像机拍摄的数字图像帧的所述位错值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15167953.7A EP3096512B1 (en) | 2015-05-18 | 2015-05-18 | Method and camera for producing an image stabilized video |
EP15167953.7 | 2015-05-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106170067A CN106170067A (zh) | 2016-11-30 |
CN106170067B true CN106170067B (zh) | 2017-09-15 |
Family
ID=53189691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610320043.7A Active CN106170067B (zh) | 2015-05-18 | 2016-05-13 | 用于制作稳像视频的方法和摄像机 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9712747B2 (zh) |
EP (1) | EP3096512B1 (zh) |
JP (1) | JP6328688B2 (zh) |
KR (1) | KR101755608B1 (zh) |
CN (1) | CN106170067B (zh) |
TW (1) | TWI699119B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180077875A1 (en) * | 2016-09-17 | 2018-03-22 | Kent Allan Vander Velden | Apparatus and methods for phenotyping plants |
US20180276818A1 (en) * | 2016-09-17 | 2018-09-27 | Kent Allan Vander Velden | Apparatus and methods for phenotyping plants |
US10142568B2 (en) * | 2017-02-13 | 2018-11-27 | Semiconductor Components Industries, Llc | Methods and apparatus for vignette and out-of-focus correction |
JP6971685B2 (ja) * | 2017-08-02 | 2021-11-24 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US11496684B2 (en) * | 2017-12-11 | 2022-11-08 | Gopro, Inc. | Combined mechanical and electronic image stabilization |
JP6452875B1 (ja) * | 2018-03-29 | 2019-01-16 | 株式会社日立製作所 | 移動体撮像システム、及び、移動体撮像方法 |
KR20210102212A (ko) * | 2018-12-10 | 2021-08-19 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템 |
KR102558959B1 (ko) | 2019-10-14 | 2023-07-24 | 주식회사 케이티 | 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램 |
EP3905659B1 (en) | 2020-04-28 | 2022-06-01 | Axis AB | Statistics-based electronics image stabilization |
CN113163104B (zh) * | 2020-12-31 | 2022-11-01 | 深圳市微网力合信息技术有限公司 | 基于wifi6的摄像头控制方法、设备及存储介质 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02250568A (ja) * | 1989-03-24 | 1990-10-08 | Matsushita Electric Ind Co Ltd | ゆれ補正装置 |
JP2003101866A (ja) * | 2001-09-25 | 2003-04-04 | Canon Inc | 光学装置 |
JP2004048346A (ja) | 2002-07-11 | 2004-02-12 | Minolta Co Ltd | 撮像装置、画像再生装置およびプログラム |
JP3829773B2 (ja) | 2002-07-22 | 2006-10-04 | コニカミノルタフォトイメージング株式会社 | 撮像装置およびセンタリング情報取得方法 |
WO2007042853A1 (en) * | 2005-10-13 | 2007-04-19 | Nokia Corporation | Method and system for vignetting elimination in digital image |
JP4952891B2 (ja) | 2006-05-08 | 2012-06-13 | カシオ計算機株式会社 | 動画撮影装置および動画撮影プログラム |
US7714892B2 (en) * | 2006-11-08 | 2010-05-11 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems, devices and methods for digital camera image stabilization |
JP4876066B2 (ja) | 2007-12-19 | 2012-02-15 | キヤノン株式会社 | 映像処理装置及び映像処理システム及び映像処理方法及びプログラム |
JP5003657B2 (ja) | 2008-11-17 | 2012-08-15 | 株式会社Jvcケンウッド | 画像振れ補正装置 |
TW201120812A (en) * | 2009-12-04 | 2011-06-16 | Huper Lab Co Ltd | Stabilization method for vibrating video frames |
JP5597061B2 (ja) | 2010-08-18 | 2014-10-01 | キヤノン株式会社 | 映像再生装置、及びその制御方法 |
US8274552B2 (en) * | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
JP5791349B2 (ja) | 2011-04-21 | 2015-10-07 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US8743222B2 (en) * | 2012-02-14 | 2014-06-03 | Nokia Corporation | Method and apparatus for cropping and stabilization of video images |
EP3576398B1 (en) * | 2012-02-22 | 2022-08-10 | Agfa Offset Bv | System and method for regularizing an ink model for a color device |
EP2965153B1 (en) * | 2013-03-06 | 2020-08-05 | Nokia Technologies Oy | Sliding accessory lens mount with automatic mode adjustment |
WO2014156747A1 (ja) * | 2013-03-26 | 2014-10-02 | 株式会社インタニヤ | パノラマ撮影用デジタルカメラ及び、パノラマ撮影システム |
US20160124296A1 (en) * | 2013-03-26 | 2016-05-05 | Entaniya Co., Ltd. | Panoramic imaging head, and imaging system using same |
US9131159B2 (en) * | 2013-06-28 | 2015-09-08 | Nokia Technologies Oy | Optical field communication |
US20150022677A1 (en) * | 2013-07-16 | 2015-01-22 | Qualcomm Incorporated | System and method for efficient post-processing video stabilization with camera path linearization |
US20150130907A1 (en) * | 2013-11-11 | 2015-05-14 | Samsung Electronics Co., Ltd. | Plenoptic camera device and shading correction method for the camera device |
EP3069510A4 (en) * | 2013-11-18 | 2017-06-28 | Nokia Technologies Oy | Method and apparatus for enhanced digital imaging |
JP6312487B2 (ja) * | 2014-03-26 | 2018-04-18 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、プログラム |
US20150350530A1 (en) * | 2014-06-02 | 2015-12-03 | Nokia Corporation | Light Field Imaging |
EP2963845B1 (en) * | 2014-06-13 | 2018-05-02 | Nokia Corporation | Method and apparatus for optical communication |
KR102125284B1 (ko) * | 2015-03-11 | 2020-07-08 | 에이에스엠엘 네델란즈 비.브이. | 검사와 계측을 위한 방법 및 장치 |
-
2015
- 2015-05-18 EP EP15167953.7A patent/EP3096512B1/en active Active
-
2016
- 2016-04-19 US US15/132,843 patent/US9712747B2/en active Active
- 2016-04-29 TW TW105113590A patent/TWI699119B/zh active
- 2016-05-10 JP JP2016094309A patent/JP6328688B2/ja active Active
- 2016-05-13 CN CN201610320043.7A patent/CN106170067B/zh active Active
- 2016-05-13 KR KR1020160058981A patent/KR101755608B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
TWI699119B (zh) | 2020-07-11 |
JP6328688B2 (ja) | 2018-05-23 |
JP2017022692A (ja) | 2017-01-26 |
US9712747B2 (en) | 2017-07-18 |
TW201709720A (zh) | 2017-03-01 |
US20160344935A1 (en) | 2016-11-24 |
KR101755608B1 (ko) | 2017-07-19 |
EP3096512A1 (en) | 2016-11-23 |
EP3096512B1 (en) | 2017-03-22 |
CN106170067A (zh) | 2016-11-30 |
KR20160135662A (ko) | 2016-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106170067B (zh) | 用于制作稳像视频的方法和摄像机 | |
JP7002056B2 (ja) | 三次元モデル生成装置及び三次元モデル生成方法 | |
JP2011029735A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4839183B2 (ja) | 画像処理装置 | |
JP6141084B2 (ja) | 撮像装置 | |
EP3001676A1 (en) | Method and image processing device for image stabilization of a video stream | |
JP7070417B2 (ja) | 画像処理装置および方法 | |
CN112001912B (zh) | 目标检测方法和装置、计算机系统和可读存储介质 | |
JP5681231B2 (ja) | 映像提供装置及び方法 | |
JP6780983B2 (ja) | 画像処理システム | |
JPWO2016158119A1 (ja) | 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置 | |
US20210304417A1 (en) | Observation device and observation method | |
JP2011039795A (ja) | 動画像強調処理システムおよび方法 | |
CN108347596B (zh) | 一种基于反馈的激光引导扫描系统和方法 | |
JP6468751B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4444928B2 (ja) | 顕微鏡画像の画像処理方法、装置及びプログラム | |
JP2018174461A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011060204A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2018107651A (ja) | 撮像装置 | |
JP2006160140A (ja) | 目標検出装置 | |
JP3749712B2 (ja) | 射影による移動量検出方法 | |
JP2022165815A (ja) | 画像処理装置、画像処理方法 | |
JP2007018340A (ja) | 障害物検出装置 | |
JP2019114135A (ja) | 拡張現実(ar)映像の現実感を向上するar情報表示方法及びプログラム | |
JP2020201713A (ja) | 画像選択方法、画像選択プログラム、および画像選択装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |