CN110443750B - 检测视频序列中的运动的方法 - Google Patents
检测视频序列中的运动的方法 Download PDFInfo
- Publication number
- CN110443750B CN110443750B CN201910317639.5A CN201910317639A CN110443750B CN 110443750 B CN110443750 B CN 110443750B CN 201910317639 A CN201910317639 A CN 201910317639A CN 110443750 B CN110443750 B CN 110443750B
- Authority
- CN
- China
- Prior art keywords
- motion detection
- detection sensitivity
- spatial resolution
- motion
- sensitivity map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 146
- 230000035945 sensitivity Effects 0.000 claims abstract description 106
- 238000009826 distribution Methods 0.000 claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
- G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
Abstract
本申请提供了一种检测视频序列中的运动的方法,该视频序列包括失真图像帧。该方法包括:确定失真图像帧的空间分辨率分布(101);确定失真图像帧的运动检测灵敏度图(102),运动检测灵敏度图包括具有不同运动检测灵敏度级别的区域,其中基于空间分辨率分布来确定运动检测灵敏度图;以及基于运动检测灵敏度图检测视频序列中的运动(103)。还公开了运动检测部件和包括这种部件的相机。
Description
技术领域
本发明涉及检测视频序列中的运动的领域。
背景技术
相机应用的一个大领域是监视。运动检测是相机监视系统的重要特征,因此有一个有效的运动检测算法是有益的。一般来说,运动检测算法的缺点在于它们在设计时考虑了直线镜头,即对于直线在其捕获图像中实际上保持笔直的镜头。因此,运动检测算法对于执行包括失真图像帧的视频序列不是最佳的。对失真图像帧进行常规运动分析的结果可能变差或者分析可能需要对视频序列进行更多处理。例如,由广角镜头捕获的视频序列本质上包括失真图像帧。这样的视频序列通常需要在能够以良好结果执行运动检测之前执行去扭曲处理。
存在可能导致失真图像帧的不同失真源,例如诸如鱼眼镜头的广角镜头、光学圆顶和用于提供全景图像的拼接技术。在拼接中,使用一个或多个图像传感器捕获的多个原始图像被组合以形成单个图像。有几种已知的拼接算法可供选择。
在制造直线镜头期间也可能由于缺陷而引起失真。
根据失真源会有不同类型的失真形状。一个例子是径向失真,包括筒形失真、枕形失真和胡须(mustache)失真,它们是由镜头的对称性引起的。或者,失真可以具有不规则的形状。
无论失真源和失真形状如何,在分析图像时失真都是一个挑战。例如,许多运动检测算法在被应用于失真图像时遭受严重影响,因为大多数算法被设计为应用于非失真图像。因此,对于处理器而言,在失真图像上应用运动检测算法或其他类似算法使得计算量很大。
如上所述,该问题的解决方案是在应用运动检测之前对失真图像执行去扭曲。去扭曲是将失真图像反转为线性投影图像的过程,对于该过程运动检测算法更好地工作。然而,去扭曲本身是一个非常复杂的操作,它会给处理器带来负担,并且还会占用例如处理器和缩放器单元中的宝贵资源(时间、功率、带宽)。此外,去扭曲会使相机系统中的缩放器单元负担,而相机系统中的缩放器单元是有限的资源,因此其他也需要访问缩放器的过程可能受到损害。
因此,需要解决上述讨论问题的改进方法。
发明内容
本发明的一般目的是提供一种在应用于失真图像时得到改进的运动检测方法。本发明的一个具体目的是解决将传统的运动检测算法应用于由具有物理失真源(诸如广角镜头或光学圆顶)或数字失真源(例如拼接处理)的相机系统产生的图像的问题。
根据第一方面,这些和其他目的完全或至少部分地通过用于检测包括经由至少一个图像传感器产生的失真图像帧的视频序列中的运动的方法来实现。该方法包括:
确定失真图像帧的空间分辨率分布;
确定失真图像帧的运动检测灵敏度图,运动检测灵敏度图包括具有不同运动检测灵敏度级别的区域,其中基于空间分辨率分布来确定运动检测灵敏度图;并且
基于运动检测灵敏度图检测视频序列中的运动。
至少一个图像传感器可以包括在相机中。
如本文所使用的,“失真图像”或“失真图像帧”表示具有失真透视的图像。在失真图像中,场景中的直线通常在某种程度上弯曲。相比之下,完美的直线图像具有与场景中的直线对应的完美直线。在本申请的上下文中,讨论了两种类型的失真源:物理失真源和数字失真源。物理失真源的非限制性示例是广角镜头,包括鱼眼镜头(例如f-θ镜头)、光学圆顶镜头和不完美直线镜头。镜头中的缺陷可能是由于制造不精确造成的。数字失真源的非限制性示例是图像拼接算法。失真图案可以是不规则的或规则的(诸如径向失真)。捕获图像的失真模式可以是失真源中的一个或组合的结果。
如本文所使用的,“空间分辨率分布”表示图像帧的空间分辨率的图。在失真的图像中,通过例如广角镜头或从多个图像帧拼接,图像的不同区域具有不同的空间分辨率。换句话说,图像帧的相同大小的区域覆盖相机的视场(FOV)的不同尺寸的角度。可以在图像帧的像素级别上指定空间分辨率,或者可以在像素子组级别上(例如在宏块级别上)确定空间分辨率。空间分辨率可以表示为每个FOV的像素数量,或者表示为每个像素的FOV角度的量。本领域技术人员熟悉如何根据应用在这些表达之间进行互换。例如,在根据本申请的方法的实施方式中,可以优选使用这些表达中的一个。空间分辨率分布可以由例如指示像素或像素子组(例如宏块)的空间分辨率分布的表格表示。
如本文所使用的,“运动检测灵敏度级别”是指指示在应用于视频序列的运动检测算法中使用的灵敏度的量。可以应用不同的标度。例如,可以应用1-100的标度,其中1指示最低灵敏度(意味着对于要检测的运动需要连续图像帧之间的较大差异),并且其中100指示最高灵敏度(意味着即使连续图像帧之间的小的差异也会导致检测到的运动)。
如本文所使用的,“运动检测灵敏度图”指示图像帧中运动检测灵敏度级别的分布。可以确定运动检测灵敏度图并将其用于多个图像帧,例如一系列图像帧。运动检测灵敏度图可以由例如将运动检测灵敏度级别映射到图像帧中的每个像素或像素组(例如每个宏块)或作为函数的表格表示。该函数可以例如具有到图像帧中的预定位置或预定区域的距离作为输入并且具有作为输出的运动检测灵敏度级别。
如本文所使用的,“镜头多项式(lens polynomial)”表示镜头特定的多项式,其表示镜头或光学圆顶的镜头折射。可以通过在镜头上或光学圆顶上例如使用离轴模块传递函数(MTF)测量方法执行测量来获取镜头多项式。镜头或光学圆顶制造商通常可以为其不同类型的镜头或光学圆顶提供镜头多项式或表示失真的表格。
如本文所使用的,“投影算法”表示描述如何拼接/组合多个原始图像帧以形成拼接图像帧的算法。投影算法可以被设计成具有不同的目的,例如用于在原始图像帧之间提供平滑过渡或用于最小化所得图像帧中的失真。投影算法可以在不同的拼接算法之间变化。典型地,相同的投影算法用于捕获的视频序列。
本发明依赖于发明人的见解,将图像帧区域的运动检测灵敏度级别设置为与该图像帧区域的空间分辨率相对应是有益的。空间分辨率表示由图像帧区域覆盖的FOV的大小。如果覆盖FOV的较大角度,则应将运动灵敏度级别设置得更高,因为覆盖的FOV角度的移动将被转换为图像帧区域的相对较小的移动。因此,如果较小的FOV角度被相同大小的图像帧区域覆盖,则应该将运动灵敏度级别设置得更低,因为被覆盖的FOV角度的移动将被转换为图像帧区域的相对较高的移动。这种见解对于失真图像帧特别有用。该应用讨论了失真图像帧,其中失真是由物理失真源和/或数字失真源引起的。
基于发明人的见解,基于空间分辨率分布来确定运动检测灵敏度图。如上文所定义的,运动检测灵敏度图提供关于在视频序列中的图像帧的不同区域或甚至像素的运动检测期间使用哪个运动检测灵敏度的信息。基于所使用的成像系统,运动检测灵敏度图被不同地确定,然而在给定成像系统的参数的情况下,如何确定灵敏度图在本领域技术人员的知识范围内。
然后,运动检测灵敏度图被用在运动检测算法中,例如由处理器处理用于检测包括失真图像帧的视频序列中的运动。使用这样的运动检测灵敏度图,对于包括失真图像帧的视频序列,运动检测可以变得更有效。
对于视频序列确定一次运动检测灵敏度图可能就足够了,因为确定所基于的参数通常在捕获视频序列期间保持相同。
在一个实施例中,可以通过由一个图像传感器通过包括在相机中的广角镜头捕获来产生失真图像帧。在该实施例中,可以基于广角镜头的镜头多项式来确定空间分辨率分布。可以由镜头制造商测量或获取镜头多项式。
广角镜头可以是鱼眼镜头,它是一种超广角镜头。
在一个实施例中,通过由一个图像传感器通过包括在相机中的光学圆顶捕获来产生失真图像帧。在该实施例中,空间分辨率分布可以基于光学圆顶的镜头多项式来确定。光学圆顶的镜头多项式可以由光学圆顶的制造商测量或获取。
在该实施例中,运动检测灵敏度图的区域可以形成椭圆形图案,该椭圆形图案从运动检测灵敏度图的参考位置径向延伸。椭圆形图案可以形成圆形图案。在那种情况下,每个区域可以位于距运动检测灵敏度图的参考位置的径向距离处。
可以将每个区域的运动检测灵敏度级别设置为随着从相应区域到参考位置的距离而增加。参考位置可以例如是图中的中心位置。
在另一实施例中,通过基于投影算法的由一个或多个图像传感器捕获的多个原始图像的拼接来产生每个失真图像帧。多个原始图像可以由多个可以位于相同或不同的相机上的图像传感器捕获。
在该实施例中,可以基于投影算法确定空间分辨率分布。投影算法在拼接算法中定义。
运动检测可以用在相机系统的其他算法中。例如,运动检测可以用作物体检测、物体跟踪、地平面检测或确定警报事件的输入。本发明的一个实施例包括基于所确定的运动检测来执行成像处理算法,诸如物体检测、物体跟踪、地平面检测或确定警报事件。
根据第二方面,上文公开的和其他目的完全或至少部分地由计算机程序产品实现,该计算机程序产品包括计算机可读介质,在该计算机可读介质上存储有计算机代码指令,该计算机代码指令在被具有处理能力的设备执行时适于执行根据第一方面的任一实施例的方法。
根据第三方面,上文公开的和其他目的完全或至少部分地通过用于检测视频序列中的运动的运动检测部件来实现,该视频序列包括经由相机里的至少一个图像传感器产生的失真图像帧。运动检测部件包括:
适于确定的失真图像帧的空间分辨率分布的空间分辨率分布部件;
适于确定失真图像帧的运动检测灵敏度图的运动检测灵敏度图部件,运动检测灵敏度图包括具有不同运动检测灵敏度级别的区域,其中运动检测灵敏度图基于空间分辨率分布来确定;和
适于基于运动检测灵敏度图检测视频序列中的运动的运动检测部件。
第三方面的运动检测部件通常可以以与第一方面的方法相同的方式实施,并具有伴随的优点。
根据第四方面,上文公开的和其他目的完全或至少部分地由包括根据第三方面或其任何实施例的运动检测部件的相机实现。
在一个实施例中,相机可以包括广角镜头,通过该广角镜头,由相机的一个图像传感器捕获图像。
在另一实施例中,相机可包括多个图像传感器,并且还包括适于拼接来自由多个图像传感器捕获的多个原始图像的图像帧的拼接部件。
根据下文给出的详细描述,本发明的进一步适用范围将变得显而易见。然而,应该理解的是,详细描述和具体实施例虽然指示了本发明的优选实施方案,但仅以说明的方式给出,因为在本发明范围内的各种变化和修改对于本领域技术人员将变得显而易见。
因此,应该理解,本发明不限于所描述的设备的特定组成部分或所描述的方法的步骤,因为这样的设备和方法可以变化。还应理解,本文使用的术语仅用于描述特定实施例的目的,而不是限制性的。必须注意的是,如说明书和所附权利要求中所使用的,冠词“一”,“该”和“所述”旨在表示存在元件中的一个或多个,除非上下文另有明确规定。因此,例如,对“物体”或“该物体”的引用可以包括若干物体等。此外,“包括”一词不排除其他元素或步骤。
附图说明
现在将通过示例并参考所附示意图更详细地描述本发明,其中:
图1示出了根据实施例的用于检测运动的方法。
图2示出了由图像传感器在图像帧中捕获的场景。
图3示出了根据实施例的运动检测灵敏度图。
图4示出了被拼接成共同失真图像帧的一组原始图像。
图5示出了根据实施例的运动检测灵敏度图。
具体实施方式
在图1中,示出了根据本发明实施例的用于检测视频序列中的运动的方法100。对包括失真图像帧的视频序列执行方法100。方法100可以例如在相机系统的处理器中或在与相机系统分开的设备的处理器中执行。可以在不同的处理设备中执行该方法的不同部分。该方法的一些部分可以由相机系统执行,而其他部分可以由另一个或多个处理设备执行。
在经历用于检测运动的本方法100之前,视频序列可能已经被改变或以其他方式被处理。用于捕获视频序列的相机系统可以是适用于室外和/或室内监视的监视相机系统。
方法100包括确定视频序列中的一个或多个图像帧的空间分辨率分布的第一步骤101。如上文所定义的,空间分辨率分布是一个或多个图像帧的空间分辨率的表示。可以针对相机系统确定空间分辨率(例如在捕获视频序列之前),并且可以将该空间分辨率应用于由该相机系统捕获的视频序列,只要用于确定的基础不改变即可。在本申请中,将讨论如何确定空间分辨率分布的两种变体:第一种是基于镜头多项式确定空间分辨率分布,第二种是基于投影算法确定空间分辨率分布。然而,本申请的范围不限于这些变体。用于确定空间分辨率分布的其他变体可以为本领域技术人员所能达到。
在第二步骤102中,针对视频序列的失真图像帧确定运动检测灵敏度图。运动检测灵敏度图可以表示图像帧的运动检测灵敏度级别的分布。运动检测灵敏度图的目的是用作关于哪个运动检测灵敏度用于图像帧中的哪个区域的运动检测算法的输入。运动检测灵敏度图可以表示为例如表格或函数,这将在后面详细说明。基于空间分辨率分布来确定运动检测灵敏度图。
在第三步骤103中,基于所确定的运动检测灵敏度图,在包括失真图像帧的视频序列中检测运动。
本发明的一个重要方面是基于空间分辨率分布来确定运动检测所基于的运动检测灵敏度图。通过该特征,运动检测可以变得更适于图像帧的失真特性。从以下实施例的更详细的示例中可以明显看出,这对于用具有广角镜头、光学圆顶或产生拼接图像的多传感器相机系统的相机系统捕获的视频序列的分析非常有益。发明人已经认识到,通过在由相机系统定义的空间分辨率分布与捕获的图像帧的运动检测灵敏度级别之间建立连接,可以实现上述优点。也就是说,可以部分地或全部地实现不受失真特性影响的运动检测。此外,该方法不需要用户输入,这是用于设置运动检测灵敏度级别的一些已知方法的情况。
更详细地,现在将分别参考图2-3和图4-5公开两个不同的实施例。
从第一实施例开始,包括图像传感器204和广角镜头207的相机系统在图2中示出。广角镜头207可以是鱼眼镜头。相机系统捕获包括作为房屋201和树202的物体的场景的图像帧。由相机系统观察的场景的区域被定义为视场(FOV)205。FOV被划分成由206a、206b、206c表示的等角度观察区域。示出该划分以帮助本实施例的公开,并且不一定是该方法或相机系统的实现的一部分。换句话说,在所公开的相机系统的实现中,不打算将FOV物理地划分成不同的观察区域。
视频序列由相机系统的图像传感器204捕获。视频序列的代表性图像帧210在图2中示出。图像帧210包括与房屋201对应的第一成像物体221和与树202对应的第二成像物体212。由于通过使用广角镜头207捕获图像帧210,因此图像帧210失真。失真可被描述为提供场景的凸出外观。广角镜头可能具有可以提供不同外观的失真的不同的映射功能。映射功能类型的非限制性示例是立体、等距、等角和正交。最终,使用的镜头207的镜头多项式定义了失真。
对于使用镜头207的相机系统,基于镜头207的镜头多项式确定空间分辨率分布。镜头多项式的非限制性示例是:
角度=T_1+T_2×x+T_3×x^2+T_4×x^3+T_5×x^4
其中角度是传感器到镜头轴与面向内的镜头表面之间的角度,x被定义为相对于镜头中心的毫米距离,并且T参数被给出以下值:
T_1=0
T_2=-35
T_3=-0.03
T_4=-0.408
T_5=0.010
基于镜头多项式,确定的空间分辨率分布表示为每个FOV角度206a、206b、206c的像素数量。换句话说,空间分辨率分布告知由等角度观察区域206a、206b、206c中的一个对于图像帧210中的不同像素区域覆盖多少像素。可以看出,在图像帧210中心区域中,与图像帧210的周边区域相比,更多数量的像素覆盖等角度观察区域。
空间分辨率可以例如表示为提供像素或像素组的空间分辨率的表,例如用于宏块。可以针对像素组确定空间分辨率,其中像素组基于它们位于图像帧的哪个区域而具有不同的尺寸。对于诸如鱼眼的广角镜头,可以在用于例如尺寸为16×16的较大宏块的中心区域中定义空间分辨率,并且可以在用于例如尺寸为4×4的较小宏块的、具有比中心区域更大的失真的外围区域中定义空间分辨率。因此,实现了表示空间分辨率分布的更有效方式。对于其他镜头,可以应用相同的原理。也就是说,可以针对具有低失真的图像区域的较大像素组定义空间分辨率,并且针对具有高失真的图像区域的较小像素组定义空间分辨率。通过镜头多项式,可以确定图像的不同部分中的失真的级别。
基于所确定的空间分辨率分布,确定运动检测灵敏度图300,其在图3中示出。运动检测灵敏度图300具有与图像帧210(以及视频序列的其他图像帧)相同的尺寸。运动检测灵敏度图300包括表示不同运动检测灵敏度级别的区域302、303、304。可以通过针对不同的空间分辨率或空间分辨率间隔形成不同的区域来创建运动检测灵敏度图300。运动检测灵敏度图300中的区域302、303、304根据它们所代表的空间分辨率或空间分辨率间隔与不同的运动检测灵敏度级别相关联。
在该实施例中,运动检测灵敏度图300的区域302、303、304形成从参考位置301沿径向延伸的椭圆形图案。椭圆形图案源自随距图像帧210的中心位置的距离变化的空间分辨率分布。以每个FOV角度的像素表示,空间分辨率分布随距图像帧210的中心位置的距离而减小。换句话说,在图像帧210的周边区域中,与图像帧210的中心区域相比较,较少数量的像素覆盖相同的FOV角度。运动检测灵敏度图300反映了这种关系,因为区域302、303、304的运动检测灵敏度级别随着从每个区域到参考位置301的径向距离而增加。检测灵敏度级别可以作为标度上的数值表示,例如1-100。
基于运动检测灵敏度图300,将运动检测算法应用于包括图像帧210的视频序列。可以在传统的运动检测算法中选择运动检测算法。根据运动检测灵敏度图300为图像帧210的不同区域设置运动检测灵敏度级别。换句话说,相对于在更外围区域304中检测到的运动,运动在中心区域302中以较低灵敏度检测。一旦确定了运动检测灵敏度图,如何为不同区域实现具有不同运动灵敏度级别的运动检测是已知的并且对于本领域技术人员而言是可以实现的,而无需进一步解释。通过将运动检测基于运动检测灵敏度图,无论视频序列的图像帧中的失真如何,都可以应用运动检测,并且具有与应用于具有直线透视的图像帧的运动检测相同的令人满意的结果。
运动检测灵敏度图300可以由例如表格或函数表示。
例如,表可以将像素或像素子组(诸如不同大小的宏块)与运动检测灵敏度级别相关联:
像素 | 运动检测灵敏度级别 |
(0,0) | 10 |
(0,1) | 11 |
(0,2) | 11 |
... | ... |
例如,函数可以提供运动检测灵敏度级别作为输出作为到参考位置301的距离的函数:
MDSL=f(dref)
其中MDSL是运动检测灵敏度级别,dref是到参考位置301的距离。
这里以二维方式说明第一实施例以便于理解基本的发明原理。然而,本领域技术人员可以将这种方式转换成需要三维方法的现实世界的实现。
应用于包括广角镜头的相机系统的本发明方法也可以应用于包括其他类型的物理失真源的相机系统。这种相机系统的一个示例是包括光学圆顶的光学圆顶相机,相机通过该光学圆顶描绘场景。也就是说,用于捕获图像的光或其他辐射在穿过包括镜头的光学器件并且由图像传感器感知之前通过透明或半透明的光学圆顶传输。光学圆顶具有可以用镜头多项式来描述的圆顶形状,该镜头多项式可以用于以与上述广角镜头相机系统相同的方式确定捕获图像帧的空间分辨率分布。
继续到第二实施例,图4中示出了一组原始图像401、402。每个原始图像401、402由相机系统中的相机的图像传感器捕获。可以通过直线镜头捕获原始图像401、402。原始图像401、402可以由多个传感器相机系统中的不同图像传感器捕获,或者由适于平移场景的单个图像传感器捕获。原始图像401描绘诸如房屋404、第一树405和第二树406的物体。
通过基于投影算法拼接原始图像401、402来产生失真的全景图像帧403。可以使用传统的投影算法,例如用于图像帧403的圆柱投影算法。
基于投影算法确定空间分辨率分布。如何确定空间分辨率分布的原理与第一实施例相同。基于投影算法,可以计算不同像素或像素子组中的空间分辨率。
基于空间分辨率分布来确定图5中所示的运动检测灵敏度图500。运动检测灵敏度图500可以被描述为将空间分辨率分布转换成具有不同运动检测灵敏度级别的不同区域。在该示例性实施例中,运动检测灵敏度图500包括远离水平线弯曲的水平延伸区域501、502、503。水平线对应于场景的地平线的位置,并且因此可以根据相机如何定位而被不同地定位。每个区域501、502、503表示运动检测灵敏度级别。
基于运动检测灵敏度图500,将运动检测算法应用于包括图像帧403的视频序列。可以在传统的运动检测算法中选择运动检测算法。根据运动检测灵敏度图500,为图像帧403的不同区域设置运动检测灵敏度级别。运动检测灵敏度图500可以由例如表格或函数表示。
与第一实施例相同的原理适用于该第二实施例,因此不再详细公开。参考第一实施例的公开。
尽管上述示例公开了将该方法应用于仅包括一个失真源的相机系统,但是本领域技术人员可以理解该方法可以应用于包括多于一个失真源的相机系统。失真源的组合的非限制性示例是:与光学圆顶组合的广角镜头、结合拼接算法的广角镜头或结合拼接算法的光学圆顶。此外,基于本文的描述,本领域技术人员可以将该方法应用于具有组合失真源的相机系统。特别地,在这种情况下的空间分辨率分布是基于多个失真源确定的,其可以通过传统方法来完成。非限制性示例是空间分辨率分布是基于广角镜头的镜头多项式以及基于光学圆顶的镜头多项式来确定的。
如上文公开的实施例中的每个所显而易见的,运动检测灵敏度图取决于空间分辨率分布。换句话说,不同的空间分辨率分布呈现不同的运动检测灵敏度图。这适用于空间分辨率分布,而不管它们如何确定,例如它们是否基于镜头多项式或投影算法。
本领域技术人员认识到本发明决不限于上述优选实施例。相反,在所附权利要求的范围内可以进行许多修改和变化。例如,可以使用其他类型的镜头多项式或投影算法。此外,该方法还适用于包括失真图像帧的视频序列,该失真图像帧的失真源自除本文公开的过程之外的其他过程。
Claims (13)
1.一种检测视频序列中的运动的方法,所述视频序列包括通过至少一个图像传感器产生的失真图像帧,所述方法包括:
确定(101)所述失真图像帧的空间分辨率分布,其中,所述空间分辨率分布表示所述失真图像帧的像素级别上或像素子组级别上的每个像素视场FOV角度;
确定(102)所述失真图像帧的运动检测灵敏度图,所述运动检测灵敏度图包括具有不同运动检测灵敏度级别的区域,其中基于所述空间分辨率分布来确定所述运动检测灵敏度图,并且其中,针对具有每个像素第一FOV角度的第一图像区域的第一运动检测灵敏度级别高于针对具有每个像素第二FOV角度的第二图像区域的第二运动检测灵敏度级别,所述每个像素第二FOV角度低于所述每个像素第一FOV角度;并且
基于所述运动检测灵敏度图检测(103)所述视频序列中的运动。
2.根据权利要求1所述的方法,其中所述失真图像帧由一个图像传感器通过广角镜头捕获来产生,并且其中基于所述广角镜头的镜头多项式确定所述空间分辨率分布。
3.根据权利要求2所述的方法,其中所述广角镜头是鱼眼镜头。
4.根据权利要求2所述的方法,其中所述失真图像帧由一个图像传感器通过光学圆顶捕获来产生,并且其中基于所述光学圆顶的镜头多项式确定所述空间分辨率分布。
5.根据权利要求2所述的方法,
其中,所述运动检测灵敏度图的所述区域形成从所述运动检测灵敏度图的参考位置径向延伸的椭圆图案,并且
其中每个区域的所述运动检测灵敏度级别随着从所述区域到所述参考位置的径向距离的增加而增加。
6.根据权利要求1所述的方法,其中每个失真图像帧通过基于投影算法的由一个或多个图像传感器捕获的多个原始图像的拼接来产生。
7.根据权利要求6所述的方法,其中,基于所述投影算法确定所述空间分辨率分布。
8.根据权利要求1所述的方法,还包括:
基于检测到的运动执行物体检测、物体跟踪、地平面检测或确定警报事件。
9.一种包括计算机可读介质的计算机程序产品,在所述计算机可读介质上存储有计算机代码指令,所述计算机代码指令适于在被具有处理能力的设备执行时实施根据权利要求1所述的方法。
10.一种用于检测视频序列中的运动的运动检测部件,所述视频序列包括通过至少一个图像传感器产生的失真图像帧,所述运动检测部件包括:
适于确定所述失真图像帧的空间分辨率分布的空间分辨率分布部件,其中,所述空间分辨率分布表示所述失真图像帧的像素级别上或像素子组级别上的每个像素视场FOV角度;和
适于确定所述失真图像帧的运动检测灵敏度图的运动检测灵敏度图部件,所述运动检测灵敏度图包括具有不同运动检测灵敏度级别的区域,其中基于所述空间分辨率分布来确定所述运动检测灵敏度图,并且其中,针对具有每个像素第一FOV角度的第一图像区域的第一运动检测灵敏度级别高于针对具有每个像素第二FOV角度的第二图像区域的第二运动检测灵敏度级别,所述每个像素第二FOV角度低于所述每个像素第一FOV角度;
其中所述运动检测部件适于基于所述运动检测灵敏度图检测所述视频序列中的运动。
11.一种相机,包括根据权利要求10所述的运动检测部件。
12.根据权利要求11所述的相机,还包括广角镜头,由所述相机的一个图像传感器通过所述广角镜头来捕获图像。
13.根据权利要求12所述的相机,还包括多个图像传感器,并且还包括适于拼接来自由所述多个图像传感器捕获的多个原始图像的图像帧的拼接部件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18170829.8 | 2018-05-04 | ||
EP18170829.8A EP3564917B1 (en) | 2018-05-04 | 2018-05-04 | A method for detecting motion in a video sequence |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110443750A CN110443750A (zh) | 2019-11-12 |
CN110443750B true CN110443750B (zh) | 2021-07-27 |
Family
ID=62134078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910317639.5A Active CN110443750B (zh) | 2018-05-04 | 2019-04-19 | 检测视频序列中的运动的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10783646B2 (zh) |
EP (1) | EP3564917B1 (zh) |
JP (1) | JP6866419B2 (zh) |
KR (1) | KR102156998B1 (zh) |
CN (1) | CN110443750B (zh) |
TW (1) | TWI746947B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020068960A1 (en) * | 2018-09-26 | 2020-04-02 | Coherent Logix, Inc. | Any world view generation |
KR20230106385A (ko) * | 2022-01-06 | 2023-07-13 | 삼성전자주식회사 | 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1543742A (zh) * | 2002-04-17 | 2004-11-03 | ���µ�����ҵ��ʽ���� | 运动检测装置、图像处理系统、运动检测方法、程序及记录介质 |
CN101179725A (zh) * | 2007-12-12 | 2008-05-14 | 北京中星微电子有限公司 | 一种运动检测方法与装置 |
US8982180B2 (en) * | 2011-03-31 | 2015-03-17 | Fotonation Limited | Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100002070A1 (en) * | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance |
US8427538B2 (en) * | 2004-04-30 | 2013-04-23 | Oncam Grandeye | Multiple view and multiple object processing in wide-angle video camera |
JP4340915B2 (ja) * | 2006-02-01 | 2009-10-07 | ソニー株式会社 | 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置 |
US20070252693A1 (en) * | 2006-05-01 | 2007-11-01 | Jocelyn Janson | System and method for surveilling a scene |
JP4525945B2 (ja) * | 2007-08-07 | 2010-08-18 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 |
EP2199806A1 (en) | 2008-12-18 | 2010-06-23 | Universität Zürich | Passive translational velocity measurement from optical information |
JP5487722B2 (ja) * | 2009-05-25 | 2014-05-07 | ソニー株式会社 | 撮像装置と振れ補正方法 |
CN102577347B (zh) * | 2009-06-29 | 2015-09-23 | 博世安防系统有限公司 | 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法 |
JP2011023885A (ja) * | 2009-07-14 | 2011-02-03 | Canon Inc | 映像符号化装置及び映像符号化方法 |
US20120019614A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
JP5577939B2 (ja) * | 2010-08-20 | 2014-08-27 | ソニー株式会社 | 撮像装置、収差補正方法、および、プログラム |
JP4980486B1 (ja) * | 2011-06-14 | 2012-07-18 | 株式会社ナナオ | 動き画像領域判定装置またはその方法 |
US8681223B2 (en) * | 2011-06-24 | 2014-03-25 | Honeywell International Inc. | Video motion detection, analysis and threat detection device and method |
JP5736512B2 (ja) * | 2012-06-22 | 2015-06-17 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法 |
KR20140109537A (ko) * | 2013-02-28 | 2014-09-16 | 엘지전자 주식회사 | 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법 |
JP6209002B2 (ja) * | 2013-07-16 | 2017-10-04 | キヤノン株式会社 | 撮像装置およびその制御方法 |
EP3051796A4 (en) * | 2013-09-26 | 2017-05-31 | Mitsubishi Electric Corporation | Monitoring camera, monitoring system, and motion determination method |
JP6170395B2 (ja) * | 2013-09-26 | 2017-07-26 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6090193B2 (ja) * | 2014-02-07 | 2017-03-08 | 三菱電機株式会社 | 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法 |
JP6027560B2 (ja) * | 2014-02-18 | 2016-11-16 | 富士フイルム株式会社 | 自動追尾撮像装置 |
JP6374228B2 (ja) * | 2014-06-11 | 2018-08-15 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6652060B2 (ja) * | 2014-09-25 | 2020-02-19 | 日本電気株式会社 | 状態判定装置および状態判定方法 |
US9614908B2 (en) | 2014-10-13 | 2017-04-04 | Qualcomm Incorporated | Selecting a leader to perform a floor arbitration function for a P2P session |
JPWO2016152076A1 (ja) * | 2015-03-20 | 2018-01-11 | 日本電気株式会社 | 構造物の状態判定装置と状態判定システムおよび状態判定方法 |
MX368852B (es) * | 2015-03-31 | 2019-10-18 | Thermal Imaging Radar Llc | Configuración de diferentes sensibilidades de modelos de fondo mediante regiones definidas por el usuario y filtros de fondo. |
CN104954738A (zh) * | 2015-04-30 | 2015-09-30 | 广州视声光电有限公司 | 一种移动侦测方法及装置 |
WO2016191142A2 (en) * | 2015-05-27 | 2016-12-01 | Verily Life Sciences Llc | Nanophotonic hyperspectral/lightfield superpixel imager |
JP6702323B2 (ja) * | 2015-07-22 | 2020-06-03 | ソニー株式会社 | カメラモジュール、固体撮像素子、電子機器、および撮像方法 |
US9819865B2 (en) | 2015-10-30 | 2017-11-14 | Essential Products, Inc. | Imaging device and method for generating an undistorted wide view image |
JP6987508B2 (ja) * | 2017-02-20 | 2022-01-05 | オムロン株式会社 | 形状推定装置及び方法 |
JP7297412B2 (ja) * | 2018-06-13 | 2023-06-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびレンズ装置 |
-
2018
- 2018-05-04 EP EP18170829.8A patent/EP3564917B1/en active Active
-
2019
- 2019-03-12 US US16/351,042 patent/US10783646B2/en active Active
- 2019-03-15 KR KR1020190029950A patent/KR102156998B1/ko active IP Right Grant
- 2019-03-22 TW TW108110037A patent/TWI746947B/zh active
- 2019-04-18 JP JP2019079092A patent/JP6866419B2/ja active Active
- 2019-04-19 CN CN201910317639.5A patent/CN110443750B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1543742A (zh) * | 2002-04-17 | 2004-11-03 | ���µ�����ҵ��ʽ���� | 运动检测装置、图像处理系统、运动检测方法、程序及记录介质 |
CN101179725A (zh) * | 2007-12-12 | 2008-05-14 | 北京中星微电子有限公司 | 一种运动检测方法与装置 |
US8982180B2 (en) * | 2011-03-31 | 2015-03-17 | Fotonation Limited | Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries |
Also Published As
Publication number | Publication date |
---|---|
US10783646B2 (en) | 2020-09-22 |
JP6866419B2 (ja) | 2021-04-28 |
KR20190127543A (ko) | 2019-11-13 |
US20190340771A1 (en) | 2019-11-07 |
JP2020004389A (ja) | 2020-01-09 |
CN110443750A (zh) | 2019-11-12 |
TW202001792A (zh) | 2020-01-01 |
EP3564917A1 (en) | 2019-11-06 |
TWI746947B (zh) | 2021-11-21 |
KR102156998B1 (ko) | 2020-09-16 |
EP3564917B1 (en) | 2020-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10127682B2 (en) | System and methods for calibration of an array camera | |
US11503275B2 (en) | Camera calibration system, target, and process | |
CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
US9715734B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP2011182176A (ja) | 広視野角画像処理方法と広視野角画像撮影装置 | |
US9191592B2 (en) | Imaging sensor anomalous pixel column detection and calibration | |
US11538193B2 (en) | Methods and systems for calibrating a camera | |
CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
CN110443750B (zh) | 检测视频序列中的运动的方法 | |
CN109697737B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
KR102295987B1 (ko) | 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체 | |
US11882368B1 (en) | Circular image file | |
CN112866550B (zh) | 相位差获取方法和装置、电子设备、计算机可读存储介质 | |
JP6561479B2 (ja) | 色シェーディング補正が可能な撮像装置 | |
CN110728714B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
JP6907040B2 (ja) | 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体 | |
KR101583662B1 (ko) | 광각 카메라 영상의 특징점 검출 방법 | |
JP2018129742A (ja) | 画像処理装置 | |
JP2013110669A (ja) | 画像処理方法および装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |