CN109784338A - 广角视图的分割 - Google Patents

广角视图的分割 Download PDF

Info

Publication number
CN109784338A
CN109784338A CN201811329676.XA CN201811329676A CN109784338A CN 109784338 A CN109784338 A CN 109784338A CN 201811329676 A CN201811329676 A CN 201811329676A CN 109784338 A CN109784338 A CN 109784338A
Authority
CN
China
Prior art keywords
wide
scene
view
detected
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811329676.XA
Other languages
English (en)
Other versions
CN109784338B (zh
Inventor
阿克塞尔·凯斯基坎加斯
袁嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109784338A publication Critical patent/CN109784338A/zh
Application granted granted Critical
Publication of CN109784338B publication Critical patent/CN109784338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及广角视图的分割。本发明涉及一种用于将场景的广角视图分割为多个显示视图的方法，其中广角视图由广角镜头相机捕获。该方法包括：随时间检测场景中的物体；确定检测到的物体的位置；基于所确定的物体的位置来确定场景内的一个或多个感兴趣区域；以及确定广角视图中的针对多个显示视图的分割边界，使得分割边界避开一个或多个感兴趣区域。还提出了一种具有广角镜头的监控相机。

Description

广角视图的分割
技术领域
本发明涉及将广角视图分割为多个显示视图。
背景技术
相机有时包括用于捕获覆盖相对较大场景(例如，整个房间)的图像或视频的广角镜头。广角镜头的一个示例是所谓的鱼眼镜头。然而，也可以使用其他类型的广角镜头。捕获相对较大场景的能力在许多情况下(例如，使用监控相机进行监控期间)是有利的。然而，用户可能难以观看使用广角镜头捕获到的图像。这是因为图像的某些部分可能会失真。已知将去扭曲(dewarping)过滤器应用于所捕获的图像信息，由此对变形的图像进行校正，使得图像中的物体看起来和人类习惯于看到的它们一样。因此，使用广角镜头与去扭曲会允许用单个相机来覆盖宽泛区域，而且还具有其他失真的图像视图的“正常”视图。在许多实现中，在对广角视图进行去扭曲之前，将广角视图分割为多个子视图或显示视图。通常，将广角视图分割为多个显示视图会被硬编码到用于将广角视图分割为显示视图的设备中。因此，在安装时，安装者需要物理地对准相机以获得适当的显示视图。因此，在将场景的广角视图分割为多个显示视图方面需要加以改进。
发明内容
鉴于上述情况，本发明的目的在于提供一种将场景的广角视图分割为多个视图的方法。
根据第一方面，提供了一种用于将场景的广角视图分割为多个显示视图的方法。广角视图由广角镜头相机捕获。该方法包括：随时间检测场景中的物体；确定检测到的物体的位置；基于所确定的物体的位置来确定场景内的一个或多个感兴趣区域；以及确定广角视图中的针对多个显示视图的分割边界，使得分割边界避开一个或多个感兴趣区域。
用语“广角视图”应被解释为使用具有大于55°视角的广角镜头而捕获到的视图。对于一些特定实施例，可以有利地使用具有甚至更大视角的广角镜头。例如，可以使用具有180°视角(垂直和水平)的所谓的鱼眼镜头。
用语“显示视图”应被解释为广角视图的一部分。通常，向用户(例如，监控系统的操作员)显示显示视图。
用语“分割边界”应被解释为广角视图中的边界，其限定了广角视图的用于对显示视图进行限制的一部分。针对多个显示视图的分割边界可以重叠或者可以不重叠。因此，多个显示视图中的至少一些可以重叠。此外，多个显示视图可以不重叠。
根据本方法，可以对将广角视图分割为多个显示视图进行调整。这将不需要在安装相机时或之后物理地转动相机。因此，实现了安装广角观察相机时有效且省时的校准。此外，可以确定分割边界，使得感兴趣区域不会被分割开。因此，避免了将广角视图中的感兴趣部分分割为两个或更多个显示视图。这将使观察显示视图的人更容易对其中所描绘出的动作进行检测。这是因为增加了在显示视图中的一个中正在进行动作的概率。此外，本方法使得可以在对包括感兴趣区域的显示视图而不是不感兴趣区域的显示视图进行编码上花费更多的数据位。此外，可以节省用于多个显示视图的总带宽。这是因为可以使用较少的数据位来对其中没有或者很少检测到的物体的显示视图进行编码。
检测场景中的物体的动作可以包括检测场景中的运动。例如，可以使用运动检测算法来检测运动。各种运动检测算法对于本领域技术人员而言是公知的，因此在本文中将不再进一步讨论。
检测场景中的物体的动作可以包括对场景中的物体识别。通过物体识别意味着对物体特征进行识别。物体特征可被用于对检测到的物体进行分类，从而将检测到的物体放入一类物体中。可以使用物体识别算法来进行物体识别。这种识别可以导致识别出物体的类型，例如，汽车、人或者猫。可替代地或组合地，可以使用动作识别算法来进行物体识别。这种识别可以导致识别出所检测到的物体正在执行着的活动，例如，跑步、走路、搏击、站立、或观看特定区域或地点。这允许根据识别出的物体来调整分割边界。各种物体识别算法对于本领域技术人员而言是公知的，因此在本文中将不再进一步讨论。此外，各种动作识别算法对于本领域技术人员而言是公知的，因此在本文中将不再进一步讨论。
确定感兴趣区域的动作可以包括：确定场景内的物体位置的整体密度分布、以及将感兴趣区域定义为具有高于阈值的物体位置的密度的区域。换言之，如果场景的一个区域包括高于阈值的多个物体，则这是感兴趣区域。分割边界可以适于这些区域。
在检测场景中的物体的动作包括对场景中的物体的识别的情况下，该方法还可以包括：基于对场景中的物体的识别，将每个检测到的物体归属为多个预定物体类型中的一个物体类型；以及基于各个检测到的物体的物体类型来给各个检测到的物体分配权重。确定整体密度分布的动作还可以基于物体的权重。以这种方式，与其他物体相比，某些识别出的物体可以被优先化。这实现了将广角图像视图分割为多个显示视图的动态方面。
进一步执行确定广角视图中的分割边界的动作，使得特定显示视图内的物体位置的局部密度分布的重心位于特定显示视图中的中心。因此，如果密度分布位于显示视图中的中心，则将进一步保证在由广角镜头相机捕获到的场景中发生的动作将不会覆盖多于一个的显示视图。这是因为降低了显示视图中所描绘的物体将接近或甚至被显示视图的边界切割的可能性。
检测场景中的物体的动作可以执行至少15分钟。甚至可以使用更长的时间段，例如，长达数天。此外，可以针对一天的预设时间段来执行检测动作。例如，如果场景是商店，则可以仅在营业时间期间执行检测动作。总之，可以执行检测动作一段时间，使得检测到的物体的统计样本足够大量，从而可以执行确定针对多个显示视图的分割边界的动作。
该方法还可以包括确定检测到的物体中的相应一个物体的出现时间。确定广角视图中的分割边界的动作还可以通过考虑检测到的物体的相应出现时间并且通过将检测到的物体出现可以在最小的可能显示视图中是同时的作为目标来执行。因此，可以调整分割边界以使检测到的物体在最小的可能显示视图内同时出现。可以执行通过这种优化的显示视图的编码。例如，使得可以在对包括感兴趣区域的显示视图而不是不感兴趣区域的显示视图进行编码上花费更多的数据位。此外，可以节省针对多个显示视图的总带宽。这是因为可以使用较少的数据位来对其中没有或者很少检测到的物体的显示视图进行编码。
该方法还可以形成相机的校准模式的一部分，其中相机被设置为在预定时间段期间处于校准模式。预定时间段可以是至少15分钟。甚至可以使用更长的时间段，例如，长达数天。此外，相机可以被设置为针对一天的预设时间段而处于校准模式。例如，如果场景是商店，则可以仅在营业期间执行检测动作。总之，可以执行校准一段时间，使得检测到的物体的统计样本足够大量，从而可以执行确定针对多个显示视图的分割边界的动作。
该方法可以形成相机的校准模式的一部分。相机可以被设置为处于校准模式，直到已检测到预定数量的活动或者直到在潜在感兴趣区域内已检测到预定数量的活动为止。由此，检测到的物体的统计样本足够大量，从而可以执行确定针对多个显示视图的分割边界的动作。相机还可以被设置为针对一天的预设时间段而处于校准模式。
多个显示视图可以为至少三个。显示视图可以例如为四个。
该方法还可以包括：对显示视图进行去扭曲，并且显示去扭曲后的显示视图。去扭曲是指对广角视图图像的透视校正的处理，以逆转由广角镜头引起的几何失真的影响。由广角镜头引起的几何失真对于特定的广角镜头而言通常是已知的，这通常被称为广角镜头的镜头失真数据。换言之，去扭曲可以数学地对广角镜头的变形图像进行校正。例如，曲线可能会再次显现为直线。因此，可以改善图像质量。去扭曲允许以相机覆盖宽泛区域，而且还可以具有其他失真的图像的“正常”视图。
根据第二方面，提供了一种具有广角镜头并被配置为执行上述方法的监控相机。
根据下面给出的详细描述，本发明的适用性的进一步范围将变得显而易见。然而，应当理解的是，详细描述和具体示例在指示本发明的优选实施例时仅通过例证的方式来给出，因为对于本领域技术人员而言，根据该详细描述，本发明范围内的各种变化和修改将变得显而易见。
因此，应当理解，本发明并不限于所描述的设备的特定部件或描述为这种设备的方法的步骤，并且方法可以变化。还应当理解，本文所使用的术语仅用于描述具体实施例的目的，并不旨在进行限制。必须指出，如在说明书和所附权利要求中所使用，用语“一”、“一个”、“该”和“所述”意在表示存在一个或多个元件，除非上下文中另有明确说明。因此，例如提及“一单元”或“该单元”可以包括若干设备和类似物。此外，用语“包括”、“包含”、“含有”和类似的用语并不排除其他元件或步骤。
附图说明
现在将参考示出本发明的实施例的附图来更详细地描述本发明的上述以及其它方面。不应认为附图将本发明限制于特定实施例；相反，它们被用于解释和理解本发明。
如图所示，区域的尺寸为了说明的目的而被夸大，并因此被提供用以说明本发明的实施例的一般结构。相同的附图标记自始至终指代相同的元件。
图1示出了使用鱼眼镜头捕获到的广角视图。
图2示出了图1的广角视图的去扭曲显示视图。
图3是用于将场景的广角视图分割为多个显示视图的方法的框图。
图4示出了用于示出广角视图内的检测到的物体的热图的示例。
图5示出了被配置为执行图3所示的方法的监控相机。
具体实施方式
现在将在下文中参考附图来更全面地描述本发明，其中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式来体现，并且不应该被解释为限于本文所阐述的实施例；相反，为了彻底性以及完整性并且为了将本发明的范围充分地传达给本领域技术人员而提供了这些实施例。
在图1中，示出了由监控相机捕获到的广角视图10。包括广角镜头(在该特定示例中为鱼眼镜头)的监控相机已被用于捕获广角视图10。当从上方(例如，从天花板)观察场景时，广角镜头可被用于获取覆盖整个场景的图像。用于覆盖场景的广角镜头的视角取决于场景的区域以及广角镜头相机被放置于场景上方的多少距离。例如，具有90°-180°范围内的视角(垂直和水平)的广角镜头相机即使从场景上方几米或更高的距离处也可以容易地覆盖相当大的场景。当从侧面(例如，从墙壁)观察场景时，至少在水平面上具有180°视角的广角镜头可以覆盖整个场景(例如，以走廊的形式)。广角视图的示例是全景视图、鱼眼视图和概览视图。
在图1中，广角视图100是使用鱼眼镜头捕获到的广角视图。远在广角视图的边缘处时，图像会失真。因此，难以看到所显示的内容。广角视图可以包括不同的感兴趣区域。感兴趣区域可被用于确定如何将广角视图分割为多个显示视图。因此，广角视图可以被分割为多个显示视图。这种分割的示例如图2所示。在该示例中，图1的广角视图10被分割为四个不同的显示视图12。去扭曲过滤器也被应用于显示视图的图像数据。去扭曲过滤器可以在进行分割之后被单独地应用于广角视图10的显示视图中的每个显示视图的图像数据。这样做的优点在于可以不必对所有图像数据执行去扭曲。可替代地，去扭曲过滤器可以在将广角视图分割为显示视图12之前被应用于广角视图的图像数据。这样做的优点在于可以更容易地执行物体检测。多个显示视图12可以是三个、四个或者甚至更多个显示视图。显示视图12的数量可以基于广角视图10中的感兴趣区域的数量来选择。
参考图3，将对将场景的广角视图分割为多个显示视图的方法进行讨论。S300，检测广角视图中的物体。物体应被解释为场景中的感兴趣的某物。物体可以例如是进入在广角视图中描绘的场景中的物体或者在广角视图中描绘的场景中四处移动的物体。物体也可以或者可代替地为场景中的静止物体。静止物体是特别感兴趣的。这种特别感兴趣的物体可以是例如门、入口、陈列柜、传送带、楼梯等。因此，静态图像分析可被用于检测场景的重要部分的位置。可以通过用例如运动检测算法来检测物体的运动，从而对物体进行检测。对物体进行检测还可以包括对场景中的物体的识别。可以使用物体识别算法和/或动作识别算法来进行对物体的识别。此外，该方法可以包括将每个检测到的物体归属为多个预定物体类型中的一个物体类型。该归属可以基于对场景中的物体的识别。可以给每个相应检测到的物体分配权重。该权重可以基于相应检测到的物体的物体类型。以这种方式，被归属为具有较高兴趣的第一特定物体类型的物体的物体可以比被归属为具有较少兴趣的第二特定物体类型的物体的另一物体被归属为更高权重。
优选地随时间执行检测物体的动作。因此，对场景中的物体进行检测的动作可以执行一段时间。该段时间可以是预定的时间段。可替代地，时间段可以是动态的。例如，时间段可以基于检测到的物体的总数。通过随时间检测场景中的物体，可以收集关于物体在场景中最常出现在哪里的统计数据。该统计数据可在之后被用于确定如何将场景的广角视图分割为多个显示视图。
S302，确定检测到的物体在场景内的位置。场景内的位置可以例如被表示为场景内的坐标。
S304，确定一个或多个感兴趣区域。一个或多个感兴趣区域的确定基于所确定的物体位置。确定感兴趣区域的动作可以包括确定场景内的物体位置的整体密度分布；以及将感兴趣区域定义为具有高于阈值的物体位置的密度的区域。确定整体密度分布的动作还可以基于物体的权重。因此，在确定感兴趣区域时，物体可以取决于其物体类型而被不同地划分优先级。
S306，确定广角视图中的针对多个显示视图的分割边界。确定分割边界使得该分割边界避开一个或多个感兴趣区域。换言之，针对每个显示视图的分割边界需要位于感兴趣区域的周围，而不是跨越感兴趣区域、在感兴趣区域上方或之上。作为示例，不希望恰好在感兴趣区域上方施加分割边界，例如，跨越已检测到许多物体的区域。此外，可以执行确定广角视图中的分割边界的动作，使得特定显示视图内的物体位置的局部密度分布的重心位于特定显示视图中的中心。通过根据上述来确定分割边界，从而可以进行广角视图的分割，使得感兴趣区域不会存在于两个显示视图之间的分区中。
可以确定广角视图中的分割边界，使得特定显示视图内的物体位置的局部密度分布的重心可以位于特定显示视图中的中心。因此，广角视图中的感兴趣区域将更加集中在显示视图中。
可以进一步对相应分割视图的图像数据进行去扭曲。如上所述，实现了通过应用去扭曲，即广角视图图像的透视校正，来反转由广角镜头引起的几何失真的影响。
图4示出了在监控场景的广角视图内检测到的物体的热图40。热图是广角视图的二维投影，其中示出了检测到的物体的密度。如上所述，检测到的物体可以是静止物体或者是移动物体。此外，同样如上所述，具有不同物体类型的物体可以在热图中被给予不同的权重。被给予额外权重的物体可以是例如场景中的入口、门、楼梯或其他物体，表明了人们很可能出现在场景的那部分处。图4的热图仅是热图的示例。不同的场景可能会给出不同的热图。此外，通常使用不同的颜色来指示不同密度的区域。然而，在图4所示的示例中，相反地，使用不同的图案来指示不同密度的区域。
此外，在不同的时间段(例如，一天中的不同时间段(夜晚与白天)、一周中的不同日期(工作日与周末)、一年中的不同时间段(夏季与冬季)等)，热图可能会看起来有所不同。因此，可以针对不同的时间段而使用不同的分割边界44。因此，可以通过考虑检测到的活动的相应出现时间来执行确定广角视图中的分割边界的动作。这可以通过定义分割边界来执行，使得检测到的活动出现在最小的可能分割视图中是同时的。因此，可以确定没有强时间相关性的感兴趣区域。这将导致一个显示视图中的物体的出现在时间上将不会与另一个显示视图中的物体的出现重叠。因此，如果在检测到的物体之间存在强时间相关性，则这些可以用限定一个显示视图的一条分割边界来围绕。由此，可以节省带宽或存储，因为不包括物体的显示视图可以被编码为比具有物体的视图更小的尺寸。
用于将场景的广角视图分割为多个显示视图的上述方法可以形成广角镜头相机的校准模式的一部分。校准模式可以在预定时间段期间运行。预定时间段可以是至少15分钟。甚至可以使用更长的时间段，例如，长达数天。此外，可以将相机设置为针对一天的预设时间段而处于校准模式。例如，如果场景是商店，则可以仅在营业时间期间执行检测动作。可以执行校准一段时间，使得检测到的物体的统计样本足够大量，从而可以执行确定针对多个显示视图的分割边界的动作。可替代地，相机可以处于校准模式，直到已检测到预定数量的物体或者直到在潜在感兴趣区域内已检测到预定数量的物体为止。例如，如果在道路上和/或在特定时间段期间已检测到预定数量的汽车，则可以针对显示视图确定出分割边界一段时间，并且不再需要进行分割边界的校准。
分割边界的校准使得显示视图可以针对感兴趣区域而被优化。
在图5中，示出了包括广角镜头502的监控相机500。监控相机500覆盖广角视图600。监控相机500被布置为捕获并处理(并且还可以存储)用于描绘广角视图600的视频序列。为此，监控相机500包括：图像传感器504、图像处理单元506、处理单元、CPU 508、以及数字数据存储介质(存储器)510。监控相机500还包括物体检测器512、感兴趣区域确定单元514、以及分割边界确定单元516。
图像处理单元506、物体检测器512、感兴趣区域确定单元514和/或分割边界确定单元516中的任何一个可以被实现为专用硬件电路和/或软件模块。在软件实现的情况下，该软件可以在CPU 508上运行。CPU 508可以是用于执行数字数据处理的任何适当的CPU，诸如GPU、FPGA或ASIC。还应注意，任何专用硬件电路可以部分地包括在专用处理器上或者在CPU 508上运行的软件部分。
存储器510可以是任何类型的易失性或非易失性存储器。此外，存储器510可以包括多个存储器单元。多个存储器单元中的至少一个可以被用作缓冲存储器，以用于在处理时对数据进行缓冲。
物体检测器512被配置为随时间检测由监控相机500捕获到的广角视图中的物体。如上所述，物体可以例如是进入在广角视图中描绘的场景中的物体或在广角视图中描绘的场景中四处移动的物体。可替代地，物体可以是场景中的静止物体。可以通过用例如运动检测算法检测物体的运动来对物体进行检测。对物体进行检测还可以包括对场景中的物体的识别。可以使用物体识别算法和/或动作识别算法来执行对物体的识别。此外，物体检测器512可以将每个检测到的物体归属为多个预定物体类型中的一个物体类型。该归属可以基于对场景中的物体的识别。可以给每个相应检测到的物体分配权重。此外，物体检测器512还被配置为确定检测到的物体在广角视图内的位置。物体检测器512还可以被配置为确定检测到的物体中的相应一个物体的出现时间。
感兴趣区域确定单元514被配置为基于所确定的物体位置来确定场景内的一个或多个感兴趣区域。感兴趣区域确定单元514还可以被配置为确定场景内的物体位置的整体密度分布，并且将感兴趣区域定义为具有高于阈值的物体位置的密度的区域。整体密度分布的确定还可以基于物体的权重。
分割边界确定单元516被配置为确定广角视图中的针对多个显示视图的分割边界，使得分割边界避开一个或多个感兴趣区域。分割边界确定单元516可以被配置为在广角视图中应用分割边界，使得特定显示视图内的物体位置的局部密度分布的重心位于特定显示视图中的中心。分割边界确定单元516还可以被配置为通过考虑检测到的物体的相应出现时间并且通过将检测到的物体出现在最小的可能显示视图中是同时的作为目标，来确定广角视图中的分割边界。
本领域技术人员将意识到，本发明不受以上所描述的优选实施例的限制。相反，在所附权利要求的范围内，许多修改和变更是可能的。
例如，可以根据场景变化来连续地执行分割边界的校准。可替代地，如果统计数据显示场景中的活动周期性地发生变化，则也可以根据时间表来周期性地改变边界的分割。
此外，可以使用被用于捕获广角视图的广角镜头的镜头失真数据来执行广角视图内的运动检测。
此外，代替由监控相机执行，具有根据上述的物体检测器512、感兴趣区域确定单元514和分割边界确定单元516的任何其他设备都可被用于将场景的广角视图分割为多个显示视图。
此外，通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时可以理解并实现所公开的实施例的变型。

Claims (14)

1.一种用于将场景的广角视图分割为多个显示视图的方法，其中，所述广角视图由广角镜头相机捕获，所述方法包括：
随时间检测所述场景中的物体；
确定所检测到的所述物体的位置；
基于所确定的所述物体的位置来确定所述场景内的一个或多个感兴趣区域；以及
确定所述广角视图中的针对所述多个显示视图的分割边界，使得所述分割边界避开所述一个或多个感兴趣区域；
其中，确定感兴趣区域的动作包括：确定所述场景内的物体位置的整体密度分布、以及将感兴趣区域定义为具有高于阈值的物体位置的密度的区域。
2.根据权利要求1所述的方法，其中，
检测所述场景中的物体的动作包括检测所述场景中的运动。
3.根据权利要求1所述的方法，其中，
检测所述场景中的物体的动作包括对所述场景中的物体的识别。
4.根据权利要求1所述的方法，其中，检测所述场景中的物体的动作包括对所述场景中的物体的识别，其中，所述方法进一步包括：
基于对所述场景中的物体的识别，将每个检测到的物体归属为多个预定物体类型中的一个物体类型；以及基于各个检测到的物体的所述一个物体类型来给所述各个检测到的物体分配权重，并且其中，确定所述整体密度分布的动作进一步基于所述物体的所述权重。
5.根据权利要求1所述的方法，其中，
进一步执行确定所述广角视图中的分割边界的动作，使得特定显示视图内的物体位置的局部密度分布的重心位于所述特定显示视图中的中心。
6.根据权利要求1所述的方法，其中，
检测所述场景中的物体的动作执行至少30分钟。
7.根据权利要求1所述的方法，进一步包括：
确定所检测到的物体中的相应一个物体的出现时间；
其中，通过考虑所检测到的物体的相应出现时间，并且通过将所检测到的物体出现在最小的可能显示视图中是同时的作为目标，来进一步执行确定所述广角视图中的分割边界的动作。
8.根据权利要求1所述的方法，其中，
所述方法形成所述相机的校准模式的一部分，并且其中，所述相机被设置为在预定时间段期间处于所述校准模式。
9.根据权利要求8所述的方法，其中，
所述预定时间段为至少30分钟。
10.根据权利要求1所述的方法，其中，
所述方法形成所述相机的校准模式的一部分，并且其中，所述相机被设置为处于所述校准模式，直到已检测到预定数量的物体为止。
11.根据权利要求1所述的方法，其中，
所述方法形成所述相机的校准模式的一部分，并且其中，所述相机被设置为处于所述校准模式，直到在潜在感兴趣区域内已检测到预定数量的物体为止。
12.根据权利要求1所述的方法，其中，
所述多个显示视图为至少三个。
13.根据权利要求1所述的方法，进一步包括：
对所述显示视图进行去扭曲，并且显示去扭曲后的显示视图。
14.一种监控相机，具有广角镜头，并且被配置为执行根据权利要求1所述的方法。
CN201811329676.XA 2017-11-15 2018-11-09 分割广角视图的方法和被配置为执行该方法的监控相机 Active CN109784338B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17201842.6A EP3487161B1 (en) 2017-11-15 2017-11-15 Splitting of a wide angle view
EP17201842.6 2017-11-15

Publications (2)

Publication Number Publication Date
CN109784338A true CN109784338A (zh) 2019-05-21
CN109784338B CN109784338B (zh) 2020-09-11

Family

ID=60382072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329676.XA Active CN109784338B (zh) 2017-11-15 2018-11-09 分割广角视图的方法和被配置为执行该方法的监控相机

Country Status (3)

Country Link
US (1) US10778909B2 (zh)
EP (1) EP3487161B1 (zh)
CN (1) CN109784338B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229698B2 (ja) * 2018-08-20 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11386636B2 (en) 2019-04-04 2022-07-12 Datalogic Usa, Inc. Image preprocessing for optical character recognition
CN114694375B (zh) * 2020-12-28 2024-02-27 本田技研工业株式会社 交通监视系统、交通监视方法及存储介质
DE102022203062A1 (de) * 2022-03-29 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung von Kameraergänzungsvorschlägen für eine Überwachungsvorrichtung, Computerprogramm, Speichermedium und Überwachungsvorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187985A (zh) * 2006-11-17 2008-05-28 沈阳东软软件股份有限公司 确定对象分类器分类边界的方法及装置
CN102572240A (zh) * 2010-12-22 2012-07-11 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN102893594A (zh) * 2010-05-17 2013-01-23 松下电器产业株式会社 全景展开图像显示装置和显示全景展开图像的方法
CN102955929A (zh) * 2011-08-18 2013-03-06 新谊整合科技股份有限公司 超广角图像处理方法与其系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009016614A2 (en) * 2007-08-02 2009-02-05 Emza Visual Sense Ltd. Universal counting and measurement system
JP6111755B2 (ja) * 2013-03-13 2017-04-12 セイコーエプソン株式会社 表示制御回路、電気光学装置、及び、電子機器
US9466009B2 (en) * 2013-12-09 2016-10-11 Nant Holdings Ip. Llc Feature density object classification, systems and methods
WO2015117072A1 (en) * 2014-01-31 2015-08-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting and tracking objects in a video stream
KR102368225B1 (ko) 2014-12-23 2022-02-28 한화테크윈 주식회사 전자 디바이스 상의 디워프 이미지 뷰를 자동으로 변경하는 방법 및 장치
US9800835B2 (en) 2015-10-05 2017-10-24 Polycom, Inc. Conversational placement of speakers at one endpoint
TW201733347A (zh) * 2016-03-07 2017-09-16 晶睿通訊股份有限公司 魚眼影像顯示方法
JP7009389B2 (ja) * 2016-05-09 2022-01-25 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187985A (zh) * 2006-11-17 2008-05-28 沈阳东软软件股份有限公司 确定对象分类器分类边界的方法及装置
CN102893594A (zh) * 2010-05-17 2013-01-23 松下电器产业株式会社 全景展开图像显示装置和显示全景展开图像的方法
CN102572240A (zh) * 2010-12-22 2012-07-11 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN102955929A (zh) * 2011-08-18 2013-03-06 新谊整合科技股份有限公司 超广角图像处理方法与其系统

Also Published As

Publication number Publication date
US10778909B2 (en) 2020-09-15
EP3487161A1 (en) 2019-05-22
CN109784338B (zh) 2020-09-11
EP3487161B1 (en) 2019-10-30
US20190149747A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
JP7480823B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109784338A (zh) 广角视图的分割
US9615064B2 (en) Tracking moving objects using a camera network
US9396400B1 (en) Computer-vision based security system using a depth camera
US8041077B2 (en) Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera
US8731241B2 (en) Activity mapping system
US9858486B2 (en) Device and method for detecting circumventing behavior and device and method for processing cause of circumvention
EP3606032B1 (en) Method and camera system combining views from plurality of cameras
US20140043444A1 (en) Stereo camera device and computer-readable recording medium
US10176557B2 (en) Apparatus, system, and method for enhancing image video data
US20190230320A1 (en) Crowd monitoring device and crowd monitoring system
US9471845B1 (en) Background modeling for imaging surveillance
US20190180447A1 (en) Image processing device
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
CA2670021A1 (en) System and method for estimating characteristics of persons or things
JP7030451B2 (ja) 画像処理装置
JP2011198244A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
US10607102B2 (en) Video processing technique for 3D target location identification
JP2023036054A (ja) 目標カウント方法、装置、デバイス及び記憶媒体
CN114219825A (zh) 一种多个光电分布式部署下目标接力跟踪方法及系统
Shahbazi et al. Vehicle Tracking and Speed Estimation from Unmanned Aerial Videos
Nazarenko et al. The method to annotate buildings with images from CCTV cameras with an intersecting field of view
KR20170077623A (ko) 객체 카운팅 시스템 및 그 방법
CN115953655A (zh) 一种目标分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant