CN104144323B - 监视方法和摄像机 - Google Patents

监视方法和摄像机 Download PDF

Info

Publication number
CN104144323B
CN104144323B CN201410155398.6A CN201410155398A CN104144323B CN 104144323 B CN104144323 B CN 104144323B CN 201410155398 A CN201410155398 A CN 201410155398A CN 104144323 B CN104144323 B CN 104144323B
Authority
CN
China
Prior art keywords
scene
image
pattern
space
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410155398.6A
Other languages
English (en)
Other versions
CN104144323A (zh
Inventor
马库斯·斯堪斯
陈建丹
安德斯·约翰内松
约阿基姆·巴尔特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN104144323A publication Critical patent/CN104144323A/zh
Application granted granted Critical
Publication of CN104144323B publication Critical patent/CN104144323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19652Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开监视方法和摄像机。一种通过摄像机(7)监视场景的方法包括以具有预限定的谱成分和空间验证图案的光标记该场景的一部分(14)。通过对预限定的谱成分敏感的传感器,拍摄该场景的分析图像。基于预限定的谱成分,对该分析图像进行划分,以发现候选图像区。在该候选图像区中检测空间图案,并且将所检测的空间图案的特性与该空间验证图案的相应特性相比较。如果所检测的空间图像的特性与该空间验证图案的特性匹配,则将该候选图像区识别为与该场景的标记部分(14)对应的验证图像区。获得表示该场景的图像数据,以及以第一方式处理对应于该经验证的图像区的图像数据,并且以第二方式处理剩余的图像数据。

Description

监视方法和摄像机
技术领域
本发明涉及摄像机和监视场景的方法。
背景技术
摄像机在室内和室外的许多不同应用中用来监视多种环境。在特定情境中,可能需要将所拍摄的图像的一部分与另一部分不同地对待,如当监视具有窗的建筑物并且需要避免透过窗监视建筑物内部时。在这种情况中,通过在图形用户界面中标记图像上待遮盖的窗,可以限定隐私遮罩(privacy mask)。对于能够遥摄、倾斜和/或缩放的摄像机而言,可以在PTZ坐标系中限定隐私遮罩。
需要标记图像的一部分的另一示例是在摄像机应当仅检测图像的被选择区域中的运动并忽略图像剩余部分中的任何活动的情境中。这通常是由操作者通过例如在用户界面中对图像区域进行标记来选择图像的哪部分,例如较高的部分或较低的部分,应当从运动检测中去除来解决。
然而,该区域中的改进仍受关注。
发明内容
本发明的目的是提供一种选择图像的一部分进行特定类型处理的改进方式。
根据本发明的第一方面,一种由摄像机监视场景的方法包括以下步骤:
以具有预限定的谱成分和空间验证图案的光,标记所述场景的一部分;
通过对所述预限定的谱成分敏感的传感器,拍摄所述场景的分析图像;
基于所述预限定的谱成分,对所述分析图像进行划分,以发现候选图像区;
检测所述候选图像区中的空间图案;
将所检测的空间图案的特性与所述空间验证图案的对应特性相比较,并且如果二者匹配,则
将所述候选图像区识别为与所述场景的被标记部分对应的经验证的图像区,
获得表示所述场景的图像数据,以及
以第一方式处理与经验证的图像区对应的图像数据,以及以第二方式处理剩余图像数据。
以此方式,有可能以灵活且简单的、还可抵抗篡改的方式限定图像的区域,在该区域中应当与该图像的剩余部分不同地处理图像数据。该方法提供相对于如通过在用户界面中选择图像部分标记图像的一部分的现有技术方式至少一种显著区别——根据本发明的方法的标记作为替代本质上是物理地在该场景中限定的。因此,其提供更灵活的标记区限定,因为可以通过例如在该场景中的适当位置安装光源而考虑深度参数。
该方法例如在如下情景中是有用的:想要隐藏位于距摄像机某一距离处的场景的一部分(如商店内部),同时允许摄像机看到发生在所标记的部分和摄像机之间(即商店外部区域)的事情。实际上,这可例如通过在商店入口门处安装光源来实现。
在使用标记生成隐私遮罩的情境中,空间验证图案降低所创建的场景的“错误”标记的风险,如在闯入者想要尝试遮盖该图像的一部分来隐藏他的行动的情况中。即便闯入者想要使用具有正确谱成分的火炬光来尝试创建非操作者限定的隐私,他复制空间验证图案也会是十分困难的。
该图像数据可以从分析图像中获得,或者作为替代,该方法可以进一步包括通过对所述预限定的谱成分不敏感的传感器拍摄监视图像并且从该监视图像中获得图像数据的步骤。后者的替代办法在不希望在向用户示出的图像中包括该预限定的谱成分时是有用的。
所述方法可以进一步包括:根据时间调制序列在至少第一空间验证图案和第二空间验证图案之间调制空间验证图案的步骤,以及利用所述第一空间验证图案和所述第二空间验证图案中的相应一个根据所述时间调制序列重复标记步骤、拍摄步骤、划分步骤、检测步骤和比较步骤的步骤。
这还有助于提高安全性、降低篡改的风险以及降低摄像机将场景的非标记区错当成标记区或者将场景的标记区错当成非标记区的风险。
所检测的空间图案的特性可以是所检测的图案的空间频率与前面检测的图案的空间频率之间的比率,并且所述空间验证图案的特性可以是所述第一空间验证图案的空间频率与所述第二空间验证图案的空间频率之间的比率。这提高所述方法的鲁棒性和效率,并且使得可能比较候选图像区中的图像的较小片。其还解决场景中的对象上的空间图案依据它们距监视摄像机和光源的距离而似乎看上去不同的潜在问题。
所述时间调制序列可以基于伪随机序列生成,以更加进一步以简单有效的方式增强该方法的安全性。
所述空间验证图案可以是与一个或多个摄像机关联的签章图案。以此方式,用于监视用途的摄像机可以具有为该特定摄像机设定的光源,并且该摄像机被配置为仅以第一方式处理场景中用该摄像机的特定签章图案标记的那些区域。这进一步增强安全性,尤其当标记用于隐私遮罩用途时。
担当用于多于一个摄像机的签章图案的空间验证图案在设置一组摄像机来监视相同场景并且应当对所有摄像机标记该场景的相同部分的情境中是有用的。在此情况中,与操作者通过在每个摄像机的视场中限定坐标来为每个单独的摄像机限定场景的被标记部分的情况相比,向摄像机通知该场景的被标记部分所需的时间也会缩短。
第一处理方式可以包括例如通过模糊或替换来隐藏与经验证的图像区对应的图像数据使其不被显示,从而为该场景的被标记部分提供隐私遮罩。如上面提到的,这在例如当想要隐藏商店内部同时允许监视外部时是有用的。作为替代,第二处理方式可以包括例如通过灰化或替换来隐藏剩余图像数据使其不被显示,从而仅显示场景的被标记部分。这在想要仅监视位于摄像机附近的对象(如从ATM取款的人或者附近的任何人)同时忽略周围环境时是有用的。
所存储的背景图像可以用于替换。这通过提供容易地识别关注对象的位置的图像,向操作者提供用户友好的体验。
所述第一处理方式可以包括在向运动检测单元的输入中包括对应于经验证的图像区的图像数据,并且所述第二处理方式可以包括从向所述运动检测单元的输入中排除剩余图像数据。
作为替代,所述第二处理方式可以包括在向运动检测单元的输入中包括剩余图像数据,并且所述第一处理方式可以包括从向所述运动检测单元的输入中排除与经验证的图像区对应的图像数据。
所述第一处理方式可以包括在向被布置为检测或识别人、动物、车辆、牌照、文本信息或可视信息或其它对象类型的对象检测单元的输入中包括对应于经验证的图像区的图像数据,并且所述第二处理方式可以包括从对所述对象检测单元的输入中排除剩余图像数据,或者所述第二处理方式可以包括在向被布置为检测或识别人、动物、车辆、号牌、文本或可视信息或其它对象类型的对象检测单元的输入中包括剩余图像数据,并且所述第一处理方式可以包括从向所述对象检测单元的输入中排除对应于经验证的图像区的图像数据。
所有这些替代方案共同地或单独地提供将监视适应于以简单灵活的方式监视的场景的细节。
所述第一处理方式可以包括以第一压缩率压缩表示经验证的图像区的图像数据,并且所述第二处理方式可以包括以第二压缩率压缩剩余图像数据,其中所述第一压缩率不同于所述第二压缩率。
以此方式,通过以较高压缩率传输或保存被认为不太关注的图像的那些部分是可能的。
根据本发明的第二方面,一种被布置为监视场景的摄像机包括:
传感器,被布置为检测预限定的谱成分并且拍摄场景的分析图像;
图像处理单元,被布置为:
基于所述预限定的谱成分,对所述分析图像进行划分,以发现候选图像区,
检测所述候选图像区中的空间图案,
将所检测的空间图案的特性与空间验证图案的对应特性相比较,并且如果二者匹配,则
将所述候选区识别为与所述场景的被标记部分对应的经验证的图像区,
获得表示所述场景的图像数据,
以第一方式处理与经验证的图像区对应的图像数据,以及以第二方式处理剩余图像数据。
所述传感器可以包括对具有所述预限定的谱成分的光敏感的第一组传感器元件和对具有所述预限定的谱成分的光不敏感的第二组传感器元件。
根据本发明的第三方面,一种用于监视场景的摄像机系统包括光源和如上面所述的摄像机,所述光源被配置为以具有预限定的谱成分和空间验证图案来标记所述场景的一部分。
所述摄像机系统可以进一步包括时间调制器,该时间调制器被布置为生成时间调制序列,并且以同步的方式向照明单元和所述摄像机传输所述时间调制序列。
根据本发明的第四方面,提供一种计算机可读记录介质,在该计算机可读记录介质上记录了程序,该程序用于在该程序在具有处理能力的设备上运行时实现本文描述的方法。
本发明的这些后面的方面提供与本发明的第一方面对应的优势。
本发明的适用性的更广范围将从下面提供的具体实施方式中变得清楚。然而,应当理解,尽管具体实施方式和特定示例表示本发明的优选实施例,然而具体实施方式和特定示例仅是作为说明提供的,因为在本发明的范围内的各种变化和改变将从该具体实施方式中变得对本领域技术人员清楚。
因此,应当理解,本发明不局限于所描述的设备的特定组成部件或者所描述的方法的步骤,因为该设备和方法可以改变。还应当理解,本文使用的术语仅是用于描述具体实施例,而不旨在作为限制。必须注意,当冠词“一”、“该”和“所述”在说明书和所附权利要求书中使用时,其旨在表示存在这些元素中的一个或多个,除非上下文清楚地表示别的含义。因此,例如,对“区域”或“该区域”的引用可以包括数个区域等。此外,词语“包括”不排除其它要素或步骤。
附图说明
现在将对照所附示意图通过示例更详细地描述本发明,其中:
图1图示摄像机正在监视场景的情境。
图2图示摄像机正在监视场景的另一情境。
图3图示根据本发明的方法。
图4示意性示出摄像机。
具体实施方式
图1和图2图示可以使用所发明的方法和装置的两个例示性情境。图1示出具有大窗3和通向街道的玻璃门5的建筑物1。建筑物1可以例如提供通过玻璃门5进入的商店,并且路过的人可以透过玻璃门5和窗3看到该商店内部。
为了提高该房屋在关门时间的安全性,包括摄像机7的摄像机系统6正在监视建筑物1的外部,使得例如可以发现并停止闯入尝试。然而,不需要通过摄像机7观察商店的内部,这既出于隐私原因,也为了减少所需的图像处理和视频存储的量。这可通过在所拍摄的图像上覆盖隐私遮罩来解决,隐私遮罩覆盖图像的描绘门5和窗3的区域。
隐私遮罩是图像的被模糊或被灰化或者以某种方式不向用户显示的区域。然而,正如本发明的发明人已经认识到的,当在摄像机7和待覆盖的实际区域(如窗)之间的区域中存在关注对象9时,这可能造成问题。一个示例是当需要向背景中的区域添加隐私遮罩而不覆盖前景的任何部分时。当通过在用户界面中标记从摄像机接收的图像的特定区域来在该图像中限定隐私遮罩时,这是困难的。
当商店主需要监视商店内的区域但没有监视商店外部区域的许可时,类似情境发生。因此,通过商店窗和门对外界环境的观察需要通过摄像机的视频中的隐私遮罩进行遮盖。然而,仍可能存在商店中位于监视摄像机和门或窗之间以及在摄像机的视频中应当可用于观察的关注部分。
为了解决这些问题,发明人已经设计一种方式来物理地标记场景的一部分,即本质上在场景内,并且使用标记作为例如隐私遮罩的基础。这通过用具有预限定特性的光,更具体地用具有预限定的谱成分和空间验证图案的光,照亮场景的相关部分来实现。
在本文中,谱成分应当被解释为光的波长的特定间隔,例如具有850nm附近的间隔(如750nm-1000nm间隔)波长的近红外光NIR。另一示例是紫外光UV,例如具有200nm附近波长的紫外光。该光可以是人眼可见或不可见的。
光根据空间验证图案发射,该空间验证图案可以包括类棋盘图案、点、线等,线可以具有规定的空间频率,即每个长度单位线的数量。空间验证图案可以由不同特性表征,例如由空间频率、线宽度或者线宽度和线之间的距离的比率来表征。如果要比较两个图案,则可以生成每个图案的这种特性并用于比较。两个图案的特性之间的比较可以以多种不同的方式发生,并且该特性可以是全部图案本身或者图案的多个部分。
光由摄像机系统6中包括的一个或多个光源11提供。在图1中,光源11被安装来照亮门5和窗3。依据场景和使用情况,光源11可以相对于场景和摄像机位于不同位置。光源11可以例如位于摄像机7上或摄像机7附近,或者其可以位于靠近场景的应当被标记的那部分。
如图4更详细地示出的,摄像机7包括图像处理单元10。图像处理单元10被配置为识别由光源9提供的光的特性。图像处理单元10还可以位于别处,如位于从摄像机接收视频的视频编码器或服务器中。
摄像机通过传感器12拍摄图像。关于本文描述的方法,基本存在两个用于图像拍摄的主要选项。同一个图像即可出于发现与场景的被标记部分对应的图像区的目的而用于分析,也可用于显示给用户,或者可以使用两个图像,一个仅用于分析目的,一个是“正常”图像。在本文中,“正常”应当被理解为以通常由用户观看的方式描绘场景的图像。
在本申请的上下文中,用于分析目的的图像被表示为分析图像,用于向用户显示的图像被表示为监视图像。在第一种情况中,仅拍摄一种图像,术语“分析图像”和“监视图像”就指同一个图像。
在拍摄两种图像的情况中,传感器12可以依次包括第一组传感器元件和第二组传感器元件,第一组传感器元件对来自光源11的光的预限定的谱成分是敏感的并且从而拍摄分析图像,第二组传感器元件对相同的谱成分是不敏感的,因此拍摄上面描述的监视图像。这还可被视作该摄像机包括两个传感器,一个传感器包括第一组传感器元件,一个传感器包括第二组传感器元件。
第一组中的传感器元件可以散置在第二组传感器之间,或者这两个组可以放置在两个分离的物理位置。这两个传感器元件组可以例如位于优选地彼此靠近安装的两个分离的摄像机中。
实现第一组传感器元件和第二组传感器元件的一种方式是通过允许预限定谱成分的光通过但可以移除频谱的其它部分的一个或多个过滤器过滤到达第一组传感器元件的光,并且通过仅移除具有预限定谱成分的光的一个或多个过滤器过滤到达第二组传感器元件的光。
作为另一替代,可以提供可以被开启和被关闭的过滤器,以滤除预限定的谱成分,即来自光源11的光,从而允许摄像机7交替地拍摄包含该谱成分和不包含该谱成分的图像。
所有这些选项会允许摄像机拍摄包含预限定谱成分的光的第一类图像以及不包含该谱成分的第二类图像,即场景的标记不可见的“正常”图像。
附加地,通过控制光源11开启和关闭来使能够拍摄参考图像,可以进一步提高分析图像的质量,而不包含来自光源的标记。然后,可以从第一类图像中减去该参考图像,以给出所检测空间图案的更清晰图片。为了使摄像机知道何时光开启以及何时光关闭,光源可以向摄像机通知场景的当前标记,或者作为替代,光源和摄像机都可以从另一实体接收该信息,然后光源将根据该接收到的信息被控制。作为第三替代,摄像机可以生成该信息并且将对应的指令发送至光源。
当已经拍摄分析图像时,由图像处理单元10基于预限定的谱成分对图像进行划分,以查找包含预限定的空间成分的任何区域。所发现的区域被表示为候选图像区。术语“候选”用来强调在该点所发现的图像区是否对应于来自光源的光是不确定的,这因为如前面描述的具有预限定的谱成分的光可能具有与光源11不同的其它起始点。
然后,检测候选图像区的空间图案,并且如前面描述的,将所发现的空间图案的特性与光源的空间验证图案的对应特性进行比较。在匹配的情况下,将该候选图像区识别为与场景的标记部分对应的经验证的图像区。
然后,该经验证的图像区的位置或坐标用来将监视图像的图像数据(该监视图像或者与分析图像相同或者是分离地拍摄的图像)分成与该场景的标记部分对应的并且以第一方式处理的图像数据,以及剩余图像数据,即不与该场景的标记部分对应的并且以第二方式处理的图像数据。
然后,在第一图像处理方式和第二图像处理方式已经发生以后,将监视图像呈现给用户。
可以注意,对于拍摄分离的监视图像的情况,分析图像和监视图像通常使用相同的坐标系统,这使得容易地发现监视图像中的正确图像是可能的。如果需要将这两组传感器元件进一步彼此分离,则图像区的坐标系会从分析图像变换至监视图像。
现在返回所图示的示例,因此当发现对应于场景的标记部分14的图像的经验证的图像区(即由光源11照亮的场景的部分)时,图像处理单元10将与剩余图像不同地对待该图像区。在该特定示例中,该图像区将被模糊或灰化,以向该图像的描绘场景的被照亮部分的那些部分提供隐私遮罩。注意,在此情况中,正好站在门5外(即位于摄像机7和玻璃门5之间)的对象9将不被该隐私遮罩覆盖,因为其不被来自光源11的光照亮。
在图2中,图示另一情境,其中光源11用来为摄像机7标记场景的一部分。在该示例中,摄像机7安装在ATM13处,并且目的是监视紧靠ATM的对象,典型地呈取款的人的形式的对象15。紧靠ATM13外侧的对象,如呈汽车形式的对象17,不应当被监视。为此目的,光源11在ATM13的正前方的区域提供具有特定谱成分和特定空间验证图案的光,这意味着该区域中的任何对象将被来自光源11的光标记。然后,该标记被用来选择由摄像机7拍摄的图像的对应区域去进行特定类型的处理,在此情况中应向操作者显示。图像的剩余部分应当被忽略并且可被灰化,被模糊或者被静态图像,如静态的或预存储的背景图像代替。
与图2所示的情境相对的情境可在装备有视频监视器商店或者在宾馆前台处以及可能想要避免拍摄柜台处的员工的位置发生。在此情况中,将光源设置为照亮员工通常出现的区域,并且使该场景的标记部分被灰化来提供覆盖该区域的隐私遮罩。
可以注意,当在本发明的实施例的上下文中提及“图像区”或“该图像区”时,这实际上应当被解释为包含该图像的一个或多个区域,换句话说,当提及“图像的区域”时,这或者意指一个单独的相邻像素组或者意指数个不连接的相邻像素组。当后者可能发生时的示例是,当两个对象(人)靠近图2所示情境中的摄像机站立,并且这两个对象都被来自光源的光照亮时。然后,这两个对象可以被视作由光标记的两个分离的像素组。这两个组仍然被称作“图像区”或“该图像区”。另一示例是,当使用多于一个光源来以具有相同特性的光标记该场景的不同部分时。这通常也将生成该图像中两个分离的像素组,这两个分离的像素组都被识别为对应于该场景的标记部分,但是在本申请的上下文中,它们仍将被称为一个图像区。可以注意,任何推理也适用于术语“场景的标记部分”,因为这可以包括多于一个这样的标记部分。
由于光具有都被图像处理单元识别的预限定的谱成分和空间验证图案的事实,某人有意地或无意地通过将光照射在被监视场景的一部分上生成该场景的一部分的“错误”标记,是困难得多的。即便特定谱成分有可能复制,例如通过找到具有相同波长范围的光源,但是空间图案重现起来难得多。当比较空间图案时,验证步骤也消除或者至少减少可能发生的其它问题,例如在白天使用红外光或近红外光标记的情况中,当日光还包含具有该特定谱成分的光时,或者在夜间结合规则的基于IR照明单元使用该标记时。
该空间验证图案可以是与特定摄像机关联的签章图案,并且摄像机可以接着例如在生产期间被预设,来识别特定签章图案或者这种图案的特性。空间验证图案还可以是与监视相同场景的一组摄像机关联的联合签章图案。当设置数个摄像机来从不同角度监视同一个场景时,这可能是有用的,此时该场景的部分应当由隐私遮罩覆盖,如如果应当将第二摄像机添加至图1所示的设置,并且该商店的内部应当对这两个摄像机的视野隐藏。
还可在有具有相同特性的数个光源的配置设备中提供摄像机或一组摄像机。作为另一替代,可设置一个或多个摄像机来识别来自数个不同光源的光特性,使得一个光源用来标记该场景的摄像机应当忽视运动的部分,另一光源用来标记该场景的一部分来为该场景的那个部分创建隐私遮罩。
为了更进一步降低生成错误标记的风险,可向光中添加时间图案。这是通过根据设置方案对光进行时间上的调制或改变来实现,其可由时间调制序列表示。这种时间调制序列可以例如基于伪随机序列生成。时间调制序列可以例如包括通过打开光源和关闭光源根据预确定的方案改变光的强度,或者其可包括在至少第一空间验证图案和第二空间验证图案之间改变的空间验证图案。第一空间验证图案和第二空间验证图案之间的图案改变或变换可以通过在光源中包括空间光调制器实现。这种空间光调制器可以包括用于提供多于一个空间验证图案的某类过滤器。该过滤器可以例如以液晶布置的形式提供。另一替代方案是在光源中使用多于一个的光源元件,并且向每个这样的光源元件提供某类过滤器或其它布置,如以特定布置的多个发光元件,以提供特定空间验证图案。
然后将重复地、但根据时间调制序列利用不同的图案来执行所描述的标记场景的一部分的步骤、拍摄和划分分析图像的步骤、检测候选图像区中的空间图案的步骤以及将所检测的空间图案与空间验证图案相比较的步骤。
时间调制序列可以由图4中作为摄像机的一部分示出的时间调制器19生成。时间调制器19还可以放置在摄像机系统中的另一位置,例如放置在光源处或另一位置。时间调制器19向在标记场景时应当使用的时间调制序列的光源11发送信息,并且图像处理单元10接收该信息以便正确地执行图案特性之间的比较。
在此情况中,特性比较可以考虑第一空间验证图案和第二空间验证图案中的特性之间的不同关系。作为一个示例,所检测的图案的空间频率(例如这种图案中的线的空间频率)以及前面检测的图案的对应空间频率之间的比率可以与第一空间验证图案和第二空间验证图案各自的空间频率的对应比率相比较。在此过程中,可以利用小波分解。空间图案的特性之间的比较还可在图像中的像素的较小片(patch)中执行。此类比较还解决以下可能的问题:在场景中对象上的投影图案可能依据它们距监视摄像机和光源的距离而表现不同。在场景包括移动对象的情况中,以足够快的步速执行图案之间的移动以能够拍摄对象处的两个图案会是优选的,此时对象仍位于距摄像机大致相同的距离,以便获得不受在距摄像机或光源不同距离处看上去不同的被检测空间图案影响的比较结果。
在图3中,图示根据本发明的实施例的方法300。在步骤301中,通过具有预限定的谱成分和空间验证图案的光,标记场景的一部分。在步骤302中,拍摄分析图像。在步骤303中,基于该预限定的谱成分对分析图像进行划分,以发现潜在地对应于场景的标记部分的候选图像区。
在步骤304中,检测该候选图像区的空间图案,在步骤305中,将所检测的空间图案的特性与空间验证图案的对应特性进行比较。在特性之间匹配的情况下,将候选图像区识别为经验证的图像区,并且方法继续至步骤306,在步骤306中,从分析图像或从可能分离地拍摄的监视图像中获得图像数据并对图像数据进行处理。以第一方式处理对应于经验证的图像区的图像数据,以第二方式处理剩余的图像数据。处理的第二方式不同于第一方式。
将图像数据分成对应于经验证的图像区的图像数据(其又对应于场景的标记部分)和对应于场景的未标记部分的剩余图像数据可以用于数个不同的用途。除了上面提到的创建隐私遮罩的选择以外,有多个该划分可能有用的其它选项。所有这些不同的选项可以按需要组合。
一个示例是使用该图像数据划分来为场景的一部分至少部分地优化成像参数,同时忽略剩余场景。换言之,第一处理方式或第二处理方式之一包括基于经验证的图像区或剩余图像中仅之一为全部图像(即所发现的图像区加上剩余图像)设置成像参数,如颜色方案、亮度或白平衡。以此方式,实现以尽可能好的方式描绘场景的被选中部分的图像,同时允许不太关注的部分例如太亮或太暗。
作为另一示例,可以设置运动检测单元21来仅检测所发现的图像区或剩余图像区之一中的运动。这可以例如用来避免检测在风中摇摆的树的运动或类似物。
可以以同样的方式设置对象检测单元23来仅检测经验证的图像区或剩余图像区之一中的对象。该对象检测单元可例如被设置为检测或识别人或动物、面部、牌照、文本信息或可视信息。当想要仅检测商店中显示十分有价值的展品的区域中的运动或对象时,该选项可能是有用的,从而有可能警示员工他们应当注意该区域。该特定的商店区域被具有预限定的特性的光照亮,对象检测和/或运动检测被设置为仅在那些区域发生。此外或可替代地,可以设置对象跟踪单元25来仅跟踪经验证的图像区或剩余图像区之一中的对象。
运动检测单元21、对象检测单元23和对象跟踪单元可以是图4所示的图像处理单元10的多个部分,或者它们可以体现为分离的单元。它们可以布置在摄像机7中或在摄像机系统6中或者在另一位置,如在视频编码器或服务器中。
将理解,本领域技术人员能够以多种方式修改上面描述的实施例,并且仍使用在上面的实施例中示出的本发明的优势。作为示例,本文描述的各个单元可以包含在软件或硬件或者软件和硬件的组合中。
因此,本发明不应当局限于所示出的实施例,而是应当仅由所附权利要求限定。
附图标记列表
1:建筑物
3:窗
5:门
7:摄像机
9:对象
10:图像处理单元
11:光源
12:传感器
13:ATM
14:场景的标记部分
15:对象
17:对象
19:时间调制器
21:运动检测单元
23:对象检测单元
25:对象跟踪单元

Claims (13)

1.一种对监视场景的摄像机拍摄的所述场景的图像的一部分进行遮盖的方法,包括以下步骤:
安装光源,使得该光源照亮所述场景的一部分;
通过所述光源以具有预限定的谱成分和空间验证图案的光照亮所述场景的所述一部分;
通过对所述预限定的谱成分敏感的传感器,拍摄(302)所述场景的分析图像;
基于所述预限定的谱成分,对所述分析图像进行划分(303),以发现候选图像区;
检测(304)所述候选图像区中的空间图案;
将所检测的空间图案的特性与所述空间验证图案的对应特性相比较(305),并且如果二者匹配,则
将所述候选图像区识别(306)为与所述场景的由所述光源照亮的所述一部分对应的经验证的图像区,
通过对所述预限定的谱成分不敏感的传感器拍摄监视图像,
获得表示所述场景的图像数据,其中所述图像数据从所述监视图像获得,以及
通过模糊或替代来隐藏与所述经验证的图像区对应的图像数据使其不被显示,并且显示剩余图像数据,从而向所述场景的由所述光源照亮的所述一部分提供隐私遮罩,或者
显示与所述经验证的图像区对应的图像数据,并且通过模糊或替代来隐藏剩余图像数据使其不被显示,从而为所述场景的未被照亮的部分提供隐私遮罩。
2.根据权利要求1所述的方法,其中所述空间验证图案是与一个或多个摄像机关联的签章图案。
3.根据权利要求1所述的方法,进一步包括以下步骤:
根据时间调制序列,在至少第一空间验证图案和第二空间验证图案之间调制所述空间验证图案,以及
根据所述时间调制序列,利用所述第一空间验证图案和所述第二空间验证图案中相应一个,重复照亮步骤、拍摄步骤、划分步骤、检测步骤和比较步骤。
4.根据权利要求3所述的方法,其中所检测的空间图案的特性是所检测的图案的空间频率与前面检测的图案的空间频率之间的比率,并且所述空间验证图案的特性是所述第一空间验证图案的空间频率与所述第二空间验证图案的空间频率之间的比率。
5.根据权利要求3所述的方法,其中所述时间调制序列基于伪随机序列生成。
6.根据权利要求4所述的方法,其中所述时间调制序列基于伪随机序列生成。
7.根据权利要求1所述的方法,其中预存储的背景图像用于所述替代。
8.根据权利要求1所述的方法,
其中与所述经验证的图像区对应的图像数据被包括在对运动检测单元(21)的输入中,并且所述剩余图像数据被从对所述运动检测单元(21)的输入中排除,或者
其中所述剩余图像数据被包括在对运动检测单元(21)的输入中,并且与所述经验证的图像区对应的图像数据被从对所述运动检测单元(21)的输入中排除。
9.根据权利要求1所述的方法,
其中与所述经验证的图像区对应的图像数据被包括在对象检测单元(23)的输入中,该对象检测单元(23)被布置成检测或识别人、动物、车辆、牌照、文本或可视信息或其它对象类型,
并且其中所述剩余图像数据从对所述对象检测单元(23)的输入中排除;或者
其中所述剩余图像数据被包括在对象检测单元(23)的输入中,该对象检测单元(23)被布置成检测或识别人、动物、车辆、牌照、文本或可视信息或其它对象类型,
并且其中与所述经验证的图像区对应的图像数据从对所述对象检测单元(23)的输入中排除。
10.根据权利要求1所述的方法,其中以第一压缩率压缩表示所述经验证的图像区的图像数据,并且其中以第二压缩率压缩剩余图像数据,其中所述第一压缩率不同于所述第二压缩率。
11.一种被布置为监视场景的摄像机,包括:
传感器(12),包括对具有预限定的谱成分的光敏感的第一组传感器元件和对具有所述预限定的谱成分的光不敏感的第二组传感器元件,其中所述第一组传感器元件被布置为拍摄场景的分析图像,并且其中所述第二组传感器元件被布置为拍摄所述场景的监视图像;
图像处理单元(10),被布置为
基于所述预限定的谱成分,对所述分析图像进行划分,以发现候选图像区,
检测所述候选图像区中的空间图案,
将所检测的空间图案的特性与空间验证图案的对应特性相比较,并且如果二者匹配,则
将该候选区识别为与所述场景的由光源以具有所述预限定的谱成分和所述空间验证图案的光照亮的部分(14)对应的经验证的图像区,
获得表示所述场景的图像数据,其中所述图像数据从所述监视图像获得,以及
通过模糊或替代来隐藏与所述经验证的图像区对应的图像数据使其不被显示,并且显示剩余图像数据,从而向所述场景的由所述光源照亮的所述部分提供隐私遮罩,或者
显示与所述经验证的图像区对应的图像数据,并且通过模糊或替代来隐藏剩余图像数据使其不被显示,从而为所述场景的未被照亮的部分提供隐私遮罩。
12.一种用于监视场景的摄像机系统,包括:
光源(11),该光源被安装来以具有预限定的谱成分和空间验证图案的光照亮所述场景的一部分(14);以及
根据权利要求11所述的摄像机(7)。
13.根据权利要求12所述的摄像机系统,进一步包括时间调制器(19),该时间调制器(19)被布置为:
生成时间调制序列,以及
以同步的方式将所述时间调制序列发送至所述光源(11)和所述摄像机(7)。
CN201410155398.6A 2013-05-08 2014-04-17 监视方法和摄像机 Active CN104144323B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13167014.3A EP2801958B1 (en) 2013-05-08 2013-05-08 Monitoring method and camera
EP13167014.3 2013-05-08

Publications (2)

Publication Number Publication Date
CN104144323A CN104144323A (zh) 2014-11-12
CN104144323B true CN104144323B (zh) 2018-04-10

Family

ID=48288934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410155398.6A Active CN104144323B (zh) 2013-05-08 2014-04-17 监视方法和摄像机

Country Status (6)

Country Link
US (1) US9536154B2 (zh)
EP (1) EP2801958B1 (zh)
JP (1) JP6293571B2 (zh)
KR (1) KR101726827B1 (zh)
CN (1) CN104144323B (zh)
TW (1) TWI667918B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140140575A1 (en) * 2012-11-19 2014-05-22 Mace Wolf Image capture with privacy protection
US9940525B2 (en) 2012-11-19 2018-04-10 Mace Wolf Image capture with privacy protection
JP6255944B2 (ja) * 2013-11-27 2018-01-10 株式会社リコー 画像解析装置、画像解析方法及び画像解析プログラム
US9930119B2 (en) * 2014-06-27 2018-03-27 Alcatel-Lucent Usa Inc. Heterogeneous cellular object tracking and surveillance network
US9626580B2 (en) * 2014-07-22 2017-04-18 Verizon Patent And Licensing Inc. Defining region for motion detection
US10776971B2 (en) 2015-04-28 2020-09-15 Signify Holding B.V. Metadata in multi image scenes
CA3007998A1 (en) 2015-12-11 2017-06-15 Lutron Electronics Co., Inc. Load control system having a visible light sensor
US10306315B2 (en) * 2016-03-29 2019-05-28 International Business Machines Corporation Video streaming augmenting
DE102016206361A1 (de) * 2016-04-15 2017-10-19 Robert Bosch Gmbh Kameraeinrichtung für den Außenbereich eines Gebäudes
WO2017206036A1 (zh) * 2016-05-30 2017-12-07 深圳市大疆创新科技有限公司 可移动设备及其控制方法和装置、控制终端及拍摄设备
TWI633497B (zh) 2016-10-14 2018-08-21 群暉科技股份有限公司 用來藉助於多個攝影機進行協同式計數之方法與裝置
EP3552459A2 (en) 2016-12-09 2019-10-16 Lutron Technology Company LLC Load control system having a visible light sensor
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
EP3385747B1 (en) * 2017-04-05 2021-03-31 Axis AB Method, device and system for mapping position detections to a graphical representation
GB2560393B (en) * 2017-07-31 2019-01-30 Matthew Russell Iain Unmanned aerial vehicles
US10798313B2 (en) * 2017-08-22 2020-10-06 Alarm.Com Incorporated Preserving privacy in surveillance
TWI656512B (zh) * 2017-08-31 2019-04-11 群邁通訊股份有限公司 影像分析系統及方法
EP3791570A4 (en) * 2018-05-11 2022-01-26 Axon Enterprise, Inc. SYSTEMS AND METHODS OF CROSS-EDITING
CN111179299A (zh) * 2018-11-09 2020-05-19 珠海格力电器股份有限公司 一种图像处理方法及装置
CN109379571A (zh) * 2018-12-13 2019-02-22 移康智能科技(上海)股份有限公司 一种智能猫眼的实现方法及智能猫眼
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
US20210191133A1 (en) * 2019-12-23 2021-06-24 Apple Inc. External recording indicators
CN113516703A (zh) * 2020-10-26 2021-10-19 阿里巴巴集团控股有限公司 摄像头覆盖范围检测方法、装置、设备和存储介质
KR102455506B1 (ko) * 2020-10-30 2022-10-19 주식회사 올리브앤도브 문열림 감지 센서를 포함하는 도어캠
CN114666473B (zh) * 2022-02-10 2024-10-15 山东土地集团数字科技有限公司 耕地保护用视频监控方法、系统、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167575B1 (en) * 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
CN101610408A (zh) * 2008-06-16 2009-12-23 北京智安邦科技有限公司 视频保护置乱方法和结构

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574511A (en) 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
IL119033A0 (en) * 1996-08-07 1996-11-14 Elscint Ltd Multi-slice detector array
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
WO2003029046A1 (en) * 2001-10-03 2003-04-10 Maryann Winter Apparatus and method for sensing the occupancy status of parking spaces in a parking lot
US20030063191A1 (en) 2001-10-03 2003-04-03 Philips Electronics North America Corp. Method and system for detecting and selecting foreground objects
US8558892B2 (en) * 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
JP2007526453A (ja) 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離(rgb−z)センサー
EP2161695A4 (en) * 2007-06-07 2011-06-08 Univ Electro Communications OBJECT DETECTION DEVICE AND THEREFORE USING TOWER DEVICE
DE102007033835B4 (de) 2007-07-18 2010-07-15 Eads Deutschland Gmbh Bildaufnahmetechnik zur direkten Objektsegmentierung in Bildern
CN101389005A (zh) * 2007-09-11 2009-03-18 华为技术有限公司 一种对图像特定位置进行遮挡的方法及装置
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8311275B1 (en) * 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
US8229228B2 (en) * 2008-09-16 2012-07-24 Robert Bosch Gmbh Image analysis using a pre-calibrated pattern of radiation
US20100302376A1 (en) 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167575B1 (en) * 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
CN101610408A (zh) * 2008-06-16 2009-12-23 北京智安邦科技有限公司 视频保护置乱方法和结构

Also Published As

Publication number Publication date
KR20140132691A (ko) 2014-11-18
EP2801958A1 (en) 2014-11-12
CN104144323A (zh) 2014-11-12
JP2014220811A (ja) 2014-11-20
KR101726827B1 (ko) 2017-04-14
TW201507469A (zh) 2015-02-16
US9536154B2 (en) 2017-01-03
JP6293571B2 (ja) 2018-03-14
EP2801958B1 (en) 2016-09-14
US20140334676A1 (en) 2014-11-13
TWI667918B (zh) 2019-08-01

Similar Documents

Publication Publication Date Title
CN104144323B (zh) 监视方法和摄像机
US9648285B2 (en) Monitoring method and camera
US20070201694A1 (en) Privacy management in imaging system
US8752197B2 (en) Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
CN100476570C (zh) 用于抑制投影图像所选区域的投影的方法和设备
JP2014220811A5 (zh)
US20170270630A1 (en) Watermarking system and method
US9870700B2 (en) Method and device for avoiding false alarms in monitoring systems
CN114648819A (zh) 转换安全文档登记系统
CN108369636B (zh) 用于认证和/或检查对象完整性的方法
CN107889531A (zh) 多图像场景中的元数据
CN102859994A (zh) 使空间分辨的测量结果可视化的方法及对应的测量装置
EP2856409A1 (en) Article authentication apparatus having a built-in light emitting device and camera
CN109471201A (zh) 一种安检方法及装置
CN101855903A (zh) 用于防盗版保护和验证的方法、装置和系统
CN109792387B (zh) 光通信装置防伪方法及系统
DE102008006532A1 (de) Anzeigen einer Nutzinformation auf einem Anzeigeelement
JP2006258651A (ja) 不特定撮像装置の検出方法および装置
GB2589080A (en) Surveillance system
KR101929212B1 (ko) 이동객체를 마스킹처리하는 장치 및 방법
CN1759365A (zh) 屏蔽图像的观看
US20210387469A1 (en) Watermark recording device, watermark detection device, watermark recorded printed matter, and method and program
CN112822434A (zh) 防窃照处理方法、设备及系统
Rajalakshmi et al. IR image disruptor with embedded code tracker
CN113807159B (zh) 人脸识别处理方法、装置、设备及其存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant