CN105100580A - 监视系统以及用于监视系统的控制方法 - Google Patents

监视系统以及用于监视系统的控制方法 Download PDF

Info

Publication number
CN105100580A
CN105100580A CN201410197939.1A CN201410197939A CN105100580A CN 105100580 A CN105100580 A CN 105100580A CN 201410197939 A CN201410197939 A CN 201410197939A CN 105100580 A CN105100580 A CN 105100580A
Authority
CN
China
Prior art keywords
camera head
destination object
surveillance
removable
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410197939.1A
Other languages
English (en)
Other versions
CN105100580B (zh
Inventor
张登
刘昆
殷雄
李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201410197939.1A priority Critical patent/CN105100580B/zh
Priority to US14/705,053 priority patent/US10659670B2/en
Publication of CN105100580A publication Critical patent/CN105100580A/zh
Application granted granted Critical
Publication of CN105100580B publication Critical patent/CN105100580B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Abstract

本公开提供一种监视系统以及用于监视系统的控制方法。该监视系统包括摄像装置、对象识别装置以及布置控制装置。摄像装置包括至少一个可移动摄像装置。对象识别装置被配置为根据摄像装置获取的初级图像识别目标对象。布置控制装置被配置为控制可移动摄像装置的空间布置,使得可移动摄像装置与目标对象具有预定相对位置。

Description

监视系统以及用于监视系统的控制方法
技术领域
本申请一般涉及视频监视领域,更具体地,涉及包含可移动摄像装置的监视系统以及用于监视系统的控制方法。
背景技术
已经存在由多个摄像装置构成的监视系统,其中每个摄像装置可以具有各自的监视区域,或者可以分别提供同一监视区域的不同视角下的图像数据。这种监视系统能够通过多个摄像装置获取图像以对目标区域进行监视。
发明内容
在下文中给出了关于本发明实施例的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
根据本公开的一个方面,提供一种监视系统,其包括摄像装置、对象识别装置以及布置控制装置。摄像装置包括至少一个可移动摄像装置。对象识别装置被配置为根据摄像装置获取的初级图像识别目标对象。布置控制装置被配置为控制可移动摄像装置的空间布置,使得可移动摄像装置与目标对象具有预定相对位置。
根据本公开的另一个方面,提供一种监视系统的控制方法。该方法包括通过摄像装置获取初级图像的步骤,其中摄像装置包括至少一个可移动摄像装置。该方法还包括根据所获取的初级图像识别目标对象的步骤。该方法还包括在识别出目标对象的情况下控制可移动摄像装置的空间布置,使得可移动摄像装置与目标对象具有预定相对位置的步骤。
通过本公开的实施方式,使得监视系统能够对预定目标实施重点监视,以提高监视结果的针对性和准确度。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
图1是示出根据本公开的一个实施例的监视系统的配置示例的框图;
图2是示出根据本公开的另一个实施例的监视系统的配置示例的框图;
图3是示出作为根据本公开的实施例的监视系统中的可移动摄像装置的示例的智能眼镜的配置示例的框图;
图4是示出根据本公开的又一个实施例的监视系统的配置示例的框图;
图5是示出根据本公开一个实施例的监视系统控制方法的过程示例的流程图;
图6是示出根据本公开另一个实施例的监视系统控制方法的过程示例的流程图;
图7是示出用于控制作为可移动摄像装置的示例的智能眼镜的子过程的示例的流程图;
图8是示出根据本公开的又一个实施例的监视系统控制方法的过程示例的流程图;以及
图9是示出实现本申请的方法和设备的计算机的示例性结构的框图。
具体实施方式
下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
如图1所示,根据本公开一个实施例的监视系统100包括摄像装置110、对象识别装置120以及布置控制装置130。
虽然图中仅以一个框表示摄像装置110,但是摄像装置110可以是一个或更多个摄像装置,并且其中包括至少一个可移动摄像装置。换句话说,摄像装置110可以仅为一个可移动摄像装置,或者,摄像装置110可以是多个摄像装置,其中包括一个或更多个可移动摄像装置。
在本文中,“可移动摄像装置”是指位置可移动的摄像装置。另外,如下文中将要提到的,“固定摄像装置”是指位置固定的摄像装置。固定摄像装置例如可以包括本领域熟知的固定摄像头,其被固定在监视区域处的固定设施例如墙体、电线杆等。需要指出的是,虽然被称为固定摄像装置,但其仍然可以具有一定的自由度,例如可以改变其拍摄角度、焦距等,相应地,其可以具有不同的拍摄区域。与其相对地,可移动摄像装置不被固定在固定的设施上,因此除了拍摄角度、焦距等自由度外,还可以根据需要改变其位置。
根据具体应用,可移动摄像装置可以包括多种具有摄像功能的可移动设备。例如,可移动摄像装置可以是摄像机、移动电话、可穿戴电子设备如智能眼镜等,其由特定人员持有或佩戴,并随着该人员移动以起到可移动摄像装置的作用。此外,可移动摄像装置也可以包括例如设置有摄像装置的可移动设备,例如本领域已知的远程监控机器人等,其能够根据控制信号,通过驱动机制如轮或轨道等进行移动。
继续参照图1,对象识别装置120被配置为根据摄像装置110获取的图像识别目标对象。对象识别装置120可以采用多种基于视频的对象识别方式(例如参见“基于支持向量机的视频监控运动对象识别方法研究”,孙斌,《现代计算机(专业版)》2011年第24期)识别图像中的目标对象。根据具体应用,所要识别的对象可以包括具有特定形态的对象(例如,人、动物、车辆等)、具有特定运动模式的对象(例如,运动的对象)、具有特定行为模式的对象(例如,进行了特定动作或动作组合的人),等等。
布置控制装置130被配置为控制可移动摄像装置的空间布置,使得可移动摄像装置与对象识别装置120识别出的目标对象具有预定相对位置。这里,预定相对位置可以包括可移动摄像装置相对于目标对象的预定距离、预定视角等。另外,预定相对位置也可以包括预定的距离范围、视角范围等,而不限于特定值的距离和视角。可以根据具体应用来设置该预定相对位置,例如使得能够获得目标对象的特定视角或清晰度的图像等。
根据不同的应用,布置控制装置130可以根据不同的方式对可移动摄像装置的空间布置进行控制。例如,在可移动摄像装置130被特定人员持有或佩戴的情况下,布置控制装置130可以通过将改变空间布置的命令(例如经由可移动摄像装置或经由其他通信装置)提供给该人员,以指示该人员改变可移动摄像装置的空间布置。或者,在可移动摄像装置本身具有驱动机制或者被附连到可移动设备的情况下,布置控制装置130可以将控制命令提供给该驱动装置或可移动设备。
通过该实施例的监视系统,即使在目标对象运动的情况下、或者在摄像装置与目标对象之间的相对位置不满足预定要求的情况下,也能够通过控制摄像装置的空间布置来获得希望的监视图像,以用于多种目的(例如身份识别、行为模式识别等)。因此,与现有的监视系统相比,根据本公开的该实施例的监视系统能够基于对象识别的结果,通过可移动摄像装置对预定目标实施重点监视,从而能够提高监视结果的针对性和准确度。
根据一个具体实施例,对象识别装置可以被配置为将行为模式与预定行为模式匹配的对象识别为目标对象。相应地,布置控制装置可以被配置为控制可移动摄像装置的空间布置,使得可移动摄像装置与目标对象之间具有如下预定相对位置:可移动摄像装置在该预定相对位置下获取的图像中的目标对象与用于模式匹配的模型的相似度高于对象识别装置进行该行为模式匹配时所基于的图像中的目标对象与模型的相似度。从而,可以利用在调整后的相对位置下拍摄的图像,以更高的准确度进行模式匹配。可以采用多种方式进行基于模式匹配的对象识别,例如,参见“基于行为模式识别的视频监控系统的研究”,章冀伟,华中科技大学硕士学位论文,2009年。
更具体地,在目标对象是人的情况下,例如可以通过检测目标对象的特定部位如头部、四肢等的动作,通过将其与预定模型进行比较,来确定目标对象是否做出了特定行为。例如,在智能监考系统中,基于考试者的动作识别其是否有作弊行为等。然而行为模式的识别不限于此,例如,也可以通过人的面部的图像识别特定的表情等。
通过调整可移动摄像装置的空间布置,使得可移动摄像装置能够获得有利于更准确地进行模式匹配的目标对象的图像(例如,在基于目标对象的头部和四肢等识别行为模式的情况下,使所获得的图像中目标对象的姿态更接近用于模式匹配的模型;在识别面部表情的情况下,使的能够获得目标对象的面部的正面特写,等等),从而提高对象识别装置的识别准确度。
此外,需要指出的是,虽然在图1中摄像装置110与对象识别装置120被示出为单独的装置,但是根据一些实施例,摄像装置可以是与对象识别装置集成的。例如,作为可移动摄像装置的智能手机、智能可穿戴设备如智能眼镜、以及远程监控机器人等可以同时具有用于摄像和对象识别的功能模块。
下面参照图2说明根据本公开另一实施例的监视系统的配置示例。
如图2所示,根据本实施例的监视系统200包括摄像装置210、对象识别装置220、布置控制装置230以及协同装置240。
其中,摄像装置210包括两个或更多个摄像装置,其中有至少一个可移动摄像装置。换句话说,在本实施例中,摄像装置210可以包括n个可移动摄像装置和m个固定摄像装置,其中n≥1,并且n+m≥2。
与前面参照图1描述的对象识别装置120类似,根据本实施例的监视系统200中的对象识别装置220被配置为根据摄像装置210获取的图像识别目标对象。其中,对象识别装置220可以根据可移动摄像装置获取的图像来识别目标对象,也可以根据固定摄像装置(如果有的话)获取的图像来识别目标对象。
另外,与前面参照图1描述的布置控制装置130类似,根据本实施例的监视系统200中的布置控制装置230被配置为控制可移动摄像装置的空间布置,使得可移动摄像装置与对象识别装置220识别出的目标对象具有预定相对位置。
协同装置240被配置为在系统初始化时或在可移动摄像装置的空间布置发生了变化的情况下,确定摄像装置240(其包括两个或更多个摄像装置)的工作参数,使得各摄像装置的监视范围的并集包含预定监视目标区域。
根据具体实施例,可移动摄像装置的工作参数可以包括位置(可以包括水平方向上的位置即二维坐标、以及竖直方向上的位置即高度等)、方位角(可以包括俯仰角(绕水平轴的旋转角度)、朝向角(绕竖直轴的旋转角度)等)、视角范围(例如广角、非广角等)、焦距(例如通过视场缩放调整视场范围)等。固定摄像装置的工作参数例如可以包括方位角、视角范围、焦距等。
接下来,给出以下示例以示意性地说明对多个摄像装置的协同控制。
假设预定监视目标区域为R=[x,y,w,h],(x,y)为该监视目标区域的基准点坐标,w和h分别为监视目标区域(在俯视图中)的宽和高。
假设系统中固定摄像装置的数量为m,可移动摄像装置的数量为n,并且预期将监视目标区域分为n个可移动摄像装置子区域Ri,i∈[0,n-1]和m个固定摄像装置子区域Rj,j∈[0,m-1],为了便于说明,这里假设初始化时对监视目标区域进行等分,即:
Ri=[x+i×w/n,y+i×h/n,w/n,h/n],
Rj=[x+j×w/m,y+j×h/m,w/m,h/m]。
对于各可移动摄像装置,假设如下初始化其工作参数,包括位置(Cix,Ciy)、高度Cih、俯仰角Cit,朝向角Cid、视角范围(Ciw,Cip)以及焦距fi,其中:
Cix∈[x+i×w/n,x+(i+1)×w/n],
Ciy∈[y+i×h/n,y+(i+1)×h/n],
Cih∈[1.5,5.0](单位:米),
Cit,Ciw,Cip,Cid∈[0,π/2];
对于各固定摄像装置,假设如下初始化其工作参数,包括俯仰角Cjt,视角范围(Cjw,Cjp)以及焦距fj:
Cjw,Cjy,Cjp∈[0,π/2];
根据如上进行初始化的摄像装置的工作参数,可以通过如下计算估计各固定摄像装置的实际监视范围Ri和各可移动摄像装置在当前空间布置下的实际监视范围Rj,i∈[1,m],j∈[1,n]:
Rix = Cix + Cih × tan ( Cit - Cip 2 ) × g ( fi ) ,
Riy = Ciy - Cih cos ( Cit - Cip 2 ) × tan ( Ciy 2 ) × g ( fi ) ,
Riw = 2 × Cih cos ( Cit - Cip 2 ) × tan ( Ciy 2 ) × g ( fi ) ,
Rih = Cih × ( tan ( Cit + Cip 2 ) - tan ( Cit - Cip 2 ) ) × g ( fi )
其中g(fi)为焦距f对监视区域的影响系数。
根据如上估算的监视范围,可以计算出各摄像装置的监视范围的并集:
S=(∪Ri,i∈[1,M])∪(∪Rj,j∈[1,N])。
调整各可移动摄像装置和各固定摄像装置的工作参数,直至满足S≥R。例如,可以通过建模为背包问题,使用优化算法来进行上述工作参数的确定。
需要指出,以上给出的仅仅是说明性示例,本领域技术人员能够根据所应用的具体摄像装置以及具体的监视区域确定协同装置的具体配置和操作方式,以通过调整各监视装置的工作参数,使其监视区域并集包含预定监视目标区域,以实现对监视目标区域的完整覆盖。
此外,如前面提到的,除了在系统初始化时进行上述协同处理之外,协同装置也在可移动摄像装置的空间布置(例如在布置控制装置的控制下)发生了变化的情况下,调整各摄像装置(可以包括可移动摄像装置或固定摄像装置)的工作参数,使得各监视装置的监视范围的并集包含监视目标区域。可以通过多种方式确定可移动摄像装置的空间布置发生了变化。例如,可以为可移动摄像装置设置位置确定装置,或者可以将可移动摄像装置设置为在空间布置发生了变化的情况下将空间位置变化信息报告给监视系统,等等。
通过上述实施例,使得能够在对特定目标对象进行重点监视的同时保证预定监视目标区域被完整地覆盖,从而避免在重点监视某个目标对象时遗漏监视区域内的其他目标对象。
如前面提到的,可移动摄像装置可以包括可穿戴设备例如智能眼镜。图3示出了作为根据本公开的实施例的监视系统中的可移动摄像装置的示例的智能眼镜的配置示例的框图。
如图3所示,智能眼镜300指令接收单元310和指令输出单元320。
指令接收单元310被配置为从布置控制装置接收空间布置控制指令。指令输出单元320被配置为将与所接收到的空间布置控制指令相对应的信息输出给智能眼镜300的佩戴者。与空间布置控制指令相对应的信息例如可以包括所要移动到的目标位置的坐标以及所要达到的视角,也可以包括根据当前位置和目标位置确定的移动方向和距离等。
需要指出,除了智能眼镜之外,该配置也适用于其他可由预定人员持有或佩戴的可移动摄像装置,例如智能手机、其他可穿戴电子设备等。
接下来,参照图4说明根据本公开另一实施例的监视系统的配置示例。
监视系统400包括摄像装置410、对象识别装置420、布置控制装置430以及存储装置440。
摄像装置410、对象识别装置420和布置控制装置430的配置分别与前面参照图1说明的摄像装置110、对象识别装置120和布置控制装置130类似。
存储装置440被配置为在对象识别装置420识别出目标对象的情况下存储摄像装置410所拍摄的相应图像。
存储装置440可以在对象识别装置420识别出目标对象的情况下存储摄像装置410所拍摄的静态图像,例如可以存储包含目标对象的图像中的代表图像。或者,存储装置440可以在对象识别装置420识别出目标对象的情况下存储摄像装置410所拍摄的动态图像(视频),例如包含目标对象的预定行为的时段的动态图像。
通过该实施例,在识别出特定对象的情况下存储相应图像,使得能够以较小的存储量实现对关键监视内容的存储。
在上文对本公开实施例的监视系统的描述过程中,显然还公开了一些处理或方法。下文中,在不重复上文中已经讨论过的某些细节的情况下给出这些方法的概述。
如图5所示,根据本公开的一个实施例,用于包括至少一个可移动摄像装置的监视系统的控制方法包括以下步骤:
在步骤S510,通过摄像装置获取初级图像。
在步骤S520,根据所获取的图像识别目标对象。
在识别出目标对象的情况下(S530中的Y),在步骤S540中控制可移动摄像装置的空间布置,使得可移动摄像装置与目标对象具有预定相对位置。
预定相对位置可以包括可移动摄像装置相对于目标对象的预定距离、预定视角或者预定的距离范围、视角范围等。可以根据具体应用来设置该预定相对位置,例如使得能够获得目标对象的特定视角或清晰度的图像等。
通过该实施例,能够通过对预定目标实施重点监视提高监视结果的针对性和准确度。
根据一个实施例,识别目标对象的步骤包括:将行为模式与预定行为模式匹配的对象识别为目标对象。相应地,根据一个实施例,在控制可移动摄像装置的空间布置的步骤中,控制可移动摄像装置的空间布置,使得可移动摄像装置在该预定相对位置下获取的图像中的目标对象与用于模式匹配的模型的相似度高于初级图像中的目标对象与该模型的相似度。
通过调整可移动摄像装置的空间布置,使得可移动摄像装置能够获得有利于更准确地进行模式匹配的目标对象的图像,从而提高对象识别准确度。
如图6所示,根据本公开另一个实施例,用于包括两个或更多个摄像装置并且其中有至少一个可移动摄像装置的监视系统的控制方法包括以下步骤:
在步骤S610,通过摄像装置获取初级图像。
在步骤S620,根据所获取的图像识别目标对象。
在识别出目标对象的情况下(S630中的Y),在步骤S640中控制可移动摄像装置的空间布置,使得可移动摄像装置与目标对象具有预定相对位置。
在系统初始化时(S605)或在可移动摄像装置的空间布置发生了变化的情况下(S650),确定该两个或更多个摄像装置的工作参数,使得该两个或更多个摄像装置的监视范围的并集包含预定监视目标区域。
通过该实施例,使得能够在对特定目标对象进行重点监视的同时保证预定监视目标区域被完整地覆盖,从而避免在重点监视某个目标对象时遗漏监视区域内的其他目标对象。
根据一个实施例,可移动摄像装置的工作参数可以包括位置、方位角、视角范围、或焦距等。此外,摄像装置也可以包括固定摄像装置,固定摄像装置的工作参数可以包括方位角、视角范围或焦距等。
如前所述,可移动摄像装置可以包括智能眼镜。相应地,根据一个实施例,控制可移动摄像装置的空间布置的步骤包括如图7所示的过程。
如图7所示,在步骤S710,向智能眼镜发送空间布置控制指令;在步骤S720,由智能眼镜将与该空间布置控制指令相对应的信息(例如,所要移动到的目标位置的坐标以及所要达到的视角,或者根据当前位置和目标位置确定的移动方向和距离等)输出给智能眼镜的佩戴者。
需要指出,除了智能眼镜之外,该过程也适用于其他可由预定人员持有或佩戴的可移动摄像装置,例如智能手机、其他可穿戴电子设备等。
如图8所示,在根据一个实施例的监视系统控制方法中,步骤S810-S840与参照图5说明的步骤S510-S540相似,而根据该实施例的监视系统控制方法还包括以下步骤:
在识别出目标对象的情况下(步骤S830中的Y),在步骤S850中,存储摄像装置所拍摄的相应图像。
通过该实施例,在识别出特定对象的情况下存储相应图像,使得能够以较小的存储量实现对关键监视内容的存储。
作为示例,上述方法的各个步骤以及上述装置的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。在通过软件或固件实现的情况下,可以从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成用于实施上述方法的软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
在图9中,运算处理单元(即CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM903中,也根据需要存储当CPU901执行各种处理等等时所需的数据。CPU901、ROM902和RAM903经由总线904彼此链路。输入/输出接口905也链路到总线904。
下述部件链路到输入/输出接口905:输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要,驱动器910也可链路到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上,使得从中读出的计算机程序根据需要被安装到存储部分908中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM902、存储部分908中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本发明的实施例还涉及一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在上述实施例和示例中,采用了数字组成的附图标记来表示各个步骤和/或单元。本领域的普通技术人员应理解,这些附图标记只是为了便于叙述和绘图,而并非表示其顺序或任何其他限定。
此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (19)

1.一种监视系统,包括:
摄像装置,其包括至少一个可移动摄像装置;
对象识别装置,被配置为根据所述摄像装置获取的初级图像识别目标对象;以及
布置控制装置,被配置为控制所述可移动摄像装置的空间布置,使得所述可移动摄像装置与所述目标对象具有预定相对位置。
2.根据权利要求1所述的监视系统,其中,所述摄像装置的数量为两个或更多个,并且所述监视系统还包括:
协同装置,被配置为在系统初始化时或在所述可移动摄像装置的空间布置发生了变化的情况下,确定所述两个或更多个摄像装置的工作参数,使得所述两个或更多个摄像装置的监视范围的并集包含预定监视目标区域。
3.根据权利要求1所述的监视系统,其中,所述对象识别装置被配置为:将行为模式与预定行为模式匹配的对象识别为所述目标对象。
4.根据权利要求3所述的监视系统,其中,所述可移动摄像装置在所述预定相对位置下获取的图像中的所述目标对象与用于模式匹配的模型的相似度高于所述初级图像中的所述目标对象与所述模型的相似度。
5.根据权利要求2所述的监视系统,其中,所述可移动摄像装置的所述工作参数包括:位置、方位角、视角范围、和/或焦距。
6.根据权利要求1所述的监视系统,其中,所述可移动摄像装置包括智能眼镜。
7.根据权利要求6所述的监视系统,其中,所述智能眼镜包括:
指令接收单元,被配置为从所述布置控制装置接收空间布置控制指令;以及
指令输出单元,被配置为将与所接收到的空间布置控制指令相对应的信息输出给所述智能眼镜的佩戴者。
8.根据权利要求1所述的监视系统,其中,所述可移动摄像装置与所述对象识别装置是集成的。
9.根据权利要求2所述的监视系统,其中,所述摄像装置还包括固定摄像装置,并且所述固定摄像装置的工作参数包括:方位角、视角范围和/或焦距。
10.根据权利要求1至9中任一项所述的监视系统,还包括存储装置,所述存储装置被配置为:在所述对象识别装置识别出所述目标对象的情况下,存储所述摄像装置所拍摄的相应图像。
11.一种监视系统的控制方法,包括以下步骤:
通过摄像装置获取初级图像,所述摄像装置包括至少一个可移动摄像装置;
根据所获取的初级图像识别目标对象;以及
在识别出所述目标对象的情况下,控制所述可移动摄像装置的空间布置,使得所述可移动摄像装置与所述目标对象具有预定相对位置。
12.根据权利要求11所述的方法,其中,所述摄像装置的数量为两个或更多个,并且所述方法还包括以下步骤:
在系统初始化时或在所述可移动摄像装置的空间布置发生了变化的情况下,确定所述两个或更多个摄像装置的工作参数,使得所述两个或更多个摄像装置的监视范围的并集包含预定监视目标区域。
13.根据权利要求11所述的方法,其中,识别所述目标对象的步骤包括:将行为模式与预定行为模式匹配的对象识别为所述目标对象。
14.根据权利要求13所述的方法,其中,所述可移动摄像装置在所述预定相对位置下获取的图像中的所述目标对象与用于模式匹配的模型的相似度高于所述初级图像中的所述目标对象与所述模型的相似度。
15.根据权利要求12所述的方法,其中,所述可移动摄像装置的所述工作参数包括:位置、方位角、视角范围、和/或焦距。
16.根据权利要求11所述的方法,其中,所述可移动摄像装置包括智能眼镜。
17.根据权利要求16所述的方法,其中,控制所述可移动摄像装置的空间布置的步骤包括:
向所述智能眼镜发送空间布置控制指令;以及
由所述智能眼镜将与所述空间布置控制指令相对应的信息输出给所述智能眼镜的佩戴者。
18.根据权利要求12所述的方法,其中,所述摄像装置还包括固定摄像装置,并且所述固定摄像装置的工作参数包括:方位角、视角范围和/或焦距。
19.根据权利要求11至18中任一项所述的方法,还包括步骤:在识别出所述目标对象的情况下,存储所述摄像装置所拍摄的相应图像。
CN201410197939.1A 2014-05-12 2014-05-12 监视系统以及用于监视系统的控制方法 Expired - Fee Related CN105100580B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410197939.1A CN105100580B (zh) 2014-05-12 2014-05-12 监视系统以及用于监视系统的控制方法
US14/705,053 US10659670B2 (en) 2014-05-12 2015-05-06 Monitoring system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410197939.1A CN105100580B (zh) 2014-05-12 2014-05-12 监视系统以及用于监视系统的控制方法

Publications (2)

Publication Number Publication Date
CN105100580A true CN105100580A (zh) 2015-11-25
CN105100580B CN105100580B (zh) 2020-10-02

Family

ID=54368955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410197939.1A Expired - Fee Related CN105100580B (zh) 2014-05-12 2014-05-12 监视系统以及用于监视系统的控制方法

Country Status (2)

Country Link
US (1) US10659670B2 (zh)
CN (1) CN105100580B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023516A (zh) * 2016-05-18 2016-10-12 广西瀚特信息产业股份有限公司 一种考试监控方法、系统及考场监控器
CN108184087A (zh) * 2016-12-08 2018-06-19 临沂大学 一种智能化计算机安全系统
CN111212272A (zh) * 2020-01-21 2020-05-29 浙江大华技术股份有限公司 灾情监测方法、装置、存储介质及电子装置
CN111984904A (zh) * 2020-07-15 2020-11-24 鹏城实验室 一种分布式协同监视方法、监视平台及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295610A (zh) * 2016-08-22 2017-01-04 歌尔股份有限公司 搭载于无人机云台上的智能设备的拍照方法和系统
US10963493B1 (en) * 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
US10810371B2 (en) 2017-04-06 2020-10-20 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US11151992B2 (en) 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10839017B2 (en) 2017-04-06 2020-11-17 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure
CN107505950A (zh) * 2017-08-26 2017-12-22 上海瞬动科技有限公司合肥分公司 一种无人机全自动智能拍摄集体照方法
CN107544547A (zh) * 2017-10-14 2018-01-05 上海瞬动科技有限公司合肥分公司 一种无人机全自动单人照拍摄方法
CN109743552A (zh) * 2019-01-17 2019-05-10 宇龙计算机通信科技(深圳)有限公司 一种对象监控方法、装置、服务器及存储介质
CN111167052B (zh) * 2020-03-18 2021-02-26 沈阳天目科技有限公司 基于摄像机定位的自动消防炮目标经纬度计算方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460187A (zh) * 2001-03-28 2003-12-03 皇家菲利浦电子有限公司 用于在自动视频跟踪系统中选择目标的方法
US6909458B1 (en) * 1999-09-27 2005-06-21 Canon Kabushiki Kaisha Camera control system and method, and storage medium for selectively controlling one or more cameras
US20060066723A1 (en) * 2004-09-14 2006-03-30 Canon Kabushiki Kaisha Mobile tracking system, camera and photographing method
CN101072332A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种自动跟踪活动目标进行拍摄的方法
US20080292144A1 (en) * 2005-01-08 2008-11-27 Dae Hoon Kim Iris Identification System and Method Using Mobile Device with Stereo Camera
CN101420530A (zh) * 2008-11-26 2009-04-29 上海大学 运动平台上双摄像机监控系统减小盲区的方法
CN101437155A (zh) * 2007-11-12 2009-05-20 詹雨明 全方位环境视频监控系统
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN102300043A (zh) * 2010-06-23 2011-12-28 中兴通讯股份有限公司 调整远程呈现会议系统的会场摄像头的方法及会议终端
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102547237A (zh) * 2011-12-23 2012-07-04 厦门市鼎朔信息技术有限公司 一种基于多个图像采集装置实现动态监视的系统
CN102754434A (zh) * 2009-12-16 2012-10-24 思科系统国际公司 在视频会议端点中进行自动摄像头控制的方法和装置
US20130044129A1 (en) * 2011-08-19 2013-02-21 Stephen G. Latta Location based skins for mixed reality displays
CN103391424A (zh) * 2012-05-08 2013-11-13 安讯士有限公司 分析监控摄像机捕获的图像中的对象的方法和对象分析器
US20140028704A1 (en) * 2012-07-30 2014-01-30 Lenovo (Beijing) Co., Ltd. Display Device
CN104519322A (zh) * 2014-12-24 2015-04-15 安徽科鸣三维科技有限公司 一种机器视觉目标跟踪系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909458B1 (en) * 1999-09-27 2005-06-21 Canon Kabushiki Kaisha Camera control system and method, and storage medium for selectively controlling one or more cameras
CN1460187A (zh) * 2001-03-28 2003-12-03 皇家菲利浦电子有限公司 用于在自动视频跟踪系统中选择目标的方法
US20060066723A1 (en) * 2004-09-14 2006-03-30 Canon Kabushiki Kaisha Mobile tracking system, camera and photographing method
US20080292144A1 (en) * 2005-01-08 2008-11-27 Dae Hoon Kim Iris Identification System and Method Using Mobile Device with Stereo Camera
CN101072332A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种自动跟踪活动目标进行拍摄的方法
CN101437155A (zh) * 2007-11-12 2009-05-20 詹雨明 全方位环境视频监控系统
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
CN101420530A (zh) * 2008-11-26 2009-04-29 上海大学 运动平台上双摄像机监控系统减小盲区的方法
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN102754434A (zh) * 2009-12-16 2012-10-24 思科系统国际公司 在视频会议端点中进行自动摄像头控制的方法和装置
CN102300043A (zh) * 2010-06-23 2011-12-28 中兴通讯股份有限公司 调整远程呈现会议系统的会场摄像头的方法及会议终端
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
US20130044129A1 (en) * 2011-08-19 2013-02-21 Stephen G. Latta Location based skins for mixed reality displays
CN102547237A (zh) * 2011-12-23 2012-07-04 厦门市鼎朔信息技术有限公司 一种基于多个图像采集装置实现动态监视的系统
CN103391424A (zh) * 2012-05-08 2013-11-13 安讯士有限公司 分析监控摄像机捕获的图像中的对象的方法和对象分析器
US20140028704A1 (en) * 2012-07-30 2014-01-30 Lenovo (Beijing) Co., Ltd. Display Device
CN104519322A (zh) * 2014-12-24 2015-04-15 安徽科鸣三维科技有限公司 一种机器视觉目标跟踪系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023516A (zh) * 2016-05-18 2016-10-12 广西瀚特信息产业股份有限公司 一种考试监控方法、系统及考场监控器
CN108184087A (zh) * 2016-12-08 2018-06-19 临沂大学 一种智能化计算机安全系统
CN108184087B (zh) * 2016-12-08 2020-06-23 临沂大学 一种智能化计算机安全系统
CN111212272A (zh) * 2020-01-21 2020-05-29 浙江大华技术股份有限公司 灾情监测方法、装置、存储介质及电子装置
CN111212272B (zh) * 2020-01-21 2022-04-19 浙江大华技术股份有限公司 灾情监测方法、装置、存储介质及电子装置
CN111984904A (zh) * 2020-07-15 2020-11-24 鹏城实验室 一种分布式协同监视方法、监视平台及存储介质

Also Published As

Publication number Publication date
CN105100580B (zh) 2020-10-02
US20150326832A1 (en) 2015-11-12
US10659670B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
CN105100580A (zh) 监视系统以及用于监视系统的控制方法
JP7244655B2 (ja) 注視エリア検出方法、装置、及び電子デバイス
Mueggler et al. The event-camera dataset and simulator: Event-based data for pose estimation, visual odometry, and SLAM
CN105931263B (zh) 一种目标跟踪方法及电子设备
Bodor et al. Optimal camera placement for automated surveillance tasks
Pfeiffer Measuring and visualizing attention in space with 3D attention volumes
EP2614413B1 (en) Method and apparatus for object tracking and recognition
US20200193638A1 (en) Hand tracking based on articulated distance field
CN103608741A (zh) 由移动机器人来追踪及跟随运动对象
CN106197452A (zh) 一种视觉图像处理设备及系统
CN108594999A (zh) 用于全景图像展示系统的控制方法和装置
US10816341B2 (en) Backchannel encoding for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
Chen et al. Reproducible evaluation of pan-tilt-zoom tracking
Hausamann et al. Evaluation of the Intel RealSense T265 for tracking natural human head motion
CN108629799A (zh) 一种实现增强现实的方法及设备
CN110730934A (zh) 轨迹切换的方法和装置
Cortes et al. Increasing optical tracking workspace of VR applications using controlled cameras
CN109445598B (zh) 一种基于视觉的增强现实系统装置
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
KR20180031013A (ko) 모니터링
Chaudhuri et al. Adversarial surround localization and robust obstacle detection with point cloud mapping
Oishi et al. 4d attention: Comprehensive framework for spatio-temporal gaze mapping
WO2023180838A1 (en) Method of 3d reconstruction of dynamic objects by mobile cameras
Wang et al. Towards rich, portable, and large-scale pedestrian data collection
Felea et al. Head pose estimation using deep architectures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201002