CN104519318B - 图像监控系统和监视摄像机 - Google Patents
图像监控系统和监视摄像机 Download PDFInfo
- Publication number
- CN104519318B CN104519318B CN201410508503.XA CN201410508503A CN104519318B CN 104519318 B CN104519318 B CN 104519318B CN 201410508503 A CN201410508503 A CN 201410508503A CN 104519318 B CN104519318 B CN 104519318B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- sound source
- image
- abnormal image
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 346
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000010191 image analysis Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004880 explosion Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 206010039740 Screaming Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本发明提供一种图像监控系统和监视摄像机。所述图像监控系统包括所述监视摄像机。所述监视摄像机包括：图像分析器，被配置为分析输入图像；声源分析器，被配置为分析所述图像中的声源或者单独输入的声源；确定器，被配置为根据图像分析和声源分析的结果，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源；元数据产生器，被配置为基于确定的结果产生元数据；报警信息产生器，被配置为基于确定的结果和产生的元数据来产生报警信息，其中，异常图像和异常声源被预先定义。
Description
本申请要求2013年9月27日提交于韩国知识产权局的第10-2013-0115708号韩国专利申请的优先权，其公开内容整体以引用方式并入本文。
技术领域
与本发明构思的示例性实施例一致的设备和方法涉及一种分析图像和/或声源以产生、存储并显示关于异常情况的元数据的图像监控系统、包括在该图像监控系统中的监视摄像机以及操作该监视摄像机的方法。
背景技术
图像监控系统通常包括监视摄像机和诸如网络视频记录仪(NVR)或数字视频记录仪(DVR)的图像记录设备，并且通过利用图像分析功能分析经由监视摄像机获取的图像，以根据预定义的规则确定监视场景是否异常。
当在图像监控系统中同时操作的监视摄像机的数量增加时，用户难以实时地检查所有监视场景是否异常。另外，可通过图像分析确定移动对象，但难以检测异常情况。另外，即使通过图像分析检测到异常情况，检测结果也可能是错的。
发明内容
本发明构思的一个或更多个实施例包括一种分析图像和/或声源以产生、存储并显示关于异常情况的元数据以提交监控效率的图像监控系统、包括在该图像监控系统中的监视摄像机以及操作该监视摄像机的方法。
示例性实施例的各种方面将在以下描述中部分地阐述，并且从描述中部分是清楚的，或者可通过实施例的实施被理解。
根据示例性实施例的一个方面，提供一种监视摄像机，可包括：图像分析器，被配置为分析输入图像；声源分析器，被配置为分析所述图像中的声源或者单独输入的声源；确定器，被配置为根据图像分析和声源分析的结果，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源；元数据产生器，被配置为基于确定的结果产生元数据；报警信息产生器，被配置为基于确定的结果和产生的元数据来产生报警信息，其中，异常图像和异常声源被预先定义。
关于确定器，如果确定同时获得异常图像和异常声源，则确定器可进一步确定异常声源是从异常图像输入还是从异常图像之外输入。
如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像之外获得，则元数据产生器可产生关于异常图像和异常声源中的每一个的元数据。
如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像获得，则确定器可进一步确定异常图像和异常声源是否指示同一事件。
元数据产生器可被配置为参考确定器的确定结果产生包括以下项的元数据：异常图像和异常声源分别被获得的时间、异常图像的类型和异常声源的类型、由异常图像和异常声源指示的事件的数量、异常声源是从异常图像获得还是从异常图像之外获得、以及异常图像和异常声源是否指示同一事件的元数据。报警信息产生器可被配置为参考确定器的确定结果和元数据产生关于异常图像和异常声源的报警信息。
异常声源的类型和异常图像的类型各自可包括多个候选以及关于候选的准确度信息，确定器可参考与异常图像的类型和异常声源的类型对应的所述多个候选以及所述准确度信息确定异常图像和异常声源是否指示同一事件。
如果确定器确定异常图像的类型对应于预设事件的概率和异常声源的类型对应于所述预设事件的概率之和超过预设阈值，则确定器可进一步确定异常图像和异常声源指示所述预设事件。
如果确定器确定同时获得异常图像和异常声源，则确定器可进一步确定异常声源是从异常图像获得还是从异常图像之外获得。
如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像之外获得，则元数据产生器可产生关于异常图像和异常声源中的每一个的元数据。
如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像获得，则确定器可进一步确定异常图像和异常声源是否指示同一事件，如果确定器确定异常图像和异常声源指示同一事件，则元数据产生器可从元数据减少异常图像和异常声源所指示的事件的数量。
如果确定器确定同时获得异常图像和异常声源，异常声源从异常图像获得，并且异常声源和异常图像指示不同的事件，则元数据产生器可产生关于异常图像和异常声源中的每一个的元数据。
根据另一示例性实施例的一个方面，提供一种监控系统，包括：上述监视摄像机；图像记录设备，被配置为从所述摄像机接收图像、元数据和报警信息，存储图像、元数据和报警信息，并执行用于显示报警信息的处理；显示设备，被配置为显示图像、元数据和报警信息。
根据另一示例性实施例的一个方面，提供一种控制监视摄像机的方法，所述方法包括：分析输入图像；分析所述图像中的声源或者单独输入的声源；根据图像分析和声源分析的结果，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源；基于确定的结果产生元数据；基于确定的结果和产生的元数据来产生报警信息，其中，异常图像和异常声源被预先定义。
确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源的步骤还可包括确定异常声源是从异常图像获得还是从异常图像之外获得。
确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源的步骤还可包括确定异常图像和异常声源是否指示同一事件。.
元数据包括关于异常图像和异常声源分别被获得的时间、异常图像的类型和异常声源的类型、由异常图像和异常声源指示的事件的数量、异常声源是从异常图像获得还是从异常图像之外获得、以及异常图像和异常声源是否指示同一事件的信息。
附图说明
从结合附图对示例性实施例进行的以下描述，这些和/或其它方面将变得明显并更容易理解，其中：
图1是示出根据示例性实施例的图像监控系统的框图；
图2是示出根据示例性实施例的图1的图像监控系统的监视摄像机的详细结构的框图；
图3A和图3B是示出根据示例性实施例的由图1的图像监控系统的监视摄像机产生的元数据的示图；
图4是根据示例性实施例的操作图像监控系统的方法的流程图。
具体实施方式
现在将参照附图详细描述示例性实施例，在附图中相同的标号始终表示相同的元件。在这方面，本发明实施例可具有不同的形式，不应被解释为限于本文所阐述的描述。因此，下面仅为了说明本发明构思的各个方面而参照附图描述这些实施例。如本文所用，术语“和/或”包括一个或更多个相关所列项的任何和所有组合。当诸如“…中的至少一个”的表述在一列元素之前时，是修饰所有列出的元素，而不是修饰列出的各个元素。
图1是示出根据示例性实施例的图像监控系统的框图。
参照图1，图像监控系统包括监视摄像机100、麦克风200、图像记录设备300和显示设备400。
监视摄像机100可以是包括固定镜头并具有固定捕捉范围的单个固定摄像机或者具有可变捕捉范围的云台变焦(pan-tilt-zoom，PTZ)摄像机。如果监视摄像机100是PTZ摄像机，则可通过水平方向上的摇摄运动、垂直方向上的俯仰运动以及镜头拉近和/或镜头拉远运动来容易地改变监视区域。与单个固定摄像机相比，PTZ摄像机可具有均匀的分辨率，并且可水平和垂直地旋转，从而全方位地获取图像。监视摄像机100连接到图像记录设备300(可以是DVR)。如果监视摄像机100是网络摄像机，则监视摄像机100可通过网络连接到图像记录设备300。在这种情况下，图像记录设备300可以是NVR。
在本示例性实施例中，尽管在图1的图像监控系统中仅示出一个监视摄像机100，但图像监控系统可包括更多的监视摄像机100，这些监视摄像机100从输入图像分析一个或多个图像和/或声源以确定是否存在异常图像、是否存在异常声源或者是否存在异常图像和声源，以便产生元数据和报警信息。声源可包括在监视摄像机100所捕捉的图像中或者从监视摄像机100所捕捉的图像获得，或者可通过麦克风200被直接输入到监视摄像机100。将参照图2详细描述监视摄像机100。
图像记录设备300从监视摄像机100接收图像、元数据和报警信息，存储图像、元数据和报警信息，并执行报警信息的显示处理。报警信息的显示处理是指对显示在显示设备400上的图像或元数据执行的诸如闪烁或高亮的处理。如上所述，根据监视摄像机100的类型，图像记录设备300可以是DVR或NVR。
显示设备400显示从图像记录设备300输出的图像、元数据和处理的报警信息。显示设备400可根据监视摄像机100的数量划分屏幕，并通过图像记录设备300显示由每个监视摄像机100分别捕捉的图像。
图2是示出图1的监视摄像机100的详细结构的框图。参照图2，监视摄像机100包括图像传感器110、图像分析器120、声源分析器130、确定器140、元数据产生器150、报警信息产生器160、驱动控制器170和跟踪控制器180。
图像传感器110将从对象反射并穿过监视摄像机100的镜头(未示出)的光信号转换为电信号(图像信号)，并输出该电信号。图像传感器110还可以是互补金属氧化物半导体(CMOS)模块或电荷耦合器件(CCD)模块。
可对从图像传感器110输出的图像执行图像处理。图像处理可由图像分析器120或另一模块来执行。在本示例性实施例中，为了描述方便，图像处理将被描述为由图像分析器120执行。
图像分析器120对从图像传感器120输出的图像信号进行降噪，并且可执行用于改善图像质量的图像信号处理(例如，伽马校正、滤色器阵列插值、颜色矩阵、色彩校正、色彩增强等)。图像分析器120还可在功能上对从图像传感器110输出的图像信号执行颜色处理、模糊处理、边缘增强处理、图像分析处理、图像识别处理、图像效果处理等。图像分析器120可通过图像识别处理执行脸部识别、场景识别等。例如，图像分析器120可执行亮度级调整、颜色校正、对比度调整、轮廓加强(contour emphasis)调整、屏幕划分处理、人物图像产生、图像合成处理等。
另外，图像分析器120对从图像传感器110输出的图像信号执行图像分析，如果分析结果满足预设事件产生条件，则产生事件。根据示例性实施例，图像分析是指跟踪以检测屏幕中的对象的消失或出现、与用户所输入的特定图像相似的对象的图像跟踪、感测对象的运动、画面黑屏等，并且如果图像分析结果满足预设产生条件，则检测异常图像以产生事件。
声源分析器130分析声源，其中，所述声源包括在监视摄像机100所输出的图像信号中或者从监视摄像机100所输出的图像信号获得，或者通过麦克风200被直接输入，并且如果分析结果满足事件产生条件，则产生事件。在这种情况下，声源分析对具有大于或等于用户所指定的阈值的大小的声源或者由用户指定产生事件的声源进行分析。另外，数据库(DB)中可包括若干类型的异常声源，可将分析的声源与存储在DB中的声源进行比较，如果分析的声源对应于存储的声源，则可产生事件。
图像分析中所使用的事件产生条件对应于出现对象、产生用户所指定的图像(例如，出现无法识别的脸)、屏幕颜色改变、设置区域发生运动等，并且可被预设。声源分析中所使用的事件产生条件对应于产生异常声音(汽车轮胎的摩擦声(打滑)、玻璃破损声、警报声、碰撞声等)、产生用户所指定的声音(例如，男人的尖叫声、女人的尖叫声、婴儿的哭声等)、产生振幅高于或等于阈值的声音等，并且可被预设。
确定器140可根据图像分析结果和/或声源分析结果确定是否存在异常图像、是否存在异常声源、或者是否同时存在异常图像和异常声源。这里，异常图像和异常声源可被预先定义。具体地讲，如果确定同时存在异常图像和异常声源，则确定器140确定异常声源是从异常图像获得还是从异常图像的之外获得。另外，如果异常声源是从异常图像获得的，则确定器140确定异常图像和异常声源是否指示同一事件。确定器140如上所述执行多次确定，因为产生的元数据的结果根据确定器140的确定结果而变化。
元数据产生器150参考确定器140的确定结果产生关于异常图像的元数据、关于异常声源的元数据以及关于异常图像和异常声源的元数据。元数据是指提供关于原始数据(图像、声源或者图像和声源)的信息的数据并描述另一数据。在本示例性实施例中，元数据产生器150参考确定器140的确定结果产生元数据，其中，元数据包括产生异常图像和/或异常声源的次数、异常图像和/或异常声源的分析结果和类型、由异常图像和/或异常声源指示的产生的事件的数量、异常声源是否从异常图像获得、以及异常图像和异常声源是否指示同一事件。
图3A和图3B是示出根据示例性实施例的由元数据产生器150产生的元数据的示图。
参照图3A，元数据被分成这些项：产生时间、异常声源类型、异常图像类型、交叉检查、事件产生的次数和多重检测。多重检测项指示对于异常声源是否从异常图像获得的确定结果。具体地讲，多重检测项指示对于识别异常声源产生的位置并且识别的位置是否从异常图像获得的确定结果。交叉检查项指示对于异常图像和异常声源是否指示同一事件的确定结果。换言之，交叉检查项指示对于异常图像和异常声源是不是相同类型的事件的确定结果。
图3B示出根据示例性实施例的图2的确定器140参考异常图像和异常声源执行交叉检查的处理。参照图3B，异常声源的类型和异常图像的类型没有被确定为一种类型，可各自包括多个候选，并且还包括各个候选的准确度。例如，图3B所示的第一元数据指示异常声源对应于碰撞的概率为55％，异常声源对应于爆炸的概率为40％，异常声源对应于男人的尖叫的概率为10％。另外，图3B所示的第一元数据指示异常图像对应于爆炸的概率为95％，异常图像对应于碰撞的概率为5％。从这些分析结果获得的交叉检查结果可指示爆炸。
如果异常声源的类型和异常图像的类型被示出为各种候选，并且候选包括准确度，则可参考异常声源和异常图像的类型的候选以及候选的准确度来执行交叉检查。例如，参考图3B所示的第一元数据，异常声源为碰撞的概率和异常图像为爆炸的概率最高，因此，异常声源和异常图像的类型彼此不对应。然而，如果异常声源为爆炸的概率(40％)与异常图像为爆炸的概率(95％)之和超过预设阈值(例如，130％)，则交叉检查的结果可被确定为爆炸。例如，参考图3B所示的第二元数据，如果异常声源为男人的尖叫的概率(70％)、异常声源为女人的尖叫的概率(30％)和异常图像为暴力事件的概率(80％)之和超过预设阈值，则交叉检查的结果可被确定为暴力事件。在这种情况下，男人的尖叫和女人的尖叫可被视为相同类型的事件，以便对准确度求和，获取最大值，或者获取平均值以便使用准确度的值。
利用候选的准确度执行交叉检查的详细方法不限于上述方法，可使用其它各种方法。
如果确定器140确定异常声源是从异常图像获得的，并且异常图像和异常声源指示同一事件，则元数据产生器150从产生的元数据减去产生的事件的数量。参照图3A的标号310，由于各种类型的异常声源和异常图像指示同一事件，所以从元数据减去产生的事件的数量。即，事件数从二变为一。参照图3A的标号320，由于各种类型的异常声源和异常图像指示不同的事件，所以维持产生的事件的数量。
然而，如果确定器140确定异常图像和异常声源被不同地获得，异常声源是从异常图像之外获得的，异常声源和异常图像指示不同的事件，则元数据产生器150产生关于异常图像和异常声源中的每一个的元数据。
报警信息产生器160参考确定器140的确定结果和产生的元数据，产生关于异常图像和/或异常声源的报警信息。报警信息产生器160可产生关于存在较大量的事件的异常图像和/或异常声源的报警信息或者关于特定异常图像(例如，碰撞等)或特定异常声源(例如，女人的尖叫等)的报警信息。
驱动控制器170控制监视摄像机100的驱动。例如，驱动控制器170控制监视摄像机100的摇摄、俯仰和变焦操作等。如果监视摄像机为固定摄像机，则可省略驱动控制器170。
跟踪控制器180参考确定器140的确定结果将跟踪控制信号输出给驱动控制器170。根据跟踪控制器180的跟踪控制信号驱动监视摄像机100以跟踪目标。例如，如果监视摄像机100是变焦摄像机，并且根据确定器140的多重检测确定结果，异常声源存在于异常图像之外，则跟踪控制器180可向驱动控制器170输出控制信号以使监视摄像机100能够将镜头拉远然后捕捉更宽的区域。
根据另一示例性实施例，如果监视摄像机100是PTZ摄像机，并且根据确定器140的多重检测确定结果，异常声源存在于异常图像之外，则跟踪控制器180可向驱动控制器170输出控制信号以跟踪产生异常声源的位置。如果同时产生多个异常声源，则可参考各个异常声源的元数据根据优先级来执行跟踪。例如，如果多个事件同时发生，则可根据事件的类型和优先级来执行跟踪。
作为跟踪结果，图像和数据可显示在显示设备400上或者可存储在附加存储装置中。如果监视摄像机100是固定摄像机，则可不执行跟踪和驱动控制。
由监视摄像机100产生的图像、元数据和报警信息通过图像记录设备300显示在显示设备400上。在这种情况下，图像记录设备300执行用于显示报警信息的处理。
如上所述，可通过图像和/或声源分析产生、存储并显示关于异常情况的元数据，以提高监控效率。可检查在监视摄像机100的盲区中发生的异常情况，并且根据元数据的产生，异常情况的后续搜查可变得容易。另外，当产生元数据时，可确定异常声源是否从异常图像获得以及异常图像和异常声源是否指示同一事件以降低重复报警或错误报警。
图4是根据示例性实施例的操作图像监控系统的方法的流程图。在以下描述中，省略与图1至图3的描述重复的部分的描述。
参照图4，在操作S410中，监视摄像机100根据对输入图像和/或通过麦克风200输入的声源的分析，确定是否存在异常图像、是否存在异常声源、或者是否同时存在异常图像和异常声源。
如果在操作S420中确定异常图像和异常声源不同时存在，则监视摄像机100在操作S430中产生异常图像和异常声源中的每一个的元数据。
然而，如果在操作S420中确定异常图像和异常声源同时存在，则监视摄像机100在操作S440中确定异常声源是否存在于异常图像中。
如果在操作S440中确定异常声源存在于异常图像之外，则监视摄像机100在操作S430中产生关于异常图像和异常声源中的每一个的元数据。
然而，如果在操作S440中确定异常声源存在于异常图像中，则监视摄像机100在操作S450中确定异常图像和异常声源是否在同一事件中产生。
如果在操作S450中确定异常图像和异常声源在不同的事件中产生，则监视摄像机100在操作S430中产生关于异常图像和异常声源中的每一个的元数据。
如果在操作S450中确定异常图像和异常声源在同一事件中产生，则在操作S460中监视摄像机100在产生元数据时减去产生的事件的数量。
如果元数据被完全产生，则在操作S470中监视摄像机100参考确定结果和元数据产生报警信息。
在操作S480中，图像记录设备300从监视摄像机100接收图像、元数据和报警信息，存储图像、元数据和报警信息，执行用于显示报警信息的处理，并将报警信息显示在显示设备400上。
如上所述，根据上述实施例中的一个或更多个实施例，可通过图像和/或声源的分析产生、存储并显示关于异常情况的元数据，以提高监控效率。另外，可检查在摄像机的盲区中发生的异常情况，并且根据元数据的产生，异常情况的后续搜查可变得容易。另外，可确定异常声源是否存在于异常图像中以及异常图像和异常声源是否在同一事件中产生，以降低重复报警或错误报警。
应该理解，本文所述的示例性实施例应该被认为仅是描述性意义，而不是为了限制的目的。每个实施例内的特征或方面的描述通常应该被认为可用于其它实施例中的其它相似特征或方面。
尽管参照附图描述了一个或更多个实施例，本领域普通技术人员将理解，在不脱离由以下权利要求限定的精神和范围的情况下，可进行形式和细节上的各种改变。
Claims (17)
1.一种监视摄像机，包括：
图像分析器，被配置为分析输入图像；
声源分析器，被配置为分析所述图像中的声源或者单独输入的声源；
确定器，被配置为根据图像分析和声源分析的结果，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源；
元数据产生器，被配置为基于确定的结果产生元数据；
报警信息产生器，被配置为基于确定的结果和产生的元数据来产生报警信息，
其中，异常图像和异常声源被预先定义，
其中，元数据包括异常图像的类型和异常声源的类型，
其中，异常图像的类型和异常声源的类型各自包括多个候选事件以及所述多个候选事件中的每个的概率，
其中，当异常图像是第一候选事件的概率与异常声源是第一候选事件的概率之和超过阈值时，确定器确定异常图像和异常声源指示第一候选事件。
2.根据权利要求1所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源，则确定器进一步确定异常声源是从异常图像输入还是从异常图像之外输入。
3.根据权利要求2所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像之外获得，则元数据产生器产生关于异常图像和异常声源中的每一个的元数据。
4.根据权利要求2所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像获得，则确定器进一步确定异常图像和异常声源是否指示同一事件。
5.根据权利要求1所述的监视摄像机，其中，
参考确定器的确定结果，元数据还包括：异常图像和异常声源分别被获得的时间、由异常图像和异常声源指示的事件的数量、异常声源是从异常图像获得还是从异常图像之外获得、以及异常图像和异常声源是否指示同一事件；
报警信息产生器参考确定器的确定结果和所述元数据，产生关于异常图像和异常声源的报警信息。
6.根据权利要求5所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源，则确定器进一步确定异常声源是从异常图像获得还是从异常图像之外获得。
7.根据权利要求6所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像之外获得，则元数据产生器产生关于异常图像和异常声源中的每一个的元数据。
8.根据权利要求6所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像获得，则确定器进一步确定异常图像和异常声源是否指示同一事件，如果确定器确定异常图像和异常声源指示同一事件，则元数据产生器从元数据减少由异常图像和异常声源指示的事件的数量。
9.根据权利要求8所述的监视摄像机，其中，如果确定器确定同时获得异常图像和异常声源，异常声源从异常图像获得，并且异常声源和异常图像指示不同的事件，则元数据产生器产生关于异常图像和异常声源中的每一个的元数据。
10.一种监控系统，包括：
根据权利要求1所述的监视摄像机；
图像记录设备，被配置为从所述摄像机接收图像、元数据和报警信息，存储图像、元数据和报警信息，并执行用于显示报警信息的处理；
显示设备，被配置为显示图像、元数据和报警信息。
11.根据权利要求10所述的监控系统，其中，如果确定器确定同时获得异常图像和异常声源，则确定器进一步确定异常声源是从异常图像输入还是从异常图像之外输入。
12.根据权利要求11所述的监控系统，
其中，如果确定器确定同时获得异常图像和异常声源并且异常声源是从异常图像之外获得，则元数据产生器产生关于异常图像和异常声源中的每一个的元数据。
13.根据权利要求11所述的监控系统，其中，如果确定器确定同时获得异常图像和异常声源并且异常声源从异常图像获得，则确定器进一步确定异常图像和异常声源是否指示同一事件。
14.一种控制监视摄像机的方法，所述方法包括：
分析输入图像；
分析所述图像中的声源或者单独输入的声源；
根据图像分析和声源分析的结果，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源；
基于确定的结果，产生元数据；
基于确定的结果和产生的元数据来产生报警信息，
其中，异常图像和异常声源被预先定义，
其中，元数据包括异常图像的类型和异常声源的类型，
其中，异常图像的类型和异常声源的类型各自包括多个候选事件以及所述多个候选事件中的每个的概率，
其中，确定的步骤包括：当异常图像是第一候选事件的概率与异常声源是第一候选事件的概率之和超过阈值时，异常图像和异常声源指示第一候选事件。
15.根据权利要求14所述的方法，其中，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源的步骤还包括确定异常声源是从异常图像获得还是从异常图像之外获得。
16.根据权利要求15所述的方法，其中，确定是否存在异常图像、是否存在异常声源、或者是否同时获得异常图像和异常声源的步骤还包括确定异常图像和异常声源是否指示同一事件。
17.根据权利要求14所述的方法，其中，元数据还包括异常图像和异常声源分别被获得的时间、由异常图像和异常声源指示的事件的数量、异常声源是从异常图像获得还是从异常图像之外获得、以及异常图像和异常声源是否指示同一事件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130115708A KR102066939B1 (ko) | 2013-09-27 | 2013-09-27 | 영상 감시 시스템 |
| KR10-2013-0115708 | 2013-09-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104519318A CN104519318A (zh) | 2015-04-15 |
| CN104519318B true CN104519318B (zh) | 2019-03-29 |
Family
ID=52739776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410508503.XA Active CN104519318B (zh) | 2013-09-27 | 2014-09-28 | 图像监控系统和监视摄像机 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10204275B2 (zh) |
| KR (1) | KR102066939B1 (zh) |
| CN (1) | CN104519318B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104700536B (zh) * | 2015-04-07 | 2017-05-31 | 泉州东行贸易有限公司 | 一种户外重要设施安全防护装置 |
| KR20170006210A (ko) * | 2015-07-07 | 2017-01-17 | 한화테크윈 주식회사 | 감시 방법 |
| KR102361088B1 (ko) * | 2015-11-27 | 2022-02-09 | 한화테크윈 주식회사 | 영상 공유 방법 |
| JP6622581B2 (ja) * | 2015-12-11 | 2019-12-18 | キヤノン株式会社 | 情報提示方法及び装置 |
| US10764539B2 (en) | 2016-03-22 | 2020-09-01 | Sensormatic Electronics, LLC | System and method for using mobile device of zone and correlated motion detection |
| US10192414B2 (en) | 2016-03-22 | 2019-01-29 | Sensormatic Electronics, LLC | System and method for overlap detection in surveillance camera network |
| US10318836B2 (en) | 2016-03-22 | 2019-06-11 | Sensormatic Electronics, LLC | System and method for designating surveillance camera regions of interest |
| US9965680B2 (en) * | 2016-03-22 | 2018-05-08 | Sensormatic Electronics, LLC | Method and system for conveying data from monitored scene via surveillance cameras |
| US10475315B2 (en) | 2016-03-22 | 2019-11-12 | Sensormatic Electronics, LLC | System and method for configuring surveillance cameras using mobile computing devices |
| US11216847B2 (en) | 2016-03-22 | 2022-01-04 | Sensormatic Electronics, LLC | System and method for retail customer tracking in surveillance camera network |
| US10665071B2 (en) | 2016-03-22 | 2020-05-26 | Sensormatic Electronics, LLC | System and method for deadzone detection in surveillance camera network |
| US10733231B2 (en) | 2016-03-22 | 2020-08-04 | Sensormatic Electronics, LLC | Method and system for modeling image of interest to users |
| US10347102B2 (en) | 2016-03-22 | 2019-07-09 | Sensormatic Electronics, LLC | Method and system for surveillance camera arbitration of uplink consumption |
| US11601583B2 (en) | 2016-03-22 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | System and method for controlling surveillance cameras |
| CN107347145A (zh) * | 2016-05-06 | 2017-11-14 | 杭州萤石网络有限公司 | 一种视频监控方法及云台网络摄像机 |
| EP3554094B1 (en) * | 2016-12-12 | 2022-07-20 | Optim Corporation | Remote control system, remote control method, and program |
| KR20180086662A (ko) * | 2017-01-23 | 2018-08-01 | 한화에어로스페이스 주식회사 | 모니터링 장치 및 시스템 |
| CN107040742B (zh) * | 2017-03-10 | 2019-10-18 | 浙江宇视科技有限公司 | 一种异常检测方法及网络硬盘录像机nvr及视频服务器 |
| WO2018181837A1 (en) * | 2017-03-31 | 2018-10-04 | Yokogawa Electric Corporation | Methods and systems for image based anomaly detection |
| WO2019076076A1 (zh) * | 2017-10-20 | 2019-04-25 | 杭州海康威视数字技术股份有限公司 | 模拟摄像机、服务器、监控系统和数据传输、处理方法 |
| CN109698895A (zh) * | 2017-10-20 | 2019-04-30 | 杭州海康威视数字技术股份有限公司 | 一种模拟摄像机、监控系统及数据发送方法 |
| WO2019104681A1 (zh) | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 拍摄方法和装置 |
| CN110062198B (zh) * | 2018-01-18 | 2022-04-05 | 杭州海康威视数字技术股份有限公司 | 一种监控取证方法、装置、系统、电子设备及存储介质 |
| CN109300471B (zh) * | 2018-10-23 | 2021-09-14 | 中冶东方工程技术有限公司 | 融合声音采集识别的场区智能视频监控方法、装置及系统 |
| CN109559477A (zh) * | 2018-12-24 | 2019-04-02 | 绿瘦健康产业集团有限公司 | 无人健身房室内智能监管方法、装置、终端设备及介质 |
| WO2023238721A1 (ja) * | 2022-06-08 | 2023-12-14 | 富士フイルム株式会社 | 情報作成方法、及び情報作成装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6028626A (en) * | 1995-01-03 | 2000-02-22 | Arc Incorporated | Abnormality detection and surveillance system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004070564A (ja) | 2002-08-05 | 2004-03-04 | Nippon Denka:Kk | セキュリティシステム |
| KR100473758B1 (ko) | 2002-08-14 | 2005-03-10 | 엘지전자 주식회사 | 감시용 디지털 비디오 레코더에서의 오디오 이벤트검출방법 |
| FR2861245B1 (fr) * | 2003-10-16 | 2006-05-05 | Canon Europa Nv | Procede de video surveillance, dispositif, systeme et programme d'ordinateur correspondant |
| KR100876494B1 (ko) * | 2007-04-18 | 2008-12-31 | 한국정보통신대학교 산학협력단 | 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법 |
| KR101008060B1 (ko) | 2008-11-05 | 2011-01-13 | 한국과학기술연구원 | 실시간 음원 방향 감지 장치 및 그 방법 |
| JP5189536B2 (ja) | 2009-03-26 | 2013-04-24 | 池上通信機株式会社 | 監視装置 |
| KR100999655B1 (ko) * | 2009-05-18 | 2010-12-13 | 윤재민 | 디지털 비디오 레코더 시스템 및 그것의 운용방법 |
| KR20110095113A (ko) | 2010-02-16 | 2011-08-24 | 윤재민 | 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법 |
| JP5917270B2 (ja) * | 2011-05-27 | 2016-05-11 | キヤノン株式会社 | 音検出装置及びその制御方法、プログラム |
-
2013
- 2013-09-27 KR KR1020130115708A patent/KR102066939B1/ko active IP Right Grant
-
2014
- 2014-09-09 US US14/480,750 patent/US10204275B2/en active Active
- 2014-09-28 CN CN201410508503.XA patent/CN104519318B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6028626A (en) * | 1995-01-03 | 2000-02-22 | Arc Incorporated | Abnormality detection and surveillance system |
Also Published As
| Publication number | Publication date |
|---|---|
| US10204275B2 (en) | 2019-02-12 |
| KR20150035322A (ko) | 2015-04-06 |
| US20150092052A1 (en) | 2015-04-02 |
| KR102066939B1 (ko) | 2020-01-16 |
| CN104519318A (zh) | 2015-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104519318B (zh) | 图像监控系统和监视摄像机 | |
| CN107223332B (zh) | 基于声学相机的音频视觉场景分析 | |
| US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
| US7609290B2 (en) | Surveillance system and method | |
| US10182280B2 (en) | Sound processing apparatus, sound processing system and sound processing method | |
| JP4629090B2 (ja) | カメラ・タンパリング検出 | |
| KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
| US20120087573A1 (en) | Eliminating Clutter in Video Using Depth Information | |
| US11037013B2 (en) | Camera and image processing method of camera | |
| US9202115B2 (en) | Event detection system and method using image analysis | |
| KR101212082B1 (ko) | 영상인식장치 및 그 영상 감시방법 | |
| KR20130062489A (ko) | 객체추적 시스템 및 그 운영방법 | |
| US11341773B2 (en) | Detection device and control method of the same | |
| KR20150084237A (ko) | 스마트로테이션 감시 방법을 이용하는 영상촬영장치에서 후보 감시영역을 자동으로 갱신하는 방법 | |
| TW201426664A (zh) | 攝影機異常種類辨識方法及可偵測攝影異常的監視主機 | |
| KR101272631B1 (ko) | 이동물체 감지장치 및 방법 | |
| JP2017091381A (ja) | セキュリティ装置、及び、セキュリティシステム | |
| KR101951900B1 (ko) | 프레임 내에서 객체를 탐지하는 장치 및 방법 | |
| Wiangtong et al. | Computer vision framework for object monitoring | |
| EP2938097B1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
| US20230164436A1 (en) | Imaging device, image processing method, and program | |
| JP2023046798A (ja) | 撮像装置、監視システム及び撮像方法 | |
| KR20160061706A (ko) | 카메라 장치 및 카메라 제어 시스템 | |
| KR20140102788A (ko) | 원격지의 모니터링 시스템을 관리하는 온라인 관리 및 보수 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Gyeongnam Changwon City, South Korea Applicant after: HANWHA TECHWIN Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: Samsung Techwin Co.,Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Gyeongnam Changwon City, South Korea Applicant after: HANWHA AEROSPACE Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: HANWHA TECHWIN Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190227 Address after: Gyeonggi Do city of South Korea Applicant after: HANWHA TECHWIN Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: HANWHA AEROSPACE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Gyeonggi Do city of South Korea Patentee after: Hanhua Vision Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |