CN102542553A - 可串接式相机窜改检测收发器模块 - Google Patents

可串接式相机窜改检测收发器模块 Download PDF

Info

Publication number
CN102542553A
CN102542553A CN2010106056303A CN201010605630A CN102542553A CN 102542553 A CN102542553 A CN 102542553A CN 2010106056303 A CN2010106056303 A CN 2010106056303A CN 201010605630 A CN201010605630 A CN 201010605630A CN 102542553 A CN102542553 A CN 102542553A
Authority
CN
China
Prior art keywords
camera
image
altered
alter
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010106056303A
Other languages
English (en)
Inventor
王舜正
赵善隆
白宏益
蓝坤铭
樊恩戎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN102542553A publication Critical patent/CN102542553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/02Monitoring continuously signalling or alarm systems
    • G08B29/04Monitoring of the detection circuits
    • G08B29/046Monitoring of the detection circuits prevention of tampering with detection circuits

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一个可串接式的相机窜改检测收发器模块,此模块分析输入的视讯序列,检测相机窜改事件,将相机窜改特征图像化后与视讯序列合成,最后输出此一合成视讯序列。再者,当输入视讯为可串接式的相机窜改检测收发器模块的输出时,可串接式的相机窜改检测收发器模块快速分离输入视讯中的相机窜改特征,以便使用这些既有的相机窜改特征来新增或加强视讯分析。藉此避免重复执行先前已经分析过的步骤或是亦可让使用端重新定义判断条件。由于可串接式的相机窜改检测收发器模块在视讯通道中,以图像化的方式来传递相机窜改特征且同时具备发送与接收功能,使本收发器模块可搭配有影像输出或影像输入介面的监控装置。

Description

可串接式相机窜改检测收发器模块
技术领域
本发明涉及一种可串接式的相机窜改检测收发器模块。
背景技术
随着近年来视讯分析技术的快速发展,智能型视讯监控成了安全上的一个重要课题。而其中一个很常见的监控问题是相机可能遭受破坏或以某些形式变更拍摄景观,被变动的方式可能有:相机镜头被移动拍摄角度、相机镜头遭受喷漆或恶意破坏、相机焦距被更改或光源被改变等。这些变动会严重破坏监控品质,因此如果能有效检测出变动,并将此讯息传递给相关监控人员,将有效提升现有监控设备的使用效果,因此如何检测相机窜改事件及传递窜改信息已成为智能监控应用中必须面对的重要课题。
目前市面上常见的视讯监控系统的架构可分为模拟摄影机搭配DVR(Digital Video Recorder)为主的模拟传输监控,以及网络摄影机搭配NVR(Network Video Recorder)为主的数字网络监控。根据2008年10月,IMS(IMS Research)对监控市场2007相关产品出货量所做的统计,模拟摄影机出货量为13,838千台、网络摄影机为1,199千台、DVR为1,904千台、NVR为38千台,而根据预估2012这些产品出货量分别成长至:模拟摄影机24,236千台、网络摄影机6,157千台、DVR为5,184千台、NVR为332千台。由上述的产业信息可以看出模拟传输监控未来数年内仍然被预测为监控市场主流,此外许多目前采用模拟传输监控方案的使用者,不可能短时间内汰换已有设备,模拟传输监控在持续数年内很难完全被取代。但根据数字来看,数字网络监控的持续成长力道也不容小觑,因此发展视讯监控产品要能兼顾模拟传输与数字网络两种监控方案就是一大考验。
目前现行的相机窜改系统都是着重于相机破坏的检测,是基于相机拍摄的影像来检测相机是否遭到破坏。这些系统可以分为在发送端检测或是在接收端检测两种系统。图1所示为发送端检测系统的示意图。如图1所示,发送端检测的系统将相机的影像讯号分接出来以提供相机破坏检测使用,再将破坏检测结果储存于一前端储存介质,并提供一伺服器(通常会是网页伺服器)以供查询,此时接收端除了接收影像外,还需另外查询窜改信息,才能将窜改信息呈现给使用者观看。这种架设方式的问题在于检测讯号与影像是分开传送,需要额外布线及架设成本。图2所示为接收端检测系统的示意图。如图2所示,接收端检测系统则将影像讯号传送到接收端后再做相机窜改检测,在这样的机制下,接收端通常会需要能够处理多摄影机视讯输入,并执行使用者界面操作、显示、储存、窜改检测等运算,所以接收端需要的硬件规格相对较高,通常是一个有强大运算能力的电脑。
台湾专利公开号096141488提出一种用于识别一照相机的可能遭破坏的方法及模块。该方法包含:自一影像序列接收一用于分析的影像;将该接收的影像转换成一边缘影像;产生一在该边缘影像与一参考边缘影像之间的一相似性程度的相似性值;若该相似性值在一指定范围内,则该照相机检视可能遭破坏。该方法只利用两张边缘影像的比对,而且用的是影像的边缘信息来做统计分析判断相机影像是否有遭破坏。因此,其效果有限。
美国专利公开号US2007/0247526提出了一个基于影像比对及移动物检测为主的相机遭破坏检测演算法。该方法着重以目前取像和参考影像的比对,并无采用抽取特征并建立特征整合比对的方式。
美国专利公开号US2007/0126869提出了一个基于影像健康数据(healthrecord)的相机故障检测系统,该方法会储存平均影像(Average Frame)、平均能量(Average Energy)、锚区域(anchor region)信息作为健康数据,并将目前影像与这些储存的健康数据作比对,当差异达到一定程度时累加故障累加器,当累加器超过一定数值就判定为故障。该方法主要应用为判断故障,与台湾专利公开号096141488雷同,其效果有限。
如前所述,目前市面上的视讯监控系统一般皆将影像信息和变动信息分开使用两个不同的频道传输,使用者如需要得知明确的变动信息,通常需通过该装置所对应的软体开发套件(SDK)来取得。当有事件发生时,有些视讯监控系统会在影像画面上通过某些方式来达成警示提醒的效果,像是将每两张影像中的其中一张影像转成全白影像,来达成画面闪烁的效果;或是在影像画面上显示一个醒目的红色框,以达成提醒的效果。但现行系统中这些效果都仅仅只有警示的功能。尤其当智能分析的功能是在前端装置执行时,后端接收者仅能知道有警示事件发生,而无法得知其判断依据或重复利用已计算过的数据以减少运算资源的浪费并增加执行效率。
此外,一般视讯监控系统的建置通常不是一次到位,而是根据不同建设的期程有不同建置的案子。因此,不同案子所规划的视讯监控装置厂牌可能都不一样,不同厂牌的视讯监控装置所提供的介面也不尽相同。再者,当建置规模越来越大,代表可能会连结越来越多的摄影机或许多具有智能型分析功能的装置,当每个智能型分析功能的装置都在重复分析相同的视讯输入时,就是一种资源浪费。然而这些不同的建置规划中,视讯画面通常会是在视讯监控系统建置时的必备条件,因此大多会有视讯传输介面。若能仅通过视讯通道取得视讯分析信息让后续装置能加强分析或重复利用信息,并同时能提供醒目的图示方式让使用者能得知变动事件发生,这样的方式将可增加监控系统建置时的弹性。
发明内容
基于上述现有技术的缺失,本发明提供一种可串接式相机窜改收发器模块。本发明的可串接式相机窜改收发器模块包含一处理单元与一储存单元,其中该储存单元还储存有一相机窜改图像收发模块、一信息控制模块与一相机窜改分析模块,可由该处理单元执行。其中,首先会由相机窜改图像收发模块负责检测使用者所输入数字视讯数据中是否已有本发明所输出的相机窜改图像,并分离既有的相机窜改图像与重建未受窜改图像影响前的影像(重建视讯),更进一步可解析出既有的相机窜改特征;随即可通过信息控制模块储存窜改信息以供后续判断程序新增或加强相机窜改分析,达到串接式相机窜改分析的功能,避免重复执行先前已经分析过的步骤。若需要相机窜改分析,则交由相机窜改分析模块来进行分析,并将分析结果传至信息控制模块。当信息控制模块确认所需分析完成后,便再通过相机窜改图像收发模块将相机窜改特征图像化并与原始视讯或重建视讯合成后输出。将窜改信息以图像样式与视讯组合成带有窜改信息的视讯输出,达到能够让使用本发明的使用者由输出视讯中看到窜改分析结果,同时利用本发明的呈现样式也能让现有的数字监控系统(DVR)使用既有的功能(如移动检测功能)来记录、搜寻或显示窜改事件。
在本发明的实施例中,为验证相机窜改收发器模块的实用性,亦使用多组影像分析特征以及定义如何将影像分析特征转换为本发明的相机窜改特征,使用的影像分析特征包含,利用直方图不易受环境中移动物体及杂讯影响的特性,可有效避免因场景中一般物体移动而误发警讯,并利用影像区域边化量、平均灰阶变化量、移动向量来分析不同类别的相机窜改,经由近程特征及远程特征互相比对,不单可以避免环境缓慢改变造成的影响,近程特征的更新可避免短时间贴近镜头的移动物体造成误判。根据本发明的实施例,可利用多个影像分析特征所转换的相机窜改特征,来定义相机窜改,不会只是使用固定影像分析特征、单张影像或只统计出单张影像就判断相机窜改,效果会优于现有的技术,例如只利用两张边缘影像的比对方法。
因此,本发明的可串接式相机窜改收发器模块可以无须视讯外的传输通道,除了提醒使用者事件发生,以及可以传递事件及各种量化信息,还可执行串接式分析。
兹结合下列附图、实施范例的详细说明及权利要求,将上述及本发明的其他特征与优点详述于后。
附图说明
图1所示为发送端检测系统的示意图。
图2所示为接收端检测系统的示意图。
图3显示本发明一种可串接式相机窜改收发器模的组织应用示意图。
图4所示为本发明的一种可串接式相机窜改收发器模块架构示意图。
图5所示为本发明的一种可串接式相机窜改收发器模块的相机窜改图像收发模块、信息控制模块与相机窜改分析模块的结构与运作的示意图。
图6所示是本发明的相机窜改图像分离方法实施范例的示意图。
图7所示是本发明的相机窜改图像分离方法的另一实施范例的示意图。
图8所示为本发明的相机窜改图像转换元件接收到一张相机窜改条码图像以及一张原始影像后的处理流程的示意图。
图9所示为本发明的相机窜改图像合成元件的运算流程示意图。
图10所示为本发明的相机窜改特征描述单元所储存的数据结构的实施范例示意图。
图11所示为本发明的信息控制模块接受到特征窜改图像收发模块所分离的图像及窜改特征后的运作流程。
图12所示为本发明的相机窜改分析模块的相机窜改分析单元施实施范例示意图。
图13所示为本发明的视野变动特征分析演算法的示意图。
图14所示为本发明的一实施范例采用表格形式来描述相机窜改事件值组集合的示意图。
图15所示为本发明的一实施范例当使用本发明有输GPIO输入讯号的示意图。
图16所示为本发明的可串接式的相机窜改检测收发器模块应用于一独立的相机窜改分析装置的情境示意图。
图17所示为本发明的可串接式的相机窜改检测收发器模块应用于协同发送端装置的一相机窜改分析装置的情境示意图。
图18所示为本发明的可串接式的相机窜改检测收发器模块应用于协同接收端装置的一相机窜改分析装置的情境示意图。
附图符号说明
400可串接式相机窜改收发器模块    402相机窜改图像收发模块
404信息控制模块                  406相机窜改分析模块
408处理器单元                    410储存单元
502相机窜改图像分离元件          504相机窜改图像转换元
506合成设定描述单元              508相机窜改图像合成元件
512相机窜改特征描述单元          514信息过滤元件
520多工装置                      601影像相减
602二值化                        603连通成分抽取
604大小滤除                      605形状过滤
701像素遮罩                      702进行找出连通成分
703大小过滤                      704形状过滤
801窜改信息解码                  802重新编码
803计算影像遮罩                  804遮罩区域还原
901输入原始影像与窜改信息        902合成时间选择
903此时间点是否需要合成编码影像  904合成模式选择
905环境变动信息图像编码          906合成位置选择
907影像合成                      908输出影像
1002相机窜改特征值组集合            1004相机窜改事件定义集合
1006需要检测的动作集合              1101特征解码
1102清除旧特征                      1103新增特征数据
1104取得相机窜改事件定义            1105检查每一事件条件
1106否所有事件条件都可被计算        1107判断事件条件是否满足
1108新增警讯数据于特征值组数据集    1109输出视讯选择
1110检查缺少的特征并找到对应的相    1111分析的视讯来源
机窜改分析单元
1112呼叫对应的相机窜改分析单元      1113相机窜改分析
1114影像合成时间选择
1201视野变动特征分析                1203明暗估量特征分析
1204颜色估量特征分析                1205移动估量特征分析
1206杂讯估量特征分析                1301特征抽取
1301a直方图特征抽取                 1301b近程特征数据集
1301c远程特征数据集                 1302窜改量化
1302a特征比对
具体实施方式
图3显示本发明一种可串接式相机窜改收发器模的组织应用示意图。如图3所示,本发明的可串接式相机窜改收发器模块系用以接收一输入影像系列,再将其分析与判断结果,以一影像序列的方式输出。
图4为本发明的实施例,其显示一种可串接式相机窜改收发器模块。如图4所示,本发明的可串接式相机窜改收发器模块400包含一处理器单元408及一储存单元410,其中储存单元410还储存有一相机窜改图像收发模块402、一信息控制模块404与一相机窜改分析模块406。该处理器单元408负责执行储存在储存单元410内的相机窜改图像收发模块402、信息控制模块404及相机窜改分析模块406。其中,首先会由相机窜改图像收发模块402负责检测使用者所输入数字视讯数据中是否已有本发明所输出的相机窜改图像,并分离既有的相机窜改图像与重建未受窜改图像影响前的影像(重建视讯),更进一步可解析出既有的相机窜改特征;随即可通过信息控制模块404储存窜改信息以供后续判断程序新增或加强相机窜改分析,达到串接式相机窜改分析的功能,避免重复执行先前已经分析过的步骤。当需要进行相机窜改分析时,则交由相机窜改分析模块406来进行分析,并将分析结果传至信息控制模块404。当信息控制模块确认所需分析完成后,便再通过相机窜改图像收发模块402将相机窜改特征图像化并与原始视讯或重建视讯合成后输出。将窜改信息以图像样式与视讯组合成带有窜改信息的视讯输出,使得使用者由输出视讯中能够看到窜改分析结果,同时也能让现有的数字监控系统(DVR)使用既有的功能(如移动检测功能)来记录、搜寻或显示窜改事件。
图5为本发明的实施例,其显示可串接式相机窜改收发器模块的相机窜改图像收发模块、信息控制模块与相机窜改分析模块的运作。如图5所示,可串接式相机窜改收发器模块400的相机窜改图像收发模块402还包含一相机窜改图像分离元件502、一相机窜改图像转换元件504、一合成设定描述单元506、以及一相机窜改图像合成元件508。其中,相机窜改图像分离元件502系用于接收输入视讯,并分离视讯及窜改图像;若有窜改图像,相机窜改图像转换元件504将窜改图像转换为窜改特征并对输入影像进行重建;然后,重建影像以及窜改特征会经由信息控制模块404及相机窜改分析模块406处理,处理完成后再由相机窜改图像收发模块402中的相机窜改图像合成元件508根据合成设定描述单元506中描述的合成方式合成后输出结果视讯。值得注意的是,相机窜改图像收发模块402的输出影像可来自相机窜改图像合成元件508、相机窜改图像分离元件502、或原始的输入视讯;且上述的三种输出影像来源可藉由一多工装置520依据运算结果,分别连接至信息控制模块404的输出与相机窜改分析模块406的输入。如何选择将上述的相机窜改图像收发模块402的输出影像分别连接至信息控制模块404的输出与相机窜改分析模块406的输入,将在后面信息控制模块404的信息过滤元件514的功能中说明。
同样地,信息控制模块404还包含一相机窜改特征描述单元512与一信息过滤元件514,其中,相机窜改特征描述单元512储存相机窜改特征信息,而信息过滤元件514负责接受并过滤来自相机窜改图像收发模块402的相机窜改图像转换元件504要存取储存相机窜改特征描述单元512的相机窜改特征的需求,并判断是否需要启动相机窜改分析模块406的功能。另一方面,相机窜改分析模块406还包含多个相机窜改分析单元,用以进行不同的分析,并将分析结果回馈至信息控制模块404的信息过滤元件514。
以下将分别描述相机窜改图像收发模块402、信息控制模块404与相机窜改分析模块406的详细运作方式。
如前所述,相机窜改图像收发模块是用以将相机窜改特征转换成一个条码图像,例如,二维条码中的QR Code、PDF417或汉信码,与视讯合成后输出,或是由输入视讯中检测相机窜改图像并转换回相机窜改特征,亦或是重建影像。如图5所示,当接收视讯输入时,会先经由相机窜改图像分离元件502分离视讯及窜改图像,之后经由相机窜改图像转换元件504将窜改图像转换为窜改特征并对输入影像进行重建,之后重建影像以及窜改特征会经由信息控制模块404及相机窜改分析模块406处理,处理完成后再由相机窜改图像收发模块402中的相机窜改图像合成元件508根据合成设定描述单元506中描述的合成方式合成后输出结果视讯。
相机窜改图像分离元件502,在接收输入视讯后,会先判断输输入视讯中是否存在相机窜改条码图像,若有,则找出相机窜改条码图像所在的位置并撷取。图6与图7所示分别是两种相机窜改图像分离方法实施范例的示意图。
如图6所示,本实施范例将两个连续影像,例如,影像(t)与影像(t-Δt)进行影像相减(标号601),以计算影像中每一像素点的差值。经过二值化(标号602)后,再设定一个阈值筛选出这些像素点,接着通过连通成分抽取的步骤(标号603)来找出这些像素点组合成的连通成分,这些连通成分中过大或过小的部分必然不是编码影像,可以直接滤除(标号604),剩下的连通成分再比对形状特性(标号605)。根据本发明采用的编码方式,编码出来的编码影像为长方形或正方形,因此利用连通成分的点数与四方型的相似程度过滤剩余的区域,相似程度的计算公式为Npt/(WxH),其中Npt表示连通成分的点数,W跟H分别表示连通成分水平轴上相差最远的两点距离及垂直轴上相差最远的两点距离。最后,所得结果即为编码影像候选者。
图7所示则为利用对像素的颜色直接过滤的定位机制的实施范例示意图。这种定位机制适用于合成编码影像是某些固定颜色(或灰阶值)的状况,由于编码影像被设定成两种不同的颜色的二值影像,因此可以通过直接将每一个像素点与设定的二值颜色点相减,例如,如标号701所示采用像素遮罩的方式计算差值,并过滤出符合的像素点,过滤的公式如下:
Min(|V(p)-VB|,|V(p)-VW|)>ThCode
其中V(p)表示p座标点的颜色,VB及VW分别表示编码影像合成时对应到二值影像中0及1的颜色值,ThCode表示过滤颜色相似程度使用的阈值。当像素点过滤完后,就可以如同前面所述图6的运算,进行找出连通成分(标号702)以及后续的大小过滤(标号703)形状过滤(标号704)的步骤。上面所述的运算,都是试图过滤掉不符合的连通成分,因此有可能会造成所有连通成分都被滤除。当发生所有连通成分都被滤除,就定义为此帧影像不存在合成编码影像,因此无法定位,也无须经过相机窜改图像转换元件504,而直接由信息过滤元件514进行下一阶段处理。反之,如果滤除后还剩下多个连通成分,则将这些连通成分根据编码时设定的颜色规则还原回二值化的编码影像,这些二值化的区域影像便成为编码影像候选者。最后,再将编码影像候选者交付相机窜改图像转换元件504进行处理后再由信息过滤元件514进行下一阶段处理。
图8所示为相机窜改图像转换元件接收到一张相机窜改条码图像以及一张原始影像后的处理流程的示意图。由于相机窜改条码图像其位置与大小会随着编码时的设定不同而有所差异,当取得编码影像候选者后,需要撷取完整条码图像,因此要先利用QR Code、PDF417或是汉信码本身定位特征的特性,例如:QR Code为左上角、左下角和右上角三个方块区块;PDF417为两侧的长条区块;汉信码为左上角、左下角、右上角和右下角的四个方块混线条区块;先进行条码图像定位再进行撷取。定位条码图像的方法如下:第一,先寻找视讯画面上所有垂直或水平线上的像素线段。接着,再利用这些线段的起点跟终点信息,即可得知线段与线段之间的交错关系,并利用此信息将线段合并成线条、长条和方块此三种类别。然后根据这些线条、长条和方块的座标的相对位置信息找出是否有哪些线条、长条和方块可以组成QR Code的定位方块区块、PDF417的定位长条区块或汉信码的定位方块混线条区块。最后,再利用所有的QR Code的定位方块/PDF417定位长条区块/汉信码的定位方块混线条区块,检查这些定位区块的大小及相对位置来定位视讯画面上的QR Code/PDF417/汉信码的条码图像。至此,即完成条码图像定位,亦即完成窜改信息解码(标号801)。定位后的条码影像再由图像转换元件转换为特征信息,无法定位撷取或是转换不出任何信息的编码影像候选者会直接舍弃,视其为可能误判的编码影像。
图像转换回特征信息后,会进行影像重建,以还原原始影像。影像重建的部份是将编码影像从视讯数据中移除,以避免编码影像对后续分析处理造成影响。利用将解码信息再度编码(标号802),再计算影像遮罩(标号803)以确实找出编码影像的大小及范围,并据以进行遮罩区域还原(标号804)以移除输入影像中的编码影像。
值得注意的是,编码影像区域在定位时可能因为一些杂讯或是受画面中移动物体的影响,造成区域不稳定或是合成影像中存在杂讯。由于以图像呈现的条码编解码规范中,会有一定程度的容错及错误校正机制,因此就算存在杂讯或是编码区域不理想,也可以正确解码出原始窜改信息。当解码出原始窜改信息后,会再作一次编码以得到最初合成时的编码影像原始外观及大小。在本发明的某些合成模式中,可以利用合成的编码影像将输入影像还原回原始撷取影像,因此重新编码后得到的编码影像就是最清晰的编码影像,可以用来还原回原始撷取影像。而在其他合成模式中,无法回复原始撷取影像,这时重新编码后的编码影像区域就设定为影像遮罩,用已将遮罩区域以某些固定颜色取代,避免合成编码影像的区域造成分析时误判。合成的模式及还原的方式在后续提到窜改信息合成元件时,再深入介绍。
图9所示为相机窜改图像合成元件的运算流程示意图。相机窜改图像合成元件508接受来自信息控制模块404的窜改特征及来自相机窜改图像转换元件504的输入影像后将窜改特征图像化并合成至输入影像,然后再输出。
相机窜改图像编码可以采用下列三种可将相机窜改特征以条码图像呈现的编解码技术:QR Code(1994,Denso-Wave)、PDF417(1991,SymbolTechnologies)和汉信码;其中,QR Code为开放式标准,本发明是依照ISO/IEC18004来产生QRCode;PDF417是美国符号科技(Symbol Technologies,Inc.)发明的二维条码,本发明是依照ISO15438来产生PDF417;汉信码是一种矩阵式二维条码,本发明是依照GB/T21049-2007中所记载的汉信码规格来产生汉信码。对于任何一个相机窜改特征,本发明计算其所需的位数,再根据所将使用的二维条码的规格和所需的容错率来决定二维条码的大小并产生该二维条码。本发明输出的视讯内会包含可见的二维条码用以储存窜改特征(包含警讯数据),针对二维条码合成进入影像的模式可以分为三种,亦即,不固定颜色合成模式、固定合成颜色模式、隐藏浮水印模式。
在不固定颜色合成模式中,合成的编码影像会造成原始影像改变,在某些应用中会希望能还原出原影像来使用,当设定为可还原合成模式时,可以有两种模式选择,一种是像素的位利用XOR运算和特定位遮罩作转换,这样只要和相同位遮罩作XOR运算即可还原,此方法可针对黑或白作转换。另一种是利用向量转换,假设一个像素是一个三维向量,只要和一个3x3的矩阵Q相乘即可建立出转换后的像素,还原的过程就是将转换后的像素和Q的反矩阵Q-1相乘即可,向量转换的方式可以只针对黑或白作处理。此种模式由于编码出来的颜色及灰阶不固定,在前面所述相机窜改图像分离元件502时,必须使用影像相减的方式定位编码区域,才能作还原处理。相反地,在固定合成颜色模式中,合成的编码影像如果是为了让使用者容易观察、且容易检测,可以设定为固定颜色或是环境颜色的互补色的方式,设定为固定颜色时,编码影像的黑跟白会对应到两种不同的颜色,设定为互补色时,则针对黑或白设为环境颜色的互补色,另一可保持环境颜色不改变。另一方面,在隐藏浮水印模式中,是将编码影像的黑与白对应到不同的颜色,直接将这些颜色点填入影像中,而将编码区域覆盖的颜色点的数值以不可见的数字浮水印形式插入影像中其他像素中,当还原时可以利用颜色或影像相减先定位出编码影像所在位置,接着再去影像中其他区域把不可见的数字浮水印抽出来填入编码影像所在位置,即可还原。
图9的流程是针对于视讯中每一帧影像进行处理。如图所示,步骤901是输入原始影像与窜改信息,并根据窜改信息以进行合成时间选择。步骤902是根据设定进行合成时间选择。步骤903是分析此时间点是否需要合成编码影像,当分析不需要时,直接执行步骤908将原始影像直接输出。反之,当步骤903分析结果需要合成时会接着决定窜改信息编码呈现的样式,因此会通过步骤904的合成模式选择来选择编码影像的呈现样式,然后通过步骤905的环境变动信息图像编码来进行编码以产生编码影像。之后进入步骤906的合成位置选择来选择此编码影像放置的位置,最后再执行步骤907的影像合成将此编码影像放置到原始影像中,完成合成。完成合成后,再执行步骤908将此合成影像作为视讯中的目前画帧输出。
值得注意的是,这些编码影像可提供后端监控使用者直接观察到发生警讯,为了达到这个目的,相机窜改图像合成元件508会有合成位置、合成时间可供选择,在合成位置选择部分,可以分作固定选择以及动态选择两类设定,在合成时间选择部分,可依照设定改变的有闪烁时间及警讯持续时间,以下对这些参数及类别详细叙述:
1.固定合成位置选择:这个模式合成信息会放置在固定位置,需要设定的参数为合成的位置,如果选择这模式,必须指定合成的位置,合成的影像将只出现在所选择的位置。
2.动态合成位置选择:这个模式合成信息会动态改变位置,以造成吸引使用者目光的效果,可以指定一个以上的出现位置,并设定在这些位置出现的顺序,可以针对这些位置设定停顿的时间,造成合成编码影像以不同速度移动的效果。
3.合成时间选择:可以设定的参数有闪烁时间及警讯持续时间,闪烁指的是合成编码信息会有出现及消失两种状态,造成使用者视觉上的强烈感受,在闪烁的设定上可以分别指定消失及出现的时间。警讯持续时间的部分,是为了避免警讯太快消失,而无法让使用者观察到,因此会设定一个持续时间,在这个时间内,就算没有再检测到任何相机窜改,也会持续合成编码影像的动作直到设定的时间过后。
以上这些设定数据会以<CfgID,CfgValue>的值组形式储存,其中CfgID为设定索引,CfgValue为此设定值,CfgID可以为“位置”、“时间”、“模式”对应的索引编号,CfgValue则为设定的数据:
1.位置的CfgValue:为一到多个座标值组<Location+>。Location表示位置座标,当Location只有一个时表示固定合成位置,多个时表示编码影像会动态在这几个位置间变换。
2.时间的CfgValue:为<BTime,PTime>,BTime表示编码影像出现及消失的时间周期,PTime表示当一事件发生后,条码会持续出现多少时间。
3.模式的CfgValue:为<ModeType,ColorAttribute>,ModeType用以选择“不固定颜色合成模式”、“固定合成颜色模式”、“隐藏浮水印模式”这三种模式其中一种的索引值,ColorAttribute在固定颜色合成模式及隐藏浮水印模式时用以指出编码影像的颜色,在不固定颜色合成模式时,用以表式颜色遮罩或向量转换用的矩阵。
如前所述,信息控制模块404包含一相机窜改特征描述单元512以及一信息过滤元件514。其中,相机窜改特征描述单元512系为一个数字数据储存区用以储存相机窜改特征信息,可以一硬盘或其他储存装置来实现。而信息过滤元件514负责接受并过滤来自相机窜改图像收发模块402的相机窜改图像合成元件508要存取储存相机窜改特征描述单元512的相机窜改特征的需求,并判断是否需要启动相机窜改分析模块406的功能。以下将先详述相机窜改特征描述单元512,再描述信息过滤元件514的细节。
图10所示为相机窜改特征描述单元所储存的数据结构的实施范例示意图。如图10的实施范例所示,相机窜改特征描述单元512储存了一相机窜改特征值组集合1002、一相机窜改事件定义集合1004、一需要检测的动作集合1006。其中,相机窜改特征值组集合1002还包含多个相机窜改特征,且每一相机窜改特征系以<index,value>的样式值组来表示,而index为索引值,可以是整数或是字串数据;value则为该索引值的对应值,可以是布尔值、整数、浮点数、字串、二进制数据或是另一值组。因此,相机窜改特征值组集合1002可以表示为{<index,value>*}的形式,“*”表示此集合元素个数可以是零个、单数个或多个。相机窜改事件定义集合1004还包含多个相机窜改事件,且每一相机窜改事件系以<EventID,criteria>的样式值组来表示,而EventID可对应为相机窜改特征的index,表示事件索引值,可以是整数或是字串数据;criteria可对应相机窜改特征的value,表示该事件索引值对应的事件条件。更进一步地,criteria可以<ActionID,properties,min,max>样式的值组来表示,且ActionID为一索引值表示一特定特征,可以是整数或是字串数据;properties则为该特征属性;min与max是条件参数,min与max分别表示最小与最大临界值,可以是布尔值、整数、浮点数、字串或是二进制数据;或者,criteria也可以<ActionID,properties,{criterion*}>样式的值集合,criterion可以是布尔值、整数、浮点数、ON/OFF或是二进制数据,“*”表示此值集合元素个数可以是零个、单数个或多个。另外,特征属性(properties)系定义为(1)有兴趣的区域(Region of Interesting),区域定义为像素集合,或(2)需要检测或不需要检测,可以是布尔值或整数。最后,需要检测的动作集合1006系以{ActionID*}形式来表示,“*”表示此集合元素个数可以是零个、单数个或多个,由事件条件属性中有“需要检测”的ActionID组成。
图11所示为信息控制模块接受到特征窜改图像收发模块所分离的图像及窜改特征后的运作流程。如图所示,当相机窜改图像收发模块402完成特征解码(如步骤1101),步骤1102即由信息控制模块404的信息过滤元件514进行清除旧特征来删除相机窜改特征描述单元512中旧的分析结果以及不需再使用的数据,并接着步骤1103即由信息过滤元件514进行新增特征数据,以将接收到的窜改特征储存至相机窜改特征描述单元512中。步骤1104即由信息过滤元件514由相机窜改特征描述单元512中取得相机窜改事件定义。接着,步骤1105即由信息过滤元件514进行检查每一事件条件,亦即,根据取得的每一窜改事件定义,列举出每一事件条件,并根据事件条件于相机窜改特征描述单元512中找寻对应的相机窜改特征值组。接着,步骤1106判断是否所有事件条件都可被计算,此一判断条件用于检查是否一窜改事件定义的所有事件条件的特征值组都存在于事件条件相机窜改特征描述单元512中;若是,则执行步骤1107;否则,执行步骤1110。步骤1107系判断事件条件是否满足,亦即,当判断所有事件定义的所有事件条件都可被计算后,即可根据事件条件分别计算出每一事件定义中的事件条件是否满足;若是,则先执行步骤1108再执行步骤1109;否则,直接执行步骤1109。步骤1108系由信息过滤元件514新增警讯数据于特征值组数据集合。当某一事件的事件条件满足后即新增一笔特征值组数据<index,value>,index为此事件对应的特征代号,value为布尔值的True。而步骤1109系由信息过滤元件514输出视讯选择,根据使用者设定的输出视讯选择挑选出必须输出的影像讯号传送至相机窜改图像收发模块402,再由相机窜改图像收发模块402进行影像合成及输出(步骤1114)。另一方面,当非所有事件条件都可被计算时(步骤1106),步骤1110是由信息过滤元件514检查缺少的特征并找到相机窜改分析模块406中对应的相机窜改分析单元,亦即,当有缺少的窜改特征时,需再利用窜改特征的编号,找寻对应的相机窜改分析单元,以进行分析取得所需的窜改特征。步骤1111是由信息过滤元件514在呼叫分析单元前,根据使用者设定选择使用作视讯分析的视讯来源。步骤1112是当影像选择后即由信息过滤元件514呼叫对应的相机窜改分析单元,而步骤1113是由相机窜改分析模块406中对应的相机窜改分析单元进行分析,并将分析结果利用信息过滤元件512新增至相机窜改特征描述单元514中(步骤1105)。
综合来说,信息过滤元件514用以从相机窜改特征描述单元512取得所需的信息,并传递给对应的处理单元进行处理。信息过滤元件514可执行下列功能:
1.新增、设定或删除相机窜改特征描述单元内的特征。
2.提供相机窜改特征描述单元内相机窜改特征值组集合的预设值。
3.提供呼叫相机窜改分析模块的判断机制,包含:
3.1取得相机窜改特征描述单元中需判断的ActionID集合。
3.2针对需判断的ActionID集合内每个元素,于相机窜改特征描述单元中取得对应值,可得到{<ActionID,对应值>+}的值集合。
3.3若需判断的ActionID集合中有元素无法取得对应值,交由相机窜改分析模块执行,并将{<ActionID,value>+}传递给相机窜改分析模块,等待相机窜改分析模块执行完毕。
3.4检查相机窜改事件<EventID,criteria>是否满足对应条件:
(1)若对应条件为<ActionID,properties,min,max>样式,满足条件为ActionID的特征对应值应介于min到max之间。
(2)若对应条件为<ActionID,properties,{criterion*}>样式,满足条件为ActionID的特征对应值应存在于{criterion*}集合之中。
4.提供呼叫相机窜改图像收发模块的判断机制,系当所有需要检测的相机窜改事件都判断完毕后,交由相机窜改图像收发模块的相机窜改图像合成元件执行。
5.提供相机窜改分析模块输入视讯的判断机制:
5.1当被使用者或信息过滤元件定义为需要输出重建影像(例如信息过滤元件检测到有新视讯输入时),将输入视讯连结到相机窜改图像收发模块的相机窜改图像分离元件的输出。
5.2当被使用者或信息过滤元件定义为需要输出原始影像,将输入视讯连结到相机窜改图像收发模块的输入视讯。
6.提供输出视讯的判断机制:
6.1当被使用者或信息过滤元件定义为需要输出合成影像(例如信息过滤元件判断完所有事件),将输出视讯连结到相机窜改图像收发模块的相机窜改图像合成元件的输出。
6.2当被使用者或信息过滤元件定义为需要输出重建影像(例如信息过滤元件检测到有新视讯输入时),将输出视讯连结到相机窜改图像收发模块的相机窜改图像分离元件的输出。
6.3当被使用者或信息过滤元件定义为需要输出原始影像,将输出视讯连结到相机窜改图像收发模块的输入视讯。
如前所述,相机窜改分析模块406还包含多个相机窜改分析单元,例如,相机窜改分析模块406可进一步表示为{<ActionID,相机窜改分析单元>},其中ActionID表示索引值,可以是整数或是字串数据。其中,相机窜改分析单元可分析输入视讯,计算所需的特征值或ActionID对应值(亦称为量化值),数据皆定义为相机窜改特征<index,value>的形式,其中index为索引值或ActionID,value为特征值或量化值。相机窜改分析单元要存取的特征值或量化值会通过信息控制模块404,读取或储存于相机窜改特征描述单元512。不同的相机窜改分析单元可执行不同的特征分析。接下来,本发明将通过不同的实施例,如图12所示施实施范例,来说明相机窜改分析单元,包含:视野变动特征分析1201、失焦估量特征分析1202、明暗估量特征分析1203、颜色估量特征分析1204、移动估量特征分析1205、以及杂讯估量特征分析1206。而其分析的结果,将经由,信息过滤单元1207转成窜改数据或储存。
图13所示为视野变动特征分析演算法的示意图。如图所示,在取得视讯输入后先进行三类特征抽取(标号1301):Y、Cb、Cr三个分量的统计直方图;垂直水平边缘强度统计直方图;Y、Cb、Cr三个分量最大值与最小值差异程度统计直方图(标号1301a),这些特征会通过近程特征收集处理收集至一个数据伫列中,此数据伫列称为近程特征数据集(标号1301b),当近程特征数据即累积到一定量的数据后,将较旧的特征由近程特征数据集移除,并送至远程特征收集处理将数据收集至另一个数据伫列中,此数据伫列名为远程特征数据集(标号1301c),当远程特征数据集累积到一定量数据后,就将较旧的特征数据丢弃。近程与远程数据集的数据会用来判断摄影机窜改之用。先进行窜改量化的计算(标号1302),对于近程特征数据集中的所有数据,任两个比对(标号1302a),可以算出差异值Ds,将所有差异值求取平均,即可得到平均差异值Ds’,同样对于远程特征数据集,也可以算出平均差异值D1’,对于近程数据集与远程数据集中所有数据,又可以互相两两比对,以求出平均互相差异值Db’,之后计算Rct=Db’/(a.Ds’+b.D1’+c),可以得出视野变动量Rct,这边参数a、b、c分别用以控制近程及远程差异值的影响程度,其总和为1,当a较大时,表示希望当窜改后有一段时间画面稳定不变,并在画面稳定后得知变动信息,当b较大时表示希望窜改前有一段时间画面稳定不变,当c较大时表示无论画面有无稳定不变一段时间,只要有明显变动,就要判断为窜改。
以此种分析为例,根据本发明相机窜改特征的定义,例如,可以给予此分析功能的输出特征编号为:视野变动量(Rct)=100、近程平均差异值(Ds’)=101、远程平均差异值(D1’)=102、平均互相差异值(Db’)=103、近程特征数据集=104、远程特征数据集=105。当一个输入产生的分析结果的视野变动量为45,近程平均差异值(Ds’)、远程平均差异值(D1’)、平均互相差异值(Db’)分别为30、60、50,而近程特征集为<30,22,43,...>,远程特征集为<28,73,52,...>。由这些结果导致的输出特征集合为{<100,45>,<101,30>,<102,60>,<103,50>,<104,<30,220,43,...>>,<105,<28,73,52,...>>}。
就失焦估量特征分析演算法而言,失焦会导致画面变模糊,因此这个估量也就是在估量画面的模糊程度,以一个画面来讲,模糊造成的现象是一个清晰画面中原本空间上急遽变化颜色或亮度变成较为平缓,因此可以利用计算空间上颜色或亮度变化来估量出失焦程度。设定一个画面中一座标点p为参考点,计算与此座标点一固定距离(dN)外的一点pN与相反方向相同距离外的另一点pN’,接着取另一个较远距离(dF),与pN及pN’相同方向亦可得到与参考点较远的两座标点pF及pF’,基于这些近距离点(pN,pN’)与远距离点(pF,pF’)可以得到其上的像素数值V(pN),V(pN’),V(pF),V(pF’),这些像素值对于灰阶影像即为一亮度值,对于彩色影像即为一颜色向量,利用这些像素值可以计算出参考点p的失焦程度估量值,计算公式如下:
DF ( p ) = d N | V ( p N ) - V ( p N &prime; ) | | V ( p F ) - V ( p F &prime; ) | d F
但由于此计算仅对附近有明显颜色或亮度变化的参考点计算才会有效,因此必须选择适当的参考点来计算失焦程度,选择参考点的依据为a*|V(pN)-V(pN’)|+b*|V(pF)-V(pF’)|>ThDF,此处ThDF是用来选择参考点的一个阈值。对于输入影像,会随机或等距离选择一定量(NDF)的参考点作为评估失焦程度用,为避免因杂讯影响而选用到不具代表性的参考点,会选择一定比例失焦估量值较低的点作为计算影像失焦程度用。作法为对所有参考点都计算出失焦估量值后,对其进行排序,取排序后失焦估量值较低的一定比例算平均,作为整张影像的失焦程度估量值。失焦估量中采用的取样点上的失焦程度为此分析所需的特征值。
以此种分析为例,根据本发明相机窜改特征的定义,例如,可以给予此分析功能的输出特征编号为:整张影像的失焦=200、参考点1~5的失焦程度=201~205。当一个输入产生的分析结果的整张影像的失焦为40,5个参考点的失焦分别为30,20,30,50,70。由这些结果导致的输出特征集合为{<200,40>,<201,30>,<202,20>,<203,30>,<204,50>,<205,70>}。
就明暗估量特征分析演算法来说,明暗的变化会造成影像亮度的改变,当输入影像为RGB等没有将亮度(灰阶)值分离的格式,将输入影像的像素点向量的三个量值加总除3即为明暗估量值,如果输入影像是灰阶影像或色差影像等将亮度值分离的格式,则直接取亮度的数值成为明暗估量值。对于影像中的像素点计算平均明暗估量值,即为影像的明暗估量值。此估量中并没有可以分离的特征抽取。
以此种分析为例,根据本发明相机窜改特征的定义,例如,可以给予此分析功能的输出特征编号为:平均明暗估量值=300。当一个输入产生的分析结果平均明暗估量值为25。由这些结果导致的输出特征表示为<300,25>。
就颜色估量特征分析演算法而言,对于一般彩色影像,画面中必然会存在各种颜色,因此颜色的估量希望评估出画面中颜色的变化量,如果输入影像为灰阶影像,则不进行此种估量。这个估量是针对色差影像进行,如果输入影像并非色差影像,会先转换为色差影像,然后分别计算色差影像中Cb跟Cr的数值的标准差,取其较大者为颜色估量值。此估量的Cb与Cr的量值为此分析的特征值。
以此种分析为例,根据本发明相机窜改特征的定义,例如,可以给予此分析功能的输出特征编号为:颜色估量值=400、Cb平均值=401、Cr平均值=402、Cb标准差=403、Cr标准差=404。当一个输入产生的分析结果颜色估量值为32.3、Cb平均值为203.1、Cr平均值为102.1、Cb标准差为21.7、Cr标准差为32.3。由这些结果导致的输出特征集合为{<400,32.3>,<401,203.1>,<402,102.1>,<403,21.7>,<404,32.3>}。
就移动估量特征分析演算法而言,估量移动是为了计算出摄影机是否因改变拍摄方向而造成场景改变,这边移动估量仅计算摄影机拍摄场景的变化量,要计算变化量必须记录至少一张过去Δt时间前的影像表示为I(t-Δt),将I(t-Δt)与目前影像I(t)进行点对点的像素值相减运算,如果输入影像为彩色,取像素点向量相减结果的向量长度为相减后的量值,如此运算后可以得到一个影像差异值的图形Idiff,藉由对这个差异值图形计算差异像素点的分散程度,以求出摄影机场景遭到改变的程度,计算公式如下:
MV = 1 N &Sigma; x , y ( ( I diff ( x , y ) * x 2 ) + ( I diff ( x , y ) * y 2 ) )
- ( 1 N &Sigma; x , y I diff ( x , y ) * x ) 2 - ( 1 N &Sigma; x , y I diff ( x , y ) * y ) 2
其中:x与y分别表示像素位置的水平与垂直座标值、Idiff(x,y)表示(x,y)座标位置的差异值图形的量值、N表示用来计算此估量值的像素点数。其中如果是使用整个输入影像范围的像素点作计算,则N相当于整张影像的像素点数,计算出来的MV值即为影像的移动估量值。此估量的每一取样点上的差异值(Idiff(值即为此分析使用的特征值。
以此种分析为例,根据本发明相机窜改特征的定义,例如,可以给予此分析功能的输出特征编号为:移动估量值(MV)=500、每一取样点上的差异值(Idiff(=501。当一个输入产生的分析结果移动估量值(MV)为37、对五个取样点取样的差异值(Idiff(为<38,24,57,32,34>。由这些结果导致的输出特征集合为{<500,37>,<501,<38,24,57,32,34>>}。
最后,就杂讯估量特征分析演算法而言,与移动估量的计算方式类似,会计算像素点颜色差值,因此同样会计算出差值影像Idiff,之后通过一个固定阈值Tnoise过滤出差值超过阈值的像素点,这些像素点再组合成许多连通成分,将这些连通成分根据大小排序,并取出较小的一定比例(Tnnum)算平均大小,依据平均大小及连通成分数量计算杂讯比例,计算公式如下
NO = c noise Num noise Size noise
其中,Numnoise表示连通成分数量、Sizenoise表示较小一定比例的连通成分平均大小(像素点数)、cnoise表示正规化常数。此估量无法分离出独立的特征抽取。
以此种分析为例,根据本发明相机窜改特征的定义,例如,可以给予此分析功能的输出特征编号为:杂讯比例量值(NO)=600。当一个输入产生的分析结果杂讯比例量值为42。由这些结果导致的输出特征表示为<600,42>。
图14所示为一实施范例采用表格形式来描述相机窜改事件值组集合的示意图。其中,横轴表示不同相机窜改特征(ActionID);纵轴表示不同相机窜改事件(EventID);EventID对应ActionID的表格字段表示为事件条件的条件值,N/A表示没有对应的条件值;每一EventID前方有一勾选字段,有勾表示使用者设定该相机窜改事件需要检测,没勾选表示不需要检测,其中有勾选的相机窜改事件,针对有设定的对应相机窜改特征条件,设定其特征属性为需要检测;每一EventID下方有一勾选字段,DO1表示第一个GPIO输出介面,DO2表示第二个GPIO输出介面,有勾表示该相机窜改事件满足时,需要输出讯号。
图15所示为一实施范例当使用本发明有输入GPIO输入讯号的示意图。如图所示,若使用本发明时有输入GPIO输入讯号,可将GPIO讯号定义为一个特定特征动作(ActionID),使用者可设定对应的条件参数,形成事件条件。举例来说,若输入一个GPIO输入讯号于本发明中,本发明将其定义为DI1,使用者即可针对DI1设定其对应条件。另一方面,使用者可以依照不同的特征对应条件组合新的相机窜改事件。举例来说,若于本发明相机窜改分析模块中提供另一移动估量特征分析单元,分析有兴趣的区域内的物件移动信息,并提供物件移动条件值,其输出范围限制为0~100,表示为物件的移动速度。使用者可以在视讯范围内通过此分析单元得知物件移动速度,来定义是否产生了绊索事件(如图15的绊索1)。若上述实施例中定义的GPIO输入为一红外线移动感应器,亦可用上述实施例设定的DI1条件来产生绊索事件(如图15的绊索2)。再者也可以设定多组满足条件,以避免单一讯号来源的假警报。
图16所示为本发明的可串接式的相机窜改检测收发器模块应用于一独立的相机窜改分析装置的情境示意图。在一些已架设摄影机的环境会需要额外加装装置分析摄影机监控的环境遭到改变及摄影机遭到破坏,并将分析结果传递至后端监控主机。在此应用情境下,可以将本发明装置模块当成一个独立的相机窜改分析装置,直接将本发明装置模块前端视讯输入接上A/Dconverter,将模拟讯号转换为数字讯号,并在本发明后端视讯输出接上D/Aconverter,将数字讯号转换为模拟讯号后输出。
图17所示为本发明的可串接式的相机窜改检测收发器模块应用于协同发送端装置的一相机窜改分析装置的情境示意图。如图所示,可以将本发明装置模块装置于发送端装置中,发送端装置可能为一摄影机,直接将本发明装置模块前端视讯输入接上A/D converter,将摄影机的模拟讯号转换为数字讯号,并在本发明后端则视该发送端装置的设计,可以是接D/A converter输出模拟视讯,抑或是将视讯压缩后通过网络串流输出。
图18所示为本发明的可串接式的相机窜改检测收发器模块应用于协同接收端装置的一相机窜改分析装置的情境示意图。在某些监控场合,摄影机与监控主机会存在一段距离,且摄影机的布置会较为复杂,有可能会造成摄影机处安装了本发明模块,而监控主机处也装置了本发明的模块。在此应用情境下,本发明的装设会如同图18所示。假设将摄影机处装设的本发明模块称为CTT1,监控主机处称为CTT2,这时CTT1会输出合成编码的影像,由于CTT1仅利用视讯传输通道将视讯数据传递至CTT2,因此CTT2在输入时分析输入影像中是否存在编码影像,以辨别是否需要再作相机窜改的分析。在此架构中,CTT1跟CTT2可以是完全相同的装置,亦使用相同的设定,此时会变成CTT2纯粹变成讯号转接器,用来将视讯讯号转接再输出。为了增加安全层级,亦可设定永远尝试检测编码及分析未编码的影像,这时当前端CTT1损坏或因人为改变设定,导致不正常运作时,CTT2即可立刻代替CTT1作分析处理。
本发明在传送端与接收端都存在的架构中,亦可以变化为CTT1与CTT2采用不同设定,以免运算量过大,而造成每秒分析画面过少。当CTT1的设定略过某些相机窜改特征的分析时,而CTT2则设定为分析较多相机窜改类别或是设定为完整分析时,CTT2可以根据解码得到的信息,略过已分析的结果,并继续进行额外的分析。在这种架构下,CTT1输出的窜改信息会包含分析完的特征及分析结果量值,CTT2则在接受后根据每一个数值的索引以判断哪些分析模块已经分析完毕,因此只进行没有分析过的模块。以CTT2设定为分析图14中“被遮蔽”及CTT1被设定为只作失焦分析为例,延续前面所述的失焦分析内容,假设失焦分析的特征取用5个参考点的失焦程度,且这些参考点的失焦程度的代号分别为201,...,205,其数值分别为30,20,30,50,70,整张影像的失焦程度量化分析值代号为200,量化值为40。当CTT2接收到视讯并读取窜改信息的后,可以直接判读index为200的数值得知失焦分析量化数值为40,当要分析图14的“被遮蔽”,则可以只计算视野变动量、明暗估量、颜色估量这些部分即可。
本发明提供一种可串接式相机窜改收发器模块,仅需输入数字视讯序列,便可检测相机窜改事件,产生相机串改信息,并将相机窜改特征图像化后与视讯序列合成,最后输出此一合成视讯,其特征在于通过视讯即可传递相机窜改事件及相关信息。
本发明提供一种可串接式相机窜改收发器模块,若输入视讯为本发明的输出,本发明亦可快速分离输入视讯序列中的相机窜改信息,以便使用这些既有的相机窜改信息来新增或加强视讯分析,达到可串接式的目的,以避免重复执行先前已经分析过的步骤或是亦可让使用端重新定义判断条件。
本发明提供一种可串接式相机窜改收发器模块,仅需使用视讯通道以图像化的方式即可将相机窜改信息传递给接收端的保全人员、监控装置或本发明装置模块。
本发明提供一种可串接式相机窜改收发器模块,同时具备发送与接收功能,使本收发器模块可容易搭配多种有影像输出或影像输入界面的监控装置,包含模拟摄影机,达到让模拟摄影机有相机窜改检测功能,无需因需要相机窜改检测功能而要求汰换模拟摄影机或是数字录影装置。
相较于现有技术,本发明的可串接式相机窜改检测收发器模块具有以下优点:
1.通过图像式的方式来提醒使用者事件发生;
2.可以传递事件及各种量化信息;
3.无须视讯外的其他传输通道;以及
4.可串接式使用、及执行串接式分析。
以上所述者,仅为本发明的实施范例而已,而不能依此限定本发明实施的范围。根据本发明的权利要求所作的均等变化与修饰,皆应仍属本发明专利涵盖的范围内。

Claims (20)

1.一种可串接式相机窜改检测收发器模块,用以接收输入视讯序列,产生相机窜改特征,并将相机窜改信息与视讯序列合成后输出,该可串接式相机窜改检测收发器模块包含:
一处理器单元;以及
一个储存单元,其中该储存单元储存有:
一相机窜改图像收发模块,负责接收输入视讯序列、解读该输入视讯序列中的相机窜改图像、自该输入视讯序列中分离出相机窜改图像、产生相机窜改图像、并合成相机窜改图像至视讯序列以供输出;
一信息控制模块,连接于该相机窜改图像收发模块,负责存取该输入视讯序列中的相机窜改特征,判断相机窜改事件与选择输出该包含相机窜改图像的视讯序列或将该输入视讯序列直接输出;以及
一相机窜改分析模块,连接于该信息控制模块,受该信息控制模块控制以决定是否执行分析该输入视讯序列并产生相机窜改特征,以供该信息控制模块判断之用;
其中,该处理器单元可执行该储存单元内的该相机窜改图像收发模块、该信息控制模块、以及该相机窜改分析模块。
2.如权利要求1所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像收发模块还包含:
一相机窜改图像分离元件,用于接收该输入视讯序列,检测与分离该输入视讯序列中的窜改图像及非窜改图像部份,该窜改图像会经由该相机窜改图像转换元件处理,该非窜改图像部份会经由该信息控制模块或该相机窜改分析模块处理;
一相机窜改图像转换元件,连接于该相机窜改图像分离元件,若有窜改图像,将窜改图像转换为窜改特征或窜改事件;
一合成设定描述单元,用于储存多个合成方式的描述;以及
一相机窜改图像合成元件,连接于该合成设定描述单元、该信息控制模块与相机窜改图像转换元件,以接收输入视讯序列,并根据该合成设定描述单元中储存的合成方式的描述来进行影像合成,再输出合成视讯序列;
其中,该相机窜改图像收发模块的输出影像来自该相机窜改图像合成元件、该相机窜改图像分离元件、或该原始输入视讯序列;且上述的三种输出影像来源可藉由一多工装置依据运算结果,分别连接至该信息控制模块的输出、该相机窜改分析模块的输入或相机窜改图像合成元件的输入。
3.如权利要求1所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像收发模块是用以将该相机窜改特征或相机窜改事件转换成一个图像,再与视讯序列合成后输出。
4.如权利要求3所述的可串接式相机窜改检测收发器模块,其中该图像可为二维条码中的QR Code、PDF417或汉信码。
5.如权利要求1所述的可串接式相机窜改检测收发器模块,其中该信息控制模块还包含:
一相机窜改特征描述单元,储存多个相机窜改特征信息;以及
一信息过滤元件,连接于该相机窜改特征描述单元、该相机窜改图像收发模块或相机窜改分析模块,用以负责接受并过滤来自该相机窜改图像收发模块的存取储存该相机窜改特征描述单元的该相机窜改特征信息的需求,并判断是否需要启动该相机窜改分析模块的功能。
6.如权利要求1所述的可串接式相机窜改检测收发器模块,其中该相机窜改分析模块还包含多个相机窜改分析单元,该多个相机窜改分析单元负责进行不同的分析,并将分析结果回馈至该信息控制模块的该信息过滤元件。
7.如权利要求2所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像分离元件,将该输入视讯序列中的两个连续影像进行影像相减以计算影像中每一像素点的差值;再设定一个阈值筛选该像素点,接着通过连通成分抽取来找出该像素点组合成的连通成分,直接滤除该连通成分中过大或过小的部分,再比对形状特性以过滤剩余的连通成分,所得结果即为编码影像候选者。
8.如权利要求2所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像分离元件,采用像素遮罩的方式计算差值,并过滤出符合的像素点;再设定一个阈值筛选该像素点,接着通过连通成分抽取来找出该像素点组合成的连通成分,直接滤除该连通成分中过大或过小的部分,再比对形状特性以过滤剩余的连通成分,所得结果即为编码影像候选者。
9.如权利要求8所述的可串接式相机窜改检测收发器模块,其中根据该编码方式所编码出来的编码影像为长方形或正方形,因此利用该连通成分的点数与四方型的相似程度过滤剩余的区域,相似程度的计算公式为Npt/(W×H);其中,Npt表示连通成分的点数,W跟H分别表示连通成分水平轴上相差最远的两点距离及垂直轴上相差最远的两点距离。
10.如权利要求2所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像转换元件先执行窜改图像检测,使用相机窜改图像转换元件将窜改图像转换为窜改特征或窜改事件,使用相机窜改图像转换元件将窜改特征或窜改事件转换为窜改图像以确实找出编码影像的大小及范围,并据以进行还原以移除输入影像中的编码影像。
11.如权利要求2所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像合成元件,用于执行:根据该合成设定描述单元以进行合成时间选择;分析此时间点是否需要合成编码影像;当不需要时,直接将该输入视讯序列输出;若需要合成时会接着通过合成模式选择来选择编码影像的呈现样式,然后通过相机窜改图像转换元件来进行编码以产生编码影像;的后通过合成位置选择来选择此编码影像放置的位置;最后再将此编码影像放置到视讯画面中,完成影像合成并将此合成影像作为视讯中的目前画帧输出。
12.如权利要求5所述的可串接式相机窜改检测收发器模块,其中该相机窜改特征描述单元储存了一相机窜改特征值组集合、一相机窜改事件定义集合、以及一需要检测的动作集合。
13.如权利要求12所述的可串接式相机窜改检测收发器模块,其中,该相机窜改特征值组集合还包含多个相机窜改特征,且每一相机窜改特征是以<index,value>的样式值组来表示,而index为索引值,可以是整数或是字串数据;value则为该索引值的对应值,可以是布尔值、整数、浮点数、字串、二进制数据或是另一值组;该相机窜改事件定义集合还包含多个相机窜改事件,且每一相机窜改事件是以<EventID,criteria>的样式值组来表示,而EventID可对应为相机窜改特征的index,表示事件索引值,可以是整数或是字串数据;criteria可对应相机窜改特征的value,表示该事件索引值对应的事件条件;该需要检测的动作集合还包含多个需要检测的动作,且每一个需要检测的动作是以ActionID形式来表示。
14.如权利要求5所述的可串接式相机窜改检测收发器模块,其中当该信息控制模块接受到该特征窜改图像收发模块所分离的图像及窜改特征后,该信息过滤元件用来执行下列动作:
(a)进行删除该相机窜改特征描述单元中旧的分析结果以及不需再使用的数据;
(b)将接收到的窜改特征储存至该相机窜改特征描述单元中;
(c)由该相机窜改特征描述单元中取得相机窜改事件定义;
(d)根据取得的每一窜改事件定义,列举出每一事件条件,并根据该事件条件在该相机窜改特征描述单元中找寻对应的相机窜改特征值组;
(e)判断是否所有事件条件都可被计算,若否,则执行(f),反之,则执行(i);
(f)检查缺少的特征并找到该相机窜改分析模块中对应的相机窜改分析单元;
(g)根据使用者设定选择使用作视讯分析的视讯来源;
(h)呼叫该对应的相机窜改分析单元,由该相机窜改分析模块中该对应的相机窜改分析单元进行分析后,将结果传回并执行(b);
(i)判断事件条件是否满足,若是,则执行(j),反之,则执行(k);
(j)新增警讯数据于特征值组数据集合;以及
(k)根据使用者设定的输出视讯选择挑选出必须输出的视讯,再传至该相机窜改图像收发模块以进行影像合成或输出。
15.如权利要求14所述的可串接式相机窜改检测收发器模块,其中该信息过滤元件可执行下列功能:
新增、设定或删除该相机窜改特征描述单元内的特征;
提供该相机窜改特征描述单元内该相机窜改特征值组集合的预设值;
提供呼叫该相机窜改分析模块的判断机制;
提供呼叫该相机窜改事件的判断机制;
提供呼叫该相机窜改图像收发模块的判断机制,当所有需要检测的相机窜改事件都判断完毕后,交由该相机窜改图像收发模块的该相机窜改图像合成元件执行;
提供该相机窜改分析模块输入视讯序列的判断机制;
提供该输出视讯的判断机制;以及
提供该相机窜改图像合成元件输入视讯序列的判断机制。
16.如权利要求15所述的可串接式相机窜改检测收发器模块,其中该呼叫该相机窜改分析模块的判断机制还包含:
取得该相机窜改特征描述单元中需判断的ActionID集合;
针对需判断的ActionID集合内每个元素,于该相机窜改特征描述单元中取得对应值,可得到{<ActionID,对应值>+}的值集合;
若需判断的ActionID集合中有元素无法取得对应值,交由该相机窜改分析模块执行,并将{<ActionID,value>+}传递给该相机窜改分析模块,等待该相机窜改分析模块执行完毕。
17.如权利要求15所述的可串接式相机窜改检测收发器模块,其中该呼叫该相机窜改事件的判断机制还包含:
检查该相机窜改事件<EventID,criteria>是否满足对应条件,还包含:
若对应条件为<ActionID,properties,min,max>样式,满足条件为ActionID的特征对应值应介于min到max之间;及
若对应条件为<ActionID,properties,{value*}>样式,满足条件为ActionID的特征对应值应存在于{value*}集合之中。
18.如权利要求15所述的可串接式相机窜改检测收发器模块,其中该相机窜改分析模块输入视讯序列的判断机制还包含:
当该信息过滤元件定义为需要输出重建影像时,将该输入视讯序列连结到该相机窜改图像收发模块的该相机窜改图像分离元件的输出;以及
当该信息过滤元件定义为需要输出原始影像,将该输入视讯序列连结到该相机窜改图像收发模块的该输入视讯序列。
19.如权利要求15所述的可串接式相机窜改检测收发器模块,其中该输出视讯的判断机制还包含:
当该信息过滤元件定义为需要输出合成影像时,将该输出视讯连结到该相机窜改图像收发模块的该相机窜改图像合成元件的输出;
当该信息过滤元件定义为需要输出重建影像时,将该输出视讯连结到该相机窜改图像收发模块的该相机窜改图像分离元件的输出;
当该信息过滤元件定义为需要输出原始影像,将该输出视讯连结到该相机窜改图像收发模块的该输入视讯序列。
20.如权利要求15所述的可串接式相机窜改检测收发器模块,其中该相机窜改图像合成元件输入视讯序列的判断机制还包含:
当该信息过滤元件定义为需要输出重建影像时,将该输入视讯序列连结到该相机窜改图像收发模块的该相机窜改图像分离元件的输出;以及
当该信息过滤元件定义为需要输出原始影像,将该输入视讯序列连结到该相机窜改图像收发模块的该输入视讯序列。
CN2010106056303A 2010-12-16 2010-12-24 可串接式相机窜改检测收发器模块 Pending CN102542553A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW099144269 2010-12-16
TW99144269A TWI417813B (zh) 2010-12-16 2010-12-16 可串接式相機竄改偵測收發器模組

Publications (1)

Publication Number Publication Date
CN102542553A true CN102542553A (zh) 2012-07-04

Family

ID=46233886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106056303A Pending CN102542553A (zh) 2010-12-16 2010-12-24 可串接式相机窜改检测收发器模块

Country Status (3)

Country Link
US (1) US9001206B2 (zh)
CN (1) CN102542553A (zh)
TW (1) TWI417813B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014063524A1 (zh) * 2012-10-25 2014-05-01 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN109788188A (zh) * 2017-11-15 2019-05-21 安讯士有限公司 用于控制监控摄像机的方法
US20220174076A1 (en) * 2020-11-30 2022-06-02 Microsoft Technology Licensing, Llc Methods and systems for recognizing video stream hijacking on edge devices

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5791082B2 (ja) * 2012-07-30 2015-10-07 国立大学法人横浜国立大学 画像合成装置、画像合成システム、画像合成方法およびプログラム
MY159122A (en) * 2012-09-12 2016-12-15 Mimos Berhad A surveillance system and a method for tampering detection and correction
KR101939700B1 (ko) 2012-10-17 2019-01-17 에스케이 텔레콤주식회사 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
US9832431B2 (en) * 2013-01-04 2017-11-28 USS Technologies, LLC Public view monitor with tamper deterrent and security
US9984559B2 (en) * 2014-03-03 2018-05-29 Vsk Electronics Nv Intrusion detection with motion sensing
CN106998464B (zh) * 2016-01-26 2019-02-26 北京佳讯飞鸿电气股份有限公司 检测视频图像中刺状噪声的方法及装置
CN106502179B (zh) * 2016-12-02 2019-03-15 福建省福信富通网络科技股份有限公司 一种基于车载网络的智能家居监视系统
CN109712092B (zh) * 2018-12-18 2021-01-05 上海信联信息发展股份有限公司 档案扫描图像修复方法、装置及电子设备
CN109842800B (zh) * 2019-03-04 2020-02-21 企事通集团有限公司 大数据压缩编码装置
CN110866041B (zh) * 2019-09-30 2023-05-30 视联动力信息技术股份有限公司 一种视联网监控摄像头的查询方法及装置
CN113014953A (zh) * 2019-12-20 2021-06-22 山东云缦智能科技有限公司 视频防篡改检测方法及视频防篡改检测系统
DE102020000512A1 (de) * 2020-01-28 2021-07-29 Mühlbauer Gmbh & Co. Kg Verfahren zur Sichtbarmachung von Sicherheitsinformationen eines digital gespeicherten Bildes und Bildwiedergabegerät zur Ausführung eines solchen Verfahrens
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US20220374641A1 (en) * 2021-05-21 2022-11-24 Ford Global Technologies, Llc Camera tampering detection
CN114390200B (zh) * 2022-01-12 2023-04-14 平安科技(深圳)有限公司 相机作弊识别方法、装置、设备及存储介质
CN114764858B (zh) * 2022-06-15 2022-11-01 深圳大学 一种复制粘贴图像识别方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076955A1 (en) * 2001-10-18 2003-04-24 Jukka Alve System and method for controlled copying and moving of content between devices and domains based on conditional encryption of content key depending on usage state
CN101207803A (zh) * 2006-12-20 2008-06-25 安讯士有限公司 相机篡改检测
CN100481872C (zh) * 2007-04-20 2009-04-22 大连理工大学 基于色调模式的检测多种篡改的数字图像取证方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
JP3663626B2 (ja) * 2001-09-18 2005-06-22 ソニー株式会社 ビデオ信号処理装置および方法、プログラム、情報記録媒体、並びにデータ構造
US7508941B1 (en) * 2003-07-22 2009-03-24 Cisco Technology, Inc. Methods and apparatus for use in surveillance systems
US20070067643A1 (en) * 2005-09-21 2007-03-22 Widevine Technologies, Inc. System and method for software tamper detection
US7460149B1 (en) * 2007-05-28 2008-12-02 Kd Secure, Llc Video data storage, search, and retrieval using meta-data and attribute data in a video surveillance system
TW200924534A (en) 2007-06-04 2009-06-01 Objectvideo Inc Intelligent video network protocol
US8558889B2 (en) * 2010-04-26 2013-10-15 Sensormatic Electronics, LLC Method and system for security system tampering detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076955A1 (en) * 2001-10-18 2003-04-24 Jukka Alve System and method for controlled copying and moving of content between devices and domains based on conditional encryption of content key depending on usage state
CN101207803A (zh) * 2006-12-20 2008-06-25 安讯士有限公司 相机篡改检测
CN100481872C (zh) * 2007-04-20 2009-04-22 大连理工大学 基于色调模式的检测多种篡改的数字图像取证方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014063524A1 (zh) * 2012-10-25 2014-05-01 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN109788188A (zh) * 2017-11-15 2019-05-21 安讯士有限公司 用于控制监控摄像机的方法
CN109788188B (zh) * 2017-11-15 2020-12-11 安讯士有限公司 用于控制监控摄像机的方法
US20220174076A1 (en) * 2020-11-30 2022-06-02 Microsoft Technology Licensing, Llc Methods and systems for recognizing video stream hijacking on edge devices

Also Published As

Publication number Publication date
TWI417813B (zh) 2013-12-01
TW201227621A (en) 2012-07-01
US20120154581A1 (en) 2012-06-21
US9001206B2 (en) 2015-04-07

Similar Documents

Publication Publication Date Title
CN102542553A (zh) 可串接式相机窜改检测收发器模块
CN110135269B (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN101799876B (zh) 一种视音频智能分析管控系统
CN101601287B (zh) 产生照片级真实感图像缩略图的设备和方法
CN111191576B (zh) 人员行为目标检测模型构建方法、智能分析方法及系统
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN102201146A (zh) 基于主动红外视频的零照度环境火灾烟雾识别方法
CN103544703B (zh) 数字图像拼接检测方法
CN102915432A (zh) 一种车载微机图像视频数据提取方法及装置
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN110569755A (zh) 一种基于视频的智能积水检测方法
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN112801037A (zh) 一种基于连续帧间差异的人脸篡改检测方法
Han et al. Improved visual background extractor using an adaptive distance threshold
CN111950457A (zh) 油田安全生产图像识别方法及系统
CN202815869U (zh) 一种车载微机图像视频数据提取装置
WO2020008459A1 (en) System and method for use in object detection from video stream
CN107423864A (zh) 船员行为的分析方法和装置
Pornpanomchai et al. Object detection and counting system
CN104581379A (zh) 视频预览图的选取方法及选取装置
CN104598921A (zh) 视频预览图的选取方法及选取装置
Abdulhussein et al. Computer vision to improve security surveillance through the identification of digital patterns

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704