CN103260004A - 摄影画面的对象串接修正方法及其多摄影机监控系统 - Google Patents
摄影画面的对象串接修正方法及其多摄影机监控系统 Download PDFInfo
- Publication number
- CN103260004A CN103260004A CN2012100338112A CN201210033811A CN103260004A CN 103260004 A CN103260004 A CN 103260004A CN 2012100338112 A CN2012100338112 A CN 2012100338112A CN 201210033811 A CN201210033811 A CN 201210033811A CN 103260004 A CN103260004 A CN 103260004A
- Authority
- CN
- China
- Prior art keywords
- photographic picture
- serial connection
- user
- follow
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title abstract description 12
- 238000004458 analytical method Methods 0.000 claims description 99
- 230000003993 interaction Effects 0.000 claims description 77
- 238000002715 modification method Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 27
- 238000013144 data compression Methods 0.000 claims description 10
- 235000013399 edible fruits Nutrition 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 abstract 3
- 230000000875 corresponding effect Effects 0.000 description 21
- 239000003086 colorant Substances 0.000 description 10
- 238000012163 sequencing technique Methods 0.000 description 10
- 238000010219 correlation analysis Methods 0.000 description 9
- 238000005315 distribution function Methods 0.000 description 8
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 231100000768 Toxicity label Toxicity 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明揭露一种摄影画面的对象串接修正方法,其用于多摄影机监控系统。此摄影画面的对象串接修正方法透过提供使用者互动平台,让使用者透过该互动平台选择欲追踪的特定对象。使用者互动平台上呈现了目前摄影画面、先前相关对象列表、后续相关对象列表、先前对象串接结果与后续对象串接结果。用户透过参考先前相关对象列表、后续相关对象列表、先前对象串接结果与后续对象串接结果点选对象列表中的一特定摄影画面中的指定修正对象,以藉此指示多摄影机监控系统修正特定对象的自动串接结果。
Description
技术领域
本发明有关于一种多摄影机监控系统,且特别是一种用以修正多摄影机监控系统错误串接多摄影画面的对象的对象串接修正方法以及使用此摄影画面串接修正方法的多摄影机监控系统。
背景技术
传统摄影机监控系统是针对单一监控区域提供特定事件侦测服务,同时将所有相关视讯数据与侦测结果回报至中心服务器。然而,于视讯监控的应用上,针对单一监控区域提供特定事件侦测服务的作法已经无法满足需要;特别针对事后分析的应用上,往往需要针对已发生的事件进行相关人事物的在整个监控系统中出现的时间位置轨迹的完整描述时,对单一特定环境提供特定事件侦测服务是无法满足这项需求。据此,多摄影机监控系统已成为现今监控系统中的主流。
当今所提出的多摄影机监控系统中,各系统大都将设置于特定监控区域中的各摄影机所拍摄的摄影画面传送至中心服务器,而中心服务器则将各摄影机所拍摄的画面内容进行影像分析,以获得单一画面中的对象分析结果。接着,中心服务器依据对象分析结果获得各摄影画面中的各对象的时空关联性(亦即各对象出现于各监控区域的前后顺序与所处位置的关联性),并且依据各对象的时空关联性来串接特定对象,以获得特定对象在整体多摄影机监控环境中的轨迹信息以及历史影像序列。
请参照美国公告US7242423号专利,其发明名称为「Linking zones forobject tracking and camera handoff」。此篇相关专利所提供的多摄影机监控系统会对各摄影机所拍摄的视讯数据独立地进行影像分析,以藉此取得各对象在单一摄影机监控范围中的侦测与追踪的分析结果。接着,所述摄影机监控系统依据分析结果撷取出各对象在各摄影机监控范围中的出现与离开的位置与其时间关联性,并接着根据各对象的出现与离开的位置与其时间关联性建立机率分布函式(probability distribution function)。如此,所述摄影机监控系统便可以透过上述的机率分布函式估测出出现于各摄影画面的对象的关系,以藉此串接各摄影画面中的特定对象,进而获得特定对象在整体多摄影机监控环境中的历史影像与轨迹信息。
另外,请参照中国台湾TW200943963号公开专利申请案,其发明名称为「整合式影像监视系统及其方法/INTEGRATED IMAGE SURVEILLANCESYSTEM AND MANUFACTURING METHOD THEREOF」。此篇公开专利申请案提出了一种影像拼接方法(image registration method),此影像拼接方法将多摄影机所拍摄的多个摄影画面拼接成一个单一画面,以降低使用者的监控负担。虽然,多摄影机所拍摄的多个摄影画面拼接成一个单一画面可以有效地降低使用者的监控负担,但此篇公开专利申请案并未提出相对应的智能型多摄影机监控内容分析系统。虽然拼接的多张单一画面可以作为多摄影机监控系统的视讯数据,但因为所得的拼接单一画面过大,因此依然会造成智能型多摄影机监控内容分析系统的运算负担。
前述的多摄影机监控系统皆信任所使用的影像分析与对象串联算法,并且自动地对针对各摄影画面的相同特定对象进行串接,以产生特定对象的轨迹影像。然而,因为实际环境的不同,将可能会使各种算法产生不同程度的误差。因此,前述的多摄影机监控系统可能会错误串接不同对象,而未能实时修正。
发明内容
本发明实施例提供一种多摄影机监控系统所取得的摄影画面的对象串接及其修正方法。此摄影画面的对象串接及其修正方法用于多摄影机监控系统中,且其步骤叙述如下。提供使用者互动平台给使用者,以让使用者透过使用者互动平台选择欲追踪的特定对象。依据目前摄影画面的拍摄时间为分界,将在此时间之前与之后,出现于各摄影机的监控画面中与特定对象具有相关性的相关对象的摄影画面,依据时间顺序分别陈列于用户互动平台的先前相关对象列表与后续相关对象列表。此外,系统依据对象间的相关性进行关联性评分,进而产生对象跨摄影机串接结果。将串结结果,依据前述的时间定义,将对象串接结果,分别陈列于区对象先前串接结果以及对象后续串接结果中,也就是将串接的特定对象的轨迹影像序列中,出现于目前摄影画面的拍摄时间之前且为其他摄影机拍摄的数张摄影画面,依时间顺序以及关联性评分高低排列于使用者互动平台的先前对象串接结果中。将自动串接的特定对象的轨迹影像序列中,出现于目前摄影画面的拍摄时间之后且为其他摄影机拍摄的数张摄影画面,依时间顺序以及关联性评分高低排列于使用者互动平台的后续对象串接结果中。用户透过参考先前相关对象列表、后续相关对象列表、先前对象串接结果与后续对象串接结果等数据判定串接结果是否正确,若发现结果有误,则点选对象列表中的关联性评分并非最大的一特定摄影画面中的特定对象,以藉此指示多摄影机监控系统修正特定对象的自动串接结果。
本发明实施例提供一种多摄影机监控系统,此多摄影机监控系统包括多个视讯撷取分析单元、多个视讯分析数据汇整单元、视讯分析数据数据库、多视讯内容分析单元与用户互动平台。每一个视讯撷取分析单元是由摄影机串接一视讯分析装置所实现,且配置于多摄影机监控系统的监控环境的各位置,其中视讯分析装置可为一计算机或为一嵌入式系统所构成。每一个视讯撷取单元串接该相关的视讯分析数据汇整单元。视讯分析数据数据库串接多个视讯分析数据汇整单元,且多视讯内容分析单元串接视讯分析数据数据库。用户互动平台串接视讯分析数据分析单元,其用以让用户选择欲追踪的特定对象,并且让用户透过参考使用者互动平台所提供的先前相关对象列表、后续相关对象列表、先前对象串接结果与后续对象串接结果,透过点选后续对象列表中的关联性并非最大的一特定摄影画面中的指定修正对象,以藉此指示分析单元修正特定对象的自动串接结果。
使用者互动平台依据目前摄影画面的拍摄时间为分界,将在此时间之前与之后,出现于各摄影机的监控画面中与特定对象具有相关性的相关对象的摄影画面,依据时间顺序分别陈列于用户互动平台的先前相关对象列表与后续相关对象列表。除此之外,系统依据对象间的相关性进行关联性评分,进而产生对象跨摄影机串接结果。将串结结果,依据前述的时间定义,将对象串接结果,分别陈列于区对象先前串接结果以及对象后续串接结果中,也就是将串接的特定对象的轨迹影像序列中,出现于目前摄影画面的拍摄时间之前,且为其他摄影机拍摄的包括该特定对象的数张摄影画面,依时间顺序以及关联性评分高低排列于使用者互动平台的先前对象串接结果中。将自动串接的特定对象的轨迹影像序列中,出现于目前摄影画面的拍摄时间之后,且为其他摄影机拍摄的包括该特定对象的数张摄影画面,依时间顺序以及关联性评分高低排列于使用者互动平台的后续对象串接结果中。用户透过参考先前相关对象列表、后续相关对象列表、先前对象串接结果与后续对象串接结果点选后续对象列表中的关联性评分并非最大的一特定摄影画面中的特定对象,以藉此指示多摄影机监控系统修正特定对象的自动串接结果。
综上所述,本发明实施例所提供的多摄影机监控系统具有摄影画面的对象串接修正方法,且多摄影机监控系统具有一个用户互动平台给予使用者操作,以使用者透过执行摄影画面的对象串接修正方法来修正传统多摄影机监控系统自动串接对象可能发生的错误。
为使能更进一步了解本发明的特征及技术内容,请参阅以下有关本发明的详细说明与附图,但是此等说明与所附图式仅是用来说明本发明,而非对本发明的权利范围作任何的限制。
附图说明
图1本发明实施例提供的多摄影机安全监控系统的方块图。
图2为本发明实施例的摄影画面的对象串接修正方法于用户互动平台上的接口的示意图。
图3A为本发明实施例的使用者选择摄影机进行实时监控时的用户互动平台上的接口示意图。
图3B为本发明实施例的特定摄影机监控窗口的详细示意图。
图4A为本发明实施例的用户选择特定对象进行实时监控时的用户互动平台上的接口示意图。
图4B为本发明实施例的监控对象窗口的详细示意图。
图5A为本发明实施例的使用者选择摄影机进行事后检阅时的用户互动平台上的接口示意图。
图5B为本发明实施例的特定摄影机监控窗口的详细示意图。
图6A为本发明实施例的用户选择特定对象进行事后检阅时的用户互动平台上的接口示意图。
图6B为本发明实施例的监控对象窗口的详细示意图。
图7为本发明实施例的多摄影机监控系统串接对象错误时的监控对象窗口的详细示意图。
图8是本发明实施例摄影画面的对象串接修正方法的流程图。
主要组件符号说明
100:多摄影机监控系统
110:视讯撷取分析单元
120:视讯分析数据汇整单元
130:视讯与分析数据数据库
140:多视讯内容分析单元
150:使用者互动平台
210:监控环境窗口
211:环境示意图
212:播放控制单元
213:时间轴控制组件
210:摄影机列表窗口
230:监控对象窗口
231:显示区
232:先前物件列表
233:后续物件列表
234:先前对象串接结果
235:后续对象串接结果
240:多摄影机摄影画面窗口
241:独子窗口
242:分割画面
250:特定摄影机监控窗口
S800~S814:步骤流程
具体实施方式
为了充分了解本发明,于下文将以实施例并配合附图作详细说明。然而,要说明的是,以下实施例并非用以限定本发明。
请参照图1,图1本发明实施例提供的多摄影机安全监控系统的方块图。多摄影机监控系统100包括多个视讯撷取分析单元110、多个视讯分析数据汇整单元120、视讯与分析数据数据库130、多视讯内容分析单元140与用户互动平台150,其中多个视讯撷取分析单元110被设置在多个不同位置以针对多个不同监控区域进行监控。每一个视讯撷取分析单元110串接于对应的一个视讯分析数据汇整单元120,且这些视讯分析数据汇整单元120更串接于视讯与分析数据数据库130。视讯分析数据数据库130串接多视讯内容分析单元140,而多视讯内容分析单元140串接至用户互动平台150。
视讯撷取分析单元110用以取得所监控的监控区域的摄影画面,并且针对摄影画面进行影像分析,进而撷取出摄影画面中的各对象及各对象中具有物理意义的特征数据,以获得对象分析结果。接着,视讯撷取分析单元110将影像序列与对象分析结果传送至对应的视讯分析数据汇整单元120,其中视讯撷取分析单元110于连续多个时间点撷取的摄影画面可以构成一个影像序列。
更详细地说,视讯撷取分析单元110可以藉由数字摄影机串接视讯分析装置来实现,其中视讯分析装置可由一计算机实现,亦可以由一嵌入式系统(embedded system)平台所构成。数字摄影机用以撷取各时间点的摄影画面,而视讯分析装置则分析所取得的摄影画面,并取得包含了分析所得的对象专属的编号、位置与特征等对象分析结果,而后将对象分析结果与影像序列传递至视讯分析数据汇整单元120。
为了有效率地传输影像序列与对象分析结果,视讯分析数据汇整单元120用以将接收的对象分析结果与影像序列进行相对应的数据压缩编辑,以产生数据压缩编辑结果。然后,视讯分析数据汇整单元120会将数据压缩编辑结果传递视讯与分析数据数据库130储存,其中数据压缩编辑结果具有对象分析结果与摄影画面的信息。
更详细地说,视讯分析数据汇整单元120将透过视频压缩法(如H.264等高压缩效果的视讯编码方法)对影像序列进行数据压缩编辑,以减少传输带宽的需求。另外,对于对象分析结果而言,视讯分析数据汇整单元120先将时序信息插入对象分析结果中,以此确认对象分析结果与摄影画面的对应关系。接着,视讯分析数据汇整单元120依据使用所需进行相对应的信息转换(诸如数据压缩等方法),以降低传输数据量。
为了有效的同步摄影画面与对象分析结果的关联,同时减少传输数据量,视讯分析数据汇整单元120除了将时序信息插入对象分析结果中外,视讯分析数据汇整单元120还能够以数据隐藏技术或使用视频压缩标准所定义的用户数据区(user data zone),将各摄影画面的对象分析结果隐藏于影像序列所对应的视讯数据中。举例来说,视讯分析数据汇整单元120将压缩后的对象分析结果的位数据依序透过数据隐藏方式将这些由经过处理的视讯分析数据所构成的位数据隐藏于影像序列对应的视讯数据的离散余弦转换(DCT)参数中。
视讯与分析数据数据库130用以储存视讯分析数据汇整单元120所传递的数据压缩编辑结果,因为数据压缩编辑结果具有对象分析结果与摄影画面的信息,因此视讯撷取分析单元110于监控区域所拍摄的摄影画面与对象出现前后的时空关系都会被储存至视讯与分析数据数据库130中,以备多视讯内容分析单元140读取对特定对象进行分析时所需要的数据。
多视讯内容分析单元140自视讯与分析数据数据库130中读取对特定对象进行分析时所需要的数据,并分析各视讯撷取分析单元110的各摄影画面内的对象与特定对象的关联性,以串接目前分析的特定对象的完整历史轨迹信息,进而产生特定对象的历史影像序列。
更详细地说,多视讯内容分析单元140从视讯与分析数据数据库130中调阅对特定对象进行分析时所需的数据,并取出嵌于数据的相对应的对象分析结果,藉此分析特定对象与各摄影画面内的各对象之间的相关性进行关联性评分,而获得相关性分析结果。接着,多视讯内容分析单元140依据相关性分析结果将各摄影画面中出现的特定对象进行串接,而产生关联性评分最大的串接结果,其中此关联性评分最大的串接结果即为特定对象的轨迹影像。接着,多视讯内容分析单元140将所产生的特定对象的轨迹影像透过用户互动平台150提供给使用者观看,并且将特定对象的轨迹影像所对应的视讯数据反馈至视讯与分析数据数据库130储存。
换句话说,跨越视讯撷取分析单元110的监控区域的特定对象会被记录于各视讯撷取分析单元110的摄影画面中,而多视讯内容分析单元140可以依据时间顺序,将多个摄影画面的特定对象串接,而形成特定对象的轨迹影像。此特定对象的轨迹影像可以让用户透过用户平台150快速观看此特定对象在各监控区域中何时出现与离开,进而了解特定对象在整体多摄影机监控环境中的完整行为历史信息。
用户互动平台150可以提供用户自视讯与分析数据数据库130取得各监控区域的各摄影画面与直接地针对各监控区域进行同步拨放控制。另外,使用者互动平台150还可以依据使用者所设定的监控条件进行特定事件侦测与特定对象追踪。
除此之外,有鉴于传统多摄影机监控系统并无法保证其所自动产生的特定对象的轨迹影像为正确串接结果,因此此实施例的使用者互动平台150还可以提供用户对特定对象的轨迹影像进行修正,以使最后呈现的轨迹影像为正确串接结果。
对应于用户互动平台150具有修正轨迹影像的能力,多视讯内容分析单元140除了提供关联性评分最大的串接结果之外,多视讯内容分析单元140还必须提供其他关联性评分较大的串接结果,以让使用者在使用者互动平台150直接对特定对象的轨迹影像进行修正,其中这些串接结果是依据其关联性评分的高低进行排列。
若使用者未透过使用者互动平台150来对轨迹影像进行修正,则多视讯内容分析单元140会默认关联性评分最大的串接结果为正确串接结果,并接着继续之后的串接工作,以产生特定对象的轨迹影像。相反地,若用户认为多视讯内容分析单元140所产生的具有最高关联性评分的串接结果为错误串接结果,则使用者可以透过使用者互动平台150选择其他的串接结果,以藉此修正串接错误,而产生特定对象的正确轨迹影像。
举例来说,多视讯内容分析单元140可藉由依据使用者于使用者互动平台150所预定分析的事件的时间,向视讯与分析数据数据库130调阅所需分析的数据压缩编辑结果。接着,多视讯内容分析单元140分析分散于各摄影画面的对象,例如对象于各摄影画面出现、离开、行进轨迹、对象特征、甚至是过往历史的对象出现时的日期、时间、天气等信息。透过分析这些信息,多视讯内容分析单元140得以了解各对象在监控环境中的各种条件下出现的机率值以及可能行进的轨迹分布,便可以获得各对象的相关性分析结果,并藉此串接散落于不同视讯撷取分析单元110所拍摄的摄影画面中的相同对象,进而得到所有对象在整体监控环境中的完整轨迹。
视讯撷取分析单元110所获得的对象分析结果可以与多视讯内容分析单元140所获得的相关性分析结果连结。若要令各对象出现于对应的摄影画面时,该对象可以具有对象编号、位置撷取出的对象特征等对象信息显示于对象出现的监控环境时,多视讯内容分析单元140会将多个可能的对象的编号、出现机率、监控环境位置等信息汇整成相关性分析结果,并且将此相关性分析结果嵌入对应的视讯数据中。接着,多视讯内容分析单元140将嵌入相关性分析结果的视讯数据反馈至视讯与分析数据数据库130进行储存,以备使用者互动平台150呈现所需。
多视讯内容分析单元140可以利用对象的先前与目前空间、时间、对象特征等对象信息来串接各摄影画面的相同对象。上述对象信息可依据分析数据的取得难易、出现的顺序以及其特性而可分为三个层级。
第一个层级的对象信息是对象的出现位置与速度。藉由对象出现、消失的位置以及当时的行进速度,多视讯内容分析单元140可以推估该对象下一刻可能出现的位置。更详细地说,多视讯内容分析单元140可透过各摄影画面中各对象的出现、消失以及用户设定的视讯撷取分析单元110的空间位置等信息,配合图形理论(graph theory)的推算,进而建构出各对象的机率分布函数(probability distribution function,PDF)。接着,多视讯内容分析单元140利用此机率函数进行关联性评分,藉此串接分布于各摄影画面的相同对象。
举例来说,在捷运站的监控环境中,对一刚进入捷运站入口的人员而言,下一刻会出现的位置最高机率应为在捷运入口附近的监控区域,如收费网关的位置。相对地,此对象因尚未经过收费网关,故此对象出现于等候月台的机率为零。据此,多视讯内容分析单元140会分析出人员若出现在某位置时,此人员下一刻出现在各视讯撷取分析单元110所处的监控区域的机率分布函数。换言之,多视讯内容分析单元140可以藉此机率分布函数来串接出现于各监控画面的相同对象,而获得此相同对象的轨迹信息与历史影像。
第二个层级的对象信息为对象特征,多视讯内容分析单元140可用以比对在不同时刻、监控区域中出现的对象,并据此串接出现于各摄影画面中的相同对象。更详细地说,多视讯内容分析单元140依据机率分布函数取得欲进行串接的对象的可能候选对象,并利用分析所得的对象行进方向滤除较低可能的可能候选对象。接着,多视讯内容分析单元140再透过比对对象于摄影画面中的对象特征(如颜色、外形等信息)来串接对象,也就是进行相关性分析时,同时考虑机率分布函数以及对象特征信息,进而取得较佳的关联性评分结果。
再以捷运站的监控环境为例说明,多视讯内容分析单元140对捷运站收费闸口离开的人员分析其离开收费闸口的速度、方向以及人员离开收费闸口的监控影像的对应位置。接着,多视讯内容分析单元140还分析出上述人员下一刻可能会出现再哪些视讯撷取分析单元110的摄影画面中,并且会比对这些视讯撷取分析单元110的摄影画面中的人员的特征(如颜色)而串接各摄影画面中的人员的行为轨迹。
第三个层级的对象信息为历史数据,多视讯内容分析单元140可以统计过往的视讯数据,进而分析各对象所有可能的移动轨迹,计算出各种轨迹的分布机率,并用以推估分析对象的可能出现位置。更详细地说,多视讯内容分析单元140可以对监控环境中的所有历史数据(过往的视讯数据)与由其中所分析出的对象信息进行数据分析与数据统计,以获得对应于此监控环境的相对可信的对象统计信息。另外,对象统计信息可进一步地依据时间、环境参数等不同条件进行分类。如此,多视讯内容分析单元140可以得知在特定时间、环境参数的条件下,监控环境中的对象的历史行为轨迹。也就是进行相关性分析时,同时考虑机率分布函数、对象特征信息以及历史对象行为轨迹分类信息,进而取得较佳的关联性评分结果。
再以捷运站监控环境为实施例,多视讯内容分析单元140针对某捷运站的过往视讯数据进行分析统计,并在统计一段特定时间长度的影像序列后,得知人员在上下课时间时的历史行为轨迹。例如,在上下课时间时,穿着学生制服的民众将仅会经过各出入口,穿越捷运上层通道,然后离开捷运站,并不会进入捷运站搭乘捷运;而在上下班时间时,大多进入捷运站的人员将经过捷运站出入口,穿越收费网关,而后搭乘捷运。
由此,多视讯内容分析单元140可得知此捷运站的出入人员的流动统计资料,并藉此预估监控区域出现的人员可能的行进方向。例如,在上下课时间时,若有一个人员穿着特定的学生制服,则此人员穿越上层通道离开捷运站的机率将高于穿越收费网关搭乘捷运的机率。
另外,对跨视讯撷取分析单元110的摄影画面的对象进行串接时,多视讯内容分析单元140将可得到对象轨迹分布的关联性评分拓谱图。关联性评分拓谱图中的各个结点表示为进行追踪的可能对象,藉由串联起所有最高关联性评分的可能对象,将可取得对象的行为轨迹。
图2为本发明实施例的摄影画面的对象串接修正方法于用户互动平台上的接口的示意图。用户互动平台上的接口包括监控环境窗口210、摄影机列表窗口220、至少一监控对象窗口230与多摄影机摄影画面窗口240。摄影画面的对象串接修正方法可以使用软件来实现,且用户互动平台上的接口可以实现于各种操作系统的平台上。然而,摄影画面的对象串接修正方法与用户互动平台上的接口的实现方式却不以此为限。
监控环境窗口210包括用以呈现整体监控环境的环境示意图211,环境示意图211可以让使用了解监控环境的地理特性(例如走廊位置与房间布局的信息)、视讯撷取分析单元110的分布状况(亦即分布位置)与监控环境中的特定对象的行为轨迹。使用者可以设定环境示意图211自地理环境图、建筑架构图与监控设施分布图中选择其中之一作为环境示意图211,或者使用者亦可以选择上述部份或全部的图进行迭合,并以迭合的图作为环境示意图211。除此之外,用户亦可以透过三维计算机图像(3D computer graphics)来呈现境示意图211。
监控环境窗口210还包括播放控制单元212与时间轴控制组件213。播放控制单元212是用以对特定对象的事后历史轨迹追踪、呈现与修正时得以有效地操控视讯数据的播放(前进、后退),而时间轴控制组件213可以控制视讯数据于特定时间点开始播放。播放控制单元212可连动控制所有呈现于用户接口中的视讯数据的播放,以同步地将多摄影监控系统100的各视讯撷取分析单元110的视讯数据于此用户互动平台150的接口上播放。
摄影机列表窗口220是用以呈现系统中所有的摄影机(即视讯撷取分析单元110中所使用的摄影机)的编号以及摄影机在监控环境中的位置之间的关系。各摄影机可以特定的识别方式来显示与区分,例如以不同颜色区分各摄影机。摄影机列表窗口220内容与监控环境窗口210的内容同步显示。当用户点选摄影机列表窗口220的其中一个摄影机时,所选择的摄影机将以醒目色标记呈现于监控环境窗口210与多摄影机列表窗口220中,而未被选择的摄影机则将以非醒目色标记呈现于监控环境窗口210与多摄影机列表窗口220上。
监控对象窗口230的显示画面231是用以呈现使用者所选择的摄影机目前所拍摄的摄影画面。监控对象窗口230可以持续呈现所选择的对象,纵使此选择的对象已经离开原选定的摄影机的监控区域。监控对象窗口230可以让用户针对对象串接的结果进行修正(亦即修正选择对象的行为轨迹),以更正多视讯内容分析单元140错误串接摄影画面的对象。
更详细地说,用户透过监控对象窗口230可选择同时或部分呈现出目前正在追踪的对象的先前、后续的可能对象(透过先前对象列表232、后续相关对象列表233来呈现)、先前及后续的串接结果(透过先前对象串接结果234、后续串接结果235来呈现),以让使用者得以依此监控对象窗口230针对对象串接的结果进行修正,以避免多多视讯内容分析单元140错误串接摄影画面的对象。同时为了令用户得以明确了解可能对象的完整状态,先前、后续的可能对象呈现方式可为一影像序列拨放或是完整对象的截图亦或是透过迭加方式产生的对象轨迹影像。影像序列拨放是指拨放该可能对象在该摄影机监控范围内所记录的影像序列。完整对象的截图是指该对象完整呈现于该摄影机监控范围时所撷取的完整监控影像,而对象轨迹影像则将该可能对象在该摄影机监控范围内所记录的影像序列透过特定的图像处理迭加方式产生的特殊处理的单一影像。
多摄影机摄影画面窗口240是用以呈现用户选定的数个摄影机所撷取的实时摄影画面,亦或用以播放视讯与分析数据数据库130中所记录的多个选定摄影机的历史视讯数据。多摄影机摄影画面窗口240内可以由数个特定组合的视讯播放窗口所组合而成,亦可为由至少一个浮动窗口呈现多个摄影机所拍摄的摄影画面。
当使用者于使用者互动平台150对监控环境进行实时监控时,用户互动平台上的接口会具有监控环境示意图210、摄影机列表窗口220与多摄影机摄影画面窗口240。多摄影机摄影画面窗口240呈现了数个甚至是所有的实时摄影画面,所呈现的摄影画面皆可由视讯与分析数据数据库130中取得。各摄影机的摄影画面可为独立子窗口241,且各独立子窗口241的大小与位置可由用户自行设定。另外,各摄影机的摄影画面亦可为分割画面242中的其中一个画面,且其分布方式由使用者自行设定。
图3A为本发明实施例的使用者选择摄影机进行实时监控时的用户互动平台上的接口示意图。当用户由多摄影机摄影画面窗口240、监控环境窗口210中的摄影机分布位置或多摄影机列表窗口220点选其中一个摄影机时,特定摄影机监控窗口250立即产生,同时在监控环境窗口210与摄影机列表窗口220将被选择的摄影机以醒目色(如红色)标记,而其他未被选择的摄影机则以非醒目色(如暗灰色)标记。另外,多摄影机摄影画面窗口240将缩小至接口的画面下缘;或者,多摄影机摄影画面窗口240将缩小而位于接口的画面边缘,且其他多摄影机的摄影画面择以缩小画面来呈现。
被选择的摄影机目前所拍摄的摄影画面会呈现于特定摄影机监控窗口250的显示画面231。另外,先前相关对象列表232会呈现被选择的摄影机的邻近摄影机于数秒前的所拍摄的摄影画面,后续相关对象列表233则呈现被选择的摄影机的邻近摄影机目前所拍摄的摄影画面。另外,因用户尚未点选要追踪的对象,故先前对象串接结果234与后续对象串接结果235并不需要呈现任何内容,且可以暗色系标记呈现,亦或是不用会出现于特定摄影机监控窗口250中。
举例来说,当使用者点选1号摄影机时,对应于1号摄影机使的特定摄影机监控窗口250会立即产生。同时,摄影机列表窗口220中的1号摄影机将以红色标记呈现,其余摄影机则以暗灰色标记呈现。环境示意图中的位置A将呈现红色外框,其余位置(位置B~位置H)将呈现半透明暗灰色外框。因为实时监控无需使用播放控制单元212与时间轴控制组件213,因此播放控制单元212与时间轴控制组件213以半透明方式呈现。除此之外,多摄影机摄影画面窗口240则将缩小至接口的画面下缘。
图3B为本发明实施例的特定摄影机监控窗口的详细示意图。如同前面所述,因使用者尚未点选要追踪的对象,故先前对象串接结果234与后续对象串接结果235并不需要呈现任何内容,且可以暗色系标记呈现。
多摄影机监控系统100除了会将被选择摄影机目前所拍摄的摄影画面呈现于显示区231外,还会将被选择的摄影机的编号标记于特定摄影机监控窗口250上,例如,将1号摄影机标记于特定摄影机监控窗口250的上缘。另外,多摄影机监控系统100还可以在的显示区231上标记拍摄时间。
除此之外,多摄影机监控系统100还会撷取摄影画面中的对象信息(包括对象的出现位置、对象编号与对象特征等,但不以此为限),并将这些对象信息标记于显示区231的摄影画面的对象。对象的出现位置会以方框标记,且在方框周围描述对象的对象信息(如对应机率值最高的对象编号、对象型态、颜色特征、目前存在于监控环境中的空间信息等信息,但不以此为限)。
举例来说,于图3B中,人物甲出现的位置会以方框标记,且对象信息标记于方框附近,其中人物甲的对象编号对象型态与颜色特征分别为123、人与棕色。同样地,人物乙出现的位置会以方框标记,且对象信息标记于方框附近,其中人物乙的对象编号对象型态与颜色特征分别为126、人与红/灰色。
先前相关对象列表232除了会呈现被选择的摄影机的邻近摄影机于数秒前的所拍摄的摄影画面外,还会有拍摄时间与摄影机编号标记于先前相关对象列表232中。同样地,后续相关对象列表233除了会呈现被选择的摄影机的邻近摄影机目前所拍摄的摄影画面,还会有拍摄时间与摄影机编号标记于后续相关对象列表233中。于先前相关对象列表232与后续相关对象列表233中,摄影画面的排序方式是以摄影机编号或与被选择的摄影机的远近来排列。
图3B的先前相关对象列表232与后续相关对象列表233中,摄影画面的排序方式是以摄影机编号来排列,因此邻近于1号摄影机的2、3、4、6号摄影机所拍摄的摄影画面会依序排列来呈现。于图3B中,显示区所显示的1号摄影机目前所拍摄的摄影画面的拍摄时间为12:06:30,因此,后续相关对象列表233的2、3、4、6号摄影机所拍摄的摄影画面的拍摄时间亦为12:06:30,另外,先前相关对象列表232的2、3、4、6号摄影机所拍摄的摄影画面的拍摄时间则为12:06:20。
图4A为本发明实施例的用户选择特定对象进行实时监控时的用户互动平台上的接口示意图。当用户点选特定对象后,特定摄影机监控窗口250将变为监控对象窗口230。例如,用户点选对象编号“123”的对象后,用户互动平台150上的接口将转变,特定摄影机监控窗口250将变为对象编号“123”的对象的监控对象窗口230,且因此接口提供用户控制所选择的特定对象于各时间点的摄影画面,因此播放控制单元212与时间轴控制组件213不再以半透明的方式呈现,而是以可用状态的方式呈现。
在监控环境窗口210中,除了位置A将呈现红色外框,其余位置(位置B~位置H)将呈现半透明暗灰色外框。同时,监控环境窗口210呈现了所选择的特定对象的历史行为轨迹。特定对象的历史行为轨迹可以透过分析过滤的方式来取得。更详细地说,首先在视讯与分析数据数据库130中取得属于对象编号“123”的对象信息。接着,透过相对应的时间与对象存在于监控环境中的空间信息串接出此特定对象的历史行为轨迹。另外,为避免进行多次的资料撷取与分析,使用者互动平台150更可以将暂存目前正在观看的摄影画面中的所有对象的对象信息。
图4B为本发明实施例的监控对象窗口的详细示意图。图4B用以详细地表示图4A中的监控对象窗口230,监控对象窗口230中央的显示区231用以呈现目前的摄影画面,且目前的显示区231还标记对应于目前的摄影画面的摄影机编号、拍摄时间与各对象的对象信息等。举例来说,图4B的目前的摄影画面为如1号摄影机所拍摄,因此显示区231有1号摄影机的标记。
除此之外,用户所点选的特定对象可以醒目色(如红色等颜色)的外框标示,而其他对象将以非醒目色虚线外框标示。此处的先前相关对象列表232可用以呈现出现于先前时间且不同的摄影机拍摄出的可能对象的摄影画面,这些可能对象的摄影画面将于先前相关对象列表232中依据对象相关机率的高低顺序来排列。此处的后续相关对象列表233可用以呈现出现于目前时间几秒后且不同的摄影机拍摄出的可能对象的摄影画面,这些可能对象的摄影画面将于先前相关对象列表233中依据对象相关机率的高低顺序来排列。
举例来说,在图4B的先前相关对象列表232中,对应于目前的摄影画面的对象编号“123”的对象的对象相关机率高低排列的可能对象依序为3号摄影机的摄影画面中出现的的对象编号“123”的对象、4号摄影机的摄影画面中出现的的对象编号“147”的对象与6号摄影机的摄影画面中出现的的对象编号“169”的对象。于此实施例中,多视讯内容分析单元140认为3号摄影机的摄影画面中出现的的对象编号“123”的对象与目前的摄影画面中的对象编号“123”的对象应为相同对象,因此3号摄影机的摄影画面中出现的的对象编号“123”的对象,而4号摄影机的摄影画面中出现的的对象编号“147”的对象与6号摄影机的摄影画面中出现的的对象编号“169”的对象则以非醒目虚线外框标示之。
另外,呈现于先前相关对象列表232中的摄影画面可为一可能对象在摄影机最终完整呈现的摄影画面外,亦可为一可能对象在摄影机的监控区域内的部份摄影画面,亦或是可能对象出现于监控区域内的行为轨迹迭加后的摄影画面。总而言之,先前相关对象列表232用以呈现可能对象的摄影画面的方式并非用以限定本发明。
另外,若后续相关对象列表233的摄影画面中存在与所选定的特定对象为相同对象时,则此摄影画面会被排列至最高位置。举例来说,因4号摄影机的监控区域与1号摄影机的监控区域重迭,因此选定的特定对象(例如对象编号“123”的对象)会同时出现于1号摄影机与4号摄影机机拍摄的摄影画面中。因为4号摄影机所拍摄的摄影画面中含有选定的特定对象(对象编号“123”的对象),因此4号摄影机所拍摄的摄影画面被置放于后续相关对象列表233中的第一优先位置呈现。同时,4号摄影机所拍摄的摄影画面中的被选定的对象也将以醒目的对象外框标示。
先前对象串接结果234则用以呈现被选定的对象先前所出现的不同摄影机的摄影画面,且这些摄影画面会依据时间顺序来排列呈现。呈现于先前对象串接结果234中的摄影画面可以是可能对象在摄影机最终完整呈现的摄影画面外,亦可以是可能对象在摄影机的监控区域内的部份摄影画面,或者是可能对象出现于监控区域内的行为轨迹迭加后的摄影画面。总而言之,先前对象串接结果234呈现的方式并非用以限定本发明。
由于图4B为于实时监控的情况下的监控对象窗口230,因此后续对象串接结果235在实时监控的情况下并无法得知所选定的特定对象的未来行为轨迹,故后续对象串接结果235可以依旧暗色系标记来呈现,或者甚至是不出现于监控对象窗口230中。
若使用者希望看到先前的选定的特定对象的摄影画面,则可以拉选时间轴控制组件213,亦或是透过播放控制单元212,即可在监控对象窗口230中观看选定对象在指定时间的摄影画面。换句话说,使用者互动平台150还具有针对特定对象进行事后检阅的功能。
当使用者透过使用者互动平台150欲检阅特定时段的的摄影画面时,此时使用者互动平台150上所呈现的接口包含监控环境窗口210、摄影机列表窗口220、播放控制单元212、时间轴控制组件213与多摄影机摄影画面窗口240。多摄影机摄影画面窗口240呈现了数个甚至是所有的使用者指定的特定时段的摄影画面,且这些摄影画面可以由视讯与分析数据数据库130中取得。各摄影画面可以由独立子窗口来呈现,或可以由分割画面中的其中一个画面来呈现。如同前面所述,独立子窗口大小与位置可由用户自行设定,且分割画面中的各画面的分布方式也可以由使用者自行定义。用户可以使用播放控制单元212与时间轴控制组件213对所有的摄影画面同步进行拨放或操控,以藉此观看到监控环境中所需的摄影画面。
请参照图5A与图5B,图5A为本发明实施例的使用者选择摄影机进行事后检阅时的用户互动平台上的接口示意图,图5B为本发明实施例的特定摄影机监控窗口的详细示意图,其中图5B的详细示意图对应于使用者选择摄影机进行事后检阅时的特定摄影机监控窗口。
当用户由多摄影机摄影画面窗口240、监控环境窗口210中的摄影机分布位置或摄影机列表窗口220中点选某特定摄影机时,特定摄影机监控窗口250会立即产生。同时,在监控环境窗口210与摄影机列表窗口220会将选定的摄影机以醒目色(如红色)标示,而其他未被选定的摄影机则以非醒目色(如暗灰色)标示。另外,多摄影机摄影画面窗口240将缩小至接口的画面下缘;或者,多摄影机摄影画面窗口240将缩小而位于接口的画面边缘,且其他多摄影机的摄影画面则以缩小画面来呈现。
被选择的摄影机目前所播放的摄影画面会呈现于特定摄影机监控窗口250的显示画面231。另外,先前相关对象列表232会呈现被选择的摄影机的邻近摄影机于数秒前的所播放的摄影画面,后续相关对象列表233则呈现被选择的摄影机的邻近摄影机于数秒后所播放的摄影画面。另外,因用户尚未点选要追踪的对象,故先前对象串接结果234与后续对象串接结果235并不需要呈现任何内容,且可以暗色系标记呈现,亦或是不出现于特定摄影机监控窗口250中。
举例来说,当使用者点选1号摄影机时,对应于1号摄影机使的特定摄影机监控窗口250会立即产生。同时,摄影机列表窗口220中的1号摄影机将以红色标记呈现,其余摄影机则以暗灰色标记呈现。环境示意图中的位置A将呈现红色外框,其余位置(位置B~位置H)将呈现半透明暗灰色外框。除此之外,多摄影机摄影画面窗口240则将缩小至接口的画面下缘。
图6A为本发明实施例的用户选择特定对象进行事后检阅时的用户互动平台上的接口示意图。当用户点选特定对象后,特定摄影机监控窗口250将变为监控对象窗口230。例如,用户点选对象编号“123”的对象后,用户互动平台150上的接口将转变,特定摄影机监控窗口250将变为对象编号“123”的对象的监控对象窗口230。
在监控环境窗口210中,除了位置A将呈现红色外框,其余位置(位置B~位置H)将呈现半透明暗灰色外框。同时,监控环境窗口210呈现了所选择的特定对象的历史行为轨迹,其中监控环境窗口210所标记的圆点表示对象于监控环境中的位置,故此圆点将依据播放时间时对象所在位置而变动,且可以闪烁的方式呈现,以凸显选择对象在监控环境中的位置。据此,所选定的对象的整个行为轨迹将依据所得的串接对象的结果而获得。
图6B为本发明实施例的监控对象窗口的详细示意图。图6B用以详细地表示图6A中的监控对象窗口230,监控对象窗口230中央的显示区231用以呈现目前的摄影画面,且目前的显示区231还标记对应于目前的摄影画面的摄影机编号、拍摄时间与各对象的对象信息等。举例来说,图6B的目前的摄影画面为如1号摄影机所拍摄,因此显示区231有1号摄影机的标记。
先前相关对象列表232可用以呈现出现于先前时间且不同的摄影机拍摄出的可能对象的摄影画面,这些可能对象的摄影画面将于先前相关对象列表232中依据对象关联性评分的高低顺序来排列。
另外,呈现于先前相关对象列表232中的摄影画面可以是可能对象在摄影机最终完整呈现的摄影画面外,亦可以是可能对象在摄影机的监控区域内的部份摄影画面,或者是可能对象出现于监控区域内的行为轨迹迭加后的摄影画面。总而言之,先前相关对象列表232用以呈现可能对象的摄影画面的方式并非用以限定本发明。
此处的后续相关对象列表233可用以呈现出现于目前播放时间几秒后且不同的摄影机拍摄出的可能对象的摄影画面,这些可能对象的摄影画面将于先前相关对象列表233中依据对象关联性评分的高低顺序来排列。
先前对象串接结果234则用以呈现被选定的对象先前所出现的不同摄影机的监控区域中的摄影画面,且这些摄影画面会依据时间顺序来排列呈现。呈现于先前对象串接结果234中的摄影画面可以是可能对象在摄影机最终完整呈现的摄影画面外,亦可以是可能对象在摄影机的监控区域内的部份摄影画面,或者是可能对象出现于监控区域内的行为轨迹迭加后的摄影画面。
后续对象串接结果235则用以呈现被选定的对象目前时间之后所出现的不同摄影机的监控区域中的摄影画面,且这些摄影画面会依据时间顺序来排列呈现。呈现于后续对象串接结果235中的摄影画面可以是可能对象在摄影机最终完整呈现的摄影画面外,亦可以是可能对象在摄影机的监控区域内的部份摄影画面,或者是可能对象出现于监控区域内的行为轨迹迭加后的摄影画面。
图7为本发明实施例的多摄影机监控系统串接对象错误时的监控对象窗口的详细示意图。于图7中,可以得知多摄影机监控系统100在对对象编号为“123”进行串接时有错误的发生。不论在实时监控亦或是事后检阅的操作过程中,多视讯内容分析单元140都有可能因故导致对象串接错误,而造成不同对象被辨识成同一对象,导致用户互动平台150上呈现出平滑但却是错误的对象的轨迹信息与历史影像。
用户在观看选择的对象的轨迹信息与历史影像时,有可能时发现实为不同对象被标记为相同的对象编号。于图7的实施例中,对象编号为“123”的对象为用户所选择欲追踪的特定对象。在此监控对象窗口230中,显示区231显示拍摄时间为12:06:30的1号摄影机的画面,且因为对象编号为“123”的对象被选择,所以多视讯内容分析单元140会对对象编号为“123”的对象进行串接。
于此实施例中,物件编号为“123”的对象实质上为甲人员,但多视讯内容分析单元140却将乙人员误认为对象编号为“123”的对象,而产生了错误的串接结果。据此,后续对象串接结果235所呈现的摄影画面并非为甲人员的正确行为轨迹。
此时,用户仅须自后续相关对象列表233中点选用户认定的正确对象的摄影画面。于此实施例中,使用者将点选12号摄影机于拍摄时间12:06:40所拍摄的对象编号为“126”的对象的摄影画面。接着,显示区231将显示用户于后续对象列表所选择的摄影画面。用户再点选对象编号为“126”的对象(实质上为甲人员)后,接口将出现询问是否校正的确认讯息。待用户确认后,接口将把此校正数据传送至多视讯内容分析单元140,而多视讯内容分析单元140则依据校正数据修正对象信息,也就是将对象编号为“123”的对象与对象编号为“126”的对象,在时间为12:06:40之后的摄影画面皆进行重新比对,进而修正串接结果,而使得甲人员都标记为对象编号为“123”的对象,而乙人员都标记为对象编号为“126”的对象。另外,修正后的串接结果除了通知使用者互动平台150外,同时将会将此修正后的串接结果储存至视讯与分析数据数据库130中。
在对串接结果进行修正时,因使用者所点选的摄影画面并非为机率值最大的摄影画面,故使用者互动平台150将通知分析单元140目前追踪的特定对象应出现于12号摄影机于拍摄时间12:06:40所拍摄的对象编号为“126”的对象的摄影画面中。另外,多视讯内容分析单元140将依据目前追踪的对象的对象特征以及相关对象信息,在用户选定的摄影画面中的对象信息进行对象比对,并给予使用红色虚框显示的建议串接对象。若用户判定建议串接对象为正确对象,用户仅须点选红色虚框,无须再次确认,使用者互动平台150便会此校正数据送给分析单元140。若用户所认为建议串接对象为错误对象,则用户可点选其他虚框表示的对象。在用户点选其他虚框表示的对象后,接口会再次地询问使用者是否确认此校正,且在使用者确认校校正后,使用者互动平台150才会送出校正数据给多视讯内容分析单元140。
在详细地介绍完本发明实施例所提供的摄影画面的对象串接修正方法所使用的接口后,接着使用流程图来说明摄影画面的对象串接修正方法的各步骤。请参照图8,图8是本发明实施例摄影画面的对象串接修正方法的流程图。首先,在步骤S800中,获取多摄影机监控系统中的各摄影机的摄影画面。接着,在步骤S801中,对各摄影画面进行分析,以获得各摄影画面中的各对象信息,其中对象信息包括对象编号、对象特征与对象型态等。
然后,在步骤S802中,提供使用者互动平台给使用者,以让使用者透过使用者互动平台选择欲追踪的特定对象。在步骤S803中,多摄影机监控系统计算目前摄影画面的拍摄时间前各摄影机的摄影画面的对象与特定对象的相关性。在步骤S804中,多摄影机监控系统计算目前摄影画面的拍摄时间后各摄影机的摄影画面的对象与特定对象的相关性。
在步骤S805中,多摄影机监控系统自动地将出现于各摄影画面的特定对象进行串接,以获得特定对象的轨迹信息与历史影像,其中自动串接特定对象的方式是将特定对象与其关联性评分最高的对象进行串接。
在步骤S806中,依据目前摄影画面的拍摄时间前各摄影机的摄影画面与特定对象的相关性将各对象的摄影画面依序列于使用者互动平台的先前相关对象列表。在步骤S807中,依据目前摄影画面的拍摄时间后各摄影机的摄影画面与特定对象的相关性将各对象的摄影画面依序列于使用者互动平台的后续相关对象列表。
在步骤S808中,将自动串接的特定对象的轨迹信息与历史影像中于目前摄影画面的拍摄时间前,且为非目前摄影机所拍摄的包含该特定对象数张摄影画面,依序排列于使用者互动平台的先前对象串接结果中。在步骤S809中,将自动串接的特定对象的轨迹信息与历史影像中于目前摄影画面的拍摄时间后,且为非目前摄影机所拍摄的包含该特定对象的数张摄影画面,依序排列于使用者互动平台的后续对象串接结果中。
若使用发现自动串接结果错误,则使用者会点选后续对象列表中的关联性并非最大的一张摄影画面中的正确串接对象来修正。据此,在步骤S810中,判断后续对象列表中的关联性并非最大的一张摄影画面是否被点选。若后续对象列表中的关联性并非最大的一张摄影画面未被点选,则表示对象自动串接结果为正确串接结果,并结束此摄影画面的对象串接修正方法。
若后续对象列表中的关联性并非最大的一张摄影画面有被点选,则在步骤S811中,将所点选的摄影画面显示为目前摄影画面,并在使用者点选目前摄影画面的对象后,询问用户是否对对象自动串接的结果进行修正。若用户不对对象自动串接的结果进行修正,则结束此摄影画面的对象串接修正方法。若用户确认对对象自动串接的结果进行修正,则在步骤S812中,使用者互动平台依据所点选的摄影画面的对象产生校正数据给多摄影机监控系统,以让多摄影机监控系统产生建议的对象串接修正结果。
之后,在步骤S813中,使用者互动平台询问用户是否此建议的对象串接修正结果作为特定对象的正确串接结果。若用户认为建议的对象串接修正结果作为特定对象的正确串接结果,则在步骤S814中,将建议的对象串接修正结果作为特定对象的正确串接结果,并接着结束摄影画面的对象串接修正方法。相反地,若用户不认为建议的对象串接修正结果作为正确对象串接结果,则回到步骤S810中。
综上所述,本发明实施例所提供的多摄影机监控系统具有摄影画面的对象串接修正方法,且多摄影机监控系统具有一个用户互动平台给予使用者操作,以使用者透过执行摄影画面的对象串接修正方法来修正传统多摄影机监控系统自动串接对象可能发生的错误。
以上所述仅为本发明的实施例,其并非用以局限本发明的专利范围。
Claims (16)
1.一种摄影画面的对象串接修正方法,用于多摄影机监控系统中,其特征在于,该摄影画面的对象串接修正方法包括:
提供使用者互动平台给使用者,以让该使用者透过该使用者互动平台选择欲追踪的特定对象;
依据目前摄影画面的拍摄时间前各摄影机的摄影画面与该特定对象的相关性,将包含该特定对象的不同摄影机所取得的摄影画面依序列于该使用者互动平台的先前相关对象列表;
依据该目前摄影画面的拍摄时间后各摄影机的摄影画面与该特定对象的相关性将包含该特定对象的不同摄影机所取得的摄影画面依序列于该使用者互动平台的后续相关对象列表;
将自动串接的该特定对象的轨迹影像中于该目前摄影画面的拍摄时间前,且为非目前摄影机所拍摄的包含该特定对象的数张摄影画面,依序排列于该使用者互动平台的先前对象串接结果中;
将自动串接的该特定对象的轨迹影像中于该目前摄影画面的拍摄时间后,且为非目前摄影机所拍摄的包含该特定对象的数张摄影画面,依序排列于该使用者互动平台的后续对象串接结果中;以及
该用户透过参考该先前相关对象列表、该后续相关对象列表、该先前对象串接结果与该后续对象串接结果判定串接结果是否正确,若发现结果有误,则点选该对象列表中的指定修正对象,以藉此指示该多摄影机监控系统修正该特定对象的自动串接结果。
2.根据权利要求1所述的摄影画面的对象串接修正方法,其特征在于,其中该用户互动平台包括监控对象窗口,用以呈现目前监控对象及其先前相关对象列表、后续相关对象列表以及先前对象串接结果及后续串接结果。
3.根据权利要求1所述的摄影画面的对象串接修正方法,其特征在于,其中先前相关对象列表、后续相关对象列表、先前对象串接结果以及后续串接结果的呈现方式为影像序列拨放、完整对象的截图或是透过迭加方式产生的对象轨迹影像;
若为实时多视讯监控应用时,后续相关对象列表将呈现邻近摄影机所拍摄的监控画面,而后续串接结果则以空白影像呈现之。
4.根据权利要求1所述的摄影画面的对象串接修正方法,其特征在于,该对象串接修正方法还包括:
获取该多摄影机监控系统的数据库中所纪录的各摄影机的摄影画面;
对各摄影画面进行分析,以获得各摄影画面中的各对象信息;
该多摄影机监控系统的多视讯内容分析单元计算该目前摄影画面的拍摄时间前各摄影机的摄影画面的对象与该特定对象的相关性;
该多视讯内容分析单元计算该目前摄影画面的拍摄时间后各摄影机的摄影画面的对象与该特定对象的相关性;以及
该多视讯内容分析单元自动地将出现于各摄影画面的该特定对象进行串接,以获得该特定对象的轨迹信息与历史影像,其中自动串接该特定对象的方式是将该特定对象与其关联性评分最高的对象进行串接。
5.根据权利要求1所述的摄影画面的对象串接修正方法,其特征在于,其中指示该多摄影机监控系统修正该特定对象的自动串接结果的步骤包括:
该使用者互动平台依据所点选的摄影画面的对象产生校正数据给该多摄影机监控系统,以让该多摄影机监控系统产生建议的对象串接修正结果;
将建议的对象串接修正结果作为该对象的正确串接结果。
6.根据权利要求1所述的摄影画面的对象串接修正方法,其特征在于,其中该用户互动平台还包括:
监控环境窗口,包括环境示意图,其中该环境示意图用以呈现该多摄影机监控系统的整体监控环境,且用以让该使用了解该监控环境的地理特性、各摄影机的分布位置与与该监控环境中的特定对象的行为轨迹;
摄影机列表窗口,是用以呈现各摄影机编号以及各摄影机在该监控环境中的分布位置之间的关系;以及
多摄影机摄影画面窗口,是用以呈现该使用者选定的数个摄影机所撷取的实时摄影画面,或用以播放数据库中所记录的多个选定摄影机的历史视讯数据。
7.根据权利要求5项所述的摄影画面的对象串接修正方法,其特征在于,其中该监控环境窗口还包括:
播放控制单元,是用以对该特定对象的事后历史轨迹追踪、呈现与修正时得以有效地操控视讯数据的播放;以及
时间轴控制组件,用以控制该视讯数据于特定时间点开始前后播放。
8.根据权利要求5项所述的摄影画面的对象串接修正方法,其特征在于,其中该环境示意图为自地理环境图、建筑架构图与监控设施分布图中选择其中之一,或者为选择上述部份或全部的图进行迭合,又或者为透过三维计算机图像来迭合上述多个图的至少其中之一。
9.一种多摄影机监控系统,其特征在于,该多摄影机监控系统包括:
多个视讯撷取分析单元,每一个视讯撷取单元是由摄影机串接视讯分析装置所实现,配置于该多摄影机监控系统的监控环境的各位置,其中视讯分析装置由计算机实现或是嵌入式系统平台进行实现;
多个视讯分析数据汇整单元,每一个视讯撷取分析单元串接每一个视讯分析数据汇整单元;
视讯分析数据数据库,串接所述视讯分析数据汇整单元;
多视讯内容分析单元,串接该视讯分析数据数据库;以及
用户互动平台,串接该多视讯内容分析单元,用以让用户选择欲追踪的特定对象,并且让该用户透过参考使用者互动平台所提供的先前相关对象列表、后续相关对象列表、先前对象串接结果与后续对象串接结果点选该后续对象列表中的关联性评分并非最高的张摄影画面中的指定修正对象,以藉此指示该分析单元修正该特定对象的自动串接结果。
10.根据权利要求9项所述的多摄影机监控系统,其特征在于,其中该用户互动平台包括监控对象窗口,用以呈现目前监控对象及其先前相关对象列表、后续相关对象列表以及先前对象串接结果及后续串接结果。其中前相关对象列表、后续相关对象列表以及先前对象串接结果及后续串接结果的呈现方式为影像序列拨放、完整对象的截图或是透过迭加方式产生的对象轨迹影像。
11.根据权利要求10项所述的多摄影机监控系统,其特征在于,其中该后续相关对象列表及后续串接结果在实时应用时,后续相关对象列表呈现目前监控摄影机的邻近摄影机所提供的监控画面,而后续串接结果则以空白影像呈现。
12.根据权利要求9项所述的多摄影机监控系统,其特征在于,其中每一个视讯撷取分析单元用以拍摄其摄影机的监控区域的摄影画面,并分析该摄影画面中的各对象以获得对象信息;该视讯分析数据汇整单元用以对所述摄影画面与所述分析结果进行数据压缩编辑;该视讯分析数据数据库用以储存所述对象信息与所述摄影画面;该多视讯内容分析单元用以计算该目前摄影画面的拍摄时间前后各摄影机的摄影画面的对象与该特定对象的相关性,且用以将该特定对象与其关联性最大的对象进行串接。
13.根据权利要求9项所述的多摄影机监控系统,其特征在于,其中该用户互动平台依据所点选的摄影画面的对象产生校正数据给该多摄影机监控系统,以让该多摄影机监控系统产生建议的对象串接修正结果;接着,该用户互动平台将建议的对象串接修正结果作为该对象的正确串接结果,并将该对象串接修正结果储存于该数据库中。
14.根据权利要求9项所述的多摄影机监控系统,其特征在于,其中该用户互动平台还包括:
监控环境窗口,包括环境示意图,其中该环境示意图用以呈现该多摄影机监控系统的整体监控环境,且用以让该使用了解该监控环境的地理特性、各摄影机的分布位置与与该监控环境中的特定对象的行为轨迹;
摄影机列表窗口,是用以呈现各摄影机编号以及各摄影机在该监控环境中的分布位置之间的关系;以及
多摄影机摄影画面窗口,是用以呈现该使用者选定的数个摄影机所撷取的实时摄影画面,或用以播放数据库中所记录的多个选定摄影机的历史视讯数据。
15.根据权利要求14项所述的多摄影机监控系统,其特征在于,其中该监控环境窗口还包括:
播放控制单元,是用以对该特定对象的事后历史轨迹追踪、呈现与修正时得以有效地操控视讯数据的播放;以及
时间轴控制组件,用以控制该视讯数据于特定时间点开始播放。
16.根据权利要求13项所述的多摄影机监控系统,其特征在于,其中该环境示意图为自地理环境图、建筑架构图与监控设施分布图中选择其中之一,或者为选择上述部份或全部的图进行迭合,又或者为透过三维计算机图像来迭合呈现示意图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210033811.2A CN103260004B (zh) | 2012-02-15 | 2012-02-15 | 摄影画面的对象串接修正方法及其多摄影机监控系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210033811.2A CN103260004B (zh) | 2012-02-15 | 2012-02-15 | 摄影画面的对象串接修正方法及其多摄影机监控系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103260004A true CN103260004A (zh) | 2013-08-21 |
CN103260004B CN103260004B (zh) | 2016-09-28 |
Family
ID=48963671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210033811.2A Active CN103260004B (zh) | 2012-02-15 | 2012-02-15 | 摄影画面的对象串接修正方法及其多摄影机监控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103260004B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106341647A (zh) * | 2016-09-30 | 2017-01-18 | 宁波菊风系统软件有限公司 | 一种多方视频通话窗口的分屏方法 |
CN106488145A (zh) * | 2016-09-30 | 2017-03-08 | 宁波菊风系统软件有限公司 | 一种多方视频通话窗口的分屏方法 |
CN107438172A (zh) * | 2016-05-26 | 2017-12-05 | 晶睿通讯股份有限公司 | 一种影像流量分析方法及其相关的摄影装置与摄影系统 |
CN107707808A (zh) * | 2016-08-09 | 2018-02-16 | 英业达科技有限公司 | 摄影系统及摄影方法 |
CN109078324A (zh) * | 2015-08-24 | 2018-12-25 | 鲸彩在线科技(大连)有限公司 | 一种游戏数据下载、重构方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050207622A1 (en) * | 2004-03-16 | 2005-09-22 | Haupt Gordon T | Interactive system for recognition analysis of multiple streams of video |
CN1761319A (zh) * | 2004-10-12 | 2006-04-19 | 国际商业机器公司 | 视频监视系统的视频分析、存档和报警方法和设备 |
CN101420595A (zh) * | 2007-10-23 | 2009-04-29 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
US20100157049A1 (en) * | 2005-04-03 | 2010-06-24 | Igal Dvir | Apparatus And Methods For The Semi-Automatic Tracking And Examining Of An Object Or An Event In A Monitored Site |
-
2012
- 2012-02-15 CN CN201210033811.2A patent/CN103260004B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050207622A1 (en) * | 2004-03-16 | 2005-09-22 | Haupt Gordon T | Interactive system for recognition analysis of multiple streams of video |
CN1761319A (zh) * | 2004-10-12 | 2006-04-19 | 国际商业机器公司 | 视频监视系统的视频分析、存档和报警方法和设备 |
US20100157049A1 (en) * | 2005-04-03 | 2010-06-24 | Igal Dvir | Apparatus And Methods For The Semi-Automatic Tracking And Examining Of An Object Or An Event In A Monitored Site |
CN101420595A (zh) * | 2007-10-23 | 2009-04-29 | 华为技术有限公司 | 一种描述和捕获视频对象的方法及设备 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109078324A (zh) * | 2015-08-24 | 2018-12-25 | 鲸彩在线科技(大连)有限公司 | 一种游戏数据下载、重构方法及装置 |
CN109078324B (zh) * | 2015-08-24 | 2022-05-03 | 鲸彩在线科技(大连)有限公司 | 一种游戏数据下载、重构方法及装置 |
CN107438172A (zh) * | 2016-05-26 | 2017-12-05 | 晶睿通讯股份有限公司 | 一种影像流量分析方法及其相关的摄影装置与摄影系统 |
CN107438172B (zh) * | 2016-05-26 | 2020-01-03 | 晶睿通讯股份有限公司 | 一种影像流量分析方法及其相关的摄影装置与摄影系统 |
CN107707808A (zh) * | 2016-08-09 | 2018-02-16 | 英业达科技有限公司 | 摄影系统及摄影方法 |
CN106341647A (zh) * | 2016-09-30 | 2017-01-18 | 宁波菊风系统软件有限公司 | 一种多方视频通话窗口的分屏方法 |
CN106488145A (zh) * | 2016-09-30 | 2017-03-08 | 宁波菊风系统软件有限公司 | 一种多方视频通话窗口的分屏方法 |
CN106488145B (zh) * | 2016-09-30 | 2019-06-14 | 宁波菊风系统软件有限公司 | 一种多方视频通话窗口的分屏方法 |
CN106341647B (zh) * | 2016-09-30 | 2019-07-23 | 宁波菊风系统软件有限公司 | 一种多方视频通话窗口的分屏方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103260004B (zh) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240233387A1 (en) | Scenario recreation through object detection and 3d visualization in a multi-sensor environment | |
Foresti et al. | Multimedia video-based surveillance systems: Requirements, Issues and Solutions | |
CN105336077B (zh) | 数据处理设备和操作其的方法 | |
Li et al. | Exploring the association between street built environment and street vitality using deep learning methods | |
US8274564B2 (en) | Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity | |
Haering et al. | The evolution of video surveillance: an overview | |
JP2022095617A (ja) | 映像処理システム、映像処理方法及び映像処理プログラム | |
CN101778260B (zh) | 一种基于结构化描述的视频监控管理方法及系统 | |
US8174572B2 (en) | Intelligent camera selection and object tracking | |
CN114970321A (zh) | 一种基于动态轨迹流的场景流数字孪生方法及系统 | |
CN103260004A (zh) | 摄影画面的对象串接修正方法及其多摄影机监控系统 | |
US9092699B2 (en) | Method for searching for objects in video data received from a fixed camera | |
US20100231723A1 (en) | Apparatus and method for inferencing topology of multiple cameras network by tracking movement | |
CN103400106A (zh) | 用基于深度的跟踪来生成和更新数据库的自学习面部识别 | |
CN104303218A (zh) | 行为识别系统中的警报指令和聚焦警报指令 | |
WO2015006369A1 (en) | Real-time analytics, collaboration, from multiple video sources | |
CN101405779A (zh) | 采用视频基元的视频监视系统 | |
CN104063883A (zh) | 一种基于对象和关键帧相结合的监控视频摘要生成方法 | |
CN101310288A (zh) | 采用视频原语的视频监视系统 | |
TW200905575A (en) | Method for finding paths in video | |
TWI601425B (zh) | 一種串接攝影畫面以形成一物件軌跡的方法 | |
KR101645959B1 (ko) | 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법 | |
CN114399606A (zh) | 基于立体可视化的交互展示系统、方法、设备 | |
CN102231820A (zh) | 一种监控图像处理的方法、装置和系统 | |
Mademlis et al. | A multiple-UAV architecture for autonomous media production |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231028 Address after: Unit 2, Section Nine, Lyon Road Bride Brice, Midsex, UK Patentee after: Gorilla Technology (UK) Ltd. Address before: Taiwan, Taipei, China Patentee before: GORILLA TECHNOLOGY Inc. |
|
TR01 | Transfer of patent right |