CN104811655A - 一种影片浓缩的系统及方法 - Google Patents
一种影片浓缩的系统及方法 Download PDFInfo
- Publication number
- CN104811655A CN104811655A CN201410085388.XA CN201410085388A CN104811655A CN 104811655 A CN104811655 A CN 104811655A CN 201410085388 A CN201410085388 A CN 201410085388A CN 104811655 A CN104811655 A CN 104811655A
- Authority
- CN
- China
- Prior art keywords
- film
- target object
- module
- concentrated
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims description 62
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000009833 condensation Methods 0.000 abstract description 2
- 230000005494 condensation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 20
- 239000012141 concentrate Substances 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000024780 Urticaria Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明揭露一种影片浓缩的系统及方法,所述影片浓缩的系统包含有一提取模块、一第一分析模块、一分群模块以及一浓缩模块。本发明系统可将冗长影片中的前景部分提取出来,并保留目标物体的移动路径、速度等特征,且在不相互碰撞的前提下,将不同时间出现的目标物体重新合成至同一时间片段中,以产生耗时最短且能保留完整影片内容的影像浓缩系统。
Description
技术领域
本发明涉及一种影片处理的系统及方法,特别涉及一种可提升影片浓缩后的影片画面和谐性,且可避免画面中物体互相遮蔽并能提高影片浓缩率的影像浓缩系统及方法。
背景技术
公知的影片浓缩技术,大多针对实时线上(On-Line)浓缩、浓缩率(Condensation Rate)或时间浓缩最佳化(Optimization)等主题进行研究,而针对影片浓缩后的效果及是否适合人眼观看及舒适度并未有具体的研究。以影片浓缩的目的来说,主要是使观看人员能以较少的时间将影片观看完毕,以减少漏看移动物体的机率。然而,若浓缩后的影片结果,使各种不同速度、方向、出场位置的物体同时出现,则观看人员于观看影片中的移动物体时,为了避免漏看移动物体则必须时常切换暂停键,如此一来则失去了影片浓缩的目的。
目前除了个人电脑(PC)和移动装置外,监控设备及系统是现今全球发展相当快速的产业,然而多数的监控设备大部分专注研发关于镜头与传输、储存设备等领域,对于其所录制的影片的鉴识、影像处理则较少研究如何采用人工智能技术。日前各国购置监控设备以及初步加入智能型鉴识系统后,发现确实大幅提升破案率,更成功吓阻歹徒做案,进而降低各该城市的犯罪率,全世界各大城市无不致力于降低犯罪率,以及增加破案率。
由于监视系统的快速普及,每天都有新的录影监视器被安装使用,不仅减少了监视范围的视觉死角,也达到了吓阻犯罪的功能;但是伴随着监视范围的日益增加,录制下来的影像数据库亦越来越庞大,对于后续数据的保存及内容查找都造成了相当大的问题。
对于空旷空间中或是多出入口的场景而言,物体移动路径不像马路或走廊被现场空间范围所局限,没有明确的进入点或离开点,以致物体在影片内移动的轨迹多变难以分群;且在不允许物体碰撞的前提条件下,每一物体的行走路径皆有互斥性,这意味着无法将路径相重叠的物体同时安排于浓缩影片中,导致生成的浓缩影片的总时间与各物体出现的排列组合顺序相关,且整段监视影片中动辄包含数百以上的移动物体,若需计算出最佳的排列组合,必须使用天文数字等级的计算量才能完成。
公知影片浓缩技术多半是研究如何将影片浓缩到最短时间,然而浓缩到最短的影片未必有最好的视觉效果。如果浓缩的结果,同一时间移动轨迹属性的熵值(Entropy)过低,亦即画面上有些物件移动得快,有些移动得慢;有些朝左上走,有些朝右下走,则观看浓缩影片的人员,仍需要常常按下暂停键,才能避免漏看画面上的移动物体。观看人员按下暂停键的次数越多,则影片浓缩的结果就越没意义。另外,有些影片浓缩方法是将物体呈半透明状,以解决影片浓缩后,物体会互相遮蔽的问题,此等方法虽然能使影片长度有效的缩短,却使得物体判读变得困难,此乃治标不治本。
职是之故,申请人有鉴于公知技术中所产生的缺失,经过悉心试验与研究,并一本锲而不舍的精神,终构思出本发明的“影片浓缩的系统及方法””以克服上述问题,以下为本发明的简要说明。
发明内容
为了解决上述公知技术的问题,本发明提供一种影片浓缩的系统及方法。
首先,本发明提供一种影片浓缩的系统,其包含有一提取模块、一第一分析模块、一分群模块以及一浓缩模块。提取模块用来由包含有多个影格的一影片中提取一不具有任何移动物体的一背景数据及具有至少一目标物体的至少一轨迹数据。第一分析模块耦接提取模块用来由轨迹数据中分析出一轨迹特征。分群模块耦接第一分析模块用来由轨迹特征将目标物体进行分群为一预设群。浓缩模块耦接分群模块、提取模块及第一分析模块用来将背景数据及目标物体根据该预设群、该轨迹数据及该轨迹特征合成为一浓缩影片。
再者,本发明影片浓缩的系统,另包含有一第一检测模块、一第二检测模块以及一排序模块。第一检测模块耦接分群模块用来检测预设群的一异常程度。第二检测模块耦接提取模块用来检测轨迹数据经过一目标区域的频率以产生一交通量数据。排序模块,耦接第一检测模块、第二检测模块及第一分析模块,用来根据异常程度、交通量数据以及轨迹特征计算出预设群的目标物体于影片时空排序上的一出现时序。其中浓缩模块耦接排序模块,用以将背景数据及目标物体根据出现时序合成为一浓缩影片。
接着,本发明影片浓缩的系统,另包含有一第一处理模块以及一第二处理模块。第一处理模块耦接第一检测模块用来根据预设群的异常程度由大至小给予一第一组权重。第二处理模块耦接第二检测模块用来根据轨迹数据的交通量数据由小至大给予一第二组权重。
为了使整体影像能达到更高的浓缩率,其中排序模块用来根据目标物体的移动速度由快至慢以及交通量数据由小至大于影片时空排序。
为了减少目标物体于画面出现时因碰撞而等待造成影片塞车现象,也事先预防了物体间碰撞的可能,其中第二检测模块另包含用来检测交通量数据以取得目标物体于目标区域内的一空间占用率,且低空间占用率的第二组权重大于高空间占用率的第二组权重。
而为了避免画面中目标物体互相遮蔽,其中浓缩模块用来将目标物体于影片的多个影格逐一合成该些影格而形成浓缩影片。
此外,本发明影片浓缩的系统另包含有一第三分析模块、一第三检测模块以及一第三处理模块。第三分析模块耦接浓缩模块用来分析影片并将目标物体近似为一矩形,以分析出矩形的长度、宽度的总和的一半以及一中心点坐标。第三检测模块耦接第三分析模块用来检测两目标物体间的中心点坐标的一距离是否小于两目标物体长度或宽度的总和的一半,若是,则判断两目标物体为碰撞,若否,则两目标物体未碰撞。第三处理模块耦接第三检测模块用来根据若两目标物体于影片的出现时序下一步为碰撞,则将背景数据及目标物体所属的影格持续合成,直到两目标物体于下一影格中不再碰撞时,再将背景数据及其他该些影格进行合成。
最后,本发明另外提出一种影片浓缩的方法,其包含有:由包含有多个影格的一影片中提取一不具有任何移动物体的一背景数据及具有至少一目标物体的至少一轨迹数据;由轨迹数据中分析出一轨迹特征;由轨迹特征将目标物体进行分群为一预设群;检测预设群的一异常程度;检测轨迹数据经过一目标区域的频率以产生一交通量数据;根据异常程度、交通量数据以及轨迹特征计算出预设群的目标物体于影片时空排序上的一出现时序;以及将背景数据及目标物体根据出现时序合成为一浓缩影片。
同时,本发明所提出的影片浓缩的方法另包含有:分析影片并将目标物体近似为一矩形,以分析出矩形的长度、宽度的总和的一半以及一中心点坐标;检测两目标物体间的中心点坐标的一距离是否小于两目标物体长度或宽度的总和的一半,若是,则判断两目标物体为碰撞,若否,则两目标物体未碰撞;以及根据若两目标物体于影片的出现时序下一步为碰撞,则将背景数据及目标物体所属的影格持续合成,直到两目标物体于下一影格中不再碰撞时,再将背景数据及其他该些影格进行合成。
相较于公知技术,本发明系提出了一种影像浓缩的系统及方法,可将冗长影片中的前景部分提取出来,并保留目标物体的移动路径、速度等特征,且在不相互碰撞的前提下,将不同时间出现的目标物体重新合成至同一时间片段中,以产生耗时最短且能保留完整影片内容的影像浓缩的系统及方法,藉以解决公知技术的缺失。
关于本发明的优点与精神可以藉由以下的发明详述及附图得到进一步的了解。
附图说明
图1绘示本发明的影片浓缩的系统于一具体实施例的功能方框图。
图2A绘示本发明的异常事件检测于一未分群的具体实施例的示意图。
图2B绘示本发明的异常事件检测于一分群的具体实施例的示意图。
图3A绘示本发明的异常事件检测于另一未分群的具体实施例的示意图。
图3B绘示本发明的异常事件检测于另一分群的具体实施例的示意图。
图4绘示本发明的影片浓缩于一具体实施例的示意图。
图5A绘示本发明的碰撞检测于一碰撞的具体实施例的示意图。
图5B绘示本发明的碰撞检测于一未碰撞的具体实施例的示意图。
图6绘示本发明的碰撞检测于一具体实施例的示意图。
图7绘示本发明的影片浓缩的方法于一具体实施例的方法流程图。
其中,附图标记说明如下:
1:影片浓缩系统 11:提取模块
12:第一分析模块 13:分群模块
14:第一检测模块 15:第二检测模块
16:排序模块 17:浓缩模块
18:第一处理模块 180:原始影片
19:第二处理模块 21:第三分析模块
210:第一目标物体 220:第二目标物体
210c:中心点坐标 220c:中心点坐标
H1~H2:距离 L1~L4:长度
22:第三检测模块 23:第三处理模块
230:第三目标物体 232:第四目标物体
234:碰撞情况的影格 236:静止动作的影格
238:不具碰撞情况的影格 S11~S17:步骤
具体实施方式
为了让本发明的目的、特征和优点能够更加明显易懂,下面结合所附图式对本发明的影片浓缩系统及方法的具体实施方式做详细的说明。
本发明系将目标物体分为不同的类别,让性质相近的目标物体,在相近的时间出现,性质不同的目标物体,在不同的时间出现,如此一来能够让浓缩后的影片更便于观看,藉以达到影片浓缩的真实目的,其中于本发明中所提及的目标物体为一移动物体,惟不以此为限。另外,无论影片的长短为何,观看者一开始最有注意力,随着影片的进行,注意力会降低。因此,本发明的影片浓缩的系统会将表现较为异常的物体类别优先安排在影片的前段出现,使得较需要被关注的事物优先被看见。
为更清楚了解本发明的技术特征,首先,请参阅图1,图1系绘示本发明的影片浓缩的系统于一具体实施例的功能方块图,如图所示,影片浓缩系统1包含有一提取模块11、一第一分析模块12、一分群模块13、一第一检测模块14、一第二检测模块15、一排序模块16、一浓缩模块17、一第一处理模块18、一第二处理模块19、一第三分析模块21、一第三检测模块22以及一第三处理模块23。
首先,藉由提取模块11用来由包含有多个影格的一影片中提取一不具有任何移动物体的一背景数据及具有至少一目标物体的至少一轨迹数据。本发明能够利用机率统计或各种前景背景分割演算法,例如高斯混合模型(Gaussian Mixture Model)等方法,分析包含有多个影格的一影片后产生一个完全没有移动物体的背景,再用背景相减法检测出目标物体。其中,于本实施例中,所述的目标物体皆系为一移动物体。
再者,藉由第一分析模块12耦接提取模块11用来由轨迹数据中分析出一轨迹特征。于本实施例中,本发明能够使用区块追踪(Blob Tracking)法等方式,对同一个目标物体做追踪,以建立各个目标物体的轨迹数据。更详细地来说,从每个目标物体的轨迹数据中,分析出轨迹特征,例如:移动方向、移动速度、持续出现时间长短、进场位置、分布区域、是否位于特定区域内等。
接着,藉由分群模块13耦接第一分析模块12用来由轨迹特征将目标物体进行分群为一预设群。也就是说,在取得所有轨迹特征后,将目标物体进行分群(Clustering),以将目标物体具有性质接近的轨迹区分为同一群。分群结束之后,将各该轨迹标记上其所属的群,于本实施例中,系以不同的颜色以标记不同群,惟不以此为限。
此外,为了将较值得被注意的轨迹移动到浓缩影片较为前段的时间片段,针对所有轨迹对行经于其上的目标物体,进一步做异常事件检测(Abnormal Event Detection),也就是检测出异于其他轨迹数据的数据点。因此,于本发明中藉由第一检测模块14耦接分群模块13用以检测预设群的一异常程度。于本实施例中,选择部分的该轨迹特征重新分群,以检测出异常的目标物体。首先,在重新选择部分轨迹特征时,主要选择目标物体的移动方向、移动速度、X坐标以及Y坐标的四个轨迹特征,作为分群演算法的输入。由此,本发明藉由检测预设群的异常程度,进而将轨迹数据区分为多个不等异常程度的类别,于本实施例中系分为非常正常、偏正常、普通、偏异常、非常异常等多个不等程度正常/异常的类别。再者,以自我组织增量神经网路(Self-Organizing Incremental Neural Network,SOINN)的分群演算法为例,以X坐标、Y坐标、移动方向、移动速度四个维度的轨迹特征进行训练,将所有移动的目标物体分为正常与异常两群,结果如图2A、图2B、图3A及图3B所示。请参阅图2A、图2B、图3A及图3B,图2A系绘示本发明的异常事件检测于一未分群的具体实施例的示意图,图2B系绘示本发明的异常事件检测于一分群的具体实施例的示意图,图3A系绘示本发明的异常事件检测于另一未分群的具体实施例的示意图,图3B系绘示本发明的异常事件检测于另一分群的具体实施例的示意图。于图2A及图2B的实施例中,横轴、纵轴分别为目标物体的X坐标、Y坐标,图3A及图3B的实施例中,横轴、纵轴分别为目标物体的速度、方向。接着将分群前的轨迹数据进行分群后以得到分群后的轨迹数据,相连一起的轨迹数据点视为相同的一群,而未被连线的轨迹数据点,乃视为异常的目标物体。因此,本发明能够藉由分群的方法以进行异常事件检测,惟不以此为限,于实际应用中,使用者亦能够自行定义一异常状况,例如:一间规定员工穿制服上班的公司,若发现有人穿的衣服并非制服颜色,则判定为异常,或者,定义草皮为不允许踏入的区域,倘若有目标物体经过该区域,则将该移动轨迹数据标记为异常。因此,当有目标物体进入使用者所框选的不可踏入区域,则该移动轨迹即被判定为异常。
最后,请参阅图4,图4系绘示本发明的影片浓缩于一具体实施例的示意图。本发明另包含有一第一处理模块18,藉由第一处理模块18耦接第一检测模块14根据该预设群的异常程度由大至小给予一第一组权重。于本实施例中,综合以上各种异常检测方法,将异常程度较大者的轨迹所属的“群”,给予较大的第一组权重(Weight),目的在于使较为异常的群,在时空排序时会排到较前面的出现时序。横轴为一时间顺序,在将原始影片180进行影片浓缩时,异常程度最高的“群”在时空排序时会排到最前面的出现时序,随着异常程度的减少而排到越后面的出现时序,于本实施例中,“群”的排序顺序系由异常程度最高、异常程度次的、异常程度第三高一直到正常的“群”。
接着,藉由第二检测模块15耦接提取模块11用来检测轨迹数据经过一目标区域的频率以产生一交通量数据。由于本发明系以群为单位进行排序,因此决定哪一群的目标物体优先出场的排序乃系依据第一处理模块18所给予的第一组权重。由此,每一群轨迹都有一个属于该群的出场顺序。为了避免目标物体间互相碰撞,可先针对所有轨迹数据进行统计以得到目标物体最为频繁经过目标区域,并能够藉由输出装置显示从低到高的交通量数据,于本实施例中系以不同颜色例如由蓝至红显示交通数据由低至高,惟不以此为限。再者,本发明另包含有一第二处理模块19,藉由第二处理模块19耦接第二检测模块15用以根据轨迹数据的交通量数据由小至大给予一第二组权重,于本实施例中,如果一个轨迹全部都经过低交通量的区域,则给予较高的第二组权重;否则,则给予较低的第二组权重。
此外,第二检测模块15另包含用来检测交通量数据以取得目标物体于目标区域内的一空间占用率,且低空间占用率的第二组权重大于高空间占用率的第二组权重。主要系为了提高影片、影像的浓缩率,因此系统会统计一个时间区段空间占用率,以降低即将通过高空间占用率的物体的出场权重,并提升即将通过低空间占用率的物体的出场权重,如此不仅可减少移动物体出场时为了避免碰撞而等待所造成的塞车现象,也事先预防了物体间碰撞的可能。
再者,藉由排序模块16耦接第一检测模块14、第二检测模块15及一第一分析模块12用以根据异常程度、交通量数据以及轨迹特征计算出预设群的目标物体于影片时空排序上的一出现时序。依据上述的排序结果,决定应该先选哪一群的目标物体出来,其中本发明亦能够藉由排序模块16用来根据目标物体的移动速度由快至慢以及交通量数据由小至大于影片时空排序。于本实施例中,将预设群内的所有目标物体依据移动速度以及第二组权重进行排序,从而优先选取移动速度较快的,以及行经交通量小的目标动物体。然而,选择移动速度较快的目标物体,是因为移动快的目标物体会撞上移动慢的目标物体,反的则不会,由此本发明能够初步避免物体间相互碰撞而产生遮蔽的情况。当预设群内的移动物体都选择完之后,再选择下一群。
最后,藉由浓缩模块17耦接排序模块16用来将背景数据及目标物体根据出现时序合成为一浓缩影片。本发明于制作合成一个新的浓缩影片,该影片一开始只有由提取模块所提取出的一个不具有任何移动物体的背景,再根据目标物体的出现时序,一次挑一个目标物体合成到影片中。接着,藉由浓缩模块17用来将目标物体于影片的多个影格逐一合成该些影格而形成浓缩影片。主要是为了使目标物体能够在浓缩影片上也能够保持其在原影片相同的移动动作,因此合成时是一张一张依照目标物体在原影片中的影格,逐一合成至新的浓缩影片上。
因此,本发明的影像浓缩系统可将长达数小时的鉴识影片,浓缩为数分钟的影片,并且不遗漏任何目标物体的移动过程,本发明能够从不同的时间片段中,将目标物体放置到同一个时间片段中同时显示并维持其移动,而达到浓缩的效果。
除此之外,本发明另包含有第三分析模块21、第三检测模块22及第三处理模块23,为了保证目标物体之间绝对不会相互碰撞,在合成每一张影格时会先预测每个目标物体在移动至“下一步”时会不会和前方的目标物体重叠,由此达成完全防止两两目标物体间不会互相碰撞。因此,在处里一个目标物体时,需一并取得该物体下一步的位置、长宽,去和画面上其他移动物体进行碰撞检测(Collision Detection)如图5A、图5B以及图6所示,图5A系绘示本发明的碰撞检测于一碰撞的具体实施例的示意图,图5B系绘示本发明的碰撞检测于一未碰撞的具体实施例的示意图,图6系绘示本发明的碰撞检测于一具体实施例的示意图。首先,请参阅图5A、图5B,于本实施例中在影片浓缩的系统进行碰撞检测时,所提及的两目标物体分别为第一目标物体210及第二目标物体220。先藉由一第三分析模块21耦接浓缩模块17用来分析影片并将第一目标物体210及第二目标物体220近似为一矩形,以分析出矩形的长度的总和的一半L1,L3、宽度的总和的一半L2,L4以及一中心点坐标210c,220c。再藉由第三检测模块22耦接第三分析模块21用来检测第一目标物体210及第二目标物体220间的中心点坐标210c,220c的一垂直距离H1或一水平距离H2是否小于第一目标物体210及第二目标物体220的长度总和的一半L1+L3或两目标物体宽度总和的一半L2+L4,若是,则如图5A所示判断两目标物体碰撞,若否,则如图5B所示两目标物体未碰撞。接着,请参阅图6,于本实施例中在影片浓缩的系统进行碰撞检测时,所提及的两目标物体分别为第三目标物体230及第四目标物体232。第三处理模块23耦接第三检测模块22用来根据若第三目标物体230及第四目标物体232于影片的出现时序下一步为碰撞情况的影格234,亦即是第三目标物体230下一步即将碰撞第四目标物体232,则要“暂停”第三目标物体230的移动,也就是仍然将背景数据及第三目标物体230所属的影格持续贴上去合成,使第三目标物体230在画面上呈现一静止动作的影格236。一直到有一个影格中第三目标物体230的“下一步”不再与第四目标物体232碰撞,得到一不具碰撞情况的影格238,才结束其“暂停”的动作,并继续将目标物体剩余的影格(未显示于图中)进行合成。
最后,本发明的影片浓缩的系统1所包含的提取模块11、第一分析模块12、分群模块13、第一检测模块14、第二检测模块15、排序模块16、浓缩模块17、第一处理模块18、第二处理模块19、第三分析模块21、第三检测模块22以及第三处理模块23系储存于一存储器中,惟不以此为限,于实际应用中亦有其他可执行模块能够储存于存储器中。其中,于本实施例中存储器能够系一随机存取存储器、一硬盘、一只读存储器或一光盘,惟不以此为限。同时于本实施例中,影片浓缩系统1可以藉由一电脑执行,如桌上型电脑或笔记型电脑,惟不以此为限,于实际应用时,亦可以为伺服器、手机、个人数位助理(PDA)、智能型手机(Smart Phone)。其中,影片浓缩系统1的影片来源能够藉由一监视器以取得,惟不以此为限,于实际应用时,亦可以为一摄录影机、一光碟或一网路。
此外,本发明另提出一种影片浓缩的方法,如图7所示,图7系绘示本发明的影片浓缩的方法于一具体实施例的方法流程图。本发明的方法流程如下所示:(S11)由包含有多个影格的一影片中提取一不具有任何移动物体的一背景数据及具有至少一目标物体的至少一轨迹数据;(S12)由轨迹数据中分析出一轨迹特征;(S13)由轨迹特征将目标物体进行分群为一预设群;(S14)检测预设群的一异常程度;(S15)检测轨迹数据经过一目标区域的频率以产生一交通量数据;(S16)根据异常程度、交通量数据以及轨迹特征计算出预设群的目标物体于影片时空排序上的一出现时序;以及(S17)将背景数据及目标物体根据出现时序合成为一浓缩影片。同时,本发明所提出的影片浓缩的方法另包含有:分析影片并将目标物体近似为一矩形,以分析出矩形的长度、宽度的总和的一半以及一中心点坐标;检测两目标物体间的中心点坐标的一距离是否小于两目标物体长度或宽度的总和的一半,若是,则判断两目标物体为碰撞,若否,则两目标物体未碰撞;以及根据若两目标物体于影片的出现时序下一步为碰撞,则将背景数据及目标物体所属的影格持续合成,直到两目标物体于下一影格中不再碰撞时,再将背景数据及其他该些影格进行合成。
综上所述,本发明所提出的一种影片浓缩的系统及方法,相较于公知技术本发明能够将冗长影片中的前景部分提取出来,并基于保留目标物体的移动路径、速度等特征与不相互碰撞的前提下,将不同时间出现的目标物体重新整合至同一个时间片段中,以产生耗时最短且保留最多细节的浓缩影片,以减少鉴识人员过滤影片的时间成本以及达到较适合人眼观看的浓缩影片。因此,在本发明中,考虑到画面中所有轨迹的移动方向是否和谐,以及合成后是否有两两目标物体发生遮蔽,这些问题在本发明都提出了解决方案。同时,本发明能够统计空间使用率,将目标物体的移动路径做统计,并找出被监视空间中目标物体经过次数最多的瓶颈点优先处理,再配合分群及移动速度等条件加权后,以更加强影片的浓缩效果。
藉由以上较佳具体实施例的详述,系希望能更加清楚描述本发明的特征与精神,而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地,其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。因此,本发明所申请的专利范围的范畴应根据上述的说明作最宽广的解释,以致使其涵盖所有可能的改变以及具相等性的安排。
Claims (10)
1.一种影片浓缩的系统,其包含有:
一提取模块,用来由包含有多个影格的一影片中提取一不具有任何移动物体的一背景数据及具有至少一目标物体的至少一轨迹数据;
一第一分析模块,耦接该提取模块,用来由该轨迹数据中分析出一轨迹特征;
一分群模块,耦接该第一分析模块,用来由该轨迹特征将该目标物体进行分群为一预设群;以及
一浓缩模块,耦接该分群模块、该提取模块及该第一分析模块,用来将该背景数据及该目标物体根据该预设群、该轨迹数据及该轨迹特征合成为一浓缩影片。
2.如权利要求1所述的影片浓缩的系统,另包含有:
一第一检测模块,耦接该分群模块,用来检测该预设群的一异常程度;
一第二检测模块,耦接该提取模块,用来检测该轨迹数据经过一目标区域的频率以产生一交通量数据;以及
一排序模块,耦接该第一检测模块、该第二检测模块及该第一分析模块,用来根据该异常程度、该交通量数据以及该轨迹特征计算出该预设群的该目标物体于该影片时空排序上的一出现时序;
其中该浓缩模块耦接该排序模块,用以将该背景数据及该目标物体根据该出现时序合成为一浓缩影片。
3.如权利要求1所述的影片浓缩的系统,其中该轨迹特征系为该目标物体的一移动方向、一移动速度以及该目标物体的一X坐标及一Y坐标。
4.如权利要求2所述的影片浓缩的系统,另包含有:
一第一处理模块,耦接该第一检测模块,用来根据该预设群的异常程度由大至小给予一第一组权重;以及
一第二处理模块,耦接该第二检测模块,用来根据该轨迹数据的该交通量数据由小至大给予一第二组权重。
5.如权利要求2所述的影片浓缩的系统,其中该排序模块用来根据该目标物体的该移动速度由快至慢以及该交通量数据由小至大于该影片时空排序。
6.如权利要求5所述的影片浓缩的系统,其中该第二检测模块另包含用来检测该交通量数据以取得该目标物体于该目标区域内的一空间占用率,且低空间占用率的该第二组权重大于高空间占用率的该第二组权重。
7.如权利要求1所述的影片浓缩的系统,其中该浓缩模块用来将该目标物体于该影片的该多个影格逐一合成该些影格而形成该浓缩影片。
8.如权利要求2所述的影片浓缩的系统,另包含有:
一第三分析模块,耦接该浓缩模块,用来分析该影片并将该目标物体近似为一矩形,以分析出该矩形的长度、宽度的总和的一半以及一中心点坐标;
一第三检测模块,耦接该第三分析模块,用来检测该两该目标物体间的该中心点坐标的一距离是否小于两该目标物体长度或宽度的总和的一半,若是,则判断两该目标物体为碰撞,若否,则两该目标物体未碰撞;以及
一第三处理模块,耦接该第三检测模块,用来根据若两该目标物体于该影片的该出现时序下一步为碰撞,则将该背景数据及该目标物体所属的该影格持续合成,直到两该目标物体于下一该影格中不再碰撞时,再将该背景数据及其他该些影格进行合成。
9.一种用于影片浓缩的方法,其包含以下步骤:
由包含有多个影格的一影片中提取一不具有任何移动物体的一背景数据及具有至少一目标物体的至少一轨迹数据;
由该轨迹数据中分析出一轨迹特征;
由该轨迹特征将该目标物体进行分群为一预设群;
检测该预设群的一异常程度;
检测该轨迹数据经过一目标区域的频率以产生一交通量数据;
根据该异常程度、该交通量数据以及该轨迹特征计算出该预设群的该目标物体于该影片时空排序上的一出现时序;以及
将该背景数据及该目标物体根据该出现时序合成为一浓缩影片。
10.如权利要求9所述的影片浓缩方法,另包含以下步骤:
分析该影片并将该目标物体近似为一矩形,以分析出该矩形的长度、宽度的总和的一半以及一中心点坐标;
检测该两该目标物体间的该中心点坐标的一距离是否小于两该目标物体长度或宽度的总和的一半,若是,则判断两该目标物体为碰撞,若否,则两该目标物体未碰撞;以及
根据若两该目标物体于该影片的该出现时序下一步为碰撞,则将该背景数据及该目标物体所属的该影格持续合成,直到两该目标物体于下一该影格中不再碰撞时,再将该背景数据及其他该些影格进行合成。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103102634 | 2014-01-24 | ||
TW103102634A TWI511058B (zh) | 2014-01-24 | 2014-01-24 | 一種影片濃縮之系統及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104811655A true CN104811655A (zh) | 2015-07-29 |
Family
ID=53696115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410085388.XA Pending CN104811655A (zh) | 2014-01-24 | 2014-03-10 | 一种影片浓缩的系统及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160029031A1 (zh) |
CN (1) | CN104811655A (zh) |
TW (1) | TWI511058B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724281A (zh) * | 2020-05-25 | 2021-11-30 | 艾阳科技股份有限公司 | 影像压缩及辨识方法及其系统 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI616763B (zh) * | 2015-09-25 | 2018-03-01 | 財團法人工業技術研究院 | 視訊索引建立方法及應用其之裝置 |
TWI562635B (en) * | 2015-12-11 | 2016-12-11 | Wistron Corp | Method and Related Camera Device for Generating Pictures with Object Moving Trace |
US10402700B2 (en) * | 2016-01-25 | 2019-09-03 | Deepmind Technologies Limited | Generating images using neural networks |
US9965703B2 (en) | 2016-06-08 | 2018-05-08 | Gopro, Inc. | Combining independent solutions to an image or video processing task |
US11144782B2 (en) | 2016-09-30 | 2021-10-12 | Deepmind Technologies Limited | Generating video frames using neural networks |
TWI604323B (zh) | 2016-11-10 | 2017-11-01 | 財團法人工業技術研究院 | 視訊索引建立方法及應用其之裝置 |
CN109862313B (zh) * | 2018-12-12 | 2022-01-14 | 科大讯飞股份有限公司 | 一种视频浓缩方法及装置 |
TWI768352B (zh) * | 2020-05-25 | 2022-06-21 | 艾陽科技股份有限公司 | 影像壓縮暨辨識方法及其系統 |
TWI755960B (zh) * | 2020-12-07 | 2022-02-21 | 晶睿通訊股份有限公司 | 物件計數方法及其相關監控攝影機 |
CN116156206B (zh) * | 2023-04-04 | 2023-06-27 | 石家庄铁道大学 | 一种以目标组为处理单元的监控视频浓缩方法 |
CN116647690B (zh) * | 2023-05-30 | 2024-03-01 | 石家庄铁道大学 | 一种基于时空旋转的视频浓缩方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100125581A1 (en) * | 2005-11-15 | 2010-05-20 | Shmuel Peleg | Methods and systems for producing a video synopsis using clustering |
CN102385705A (zh) * | 2010-09-02 | 2012-03-21 | 大猩猩科技股份有限公司 | 利用多特征自动集群法的异常行为侦测系统与方法 |
CN102930061A (zh) * | 2012-11-28 | 2013-02-13 | 安徽水天信息科技有限公司 | 一种基于运动目标检测的视频摘要方法及系统 |
US20130093895A1 (en) * | 2011-10-17 | 2013-04-18 | Samuel David Palmer | System for collision prediction and traffic violation detection |
CN103345492A (zh) * | 2013-06-25 | 2013-10-09 | 无锡赛思汇智科技有限公司 | 一种视频浓缩的方法和系统 |
CN103392187A (zh) * | 2010-12-30 | 2013-11-13 | 派尔高公司 | 利用从物体轨迹数据获取的统计和语义特征的场景活动分析 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8417037B2 (en) * | 2007-07-16 | 2013-04-09 | Alexander Bronstein | Methods and systems for representation and matching of video content |
TW201032597A (en) * | 2009-01-28 | 2010-09-01 | Nokia Corp | Method and apparatus for video coding and decoding |
US20110205359A1 (en) * | 2010-02-19 | 2011-08-25 | Panasonic Corporation | Video surveillance system |
US20130009989A1 (en) * | 2011-07-07 | 2013-01-10 | Li-Hui Chen | Methods and systems for image segmentation and related applications |
TWI588778B (zh) * | 2012-01-17 | 2017-06-21 | 國立臺灣科技大學 | 動作辨識方法 |
US9213901B2 (en) * | 2013-09-04 | 2015-12-15 | Xerox Corporation | Robust and computationally efficient video-based object tracking in regularized motion environments |
US10635908B2 (en) * | 2013-09-19 | 2020-04-28 | Nec Corporation | Image processing system and image processing method |
US9323991B2 (en) * | 2013-11-26 | 2016-04-26 | Xerox Corporation | Method and system for video-based vehicle tracking adaptable to traffic conditions |
-
2014
- 2014-01-24 TW TW103102634A patent/TWI511058B/zh not_active IP Right Cessation
- 2014-03-10 CN CN201410085388.XA patent/CN104811655A/zh active Pending
- 2014-07-29 US US14/445,499 patent/US20160029031A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100125581A1 (en) * | 2005-11-15 | 2010-05-20 | Shmuel Peleg | Methods and systems for producing a video synopsis using clustering |
CN102385705A (zh) * | 2010-09-02 | 2012-03-21 | 大猩猩科技股份有限公司 | 利用多特征自动集群法的异常行为侦测系统与方法 |
CN103392187A (zh) * | 2010-12-30 | 2013-11-13 | 派尔高公司 | 利用从物体轨迹数据获取的统计和语义特征的场景活动分析 |
US20130093895A1 (en) * | 2011-10-17 | 2013-04-18 | Samuel David Palmer | System for collision prediction and traffic violation detection |
CN102930061A (zh) * | 2012-11-28 | 2013-02-13 | 安徽水天信息科技有限公司 | 一种基于运动目标检测的视频摘要方法及系统 |
CN103345492A (zh) * | 2013-06-25 | 2013-10-09 | 无锡赛思汇智科技有限公司 | 一种视频浓缩的方法和系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724281A (zh) * | 2020-05-25 | 2021-11-30 | 艾阳科技股份有限公司 | 影像压缩及辨识方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
TW201530443A (zh) | 2015-08-01 |
TWI511058B (zh) | 2015-12-01 |
US20160029031A1 (en) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104811655A (zh) | 一种影片浓缩的系统及方法 | |
Murugan et al. | Region-based scalable smart system for anomaly detection in pedestrian walkways | |
US20150154457A1 (en) | Object retrieval in video data using complementary detectors | |
Dai et al. | Multi-task faster R-CNN for nighttime pedestrian detection and distance estimation | |
CN103902966B (zh) | 基于序列时空立方体特征的视频交互事件分析方法及装置 | |
CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
US20050073585A1 (en) | Tracking systems and methods | |
CN108229407A (zh) | 一种视频分析中的行为检测方法与系统 | |
Derpanis et al. | Classification of traffic video based on a spatiotemporal orientation analysis | |
CN105894539A (zh) | 基于视频识别和侦测运动轨迹的预防盗窃方法和系统 | |
CN102521565A (zh) | 低分辨率视频的服装识别方法及系统 | |
CN103839065A (zh) | 人群动态聚集特征提取方法 | |
Ji et al. | Apple target recognition method in complex environment based on improved YOLOv4 | |
Cui et al. | Abnormal event detection in traffic video surveillance based on local features | |
CN104732236B (zh) | 一种基于分层处理的人群异常行为智能检测方法 | |
Park et al. | Detection of construction workers in video frames for automatic initialization of vision trackers | |
Malhi et al. | Vision based intelligent traffic management system | |
Tomar et al. | Crowd analysis in video surveillance: A review | |
CN104463232A (zh) | 一种基于hog特征和颜色直方图特征的密度人群计数的方法 | |
CN105554456B (zh) | 视频处理方法和设备 | |
Liang et al. | Methods of moving target detection and behavior recognition in intelligent vision monitoring. | |
CN108898098A (zh) | 基于监控平台的早期视频烟雾检测方法 | |
CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
Xia et al. | Vision-based traffic accident detection using matrix approximation | |
CN109002746A (zh) | 3d立体火灾识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150729 |
|
WD01 | Invention patent application deemed withdrawn after publication |