CN109661808B - 精简视频生成装置、方法以及记录计算机程序的记录介质 - Google Patents

精简视频生成装置、方法以及记录计算机程序的记录介质 Download PDF

Info

Publication number
CN109661808B
CN109661808B CN201780042602.5A CN201780042602A CN109661808B CN 109661808 B CN109661808 B CN 109661808B CN 201780042602 A CN201780042602 A CN 201780042602A CN 109661808 B CN109661808 B CN 109661808B
Authority
CN
China
Prior art keywords
image
matrix
occupancy
video
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780042602.5A
Other languages
English (en)
Other versions
CN109661808A (zh
Inventor
郑镇河
金会律
崔建友
罗文随
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry University Cooperation Foundation IUCF HYU filed Critical Industry University Cooperation Foundation IUCF HYU
Publication of CN109661808A publication Critical patent/CN109661808A/zh
Application granted granted Critical
Publication of CN109661808B publication Critical patent/CN109661808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种精简视频生成装置、方法以及记录计算机程序的记录介质。根据本发明的精简视频生成装置可以包括：客体提取部，其将拍摄到的影像分离成背景影像和前景影像，提取出包括在被分离的前景影像中的客体；客体冲撞计算部，其在被提取的各个所述客体之间发生冲撞时，依据所述前景影像分别生成尺度发生变化的占有矩阵，利用不同客体的占有矩阵之间的运算，计算冲撞；客体重新定位部，其在视觉上不发生冲撞的范围内重新定位所述客体；以及摘要影像生成部，其合成拍摄到的所述背景影像和重新定位的客体，生成摘要影像。

Description

精简视频生成装置、方法以及记录计算机程序的记录介质
技术领域
本发明涉及一种精简视频生成装置、方法以及记录计算机程序的记录介质，具体涉及一种以如下内容为特征的精简视频生成装置、方法以及记录计算机程序的记录介质，其特征在于：从通过监控摄像机获得的监控影像分离出前景和背景，按时间段重新定位相当于前景的客体，使其不再重叠，从而生成上映监控影像内所有客体的同时，放映时间比正版影像短的摘要影像。
背景技术
最近，随着电子通信技术的急剧发展、摄像机技术的发展和智能手机的普及，影像数据收集量也随之急剧增加，如图像、视频及语音数据，生成为多媒体数据的信息量也随之暴增。
如此，将保存的信息重放成影像的过程中，现有技术是用录像机拍摄完后，搜索录制内容时，需要逐次观看影像，这导致耗时长、用户需要集中注意力。为了解决这种弊端，缩短搜索时间，可以采用快速回放方式进行搜索的方法，但由于数码录像方法在播放影像时，会抽掉瞬间帧，导致录制的客体(object)不全或影像不自然。特别是，像CCTV这种监控影像需要长时间观看并非观察目标的影像，这要求用户付出很大的努力。
其结果，目前大部分监控系统不经过智能型监控影像的分析，安排人员直接观察影像搜索要寻找的对象，此过程需要耗费非常长的时间，导致观察人员疲惫不堪。并且，用户为了缩短时间采用高速重放、影像跳转等功能时，存在着搜索对象丢失危险度高的弊端。
发明内容
本发明要解决的技术问题
本发明提供一种精简视频生成装置、方法以及记录计算机程序的记录介质，从通过监控摄像机获得的监控影像分离出前景和背景，按时间段重新定位相当于前景的客体，使其不再重叠，从而生成上映监控影像内所有客体的同时，放映时间比正版影像短的摘要影像。
技术方案
根据本发明一实施例，本发明一实施例中视频生成装置可以包括：客体提取部，其将拍摄到的影像分离成背景影像和前景影像，提取出包括在被分离的前景影像中的客体；客体冲撞计算部，其在被提取的各所述个客体之间发生冲撞时，依据所述前景影像分别生成尺度发生变化的占有矩阵(occupation matrix)，利用不同客体的占有矩阵之间的运算，计算冲撞；客体重新定位部，其在视觉上不发生冲撞的范围内重新定位所述客体；以及摘要影像生成部，其合成拍摄到的所述背景影像和重新定位的客体，生成摘要影像。
所述客体可以具有连接显示在多个影像帧的图像的管(tube)形式。
所述占有矩阵可以依据所述前景影像的近似值(approximation)得到生成。
所述占有矩阵可以由多个列和行排列的像素组成，所述占有矩阵的运算只可以在不同客体之间的对应的所述像素之间进行计算。
所述占有矩阵的运算可以是按时间段移动构成某一客体的占有矩阵的同时，计算构成另外客体的占有矩阵的对应的像素。
所述占有矩阵是可以利用卷积(convolution)进行运算。
所述占有矩阵的卷积将可以通过快速傅里叶变换(fast fourier transform)进行计算。
至于所述客体，依据用户赋予或预先设定的标准，重要度高时，可以调整为相对大。
至于所述重要度，可以考虑所述客体出现的时间、所述客体的颜色或所述客体的实施方向进行设定。
出现在所述前景影像的客体的个数多于或少于预先设定的标准值时，对所述客体的大小可以进行相对调整。
根据本发明另一实施例，本发明的精简视频生成方法可以包括：将拍摄到的影像分离成背景影像和前景影像，提取出包括在被分离的前景影像中的客体的步骤；在被提取的各个所述客体之间发生冲撞时，依据所述前景影像分别生成尺度发生变化的占有矩阵(occupation matrix)，利用不同客体的占有矩阵之间的运算，计算冲撞的步骤；在视觉上不发生冲撞的范围内重新定位所述客体的步骤；以及合成拍摄到的所述背景影像和重新定位的客体，生成摘要影像的步骤。
根据本发明的又另一实施例，还可包括：记录实施精简视频生成方法的计算机程序的记录介质。
有益效果
本发明一实施例从通过监控摄像机获得的监控影像分离出前景和背景，按时间段重新定位相当于前景的客体，使其不再重叠，从而可以生成上映监控影像内所有客体的同时，放映时间比正版影像短的摘要影像。
因此，可以最大限度缩短观察监控影像所需时间，以高准确度分析监控影像，降低观察监控影像的用户疲劳度。
附图说明
图1是示出本发明一实施例中精简视频生成装置的框图。
图2是示出本发明一实施例中精简视频生成方法的流程图。
图3是示出了根据本发明一实施例中精简视频生成方法生成摘要影像的过程的图。
图4是示出了依据前景影像生成占有矩阵的图。
图5至图10是示出了利用占有矩阵之间的卷积(convolution)计算冲撞的过程的图。
图11是对比了摘要前影像和摘要后影像的图。
图12是示出了考虑重要度调整客体大小的图。
图13是示出了考虑客体的个数调整客体的大小的图。
具体实施方式
本发明可以实施多方面的变形，也可以通过多种实施例得到实施，以下将参考附图举例说明特定实施例，并对于具体实施方式进行详细说明，但应当理解，本发明并不受特定实施方式的限制，并且包含于本发明的思想和技术范围的所有变形、等同物乃至替代物均包括在其中。说明本发明的过程中，认为相关公知技术的详细说明会混淆本发明的目的时，可以省略其详细说明。
第1、第2等术语用于说明多种构成要素，但所述构成要素不应该受到所述术语的限制。所述术语只用于将一构成要素从另一构成要素区别开。
本发明使用的术语只用于说明特定实施例，本发明并不受其限制。在奇数的表达方法上，只要是文章脉络里没有表示明确不同，就包括复数的表达。应当理解，本发明中“包括”或“具备”等术语只不过在指出说明书上记载的特征、数字、步骤、动作、构成要素、部件或其组合正在存在，但不事先排除一种或其以上其他特征或数字、步骤、动作、构成要素、部件或其组合的存在或添加可能性。
以下，参考附图详细说明本发明中精简视频生成装置、方法及记录计算机程序的记录介质的一实施例，在参考附图进行说明的过程中，相同或对应构成要素将使用相同的附图符号，对其将省略重复说明。
图1是示出本发明一实施例中精简视频生成装置的框图，图2是示出本发明一实施例中精简视频生成方法的流程图。
如图所示，本发明一实施例中精简视频生成装置包括：客体提取部20，其将拍摄到的影像分离成背景影像和前景影像，提取出包括在被分离的前景影像中的客体；客体冲撞计算部30，其在被提取的各个所述客体之间发生冲撞时，依据所述前景影像分别生成尺度发生变化的占有矩阵(occupation matrix)，利用不同客体的占有矩阵之间的运算，计算冲撞；客体重新定位部40，其在视觉上不发生冲撞的范围内重新定位所述客体；以及摘要影像生成部50，其合成拍摄到的所述背景影像和重新定位的客体，生成摘要影像。
所述输入部10用来拍摄影像，输入拍摄到的影像的信息(S10)。即，影像输入部10可以使用为监控设置的固定式监控摄像机、录像机等。并且，除了影像输入部10之外的客体提取部20、客体冲撞计算部30、客体重新定位部40和摘要影像生成部50实际上可以是记录计算机程序的记录介质。影像输入部10可以由上述独立的监控摄像机、录像机等构成，也可以直接具备于所述记录介质，输入拍摄到的影像。
拍摄到的影像由背景影像(background image)和前景影像(foreground image)分类，本实施例中，提取出包括在被分离的前景影像中的客体(object)(S20)。
至于客体提取部20，例如，可以采用GMM(gaussian mixture model)运算法则提取出客体影像。如图3所示，由客体提取部20提取的影像通过多个帧的形态显示，而连接上述显示于多个影像帧的图像时，客体则成为具备三维图形体积的管(tube)形态。
其次，客体冲撞计算部30在客体之间发生冲撞时，生成占有矩阵，并利用运算计算冲撞(S30)。相互不同的客体在时间上出现在影像内不同范围时，客体之间不会发生冲撞，但出现在影像内稍许相同范围时，客体之间会发生冲撞，此时，观察影像的用户不能正常查看部分客体，将错失重要部分。因此，为了防止这种情况的发生，本实施例在客体之间发生冲撞时，通过计算冲撞重新定位客体。
本实施例中，占有矩阵可以利用卷积(convolution)进行运算。当然，占有矩阵的运算并不局限在卷积，也可以采用相互关系(correlation)等多种方法进行运算。
图4是示出了依据前景影像生成占有矩阵的图。
参考图4可知，左图示出了人出现的前景影像，右图示出了依据该客体生成的占有矩阵。占有矩阵由多个列和行排列的像素组成，由尺度小于出现实际客体的影像的清晰度的像素单位组成。即，客体中，一个高像素对应于占有矩阵的一个像素，而实际客体的一个高像素由40Ⅹ40、1600个像素组成。
并且，整个占有矩阵由9Ⅹ9(举例说明)组成，而所述占有矩阵则依据前景影像的近似值(approximation)得到生成。最终，占有矩阵大概显示出该客体在时间和空间上占据的空间。如此，本实施例采用近似值生成占有矩阵的目的在于，改善现有技术利用运算法则计算客体冲撞的时间过长的弊端。即，如上所述，以依据前景影像采用近似值生成占有矩阵的方法为基础，计算客体冲撞时，会加快冲撞计算的运算过程，提升摘要影像生成作业的速度。
并且，本实施例中，为了进一步加快客体冲撞计算速度，构成了同时计算占有矩阵之间卷积的结构。对此，以下将参考图5至图10做出详细说明。
参考图5可知，假设如左侧生成3个第1客体的占有矩阵，如右侧生成4个第2客体的占有矩阵。
此时，排列时，使第1客体的占有矩阵和第2客体的占有矩阵中之一重叠起来，在冲撞的占有矩阵之间实施卷积。尤为重要的是，只在相互对应的像素之间实施占有矩阵之间的卷积。即，由于只在相互对应的像素之间计算卷积，整体上，在各个像素之间同时计算卷积。如此，同时计算像素而获得占有矩阵之间的卷积时，会改善冲撞计算运算速度，可以在更快的时间内获得摘要影像。另外，可以通过快速傅里叶变换(fast fourier transform)更快地计算出占有矩阵的卷积。
参考图6至图10可知，如图5所示，计算到冲撞的一个占有矩阵的卷积时，按时间段移动构成第1客体的占有矩阵的同时，计算出构成第2客体的占有矩阵和卷积。图6至图10示出了构成第1客体的占有矩阵按时间段移动占有矩阵之间间隔而发生冲撞时占有矩阵的计算过程。
根据上述同时运算法则，即使不采用现有技术中为了缩短运算时间采用的只分离背景运算法则(temporal median)、分割按时间段节录(为重新定位时间段，以N frame为单位实施)文件(为了减少重新定位运算法则操作的客体数量，按客体个数分割影像区间而使用运算法则)等具有局限性的方法，也可以快速分析输入的影像，生成摘要影像。
客体重新定位部40用来在视觉上不发生冲撞的范围内重新定位客体(S40)。客体重新定位部40基于通过计算客体的冲撞取得的结果重新定位客体，从而避免客体之间在屏幕上发生视觉重叠。
其次，摘要生成部50合成拍摄到的背景影像和重新定位的客体而生成摘要影像(S60)。上述重新定位的客体是从前景影像中提取，将其合成到以上拍摄的背景影像而生成摘要影像。
图11是对比了摘要前影像和摘要后影像的图。
参考图11可知，编辑成摘要之前，由于出现在一个影像的客体的数量较少，快速观看影像有难度，但编辑成摘要之后，出现在一个影像的客体的数量会增多，整个影像重放时间短，可以快读观察影像。参考图3中摘要影像可知，在邻接该客体的部分显示出客体上映的时间，可以将关注的客体重放到正版影像的相应时间段，更有深度地观察到客体。
其次，图12是示出了考虑重要度调整客体大小的图，图13是示出了考虑客体的个数调整客体的大小的图。
参考图12可知，依据用户赋予或预先设定的标准，重要度高时，对客体可以相对大幅度地进行调整(S50)。这里，重要度可以考虑客体出现的时间、客体的颜色或客体的实施方向进行设定，使用时，也可以与滤波器的功能相吻合。
用户赋予的标准是指例如，用户对于包括特定颜色的客体设定较高的重要度时，包括该颜色的客体显大，帮助用户更容易观察到客体。
并且，预先设定的标准是指针对客体在整个影像中出现的时间是10分钟以上的情况设定较高的重要度时，出现10分钟以上的客体显大，帮助用户更容易观察到客体。
上述重要度只不过是一例，显然，为了达到特定目的，可以采用更多的方式设定重要度。
参考图13可知，出现在前景影像的客体的个数多于或少于预先设定的标准值时，对客体的大小可以进行相对调整(S50)。如此设定的原因在于，例如，如果屏幕上出现的客体的个数越多(交通堵塞、出游人数较多的游乐园等)，定位时，防止客体不冲撞，会得不到摘要影像效果。因此，相对缩小客体的大小而定位，会使更多的客体出现在同一块屏幕上，会让用户更有效地观察影像。
上述内容参考本发明的特定实施例进行了详细说明。应当理解，只要是该技术领域的技术人员，就可以在不脱离上面本发明权利要求书记载的本发明思想及领域的范围内，可以对本发明进行多种形态的修改和变更。

Claims (18)

1.一种精简视频生成装置，其特征在于，包括：
客体提取部，其将拍摄到的影像分离成背景影像和前景影像，提取出包括在被分离的前景影像中的客体；
客体冲撞计算部，其在被提取的各个所述客体之间发生冲撞时，依据所述前景影像分别生成尺度变小的占有矩阵，利用不同客体的占有矩阵之间的运算，计算冲撞；
客体重新定位部，其在视觉上不发生冲撞的范围内重新定位所述客体；以及
摘要影像生成部，其合成拍摄到的所述背景影像和重新定位的客体，生成摘要影像；
其中，所述占有矩阵由多个列和行排列的像素组成，所述占有矩阵的运算只在不同客体之间的对应的所述像素之间同时进行计算。
2.根据权利要求1所述的精简视频生成装置，其特征在于，所述客体具有连接显示在多个影像帧的图像的管形式。
3.根据权利要求1所述的精简视频生成装置，其特征在于，所述占有矩阵依据所述前景影像的近似值生成。
4.根据权利要求1所述的精简视频生成装置，其特征在于，所述占有矩阵的运算是按时间段移动构成某一客体的占有矩阵的同时，计算构成另外客体的占有矩阵的对应的像素。
5.根据权利要求1所述的精简视频生成装置，其特征在于，所述占有矩阵是利用卷积进行运算。
6.根据权利要求5所述的精简视频生成装置，其特征在于，所述占有矩阵的卷积将通过快速傅里叶变换进行计算。
7.根据权利要求1所述的精简视频生成装置，其特征在于，依据用户赋予或预先设定的标准，重要度高时，所述客体调整为相对大。
8.根据权利要求7所述的精简视频生成装置，其特征在于，考虑所述客体出现的时间、所述客体的颜色或所述客体的实施方向设定所述重要度。
9.根据权利要求1所述的精简视频生成装置，其特征在于，出现在所述前景影像的客体的个数多于或少于预先设定的标准值时，对所述客体的大小进行相对调整。
10.一种精简视频生成方法，其特征在于，包括：
将拍摄到的影像分离成背景影像和前景影像，提取出包括在被分离的前景影像中的客体的步骤；
在被提取的各个所述客体之间发生冲撞时，依据所述前景影像分别生成尺度变小的占有矩阵，利用不同客体的占有矩阵之间的运算，计算冲撞的步骤；
在视觉上不发生冲撞的范围内重新定位所述客体的步骤；以及
合成拍摄到的所述背景影像和重新定位的客体，生成摘要影像的步骤；
其中，所述占有矩阵由多个列和行排列的像素组成，所述占有矩阵的运算只在不同客体之间的对应的所述像素之间同时进行计算。
11.根据权利要求10所述的精简视频生成方法，其特征在于，所述占有矩阵依据所述前景影像的近似值生成。
12.根据权利要求10所述的精简视频生成方法，其特征在于，所述占有矩阵的运算是按时间段移动构成某一客体的占有矩阵的同时，计算构成另外客体的占有矩阵的对应的像素。
13.根据权利要求10所述的精简视频生成方法，其特征在于，所述占有矩阵是利用卷积进行运算。
14.根据权利要求13所述的精简视频生成方法，其特征在于，所述占有矩阵的卷积将通过快速傅里叶变换进行计算。
15.根据权利要求10所述的精简视频生成方法，其特征在于，还包括：依据用户赋予或预先设定的标准，重要度高时，所述客体调整为相对大的步骤。
16.根据权利要求15所述的精简视频生成方法，其特征在于，考虑所述客体出现的时间、所述客体的颜色或所述客体的实施方向设定所述重要度。
17.根据权利要求10所述的精简视频生成方法，其特征在于，还包括：出现在所述前景影像的客体的个数多于或少于预先设定的标准值时，对所述客体的大小进行相对调整的步骤。
18.一种记录计算机程序的记录介质，其特征在于，所述计算机程序实施权利要求10至17中任一项所述的方法。
CN201780042602.5A 2016-07-08 2017-06-16 精简视频生成装置、方法以及记录计算机程序的记录介质 Active CN109661808B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0087017 2016-07-08
KR1020160087017A KR101805018B1 (ko) 2016-07-08 2016-07-08 컴팩트 비디오 생성 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체
PCT/KR2017/006329 WO2018008871A1 (ko) 2016-07-08 2017-06-16 컴팩트 비디오 생성 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체

Publications (2)

Publication Number Publication Date
CN109661808A CN109661808A (zh) 2019-04-19
CN109661808B true CN109661808B (zh) 2021-10-26

Family

ID=60912821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780042602.5A Active CN109661808B (zh) 2016-07-08 2017-06-16 精简视频生成装置、方法以及记录计算机程序的记录介质

Country Status (5)

Country Link
US (1) US10701463B2 (zh)
EP (1) EP3484145B1 (zh)
KR (1) KR101805018B1 (zh)
CN (1) CN109661808B (zh)
WO (1) WO2018008871A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101971937B1 (ko) * 2018-11-08 2019-04-24 주식회사 휴메닉 고령자를 위한 혼합현실 기반 인지훈련 시스템 및 방법
KR102211858B1 (ko) * 2018-12-31 2021-02-03 강원대학교산학협력단 요약 비디오를 생성하는 방법 및 장치
KR102271929B1 (ko) 2019-09-17 2021-07-02 한국과학기술연구원 장면 이해를 통해 비디오 요약을 생성하는 방법 및 이를 위한 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366027A (zh) * 2005-11-15 2009-02-11 耶路撒冷希伯来大学伊森姆研究发展公司 用于产生视频概要的方法和系统
CN101689394A (zh) * 2007-02-01 2010-03-31 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于视频索引和视频概要的方法和系统
CN103079117A (zh) * 2012-12-30 2013-05-01 信帧电子技术（北京）有限公司 视频摘要生成方法和视频摘要生成装置
CN103793477A (zh) * 2014-01-10 2014-05-14 同观科技（深圳）有限公司 用于生成视频摘要的系统及方法
CN104581437A (zh) * 2014-12-26 2015-04-29 中通服公众信息产业股份有限公司 一种视频摘要生成及视频回溯的方法及系统
CN105163093A (zh) * 2015-10-08 2015-12-16 北京理工大学 一种面向avs监控档的压缩域视频摘要提取方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295925B2 (en) * 1997-10-22 2007-11-13 Intelligent Technologies International, Inc. Accident avoidance systems and methods
US20040207656A1 (en) * 2001-06-30 2004-10-21 Sang-Youn Lee Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same
WO2008103929A2 (en) * 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
JP2011176748A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8869198B2 (en) * 2011-09-28 2014-10-21 Vilynx, Inc. Producing video bits for space time video summary
KR20140048539A (ko) * 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법
KR20150043962A (ko) * 2013-10-15 2015-04-23 한국전자통신연구원 동영상 요약 장치 및 방법
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
KR101496287B1 (ko) 2014-11-11 2015-02-26 (주) 강동미디어 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법
US10424341B2 (en) * 2014-11-12 2019-09-24 Massachusetts Institute Of Technology Dynamic video summarization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366027A (zh) * 2005-11-15 2009-02-11 耶路撒冷希伯来大学伊森姆研究发展公司 用于产生视频概要的方法和系统
CN101689394A (zh) * 2007-02-01 2010-03-31 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于视频索引和视频概要的方法和系统
CN103079117A (zh) * 2012-12-30 2013-05-01 信帧电子技术（北京）有限公司 视频摘要生成方法和视频摘要生成装置
CN103793477A (zh) * 2014-01-10 2014-05-14 同观科技（深圳）有限公司 用于生成视频摘要的系统及方法
CN104581437A (zh) * 2014-12-26 2015-04-29 中通服公众信息产业股份有限公司 一种视频摘要生成及视频回溯的方法及系统
CN105163093A (zh) * 2015-10-08 2015-12-16 北京理工大学 一种面向avs监控档的压缩域视频摘要提取方法及装置

Also Published As

Publication number Publication date
WO2018008871A1 (ko) 2018-01-11
EP3484145A4 (en) 2019-12-04
CN109661808A (zh) 2019-04-19
EP3484145B1 (en) 2023-08-23
EP3484145A1 (en) 2019-05-15
KR101805018B1 (ko) 2017-12-06
US20190261066A1 (en) 2019-08-22
US10701463B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
CN109191369B (zh) 2d图片集转3d模型的方法、存储介质和装置
US10958854B2 (en) Computer-implemented method for generating an output video from multiple video sources
CN111316637B (zh) 一种拼接墙图像内容识别开窗显示方法和相关装置
CN111401205B (zh) 动作识别方法及装置、电子设备、计算机可读存储介质
CN109661808B (zh) 精简视频生成装置、方法以及记录计算机程序的记录介质
US7340106B2 (en) Image processing apparatus and method, and image-capturing apparatus
CN111241872B (zh) 视频图像遮挡方法及装置
CN110856039A (zh) 视频处理方法及装置、存储介质
CN110765903A (zh) 行人重识别方法、装置及存储介质
JP2018107593A5 (zh)
CN111401238A (zh) 一种视频中人物特写片段的检测方法及装置
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
JP2011205599A (ja) 信号処理装置
Sabirin et al. Toward real-time delivery of immersive sports content
US20140340425A1 (en) Display control apparatus, control method of display control apparatus, and storage medium
CN116431857B (zh) 一种用于无人场景的视频处理方法和系统
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
Nieto et al. An automatic system for sports analytics in multi-camera tennis videos
CN113010736A (zh) 一种视频分类方法、装置、电子设备及存储介质
CN111177449B (zh) 基于图片的多维信息整合方法及相关设备
WO2019114954A1 (en) Indicating objects within frames of a video segment
CN112887611A (zh) 图像处理方法、装置、设备和存储介质
US20070092158A1 (en) Image processing method and image processing apparatus
CN117710868B (zh) 一种对实时视频目标的优化提取系统及方法
Martín et al. Automatic players detection and tracking in multi-camera tennis videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant