CN113660410A - 视频压缩流 - Google Patents

视频压缩流 Download PDF

Info

Publication number
CN113660410A
CN113660410A CN202110508561.2A CN202110508561A CN113660410A CN 113660410 A CN113660410 A CN 113660410A CN 202110508561 A CN202110508561 A CN 202110508561A CN 113660410 A CN113660410 A CN 113660410A
Authority
CN
China
Prior art keywords
pixel
time
point
background
blurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110508561.2A
Other languages
English (en)
Inventor
S·伦德贝里
S·袁
T·博格朗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN113660410A publication Critical patent/CN113660410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及用于提供视频压缩流的方法。背景模糊系统在第一时间点,识别背景中的至少第一像素;确定至少第一像素的模糊像素值;在视频压缩流中提供模糊像素值;在之后的第二时间点,识别至少第一像素已变为在前景中;在第二时间点后,在视频压缩流中提供至少第一像素的被识别非模糊像素值;在之后的第三时间点,识别至少第一像素已变为包括在背景中,其中至少第一像素的值从中间时间点到第三时间点保持不变;并且当第三时间点在从中间时间点起的背景合并时间段内,在第三时间点后,在视频压缩流中提供模糊像素值。公开还涉及这样的背景模糊系统、包括这样的系统的摄像机、相应的计算机程序产品和非易失性计算机可读存储介质。

Description

视频压缩流
技术领域
本公开涉及从适于捕获场景的摄像机提供视频压缩流。
背景技术
通过使用摄像机(例如用于监视目的),可以在其正在发生时和/或在之后的时候,查看特定环境(例如在办公室、工业场所、城市的一部分、开放的广场、城市街区、道路等)中发生的情况。周围环境(即场景)的视频流可以帮助提供与所述场景有关的视界和信息,这些视界和信息可以在一种或另一种方式中是揭示性的和/或受关注的。但是,从摄像机提供诸如实时视频流之类的视频流通常导致很高的计算成本,并且进一步需要大量的比特率。因此,已知使用各种已知的技术来压缩这样的视频流。还知道,可以通过模糊其背景部分来不清楚地提供它们,使得前景中的一个或多个人和/或物体可以被保持聚焦,而背景可以呈现为失去聚焦。但是,尽管背景模糊(除了在隐私方面可能具有效率外)可能导致降低的比特率消耗、减少的计算成本和/或视频流中的比特率,但这仍然是一个挑战。
发明内容
因此,本发明的目的是提供一种用于以改进的和/或替代的方式提供视频压缩流(例如来自适于捕获场景的摄像机的视频压缩流)的方法。
上述目的可以通过本文所公开的主题来实现。在所附权利要求、下面的描述以及附图中阐述了实施例。
所公开的主题涉及一种由背景模糊系统执行的用于从适于捕获场景的摄像机提供视频压缩流的方法。背景模糊系统在第一时间点,在场景的第一图像中识别包括在第一图像的背景中的至少第一像素。背景模糊系统进一步确定用于至少第一像素的模糊像素值。另外,背景模糊系统在第一时间点之后,在视频压缩流中提供模糊像素值。背景模糊系统还在之后的第二时间点,在场景的第二图像中识别至少第一像素已改变为包括在第二图像的前景中。另外,背景模糊系统在第二时间点之后,在视频压缩流中连续地和/或间歇地提供用于至少第一像素的被识别的非模糊像素值。背景模糊系统进一步在之后的第三时间点,在场景的第三图像中识别至少第一像素已改变为包括在第三图像的背景中,其中至少第一像素的值从中间时间点到第三时间点保持不变。此外,当第三时间点在从中间时间点起的可预先确定的背景合并时间段内时,背景模糊系统在第三时间点之后,在视频压缩流中提供模糊像素值。
所公开的主题进一步涉及一种用于从适于捕获场景的摄像机提供视频压缩流的背景模糊系统。背景模糊系统包括第一识别单元,其用于和/或适于在第一时间点,在场景的第一图像中识别包括在第一图像的背景中的至少第一像素。背景模糊系统进一步包括第一模糊单元,其用于和/或适于确定用于至少第一像素的模糊像素值。另外,背景模糊系统包括第一提供单元,其用于和/或适于在第一时间点之后,在视频压缩流中提供模糊像素值。背景模糊系统还包括第二识别单元,其用于和/或适于在之后的第二时间点,在场景的第二图像中识别至少第一像素已改变为包括在第二图像的前景中。另外,背景模糊系统包括第二提供单元,其用于和/或适于在第二时间点之后,在视频压缩流中连续地和/或间歇地提供用于至少第一像素的被识别的非模糊像素值。背景模糊系统进一步包括第三识别单元,其用于和/或适于在之后的第三时间点,在场景的第三图像中识别至少第一像素已改变为包括在第三图像的背景中,其中至少第一像素的值从中间时间点到第三时间点保持不变。此外,背景模糊系统包括第三提供单元,其用于和/或适于当第三时间点在从中间时间点起的可预先确定的背景合并时间段内时,在第三时间点之后,在视频压缩流中提供模糊像素值。
此外,所公开的主题涉及一种包括如本文所述的背景模糊系统的摄像机。
此外,所公开的主题涉及一种存储在计算机可读介质或载波上的包括计算机程序的计算机程序产品,所述计算机程序包含被布置为使计算机或处理器执行本文所描述的背景模糊系统的步骤的计算机程序代码装置。
所公开的主题还涉及其上存储有所述计算机程序产品的非易失性计算机可读存储介质。
这样便引入了一种方法,根据该方法,可以实现有计算效率和/或有比特率效率的背景模糊。也就是说,由于在第一时间点,在由摄像机捕获的场景的第一图像中识别包括在第一图像的背景中的至少第一像素,因此确定了一个或多个像素在所述时间点被视为属于所述捕获的场景图像的背景区域,例如,由于场景包括静态和/或不动的人和/或物体。此外,也就是说,由于确定了用于至少第一像素的模糊像素值,因此可以确定用于至少第一识别的背景像素的模糊值,该模糊值之后可以使所述像素被感知为模糊的,未聚焦的和/或不清晰的。而且,也就是说,由于在第一时间点之后,在视频压缩流中提供了模糊像素值,因此与第一捕获图像有关的至少第一像素的确定的模糊像素值被用于视频压缩流。这样,通过对于视频压缩流中的一个或多个被识别的背景像素使用模糊像素值而不是非模糊像素值,可以降低比特率和/或满足隐私方面的要求。此外,由于背景像素是模糊的以与非模糊的前景像素相反,因此,包括前景像素的物体(诸如例如移动的人和/或物体)与包括背景像素的非移动的人和/或物体相比是聚焦的和/或显得被强调。此外,也就是说,由于在之后的第二时间点,在场景的第二图像中识别至少第一像素已改变为包括在第二图像的前景中,因此确定在任意第二时间点出现的场景的第二图像中,先前被识别为属于背景的一个或多个像素被视为已改变为属于捕获的第二图像的前景区域,例如,这是因为一个或多个人和/或物体进入了场景。此外,也就是说,由于在第二时间点之后,在视频压缩流中连续地和/或间歇地提供用于至少第一像素的被识别的非模糊像素值,因此,与第二捕获图像有关的至少第一像素的被识别的像素值以及场景的任意数量的之后捕获图像中的它的其它被识别的变化的像素值被用于视频压缩流。因此,通过针对视频压缩流中的一个或多个被识别的前景像素使用连续地和/或间歇地更新的非模糊像素值,使得前景像素(诸如例如,一个或多个移动的人和/或物体)与模糊的背景像素相比聚焦。此外,也就是说,由于在之后的第三时间点,在场景的第三图像中识别至少第一像素已改变为包括在第三图像的背景中,其中至少第一像素的值从中间时间点到第三时间点保持不变,因此确定在任意第三时间点发生的场景的第三图像中的先前被识别为属于背景,接着被识别为属于前景的一个或多个像素(在从中间时间点起保持不变之后)再次更改为属于背景区域,例如,这是由一个或多个人和/或物体离开场景和/或至少部分地静止导致的。另外,也就是说,由于在第三时间点之后(当第三时间点在从中间时间点起的可预先确定的背景合并时间段内时),在视频压缩流中提供了模糊像素值,因此在所述第三时间点之后,如果从中间时间点(即,当至少第一像素上次更改其像素值时)到第三时间点(即,当至少第一像素从前景像素再次变为背景像素时)的时间范围在设定的时间段内,则在视频压缩流中再次使用先前确定的用于至少第一像素的模糊像素值。也就是说,如果在可预先确定的时间段内,至少第一像素从不变的前景像素再次更改为背景像素(例如,这可以由以下例示,一个或多个人和/或物体在所述背景合并时间段(例如,设定为示例性的五秒)内穿过场景和/或从不超过背景合并时间段地站着不动),则已经确定的模糊值(在第一时间点(即,当至少第一像素先前被识别为背景像素时)之后确定)再次用于视频压缩流中。因此,通过再次使用已确定的模糊像素值(当满足背景合并时间段标准时,其被认为仍然有效),可以认为没必要确定至少第一像素的更新的模糊像素值,从而提供了视频压缩流的降低的计算成本和/或有效率的比特率压缩。
为此,引入了一种用于以改进的和/或替代的方式提供视频压缩流(例如,来自适于捕获场景的摄像机的视频压缩流)的方法。
下面将进一步详细讨论上述方法的技术特征和相应的优点。
附图说明
通过下面的详细描述和附图,将容易理解包括特殊特征和优点的非限制性实施例的各方面,其中:
图1a至图1e示出了从根据本公开的实施例的示例性背景模糊系统提供的示例性视频压缩流图像的示意图;
图2是示出根据本公开的示例的示例性背景模糊系统的示意性框图;以及
图3是描绘根据本公开的实施例的由背景模糊系统执行的示例性方法的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本公开的非限制性实施例,在附图中示出了本公开的当前优选实施例。但是,本公开可以以许多不同的形式实施,并且不应被解释为限于本文阐述的实施例。贯穿全文,相似的参考标号指示相似的元件。图中某些方框的虚线表示这些单元或动作是可选的,而不是强制性的。
在下文中,根据本文的涉及从适于捕获场景的摄像机提供视频压缩流的实施例,将公开一种方法,根据该方法,能够实现有计算效率和/或有比特率效率的背景模糊。
现在参考附图,具体为图1至图2,图1a至图1e描绘了从根据本公开的实施例的示例性背景模糊系统1提供的示例性视频压缩流图像的示意图,并且图2描绘了示出根据本公开的实施例的示例性背景模糊系统1的示意性框图。背景模糊系统1适于和/或被配置为从适于捕获场景的摄像机2提供视频压缩流。
摄像机2可以指任何任意的(例如,已知的)适于图像捕获的摄像机。根据示例,所述摄像机2可以进一步被包括在包含附加组件的摄像机布置和/或网络(未示出)中,例如是示例性监视系统(未示出)的一部分。摄像机2适于捕获的场景可以由任何任意场景来表示,例如办公室、工业场所、城市的一部分、开放的广场、城市街区、道路等。所述场景可以进一步可选地为要监视的感兴趣场景。此外,摄像机2可以被布置为相对接近场景中的潜在的一个或多个例如人和/或物体,以使所述物体和/或人构成所述场景的捕获图像中相对大的部分。背景模糊系统1可以包括在所述摄像机2中;或者,背景模糊系统1例如可以至少部分地设置在摄像机2的外部,例如设置在示例性摄像机布置或监视系统中,和/或设置在一个或多个服务器中。此外,摄像机2和/或背景模糊系统1可以包括支持像素模糊的组件。考虑了本文提供的特征的限制,要提供的视频压缩流可以具有任意可行的大小和/或长度,并且还可以具有任意可行的格式。短语“背景模糊系统”可以指“处理系统”、“压缩系统”和/或“视频流背景模糊系统”,而“用于提供视频压缩流”可以指“用于提供、产生、生成、显示、存储和/或保存视频压缩流”、“用于视频流的背景模糊处理”和/或“用于视频流的处理”。另一方面,在整个公开中,短语“视频压缩流”可以指“压缩的视频流”和/或“压缩的视频信号”,并且根据示例,进一步指示“视频压缩实时流”。此外,“适于捕获场景的摄像机”可以指“适于捕获周围环境的摄像机”,并且根据示例,进一步指“适于捕获场景的监视摄像机”和/或“适于捕获要监视的场景的摄像机”。
背景模糊系统1例如借助第一识别单元101适于和/或被配置为在第一时间点,在场景的第一图像中识别包括在第一图像的背景中的至少第一像素。由此,在所述时间点,确定被视为属于场景的所述捕获图像的背景区域的一个或多个像素。根据示例,被认为是背景像素的一个或多个像素例如可以源自包括静态和/或不动的人和/或物体的场景。需要指出,这些例如构成背景像素的人和/或物体不一定要比构成前景像素的人和/或物体离摄像机2更远,它们也可以比构成前景像素的所述人和/或物体更靠近摄像机2。
第一图像可以指由摄像机2捕获的场景的任何任意图像,并且以类似的方式,第一时间点可以指任何任意时间点。类似地,至少第一像素可以指第一图像中位于所述图像中的任何任意位置处的任何任意一个或多个像素。此外,得到至少第一像素被包括在第一图像的背景中的结论可以通过任何任意例如已知的可行方式来确定和/或已经确定,例如通过检测例如在可预先确定的范围内不变的像素值和/或像素强度,和/或通过通常已知的图像深度检测,例如借助于场景的IR成像和/或深度摄像机的支持。也就是说,图像的像素可被视为前景像素或背景像素,其中根据示例,前景像素可以指示动态和/或变化(和/或具有动态和/或变化的值)的像素,而背景像素可以指示例如在可预先确定的范围内保持静态和/或不变(和/或具有在可预先确定的范围内保持静态和/或不变的值)的像素。术语“在图像中识别”贯穿本公开可以指“在图像中检测、过滤出和/或确定”,而“在[…]图像中”贯穿全文可以指“在[…]捕获图像中”和/或“在由所述摄像机捕获的[…]图像中”。另一方面,短语“至少第一像素”可以指“一个或多个像素”和/或“一个或多个相邻和/或分布的像素”,而“包括在背景中的像素”可以指“被视为和/或确定为包括在背景中的像素”、“包括在确定的背景中的像素”,“属于背景的像素”和/或“包括在背景区域中的像素”。根据示例,短语“包括在[…]图像的背景中的像素”贯穿本公开可以指“包括在[…]图像的静态和/或不变的区域中的像素”和/或“被确定和/或视为在可预先确定的范围内是静态和/或不变(和/或具有在可预先确定的范围内是静态和/或不变的值)的像素和/或保持静态和/或不变(和/或具有保持静态和/或不变的值)的像素”。
背景模糊系统1例如借助于第一模糊单元102适于和/或被配置为确定用于至少第一像素的模糊像素值。因此,可以针对至少第一识别的背景像素确定模糊值,这模糊值之后使所述像素被感知为模糊的,未聚焦的和/或不清晰的。
针对一个或多个被识别的背景像素确定模糊像素值可以以任何任意例如已知的可行方式完成,例如借助于来自一个或多个通常已知的图像滤波器内核(例如模糊内核)的支持。这样的示例性图像滤波器内核可以具有任何任意可行的维度和/或大小,例如指正方形内核,例如3*3内核、11*11内核、21*21内核等,和/或指示非方形内核,例如21*11的内核,其中21可以水平设置。至少第一像素模糊的程度可以任意地选择,例如被视为适合于即将到来的实现。可选地,为了比特率效率,用于确定至少第一像素的模糊像素值的图像滤波器内核的内核大小可以与视频压缩流的I帧的宏块大小一致。短语“确定”模糊像素值可以贯穿本公开指“应用”模糊像素值和/或“计算”模糊像素值,并且根据示例,还指“基于图像滤波器内核确定”模糊像素值。另一方面,短语“模糊像素值”可以贯穿本公开指“未聚焦和/或不清晰的像素值”,而“用于至少第一像素”可以指示“适用于至少第一像素”。根据示例,“模糊像素值”可以附加地或替代地指“去除颜色的像素值”。此外,根据示例,“模糊”可以贯穿本公开指“模糊和/或修改的”或“仅修改的”,由此“修改的”像素值然后可以以任何任意可行方式被修改。
背景模糊系统1例如借助于第一提供单元103适于和/或被配置为在第一时间点之后,在视频压缩流中提供模糊像素值。从而,与第一捕获图像有关的用于至少第一像素的确定的模糊像素值被用于视频压缩流,例如如图1a所示,用于在所述流的相应的第一压缩图像11中显示的相应的至少第一流像素111。因此,通过将模糊像素值而不是非模糊像素值用于视频压缩流中的一个或多个被识别的背景像素,可以降低比特率和/或满足隐私方面的要求。此外,由于背景像素是模糊的与非模糊的前景像素相反,因此,包括前景像素的物体(诸如例如,移动的人和/或物体)与包括背景像素的不移动的人和/或物体相比可以是聚焦的和/或突出显示。包含背景像素的移动的人和/或物体。在示例性图1a中,第一图像的所有像素(包括至少第一像素)被视为属于背景,因此,在第一压缩图像11中,所有像素都是模糊的。
可以以任何任意例如已知的可行方式在视频压缩流中提供模糊像素值,例如在与背景模糊系统1和/或视频摄像机2直接或间接地通信的例如一个或多个显示器3上显示,和/或例如以数字的方式记录和/或存储以备后用。短语“在所述视频压缩流中提供[…]像素值”贯穿本公开可以指“在所述视频压缩流中插入、设置、利用和/或使用[…]像素值”和/或“存储、保存和/或记录[…]像素值以在所述视频压缩流中使用”,并且根据示例,还指“在所述视频压缩流中连续地和/或间歇地提供[…]像素值”和/或“显示[…]像素值”和/或“在所述视频压缩流的一个或多个后续帧中利用[…]像素值”。另一方面,短语“在所述[…]时间点之后提供”贯穿本公开可以指“在所述[…]时间点之后和/或本质上在该时间点提供”。
背景模糊系统1例如通过第二识别单元104适于和/或被配置为在之后的第二时间点,在场景的第二图像中识别至少第一像素已改变为包括在第二图像的前景中。由此,可以确定在任意第二时间点出现的场景的第二图像中,先前被识别为属于背景的一个或多个像素被视为已改变为属于所捕获的第二图像的前景区域。根据示例,这例如可能是因为一个或多个人和/或物体进入场景而导致的。
第二图像可以指在先前捕获的第一图像之后由摄像机2捕获的场景的任何任意图像,并且以类似的方式,第二时间点可以指在第一时间点之后出现的任何任意时间点,例如之后的几毫秒到几分钟甚至几小时。需要指出,第二图像不一定是直接在第一图像之后的图像。相反,在所谓的第一和第二图像之间,可以捕获任意数量的连续图像。此外,得出至少第一像素被包括在第二图像的前景中的结论,可以是通过任何任意例如已知的可行方式确定和/或已经确定的,例如通过检测变化的或大幅变化的像素值和/或像素强度,和/或如先前指示的通过通常已知的图像深度检测。短语“像素已改变为包括在前景中”可以指“像素已更改为包括在前景中”和/或“像素已被确定和/或视为已改变为包括在前景中”,而“像素已改变为包括在前景中”可以指“像素已改变为包括在确定的前景中”,“像素已改变为属于前景”和/或“像素已改变为包括在前景中”前景区域”。根据示例,短语“像素已改变为包括在所述第二图像的前景中”可以指“像素已改变为包括在所述第二图像的动态、变化和/或大幅变化的区域中”,“像素被确定和/或视为已改变为动态、变化和/或大幅变化(和/或具有已改变为动态、变化和/或大幅变化的值)的像素,和/或“像素被确定和/或视为当前或基本在当前已改变为动态、变化和/或大幅变化(和/或具有已改变为动态、变化和/或大幅变化的值)的像素”。此外,术语“第二图像”可以指示“之后的第二图像”和/或“所述第一图像之后的第二图像”。
背景模糊系统1例如借助于第二提供单元105适于和/或被配置为在第二时间点之后,在视频压缩流中连续地和/或间歇地提供至少第一像素的被识别的非模糊像素值。由此,对于视频压缩流使用与第二捕获图像有关的至少第一像素的被识别的像素值以及场景的任意数量的后续捕获图像中的它的其它被识别的变化的像素值,例如如图1b所示,用于在所述流的相应的第二压缩图像12中显示的相应的至少第一流像素111。因此,通过利用视频压缩流中的一个或多个被识别的前景像素的连续地和/或间隙地更新的非模糊像素值,诸如一个或多个移动的人和/或物体之类的前景像素与模糊的背景像素相比可以聚焦。在示例性图1b中,第二图像的至少第一像素被视为属于前景,因此,在第二压缩图像12中,所述像素(此处属于示例性移动的人)是不模糊的,即清晰的。需要指出,在所示的示例中,由于所述人继续移动,至少第一像素可以连续地和/或间歇地改变,由此,所述至少第一像素的非模糊像素值可以连续地和/或间歇地改变,例如随着场景的连续捕获图像而变化。
至少第一像素的非模糊像素值可以以任何任意例如已知的可行方式识别和/或导出,例如借助于通常已知的图像处理的支持。短语“提供[…]被识别的非模糊像素值”可以指“提供[…]捕获和/或导出的非模糊像素值”,“提供[…]被更新的非模糊像素值”和/或“提供[…]被更新的被识别的非模糊像素值”。此外,根据示例,短语“提供[…]所述至少第一像素的连续地和/或间歇地识别的非模糊像素值”可以指“只要所述至少第一像素包括在连续捕获图像的前景中,便提供[…]所述至少第一像素的被识别的非模糊像素值。另一方面,短语“非模糊像素值”可以指“实际的、检测到的、聚焦的和/或清晰的像素值”。
背景模糊系统1例如借助于第三识别单元106适于和/或被配置为在之后的第三时间点,在场景的第三图像中识别至少第一像素已改变为包括在第三图像的背景中,其中从中间时间点到第三时间点,至少第一像素的值保持不变。由此确定在任意第三时间点出现的场景的第三图像中的先前被识别为属于背景,然后被识别为属于前景的一个或多个像素被视为(在从中间时间点起保持不变之后)再次更改为属于背景区域。根据示例,这例如,这是由一个或多个人和/或物体离开场景和/或至少部分地静止导致的。
第三图像可以指在先前捕获的第二图像之后由摄像机2捕获的场景的任何任意图像,并且以类似的方式,第三时间点可以指示在第二时间点之后出现的任何任意时间点,例如之后的几毫秒到几分钟甚至几小时。需要指出,第三图像不一定是直接在第二图像之后的图像。相反,在所谓的第二和第三图像之间,可以捕获任意数量的连续图像,例如在以下情况下:即,至少第一像素在一段时间内保持位于前景中,例如,其中具有或不具有诸如由示例性移动的人导致的变化的像素值。得出至少第一像素在第三时间点之后被包括在第三图像的背景中的结论,可以通过任何任意例如已知的可行方式确定和/或已经确定,例如通过检测、推导和/或了解至少第一像素的像素值例如就在第三时间点之前的可预先确定的范围内保持不变和/或基本上不变。在此,至少第一像素被认为自示例性中间时间点起保持不变,该示例性中间时间点可以在第二时间点之后的任何任意时间点出现,例如之后的几毫秒到几分钟甚至几小时。
短语“像素已改变为包括在背景中”可以指“像素已再次改变为包括在背景中”,“像素已更改为包括在背景中”和/或“像素已被确定和/或视为已改变为包括在背景中”,并且进一步指“像素已改变为包括在确定的背景中”,“像素已改变为属于背景”和/或“像素已改变为包括在背景区域中”。根据示例,短语“像素已改变为包括在所述第三图像的背景中”可以指“像素已改变为包括在所述第三图像的静态和/或不变的区域中”和/或“像素被确定和/或视为在可预先确定的范围内已改变为静态和/或不变,和/或保持静态和/或不变(和/或具有在可预先确定的范围内已改变为静态和/或不变,和/或保持静态和/或不变的值)”。此外,术语“第三图像”可以指示“之后的第三图像”和/或“在所述第二图像之后的第三图像”。此外,表述“至少第一像素的值”可以指“至少第一像素的像素值”,而“保持不变”可以指“基本上保持不变”,“已经反映出不移动和/或不运动”和/或“在可预先确定的范围内保持不变”。另一方面,表述“从中间时间点到所述第三时间点保持不变”可以指“自中间时间点起至少直到所述第三时间点保持不变”和/或“从所述第二时间点之后的中间时间点直到所述第三时间点保持不变”。
背景模糊系统1例如借助于第三提供单元107适于和/或被配置为在第三时间点之后(当第三点在从中间时间点起的可预先确定的背景合并时间段内时),在视频压缩流中提供模糊像素值。因此,在所述第三时间点之后,如果从中间时间点(即,当至少第一像素上次更改其像素值时)到第三时间点(即,当至少第一像素从前景像素再次变为背景像素时)的时间范围在设定的时间段内,则在视频压缩流中再次使用先前确定的至少第一像素的模糊像素值,例如如图1c所示,用于在所述流的相应的第三压缩图像13中显示的相应的至少第一流像素111。也就是说,如果在可预先确定的时间段内,至少第一像素从不变的前景像素然后再次更改为背景像素(例如,可以例示为,一个或多个人和/或物体在所述背景合并时间段(例如,设定为示例性的五秒)内穿过场景和/或从不超过背景合并时间段地站着不动),则在视频压缩流中再次使用已经确定的模糊值(其在第一时间点(即,当至少第一像素先前被识别为背景像素时)之后确定)。因此,通过再次使用已确定的模糊像素值(当满足背景合并时间段标准时,其被视为仍然有效),可以认为没必要确定至少第一像素的更新的模糊像素值,从而提供视频压缩流的降低计算成本和/或有效率的比特率的压缩。此外,由于减少了之后所需的计算量,因此可以使用相对大的图像滤波器内核(例如由模糊内核表示)。在示例性图1c中,第三图像的至少第一像素被视为再次属于背景,并且由于这种改变(根据该示例)发生在设定的背景合并时间段内的,在第三压缩图像13中,所述像素被使用先前确定的模糊值进行模糊。
背景合并时间段可以是任何任意可行的时间范围,例如固定的时间范围,例如小于一秒到几十秒甚至到几分钟或几小时。根据一个示例,背景合并时间段大于两秒,根据另一示例,大于五秒,并且根据又一示例,大于十秒。类似地,根据示例,背景合并时间段小于六十秒,根据另一示例,小于三十秒,并且根据又一示例,小于十秒。所述背景合并时间段可以进一步变化和/或调整,例如被设置为视为适合即将到来(at hand)的实现和/或情况。短语“当所述第三时间点在从所述中间时间点起的可预先确定的背景合并时间段内时”可以指示“如果、要是/假如是所述第三时间点在从所述中间时间段起的可预先确定的背景合并时间段内”,而“可预先确定的背景合并时间段”可以指示“预先确定的背景合并时间段”和/或仅指示“背景合并时间段”。此外,短语“背景合并时间段”可以指示“第一时间段”、“重用阈值时间段”和/或“背景合并时间范围”。根据示例,短语“在所述第三时间点之后,在所述视频压缩流中提供所述模糊像素值”可以指示“在所述第三时间点之后,在所述视频压缩流的一个或多个后续帧中重新利用所述模糊像素值”。
可选地,背景模糊系统1例如借助于可选的第二模糊单元108适于和/或被配置为,当第三时间点不在背景合并时间段内时,确定用于至少第一像素的更新的模糊像素值。因此,如果从中间时间点(即,从此时开始,至少第一像素的值保持不变)到第三时间点(即,到此时,至少第一像素从前景像素再次变为背景像素)的时间范围不在设定的时间段内,则可以对于至少第一像素确定更新的模糊值。也就是说,如果不满足背景合并时间段标准,则对于至少第一像素确定更新的模糊像素值被视为应该的,因为由于与先前确定的模糊像素值相比,至少第一像素被认为反映了不同的,新的和/或被更新的背景,先前确定的模糊像素值被视为不再相关。短语“当所述第三时间点不在所述背景合并时间段内时”可以指“如果、要是/假如所述第三时间点不在所述背景合并时间段内”,而“更新的模糊像素值”可以指“新的模糊像素值”。
进一步可选地,背景模糊系统1例如然后借助于可选的第四提供单元109适于和/或被配置为在第三时间点之后,在视频压缩流中提供更新的模糊像素值。因此,在所述第三时间点之后,如果从中间时间点(即,从此时开始,至少第一像素的值保持不变)到第三时间点(即,当至少第一像素从前景像素再次变为背景像素)的时间范围如上所述不在设定的时间段内,则在视频压缩流中使用用于至少第一像素的更新的确定的模糊像素值,例如如图1e所示,用于在所述流的相应的替代的第三压缩图像13'中显示的相应的至少第一流像素111。也就是说,如果从至少第一像素变为不变的前景像素到然后再次变为背景像素的时间范围不在设定的时间段(例如,可以例示如下,诸如人之类的物体进入场景,然后至少部分地站着不动,如图1d例示的)内,则在视频压缩流中使用确定的更新的模糊像素值,而不是先前确定的模糊像素值(现在已过时和/或被视为已过时)。在示例性图1e中,至少第一像素被视为再次属于背景,并且由于这种改变(根据如上所述的该示例)由例如一个人进入场景,然后至少部分地长于设定的背景合并时间段地站着不动来示出,因此在替代的第三压缩图像13'中,所述像素再次被模糊,现在具有被更新的确定的模糊像素值。
另外,可选地,背景模糊系统1进一步例如借助于可选的第二模糊单元108适于和/或被配置为附加地确定至少第一像素附近的附加像素的被更新的模糊像素值。然后,背景模糊系统1然后进一步例如借助于可选的第四提供单元109适于和/或被配置为附加地提供附加像素的被更新的模糊像素值。因此,在先前讨论的第三时间点之后,除了确定并之后在视频压缩流中提供至少第一像素的被更新的模糊像素值之外,还对于至少第一像素附近的和/或与至少第一像素相关联的像素的可预先确定的部分,确定并之后提供被更新的像素值。
可被附加地确定被更新的模糊像素值的至少第一像素附近的附加像素可以由至少第一像素附近的像素的任何可行的任意维度部分和/或数量(例如,邻近所述至少第一像素的像素)来表示。根据示例,所述附加像素可以由围绕至少第一像素形成矩形或样方(quadrat)(例如,10*10像素)的像素来表示。需要指出,至少第一像素不必一定位于所述矩形或样方的中心。根据另一示例,所述附加像素可以由被识别为至少第一像素所属的对象的一部分和/或与该对象相关联的像素来表示。短语“对于在所述至少第一像素附近的附加像素”可以指“对于围绕和/或邻近所述至少第一像素的附加像素”和/或“对于所述至少第一像素附近的附加像素的一部分”。
可选地,背景模糊系统1例如借助于可选的补充模糊单元110适于和/或被配置为当在预先确定的补充时间点的模糊像素值被确定为在预先确定的补充间段内没有被更新时,从场景的当前图像中确定至少第一像素的被更新的模糊像素值。然后,背景模糊系统1进一步例如借助于可选的补充提供单元111适于和/或被配置为在补充时间点之后,在视频压缩流中提供被更新的模糊像素值。因此,在所述补充时间点之后,如果在任意时间点的模糊像素值被确定在设定的时间段内没有被更新,则从当前图像中确定至少第一像素的被更新的模糊像素值,并且然后在视频压缩流中使用。因此,假如至少第一像素在设定的补充时间段内保持为背景像素,则仍然可以在视频压缩流中确定并提供被更新的模糊像素值。因此,可以补偿例如涉及提供先前确定的模糊像素值(其可能已经过时和/或错误)的情况。以类似的方式,可以附加地或替代地补偿例如涉及缓慢变化的光条件(例如,黄昏或黎明时的光条件,其不一定导致至少第一像素从背景变为前景)的情况。
补充时间段可以是任何任意可行的时间范围,例如从小于一秒到数十秒甚至到几分钟或几小时。根据示例,补充时间段可以由等于或基本上等于先前讨论的背景合并时间段的时间范围的时间范围来表示。所述补充时间段可以进一步变化和/或调整,例如被设置为适合即将到来的实现和/或情况。以类似的方式,补充时间点可以是任何任意可行的时间点。根据示例,所述补充时间点可以由在先前讨论的补充时间点之后经过等于或基本上等于背景合并时间段的时间范围而出现的时间点来表示。需要指出,补充时间段和/或其大小对于不同像素是可以不同的。短语“当位于可预先确定的补充时间点的所述模糊像素值”可以指“假如和/或假设位于可预先确定的补充时间点的所述模糊像素值”。另一方面,短语“可预先确定的补充时间点”可以指“预先确定的补充时间点”和/或仅指示“补充时间点”,而“可预先确定的补充时间段”可以指示“预先确定的补充时间段”和/或仅指示“补充时间段”。此外,短语“从所述场景的当前图像”可以指“从所述场景的基本上当前和/或即将到来的图像”。
可选地,背景模糊系统1例如借助于可选的I帧模糊单元112适于和/或被配置为当在可预先确定的I帧相关时间点的视频压缩流的可预先确定的即将到来的帧是I帧时,对于所述至少第一像素和识别为包括在所述场景的当前图像的背景中的像素中出来的可预先确定部分的其它像素,确定被更新的模糊像素值。然后,背景模糊系统1可以进一步例如借助于可选的I帧提供单元113适于和/或被配置为,在I帧相关时间点之后,在视频压缩流中提供被更新的模糊像素值。因此,在所述I帧相关时间点之后,如果视频压缩流的可预先确定的即将到来的帧是I帧,则可以从当前图像中,对于至少第一像素以及附加地对于从背景像素中选出来的像素部分,确定被更新的模糊像素值,并且然后在视频压缩流中使用。因此,针对一个或多个选定的I帧,可以更新包括至少第一像素的一系列选定的背景像素。因此,可以确定和提供选定像素的被更新的模糊像素值(该像素选择可以从一个选定的I帧到另一选定的I帧不同),而不对计算成本和/或视频压缩流比特率产生负面影响。
可预先确定的I帧相关时间点可以由任何任意可行的时间点来表示,并且类似地,可预先确定的即将到来的I帧可以指视频压缩流的任何任意可行的I帧。例如,每n个I帧可以是被选择(即可预先确定)的-I帧,其中n可以任意地选择为视为适合即将到来的实现和/或情况。短语“当[…]所述视频压缩流的可预先确定的即将到来的帧是I帧时”可以指“如果、要是/假如假设[…]所述视频压缩流的可预先确定的即将到来的帧是I帧”,而“即将到来的帧”可以指示“即将来临的帧”和/或“下一到来的帧”。另一方面,短语“可预先确定的即将到来的帧”可以指“预先确定的即将到来的帧”和/或“选定的即将到来的帧”,而另一方面,“可预先确定的I帧相关时间点”可以指“预先确定的I帧相关时间点”和/或仅指“I帧相关时间点”。此外,短语“可预先确定部分的其它像素”可以指“可预先确定部分的附加像素”、“预先确定部分的其它像素”和/或仅指“一部分的其它像素”,而短语“识别为包括在背景中的像素中出来的一部分”可以指“识别为包括在背景中的像素中出来的范围、集合和/或选择”。此外,短语“所述场景的当前图像的”可以指“所述场景的基本上当前的和/或即将到来的图像的”。
如图2进一步所示,背景模糊系统1可以包括第一识别单元101、第一模糊单元102、第一提供单元103,第二识别单元104、第二提供单元105、第三识别单元106、第三提供单元107、可选的第二模糊单元108、可选的第四提供单元109、可选的补充模糊单元110、可选的补充提供单元111、可选的I帧模糊单元112和可选的I帧提供单元113,上面已经详细地描述了这些单元。此外,可以通过一个或多个处理器(例如,处理器114(例如图形处理单元GPU和/或中央处理器CPU))与用于执行本文的实施例的功能和动作的计算机程序代码一起来实现本文的用于从适于捕获场景的摄像机2提供视频压缩流的实施例。所述程序代码也可以被提供为计算机程序产品,例如以携带计算机程序代码的数据载体的形式,所述计算机程序代码用于当被加载到背景模糊系统1中时执行本文的实施例。一种这样的载体可以是CD ROM盘、光盘、固态盘、闪存和/或硬盘驱动器的形式,但是其他数据载体也是可行的。此外,计算机程序代码可以作为纯程序代码在服务器上被提供,并被下载到背景模糊系统1。背景模糊系统1还可以包括存储器115,该存储器115包括一个或多个存储单元。存储器115可被布置为用于存储例如信息,并进一步存储数据、配置、调度和应用,以便当这些信息、数据、配置、调度和应用在背景模糊系统1中运行时,可以执行本文的方法。例如,计算机程序代码可以在存储在嵌入式处理器114的闪存115中的固件实现。此外,所述单元101-113、可选处理器114和/或可选的存储器115可以至少部分地包括在摄像机2和/或例如可选地包括所述摄像机2的监视系统中,与它们相关联,和/或连接到它们。本领域技术人员还将理解,上面描述的所述单元101-113可以指模拟和数字电路和/或一个或多个处理器的组合,这些处理器通过例如存储在存储器(诸如存储器115)中的软件和/或固件进行配置,当被一个或多个处理器(诸如处理器114)执行时,这些软件和/或固件如所描述的那样执行。这些处理器中的一个或多个以及其他数字硬件可以包括在单个专用集成电路ASIC中,或者,多个处理器以及各种数字硬件可以分布在几个单独的组件中,无论这些组件是单独封装还是组装成片上系统Soc。
图3是示出根据本公开的实施例的由背景模糊系统1执行的示例性方法的流程图。所述方法用于从适于捕获场景的摄像机2提供视频压缩流。可以连续重复的示例性方法包括借助于图1至图2的支持讨论的以下动作中的一个或多个。此外,在适用的情况下,可以以任何合适的顺序执行这些动作和/或可以同时和/或以交替的顺序执行一个或多个动作。例如,可以在动作1008和1009之前执行可选的动作1010和1011,和/或动作1012和1013。
动作1001
在动作1001中,背景模糊系统1例如借助于第一识别单元101的支持,在第一时间点,在场景的第一图像中识别包括在第一图像的背景中的至少第一像素。
动作1002
在动作1002中,背景模糊系统1例如借助于第一模糊单元102的支持,确定至少第一像素的模糊像素值。
动作1003
在动作1003中,背景模糊系统1例如借助于第一提供单元103的支持,在第一时间点之后,在视频压缩流中提供模糊像素值。
动作1004
在动作1004中,背景模糊系统1例如借助于第二识别单元104的支持,在之后的第二时间点,在场景的第二图像中识别至少第一像素已改变为包括在第二图像的前景中。
动作1005
在动作1005中,背景模糊系统1例如借助于第二提供单元105的支持,在第二时间点之后,在视频压缩流中连续地和/或间歇地提供至少第一像素的被识别的非模糊像素值。
动作1006
在动作1006中,背景模糊系统1例如借助于第三识别单元106的支持,在之后的第三时间点,在场景的第三图像中识别至少第一像素已改变为包括在第三图像的背景中,其中至少第一像素的值从中间时间点直到第三时间点保持不变。
动作1007
在动作1007中,当第三时间点在从中间时间点起的可预先确定的背景合并时间段内时,背景模糊系统1例如借助于第三提供单元107的支持,在第三时间点之后,在视频压缩流中提供模糊像素值。
动作1008
在可选的动作1008中,当第三时间点不在背景合并时间段内时,背景模糊系统1例如借助于可选的第二模糊单元108的支持,确定至少第一像素的被更新的模糊像素值。
可选地,动作1008的确定可以包括附加地确定至少第一像素附近的附加像素的被更新的模糊像素值。
动作1009
在可以跟随可选的动作1008的可选的动作1009中,当第三时间点不在背景合并时间段内时,背景模糊系统1例如借助于可选的第四提供单元109的支持,在第三时间点之后,在视频压缩流中提供被更新的模糊像素值。
可选地,动作1009的提供可以包括附加地提供附加像素的被更新的模糊像素值。
动作1010
在可选的动作1010中,当确定可预先确定的补充时间点的模糊像素值在可预先确定的补充时间段没有被更新时,背景模糊系统1例如借助于可选的补充模糊单元110的支持,从场景的当前图像中确定至少第一像素的被更新的模糊像素值。
动作1011
在可以跟随可选的动作1010的可选的动作1011中,当确定可预先确定的补充时间点的模糊像素值在预先确定的补充时间段没有更新时,背景模糊系统1例如借助于可选的补充提供单元111的支持,在补充时间点之后,在视频压缩流中提供更新的模糊像素值。
动作1012
在可选的动作1012中,当可预先确定的I帧相关时间点的视频压缩流的可预先确定的即将到来的帧是I帧时,背景模糊系统1例如借助于可选的I帧模糊单元112的支持,确定被识别为包括在场景的当前图像的背景中的像素中出来的至少第一像素和可预先确定部分的其它像素的被更新的模糊像素值。
动作1013
在可以跟随可选的动作1012的可选的动作1013中,当可预先确定的I帧相关时间点的视频压缩流的可预先确定的即将到来的帧是I帧时,背景模糊系统1例如借助于可选的I帧提供单元113的支持,在I帧相关时间点之后,在视频压缩流中提供更新的模糊像素值。
本领域技术人员意识到,本公开绝不限于上述优选实施例。相反,在所附权利要求的范围内,许多修改和变化是可能的。另外需要指出,附图不一定按比例绘制,并且为了清楚起见,某些特征的尺寸可能已被放大。相反,重点放在说明本文的实施例的原理上。另外,在权利要求中,单词“包括”不排除其他元件或步骤,并且不定冠词“一”或“一个”不排除多个。

Claims (15)

1.一种由背景模糊系统(1)执行的用于从适于捕获场景的摄像机(2)提供视频压缩流的方法,所述方法包括:
在第一时间点,在所述场景的第一图像中识别(1001)包括在所述第一图像的背景中的至少第一像素;
确定(1002)所述至少第一像素的模糊像素值;
在所述第一时间点之后,在所述视频压缩流中提供(1003)所述模糊像素值;
在之后的第二时间点,在所述场景的第二图像中识别(1004)所述至少第一像素已改变为被包括在所述第二图像的前景中;
在所述第二时间点之后,在所述视频压缩流中连续地和/或间歇地提供(1005)所述至少第一像素的被识别的非模糊像素值;
在所述至少第一像素从前景像素再次变为背景像素时的之后的第三时间点,在所述场景的第三图像中识别(1006)所述至少第一像素已改变为被包括在所述第三图像的背景中;以及
当所述第三时间点在从所述第二时间点之后的中间时间点起的可预先确定的背景合并时间段内,从所述中间时间点开始所述至少第一像素的值保持不变时:
在所述第三时间点之后,在所述视频压缩流中提供(1007)所述模糊像素值。
2.根据权利要求1所述的方法,所述方法进一步包括:
当所述第三时间点不在所述背景合并时间段内时:
确定(1008)所述至少第一像素的被更新的模糊像素值;以及
在所述第三时间点之后,在所述视频压缩流中提供(1009)所述被更新的模糊像素值。
3.根据权利要求2所述的方法,其中所述确定(1008)被更新的模糊像素值包括附加地确定所述至少第一像素附近的附加像素的被更新的模糊像素值,并且其中所述提供(1009)所述被更新的模糊像素值包括附加地提供所述附加像素的所述被更新的模糊像素值。
4.根据权利要求1至3中任一项所述的方法,所述方法进一步包括:
当可预先确定的补充时间点的所述模糊像素值被确定为在可预先确定的补充时间段内没有被更新时:
从所述场景的当前图像中确定(1010)所述至少第一像素的被更新的模糊像素值;以及
在所述补充时间点之后,在所述视频压缩流中提供(1011)所述被更新的模糊像素值。
5.根据权利要求1至4中任一项所述的方法,所述方法进一步包括:
当可预先确定的I帧相关时间点的所述视频压缩流的可预先确定的即将到来的帧是I帧时:
对于被识别为包括在所述场景的当前图像的背景中的像素中出来的所述至少第一像素和可预先确定部分的其它像素,确定(1012)被更新的模糊像素值;以及
在所述I帧相关时间点之后,在所述视频压缩流中提供(1013)所述被更新的模糊像素值。
6.根据权利要求1至5中任一项所述的方法,其中用于确定所述至少第一像素的模糊像素值的图像滤波器内核的内核大小与所述视频压缩流的I帧的宏块大小匹配。
7.一种用于从适于捕获场景的摄像机(2)提供视频压缩流的背景模糊系统(1),所述背景模糊系统包括:
第一识别单元(101),其用于在第一时间点,在所述场景的第一图像中识别(1001)包括在所述第一图像的背景中的至少第一像素;
第一模糊单元(102),其用于确定(1002)所述至少第一像素的模糊像素值;
第一提供单元(103),其用于在所述第一时间点之后,在所述视频压缩流中提供(1003)所述模糊像素值;
第二识别单元(104),其用于在之后的第二时间点,在所述场景的第二图像中识别(1004)所述至少第一像素已改变为被包括在所述第二图像的前景中;
第二提供单元(105),其用于在所述第二时间点之后,在所述视频压缩流中连续地和/或间歇地提供(1005)所述至少第一像素的被识别的非模糊像素值;
第三识别单元(106),其用于在所述至少第一像素从前景像素再次变为背景像素时的之后的第三时间点,在所述场景的第三图像中识别(1006)所述至少第一像素已改变为被包括在所述第三图像的背景中;以及
第三提供单元(1007),其用于当所述第三时间点在从所述第二时间点之后的中间时间点起的可预先确定的背景合并时间段内,从所述中间时间点开始所述至少第一像素的值保持不变时,在所述第三时间点之后,在所述视频压缩流中提供(1007)所述模糊像素值。
8.根据权利要求7所述的背景模糊系统(1),进一步包括:
第二模糊单元(108),其用于当所述第三时间点不在所述背景合并时间段内时,确定(1008)所述至少第一像素的被更新的模糊像素值;以及
第四提供单元(109),其用于在所述第三时间点之后,在所述视频压缩流中提供(1009)所述被更新的模糊像素值。
9.根据权利要求8所述的背景模糊系统(1),其中所述第二模糊单元(108)适于附加地确定所述至少第一像素附近的附加像素的被更新的模糊像素值,并且其中所述第四提供单元(109)适于附加地提供所述附加像素的所述被更新的模糊像素值。
10.根据权利要求7至9中任一项所述的背景模糊系统(1),进一步包括:
补充模糊单元(110),其用于当可预先确定的补充时间点的所述模糊像素值被确定为在可预先确定的补充时间段内没有被更新时,从所述场景的当前图像中确定(1010)所述至少第一像素的被更新的模糊像素值;以及
补充提供单元(111),其用于在所述补充时间点之后,在所述视频压缩流中提供(1011)所述被更新的模糊像素值。
11.根据权利要求7至10中任一项所述的背景模糊系统(1),进一步包括:
I帧模糊单元(112),其用于当可预先确定的I帧相关时间点的所述视频压缩流的可预先确定的即将到来的帧是I帧时,对于被识别为包括在所述场景的当前图像的背景中的像素中出来的所述至少第一像素和可预先确定部分的其它像素,确定(1012)被更新的模糊像素值;以及
I帧提供单元(113),其用于在所述I帧相关时间点之后,在所述视频压缩流中提供(1013)所述更新的模糊像素值。
12.根据权利要求7至11中任一项所述的背景模糊系统(1),其中用于确定所述至少第一像素的模糊像素值的图像滤波器内核的内核大小与所述视频压缩流的I帧的宏块大小匹配。
13.一种摄像机(2),包括根据权利要求7至12中任一项所述的背景模糊系统(1)。
14.一种存储在计算机可读介质或载波上的包括计算机程序的计算机程序产品,所述计算机程序包含被布置为使计算机或处理器执行根据权利要求1至6中任一项所述的方法的步骤的计算机程序代码装置。
15.一种非易失性计算机可读存储介质,其上存储有根据权利要求14所述的计算机程序产品。
CN202110508561.2A 2020-05-12 2021-05-11 视频压缩流 Pending CN113660410A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20174131.1 2020-05-12
EP20174131.1A EP3910961A1 (en) 2020-05-12 2020-05-12 Video compression stream

Publications (1)

Publication Number Publication Date
CN113660410A true CN113660410A (zh) 2021-11-16

Family

ID=70682608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110508561.2A Pending CN113660410A (zh) 2020-05-12 2021-05-11 视频压缩流

Country Status (4)

Country Link
US (1) US11610461B2 (zh)
EP (1) EP3910961A1 (zh)
JP (1) JP2022000751A (zh)
CN (1) CN113660410A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033309A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033312A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033310A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
JP2022033311A (ja) * 2018-02-15 2022-02-28 株式会社三洋物産 遊技機
US11798170B2 (en) * 2021-06-30 2023-10-24 Hewlett-Packard Development Company, L.P. Image background alterations

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783075B2 (en) * 2006-06-07 2010-08-24 Microsoft Corp. Background blurring for video conferencing
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
JP6049024B2 (ja) * 2014-08-11 2016-12-21 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
JP6935247B2 (ja) * 2017-07-04 2021-09-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US11610461B2 (en) 2023-03-21
EP3910961A1 (en) 2021-11-17
JP2022000751A (ja) 2022-01-04
US20210358088A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
CN113660410A (zh) 视频压缩流
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
JP4664432B2 (ja) ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム
KR960706644A (ko) 단안시 시스템용 배경 결정 및 제거를 위한 방법 및 장치(method and apparatus for background determination and subtraction for a monocular vision system)
US20120328205A1 (en) Image enhancement for challenging lighting conditions
CN108229346B (zh) 使用有符号的前景提取与融合的视频摘要
JP2006107457A (ja) 画像処理装置及び画像処理方法
CN107295296B (zh) 一种监控视频选择性存储与恢复方法及系统
CN108141634B (zh) 用于产生预览图像的方法和设备以及计算机可读存储介质
CN111182307A (zh) 一种用于k12教育阶段基于视频影像超低码流无损压缩方法
US8675080B2 (en) Motion estimation in imaging systems
JP2008160733A (ja) 撮像装置、撮像信号処理方法及びプログラム
CN111654747B (zh) 弹幕显示方法及装置
JP5812808B2 (ja) 画像処理装置及び画像処理方法
JP2010109461A (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP2018056892A (ja) 画像処理装置
JP2009266169A (ja) 情報処理装置及び方法、並びにプログラム
JP2000251079A (ja) 動画像オブジェクト抽出装置
KR100828194B1 (ko) 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템
JP2007087049A (ja) 動画像処理装置
US12096163B2 (en) Device and a method of encoding images including a privacy filter
JP4448119B2 (ja) 画像処理装置、ノイズ除去方法およびノイズ除去フィルタ
JP2010178020A (ja) 動画像処理装置及び動画像処理方法
JP2010015483A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20160040043A (ko) 자막 검출 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination