CN113826142A - 将视频材料缩减到运动片段 - Google Patents
将视频材料缩减到运动片段 Download PDFInfo
- Publication number
- CN113826142A CN113826142A CN202080037413.0A CN202080037413A CN113826142A CN 113826142 A CN113826142 A CN 113826142A CN 202080037413 A CN202080037413 A CN 202080037413A CN 113826142 A CN113826142 A CN 113826142A
- Authority
- CN
- China
- Prior art keywords
- images
- sequence
- image
- difference
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 241001465754 Metazoa Species 0.000 claims abstract description 9
- 230000002123 temporal effect Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 7
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 5
- 230000003936 working memory Effects 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000010171 animal model Methods 0.000 claims description 2
- 230000001055 chewing effect Effects 0.000 claims description 2
- 238000006748 scratching Methods 0.000 claims description 2
- 230000002393 scratching effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000010339 dilation Effects 0.000 description 5
- 238000009432 framing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明致力于视频材料的加工。本发明的主题是用于将视频材料缩减到录制有对象的显著运动的时间片段的方法、装置和计算机程序产品。本发明的另一主题是根据本发明的装置在观察动物时的用途。
Description
技术领域
本发明致力于视频材料的加工。本发明的主题是用于将视频材料缩减到录制有对象的显著运动的时间片段的方法、装置和计算机程序产品。本发明的另一主题是根据本发明的装置在观察动物时的用途。
背景技术
存在自动化地产生视频材料并且在稍后的时间点对所述视频材料进行分析的大量情形。一个示例涉及自然界中的动物记录,其中安置摄像机,所述摄像机(在无人类协助的情况下)自动化地产生视频记录,以便不由于人类的存在而吓退野生动物。在稍后的时间点,视频材料(Videomaterial)由人类审阅和评估。另一示例涉及监控地产或技术设备。摄像机对准地块或技术设备等,并且连续产生视频记录。如果未经许可的人员处于地产上或在技术设备处形成损坏,则可以在稍后的时间点审阅视频材料,以便能够标识未经许可的人员或确定损坏的原因。
在很多情况下,所产生的视频材料包括不感兴趣的时间片段,例如因为在这些时间片段中在由相应的摄像机观察的区域中未发生变化。
发明内容
通过本发明解决的技术任务在于将对象的视频记录缩减到录制有对象的显著运动的那些时间片段。
该任务通过独立专利权利要求的主题解决。在从属专利权利要求中、在本说明书中以及在附图中找到优选的实施方式。
本发明的第一主题是一种用于将视频记录缩减到录制有处于运动阈值以上的对象的一个或多个运动的时间片段的方法,包括以下步骤:
a)接收图像的时间序列,
b)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,
c)通过以下方式从差图像的序列中产生平均值差图像的序列,即为具有所定义的数量的差图像的相继的差图像的所有组,分别对属于一组的差图像求平均,
d)从平均值差图像的序列中产生二值图像的序列,
e)在每个二值图像中标识连贯像点的组,
f)在每个二值图像中确定连贯像点的每个组的大小并且将组的各自大小与阈值进行比较,
g)标识具有至少一个与阈值一样大或大于阈值的组的那些二值图像,
h)删除图像的时间序列中的对在步骤g)中标识的二值图像的产生没有影响的所有图像。
本发明的另一主题是一种装置,包括
-输入单元,
-控制单元,
-计算单元,和
-输出单元和/或数据存储器,
其中所述控制单元被配置用于促使所述输入单元接收图像的序列,
其中所述控制单元被配置用于促使所述计算单元执行以下步骤:
a)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,
b)通过以下方式从差图像的序列中产生平均值差图像的序列,即为具有所定义的数量的差图像的相继的差图像的所有组,分别对属于一组的差图像求平均,
c)从平均值差图像的序列中产生二值图像的序列,
d)在每个二值图像中标识连贯像点的组,
e)确定组的大小并且将各自大小与阈值进行比较,
f)标识具有至少一个与阈值一样大或大于阈值的组的那些二值图像,
g)删除图像的时间序列中的对在步骤f)中标识的二值图像的产生没有影响的所有图像,其中形成图像的缩减的序列,
其中所述控制单元被配置用于将图像的缩减的序列存储在数据存储器中和/或促使所述输出单元输出图像的缩减的序列。
本发明的另一主题是根据本发明的装置在观察动物时的用途。
本发明的另一主题是一种计算机程序产品,包括数据载体,在所述数据载体上存储有计算机程序,所述计算机程序能够被加载到计算机的工作存储器中,并且在那里促使所述计算机实施以下步骤:
a)接收图像的时间序列,
b)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,
c)通过以下方式从差图像的序列中产生平均值差图像的序列,即为具有所定义的数量的差图像的相继的差图像的所有组,分别对属于一组的差图像求平均,
d)从平均值差图像的序列中产生二值图像的序列,
e)在每个二值图像中标识连贯像点的组,
f)确定连贯像点的组的大小并且将组的各自大小与阈值进行比较,
g)标识具有至少一个与阈值一样大或大于阈值的组的那些二值图像,
h)删除图像的时间序列中的对在步骤g)中标识的二值图像的产生没有影响的所有图像,其中形成图像的缩减的序列,
i)在数据存储器中存储图像的缩减的序列和/或在监视器上输出图像的缩减的序列。
下面更详细地阐述本发明,而不在发明主题(方法、装置、计算机程序产品、用途)之间进行区分。更确切地说,随后的阐述应该以类似方式适用于所有发明主题,而与在何种上下文中进行所述阐述无关。
利用本发明,视频记录可以自动化地被缩减到录制有处于可自由定义的运动阈值之上对象的运动的时间片段。
本发明意义上的对象是可以(自主)运动的每种物体或每种生物。对象优选地是动物生物,优选地是实验动物,最优选地是狗。
运动是对象或对象的一部分的方位或大小的每种时间变化。运动可以是对象从一个地点到另一地点的前进。运动可以是对象的一部分的升高或降低或侧向运动,诸如生物的肢体的升高或降低或侧向运动。在一种优选的实施方式中,运动是生物的身体或生物的身体的一部分摇动、生物的与自身身体护理相关的活动和/或生物舔、咀嚼、抓挠和/或摩擦。
应用本发明的起点是在所定义的时间区间上显示对象的视频材料。还可设想的是,视频材料显示多个对象。此外可设想的是,视频材料也可以至少部分地根本不显示对象。
视频材料通常由单图像的序列组成,或者可以被转换为单图像的这种序列。在本说明书中,视频材料或单图像的序列被称为图像的(时间)序列。图像是事情的瞬时记录。在实施本发明时,对图像的序列中的图像进行一系列操作。图像的序列中的图像在本说明书中也被称为原始图像,因为所述图像是用于实施本发明的起点。
可以借助于本发明缩减的视频材料通常以数字形式存在或可以被置于这种数字形式。与此相应地,单帧(图像)是瞬间的数字图像记录。
数字视频材料具有所定义的换帧频率(Bildwechselfrequenz)(也称为帧频或帧速率)。换帧频率表示每个时间区间记录或再现的单帧的数量,并且大多数以单位fps(英语:frames per second,每秒帧)或Hz说明。10 Hz至240 Hz是常见的,换帧频率优选地为20至40 Hz。
时间点被分配给每个图像或者时间点可以被分配给每个图像。该时间点通常是产生了图像的时间点(绝对时间)。对于本领域技术人员而言知道的是,图像记录的产生需要一定的时间区间。例如,可以将图像的记录的开始的时间点或图像记录的完成的时间点分配给图像。但是也可设想的是,给时间序列的图像分配任意时间点(例如相对时间点)。
根据时间点,可以将一个图像在时间上相对于另一个图像进行分类;根据图像的时间点可以确定:在该图像中显示的瞬间在时间上是发生在另一图像中显示的瞬间之前还是在时间上发生在另一图像中显示的瞬间之后。分配给图像的时间点在该说明书中也被称为时间戳。时间戳可以包含关于发生了所显示的瞬间的年、月、日、小时、分钟、秒、十分之一秒和/或百分之一秒的信息。
但是,也可设想的是,时间点0被任意地分配给图像的时间序列中的第一图像并且从时间点0起已经过去的那个时间区间被分配给在时间上跟随的图像。如果给第一图像分配第一时间点,并且给在时间上紧接在第一图像之后的第二图像分配第二时间点,则第一时间点和第二时间点之间的时间区间的倒数通常对应于当前视频材料的换帧频率。
附加地或代替时间点,每个图像可以被配备唯一标识符,根据所述唯一标识符可以标识图像并且将所述图像与其他图像区分。例如,可设想的是图像的序列中的图像(附加地)被连续编号。图像的序列中的第一图像例如获得数字1,在时间上紧接在第一图像之后的图像获得数字2,依此类推。
数字图像可以以不同的格式存在。例如,数字图像可以被编码为栅格图形。栅格图形由所谓像点(像素)的栅格状布置组成,给所述像点分别分配颜色。因此,栅格图形的主要特征是图像大小(以像素测量的宽度和高度,口语地也称为图像分辨率)以及颜色深度。
通常给数字图像的像点分配颜色。对于像点所使用的颜色编码尤其是通过颜色空间和颜色深度来定义。最简单的情况是二值图像,其中像点存储黑白值。在其颜色通过所谓的RGB颜色空间(RGB代表基本颜色红、绿和蓝)定义的图像的情况下,每个像点由三个子像素组成,用于颜色红的子像素、用于颜色绿的子像素和用于颜色蓝的子像素。像点的颜色通过子像素的色值的叠加(加性混合)得出。子像素的色值被划分为256个色差(Farbnuance),所述色差被称为色调值,并且从0伸展至255。每个颜色通道的色差“0”是最暗的。如果所有三个通道均具有色调值0,则相应的像点显现黑色;如果所有三个通道具有色调值255,则相应的像点显现白色。
在实施本发明时,对数字图像记录进行特定的操作。操作在此主要涉及像点或各个像点的色调值。存在大量可能的数字图像格式和颜色编码。简化地,在该说明书中假设当前图像是具有特定数目的像点的灰度级栅格图形,其中给每个像点分配色调值,所述色调值说明图像的灰度值。然而,这种假定决不应被理解为限制性的。对于图像处理领域的技术人员清楚的是,所述技术人员如何能够将本描述的教导转移到以其他图像格式存在和/或对色值以不同方式编码的图像。
在第一步骤中,从图像的当前序列中产生差图像的序列。为每对相邻图像分别产生差图像。如果两个图像在当前序列中在时间上直接相继,而不存在在时间上处于所述两个图像之间的图像,则所述两个图像相邻。如果例如存在5个图像的序列,则
-从第一和第二图像中产生第一差图像,
-从第二和第三图像中产生第二差图像,
-从第三和第四图像中产生第三差图像,并且
-从第四和第五图像中产生第四差图像。
差图像通常具有与产生了所述差图像的图像中的每一个完全一样多的像点。
产生差图像,其方式是对于图像的每个像点,从相邻图像的相应像点的色调值中减去像点的色调值并且从减法的结果产生绝对值,以便避免负色调值。
如果两个像点具有相同的坐标(在作为栅格图形的表示中),则所述两个像点彼此对应。
结果是差图像的序列,其中每个差图像包括多个像点,其中给每个像点分配色调值。如果从一个图像到相邻图像不出现变化,则该一个图像的像点的色调值对应于相邻图像的像点的色调值。在减法时(如果不存在噪声),对于差图像的每个像点得出色调值0(零)。在灰度级表示中,差图像是黑色的。黑色差图像指示从一个图像到相邻图像在所录制的场景中不存在变化。
而如果在所录制的场景中从一个图像到相邻图像出现变化,则使这些变化在具有不同于零的色调值的像点中可察觉。
差图像优选地被配备有标识符,所述标识符允许推断出对差图像的产生有影响的图像。如果图像例如被连续编号并且拥有数1、2、3等,则差图像可以拥有包含所属图像的数字的标识符。例如,从具有数字1的图像和具有数字2的图像中生成的差图像可以包含标识符1-2。
还可以设想的是,给由从第二图像减去第一图像形成的差图像分配分配给第一图像的时间点和/或分配给第二图像的时间点和/或分配在时间上处于分配给第一图像的时间点和分配给第二图像的时间点之间的时间点。分配给差图像的时间点优选地被定义为使得两个直接相继的差图像的时间点之间的时间区间的倒数对应于当前视频材料的换帧频率。
在下一步骤中,从差图像的序列中产生平均值差图像的序列。定义数目(这里称为N)的差图像影响每个平均值差图像的产生。N是大于1的自然整数。从数目N个在时间上直接相继的差图像中产生每个平均值差图像。为此,首先定义时间窗。时间窗是虚拟时间窗。所述时间窗定义所定义的长度的时间区间。时间区间的长度为两个直接相继的差图像之间的时间区间的N倍。与此相应地,时间窗可以容纳恰好N个差图像。为了形成平均值,使时间窗沿着差图像的序列逐图像地移位,并且在时间窗的每个位置处产生在时间窗中包含的差图像的平均值图像。在开始形成平均值时,时间窗被定位在差图像的序列的开头处。在该位置处,所述时间窗包含前N个差图像(1至N)。从所述前N个差图像中产生平均值图像。随后将时间窗进一步移位一个差图像。所述时间窗现在包含差图像2至(N+1)。从差图像2至(N+1)产生平均值图像。然后使时间窗又进一步移位一个差图像。所述时间窗现在包含差图像3至(N+2)。从差图像3至(N+2)产生平均值图像。最后,使时间窗又进一步移位一个差图像,等等。
平均值图像通常具有与产生所述平均值图像的差图像中的每一个完全一样多的像点。
在产生每个平均值图像时,构成差图像的对应的像点的色调值的平均值,并且将其设置为平均值图像的像点的色调值。平均值可以是算术平均值或几何平均值或均方根值或其他平均值。优选地构成算术平均值。结果是具有多个像点的平均值图像的序列,其中给每个像点分配色调值,其中色调值是N个差图像的色调值的平均值。由于从差图像中产生平均值图像,因此所述平均值图像在该说明书中也被称为平均值差图像。
在其上求平均并从中分别产生平均值差图像的差图像的数目N可以例如处于2至10,000的范围内或处于5至1,000的范围内或处于10至100的范围内等。该数目可以取决于对象、帧速率、分辨率、场景和/或类似物。根据经验可以确定哪个数目对于特定的应用提供最优结果,其方式是对不同的数目进行试验并且对结果进行比较。好的结果将存在的视频材料缩减到保持有分别令人感兴趣的运动的时间片段,而剪掉的片段不包含令人感兴趣的运动。在坏的结果情况下,感兴趣的片段被剪掉和/或缩减的视频材料包括不感兴趣的片段。
优选地给每个平均值差图像分配时间点。在此,例如可以是分配给构成各自时间窗的开头(时间窗的N个差图像的系列中的第一差图像,在所述N个差图像上求平均)的那个差图像的时间点。也可以是分配给构成各自时间窗的末尾(时间窗的N个差图像的系列中的最后的差图像,在所述N个差图像上求平均)的那个差图像的时间点。也可以是平均(例如算术平均)时间点。
每个平均值差图像优选地被配备有标识符,所述标识符允许推断出对平均值差图像的构成有影响的图像和/或差图像。如果图像例如被连续编号并且拥有数1、2、3、4等,并且差图像配备有相应的标识符、诸如1-2、2-3、3-4等并且从差图像1-2、2-3和3-4中产生了平均值差图像,则平均值差图像可以拥有标识符1-2-3-4。
在一种优选的实施方式中,在下一步骤中为了抑制平均值差图像中的噪声,降低平均值差图像的对比度。对比度降低优选地通过模糊(英语:blur)来进行,例如通过应用高斯模糊(英语:Gaussian blur)来进行。
高斯模糊使用高斯滤波器来平滑图像内容。滤波器导致图像噪声减少并且使较小的结构消失,以便获得较粗糙的区域。高斯模糊作用于平均值差图像的每个像点,并且将其色调值设置为位于相对于所考虑的像点的所定义的半径内的所有像点的色调值的加权平均值。基于高斯正态分布进行加权。高斯模糊对于数字图像处理的技术人员来说是已知的(参见例如William K. Pratt: Introduction to Digital Image Processing, CRCPress, 2013, ISBN: 978-1-4822-1670-7)并且所述高斯模糊在许多图像处理软件程序中实现。在应用高斯模糊时必须预先给定的参数是高斯函数(sigma(Σ))的标准偏差和半径的大小或在加权平均时应该考虑的像点的矩阵的大小(核(Kernel))。可以根据经验确定适当的参数值。参数值的示例是Sigma=0.5或Sigma=1和核=3×3或核=5×5。
对比度降低的结果是对比度降低的平均值差图像的序列。
给每个对比度降低的平均值差图像优选地分配相应的平均值差图像的时间点,从所述相应的平均值差图像中产生了所述对比度降低的平均值差图像。
如果平均值差图像具有唯一标识符,则对比度降低的平均值差图像优选地同样具有唯一标识符。对比度降低的平均值差图像的唯一标识符可以例如包括产生了所述所述对比度降低的平均值图像的相应平均值差图像的唯一标识符。
对比度降低的平均值差图像通常具有与产生了所述对比度降低的平均值差图像的平均值差图像完全一样多的像点。
在另一步骤中,平均值差图像或对比度降低的平均值差图像被二值化。这意味着将两个色调值之一、即第一色调值或第二色调值分配给平均值图像的每个像点。第一色调值可以例如具有值0(黑色),而第二色调值可以例如具有值255(白色)。该分配基于像点的现有色调值和基于色调值阈值进行。如果像点的色调值小于色调值阈值,则将该像点的色调值设置为第一色调值;如果像点的色调值大于色调值阈值或像点的色调值对应于色调值阈值,则将该像点的色调值设置为第二色调值。
可以根据经验确定适当的阈值。色调值阈值(在色调值区间为0至255时)的示例是10或20或30或50。
二值化的结果是二值化的平均值差图像(在该说明书中也称为二值图像)的序列。
优选地给每个二值图像分配时间点。二值图像的时间点优选地对应于分配给产生了所述二值图像的那个(对比度降低的)平均值差图像的时间点。
如果平均值差图像具有唯一标识符,则二值图像优选地同样具有唯一标识符。二值图像的唯一标识符可以例如包括相应的(对比度降低的)平均值差图像的唯一标识符。
二值图像通常具有与产生了所述二值图像的(对比度降低的)平均值差图像完全一样多的像点。
在一种优选的实施方式中,在另一步骤中,二值图像的具有第二色调值的那些像点一次或多次地被扩展(膨胀)到所定义的结构化元素的形状。
在一种优选的实施方式中,结构化元素是具有第二色调值的像点的(n×m)矩阵。这意味着具有第二色调值的像点被扩展到具有第二色调值的像点的(n×m)矩阵。
在一种特别优选的实施方式中,涉及(3×3)矩阵。这种膨胀算子特别优选地依此地被应用两次。
这种单次或多次膨胀的结果是膨胀二值图像的序列。
优选地给每个膨胀二值图像分配时间点。膨胀二值图像的时间点优选地对应于分配给产生了膨胀二值图像的那个二值图像的时间点。
如果二值图像具有唯一标识符,则膨胀二值图像优选地同样具有唯一标识符。膨胀二值图像的唯一标识符可以例如包括相应的二值图像的唯一标识符。
膨胀二值图像通常具有与产生了所述膨胀二值图像的二值图像完全一样多的像点。
在下一步骤中,在二值图像的序列中的每个(膨胀)二值图像中标识具有第二色调值的连贯像点的组,并且确定这些组的各自大小。
在栅格图形中,栅格图形的四个角中的像点分别拥有三个直接相邻的像点,栅格图形的边处的像点分别拥有五个直接相邻的像点,并且栅格图形的其余像点分别拥有八个直接相邻的像点。具有第二色调值的连贯像点是所有以下像点,即其色调值对应于第二色调值并且具有至少一个其色调值同样对应于第二色调值的直接相邻的像点。
可以通过属于组的具有第二色调值的像点的数量来确定和说明该组的大小。
还可设想的是,通过组占据的面积来确定和说明该组的大小。
在一种优选的实施方式中,组的大小通过框中的像点的数目来确定,所述框将具有第二色调值的连贯像点的组圈起来。
在该优选的实施方式中,将具有第二色调值的连贯像点的组利用框圈起来,其中该框被选择为使得所述框满足所有以下准则:
-框是矩形的,
-所述框的边平行于二值图像的边伸展,
-具有第二色调值并且属于连贯像点的组的所有像点处于框内,
-所述框包括尽可能少的不属于具有第二色调值的连贯像点的组的像点。
将具有第二色调值的连贯像点的组的大小分别与组阈值进行比较。如果二值图像仅仅具有带有第一色调值的像点,则不存在相应的组。如果二值图像包含至少一个恰好与组阈值一样大或大于组阈值的组,则相应的二值图像指示处于运动阈值之上的运动。如果二值图像仅包含一个或多个小于组阈值的组,则相应的二值图像不指示处于运动阈值之上的运动。不指示处于运动阈值之上的运动的二值图像对进一步评估而言是不感兴趣的。
因此,需要标识具有至少一个与组阈值一样大或大于阈值的组的那些(膨胀)二值图像,以及删除图像的时间序列中的对这样的所标识的(膨胀)二值图像的产生没有影响的那些图像。
如果唯一标识符准许推断出原始图像(例如,因为二值图像的唯一标识符包括原始图像的唯一标识符),则可以例如根据(膨胀)二值图像的唯一标识符来标识图像的序列中的对(膨胀)二值图像的产生有影响的图像。
例如,也可以根据分配给(膨胀)二值图像的时间点来标识图像的序列中的对(膨胀)二值图像的产生有影响的那些图像。
本发明可以借助于装置被实施。根据本发明的该装置包括输入单元、控制单元、计算单元、输出单元和/或数据存储器。
根据本发明的装置优选地是计算机;还可设想的是,根据本发明的装置包括多个计算机。
“计算机”是一种用于进行电子数据处理的设备,所述设备借助于可编程计算规则处理数据。这种设备通常包括主板(英语:motherboard)、包括用于执行逻辑操作的处理器的那个单元以及外围设备。
在计算机技术中,将所有连接到计算机上并且用于控制计算机和/或用作输入和输出单元的设备称为“外围设备”。示例是监视器(屏幕)、打印机、扫描仪、鼠标、键盘、驱动器、摄像机、麦克风、扬声器等。内部接线和扩展卡在计算机技术中也被视为外围设备。
当今的计算机通常被划分为台式PC、便携式PC、膝上型电脑、笔记本电脑、上网本和平板PC以及所谓的手持式装置(例如智能手机)。可以利用所有这些计算机来实施本发明。
根据本发明的装置的控制单元和计算单元可以例如是与一个或多个工作存储器连接的一个或多个处理器。输入单元可以是到网络的(无线和/或有线)连接或串行接线(例如USB)等,视频材料可以通过所述连接或串行接线从摄像机被传输到装置上。视频材料通常被存储在数据存储器(例如硬盘)上。输入单元还可以通过根据本发明的装置的用户使用来经由键盘、鼠标、麦克风、触摸屏等进行输入(例如输入一个或多个阈值、数目N等)。
根据本发明加工视频材料的结果(图像的缩减的序列)可以被存储在数据存储器(例如硬盘)上或在监视器上被输出。
附图说明
下面通过图更详细地阐述本发明,而不希望将本发明限制于在图中所示的特征和特征组合。
具体实施方式
图1示意性地并且示例性地示出图像的序列。序列(10)包括10个图像。图像具有唯一标识符:所述图像从1至10连续编号。时间点被分配给图像的序列(10)中的每个图像。时间点0被分配给具有唯一标识符1的图像。时间点20 ms(毫秒)被分配给具有唯一标识符2的图像。时间点40 ms被分配给具有唯一标识符3的图像。时间点60 ms被分配给具有唯一标识符4的图像,依此类推。因此,两个图像之间的时间间隔为20 ms。因此,在本示例中,换帧频率为每秒50帧。
图2示意性地并且示例性地以灰度级栅格图形的形式示出图像。栅格图形由10×10=100个像点组成。每个像点均可以根据x坐标和y坐标唯一地被寻址。色调值被分配给每个像点。例如,色调值可以说明灰度级。因此可设想的是,256个灰度级之一被分配给图2中的每个像点,其中色调值0代表色调(灰度级)“黑色”,而色调值255代表色调(灰度级)“白色”,并且其余色调值说明“黑色”和“白色”之间的灰度级。在本示例中,因此具有x、y坐标4,3的像点例如具有色调值17,而具有x、y坐标6,7的像点例如具有色调值198。
图3示例性地并且示意性地示出如何从具有唯一标识符1、2、3、4、5、6、7、8、9和10的10个图像的序列(10)中产生具有唯一标识符1-2、2-3、3-4、4-5、5-6、6-7、7-8-、8-9和9-10的9个差图像的序列(20)。
从成对地在时间上直接相继的图像中产生差图像:从具有标识符1和2的图像中产生第一差图像1-2,从具有标识符2和3的图像中产生第二差图像2-3,依此类推。因此,从产生了所述差图像的图像中推断出差图像的唯一标识符。
给每个差图像分配时间点。时间点20 ms被分配给具有标识符1-2的差图像,时间点40 ms被分配给具有标识符2-3的差图像,以此类推。差图像的序列(20)的换帧频率对应于图像的序列(10)的换帧频率;所述换帧频率为每秒50帧。
图4示例性地和示意性地示出如何从具有标识符1的图像和时间上紧接在具有标识符1的图像之后的具有标识符2的图像中产生具有标识符1-2的差图像。
具有标识符1的图像、具有标识符2的图像和具有标识符1-2的差图像分别由5×5=25个像点组成。每个像点可以通过坐标唯一地被寻址。色调值被分配给每个像点。在产生差图像时,计算像点的色调值和紧接跟随的图像的相应像点的色调值的差的绝对值,并且将所述绝对值设置为该差图像的相应像点的色调值。如果像点具有相同的坐标,则所述像点彼此对应。例如,具有差图像1-2的坐标4,3的像点的色调值T1-2(4,3)由具有标识符1的图像的坐标4,3的像点的色调值T1(4,3)和具有标识符2的图像的坐标4,3的像点的色调值T2(4,3)得出:
其中n和(n+1)代表两个直接相继的图像的唯一标识符,n-(n+1)代表差图像的唯一标识符,并且x,y代表彼此对应的像点的坐标。
图5示例性地和示意性地示出如何从具有唯一标识符1-2、2-3、3-4、4-5、5-6、6-7、7-8、8-9和9-10的差图像的序列(20)中产生具有唯一标识符1-2-3-4、2-3-4-5、3-4-5-6、4-5-6-7、5-6-7-8、6-7-8-9和7-8-9-10的平均值差图像的序列(30)。
时间点被分配给每个平均值差图像。时间点40 ms被分配给具有标识符1-2-3-4的平均值差图像,时间点60 ms被分配给具有标识符2-3-4-5的差图像,以此类推。平均值差图像的序列(30)的换帧频率对应于差图像的序列(20)的换帧频率;所述换帧频率为每秒50帧。
在图5中绘入通过括号对代表的时间窗T。时间窗T具有长度60 ms。因此,所述时间窗可以容纳三个直接相继的差图像。
时间窗T在开始时被设置在差图像的序列(20)的开头处。从由时间窗纳入的差图像中产生第一平均值差图像:这些差图像是具有标识符1-2、2-3和3-4的差图像。在下一步骤中,使时间窗T向右移位一个差图像。所述差图像现在(参见虚线绘出的括号对)包括具有标识符2-3、3-4和4-5的差图像。从这些差图像中产生第二平均值差图像。随后使时间窗再次向右移位一个差图像,并且从然后由时间窗纳入的差图像中产生第三平均值差图像。一直继续该过程(使时间窗逐图像地移位,从由时间窗纳入的差图像中产生平均值差图像),直至所有差图像至少一次影响了平均值差图像的产生为止。
图6示例性地和示意性地示出如何从具有标识符1-2的差图像、紧接在具有标识符1-2的差图像之后的具有标识符2-3的差图像以及紧接在具有标识符2-3的差图像之后的具有标识符3-4的差图像中产生具有标识符1-2-3-4的平均值差图像。
具有标识符1-2的差图像、具有标识符2-3的差图像、具有标识符3-4的差图像和具有标识符1-2-3-4的平均值差图像分别由5×5=25个像点组成。每个像点可以通过坐标唯一地被寻址。色调值被分配给每个像点。在产生时,针对平均值差图像的每个像点计算差图像的相应的像点的色调值的四舍五入为整数的算术平均值,并且将其设置为平均值差图像的像点的色调值。如果像点具有相同的坐标,则所述像点彼此对应。在四舍五入时,可以始终向上取整到下一整数或始终向下舍入到下一整数,或者定义阈值,从所述阈值向上取整或向下舍入。
具有平均值差图像1-2-3-4的坐标3,5的像点的色调值在本示例中从具有标识符1-2的差图像的具有坐标3,5的像点的色调值和具有标识2-3的差图像的具有坐标3,5的像点的色调值和具有标识符3-4的差图像的具有坐标3,5的像点的色调值中得出:
函数INT[]将非整数向上取整或向下舍入到最近的整数(根据哪个值更近);在中心(0,5)处向上取整。
在图5和6中所示的示例情况下,从分别三个直接相继的差图像中产生了平均值差图像。当然可设想的是,从不同数目的直接相继的差图像中产生平均值差图像。通常在其上求平均的差图像的数目N大于3。
图7示例性地和示意性地示出如何从具有唯一标识符1-2-3-4、2-3-4-5、3-4-5-6、4-5-6-7、5-6-7-8、6-7-8-9和7-8-9-10的平均值差图像的序列(30)中产生具有唯一标识符K-1-2-3-4、K-2-3-4-5、K-3-4-5-6、K-4-5-6-7、K-5-6-7-8、K-6-7-8-9和K-7-8-9-10的对比度降低的平均值差图像(30')。
给每个对比度降低的平均值差图像分配时间点。时间点40 ms被分配给具有标识符K-1-2-3-4的对比度降低的平均值差图像,时间点60 ms被分配给具有标识符K-2-3-4-5的对比度降低的平均值差图像,依此类推。对比度降低的平均值差图像的序列(30')的换帧频率对应于平均值差图像的序列(30)的换帧频率;所述换帧频率是每秒50帧。
图8示例性地和示意性地示出如何从具有唯一标识符1-2-3-4、2-3-4-5、3-4-5-6、4-5-6-7、5-6-7-8、6-7-8-9和7-8-9-10的平均值差图像的序列(30)中产生具有唯一标识符B-1-2-3-4、B-2-3-4-5、B-3-4-5-6、B-4-5-6-7、B-5-6-7-8、B-6-7-8-9和B-7-8-9-10的二值图像的序列(40)。
给每个二值图像分配时间点。时间点40 ms被分配给具有标识符B-1-2-3-4的二值图像,时间点60 ms被分配给具有标识符B-2-3-4-5的二值图像,以此类推。二值图像的序列(40)的换帧频率对应于平均值差图像的序列(30)的换帧频率;所述换帧频率是每秒50帧。
同样可设想的是,从具有唯一标识符K-1-2-3-4、K-2-3-4-5、K-3-4-5-6、K-4-5-6-7、K-5-6-7-8、K-6-7-8-9和K-7-8-9-10的对比度降低的平均值差图像的序列中产生具有唯一标识符B-1-2-3-4、B-2-3-4-5、B-3-4-5-6、B-4-5-6-7、B-5-6-7-8、B-6-7-8-9和B-7-8-9-10的二值图像的序列。
图9示例性地并且示意性地示出如何从具有唯一标识符1-2-3-4的平均值差图像中产生具有唯一标识符B-1-2-3-4的二值图像。
具有标识符1-2-3-4的平均值差图像和具有标识符B-1-2-3-4的二值图像分别由5×5=25个像点组成。每个像点可以通过坐标唯一地被寻址。色调值被分配给每个像点。在产生二值图像时,将平均值差图像的每个像点的色调值与色调值阈值TS进行比较。如果像点的色调值小于色调值阈值TS,则将该像点的色调值设置为第一色调值;如果像点的色调值大于色调值阈值TS或像点的色调值对应于色调值阈值TS,则将该像点的色调值设置为第二色调值。在本示例中,色调值阈值为TS=60,第一色调值阈值为0并且第二色调值阈值为255。
具有平均值差图像的坐标4,1的像点的色调值为63。该值大于色调值阈值TS=60。从而将具有二值图像的坐标4,1的像点的色调值设置为255。
图10示例性地并且示意性地示出如何从二值图像产生膨胀二值图像。
起点是图10(a)中的二值图像B。二值图像B由10×10=100个像点组成。每个像点可以通过其坐标唯一地被寻址。色调值被分配给每个像点。仅存在两个色调值,即色调值0(“黑色”)和1(“白色”)。
膨胀算子DO被应用于二值图像B。所述膨胀算子将具有色调值“白色”的所有像点扩展为具有带有色调值“白色”的3×3像点的矩阵。由此从具有坐标2,9的白色像点中变为具有9个白色像点的矩阵;与具有坐标2,9的像点直接相邻的像点(具有坐标1,10;2,10;3,10;1,9;3,9;1,8;2,8;3,8)与所述像点先前具有哪个色调值无关地同样变为白色的(参见图10(b))。
可设想的是,白色像点被扩展为与(3×3)矩阵不同的结构化元素。可设想的是,这种膨胀算子被应用多次。
图11示例性地和示意性示出可以如何在二值图像中标识连贯像点的组以及确定其大小。
起点是图11(a)中的二值图像B。二值图像B由10×10=100个像点组成。每个像点可以通过其坐标唯一地被寻址。色调值被分配给每个像点。仅存在两个色调值,即色调值0(“黑色”)和1(“白色”)。
在第一步骤中需要,识别具有色调值“白色”的连贯像点的组。在二值图像B中,可以识别具有色调值“白色”的连贯像点的两个组。如果每个像点具有至少一个具有相同色调值(在这里为“白色”)的直接相邻的像点,则两个或多个像点连贯。在图11(b)中,所标识的两个组分别配备有白色矩形框。
在另一步骤中需要,确定组的大小。一种可能的方法在图10中示例性地示出。在此,连贯像点的每个组被配备框(参见图11(b))。该框满足所有以下准则:
-框是矩形的,
-所述框的边平行于二值图像的边伸展,
-具有色调值“白色”并且属于连贯像点的组的所有像点处于框内,
-所述框包括尽可能少的不属于具有色调值“白色”的连贯像点的组的像点。
组的大小可以被说明为由框纳入的所有像点的数目。在当前情况下,一个框包括四个像点,而另一个框包括20个像点。
在另一步骤中,将面积的大小与组阈值FS进行比较。在本示例中,组阈值FS=15个像点。因此,具有4个像点的组小于组阈值FS并且具有20个像点的组大于组阈值FS。
现在至少与组阈值FS完全一样大的那些组是感兴趣的。这在图11(c)中是具有20个像点的组。
图12示例性地和示意性地示出在二值图像的序列中标识其中不存在大于组阈值的、具有第二色调值的连贯像点的单个组的那些二值图像。
二值图像的序列(40)中的每个二值图像具有唯一标识符:B-1-2-3-4、B-2-3-4-5、B-3-4-5-6、B-4-5-6-7、B-5-6-7-8、B-6-7-8-9和B-7-8-9-10。
给每个二值图像分配时间点。时间点40 ms被分配给具有标识符B-1-2-3-4的二值图像,时间点60 ms被分配给具有标识符B-2-3-4-5的二值图像,以此类推。
对于每个二值图像,在前一步骤中已经检查所述二值图像是否包含与所定义的组阈值一样大或大于所定义的组阈值的、具有第二色调值的连贯像点的至少一个组。在本示例中,具有标识符B-1-2-3-4、B-2-3-4-5和B-3-4-5-6的二值图像具有与所定义的组阈值一样大或大于所定义的组阈值的、具有第二色调值的连贯像点的至少一个组。在本示例中,具有唯一标识符B-4-5-6-7、B-5-6-7-8、B-6-7-8-9和B-7-8-9-10的二值图像不具有与所定义的组阈值一样大或大于所定义的组阈值的、具有第二色调值的连贯像点的单个面积。
仅当二值图像具有至少与所定义的组阈值一样大的、具有第二色调值的连贯像点的至少一个组时,二值图像才显示运动,所述运动处于运动阈值之上并且因此对于继续分析而言是感兴趣的。不指示处于运动阈值之上的运动的二值图像对于进一步评估而言不是感兴趣的。因此,在另一步骤中删除图像的序列中的对不指示处于运动阈值之上的运动的二值图像的产生有影响的那些图像。
在本示例中,具有唯一标识符1、2、3、4、5和6的图像对具有唯一标识符B-1-2-3-4、B-2-3-4-5和B-3-4-5-6的二值图像的产生有影响。因此,这些图像同样显示处于运动阈值之上的运动,并且因此对于继续分析而言是感兴趣的。具有唯一标识符7、8、9和10的图像对具有唯一标识符B-1-2-3-4、B-2-3-4-5和B-3-4-5-6的二值图像的产生没有影响。代替地,所述图像对具有唯一标识符B-4-5-6-7、B-5-6-7-8、B-6-7-8-9和B-7-8-9-10的二值图像的产生有影响。然而,具有唯一标识符B-4-5-6-7、B-5-6-7-8、B-6-7-8-9和B-7-8-9-10的二值图像不显示处于运动阈值之上的运动。因此,具有标识符7、8、9和10的图像也不显示处于运动阈值之上的运动,并且对继续分析而言不是感兴趣的。因此,具有标识符7、8、9和10的图像被删除。
形成图像的缩减的序列(50),所有这些图像显示处于运动阈值之上的运动。
图13以流程图的形式示出根据本发明的方法的一种优选的实施方式。该方法(100)包括步骤:
a)接收图像的时间序列,其中每个图像具有大量像点,其中每个像点通过色调值表征,
b)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,其中每个差图像通过分别具有色调值的大量像点表征,其中每个差图像的每个像点的色调值表示相邻图像的相应像点的色调值的差的绝对值,
c)通过以下方式从差图像的序列中产生平均值差图像的序列,即定义能够容纳所定义的数目的相邻差图像的时间窗,使时间窗逐图像地从差图像的序列的开始移位直至差图像的序列的末尾,并且在每次逐图像地移位时,基于由时间窗纳入的差图像分别产生平均值差图像,其中每个平均值差图像的每个像点的色调值表示由时间窗纳入的差图像的相应像点的色调值的平均值,
d)通过以下方式从平均值差图像的序列中产生二值图像的序列,即将每个平均值差图像的所有像点的处于所定义的色调值阈值之下的色调值设置为第一色调值,并且将每个平均值差图像的所有像点的处于所定义的色调值阈值之上或对应于所定义的色调值阈值的色调值设置为第二色调值,
e)在二值图像的序列的每个二值图像中标识具有第二色调值的连贯像点的组,
f)为每个二值图像确定组的大小并且将各自大小与组阈值进行比较,
g)标识具有至少一个与组阈值一样大或大于组阈值的组的那些二值图像,
h)删除图像的时间序列中的对在步骤g)中标识的二值图像的产生没有影响的所有图像。
图14以流程图的形式示出根据本发明的方法的另一优选的实施方式。该方法(200)包括步骤:
a)接收图像的时间序列,其中每个图像具有大量像点,其中每个像点通过色调值表征,
b)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,其中每个差图像通过分别具有色调值的大量像点表征,其中每个差图像的每个像点的色调值表示相邻图像的相应像点的色调值的差的绝对值,
c)通过以下方式从差图像的序列中产生平均值差图像的序列,即定义能够容纳所定义的数目的相邻差图像的时间窗,使时间窗逐图像地从差图像的序列的开始移位直至差图像的序列的末尾,并且在每次逐图像地移位时,基于由时间窗纳入的差图像分别产生平均值差图像,其中每个平均值差图像的每个像点的色调值表示由时间窗纳入的差图像的相应像点的色调值的平均值,
d)通过对平均值差图像的序列中的所有平均值差图像应用高斯模糊(Weichzeicher),从平均值差图像的序列中产生对比度降低的平均值差图像的序列,
e)通过以下方式从对比度降低的平均值差图像的序列中产生二值图像的序列,即将每个对比度降低的平均值差图像的所有像点的处于所定义的色调值阈值之下的色调值设置为第一色调值,并且将每个对比度降低的平均值差图像的所有像点的处于所定义的色调值阈值之上或对应于所定义的色调值阈值的色调值设置为第二色调值,
f)通过以下方式从二值图像的序列中产生膨胀二值图像的序列,即每个二值图像的具有第二色调值的那些像点一次或多次地被扩展到所定义的结构化元素的形式,
g)在膨胀二值图像的序列中的每个膨胀二值图像中标识具有第二色调值的连贯像点的组,
h)为每个膨胀二值图像确定组的大小,并且将各自大小与组阈值进行比较,
i)标识具有至少一个与组阈值一样大或大于组阈值的组的那些膨胀二值图像,
j)删除图像的时间序列中的对在步骤i)中标识的膨胀二值图像的产生没有影响的所有图像。
图15示例性地和示意性示出根据本发明的装置的一种优选的实施方式。
该装置(300)包括输入单元(301)、控制单元(302)、计算单元(303)、输出单元(304)和数据存储器(305)。
控制单元(302)被配置用于促使输入单元(301)接收图像的序列。
控制单元(302)被配置用于促使计算单元
-从图像的序列中产生差图像的序列,
-从差图像的序列中产生平均值差图像的序列,
-从平均值差图像的序列中产生对比度降低的平均值差图像的序列,
-从平均值差图像的序列或对比度降低的平均值差图像的序列中产生二值图像的序列,
-从二值图像的序列中产生膨胀二值图像的序列,
-在二值图像的序列中的二值图像中或在膨胀二值图像的序列中的膨胀二值图像中标识连贯像点的组,
-在二值图像的序列中的二值图像中或在膨胀二值图像的序列中的膨胀二值图像中确定每个所标识的组的大小,
-将每个所标识的组的所确定的大小与阈值进行比较,并且标识具有至少一个与阈值一样大或大于阈值的组的二值图像或膨胀二值图像,
-删除图像的时间序列中的不具有其大小至少与阈值一样大的单个组的所有图像,其中形成图像的缩减的序列。
控制单元(302)被配置用于将图像的缩减的序列存储在数据存储器(305)中和/或促使输出单元(304)输出图像的缩减的序列。
Claims (13)
1.一种用于将视频记录缩减到录制有处于运动阈值之上的对象的一个或多个运动的时间片段的方法,包括以下步骤:
a)接收图像的时间序列,
b)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,
c)通过以下方式从差图像的序列中产生平均值差图像的序列,即为具有所定义的数量的差图像的相继的差图像的所有组,分别对属于一组的差图像求平均,
d)从平均值差图像的序列中产生二值图像的序列,
e)在每个二值图像中标识连贯像点的组,
f)确定连贯像点的组的大小并且将组的各自大小与阈值进行比较,
g)标识具有至少一个与所述阈值一样大或大于所述阈值的组的那些二值图像,
h)删除图像的时间序列中的对在步骤g)中标识的二值图像的产生没有影响的所有图像。
2.根据权利要求1所述的方法,
-其中图像的序列中的每个图像具有大量像点,其中每个像点通过色调值表征,
-其中差图像的序列中的每个差图像通过分别具有色调值的大量像点表征,其中每个差图像的每个像点的色调值表示两个时间上直接相继的图像的相应像点的色调值的差的绝对值,
-其中为了产生平均值差图像的序列,定义能够容纳所定义的数目的时间上直接相继的差图像的时间窗,其中使所述时间窗逐图像地从差图像的序列的开始移位直至差图像的序列的末端,并且在每次逐图像地移位时,基于由时间窗纳入的差图像分别产生平均值差图像,其中每个平均值差图像的每个像点的色调值表示由所述时间窗纳入的差图像的相应像点的色调值的平均值,
-其中为了从平均值差图像的序列中产生二值图像的序列,将每个平均值差图像的所有像点的处于所定义的色调值阈值之下的色调值设置为第一色调值,并且将每个(对比度降低的)平均值差图像的所有像点的处于所述定义的色调值阈值之上或对应于所定义的色调值阈值的色调值设置为第二色调值。
3.根据权利要求1或2中任一项所述的方法,在步骤c)之后和在步骤d)之前此外包括以下步骤:
通过对平均值差图像的序列中的所有平均值差图像应用高斯模糊来产生对比度降低的平均值差图像的序列。
4.根据权利要求1、2或3中任一项所述的方法,在步骤d)之后和在步骤e)之前此外包括以下步骤:
通过以下方式从二值图像的序列中产生膨胀二值图像的序列,即将每个二值图像的具有第二色调值的那些像点一次或多次地扩展到所定义的结构化元素的形式。
5.根据权利要求1、2、3或4中任一项所述的方法,其中步骤f)中的每个组的大小被设置为具有第二色调值的属于各自组的像点的数目。
6.根据权利要求1、2、3或4中任一项所述的方法,
其中为了在二值图像中确定连贯像点的组的大小,考虑围绕该组的框,所述框满足以下准则:
-所述框是矩形的,
-所述框的边平行于所述二值图像的边伸展,
-具有所述第二色调值并且属于连贯像点的组的所有像点处于所述框内,
-所述框包括尽可能少的不属于具有所述第二色调值的连贯像点的组的像点,
其中处于所述框内的像点的总数被设置为所述组的大小。
7.根据权利要求1、2、3、4、5或6中任一项所述的方法,其中所述对象是生物,优选地是动物生物,完全特别优选地是实验动物,最优选地是狗。
8.根据权利要求7所述的方法,其中所述至少一种运动是所述生物的身体或所述生物的身体的一部分摇动、所述生物的与自身身体护理相关的活动和/或所述生物舔、咀嚼、抓挠和/或摩擦。
9.一种装置,包括
-输入单元,
-控制单元,
-计算单元,和
-输出单元和/或数据存储器,
其中所述控制单元被配置用于促使所述输入单元接收图像的序列,
其中所述控制单元被配置用于促使所述计算单元执行以下步骤:
a)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,
b)通过以下方式从差图像的序列中产生平均值差图像的序列,即为具有所定义的数量的差图像的相继的差图像的所有组,分别对属于一组的差图像求平均,
c)从平均值差图像的序列中产生二值图像的序列,
d)在每个二值图像中标识连贯像点的组,
e)确定连贯像点的组的大小并且将各自大小与阈值进行比较,
f)标识具有至少一个与所述阈值一样大或大于所述阈值的组的那些二值图像,
g)删除图像的时间序列中的对在步骤f)中标识的二值图像的产生没有影响的所有图像,其中产生图像的缩减的序列,
其中所述控制单元被配置用于将图像的缩减的序列存储在所述数据存储器中和/或促使所述输出单元输出图像的缩减的序列。
10.根据权利要求9所述的装置,其中所述控制单元被配置用于促使所述计算单元实施根据权利要求1至8中任一项所述的方法的步骤中的一个或多个步骤。
11.一种根据权利要求9或10中任一项所述的装置在观察动物、优选地试验动物、完全特别优选地狗时的用途。
12.一种计算机程序产品,包括数据载体,在所述数据载体上存储有计算机程序,所述计算机程序能够被加载到计算机的工作存储器中,并且在那里促使所述计算机实施以下步骤:
a)接收图像的时间序列,
b)通过以下方式从图像的序列中产生差图像的序列,即为图像的时间序列中的每对相邻图像分别产生差图像,
c)通过以下方式从差图像的序列中产生平均值差图像的序列,即为具有所定义的数量的差图像的相继的差图像的所有组,分别对属于一组的差图像求平均,
d)从平均值差图像的序列中产生二值图像的序列,
e)在每个二值图像中标识连贯像点的组,
f)确定连贯像点的组的大小并且将组的各自大小与阈值进行比较,
g)标识具有至少一个与所述阈值一样大或大于所述阈值的组的那些二值图像,
h)删除图像的时间序列中的对在步骤g)中标识的二值图像的产生没有影响的所有图像并且由此产生图像的缩减的序列,
i)在数据存储器中存储图像的缩减的序列和/或在监视器上输出图像的缩减的序列。
13.根据权利要求12所述的计算机程序产品,所述计算机程序产品能够被加载到计算机的工作存储器中并且在那里促使所述计算机实施根据权利要求1至8中任一项所述的方法的一个或多个步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19163648.9A EP3712851A1 (de) | 2019-03-19 | 2019-03-19 | Reduzierung von videomaterial auf bewegungsabschnitte |
EP19163648.9 | 2019-03-19 | ||
PCT/EP2020/056688 WO2020187695A1 (de) | 2019-03-19 | 2020-03-12 | Reduzierung von videomaterial auf bewegungsabschnitte |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113826142A true CN113826142A (zh) | 2021-12-21 |
Family
ID=65903908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080037413.0A Pending CN113826142A (zh) | 2019-03-19 | 2020-03-12 | 将视频材料缩减到运动片段 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20220180530A1 (zh) |
EP (2) | EP3712851A1 (zh) |
JP (1) | JP7486516B2 (zh) |
CN (1) | CN113826142A (zh) |
AU (1) | AU2020244084A1 (zh) |
BR (1) | BR112021018342A2 (zh) |
CA (1) | CA3134059A1 (zh) |
WO (1) | WO2020187695A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000101987A (ja) | 1998-09-18 | 2000-04-07 | Oki Electric Ind Co Ltd | 火災検知装置 |
JP2008250674A (ja) | 2007-03-30 | 2008-10-16 | Hitachi Kokusai Electric Inc | 画像処理装置 |
US10269135B2 (en) * | 2017-03-14 | 2019-04-23 | Qualcomm Incorporated | Methods and systems for performing sleeping object detection in video analytics |
JP7030425B2 (ja) * | 2017-05-22 | 2022-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
US10402987B2 (en) * | 2017-05-24 | 2019-09-03 | Qualcomm Incorporated | Methods and systems of determining object status for false positive removal in object tracking for video analytics |
FR3072812B1 (fr) * | 2017-10-23 | 2019-10-18 | Compagnie Generale Des Etablissements Michelin | Procede d'estimation d'une note d'adhesion entre la composition de caoutchouc et les plis de renfort d'une eprouvette representative d'un pneumatique a caracteriser. |
KR20190061423A (ko) * | 2017-11-28 | 2019-06-05 | 지봉근 | 반려동물 관리 시스템 |
US11044404B1 (en) * | 2018-11-28 | 2021-06-22 | Vulcan Inc. | High-precision detection of homogeneous object activity in a sequence of images |
-
2019
- 2019-03-19 EP EP19163648.9A patent/EP3712851A1/de not_active Ceased
-
2020
- 2020-03-12 WO PCT/EP2020/056688 patent/WO2020187695A1/de unknown
- 2020-03-12 CN CN202080037413.0A patent/CN113826142A/zh active Pending
- 2020-03-12 US US17/440,732 patent/US20220180530A1/en active Pending
- 2020-03-12 EP EP20708520.0A patent/EP3942524A1/de active Pending
- 2020-03-12 AU AU2020244084A patent/AU2020244084A1/en active Pending
- 2020-03-12 CA CA3134059A patent/CA3134059A1/en active Pending
- 2020-03-12 BR BR112021018342A patent/BR112021018342A2/pt unknown
- 2020-03-12 JP JP2021556447A patent/JP7486516B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
BR112021018342A2 (pt) | 2021-11-23 |
EP3942524A1 (de) | 2022-01-26 |
WO2020187695A1 (de) | 2020-09-24 |
JP7486516B2 (ja) | 2024-05-17 |
EP3712851A1 (de) | 2020-09-23 |
JP2022526293A (ja) | 2022-05-24 |
AU2020244084A1 (en) | 2021-11-04 |
US20220180530A1 (en) | 2022-06-09 |
CA3134059A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7175197B2 (ja) | 画像処理方法および装置、記憶媒体、コンピュータ装置 | |
EP2525561B1 (en) | Data-generating device, data-generating method, data-generating program, and recording medium | |
JPS61203785A (ja) | 2値画像デ−タの平滑化処理方法及びその装置 | |
JP2020191046A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN107509115A (zh) | 一种获取游戏直播中精彩时刻画面的方法及装置 | |
CN110910322B (zh) | 图片处理方法、装置、电子设备及计算机可读存储介质 | |
JP2017130794A (ja) | 情報処理装置、評価用チャート、評価システム、および性能評価方法 | |
WO2020098624A1 (zh) | 显示方法、装置、vr显示装置、设备及存储介质 | |
JPWO2019041842A5 (zh) | ||
CN113826142A (zh) | 将视频材料缩减到运动片段 | |
RU2815622C2 (ru) | Сжатие видеоматериала до участков движения | |
CN115147318A (zh) | 隐私遮挡方法及装置 | |
CN111325658B (zh) | 一种彩色图像自适应去色方法 | |
JP7302410B2 (ja) | 画像認識装置、画像認識システム、画像認識方法及びプログラム | |
JP6273750B2 (ja) | 画像処理装置及びプログラム | |
JP2018056892A (ja) | 画像処理装置 | |
JP7140491B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2001169112A (ja) | 不十分な階調精度を有する画像をフィルタリングするための方法および装置 | |
CN114429439A (zh) | 一种显示故障检测方法、装置、电子设备和存储介质 | |
CN111476740A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN108694707A (zh) | 图像去噪方法、装置及设备 | |
KR20210062388A (ko) | 영상의 객체 분할을 수행하는 영상 처리 장치 및 방법 | |
CN113132703B (zh) | 图像处理方法和设备 | |
WO2024090054A1 (ja) | 画像処理方法、プログラム、および、画像処理装置 | |
JP7414496B2 (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |