CN114666492A - 摄像机和用于促进该摄像机安装的方法 - Google Patents
摄像机和用于促进该摄像机安装的方法 Download PDFInfo
- Publication number
- CN114666492A CN114666492A CN202111483910.6A CN202111483910A CN114666492A CN 114666492 A CN114666492 A CN 114666492A CN 202111483910 A CN202111483910 A CN 202111483910A CN 114666492 A CN114666492 A CN 114666492A
- Authority
- CN
- China
- Prior art keywords
- video stream
- edge
- camera
- version
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000009434 installation Methods 0.000 title claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000013139 quantization Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 23
- 230000002401 inhibitory effect Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 6
- 230000001010 compromised effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101500019086 Ustilago maydis P6 virus KP6 killer toxin subunit alpha Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了摄像机和用于促进该摄像机安装的方法。该方法包括:当以第一FOV安装摄像机时捕捉场景(102)的视频流,该场景包括对象(104)。估算对象的至少一个部分的视频流的大小。只要所估算的大小高于第一阈值并且低于第二阈值,就提供视频流的第一边缘过滤版本以确保对象的隐私。响应于所估算的大小高于指示隐私有泄露风险的第二阈值,进入增强安全隐私操作模式,包括:生成警报以提示安装者以不同于第一FOV的第二FOV重新安装摄像机,以及禁止视频流的第一边缘过滤版本的提供。
Description
技术领域
本发明涉及一种摄像机和一种用于促进该摄像机安装的方法。
背景技术
当安装诸如监视摄像机的摄像机以捕捉场景的图像时,国家隐私条例可能要求应当保证存在于场景中的一个或多个对象的隐私。隐私通常通过所捕捉的图像的失真来实现,使得防止对象识别或对象辨识。因此,通过使得所捕捉的图像面部识别失真来防止车辆登记号码的辨识等。如果无法保证隐私,则不允许安装摄像机。
用于使得捕捉的图像失真以便于防止对象识别和对象辨识的方法是已知的。例如,US10755388B2描述了如何通过控制图像的隐私屏蔽来保护捕捉的图像数据中的个人隐私,其中,使得待应用于图像的隐私区域变模糊的程度取决于距图像捕捉装置的阈值距离以及在图像中、在该距离下场景内容的空间分辨率。然而,US10755388B2并未披露如何促进摄像机安装以保证隐私。
US2014/0362215A1涉及摄像机安装的校正。然而,在该公开中,摄像机安装的校正的目的在于优化所捕捉的图像中的面部识别。面部的平均大小在不同子区域中被测量并且被用作一个参数以触发摄像机位置的改变,诸如进一步远离场景移动摄像机或者放大。
因此,存在改进空间以便于提供一种满足国家隐私条例的摄像机的方便安装。
发明内容
因此,鉴于以上情况,本发明的目标在于减轻现有技术的缺点并且提供用于促进摄像机安装并且尤其是一种当捕捉视频流时能够确保隐私的摄像机安装的技术。
根据本发明的第一方面,以上目标通过一种由摄像机执行的用于促进摄像机安装的方法来实现。该方法包括:当以第一视场安装摄像机时捕捉场景的视频流,该场景包括一个或多个对象。该方法进一步包括:估算一个或多个对象的至少一个部分的视频流的大小,以及只要一个或多个对象的至少一个部分的视频流的所估算的大小高于第一阈值并且低于第二阈值,就提供视频流的第一边缘过滤版本以确保视频流中描绘的一个或多个对象的隐私。此外,该方法包括:响应于一个或多个对象的至少一个部分的视频流的所估算的大小高于指示至少一个对象的隐私有泄露风险的第二阈值,进入增强安全隐私操作模式,包括:生成警报以提示安装者以不同于第一视场的第二视场重新安装摄像机,并且禁止视频流的第一边缘过滤版本的提供。
通过只要一个或多个对象的至少一个部分的视频流的所估算的大小高于第一阈值并且低于第二阈值就提供视频流的第一边缘过滤版本,由于通过视频流的第一边缘过滤版本提供的一个或多个对象的匿名化,确保了视频流中描绘的一个或多个对象的隐私。
进一步,通过当一个或多个对象的至少一个部分的视频流的所估算的大小高于指示至少一个对象的隐私有泄露风险的第二阈值时禁止视频流的第一边缘过滤版本的提供,确保了一个或多个对象的隐私。
通过当一个或多个对象的至少一个部分的视频流的所估算的大小高于第二阈值时生成警报以提示安装者重新安装摄像机,使得安装者知晓需要以不同于第一视场的第二视场重新安装摄像机以便于确保未来(即,在视频流的未来捕捉中)的隐私。因此,应当选择第二视场使得其将提供视频流中捕捉的一个或多个对象的隐私。
当在本公开中使用时,术语安装指的是摄像机在位置处(例如,在物理位置处、在场景处)的安装和/或用于以某一视场捕捉场景的视频流的摄像机的配置。因此,安装可以指的是摄像机所安装的地理位置和/或用于捕捉视频流的摄像机设置(诸如某一摇移(pan)、倾斜和/或缩放设置)。
如本文所使用的,术语视场指的是在摄像机的空间中在特定位置和朝向处以及以摄像机的特定缩放设置通过摄像机可见的场景的部分。特定位置由安装位置给定,并且朝向由摄像机的摇移设置和/或倾斜设置给定。因此,应该理解,视场可以取决于一个或多个不同的摄像机参数。例如,视场可以取决于摄像机的安装位置(诸如地面之上的高度、摄像机的缩放设置、摄像机的摇移设置和/或摄像机的倾斜设置)。
一个或多个对象的至少一个部分的视频流的所估算的大小可以确定为沿着视频流的至少一个方向构成的至少一个部分的像素的数量。例如,至少一个部分的所估算的大小可以给定为在视频流的图像帧的垂直(高度)方向和/或水平(宽度)方向上像素的数量。像素(有时被称为图片元素)是图像帧中的最小单个元素。取决于图像帧的空间分辨率,图像帧可以包括1920×1080(宽度×高度)个像素、2560×1440个像素、2560×1920个像素或者3840×2160个像素,仅给出一些示例。
在对于低于第二阈值的所有估算的大小应该提供视频流的第一边缘过滤版本的情况下,第一阈值可以是零个像素。然而,如果一个或多个对象的至少一个部分的视频流的所估算的大小足够小,则所捕捉的视频流可以原样提供而不存在泄露一个或多个对象的隐私的风险。什么应该视为估算的大小足够小,这取决于现场的情况,但是当可以原样提供视频流而不存在泄露视频流中描绘的一个或多个对象的隐私时,应该设置第一阈值以提供更高的阈值。在这种情况下,当一个或多个对象的至少一个部分的视频流的所估算的大小高于第一阈值但是低于第二阈值时,提供视频流的第一边缘过滤版本。
当应该提供所捕捉的视频流的第一边缘过滤版本时,应该设置第二阈值以提供更高的阈值。高于该第二阈值,如果提供视频流的第一边缘过滤版本,则一个或多个对象的隐私有泄露风险,并且因此,禁止视频流的第一边缘过滤版本的提供。
第一阈值和第二阈值可以基于摄像机参数和安装位置来确定。例如,阈值可以基于摄像机的光学元件(诸如透镜类型)以及摄像机的分辨率和视场来确定。额外地或可替代地,阈值还可以基于用于提供所捕捉的视频流的边缘过滤版本的边缘过滤器以及基于边缘过滤器的内核大小来确定。内核是当在内核与图像帧之间执行卷积时在边缘检测中所使用的小矩阵。进一步,在一个国家中对于摄像机安装所确定的第一阈值和第二阈值可以由于该国家的隐私条例差异而不同于在另一国家中摄像机安装所确定的第一阈值和第二阈值。第一阈值和第二阈值可以通过执行测试或者基于之前摄像机安装所使用的第一阈值和第二阈值来确定。第一阈值和第二阈值还可以通过机器学习技术(例如,通过被配置为检测和/或识别视频流中的一个或多个对象的神经网络)来确定。
应该理解,视频流包括场景的至少一个图像帧。因此,视频流可以包括一个图像帧或多个图像帧(例如,多个时间上连续的图像帧)。
场景可以是其大小和形状由记录场景的摄像机的视场所限定的任何三维物理空间。
当在本文使用时,术语对象意味着可以泄露关于对象自身的、关于拥有对象的人员的或者关于与对象相关联的人员的隐私信息的任何种类的对象。因此,对象可以是人员或者其一部分(诸如面部或身体部分)、一群人、车辆或其一部分(诸如车辆牌照),仅给出一些示例。
视频流的边缘过滤版本是其中已经增强了边缘点并且已经抑制了非边缘点的视频流的版本。边缘点与视频流的图像帧中的在其处图像亮度急剧改变或者更正式地说具有不连续性的点相对应。相应地,非边缘点与图像帧中的在其处图像亮度没有急剧改变或者更正式地说没有不连续性的像素相对应。在视频流的边缘过滤版本中,边缘点被增强并且通常被示出为指示对象的边界的连通曲线的集合、表面标记的边界和/或与表面朝向中的不连续性相对应的曲线集合。因为在视频流的边缘过滤版本中抑制了非边缘点,所以抑制了边界内由边缘点所增强的点。例如,如果在视频流的边缘过滤版本中增强了面部轮廓,则将抑制面部的轮廓内的表面纹理,导致面部的匿名化的程度。匿名化的程度取决于视频流的边缘过滤版本中增强的程度和抑制的程度。然而,应该理解,匿名化的程度还取决于视频流的空间分辨率。
在方法的一些变形例中,增强安全隐私操作模式包括:提供进一步确保一个或多个对象的隐私的视频流的第二版本。
通过提供进一步确保一个或多个对象的隐私的视频流的第二版本,当在视频流的第一边缘过滤版本中无法保证一个或多个对象的隐私而因此禁止视频流的第一边缘过滤版本时,可以保证一个或多个对象的隐私。由此,可以向用户提供视频流的第二版本以用于监视或者存储而不泄露任何隐私敏感信息。
在方法的一些变形例中,提供视频流的第二版本包括:通过将隐私屏蔽应用于视频流的至少一个部分以确保视频流中描绘的一个或多个对象的隐私来产生视频流的第二版本。
这是提供视频流的第二版本以保证一个或多个对象的隐私的第一可替代方式。
当在本公开中使用时,术语隐私屏蔽应该理解为用于通过采用屏蔽区域隐藏图像帧的部分以不被看到来保护个人隐私的隐私屏蔽特征。隐私屏蔽可以是静态的或动态的。静态隐私屏蔽通常保持在原位直至操作者决定移动或移除它们。动态隐私屏蔽可以随着时间而改变,并且操作者还可以限定何时应该应用隐私屏蔽。例如,操作者可以限定动态隐私屏蔽使得如果在屏蔽区域内检测到面部,则面部将被屏蔽,但在其他情况下,屏蔽不应用于该区域。
隐私屏蔽通常作为覆盖而应用于图像。隐私屏蔽可以具有多边形形状,但是还可以是其他形状,这些形状更接近要遮挡的区域的形状。一些隐私屏蔽采取不透明区域(例如,均匀的黑色或蓝色区域)的形式,而其他隐私屏蔽采取变模糊的形式,其中,图像数据在隐私屏蔽区域之上“被涂抹”或者像素化。像素化是其中单个像素值(通常是编码单元内数个或所有像素的平均值)替代编码单元中所有像素的过程。像素化可以通过将图像帧缩减例如8和64之间的一因子并且此后使用诸如最近邻算法(nearest neighbour algorithm)的平凡缩放算法(trivial scaling algorithm)放大图像帧来实现。尽管通常,用于隐私屏蔽的模糊化视为比像素化更可取,因为其允许更平滑的边缘并且因此看起来更好看。然而,与当前硬件块中经济上可行的方法相比,模糊化更难以达到并且要求更多计算资源来实现。
在视频流中,隐私屏蔽应用于视频流的每个图像帧以隐藏视频流中描绘的一个或多个对象的隐私。例如,隐私屏蔽可以应用于人员的面部或身体部分并且由此隐藏这些部分以不被看到和不被识别。隐私屏蔽可以应用于视频流的至少一个部分,通过确定覆盖了视频流中描绘的一个或多个对象的区域以及通过如上所述使用纯色、模糊化或像素化来表示该区域。区域可以例如确定为一个或多个对象的轮廓。然而,区域可以具有适用于覆盖视频流的至少一个部分的其他形状,例如,圆形、矩形、椭圆形。
在方法的一些变形例中,提供视频流的第一边缘过滤版本包括:通过将边缘过滤器应用于视频流以增强视频流中的边缘点并且抑制视频流中的非边缘点来产生视频流的第一边缘过滤版本,其中,视频流的像素值使用第一量化水平数来表示。
如上所述,通过产生视频流的第一边缘过滤版本,由于通过视频流的第一边缘过滤版本提供的一个或多个对象的匿名化,确保了视频流中描绘的一个或多个对象的隐私。
边缘过滤器是增强边缘点并且抑制非边缘点的过滤器。因此,通过将边缘过滤器应用于视频流,将增强边缘点同时将抑制非边缘点。例如,边缘过滤器(有时还被称为边缘检测过滤器)可以是Sobel过滤器、Canny过滤器、高斯差(DoG)过滤器、拉普拉斯算子(Laplacian)过滤器、Prewitt过滤器或Scharr过滤器,仅给出一些示例。为了匹配使用情况,边缘过滤器的输出(即,视频流的边缘过滤版本)可以使用一个或多个运算来修改,一个或多个运算诸如不区分正梯度和负梯度的绝对值运算、调节强度的增益运算符、使得边缘点为黑色而非边缘点为白色的偏移运算符和/或移除不必要的稀疏黑色边缘像素而非图像中真实边缘或其他结构的一部分的噪声减小运算符。
如上所述,视频流中的像素将使用第一量化水平数来表示。例如,像素可以使用与256个量化水平相对应的8位来表示。因此,每个像素可以采取0和255之间的数以表示256个可能的颜色中的一个颜色。在将边缘过滤器应用于视频流之后,得到的视频流的边缘过滤版本通常由具有灰度的值的像素构成,意味着它们仅表示光的量,也就是说,每个像素仅表示强度信息。在8位表示的情况下,视频流的边缘过滤版本的每一个像素将能够使用灰度表示0和255之间的强度的水平。因此,如果0由白色表示并且255由黑色表示,则它们之间存在254个灰度等级。
在方法的一些变形例中,提供视频流的第二版本包括:通过在将边缘过滤器应用于视频流之前减小视频流的空间分辨率以便于将一个或多个对象的至少一个部分的视频流的大小减小至低于第二阈值,来产生视频流的第二版本作为视频流的第二边缘过滤版本。
这是提供视频流的第二版本以保证一个或多个对象的隐私的第二可替代方式。对于一些使用情况,这可以是保证一个或多个对象的隐私的有效方式。
当本文使用时,术语空间分辨率指的是在视频流的构造中(例如,在视频流的一个或多个图像帧的构造中)采用的像素的数量。通过减小视频流的空间分辨率,减少了构成视频流的一个或多个图像帧的像素的数量。这有时被称为缩减或下采样。相应地,通过增大视频流的空间分辨率,即,通过放大/上采样视频流,增大了构成视频流的一个或多个图像帧的像素的数量。应该理解,每个像素的大小保持相同,当空间分辨率减小时导致减小的图像大小并且当空间分辨率增大时导致增大的图像大小。由此,如果向用户提供而不论隐私级别,视频流(例如,原始捕捉的视频流)、视频流的第一版本和视频流的第二版本将均具有相同像素大小。然而,应该理解,在视频流缩减之后,可以执行视频流放大以保持视频流具有相同像素数量但是具有更少敏感信息,因为在缩减期间丢失了图像细节。
通过减小视频流的空间分辨率以便一个或多个对象的至少一个部分的视频流的大小低于第二阈值,保证了在视频流的第二边缘过滤版本中获得的一个或多个对象的隐私。
在方法的一些变形例中,提供视频流的第二版本包括:通过在将第一边缘过滤器应用于视频流之前将用于表示视频流的像素值的量化水平数从第一量化水平数减小至第二量化水平数,来产生视频流的第二版本作为视频流的第二边缘过滤版本。
这是提供视频流的第二版本以保证一个或多个对象的隐私的第三可替代方式。应该理解,视频流的第二边缘过滤版本中的像素值将使用第二量化水平数来表示。
通过将视频流中的量化水平数从第一量化水平数减小至更低的第二量化水平数,与在第一量化水平数中待由每个量化水平表示的强度数相比,由于在第二量化水平数中由每个量化水平表示的强度数更大,视频流的第二边缘过滤版本中的颗粒失真将增大。由于更大的颗粒失真,确保了在视频流的第二边缘过滤版本中描绘的一个或多个对象的隐私。
例如,如果第一量化水平数是如上所述使用8位表示的256,第二量化水平数可以是4(使用2位表示)。在这种情况下,每一个表示一个强度的、第一量化水平数的256个量化水平分组为4组64个量化水平。第一组可以组合成第二量化水平数的第一量化水平(例如,0)。因此,第二量化水平数的该第一量化水平(例如,0)将表示由第一量化水平数的量化水平0至63表示的64个不同强度中的每一个。因此,在视频流的第二边缘过滤版本中,将无法看到由视频流的第一边缘过滤版本中的第一量化水平数的量化水平0至63表示的64个不同强度之间的任何差异。相应地,第二组可以组合成第二量化水平数的第二量化水平(例如,1),并且该第二量化水平(例如,1)将表示由第一量化水平数的量化水平64至127表示的64个不同强度中的每一个。因此,在视频流的第二边缘过滤版本中,将无法看到由视频流的第一边缘过滤版本中的第一量化水平数的量化水平64至127表示的64个不同强度之间的任何差异。同理适用于第三组和第四组。
在方法的一些变形例中,提供视频流的第二版本包括:通过减小视频流的第一边缘过滤版本的空间分辨率以获得视频流的第二边缘过滤版本来产生视频流的第二版本作为视频流的第二边缘过滤版本,其中,一个或多个对象的至少一个部分的大小低于第二阈值。
这是提供视频流的第二版本以保证一个或多个对象的隐私的第四可替代方式。
通过减小视频流的第一边缘过滤版本的空间分辨率以获得视频流的第二边缘过滤版本,其中,一个或多个对象的至少一个部分的大小低于第二阈值,确保了一个或多个对象的隐私。
在方法的一些变形例中,提供视频流的第二版本包括:通过将视频流的第一边缘过滤版本中具有低于边缘强度阈值的边缘强度的边缘点表示为视频流的第二边缘过滤版本中的非边缘点,来产生视频流的第二版本作为视频流的第二边缘过滤版本。
这是提供视频流的第二版本以保证一个或多个对象的隐私的第五可替代方式。通过将视频流的第一边缘过滤版本中具有低于边缘强度阈值的边缘强度的边缘点表示为视频流的第二边缘过滤版本中的非边缘点,进一步增强了一个或多个对象的轮廓,同时进一步抑制了一个或多个对象的轮廓内的表面纹理。这导致一个或多个对象的更高匿名化程度,并且由此确保一个或多个对象的隐私。表述“边缘强度”指的是边缘的度量以及图像亮度如何在边缘处急剧改变。
在方法的一些变形例中,提供视频流的第一边缘过滤版本包括:将视频流的第一边缘过滤版本传输到接收器;并且禁止视频流的第一边缘过滤版本的提供包括:禁止视频流的第一边缘过滤版本到接收器的传输。
接收器可以是直接地或者经由网络间接地、可操作地经由有线或者无线地连接到摄像机的任何装置。例如,接收器可以是储存器、用户终端、服务器或云装置。
在方法的一些变形例中,禁止视频流的第一边缘过滤版本的提供包括:禁止摄像机捕捉视频流。禁止摄像机捕捉视频流意味着视频流的捕捉被终止。由此,如果提供,则不存在可能有泄露一个或多个对象的隐私的风险的捕捉的视频流。
在方法的一些变形例中,禁止视频流的第一边缘过滤版本的提供包括:禁止摄像机的图像传感器传送用于生成所捕捉的视频流的图像信息。
通过禁止图像传感器传送用于生成所捕捉的视频流的图像帧,不存在待处理的图像信息,并且因此,如果提供,则没有可以泄露隐私的捕捉的视频流。
在方法的一些变形例中,该方法进一步包括:当一个或多个对象的至少一个部分的视频流的所估算的大小低于第一阈值时,提供所捕捉的视频流。
因此,当一个或多个对象的至少一个部分的视频流的大小低于第一阈值时,结论是,如果原样提供,则所捕捉的视频流不会泄露隐私。因此,当一个或多个对象的至少一个部分的视频流的大小低于第一阈值时,提供所捕捉的视频流。
根据本发明的第二方面,以上目标通过用于促进其安装的摄像机实现。该摄像机包括:图像捕捉模块,被配置为当以第一视场安装摄像机时捕捉场景的视频流,该场景包括一个或多个对象;大小估算部件,被配置为估算一个或多个对象的至少一个部分的视频流的大小;提供部件,被配置为只要一个或多个对象的至少一个部分的视频流的所估算大小高于第一阈值并且低于第二阈值,就提供视频流的第一边缘过滤版本以确保视频流中描绘的一个或多个对象的隐私。响应于一个或多个对象的至少一个部分的视频流的所估算的大小高于指示至少一个对象的隐私有泄露风险的第二阈值,该摄像机被配置为进入增强安全隐私操作模式,其中,警报生成部件被配置为生成警报以提示安装者以不同于第一视场的第二视场重新安装摄像机,并且其中,提供部件被配置为禁止视频流的第一边缘过滤版本的提供。
根据本发明的第三方面,以上目标由一种非瞬态计算机可读介质实现,非瞬态计算机可读介质上存储有计算机代码指令,计算机代码指令在由具有处理能力的装置执行时适用于执行第一方面的方法。
第二方面和第三方面通常可以具有与第一方面相同的特征和优点。进一步要注意,本发明涉及本文公开的特征的所有可能组合,除非另外明确地阐述。
附图说明
本发明的以上以及额外的目标、特征和优点将参照附图通过本发明的实施例的以下说明性和非限制性详细描述而更好地理解,其中,相同的附图标记将用于相似的元件,其中:
图1示意性地示出其中可以实现本发明的各个实施例的示例性环境。
图2示意性地图示根据实施例的摄像机。
图3是根据实施例的用于促进摄像机安装的方法的流程图。
图4示意性地图示根据实施例的图像处理流水线。
图5示意性地图示描绘四个对象的捕捉的视频流的图像帧。
图6示意性地图示确保四个对象的隐私的捕捉的视频流的隐私屏蔽图像帧。
图7示意性地图示描绘四个对象的捕捉的视频流的第一边缘过滤版本的边缘过滤图像帧。
图8示意性地图示捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧的示例。
图9示意性地图示捕捉的视频流的另一第二边缘过滤版本的边缘过滤图像帧的示例。
图10示意性地图示捕捉的视频流的边缘过滤版本的边缘过滤图像帧的示例。
图11示意性地图示捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧1100的示例,其中,量化水平数被减少。
图12示意性地图示捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧1200的示例。
具体实施方式
在下文中将参照其中示出了本发明实施例的附图更全面地描述本发明。
图1示出其中可以实现本发明的各个实施例的示例性环境100的示意图。如图1中可见,通过安装在杆109处的摄像机108捕捉具有对象104(例如,朝向建筑物106行走的人)的场景102。应该注意,场景102的描述仅是为了说明性目的的简化图。场景102可以以更普通的含义描述为任何三维物理空间,其大小和形状由记录场景的摄像机的视场限定。进一步,应该理解,摄像机108可以安装在其他合适的地方(诸如在建筑物上、在天花板中、在墙壁或围栏上),并且因此,安装在杆109处仅作为示例给出。
摄像机108可以是监视摄像机,有时还被称为监控摄像机。进一步,摄像机可以是固定摄像机(例如,静止摄像机),或者可移动摄像机(例如,摇移、倾斜和变焦(PTZ)摄像机或者穿戴式摄像机(BWC))。摄像机108可以是可见光摄像机、红外(IR)敏感摄像机或者热(长波红外(LWIR))摄像机。
如图1中所图示,摄像机108被配置为通过无线电链路110将视频流无线地传输到有线网络112,并且最终传输到可以连接到网络112的客户端114和/或服务器116。应该理解,存在可以使用的无线和有线传输模型的许多组合,并且图1仅图示了一个示例。
客户端114可以具有显示器,操作者在此处观看来自摄像机的图像和/或视频流。通常,客户端114还连接到服务器116,可以在此处存储和/或进一步处理图像和/或视频流。通常,客户端114还用于控制摄像机108,例如,由操作者在客户端114处发出控制命令。例如,操作者可以指示摄像机缩小场景102的特定细节。这可以是当使用第一视场(例如,第一缩放设置)捕捉视频流时,当一个或多个对象104的一部分的视频流的大小被估算为高于第二阈值时并且向安装者生成警报的情况,当使用不同于第一视场的第二视场(例如,第二缩放设置)捕捉视频流时,安装者可以指示摄像机缩小一个或多个对象的一部分以将该部分的视频流的大小减小至低于第二阈值。从而可以确保一个或多个对象的隐私。然而,还存在其中操作者无法控制摄像机、而摄像机108是固定的并且仅为操作者提供视频流以在客户端120上观看的情况。在这样的情况下,安装者可能需要在另一物理位置处重新安装摄像机108,以便于获得第二视场,在第二视场中,当使用该第二视场捕捉视频时,该部分的视频流的大小低于第二阈值。因此,在不同物理位置处重新安装摄像机108还可以获得一个或多个对象的所寻求的安全隐私。与当以第一视场安装时到一个或多个对象的距离相比,不同的物理位置可以是在距一个或多个对象的更大距离处的位置。
图2示意性地图示摄像机108的实施例。
摄像机108包括捕捉场景102并且将其投影到图像传感器204上的透镜202。透镜202和图像传感器204一起可以形成图像捕捉模块206。图像传感器204捕捉形成了视频流的图像帧。摄像机进一步包括图像处理流水线(IPP)208、编码器210和输入/输出接口212。
图像处理流水线208被配置为对从图像传感器204接收的图像帧执行一系列不同操作。这些操作可以包括过滤、去马赛克、色彩校正、用于消除空间和/或时间噪声的噪声过滤、用于消除例如桶形失真效应的失真校正、全局和/或局部色调映射、例如启用对包含广泛强度的场景的成像、变换(例如,旋转)、平面场校正(例如,用于去除渐晕效果)、叠加的应用(例如,隐私屏蔽、说明性文本等)。然而,应该注意,可以通过设置在图像处理流水线208外部的、例如在图像处理流水线208与编码器210之间的一个或多个单元中的一个或多个模块、部件或电路执行这些操作中的一些,例如,诸如桶形失真的校正、旋转等的变换操作。
在图像处理流水线208之后,图像帧被转发到编码器210,在编码器210中,图像帧根据编码协议被编码,并且使用输入/输出接口212通过网络112被转发到接收器(例如,客户端114和/或服务器116)。应该注意,图2中所图示的摄像机108还包括在传统摄像机系统中常见的数个其他部件(诸如处理器、存储器等),并且其目的和操作对本领域普通技术人员来说是已知的。为了清楚的原因,可以从图2的说明和描述中省略这些部件。
摄像机108还可以包括数据储存器214,以用于存储与视频流捕捉相关的数据以及与用于促进摄像机108安装的方法相关的数据。因此,数据储存器可以存储所捕捉的视频流、视频流的第一版本和视频流的第二版本、第一阈值和第二阈值、第一视场和第二视场、一个或多个对象的至少一个部分的视频流的估算的大小,仅举出一些示例。数据储存器可以是非易失性存储器,诸如SD卡。
存在许多传统的视频编码格式。适用于本发明各个实施例的一些常见的视频编码格式包括:JPEG、Motion JPEG(MJPEG)、高效视频编码(HEVC)(还被称为H.265和MPEG-H部分2)、先进视频编码(AVC)(还被称为H.264和MPEG-4部分10)、通用视频编码(VVC)(还被称为H.266、MPEG-1部分3和未来视频编码(FCV))、VP9、VP10和AOMedia视频1(AV1),仅举出一些示例。
如所述,输入和输出接口212被配置为用作摄像机108、网络112与一个或多个接收装置(诸如客户端114和服务器116)之间的通信接口。因此,摄像机108可以经由输入和输出接口212从客户端114接收指令,并且可以将视频流传输到客户端和/或服务器116。
图像处理流水线208、编码器210和输入/输出接口212可以形成图像处理和编码模块214,其连接到图像捕捉模块206。图像捕捉模块206与图像处理和编码模块214可以被设置为彼此以一距离设置并且彼此通信的两个独立单元。在这种情况下,摄像机108还可以被称为摄像机系统。可替代地,图像捕捉模块206与图像处理和编码模块214可以被设置为包括在摄像机108中的单个单元。进一步,图像捕捉模块206可以是可移动的(例如,在摇移和/或倾斜方向上),而图像处理和编码模块214可以是固定的。
现在,将参照图3的流程图并且参照图2和图4描述用于促进摄像机108安装的方法。图4示意性地图示根据实施例的图像处理流水线208。如所图示,图像处理流水线208的实施例包括大小估算部件402、提供部件404和警报生成部件406。然而,应该理解,大小估算部件402、提供部件404和警报生成部件406中的一个或多个可以以另一方式被设置在摄像机108中。例如,摄像机108可以包括大小估算部件402、提供部件404和警报生成部件406中的一个或多个,作为彼此通信地连接并且通信地连接到摄像机108的其他部分(诸如图像处理流水线208、编码器210、输入和输出接口212和数据储存器214)的独立单元。
进一步,应该理解,图3中所图示的方法可以由摄像机108的不同部分执行,其步骤中的一些可以是任选的并且步骤可以采取另一合适的顺序。此外,在本公开中,一个或多个步骤被描述为对于所捕捉的视频流的图像帧执行。这可以理解为可以对视频流的时间部分执行一个或多个步骤。
在步骤S302,当以第一视场(FOV)安装摄像机108时,捕捉场景102的视频流。该步骤通过图像捕捉模块206(例如,通过透镜202和图像传感器204)执行。
如前所述,场景102包括一个或多个对象104。
还如前所述,术语视场指的是在摄像机108的空间中在特定位置和朝向处并且以摄像机108的特定缩放设置通过摄像机108可见的场景的部分。特定位置由安装位置给定,并且朝向由摄像机的摇移设置和/或倾斜设置给定。因此,应该理解,第一视场可以取决于一个或多个不同的摄像机参数。例如,第一视场可以取决于摄像机108的安装位置(诸如地面之上的高度)、摄像机108的缩放设置、摄像机108的摇移设置和/或摄像机的倾斜设置。
进一步并且如前所述,一个或多个对象104可以是可以泄露关于对象自身的、关于拥有对象的人员的或者关于与对象相关联的人员的隐私信息的任何种类的对象。因此,对象可以是人员或者其一部分(诸如面部或身体部分)、一群人、车辆或者其一部分(诸如车辆牌照),仅给出一些示例。
图5示意性地图示捕捉的视频流的图像帧500,其描绘了在步行道上行走的四个对象104(例如,四个人104a、104b、104c、104d)。
在步骤S304,估算一个或多个对象104的至少一个部分的视频流的大小。该步骤可以通过大小估算部件402执行。一个或多个对象的该至少一个部分的视频流的大小可以估算为沿着视频流的至少一个方向构成的该至少一个部分的像素的数量。例如,该至少一个部分的估算的大小可以给定为在视频流的图像帧的垂直(高度)方向和/或水平(宽度)方向上像素的数量。因此,估算的大小可以将两个点之间的长度、高度、宽度或者距离作为像素的数量给出。例如,估算的大小可以是个人的眼睛之间的像素的数量,或者个人的面部的左侧与面部的右侧之间的像素的数量。然而,估算的大小还可以是图像帧中的该至少一个部分(例如,区域)所包括的像素的数量。在实施例中,其中,将估算的大小估算为个人的面部的视频流的大小,估算部件402可以包括或者可以连接到被配置为在视频流中检测面部的面部检测器(402a)。然而,估算部件402可以额外地或可替代地包括或者可以连接到被配置为检测其他对象或者其一部分(诸如车辆和牌照)的一个或多个其他对象检测器(402b)。在图5中,边界框104a’、104b’、104c’、104d’示意性地图示通过例如面部检测器402a检测的个人104a至104d的面部。所捕捉的视频中车辆的大小可以例如通过对象检测器402b检测,其估算车辆的头灯之间的距离,或者估算所捕捉的视频流中车辆的牌照的大小。
在步骤S306,并且只要一个或多个对象104的该至少一个部分的视频流的所估算的大小高于第一阈值并且低于第二阈值,就提供视频流的第一边缘过滤版本以确保视频流中描绘的一个或多个对象104的隐私。该步骤通过提供部件404执行。
在一些实施例中,提供视频流的第一边缘过滤版本包括:通过将边缘过滤器应用于视频流以增强视频流中的边缘点并且抑制视频流中的非边缘点来产生视频流的第一边缘过滤版本。视频流的像素值以及视频流的第一边缘过滤版本的像素值使用第一量化水平数来表示。
提供视频流的第一边缘过滤版本可以包括:将视频流的第一边缘过滤版本传输到接收器。如前所述,接收器可以是经由有线或无线可操作地连接到摄像机108或者包括在摄像机108内的任何装置。因此,应该理解,视频流的第一边缘过滤版本可以传输到客户端114、服务器116和/或数据储存器214。
图7示意性地图示所捕捉的视频流的第一边缘过滤版本的边缘过滤图像帧700,其描绘了四个对象104(诸如四个人104a、104b、104c、104d)。边缘过滤图像帧700通过将Sobel过滤器应用于图像帧500而获得,并且具有最高可能空间分辨率。最高可能空间分辨率意味着边缘过滤图像帧的空间分辨率与所捕捉的视频流的对应图像帧相同。换言之,边缘过滤图像帧700的空间分辨率与图像帧500的空间分辨率相同。如图7中可见,当个人更靠近摄像机时,并且因此当例如图像帧700中他们的面部大小增大时,他们的隐私被泄露。因此,在隐私泄露之前,例如,当一个或多个对象的隐私已经有泄露风险时,应该禁止所捕捉的视频流的第一边缘过滤版本的提供。
因此,在步骤S308并且响应于一个或多个对象104的该至少一个部分的视频流的所估算的大小高于指示至少一个对象的隐私有泄露风险的第二阈值,摄像机108进入增强安全隐私操作模式。
当在增强安全隐私操作模式下时,在步骤S310,生成警报以提示安装者以不同于第一视场的第二视场重新安装摄像机108,并且在步骤S312,禁止视频流的第一边缘过滤版本的提供。可以以预定的时间段(例如,与一天或多天相对应的时间段或者预期重新安装摄像机108所需的时间段)禁止视频流的第一边缘过滤版本的提供。
应该理解,重新安装摄像机108以便于获得不同的第二视场可以包括将摄像机设置从第一摇移水平改变为不同的第二摇移水平,和/或从第一倾斜设置改变为不同的第二倾斜设置,和/或从第一缩放设置改变为不同的第二缩放设置。第二缩放设置与第一缩放设置相比优选地是缩小设置。可替代地或额外地,重新安装可以包括摄像机108从第一物理位置移动到不同的第二物理位置,即,从安装在地面上的杆上移动到安装在高的建筑物上。
在以第二视场重新安装摄像机108之后,方法步骤可以现在以作为新的第一视场(即,步骤S302至步骤S312中所提及的第一视场)的第二视场从步骤S302重复。
步骤S310可以通过警报生成部件406执行,并且步骤S312可以通过提供部件404执行。
在一些实施例中,禁止视频流的第一边缘过滤版本的提供包括:禁止视频流的第一边缘过滤版本到接收器的传输。这意味着在一些实施例中,摄像机108停止记录视频流的第一边缘过滤版本。例如,视频流的第一边缘过滤版本不存储在数据储存器214中。
可替代地,在一些实施例中,禁止视频流的第一边缘过滤版本的提供包括禁止摄像机捕捉视频流。这可以是当不需要或不期望视频流的第二版本时的情况,并且因此,当视频流的第一边缘过滤版本无法保证一个或多个对象的隐私时,使摄像机108被停用。在这种情况下,图像捕捉模块206(例如,透镜202和/或图像传感器204)可以禁止捕捉视频流。
在一些实施例中,禁止视频流的第一边缘过滤版本的提供包括:禁止摄像机的图像传感器传送用于生成所捕捉的视频流的图像信息。因此,在一些情况下,通过禁止图像传感器204传送用于生成所捕捉的视频流的图像帧来禁止摄像机108。例如,图像传感器204可以禁止将图像帧传送到摄像机108的图像处理和编码模块214。
在任选的步骤S314中,增强安全隐私操作模式进一步包括:提供进一步确保一个或多个对象104的隐私的视频流的第二版本。该步骤可以在上述步骤S312中所提及的预定时间段期间执行,并且在该时间段期间,禁止视频流的第一边缘过滤版本的提供以等待摄像机108的重新安装。如以下将描述的,可以以不同方式实现视频流的第二版本的提供。
在第一可替代方式中,提供视频流的第二版本包括:通过将隐私屏蔽应用于视频流的至少一个部分以确保视频流中描绘的一个或多个对象104的隐私来产生视频流的第二版本。隐私屏蔽可以是彩色屏蔽或马赛克(像素)屏蔽。例如,隐私屏蔽通过将现场摄像机视图与设定的背景场景进行比较并且将动态屏蔽应用于改变的区域(尤其是移动对象)而识别现场对象和所记录的视频流。进一步,可以设定所需的屏蔽等级。彩色屏蔽可以提供两者的最大隐私保护,同时使得能够观看移动。马赛克屏蔽以低分辨率示出移动的对象,并且与将单个屏蔽颜色应用于整个对象的颜色屏蔽相比,可以通过看到对象的不同颜色而更易于区分形式。
图6示意性地图示所捕捉的视频流的隐私屏蔽图像帧600,隐私屏蔽图像帧600确保四个对象104(例如,四个人104a、104b、104c、104d)的隐私。
在第二可替代方式中,提供视频流的第二版本包括:通过在将边缘过滤器应用于视频流之前减小视频流的空间分辨率以将一个或多个对象的至少一个部分的视频流的大小减小至低于第二阈值,来产生视频流的第二版本作为视频流的第二边缘过滤版本。如之前所述,通过在应用边缘过滤器之前减小视频流的空间分辨率,使得一个或多个对象的至少一个部分的视频流的大小低于第二阈值,从而在视频流的第二边缘过滤版本中确保一个或多个对象的隐私。
图8示意性地图示所捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧800的示例。边缘过滤图像帧800的空间分辨率是边缘过滤图像帧700的空间分辨率的一半。如通过将边缘过滤图像帧700、800进行比较可见,与边缘过滤图像帧700的图像大小相比,边缘过滤图像帧800的大小被减小。然而,如在边缘过滤图像帧800中可见,并未确保四个人的隐私。为了确保隐私,在应用边缘过滤器之前甚至应该进一步减小空间分辨率以便于将一个或多个对象的至少一个部分的视频流的大小减小至低于第二阈值。图9示意性地图示所捕捉的视频流的另一第二边缘过滤版本的边缘过滤图像帧900的示例。边缘过滤图像帧900的空间分辨率是边缘过滤图像帧700的空间分辨率的四分之一。如图9中所图示,在边缘过滤图像帧900中确保了四个人的隐私。
在第三可替代方式中,提供视频流的第二版本包括:通过在将边缘过滤器应用于视频流之前将用于表示视频流的像素值的量化水平数从第一量化水平数减小至第二量化水平数,来产生视频流的第二版本作为视频流的第二边缘过滤版本。
应该理解,视频流的第二边缘过滤版本的像素值可以使用第二量化水平数来表示。
然而,还应该理解,可能的量化水平数可以再次增大以与第一量化水平数相对应,并且在该情况下,仅使用与第二量化水平数相对应的量化水平数来表示视频流的第二边缘过滤版本的像素值。例如,如果视频流的第一量化水平数与256(8位)相对应并且第二量化水平数是16(4位),则视频流的第二边缘过滤版本可以是4位视频流,其中,使用16个量化水平来表示像素值,或者其量化水平数可以增大至256(8位),但是仅使用256个量化水平之中的16个量化水平来表示像素值。
如之前所述,通过将视频流中所使用的量化水平数从第一量化水平数减小至更低的第二量化水平数,由于与第一量化水平数中待由每个量化水平表示的强度数相比,由于在第二量化水平数中待由每个量化水平表示的强度数更大,视频流的第二边缘过滤版本中的颗粒失真将增大。由于更大的颗粒失真,确保了视频流的第二边缘过滤版本中描绘的一个或多个对象的隐私。
图11示意性地图示所捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧1100的示例,其中,已经减小了量化水平数以便于确保隐私。在例示出的附图中,与边缘过滤图像帧700中的256个量化水平(8位)相比,边缘过滤图像帧1100中的量化水平数是8(3位)。
在第四可替代方式中,视频流的第二版本的提供包括:通过减小视频流的第一边缘过滤版本的空间分辨率以获得视频流的第二边缘过滤版本,来产生视频流的第二版本作为视频流的第二边缘过滤版本,其中,一个或多个对象的至少一个部分的大小低于第二阈值。如之前所述,通过减小视频流的第一边缘过滤版本的空间分辨率,减小了构成视频流的第一边缘过滤版本的一个或多个图像帧的像素的数量。进一步,通过减小视频流的第一边缘过滤版本的空间分辨率使得一个或多个对象的至少一个部分的视频流的第二边缘过滤版本的大小低于第二阈值,当在视频流的第一边缘过滤版本中无法保证隐私时,在视频流的第二边缘过滤版本中确保了一个或多个对象的隐私。
为了确保在所捕捉的视频流的不同区域中描绘的对象的隐私,描绘第一对象的边缘过滤图像帧的第一区域的第一图像分辨率可以不同于描绘第二对象的边缘过滤图像帧的第二区域的第二图像分辨率。第一区域的第一图像分辨率涉及第一区域中图像细节的量,并且相应地,第二区域的第二图像分辨率涉及第二区域中图像细节的量。通过不同地缩减第一区域和第二区域并且随后放大它们以包括它们的原始像素数量,可以获得第一图像分辨率和第二图像分辨率。如之前所述,缩减减少了像素的数量,引起图像细节丢失,并且放大增大了像素的数量但是无法恢复丢失的图像细节。因此,通过不同地缩减第一区域和第二区域,在第一区域和第二区域中将丢失不同量的图像细节,从而导致不同程度的匿名化。通过在缩减之后将第一区域和第二区域放大到它们的原始像素数量,第一区域和第二区域将在边缘过滤图像帧中具有它们的原始大小。图10示意性地图示所捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧1000的示例。在该示例中,边缘过滤图像帧1000的第一区域1002的第一分辨率是边缘过滤图像帧700的图像分辨率的一半,并且边缘过滤图像帧1000的第二区域1004的第二分辨率是边缘过滤图像帧700的图像分辨率的四分之一。
在第五可替代方式中,视频流的第二版本的提供包括:通过将视频流的第一边缘过滤版本中具有低于边缘强度阈值的边缘强度的边缘点表示为视频流的第二边缘过滤版本中的非边缘点,来产生视频流的第二版本作为视频流的第二边缘过滤版本。图12示意性地图示所捕捉的视频流的第二边缘过滤版本的边缘过滤图像帧1200的示例,其中,通过将具有低于边缘强度阈值的边缘强度的边缘点表示为视频流的第二边缘过滤版本中的非边缘点来抑制它们。由此,提高了一个或多个对象104的隐私。应该理解,通过进一步增大边缘强度阈值,将获得一个或多个对象104的进一步匿名化,并且因此,还将获得一个或多个对象104的更高的安全隐私。
在任选的步骤S316中并且当至少一个部分的视频流的所估算的大小低于第一阈值时,提供所捕捉的视频流。可以通过将所捕捉的视频流传输到接收器而提供所捕捉的视频流。如之前所述,接收器可以是经由有线或无线地、可操作地连接到摄像机108或者包括在摄像机108内的任何装置。因此,应该理解,所捕捉的视频流可以传输到客户端114、服务器116和/或数据储存器214。
实施例还涉及用于促进其安装的摄像机108。摄像机108包括图像捕捉模块206,被配置为当以第一视场安装摄像机108时捕捉场景102的视频流,其中,场景102包括一个或多个对象104。
摄像机108还包括大小估算部件402,被配置为估算一个或多个对象104的至少一个部分的视频流的大小。
进一步,摄像机108包括提供部件404,被配置为只要一个或多个对象104的至少一个部分的视频流的所估算的大小高于第一阈值并且低于第二阈值,就提供视频流的第一边缘过滤版本以确保视频流中描绘的一个或多个对象的安全隐私。
提供部件404被配置为检测和增强所捕捉的视频流中的边缘点并且抑制非边缘点,并且被配置为提供所捕捉的视频流的边缘过滤版本,例如,如上所述的所捕捉的视频流的第一边缘过滤版本和第二边缘过滤版本。提供部件404可以是或者可以包括被配置为提供所捕捉的视频流的边缘过滤版本的边缘检测器。
此外,提供部件404被配置为当摄像机108处于增强安全隐私操作模式时禁止视频流的第一边缘过滤版本的提供。
在一些实施例中,提供部件404被配置为提供所捕捉的视频流的第二版本,其中,第二版本可以是所捕捉的视频流的隐私屏蔽版本或者第二边缘过滤版本。
提供部件404还可以被配置为当一个或多个对象104的至少一个部分的视频流的所估算的大小低于第一阈值时提供所捕捉的视频流。
摄像机108被配置为响应于一个或多个对象104的至少一个部分的视频流的所估算的大小高于指示至少一个对象的隐私有泄露风险的第二阈值而进入增强安全隐私操作模式。
进一步,摄像机108包括警报生成部件406,被配置为当摄像机108处于增强安全隐私操作模式时生成警报,以提示安装者以不同于第一视场的第二视场重新安装摄像机。
实施例还涉及一种非瞬态计算机可读介质,其上存储有计算机代码指令,计算机代码指令在由具有处理能力的装置执行时适用于执行本文所述的方法的实施例。
如上所述,摄像机108可以被配置为实现用于促进其安装的方法。为此目的,摄像机108可以包括被配置为实现本文所述的各个方法步骤的电路。
在硬件实现方式中,电路可以是专用的并且特别设计以实现一个或多个方法步骤。电路可以采取一个或多个集成电路的形式,诸如一个或多个专用集成电路或者一个或多个现场可编程门阵列。通过示例的方式,摄像机108可以因此包括当在使用时估算一个或多个对象的至少一个部分的视频流大小、以及当在使用时并且只要一个或多个对象的至少一个部分的视频流的所估算的大小高于第一阈值且低于第二阈值则提供视频流的第一边缘过滤版本以确保视频流中描绘的一个或多个对象的隐私的电路。摄像机108可以进一步包括当在使用时并且响应于一个或多个对象的至少一个部分的视频流的所估算的大小高于指示至少一个对象的隐私有泄露风险的第二阈值则进入增强安全隐私操作模式的电路。此外,摄像机108可以包括当在使用时并且当在增强安全隐私模式时生成警报以提示安装者以不同于第一视场的第二视场重新安装摄像机并且禁止视频流的第一边缘过滤版本的提供的电路。
在软件实现方式中,电路可以替代地采取处理器(诸如微处理器)的形式,其与存储在(非瞬态)计算机可读介质(诸如非易失性存储器)上的计算机代码指令相关联,使得摄像机108执行本文所公开的任何方法。非易失性存储器的示例包括只读存储器、闪存、铁电RAM、磁性计算机储存装置和光盘等。在软件的情况下,上述方法步骤中的每一个步骤可以因此与存储在计算机可读介质上的计算机代码指令的一部分相对应,在指令由处理器运行时,使得摄像机108执行本文所公开的任何方法。
应该理解,还可以具有硬件和软件实现方式的组合,意味着一些方法步骤以硬件实现而其他步骤以软件实现。
应该知晓,本领域技术人员可以以许多方式修改上述实施例并且仍然利用如以上实施例中所示的本发明的优点。例如,摄像机108无需是在一个位置处包括图像捕捉模块206与图像处理和编码模块214的单个单元,而其可以是虚拟单元,其中,图像捕捉部分206与图像处理和编码模块214一起操作但是它们提供在不同的位置处。进一步,大小估算部件402、提供部件404和警报生成部件406不必设置在图像处理流水线208中,而是可以被设置为图像处理和编码模块214的独立单元并且可以被设置为与图像处理流水线208、编码器210、输入和输出接口212以及数据储存器214通信。因此,本发明不应限于所示的实施例,而是应该仅由所附权利要求限定。额外地,如本领域技术人员应该理解的,所示的实施例可以组合。
Claims (14)
1.一种在摄像机中用于促进所述摄像机安装的方法,所述方法包括:
当以第一视场安装所述摄像机时捕捉场景的视频流,所述场景包括一个或多个对象,
估算所述一个或多个对象的至少一个部分的所述视频流的大小,
只要所述一个或多个对象的所述至少一个部分的所述视频流的所估算的大小高于第一阈值并且低于第二阈值,就提供所述视频流的第一边缘过滤版本以确保所述视频流中描绘的所述一个或多个对象的隐私;以及
响应于所述一个或多个对象的所述至少一个部分的所述视频流的所估算的大小高于指示至少一个对象的所述隐私有泄露风险的所述第二阈值,进入增强安全隐私操作模式,包括:
生成警报以提示安装者以不同于所述第一视场的第二视场重新安装所述摄像机,以及
禁止所述视频流的所述第一边缘过滤版本的提供。
2.根据权利要求1所述的方法,其中,所述增强安全隐私操作模式进一步包括:
提供进一步确保所述一个或多个对象的所述隐私的所述视频流的第二版本。
3.根据权利要求2所述的方法,其中,提供所述视频流的所述第二版本包括:
通过将隐私屏蔽应用于所述视频流的至少一个部分以确保所述视频流中描绘的所述一个或多个对象的隐私来产生所述视频流的所述第二版本。
4.根据权利要求1所述的方法,其中,提供所述视频流的所述第一边缘过滤版本包括:
通过将边缘过滤器应用于所述视频流以增强所述视频流中的边缘点并且抑制所述视频流中的非边缘点来产生所述视频流的所述第一边缘过滤版本,其中,所述视频流的像素值使用第一量化水平数来表示。
5.根据权利要求4所述的方法,其中,提供所述视频流的所述第二版本包括:
通过以下方式来产生所述视频流的所述第二版本作为所述视频流的第二边缘过滤版本:
在将所述边缘过滤器应用于所述视频流之前,减小所述视频流的所述空间分辨率以将所述一个或多个对象的所述至少一个部分的所述视频流的所述大小减小至低于所述第二阈值。
6.根据权利要求4所述的方法,其中,提供所述视频流的所述第二版本包括:
通过以下方式来产生所述视频流的所述第二版本作为所述视频流的第二边缘过滤版本:
在将所述边缘过滤器应用于所述视频流之前,将用于表示所述视频流的像素值的所述量化水平数从所述第一量化水平数减小至第二量化水平数。
7.根据权利要求1所述的方法,其中,提供所述视频流的所述第二版本包括:
通过以下方式来产生所述视频流的所述第二版本作为所述视频流的第二边缘过滤版本:
减小所述视频流的所述第一边缘过滤版本的所述空间分辨率以获得所述视频流的所述第二边缘过滤版本,其中,所述一个或多个对象的所述至少一个部分的所述大小低于所述第二阈值。
8.根据权利要求1所述的方法,其中,提供所述视频流的所述第二版本包括:
通过以下方式来产生所述视频流的所述第二版本作为所述视频流的第二边缘过滤版本:
将所述视频流的所述第一边缘过滤版本中具有低于边缘强度阈值的边缘强度的边缘点表示为所述视频流的所述第二边缘过滤版本中的非边缘点。
9.根据权利要求1所述的方法,其中,提供所述视频流的所述第一边缘过滤版本包括:
将所述视频流的所述第一边缘过滤版本传输到接收器;并且
其中,禁止所述视频流的所述第一边缘过滤版本的提供包括:
禁止所述视频流的所述第一边缘过滤版本到所述接收器的传输。
10.根据权利要求1所述的方法,其中,禁止所述视频流的所述第一边缘过滤版本的提供包括:
禁止所述摄像机捕捉所述视频流。
11.根据权利要求1所述的方法,其中,禁止所述视频流的所述第一边缘过滤版本的提供包括:
禁止所述摄像机的图像传感器传送用于生成所捕捉的视频流的图像帧。
12.根据权利要求1所述的方法,进一步包括:
当所述一个或多个对象的所述至少一个部分的所述视频流的所估算的大小低于所述第一阈值时,提供所捕捉的视频流。
13.一种用于促进摄像机安装的摄像机,所述摄像机包括:
图像捕捉模块,被配置为当以第一视场安装所述摄像机时捕捉场景的视频流,所述场景包括一个或多个对象,
大小估算部件,被配置为估算所述一个或多个对象的至少一个部分的所述视频流的大小,
提供部件,被配置为只要所述一个或多个对象的所述至少一个部分的所述视频流的所估算的大小高于第一阈值并且低于第二阈值,就提供所述视频流的第一边缘过滤版本以确保所述视频流中描绘的所述一个或多个对象的隐私;以及
响应于所述一个或多个对象的所述至少一个部分的所述视频流的所估算的大小高于指示至少一个对象的所述隐私有泄露风险的所述第二阈值,所述摄像机被配置为进入增强安全隐私操作模式,其中:
警报生成部件被配置为生成警报以提示安装者以不同于所述第一视场的第二视场重新安装所述摄像机,并且
其中,所述提供部件被配置为禁止所述视频流的所述第一边缘过滤版本的提供。
14.一种非瞬态计算机可读介质,所述非瞬态计算机可读介质上存储有计算机代码指令,所述计算机代码指令在由具有处理能力的装置执行时适用于执行根据权利要求1所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20216460.4A EP4020981A1 (en) | 2020-12-22 | 2020-12-22 | A camera and a method therein for facilitating installation of the camera |
EP20216460.4 | 2020-12-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114666492A true CN114666492A (zh) | 2022-06-24 |
Family
ID=73856795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111483910.6A Pending CN114666492A (zh) | 2020-12-22 | 2021-12-07 | 摄像机和用于促进该摄像机安装的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11825241B2 (zh) |
EP (1) | EP4020981A1 (zh) |
JP (1) | JP2022099276A (zh) |
CN (1) | CN114666492A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11605245B2 (en) * | 2020-12-22 | 2023-03-14 | Qualcomm Incorporated | Systems and methods for masking biometric information in images |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050162515A1 (en) * | 2000-10-24 | 2005-07-28 | Objectvideo, Inc. | Video surveillance system |
US7801330B2 (en) * | 2005-06-24 | 2010-09-21 | Objectvideo, Inc. | Target detection and tracking from video streams |
US7518618B2 (en) * | 2005-12-23 | 2009-04-14 | Xerox Corporation | Anti-aliased tagging using look-up table edge pixel identification |
JP2008160354A (ja) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Ind Co Ltd | 映像出力装置 |
EP2157781B1 (en) * | 2007-06-22 | 2013-08-07 | Panasonic Corporation | Camera device and imaging method |
JP2010081428A (ja) | 2008-09-26 | 2010-04-08 | Casio Computer Co Ltd | 撮像装置、および、プログラム |
US8831090B2 (en) * | 2008-11-18 | 2014-09-09 | Avigilon Corporation | Method, system and apparatus for image capture, analysis and transmission |
US20100124363A1 (en) | 2008-11-20 | 2010-05-20 | Sony Ericsson Mobile Communications Ab | Display privacy system |
KR20120080376A (ko) | 2011-01-07 | 2012-07-17 | 삼성전자주식회사 | 디지털 영상 촬영 장치 및 이의 제어 방법 |
US9781336B2 (en) | 2012-01-30 | 2017-10-03 | Panasonic Intellectual Property Management Co., Ltd. | Optimum camera setting device and optimum camera setting method |
KR101215948B1 (ko) | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 |
US9905010B2 (en) | 2013-06-18 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Image position determination device and image position determination method for reducing an image of a closed eye person |
JP6504364B2 (ja) * | 2015-11-27 | 2019-04-24 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
US20180025649A1 (en) * | 2016-02-08 | 2018-01-25 | Unmanned Innovation Inc. | Unmanned aerial vehicle privacy controls |
US9934578B2 (en) * | 2016-08-15 | 2018-04-03 | Macau University Of Science And Technology | Method for edge detection |
EP3564900B1 (en) | 2018-05-03 | 2020-04-01 | Axis AB | Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image |
JP7204077B2 (ja) | 2018-09-07 | 2023-01-16 | 株式会社アイシン | 脈波検出装置、車両装置、及び脈波検出プログラム |
CN110738142B (zh) | 2019-09-26 | 2022-12-20 | 广州广电卓识智能科技有限公司 | 一种自适应改善人脸图像采集的方法、系统及存储介质 |
-
2020
- 2020-12-22 EP EP20216460.4A patent/EP4020981A1/en active Pending
-
2021
- 2021-11-11 US US17/524,063 patent/US11825241B2/en active Active
- 2021-12-07 CN CN202111483910.6A patent/CN114666492A/zh active Pending
- 2021-12-13 JP JP2021201341A patent/JP2022099276A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4020981A1 (en) | 2022-06-29 |
JP2022099276A (ja) | 2022-07-04 |
US20220201253A1 (en) | 2022-06-23 |
US11825241B2 (en) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI766906B (zh) | 編碼隱私遮罩影像 | |
CN108921823B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
TWI804478B (zh) | 編碼包括隱私遮罩之影像之方法 | |
KR102021441B1 (ko) | 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라 | |
KR100721543B1 (ko) | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 | |
US8284258B1 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
EP3506228A1 (en) | Image capturing apparatus, image processing apparatus, control method, and program | |
CN108717530B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
US9615050B2 (en) | Topology preserving intensity binning on reduced resolution grid of adaptive weighted cells | |
US11825241B2 (en) | Camera and a method therein for facilitating installation of the camera | |
CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
Sarwar et al. | Temporally smooth privacy-protected airborne videos | |
EP4192006A1 (en) | A method for controlling a bitrate of a video stream captured with an image acquisition device | |
US11003944B2 (en) | Topology preserving intensity binning on reduced resolution grid of adaptive weighted cells | |
KR20180017329A (ko) | 촬상 장치 | |
Lasang et al. | CFA-based motion blur removal using long/short exposure pairs | |
EP4009634A1 (en) | A device and a method of encoding images including a privacy filter | |
EP4294010A1 (en) | Camera system and method for encoding two video image frames captured by a respective one of two image sensors | |
US11670074B2 (en) | Method and image-processing device for detecting foreign objects on a transparent protective cover of a video camera | |
US11769222B2 (en) | Image processor and a method therein for providing a target image | |
JP2024010644A (ja) | 画像処理装置、画像処理方法およびプログラム | |
TW202415082A (zh) | 用於確定指示在影像框的串流中捕獲的物件屬於物件類型的機率值之方法及影像處理裝置 | |
Li et al. | A prototype of autonomous intelligent surveillance cameras | |
KR20150137891A (ko) | 사생활 보호를 위한 마스크 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |