CN109716758A - 使用对能见度状态的改变具有鲁棒性的复合滤波法的监控相机和采用其的视频监控系统 - Google Patents
使用对能见度状态的改变具有鲁棒性的复合滤波法的监控相机和采用其的视频监控系统 Download PDFInfo
- Publication number
- CN109716758A CN109716758A CN201780056774.8A CN201780056774A CN109716758A CN 109716758 A CN109716758 A CN 109716758A CN 201780056774 A CN201780056774 A CN 201780056774A CN 109716758 A CN109716758 A CN 109716758A
- Authority
- CN
- China
- Prior art keywords
- filter
- image
- lens unit
- light
- hardware filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008859 change Effects 0.000 title claims abstract description 12
- 150000001875 compounds Chemical class 0.000 title claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 185
- 230000006835 compression Effects 0.000 claims description 39
- 238000007906 compression Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 38
- 230000000903 blocking effect Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 10
- 230000004888 barrier function Effects 0.000 claims 1
- 239000003595 mist Substances 0.000 description 32
- 241000209094 Oryza Species 0.000 description 12
- 235000007164 Oryza sativa Nutrition 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 235000009566 rice Nutrition 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006735 deficit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- -1 Huang Chen Substances 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920002120 photoresistant polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/28—Interference filters
- G02B5/281—Interference filters designed for the infrared light
- G02B5/282—Interference filters designed for the infrared light reflecting for infrared and transparent for visible light, e.g. heat reflectors, laser protection
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Abstract
本发明涉及一种使用对能见度状态的改变具有鲁棒性的复合滤波方法的监控相机和采用其的视频监控系统。本发明包括：硬件滤波器，用于阻挡可见光带和红外光带中的一个，并允许可见光带和红外光带中的另一个穿过硬件滤波器；软件滤波器，用于通过从由图像信号处理器(ISP)生成的彩色图像或黑白图像去除降低透镜部的前侧的能见距离的因子，来对彩色图像或黑白图像进行滤波，其中，硬件滤波器的滤波带以及是否通过软件滤波器执行滤波根据多个滤波等级之中的与透镜部的前侧的当前能见度状态对应的滤波等级来控制。因此，本发明可不管监控相机前的能见度状态如何都提供始终足够清晰以使目标对象能够被辨识的图像。
Description
技术领域
本发明涉及一种拍摄特定区域并监控该区域的监控相机和采用该监控相机的视频监控系统。
背景技术
监控相机在建筑物的地下停车场、高速公路、机场、港口、边境等中被安装和操作，以预防或记录各种事故。然而，自然现象(诸如，雾、黄昏、降雨和降雪)吸收光或使光散射，从而成为降低由监控相机拍摄的图像的质量并干扰监控的因子。如果由监控相机拍摄的图像的质量(特别是，清晰度)降低，则可能无法从由监控相机拍摄的图像辨识出侵入者的脸部、牌照等，因此，监控相机可能无法充当用于预防或记录各种事故的监控相机。雾、黄尘、降雨、降雪等充当降低作为具有正常视力的人可在水平方向上识别任意目标对象的最大距离的能见距离(visibility distance)的能见度障碍(visibility obstruction)，并且用于从由监控相机拍摄的图像去除能见度障碍的研究已在积极进行。
用于从图像去除雾、黄尘、降雨和降雪之中的最频繁发生的雾的各种算法已通过专利和论文被不断公布。例如，名称为“图像校正装置和增加雾去除率的方法”的第10-1426298号韩国专利、名称为“图像处理装置和用于从图像去除雾的方法”的第10-1534646号韩国专利等将使用各种软件方法的雾去除算法应用于从数码相机提供的图像。然而，相关领域的技术具有这样的问题：由于监控相机前方的能见度状态不被考虑，因此，如果监控相机前方的能见度状态被改变，则从数码相机提供的图像的清晰度也被改变，并且可能存在这样的情况：由于软件算法的提高清晰度的局限性，可能无法根据监控相机前方的能见度状态从由监控相机拍摄的图像辨识出目标对象。
发明内容
技术问题
提供一种不管监控相机前方的能见度状态的改变如何都能够始终提供足够清晰以辨识目标对象的图像的监控相机。此外，提供一种应用了这样的监控相机的视频监控系统。此外，本发明不限于上述技术问题，并且从下面的描述可导出其他技术问题。
技术方案
根据本发明的一方面，提供一种使用对能见度状态的改变具有鲁棒性的复合滤波方法的监控相机，包括：透镜单元，包括至少一个透镜；硬件滤波器，根据透镜单元前方的当前能见度状态，阻挡穿过透镜单元的光的红外光带和可见光带中的任意一个，并允许另一个穿过硬件滤波器；图像传感器，将穿过硬件滤波器的光转换为电信号；ISP(图像信号处理器)，根据硬件滤波器射出的光的带从自图像传感器输出的信号生成彩色图像或黑白图像；软件滤波器，通过根据透镜单元前方的当前能见度状态从由ISP生成的彩色图像或黑白图像去除降低透镜单元前方的能见距离的因子，来对由ISP生成的彩色图像或黑白图像进行滤波；压缩单元，根据软件滤波器的滤波是否被执行，对由ISP生成的彩色图像进行压缩或者对由软件滤波器滤波的彩色图像或黑白图像进行压缩；控制单元，根据多个滤波等级之中的与透镜单元前方的当前能见度状态对应的任意一个滤波等级，控制硬件滤波器的滤波带以及软件滤波器的滤波是否被执行，其中，输入到压缩单元的图像根据硬件滤波器的滤波带以及软件滤波器的滤波是否被执行而被确定。
所述多个滤波等级可包括第一滤波等级、第二滤波等级和第三滤波等级，其中，在第一滤波等级下，在穿过透镜单元的光的红外光带由硬件滤波器阻挡的状态下，从ISP输出的彩色图像被直接输入到压缩单元；在第二滤波等级下，在穿过透镜单元的光的红外光带由硬件滤波器阻挡的状态下，从ISP输出的彩色图像由软件滤波器滤波，然后被输入到压缩单元；在第三滤波等级下，在穿过透镜单元的光的可见光带由硬件滤波器阻挡的状态下，从ISP输出的黑白图像由软件滤波器滤波，然后被输入到压缩单元。
在第三滤波等级下，由软件滤波器滤波的黑白图像可通过使用这样的方法被输入到压缩单元：用于去除降低能见距离的因子的预定图像滤波算法被应用于从ISP输出的黑白图像，并且所述多个滤波等级还可包括第四滤波等级，其中，在第四滤波等级下，由软件滤波器滤波的图像通过使用这样的方法被输入到压缩单元：在穿过透镜单元的光的可见光带由硬件滤波器阻挡的状态下，从ISP输出的黑白图像的每个像素的亮度值被反转，并且与预定图像滤波算法相同的图像滤波算法被应用于具有反转的亮度值的黑白图像。
所述监控相机还可包括：能见距离测量单元，基于由ISP生成的彩色图像或黑白图像的像素值，测量透镜单元前方的能见距离，并且控制单元可根据由能见距离测量单元测量的能见距离从第一滤波等级、第二滤波等级和第三滤波等级之中选择所述多个滤波等级中的任意一个，并控制硬件滤波器的滤波带以及软件滤波器的滤波是否被执行。
控制单元可控制硬件滤波器的滤波带，使得在硬件滤波器阻挡穿过透镜单元的光的可见光带并允许穿过透镜单元的光的红外光带穿过硬件滤波器时，在能见距离的每个测量周期，硬件滤波器临时阻挡穿过透镜单元的光的红外光带并允许穿过透镜单元的光的可见光带穿过硬件滤波器，并且能见距离测量单元可在穿过透镜单元的光的红外光带由硬件滤波器阻挡并且穿过透镜单元的光的可见光带由硬件滤波器允许穿过硬件滤波器的状态下，基于在能见距离的每个测量周期由ISP生成的彩色图像的像素值来测量透镜单元前方的能见距离。
能见距离测量单元可通过以下处理来测量透镜单元前方的能见距离：在穿过透镜单元的光的红外光带由硬件滤波器阻挡并且穿过透镜单元的光的可见光带由硬件滤波器允许穿过硬件滤波器的状态下，基于由ISP生成的彩色图像的像素值计算降低透镜单元前方的能见距离的因子的浓度，并将透镜单元前方的能见距离设置为与计算的浓度成反比例，并且能见距离测量单元可通过以下处理来测量透镜单元前方的能见距离：在穿过透镜单元的光的可见光带由硬件滤波器阻挡并且穿过透镜单元的光的红外光带由硬件滤波器允许穿过硬件滤波器的状态下，基于由ISP生成的黑白图像的像素值计算降低透镜单元前方的能见距离的因子的浓度，将加权值加到计算的浓度，并将透镜单元前方的能见距离设置为与加了权重值的浓度成反比例。
形成为平板形状的硬件滤波器可包括红外光阻挡区域和可见光阻挡区域，其中，红外光阻挡区域阻挡入射在硬件滤波器上的光的红外光带并允许入射在硬件滤波器上的光的可见光带穿过，可见光阻挡区域阻挡入射在硬件滤波器上的光的可见光带并允许入射在硬件滤波器上的光的红外光带穿过，并且控制单元可通过控制硬件滤波器的移动来控制硬件滤波器的滤波带，使得红外光阻挡区域和可见光阻挡区域中的任意一个根据由能见距离测量单元测量的能见距离而位于透镜单元之后。
根据本发明的另一方面，提供一种监控系统，包括：至少一个监控相机，包括所述监控相机；服务器，向用户显示通过网络从所述至少一个监控相机发送的彩色图像或黑白图像。服务器可根据监控相机的透镜单元前方的当前能见度状态，通过从自监控相机发送的彩色图像或黑白图像去除降低透镜单元前方的能见距离的因子，来对从监控相机发送的彩色图像或黑白图像进行滤波。
有益效果
由于硬件滤波器根据透镜单元前方的当前能见度状态阻挡穿过透镜单元的光的红外光带和可见光带中的任意一个并允许另一个穿过硬件滤波器，并且由于软件滤波器根据透镜单元前方的当前能见度状态从由ISP(图像信号处理器)生成的彩色图像或黑白图像去除降低透镜单元前方的能见距离的因子，因此基于用于对由ISP生成的彩色图像或黑白图像进行滤波的复合滤波方法根据多个滤波等级之中的与透镜单元前方的当前能见度状态对应的任意一个滤波等级，来控制硬件滤波器的滤波带以及软件滤波器的滤波是否被执行，从而可以不管监控相机前方的能见度状态如何都提供具有足以始终辨识目标对象的清晰度的图像。
具体地讲，通过采用组合了硬件光学滤波和软件图像滤波的滤波方法，多个滤波等级可补充硬件光学滤波的限制和软件图像滤波的限制，结果，可以提供比由硬件光学滤波或软件图像滤波进行滤波的图像更好的清晰度的图像，并且因为图像滤波的负荷被降低，所以图像可由低性能监控相机滤波。此外，由于在本实施例中的四种类型的滤波等级被应用于图像被监控相机压缩之前的原始图像，所以图像的清晰度不会由于图像压缩和解压缩处理中的图像损失而被降低，因此，可提供甚至在能见距离非常短的坏天气中或在夜晚也非常清晰的图像。
附图说明
图1是根据本发明的实施例的监控相机10的配置图。
图2是示出图1中所示的监控相机10的逐步滤波方法的示图。
图3是示出图1中所示的监控相机10的第一滤波等级的滤波状态的示图。
图4是示出图1中所示的监控相机10的第二滤波等级的滤波状态的示图。
图5是示出图1中所示的监控相机10的第三滤波等级和第四滤波等级的滤波状态的示图。
图6是应用了图1中所示的监控相机10的视频监控系统的配置图。
具体实施方式
在下文中，将参照附图详细描述本发明的实施例。将在下面描述的实施例涉及使用对能见度状态的改变具有鲁棒性的复合滤波方法的监控相机和应用了该监控相机的视频监控系统，以不管前方能见度状态如何都提供具有足以始终辨识目标对象的清晰度的图像。在下文中，使用对能见度状态的改变具有鲁棒性的复合滤波方法的监控相机可被简称为“监控相机”。在下文中，如本发明的实施例所属领域通常使用的，“能见度”表示大气的浑浊的程度，“能见距离”表示具有正常视力的人可在水平方向上识别特定目标对象的最大距离，术语“视频”用于表示显示在监控器上的视频、表示视频的二进制数据等。
图1是根据本发明的实施例的监控相机10的配置图。参照图1，根据本实施例的监控相机10包括透镜单元11、硬件滤波器12、图像传感器13、ISP(图像信号处理器)14、软件滤波器15、压缩单元16、通信单元17、能见距离测量单元18和控制单元19。除了上述配置元件之外，根据本实施例的监控相机10还可包括壳体、存储器等，但为了防止本实施例的特征被模糊，对相机的与本实施例的特征无关的一般配置元件的描述将被省略。上述配置元件的部分可由微处理器、存储计算机程序的存储器等的组合来实现。
透镜单元11由至少一个透镜配置。通常，监控相机支持用于在移动的目标对象被捕捉时放大和拍摄目标对象的放大功能以及用于扩大整个拍摄区域的缩小功能，并且可由多个透镜配置，以实现放大/缩小功能。例如，透镜单元11可由圆柱形透镜镜筒、嵌入在圆柱形透镜镜筒中并能够改变焦距的凸透镜、凹透镜和另一凸透镜构成。由于透镜单元11与本实施例的特征无关，因此更详细的描述将被省略，以防止本实施例的特征被模糊。
硬件滤波器12根据透镜单元11前方的当前能见度状态阻挡穿过透镜单元11的光的红外光带或可见光带，并允许另一个穿过硬件滤波器12。在天气晴朗并且能见度好的情况下，硬件滤波器12阻挡穿过透镜单元11的光的红外光带，并允许可见光带穿过硬件滤波器12。在由于夜间或坏天气而引起的能见度状态差的情况下，硬件滤波器12阻挡穿过透镜单元11的光的可见光带，并允许穿过透镜单元11的光的红外光带穿过硬件滤波器12。当红外光带由硬件滤波器12滤除并且可见光带穿过时，从硬件滤波器12射出的可见光带的光被用于生成彩色图像；当可见光带被滤除并且红外光带穿过时，从硬件滤波器12射出的红外光带的光被用于生成黑白图像。
硬件滤波器12可通过堆叠各种类型的电介质而被实现为仅允许特定光带穿过的一种类型的光学滤波器并被称为“电介质滤波器”或“电介质透镜”。硬件滤波器12以矩形板形状形成，并通过红外光阻挡区域和可见光阻挡区域来配置，其中，红外光阻挡区域用于阻挡入射到其上的红外光带并允许入射到其上的可见光带穿过，可见光阻挡区域用于阻挡入射到其上的可见光带并允许红外光带穿过。硬件滤波器12在控制单元19的控制下移动，并且红外光阻挡区域和可见光阻挡区域中的任意一个位于透镜单元11之后。硬件滤波器12可以以除了矩形板形状之外的与透镜的形状相似的两个盘结合的形状或各种形状形成。
如果硬件滤波器12的红外光阻挡区域位于透镜单元11之后，则硬件滤波器12阻挡穿过透镜单元11的光的红外光带并允许穿过透镜单元11的光的可见光带穿过硬件滤波器12。如果硬件滤波器12的可见光阻挡区域位于透镜单元11之后，则硬件滤波器12阻挡穿过透镜单元11的光的可见光带并允许穿过透镜单元11的光的红外光带穿过硬件滤波器12。由于用于硬件滤波器12的移动的驱动系统可由非常简单的结构来实现，因此，以非常低的成本获得且几乎不会由于长期改变而造成性能劣化的结构可选择性地仅允许穿过透镜单元11的光的红外光带和可见光带中的一个。
图像传感器13将穿过硬件滤波器12的光转换为电信号。图像传感器13可被划分为CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器。图像传感器13响应红外光和可见光二者并将光转换为电信号。在彩色图像从自图像传感器13输出的信号生成的情况下，照射到图像传感器的红外光成为降低彩色图像的图像质量的因子，在黑白图像从自图像传感器13输出的信号生成的情况下，照射到图像传感器13的可见光作为降低黑白图像的图像质量的因子。出于这个原因，如上所述，硬件滤波器12根据透镜单元11前方的能见度状态阻挡穿过透镜单元11的光的红外光带和可见光带中的任意一个，并允许另一个穿过硬件滤波器12。
ISP 14从自图像传感器13输出的信号根据从硬件滤波器12射出的光的带来生成彩色图像或黑白图像。在当红外光带被硬件滤波器12滤除并且可见光带被硬件滤波器12允许穿过时可见光带的光从硬件滤波器12被射出的情况下，ISP 14从自图像传感器13输出的信号生成彩色图像；在可见光带被硬件滤波器12滤除并且红外光带被硬件滤波器12允许穿过时红外光带的光从硬件滤波器12被射出的情况下，ISP 14从自图像传感器13输出的信号生成黑白图像。ISP 14基本上对从图像传感器13输出的信号的拜耳模式图像(Bayerpattern image)的每个像素的值进行插值，以生成LVDS(低电压差分信号)格式的彩色图像或黑白图像。ISP 14还可执行图像增强处理(诸如，去除如上所述生成的彩色图像或黑白图像的噪声、校正背光和调整接近自然色的颜色)。
软件滤波器15根据透镜单元11前方的当前能见度状态从由ISP 14生成的彩色图像或黑白图像去除降低透镜单元11前方的可见距离的因子，从而对由ISP 14生成的彩色图像或黑白图像进行滤波。降低透镜单元11前方的能见距离的代表性因子可包括雾、黄尘、降雨、降雪和夜间。分散在空气中的雾粒子导致光的散射以使图像失真。在下文中，降低能见距离的因子可被简称为“能见度障碍因子”。更具体地讲，软件滤波器15通过根据透镜单元11前方的当前能见度状态将用于去除降低透镜单元11前方的能见距离的因子的预定图像滤波算法应用于由ISP 14生成的彩色图像或黑白图像，来对由ISP 14生成的彩色图像或黑白图像进行滤波。
用于去除降低透镜单元11前方的能见距离的因子的预定图像滤波算法的示例可包括：DCP(暗通道优先)算法。DCP算法使用在没有雾的正常区域中RGB(红色、绿色和蓝色)的所有通道的最小值为“0”的统计特性来估计雾的浓度，并根据如上所述估计的雾的浓度从图像去除雾。也就是说，软件滤波器15可通过根据透镜单元11前方的当前能见度状态将DCP算法应用于由ISP 14生成的彩色图像或黑白图像来对彩色图像或黑白图像进行滤波。
为了进一步提高图像增强效果，除了DCP算法之外的其他图像滤波算法(例如，直方图均衡算法)可被额外地应用以进一步提高图像的清晰度。直方图均衡算法是用于将以条形图的形式示出图像的像素的亮度值的频率的直方图均衡化的算法，并且经由通过对图像的亮度分布进行重新分配来使光与暗的对比度最大化，图像的清晰度可被提高。也就是说，软件滤波器15可通过根据透镜单元11前方的当前能见度状态将DCP算法和直方图均衡算法应用于由ISP 14生成的彩色图像或黑白图像，来对由ISP 14生成的彩色图像或黑白图像进行滤波。由于DCP算法和直方图均衡算法对本领域技术人员来说是公知的，因此DCP算法和直方图均衡算法的详细描述将被省略，以防止本实施例的特征被模糊。
相关领域的技术(诸如，名称为“图像校正装置和增加雾去除率的方法”的第10-1426298号韩国专利和名称为“图像处理装置和用于从图像去除雾的方法”的第10-1534646号韩国专利)将各种雾去除算法应用于由数码相机提供的图像。通常，数码相机(诸如，监控相机10)对图像进行压缩并将压缩图像发送到具有图像显示功能的装置(诸如，PC(个人计算机))。该装置恢复由数码相机压缩的图像数据，这导致图像损失。结果，即使好的雾去除算法被应用，也存在对图像增强的限制，并且为了从有损图像获得特定的图像质量，需要引起处理器和存储器上的非常大的负荷的高容量算法。高容量算法不能由与PC相比具有非常低的性能的数码相机流畅地执行。
在本实施例中，通过在图像数据被压缩之前将图像滤波算法(诸如，DCP算法和直方图均衡算法)应用于由ISP 14生成的LVDS格式的无损图像，即使图像滤波算法具有小容量的文件，软件滤波器15也具有非常优异的图像增强效果。执行ISP 14的功能的微处理器还可执行软件滤波器15的功能，但软件滤波器15由于微处理器的性能限制而优选地被实现为单独的DSP(数字信号处理器)。如下面将描述的，软件滤波器15根据多个滤波等级之中的根据透镜单元11前方的当前能见度状态选择的任意一个滤波等级，始终将相同的图像滤波算法应用于由ISP 14生成的LVDS格式的无损图像。因此，软件滤波器15可由具有相对低的性能的DSP来实现。
压缩单元16根据是否针对由ISP 14生成的彩色图像或黑白图像执行软件滤波器15的滤波，来对由ISP 14生成的彩色图像进行压缩，或者对由软件滤波器15滤波的彩色图像或黑白图像进行压缩。在由ISP 14生成的彩色图像没有通过软件滤波器15滤波而直接输入到压缩单元16的情况下，压缩单元16对由ISP 14生成的彩色图像进行压缩。在由ISP 14生成的彩色图像或黑白图像通过软件滤波器15滤波的情况下，压缩单元16对由软件滤波器15滤波的彩色图像或黑白图像进行压缩。压缩单元16可根据各种编解码器(诸如，H.264和HEVC(高效视频编解码器))来对彩色图像或黑白图像进行压缩。
通信单元17将由压缩单元16压缩的图像发送到用户(例如，显示由监控相机10捕捉的图像的装置(诸如，控制中心中的计算机))。在视频显示装置远离监控相机10的情况下，视频显示装置通过网络(诸如，互联网或LAN)与监控相机10通信。通信单元17可根据TCP/IP(传输控制协议/互联网协议)通过网络将由压缩单元16压缩的图像发送到视频显示装置。
能见距离测量单元18基于由ISP 14生成的彩色图像或黑白图像的像素值来测量透镜单元11前方的能见距离。还可以通过使用用于通过分析大气成分自动地计算能见距离的装置来测量透镜单元11前方的能见距离，但是该装置非常昂贵。出于这个原因，通常，按区域对分布在各地的监控相机进行分组，并且在每个区域中安装一个装置。结果，存在无法针对每个监控相机准确地测量能见距离的问题。为了解决该问题，用于基于监控相机的输出图像通过使用软件来测量能见距离的技术已经出现。相关领域的技术的示例可包括：名称为“能见度测量装置和方法”的第10-0715140号韩国专利、名称为“用于使用相机测量道路能见度的系统及其方法”的第10-1032160号韩国专利等。
相关领域的技术基于从数码相机提供的图像来测量能见度。通常，由于数码相机(诸如，监控相机10)压缩并发送图像，因此图像损失在由数码相机压缩的图像数据被恢复的处理期间发生。结果，即使优秀的能见距离测量算法被应用，从损失图像计算的能见距离的准确度也被限制。在本实施例中，由于能见距离测量单元18基于在图像数据被压缩之前由ISP 14生成的LVDS格式的无损图像的像素值来测量透镜单元11前方的能见距离，因此在与相关领域的技术中的算法相同的算法被使用的前提下，透镜单元11前方的能见距离可比在相关领域的技术中更准确地被测量。优选的是，能见距离测量单元18被实现为像软件滤波器15一样的单独的DSP。
图2是示出图1中所示的监控相机10的逐步滤波方法的示图。参照图2，透镜单元11前方的能见度状态被划分为晴朗状态、薄雾状态、浓雾状态和夜间状态。根据本实施例的监控相机10根据透镜单元11前方的当前能见度状态使用与如上所述划分的四种类型的能见度状态对应的四种类型的滤波等级来逐步地对图像进行滤波，从而，即使透镜单元11前方的能见度状态被改变，也可以始终提供具有足以辨识目标对象的清晰度的图像。具体地讲，本实施例中的四种类型的滤波等级采用组合了硬件光滤波和软件图像滤波的滤波方法，从而，硬件光滤波的限制和软件图像滤波的限制可被补充，结果，可以提供具有比通过硬件光滤波和软件图像滤波中的任意一种方法滤波的图像更好的清晰度的图像。
包括上述专利文档的相关领域的技术中的大部分具有非常复杂的算法，以增强去除图像中的能见度障碍因子的效果，从而具有无法应用于具有低性能的处理器的装置(诸如，监控相机10)的限制。本实施例采用与能够在根据监控相机10的能见度状态逐步地使图像滤波负荷最小化的同时使能见度障碍因子的去除效果最大化的硬件光滤波和软件图像滤波的最优组合对应的四种类型的滤波等级的复合滤波方法，从而，图像滤波的负荷可被降低并且图像可由低性能监控相机来滤波。例如，在能见度障碍因子(诸如，雾)的浓度高的情况下，图像滤波的负荷增大，此时，图像滤波的负荷随着黑白图像被生成而减小。此外，由于将本实施例中的四种类型的滤波等级应用于监控相机10上的图像被压缩之前原始图像，因此图像的清晰度不会由于图像压缩和解压缩处理中的图像损失而降低，因此，即使在能见距离非常短的坏天气条件或夜间条件下，也可以提供具有极好的清晰度的图像。
控制单元19根据多个滤波等级之中的与透镜单元11前方的当前能见度状态对应的任意一个滤波等级，控制硬件滤波器12的滤波带以及软件滤波器15的滤波是否被执行，以根据硬件滤波器12的滤波带以及软件滤波器15的滤波是否被执行来彼此不同地确定输入到压缩单元16的图像。如上所述，多个滤波等级被划分为与四种类型的能见度状态对应的第一滤波等级、第二滤波等级、第三滤波等级和第四滤波等级，并且硬件滤波器12的滤波带以及软件滤波器15的滤波中的至少一个针对每个滤波等级而被不同地选择，使得具有足以始终辨识目标对象的清晰度的图像被提供，而不会受到透镜单元11前方的能见度状态的改变的极大影响。也就是说，控制单元19在第一滤波等级、第二滤波等级、第三滤波等级和第四滤波等级之中根据由能见距离测量单元18测量的能见距离选择任意一个滤波等级，并根据选择的滤波等级控制硬件滤波器12的滤波带以及软件滤波器15的滤波是否被执行。
更具体地讲，控制单元19控制硬件单元12的移动，使得硬件滤波器12的红外光阻挡区域和可见光阻挡区域中的任意一个根据由能见距离测量单元18测量的能见距离而位于透镜单元11之后，从而控制硬件滤波器12的滤波带。此外，控制单元19根据由能见距离测量单元18测量的能见距离来控制开关151的切换，使得ISP 14的图像输出端连接到压缩单元16的图像输入端和软件滤波器15的图像输入端中的任何一个被控制，从而控制软件滤波器16的滤波是否被执行。ISP 14的图像输出端连接到开关151的三个触点之中的输入信号的触点，输出信号的两个触点连接到压缩单元16的图像输入端和软件滤波器15的图像输入端。开关151可由多个开关晶体管的组合来实现，并且可被嵌入在软件滤波器15中或安装在ISP 14与软件滤波器15之间。
图3是示出图1中所示的监控相机10的第一滤波等级的滤波状态的示图。在本实施例中，“晴朗状态”表示当天气晴朗并且几乎没有由雾、黄尘、降雨、降雪等引起的图像失真时可从由监控相机10捕捉的图像容易地辨识出目标对象(诸如，侵入者)的状态，以及透镜单元11前方的能见距离是“a”米或更多的状态。例如，“晴朗状态”可以是透镜单元11前方的能见距离是1000m或更多的状态。在“晴朗状态”下，根据多个滤波等级之中的第一滤波等级来执行硬件光滤波和软件图像滤波。在“晴朗状态”下，在没有任何滤波处理的情况下具有足以辨识目标对象的清晰度的图像可从穿过透镜单元11的光的可见光带的光被生成。此外，由于从ISP 14输出的图像具有很少能见度障碍因子(诸如，雾)，因此在从ISP 14输出的图像由软件滤波器15滤波的情况下，图像可能失真。
在本实施例中，第一滤波等级表示这样的滤波方法：在穿过透镜单元11的光的红外光带被硬件滤波器12阻挡并且穿过透镜单元11的光的可见光带被硬件滤波器12允许穿过硬件滤波器12的状态下，从ISP 14输出的彩色图像直接被输入到压缩单元16，使得清晰的图像可通过监控相机10从穿过透镜单元11的光被生成。也就是说，如果由能见距离测量单元18测量的能见距离属于大于或等于与“晴朗状态”对应的“a”米的区间，则控制单元19在多个滤波等级之中选择应用于“晴朗状态”的第一滤波等级，根据第一滤波等级控制硬件滤波器12的移动使得硬件滤波器12的红外光阻挡区域位于透镜单元11之后，并控制开关151的切换使得ISP 14的图像输出端连接到压缩单元16的图像输入端。因此，硬件滤波器12在第一滤波等级下阻挡穿过透镜单元11的光的红外光带，并允许穿过透镜单元11的光的可见光带穿过硬件滤波器12，并且软件滤波器15按原样输出从ISP 14输出的彩色图像而不进行滤波。
图4是示出图1中所示的监控相机10的第二滤波等级的滤波状态的示图。在本实施例中，“薄雾状态”表示能见距离由于形成在透镜部11前方的薄的雾而降低的状态，能见距离由于除了雾之外的犹如形成了薄的雾的黄尘、降雨、降雪等而降低的状态，以及透镜单元11前方的能见距离小于“a”米并且大于或等于“b”米的状态。例如，“薄雾状态”可以是透镜部11前方的能见距离小于1000米并且大于或等于300米的状态。在“薄雾状态”下，根据多个滤波等级之中的第二滤波等级执行硬件光滤波和软件图像滤波。在“薄雾状态”下，在图像从穿过透镜单元11的光的可见光带的光被生成而没有任何滤波处理的情况下，包括低浓度的能见度障碍因子(诸如，薄的雾)的图像被生成。在这种情况下，如果图像滤波算法(诸如，DCP算法)被应用于从自透镜单元11射出的可见光带的光生成的彩色图像，则具有足以辨识目标对象的清晰度的图像可被生成。
本实施例中的第二滤波等级表示这样的滤波方法：在穿过透镜单元11的光的红外光带被硬件滤波器12阻挡并且穿过透镜单元11的光的可见光带被硬件滤波器12允许穿过硬件滤波器12的状态下，从ISP 14输出的彩色图像在由软件滤波器15滤波之后被输入到压缩单元16，使得清晰的图像可通过监控相机10从穿过透镜单元11的光被生成。也就是说，如果由能见距离测量单元18测量的能见距离属于与“薄雾状态”对应的小于“a”米且大于或等于“b”米的区间，则控制单元19在多个滤波等级之中选择应用于“薄雾状态”的第二滤波等级，根据第二滤波等级控制硬件滤波器12的移动使得硬件滤波器12的红外光阻挡区域位于透镜单元11之后，并控制开关151的切换使得ISP 14的图像输出端连接到软件滤波器15的图像输入端。因此，硬件滤波器12在第二滤波等级下阻挡穿过透镜单元11的光的红外光带，并允许穿过透镜单元11的光的可见光带穿过硬件滤波器12，并且软件滤波器15对从ISP 14输出的彩色图像进行滤波，并将滤波的彩色图像输出到压缩单元16。
图5是示出图1中所示的监控相机10的第三滤波等级和第四滤波等级的滤波状态的示图。在本实施例中，“浓雾状态”表示能见距离由于形成在透镜部11前方的厚的雾而降低的状态，能见距离由于除了雾之外的犹如形成了厚的雾的黄尘、降雨、降雪等而降低的状态，以及透镜单元11前方的能见距离小于“b”米并且大于或等于“c”米的状态。例如，“厚雾状态”可以是透镜部11前方的能见距离小于300米并且大于或等于10米的状态。在“厚雾状态”下，根据多个滤波等级之中的第三滤波等级来执行硬件光滤波和软件图像滤波。在“厚雾状态”下，在图像从穿过透镜单元11的光的可见光带的光被生成而没有任何滤波处理的情况下，包括高浓度的能见度障碍因子(诸如，厚的雾)的图像被生成。如果能见度障碍因子的浓度高，则即使从ISP 14输出的彩色图像由软件滤波器15滤波，具有足以辨识目标对象的清晰度的图像也由于由能见度障碍因子引起的大的图像失真而不能被生成。
在本实施例中，“夜间状态”表示能见距离由于当太阳在夜晚降落时的透镜部11前方的暗而降低的状态，能见距离被降低到由于坏天气而导致在白天期间阳光消失的程度的状态，以及透镜单元11前方的能见距离小于“c”米的状态。例如，“夜间状态”可以是透镜部11前方的能见距离小于10米的状态。在“夜间状态”下，根据多个滤波等级之中的第四滤波等级来执行硬件光滤波和软件图像滤波。在“夜间状态”下，在图像从穿过透镜单元11的光的可见光带的光被生成而没有任何滤波处理的情况下，不能在图像中的对象之间进行区分的暗的图像被生成。在暗的图像的情况下，即使从ISP 14输出的彩色图像由软件滤波器15滤波，具有足以辨识目标对象的清晰度的图像也因为图像中的任何对象的边缘不清晰而不能被生成。
由于目标对象根据目标对象的温度射出各种波长的红外光，并且与可见光相比，红外光由于能见度障碍因子(诸如，雾)而不易散射，因此从对象射出的红外光大部分被允许穿过能见度障碍因子(诸如，雾)并到达透镜单元11。出于这个原因，在“浓雾状态”和“夜间状态”下，从自透镜单元11射出的红外光带的光生成的黑白图像的图像质量好于从自透镜单元11射出的可见光带的光生成的彩色图像的图像质量。此外，在图像滤波算法(诸如，DCP算法)被应用于从自透镜单元11射出的红外光带的光生成的黑白图像的情况下，图像质量可被进一步提高。因此，在本实施例中，第三滤波等级和第四滤波等级主要表示这样的滤波方法：在穿过透镜单元11的光的可见光带被硬件滤波器12阻挡并且红外光带被硬件滤波器12允许穿过硬件滤波器12的状态下，从ISP 14输出的黑白图像由软件滤波器15滤波，然后被输入到压缩单元16。
在“浓雾状态”中，如果图像滤波算法(诸如，DCP算法)被应用于从ISP 14输出的黑白图像，则具有足以辨识目标对象的清晰度的图像可被生成，但是在“夜间状态”下，即使图像滤波算法被应用于从ISP 14输出的黑白图像，黑白图像本身太暗，因此具有足以辨识目标对象的清晰度的图像也不会被生成。因此，在本实施例中，为了增加在“夜间状态”下从ISP 14输出的黑白图像的亮度，从ISP 14输出的黑白图像的每个像素的亮度值被反转。软件滤波器15从最大亮度值减去从ISP 14输出的黑白图像的每个像素的亮度值，并将相减结果设置为从ISP 14输出的黑白图像的每个像素的亮度值，从而反转从ISP 14输出的黑白图像的每个像素的亮度值。在各个像素的亮度值的整个范围被表示为0至255的等级的情况下，最大亮度值可以是255。
本实施例中的第三滤波等级表示这样的滤波方法：在穿过透镜单元11的光的可见光带被硬件滤波器12阻挡并且穿过透镜单元11的光的红外光带被硬件滤波器12允许穿过硬件滤波器12的状态下，图像滤波算法(诸如，DCP算法)被应用于从ISP 14输出的黑白图像，使得清晰的图像可在“浓雾状态”下通过监控相机10从穿过透镜单元11的光被生成，并且，由软件滤波器15滤波的黑白图像被输入到压缩单元16。也就是说，如果由能见距离测量单元18测量的能见距离属于与“浓雾状态”对应的小于“b”米并且大于或等于“c”米的区间，则控制单元19在多个滤波等级之中选择应用于“浓雾状态”的第三滤波等级，根据第三滤波等级控制硬件滤波器12的移动使得硬件滤波器12的可见光阻挡区域位于透镜单元11之后，控制开关151的切换使得ISP14的图像输出端连接到软件滤波器15的图像输入端，并控制软件滤波器15的操作使得图像滤波算法在从ISP 14输出的黑白图像未被反转的状态下被应用。
本实施例中的第四滤波等级表示这样的滤波方法：在穿过透镜单元11的光的可见光带被硬件滤波器12阻挡并且穿过透镜单元11的光的红外光带被硬件滤波器12允许穿过硬件滤波器12的状态下，图像滤波算法(诸如，DCP算法)被应用于具有从ISP 14输出的黑白图像的每个像素的反转的亮度值的黑白图像，使得清晰的图像可在“夜间状态”下通过监控相机10从穿过透镜单元11的光被生成，并且，由软件滤波器15滤波的黑白图像被输入到压缩单元16。在针对图像的所有像素的图像滤波算法的应用被完成之后，黑白图像的每个像素的亮度值可被再次反转，并被输入到压缩单元16。也就是说，如果由能见距离测量单元18测量的能见距离属于与“夜间状态”对应的小于“c”米的区间，则控制单元19在多个滤波等级之中选择应用于“夜间状态”的第四滤波等级，根据第四滤波等级控制硬件滤波器12的移动使得硬件滤波器12的可见光阻挡区域位于透镜单元11之后，控制开关151的切换使得ISP14的图像输出端连接到软件滤波器15的图像输入端，并控制软件滤波器15的操作使得图像滤波算法在从ISP 14输出的黑白图像被反转的状态下被应用。
在如上所述的控制单元19的控制下，在第三滤波等级下，硬件滤波器12阻挡穿过透镜单元11的光的可见光带，并允许穿过透镜单元11的光的红外光带穿过硬件滤波器12，并且软件滤波器15通过使用图像滤波算法被应用于从ISP 14输出的黑白图像的方法来对从ISP 14输出的黑白图像进行滤波，并将滤波的图像输出到压缩单元16。在第四滤波等级下，硬件滤波器12阻挡穿过透镜单元11的光的可见光带，并允许穿过透镜单元11的光的红外光带穿过硬件滤波器12，并且软件滤波器15将从ISP 14输出的黑白图像的每个像素的亮度值反转，通过使用图像滤波算法被应用于具有反转的亮度值的黑白图像的方法来对从ISP 14输出的黑白图像进行滤波，并将滤波的图像输出到压缩单元16。如上所述，由于软件滤波器15不针对每个滤波等级使用不同的滤波算法，并在第二滤波等级、第三滤波等级和第四滤波等级下始终使用相同的图像滤波算法，因此具有比一般计算机低的性能的监控相机10可流畅地执行图像滤波。
如上所述，在第一滤波等级和第二滤波等级下，由于红外光带被硬件滤波器12滤除并且可见光带被硬件滤波器12允许穿过硬件滤波器12，因此彩色图像通过ISP 14生成。在第三滤波等级和第四滤波等级下，由于可见光带被硬件滤波器滤除并且红外光带被硬件滤波器允许穿过硬件滤波器，因此黑白图像通过ISP 14生成。由于图像的质量(特别是，清晰度)在将彩色图像转换为黑白图像的处理中被极大地提高，因此，如果能见距离基于从ISP 14输出的黑白图像的像素值被测量，则存在这样的问题：与能见距离基于彩色图像的像素值被测量的情况相比，即使透镜单元11前方的能见度状态相同，能见距离也被极大地增加。该问题可通过如下的两个方法(诸如，硬件方法和软件方法)解决。
首先，硬件方法如下。在能见距离测量单元18的能见距离的每个测量周期，当硬件滤波器12阻挡穿过透镜单元11的光的可见光带并允许穿过透镜单元11的光的红外光带穿过硬件滤波器12时，控制单元19可控制硬件滤波器12的滤波带，使得硬件滤波器12临时阻挡穿过透镜单元11的光的红外光带并允许穿过透镜单元11的光的可见光带穿过硬件滤波器12。更具体地讲，在能见距离测量单元18的能见距离的每个测量周期(例如，10秒)，当硬件滤波器12的可见光阻挡区域位于透镜单元11之后时，控制单元19控制硬件滤波器12的移动，使得硬件滤波器12的红外光阻挡区域位于透镜单元11之后，然后硬件滤波器12的可见光阻挡区域位于透镜单元11之后一段时间(例如，1ms)。
能见距离测量单元18可在穿过透镜单元11的光的红外光带由硬件滤波器12阻挡并且穿过透镜单元11的光的可见光带由硬件滤波器12允许穿过硬件滤波器12的状态下，基于在能见距离的每个测量周期由ISP 14生成的彩色图像的像素值来测量透镜单元11前方的能见距离。根据该方法，由于彩色图像在能见距离测量单元18的能见距离的每个测量周期始终由ISP 14生成，因此存在能见距离始终被准确地测量而不管透镜单元11前方的能见度状态如何的优点。然而，由于在能见距离由能见距离测量单元18测量的区间中，黑白图像不能被生成，因此存在在先前的黑白图像在该区间期间被保持的情况下可能发生图像停止现象的缺点。此外，由于硬件滤波器12频繁地移动，因此存在与硬件滤波器12的移动有关的驱动系统的寿命可被缩短的缺点。
接下来，将描述软件方法如下。能见距离测量单元18可通过在透镜单元11的光的红外光带被硬件滤波器12阻挡并且穿过透镜单元11的光的可见光带被硬件滤波器12允许通过硬件滤波器12的状态下基于由ISP 14生成的彩色图像的像素值计算降低透镜单元11前方的能见距离的因子的浓度并将透镜单元11前方的能见距离设置为与计算的浓度成反比例，来测量透镜单元11前方的能见距离。例如，能见距离测量单元18可从透镜单元11前方的能见距离的参考值减去降低透镜单元11前方的能见距离的因子的浓度，并将相减结果设置为透镜单元前方的能见距离。如果透镜单元11前方的能见距离的参考值太小，则即使透镜单元11前方的能见度好，也可能测量到能见度差，并且如果透镜单元11前方的能见距离的参考值太大，则即使透镜单元11前方的能见度差，也可能测量到能见度好。透镜单元11前方的能见距离的参考值是与透镜单元11的性能等相比可被改变的值，并且优选地被设置为透镜单元11前方的能见距离可通过一些测试而被准确地确定的值。
能见距离测量单元18可通过在透镜单元11的可见光带被硬件滤波器12阻挡并且穿过透镜单元11的光的红外光带被硬件滤波器12允许穿过硬件滤波器12的状态下基于由ISP 14生成的黑白图像的像素值计算降低透镜单元11前方的能见距离的因子的浓度并在加权值被加到计算的浓度之后将透镜单元11前方的能见距离设置为与通过加了加权值而获得的浓度成反比例，来测量透镜单元11前方的能见距离。这里，加权值表示在透镜单元11前方的能见度状态相同的情况下由ISP 14生成的彩色图像与黑白图像之间的清晰度的差。例如，能见距离测量单元18可从透镜单元11前方的能见距离的参考值，减去加权值与降低透镜单元11前方的能见距离的因子的浓度之和，并将相减结果设置为透镜单元(11)前方的能见距离。
更具体地讲，能见距离测量单元18可从由ISP 14生成的彩色图像或黑白图像的像素值的亮度和表示由ISP 14生成的彩色图像或黑白图像中的对象的边缘的像素的数量中的至少一个的改变，来计算降低透镜单元11前方的能见距离的因子的浓度。如果天气晴朗并且能见度好，则与能见度差的情况相比，图像的像素值的亮度被突然地改变，图像中的对象的边缘变得清晰，从而表示对象的边缘的像素的数量增加。例如，如果天气晴朗并且能见度好，则天空与地面之间的亮度的差明显，表示天空与地面之间的边界的像素的数量增加。与此相反，如果由于夜间或坏天气而导致能见度状态差，则与能见度状态好的情况相比，图像的像素值的亮度逐渐改变，并且图像中的对象的边缘模糊，从而表示对象的边缘的像素的数量减少。例如，当透镜单元11前方的雾密度增加时，图像的像素值之间的亮度的差减小，并且表示对象的边缘的像素的数量也减小。
图6是应用了图1中所示的监控相机10的视频监控系统的配置图。参照图6，根据本实施例的视频监控系统由包括图1中所示的监控相机10的多个监控相机10、多个集线器20和服务器30配置。多个监控相机10遍及监控区域被零星地安装，并根据上述实施例经由网络将由监控相机10捕捉的图像发送到服务器30。如果监控区域非常窄，则可仅安装一个监控相机10。多个集线器20通过将多个监控相机10连接到网络并将服务器30连接到网络来允许多个监控相机10与服务器30之间的网络通信。
服务器30安装在控制中心中，通过网络接收从多个监控相机10发送的彩色图像或黑白图像，并向用户显示接收的彩色图像或黑白图像。服务器30可通过根据监控相机10的透镜单元11前方的当前能见度状态从自监控相机10发送的彩色图像或黑白图像去除降低透镜单元11前方的能见距离的因子，来对从监控相机10发送的彩色图像或黑白图像进行滤波。由于服务器30的硬件性能远优于监控相机10的硬件性能，因此高容量图像滤波算法可由服务器30流畅地执行。例如，即使在夜晚或在坏天气条件下由监控相机10捕捉的黑白图像根据第四滤波等级被滤波，黑白图像的清晰度也可能不够。服务器30可通过将优于由监控相机10执行的图像滤波算法的高性能图像滤波算法应用于从监控相机10发送的黑白图像，来向用户提供具有足以辨识目标对象的清晰度的黑白图像。
上面参照优选的实施例描述了本发明。本领域技术人员将理解，在不脱离本发明的必要特性的情况下，本发明可以以改变的形式来实现。因此，公开的实施例应被认为是描述性意义而不是限制性意义。本发明的范围由权利要求限定，而不是由前面的描述限定，并且本发明的等同物的范围内的所有差异将被解释为包括在本发明中。
Claims (9)
1.一种使用对能见度状态的改变具有鲁棒性的复合滤波方法的监控相机，包括：
透镜单元，包括至少一个透镜；
硬件滤波器，根据透镜单元前方的当前能见度状态，阻挡穿过透镜单元的光的红外光带和可见光带中的任意一个，并允许另一个穿过硬件滤波器；
图像传感器，将穿过硬件滤波器的光转换为电信号；
ISP(图像信号处理器)，根据硬件滤波器射出的光的带从自图像传感器输出的信号生成彩色图像或黑白图像；
软件滤波器，通过根据透镜单元前方的当前能见度状态从由ISP生成的彩色图像或黑白图像去除降低透镜单元前方的能见距离的因子，来对由ISP生成的彩色图像或黑白图像进行滤波；
压缩单元，根据软件滤波器的滤波是否被执行，对由ISP生成的彩色图像进行压缩或者对由软件滤波器滤波的彩色图像或黑白图像进行压缩；以及
控制单元，根据多个滤波等级之中的与透镜单元前方的当前能见度状态对应的任意一个滤波等级，控制硬件滤波器的滤波带以及软件滤波器的滤波是否被执行，其中，输入到压缩单元的图像根据硬件滤波器的滤波带以及软件滤波器的滤波是否被执行而被确定。
2.如权利要求1所述的监控相机，
其中，所述多个滤波等级包括第一滤波等级、第二滤波等级和第三滤波等级，其中，在第一滤波等级下，在穿过透镜单元的光的红外光带由硬件滤波器阻挡的状态下，从ISP输出的彩色图像被直接输入到压缩单元；在第二滤波等级下，在穿过透镜单元的光的红外光带由硬件滤波器阻挡的状态下，从ISP输出的彩色图像由软件滤波器滤波，然后被输入到压缩单元；在第三滤波等级下，在穿过透镜单元的光的可见光带由硬件滤波器阻挡的状态下，从ISP输出的黑白图像由软件滤波器滤波，然后被输入到压缩单元。
3.如权利要求2所述的监控相机，
其中，在第三滤波等级下，由软件滤波器滤波的黑白图像通过使用这样的方法被输入到压缩单元：用于去除降低能见距离的因子的预定图像滤波算法被应用于从ISP输出的黑白图像，以及
其中，所述多个滤波等级还包括第四滤波等级，其中，在第四滤波等级下，由软件滤波器滤波的图像通过使用这样的方法被输入到压缩单元：在穿过透镜单元的光的可见光带由硬件滤波器阻挡的状态下，从ISP输出的黑白图像的每个像素的亮度值被反转，并且与预定图像滤波算法相同的图像滤波算法被应用于具有反转的亮度值的黑白图像。
4.如权利要求2所述的监控相机，还包括：
能见距离测量单元，基于由ISP生成的彩色图像或黑白图像的像素值，测量透镜单元前方的能见距离，
其中，控制单元根据由能见距离测量单元测量的能见距离从第一滤波等级、第二滤波等级和第三滤波等级之中选择所述多个滤波等级中的任意一个，并控制硬件滤波器的滤波带以及软件滤波器的滤波是否被执行。
5.如权利要求4所述的监控相机，
其中，控制单元控制硬件滤波器的滤波带，使得在硬件滤波器阻挡穿过透镜单元的光的可见光带并允许穿过透镜单元的光的红外光带穿过硬件滤波器时，在能见距离的每个测量周期，硬件滤波器临时阻挡穿过透镜单元的光的红外光带并允许穿过透镜单元的光的可见光带穿过硬件滤波器，以及
其中，能见距离测量单元在穿过透镜单元的光的红外光带由硬件滤波器阻挡并且穿过透镜单元的光的可见光带由硬件滤波器允许穿过硬件滤波器的状态下，基于在能见距离的每个测量周期由ISP生成的彩色图像的像素值来测量透镜单元前方的能见距离。
6.如权利要求4所述的监控相机，
其中，能见距离测量单元通过以下处理来测量透镜单元前方的能见距离：在穿过透镜单元的光的红外光带由硬件滤波器阻挡并且穿过透镜单元的光的可见光带由硬件滤波器允许穿过硬件滤波器的状态下，基于由ISP生成的彩色图像的像素值计算降低透镜单元前方的能见距离的因子的浓度，并将透镜单元前方的能见距离设置为与计算的浓度成反比例，以及
其中，能见距离测量单元通过以下处理来测量透镜单元前方的能见距离：在穿过透镜单元的光的可见光带由硬件滤波器阻挡并且穿过透镜单元的光的红外光带由硬件滤波器允许穿过硬件滤波器的状态下，基于由ISP生成的黑白图像的像素值计算降低透镜单元前方的能见距离的因子的浓度，将加权值加到计算的浓度，并将透镜单元前方的能见距离设置为与加了权重值的浓度成反比例。
7.如权利要求1所述的监控相机，
其中，形成为平板形状的硬件滤波器包括红外光阻挡区域和可见光阻挡区域，其中，红外光阻挡区域阻挡入射在硬件滤波器上的光的红外光带并允许入射在硬件滤波器上的光的可见光带穿过硬件滤波器，可见光阻挡区域阻挡入射在硬件滤波器上的光的可见光带并允许入射在硬件滤波器上的光的红外光带穿过硬件滤波器，以及
其中，控制单元通过控制硬件滤波器的移动来控制硬件滤波器的滤波带，使得红外光阻挡区域和可见光阻挡区域中的任意一个根据由能见距离测量单元测量的能见距离而位于透镜单元之后。
8.一种监控系统，包括：
至少一个监控相机，包括如权利要求1所述的监控相机；以及
服务器，向用户显示通过网络从所述至少一个监控相机发送的彩色图像或黑白图像。
9.如权利要求8所述的监控系统，
其中，服务器根据权利要求1所述的监控相机的透镜单元前方的当前能见度状态，通过从自监控相机发送的彩色图像或黑白图像去除降低透镜单元前方的能见距离的因子，来对从监控相机发送的彩色图像或黑白图像进行滤波。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2016-0120673 | 2016-09-21 | ||
| KR1020160120673A KR101713684B1 (ko) | 2016-09-21 | 2016-09-21 | 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템 |
| PCT/KR2017/004736 WO2018056545A2 (ko) | 2016-09-21 | 2017-05-08 | 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109716758A true CN109716758A (zh) | 2019-05-03 |
| CN109716758B CN109716758B (zh) | 2021-03-05 |
Family
ID=58403323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780056774.8A Active CN109716758B (zh) | 2016-09-21 | 2017-05-08 | 使用复合滤波法的监控相机和采用其的视频监控系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10819941B2 (zh) |
| EP (1) | EP3481060B1 (zh) |
| JP (1) | JP6694556B2 (zh) |
| KR (1) | KR101713684B1 (zh) |
| CN (1) | CN109716758B (zh) |
| WO (1) | WO2018056545A2 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112462464A (zh) * | 2020-11-25 | 2021-03-09 | 上海思量量子科技有限公司 | 可级联滤波系统及其光子滤波方法 |
| CN112730345A (zh) * | 2019-10-28 | 2021-04-30 | 浙江宇视科技有限公司 | 一种能见度检测方法、装置、设备和介质 |
| WO2021258880A1 (zh) * | 2020-06-22 | 2021-12-30 | 华为技术有限公司 | 滤光结构、镜头、传感器、摄像机、电子设备和控制方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107872608B (zh) * | 2016-09-26 | 2021-01-12 | 华为技术有限公司 | 图像采集设备及图像处理方法 |
| KR101953701B1 (ko) * | 2017-10-20 | 2019-03-04 | 국방과학연구소 | 다중채널 영상 처리 장치 및 방법 |
| JP7148878B2 (ja) * | 2017-12-18 | 2022-10-06 | ｉ－ＰＲＯ株式会社 | 動画像符号化システム及び動画像符号化方法 |
| US11509832B2 (en) | 2020-12-01 | 2022-11-22 | Western Digital Technologies, Inc. | Low light surveillance system with dual video streams |
| CN113435405B (zh) * | 2021-07-15 | 2023-09-08 | 山东交通学院 | 基于视频图像的高速公路夜间团雾监测方法及系统 |
| CN114339067A (zh) * | 2021-11-15 | 2022-04-12 | 华能国际电力股份有限公司上海石洞口第二电厂 | 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012054904A (ja) * | 2010-08-04 | 2012-03-15 | Hitachi Kokusai Electric Inc | 撮像装置 |
| KR101279374B1 (ko) * | 2012-11-27 | 2013-07-04 | 주식회사 카이넥스엠 | 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법 |
| CN103278479A (zh) * | 2013-04-23 | 2013-09-04 | 中国科学院安徽光学精密机械研究所 | 大气辐射传输修正系统及修正方法 |
| US20150173591A1 (en) * | 2012-09-05 | 2015-06-25 | Qingdao Novelbeam Technology Co., Ltd. | Device of anti-fogging endoscope system and its method |
| KR101649256B1 (ko) * | 2015-12-09 | 2016-08-18 | (주)한일에스티엠 | 악천후감지 및 악천후감지에 따른 영상개선이 가능한 영상감시시스템 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982423A (en) * | 1996-08-13 | 1999-11-09 | Sony Corporation | Video photographing apparatus having infrared rays AV transmitting function |
| JP2003219254A (ja) * | 2002-01-25 | 2003-07-31 | Matsushita Electric Ind Co Ltd | 撮影モード切換え機能付きカメラ |
| KR100478232B1 (ko) * | 2002-05-14 | 2005-03-23 | (주)씨프로 | 카메라 모듈용 필터 체인지 어셈블리 |
| KR100573697B1 (ko) * | 2003-12-29 | 2006-04-26 | 삼성전자주식회사 | 광학기기의 광학필터 절환 장치 |
| JP4612861B2 (ja) * | 2005-04-27 | 2011-01-12 | キヤノン株式会社 | 撮像装置 |
| KR100715140B1 (ko) | 2006-05-23 | 2007-05-08 | (주)비알유 | 시정 측정 장치 및 그 방법 |
| US20070291157A1 (en) * | 2006-06-15 | 2007-12-20 | Beijing Ding | Camera with automatic daytime/nighttime feature |
| KR101032160B1 (ko) | 2009-10-06 | 2011-05-02 | 충주대학교 산학협력단 | 카메라를 이용한 도로 시정 측정 시스템 및 그 방법 |
| US8408821B2 (en) * | 2010-10-12 | 2013-04-02 | Omnivision Technologies, Inc. | Visible and infrared dual mode imaging system |
| CN202026402U (zh) * | 2010-12-28 | 2011-11-02 | 特视瞰光电科技（深圳）有限公司 | 一种带自动对焦和图像修正的监控摄像机 |
| KR20130117411A (ko) * | 2012-04-17 | 2013-10-28 | 한국전자통신연구원 | 사용자 인식 장치 및 그 방법 |
| KR101426298B1 (ko) | 2014-01-24 | 2014-08-13 | (주)인펙비전 | 안개 제거율을 높인 영상보정장치 및 방법 |
| KR101534646B1 (ko) | 2014-01-29 | 2015-07-22 | 아이브스테크놀러지(주) | 영상에서 안개를 제거하기 위한 영상 처리 장치 및 방법 |
| KR101442160B1 (ko) * | 2014-05-26 | 2014-09-22 | 주식회사 에스카 | 악천후시 식별력 있는 영상 수집 시스템 |
| JP2016099821A (ja) * | 2014-11-21 | 2016-05-30 | 住友電気工業株式会社 | 監視装置、監視システム及び監視方法 |
| KR20160088466A (ko) * | 2015-01-15 | 2016-07-26 | 주식회사 에코테마파크 | 선명한 상의 촬영이 가능한 감시 카메라 |
| JP6545007B2 (ja) * | 2015-06-11 | 2019-07-17 | キヤノン株式会社 | 撮像装置 |
| JP6650691B2 (ja) * | 2015-07-02 | 2020-02-19 | キヤノン株式会社 | 撮像装置 |
-
2016
- 2016-09-21 KR KR1020160120673A patent/KR101713684B1/ko active IP Right Grant
-
2017
- 2017-05-08 WO PCT/KR2017/004736 patent/WO2018056545A2/ko unknown
- 2017-05-08 JP JP2019532899A patent/JP6694556B2/ja active Active
- 2017-05-08 EP EP17853259.4A patent/EP3481060B1/en active Active
- 2017-05-08 CN CN201780056774.8A patent/CN109716758B/zh active Active
- 2017-05-08 US US16/326,915 patent/US10819941B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012054904A (ja) * | 2010-08-04 | 2012-03-15 | Hitachi Kokusai Electric Inc | 撮像装置 |
| US20150173591A1 (en) * | 2012-09-05 | 2015-06-25 | Qingdao Novelbeam Technology Co., Ltd. | Device of anti-fogging endoscope system and its method |
| KR101279374B1 (ko) * | 2012-11-27 | 2013-07-04 | 주식회사 카이넥스엠 | 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법 |
| CN103278479A (zh) * | 2013-04-23 | 2013-09-04 | 中国科学院安徽光学精密机械研究所 | 大气辐射传输修正系统及修正方法 |
| KR101649256B1 (ko) * | 2015-12-09 | 2016-08-18 | (주)한일에스티엠 | 악천후감지 및 악천후감지에 따른 영상개선이 가능한 영상감시시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112730345A (zh) * | 2019-10-28 | 2021-04-30 | 浙江宇视科技有限公司 | 一种能见度检测方法、装置、设备和介质 |
| WO2021258880A1 (zh) * | 2020-06-22 | 2021-12-30 | 华为技术有限公司 | 滤光结构、镜头、传感器、摄像机、电子设备和控制方法 |
| CN112462464A (zh) * | 2020-11-25 | 2021-03-09 | 上海思量量子科技有限公司 | 可级联滤波系统及其光子滤波方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109716758B (zh) | 2021-03-05 |
| WO2018056545A3 (ko) | 2018-08-09 |
| EP3481060A4 (en) | 2020-01-22 |
| US20190215479A1 (en) | 2019-07-11 |
| EP3481060B1 (en) | 2022-04-06 |
| KR101713684B1 (ko) | 2017-03-08 |
| JP2019528658A (ja) | 2019-10-10 |
| EP3481060A2 (en) | 2019-05-08 |
| JP6694556B2 (ja) | 2020-05-13 |
| WO2018056545A2 (ko) | 2018-03-29 |
| US10819941B2 (en) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109716758A (zh) | 使用对能见度状态的改变具有鲁棒性的复合滤波法的监控相机和采用其的视频监控系统 | |
| US9615030B2 (en) | Luminance source selection in a multi-lens camera | |
| CN107438170B (zh) | 一种图像透雾方法及实现图像透雾的图像采集设备 | |
| US8355074B2 (en) | Exposing pixel groups in producing digital images | |
| US8724928B2 (en) | Using captured high and low resolution images | |
| EP2420051B1 (en) | Producing full-color image with reduced motion blur | |
| CN108712608B (zh) | 终端设备拍摄方法和装置 | |
| CN106101549B (zh) | 昼夜自动切换方法、装置及系统 | |
| CN101502098A (zh) | 从场景到成像传感器的动态范围压缩的可调中灰过滤系统 | |
| MX2013003446A (es) | Sistema y metodo para procesar datos de imagen utilizando un procesador de señal de imagen con logica de procesamiento de etapa final. | |
| CN110326291A (zh) | 具有对能见度状态的改变具有鲁棒性的基于复合滤波的自动聚焦功能的监控相机和采用其的视频监控系统 | |
| WO2020238970A1 (zh) | 图像降噪装置及图像降噪方法 | |
| WO2004062275A1 (ja) | 画像処理装置および画像処理プログラム | |
| JP4717294B2 (ja) | 画像処理方法、撮像装置およびプログラム | |
| CN104954645B (zh) | 摄像元件、摄像设备和图像处理方法 | |
| CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
| CN113225470A (zh) | 滤光器阵列、图像处理方法、图像传感器、成像装置及终端 | |
| JP4523629B2 (ja) | 撮像装置 | |
| JP2022148303A (ja) | 監視カメラ、画像処理方法、およびプログラム | |
| CN109644258A (zh) | 用于变焦摄影的多相机系统 | |
| WO2020082392A1 (zh) | 图像传感器及成像方法 | |
| Pham et al. | Analysis of the smartphone camera exposure effect on laser extraction | |
| WO2017021417A1 (en) | Method for operating a camera system with a plenoptic camera, camera system and motor vehicle | |
| CN117652150A (zh) | 一种相机预览的方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |