CN111316135B - 根据正在发生大气降水的环境的数字图像实时计算大气降水速率的系统 - Google Patents
根据正在发生大气降水的环境的数字图像实时计算大气降水速率的系统 Download PDFInfo
- Publication number
- CN111316135B CN111316135B CN201880052141.4A CN201880052141A CN111316135B CN 111316135 B CN111316135 B CN 111316135B CN 201880052141 A CN201880052141 A CN 201880052141A CN 111316135 B CN111316135 B CN 111316135B
- Authority
- CN
- China
- Prior art keywords
- digital image
- atmospheric precipitation
- brightness
- captured
- captured digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000005442 atmospheric precipitation Substances 0.000 title claims abstract description 180
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000013178 mathematical model Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 6
- 235000019557 luminance Nutrition 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000001556 precipitation Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 230000004298 light response Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/14—Rainfall or precipitation gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Multimedia (AREA)
- Hydrology & Water Resources (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种大气降水速率计算系统，其包括：电子数字图像/视频捕获装置，用于捕获正在发生大气降水的环境的数字图像/视频；‑电子数字图像处理装置，其连接到所述电子数字图像/视频捕获装置，以从其接收并处理所捕获的数字图像/视频，以计算在所接收的数字图像/视频中描绘的环境中发生的大气降水的大气降水速率；以及电子显示设备，其连接到所述电子数字图像处理装置以从其接收并显示所计算的大气降水速率。所述电子数字图像处理装置被配置为基于所捕获数字图像中的大气降水亮度和数学模型来计算在所捕获数字图像中所示出的环境中发生的大气降水的大气降水速率，所述数学模型将所捕获数字图像中的所述大气降水亮度表示为在所捕获数字图像中示出的环境中发生的大气降水的大气降水速率的函数。
Description
相关申请的交叉引用
本申请要求2017年8月11日提交的申请号为102017000093530的意大利专利申请的优先权，其内容通过引用被包含在本文中。
技术领域
本发明涉及基于正在发生大气降水并由任何数字图像捕获装置捕获的环境的数字图像的任何大气降水(不管是雨、雪还是冰雹)的大气降水速率的实时的、基于图像处理的计算。
背景技术
众所周知，许多领域和应用，例如民防、精确农业、运输安全或户外运动，需要关于大气降水(特别是雨水)的空间和时间分布的实时信息。然而，传统的基于雨量计的大气降水测量网络常常过于分散而无法收集高度可靠的大气降水数据。
为此，已经开发了图像处理技术，其允许简单、快速且经济地收集大量大气降水数据，具有与传统雨量计基本相同的局部精度。
这些技术之一例如在US 9,436,997 B2中公开，其中将在下雨的环境中捕获的数字图像与参考图像进行比较，该参考图像是基于捕获的数字图像的光条件在跨越不同光条件的一组无雨参考图像内选择的，然后基于捕获的具有雨的图像与所选择的无雨参考图像之间的差异来计算降雨率。
发明内容
申请人已经体验到，上述现有技术依赖于参考图像的丰富数据库的可用性，捕获的图像必须与所述参考图像进行比较，并且所述参考图像的存储因此需要相当多的存储资源的可用性。
因此，本发明的目的是提供一种技术，该技术允许可靠地计算大气降水速率，而不需要参考图像的丰富数据库的可用性，并且因此不需要相当多的存储资源的可用性。
根据本发明，提供了一种实时大气降水速率计算系统，如所附权利要求所述。
附图说明
图1示出了实时大气降水速率计算系统的框图。
图2和图3示出了由图1中的系统执行以实时计算大气降水速率的操作的流程图。
具体实施方式
现在将参照附图详细描述本发明，以使本领域技术人员能够制造和使用本发明。对所描述的实施方式的各种修改对于本领域技术人员来说将是显而易见的，并且所描述的一般原理可应用于其它实施方式和应用，同时保持在如所附权利要求书中所限定的本发明的保护范围内。因此，本发明不应当被认为限于所描述和示出的实施方式，而是应当根据本文中描述和要求保护的特征而被给予更宽的保护范围。
此外，出于纯粹描述性的原因并且在严格必要的情况下，将参考雨形式的大气降水，而不会失去一般性。
图1示出了根据本发明的大气降水速率计算系统1的框图，该大气降水速率计算系统1基本上包括：
■电子数字图像/视频捕获装置10，其用于捕获正在发生其速率将被计算的大气降水的环境的数字图像/视频；以及
■电子数字图像处理装置20，其连接到所述电子数字图像/视频捕获装置10，并且被编程为存储和执行大气降水速率计算软件，所述大气降水速率计算软件被设计为接收和处理由所述电子数字图像/视频捕获装置10捕获的数字图像/视频，以计算在捕获的数字图像/视频中示出的环境中的所述大气降水速率，如下文详细描述的。
方便地，所述大气降水速率计算系统1还包括：
■电子显示器30，其连接到电子数字图像处理装置20以显示计算的大气降水速率。
大气降水速率计算系统1可以具有集中架构或分布式架构或甚至混合架构，在集中架构中，大气降水速率计算系统1的组件被集成到诸如智能电话的单个装置中，在分布式架构中，大气降水速率计算系统1的组件被远程地相互布置，在混合架构中，大气降水速率计算系统1的部分组件被集成到单个装置或各种物理上分离的装置中，而其他单独的组件被远程地布置并适当地与大气降水速率计算系统1连接。
电子数字图像/视频捕获装置10包括一个或多个数字图像传感器，其可以是传统的、市售的、独立的数码相机的形式，或者集成到诸如智能电话的其他电子装置中，并且例如是基于电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的类型，也称为APS(有源像素传感器)。
根据此外还取决于电子数字图像/视频捕获装置10的类型的标准来捕获数字图像，并且将不详细描述这些标准，因为它们不是本发明的一部分。例如，如果电子数字图像/视频捕获装置10包括并非专门用于大气降水监测的数字图像传感器，诸如用于家用或工业监测，或者用于环境监测，特别是用于交通或其他公共城市或城市外区域的环境监测的数字图像传感器等，则电子数字图像/视频捕获装置10可以例如周期性地进行操作以例如以可校准的捕获速率，例如每秒或每隔几秒来捕获单独的、时间上间隔开的数字图像，或者在时间上如此接近以形成短或长数字视频的数字图像的短或长序列。如果电子数字图像/视频捕获装置10包括智能电话的数字图像传感器，则可以响应于特定的手动用户命令来操作电子数字图像/视频捕获装置10。
类似地，根据类型和相互布置，电子数字图像捕获装置10和电子数字图像处理装置20之间的连接可以是不同的形式，并且具体地可以是有线的、无线的或混合的，即两种先前类型的组合。
例如，当电子数字视频/图像捕获装置10和电子数字图像处理装置20足够接近以允许这种类型的连接时，例如当它们是诸如智能电话之类的单个电子装置的一部分时，或者当电子数字视频/图像捕获装置10是家用监控摄像头、电子数字图像处理装置20是存在于被监测环境中的家用计算机时，连接可以是有线的。
相反，当电子数字视频/图像捕获装置10和电子数字图像处理装置20相对分开以防止完全有线连接时，例如当电子数字视频/图像捕获装置10是公共区域环境监控摄像头，而电子数字图像处理装置20是远程服务器时，连接可以是完全或部分地无线的。在这些情况下，取决于要覆盖的距离，并且基于市场上可获得的并且最适合于该情况的技术，无线连接可以包括一个或多个短程或长程无线通信系统。
作为非限制性示例，短程无线通信系统可以基于蓝牙技术，方便地基于根据规范4.0的蓝牙技术，并且也称为蓝牙低能量、蓝牙LE或蓝牙智能，基于Wi-Fi技术，即能够连接到无线局域网(WLAN)，或者甚至基于网状无线网络技术。
另一方面，远程无线通信系统可以基于移动电话(GSM、LTE等)，或者可以是能够连接到分组交换计算机网络并且包括用于连接到因特网的路由器的类型。
类似地，电子数字图像处理装置20可以是各种形式，这取决于电子数字图像/视频捕获装置10的类型。例如，当电子数字图像处理装置20与电子数字图像/视频捕获装置10分开设置时，或者当电子数字图像处理装置20是还包括电子数字图像/视频捕获装置10的智能电话的微处理器时，电子数字图像处理装置20可以是智能电话的微处理器，该智能电话还包括电子数字图像/视频捕获装置10、远程服务器(例如网络服务器，例如云网络服务器)，但是智能电话的微处理器的可用于处理数字图像的计算资源不足。
远程服务器还可以被配置为与不同的电子处理装置20通信以接收、存储和处理由不同的电子处理装置20计算的大气降水速率，并且实现被设计为计算和产生经处理的数据的数据分析引擎，诸如由不同的电子处理装置20计算的大气降水速率的报告和图形和统计处理，其可经由固定(PC)和移动用户终端(智能电话或平板电脑)在线和实时访问。
根据电子数字图像/视频捕获装置10和电子数字图像处理装置20的类型以及连接的类型，电子显示器30也可以是不同的形式。例如，电子显示器30可以是还包括电子数字视频/图像捕获装置10和/或电子数字图像处理装置20的智能电话的显示器，或者是与远程服务器通信的任何其他固定(PC)和移动用户终端(智能电话或平板电脑)的显示器，其中计算或简单地存储大气降水速率。
现在来计算由电子数字视频/图像捕获装置10捕获的数字图像/视频中示出的环境中的大气降水速率，申请人已经开发了一种软件，该软件实现了一种方法，该方法允许在从与所捕获的图像进行比较的参考图像的数据库的计算的独立性方面、和所使用的数字视频/图像捕获装置10的类型方面、以及执行软件所需的计算和存储资源的量方面实现显著的计算改进。
简单地说，由申请人开发的大气降水速率计算软件被设计成根据环境的所捕获数字图像和表示所捕获的数字图像中的大气降水亮度与所捕获数字图像中所示的环境中正在发生的大气降水速率的相关性的数学模型来计算在环境中正在发生的大气降水速率。
特别地，由申请人开发的大气降水速率计算软件被设计成通过实施以下操作来计算大气降水速率：
-获取将计算其速率的正在发生的大气降水的环境的所捕获数字图像(框100)，
-计算所捕获数字图像中的大气降水亮度(框200)，以及
-基于所捕获数字图像中的大气降水亮度并基于上述数学模型来计算所捕获数字图像中所示的环境中的大气降水速率(框300)。
关于所捕获数字图像中的大气降水亮度的计算，其可以被计算为所捕获数字图像中的且对应于大气降水的像素的亮度之和，在下雨的情况下，像素对应于雨滴。
为此，因此初步有必要将所捕获数字图像中的大气降水(即大气降水元素，例如雨滴)与所捕获数字图像中示出的环境的其余部分区分开，以便确定所捕获数字图像中的哪些像素对应于大气降水而哪些像素不对应于大气降水，上述确定考虑到了在所捕获数字图像中，大气降水以在大致垂直方向上伸长的迹线(traces)或条纹(stripes)的形式发生，根据大气降水的方向，上述迹线或条纹相对于垂直方向或多或少地倾斜。
为此，大气降水速率计算软件被设计成首先计算与捕获的图像等效但没有大气降水迹线的图像(框110)。这可以通过将所捕获数字图像与在紧接在其中必须去除大气降水迹线的图像被捕获的时刻之前或之后的时刻捕获的其他图像进行比较来实现。由于大气降水迹线在两个不同时刻处于相同位置的可能性非常低，所以相同的大气降水迹线仅存在于一个图像中并且可以容易地检测和去除。另一种方法是应用专门设计用于从所捕获的数字图像中去除大气降水迹线的图像滤波器，从而获得没有大气降水痕迹的图像：为此目的，已知移动平均滤波器和中值滤波器，但是也可以使用其它类型的图像滤波器。
然后，大气降水速率计算软件被设计成仅通过从所捕获的数字图像中减去不含大气降水迹线的图像来计算包含大气降水迹线的图像(框120)，然后基于仅包含大气降水迹线的图像来计算所捕获数字图像中的大气降水亮度，并且具体地通过添加大气降水迹线的亮度贡献，必要时，进行下面详细描述的校正(框130)。
关于所捕获数字图像中的大气降水亮度对所捕获数字图像中所示的环境中的大气降水速率的相关性的数学模型，申请人已经开发了一种数学模型，其中所捕获数字图像中的大气降水亮度是以下各项的函数：
-所捕获的数字图像中显示的环境中的大气降水速率，其是数学模型中的未知量并且其值将被计算，
-所捕获数字图像的平均亮度，其可以被计算为所捕获数字图像中的所有像素的亮度之和与图像中的像素数量之比，以及
-图像捕获参数，其包括：
○数字图像/视频捕获装置10的拍摄参数，如已知的，其仅作为非限制性示例包括拍摄或曝光时间、膜孔径度、数字图像传感器的光敏感度(ISO，增益)、白平衡等中的一个或多个，以及
○校准参数，其指示用以捕获所捕获数字图像的数字图像/视频捕获装置10的特性，所述校准参数可仅作为非限制性示例包括数字图像/视频捕获装置10对环境亮度的亮度响应和所捕获数字图像中所示的环境的反射性中的一个或多个，所述亮度响应可通过以已知拍摄参数拍摄一系列镜头并测量环境亮度来进行校准，所述反射性可以通过使环境的至少一个数字图像可用并且同时使环境亮度的测量值可用来进行校准。
数字图像/视频捕获装置10对环境亮度的亮度响应是指示所捕获数字图像中的大气降水亮度对所捕获数字图像中示出的环境亮度以及对图像捕获参数(即，数字图像/视频捕获装置10的特性和拍摄参数)的相关性的量。
具体地，为了便于描述，参考雨形式的大气降水，所捕获数字图像中的大气降水亮度可以方便地计算如下：
i)估计具有给定直径的雨滴的亮度：亮度是所捕获数字图像中的雨滴迹线的大小的函数，该函数进而可以根据下面的公式(1)，基于雨滴直径和所捕获数字图像拍摄参数、基于所捕获数字图像中示出的环境亮度、基于数字图像/视频捕获装置10对环境亮度的亮度响应、以及在所捕获数字图像中示出的并且没有雨滴迹线的环境背景的亮度来计算：
其中，ΔID是雨滴的亮度，雨滴的直径DP以像素表示并且其迹线在数字图像中为LP像素长，τ为雨滴的持久时间，具有在背景中没有雨滴迹线的亮度ID，并且该雨滴具有亮度IB，cP是以像素表示的雨滴模糊圆的大小，S是截止强度阈值，te是所捕获数字图像的曝光时间。ID也可以由下面的公式(2)表示：
其中，k是数字图像/视频捕获装置10对环境亮度的亮度响应，IM是所捕获数字图像中示出的环境亮度，te是所捕获数字图像的曝光时间，ISO是捕获数字图像的胶片的速度，FN是捕获数字图像的聚焦比；
ii)根据以下公式(3)，对所捕获数字图像中示出的环境中的给定位置中的具有给定直径的雨滴的亮度进行加权的概率，作为所捕获数字图像中所示的环境中的雨滴的位置和所捕获数字图像中的大气降水速率的函数：
其中，z+是在加框体积中可以检测到雨滴的最大距离，z_是最小距离，N0直径分布比例系数等于8·10-6，
是大气降水速率int的平均直径函数，其因此与大气降水亮度相关；以及
iii)对由所捕获数字图像中示出的环境的几何空间和由雨滴可观察直径限定的积分域中的雨滴亮度进行积分，从而允许根据以下公式(4)来计算所捕获数字图像中的大气降水亮度：
其中，除上述数量外，还出现以下项：
其表示所捕获数字图像中的可探索体积，并且其中，WP和HP分别是以像素表示的数字图像高度和宽度，h是捕获装置的传感器的高度，并且f是捕获装置的焦距。
方便地，积分域极限是在所捕获数字图像中示出的环境中的每个点处可观察到的最小亮度和对于每个雨滴可观察直径以及在所捕获数字图像中示出的环境中的每个点处可观察到的雨滴的最小直径的函数，并且根据公式(5)和(6)来计算：
其中，除上述量以外，z0是焦距，A是数字图像捕获装置的开口度。
公式(4)定义了表示所捕获数字图像中的大气降水亮度Lumtot与上述量(包括所捕获数字图像中示出的环境中的大气降水速率int)的相关性的数学模型，如上所述，该大气降水速率是要计算的未知量。因此，通过知道数学模型并知道所捕获数字图像中的大气降水亮度(在框200中计算)，可以计算由所捕获数字图像中示出的环境中的大气降水速率表示的未知量，该未知量能够生成所捕获数字图像中的所计算的大气降水亮度(框300)，从而在数值上反转上述公式。
大气降水速率计算软件可以被丰富到考虑一个或多个下述因素的程度。
这些因素中的一个与以下事实有关：所捕获数字图像中的雨滴亮度也受所捕获数字图像中示出的环境的反射率特性的影响，由此可以通过将所捕获数字图像划分为色调类别来提高所捕获数字图像中的大气降水亮度的计算精度，这包括在所捕获数字图像中识别每个具有均匀色调的不同区域，即，在每个色调类别中，区域中的像素亮度属于相关联的亮度范围，然后计算每个色调类别的大气降水亮度，并且最后将各种色调类别的大气降水亮度适当加权相加。
这些因素中的另一个与如下事实有关，即如前所述，所捕获数字图像中的雨滴亮度是所捕获数字图像中示出的环境亮度的函数，该环境亮度又与所捕获数字图像的平均亮度有关。因此，通过在不同环境亮度条件下测量图像捕获期间的环境亮度，并且使用已知且恒定的捕获参数，还可以定义将所捕获数字图像的平均亮度与捕获该图像的环境亮度相关联的规则，由此，大气降水速率计算软件还允许基于所捕获数字图像的平均亮度和所捕获数字图像中示出的环境的反射性来简单地计算所捕获数字图像中示出的环境亮度。
另外，可通过先验地知道数字图像/视频捕获装置10对环境亮度的亮度响应来简化此方法，因此避免在不同环境亮度条件下捕获图像。
可替换地，可以避免对所捕获数字图像中的环境亮度的测量，并且数字图像/视频捕获装置10对环境亮度的亮度响应可以通过利用不同的拍摄参数捕获环境的不同图像并且分析拍摄参数的变化如何影响所捕获数字图像的平均亮度来间接获得。
可替换地，所捕获数字图像中的环境亮度可以间接地从所捕获数字图像的拍摄参数中导出，前提是使用由数字图像捕获装置10自动选择的拍摄参数来捕获所述环境亮度以优化图像曝光，并且前提是先前已经定义了由数字图像捕获装置10选择的拍摄参数与环境亮度之间的关系。
另外，通过从所捕获数字图像区域中排除可能在大气降水迹线的检测中引起干扰的区域，可以改进仅具有大气降水迹线的图像的计算。这可以例如通过将滤波器(掩模)应用于所捕获数字图像来实现，该滤波器(掩模)可以在没有大气降水的时段中定义，以便从大气降水亮度的计算中排除所捕获数字图像中的那些太亮的区域(在这些太亮的区域中，大气降水迹线几乎不可检测)或者具有可能与大气降水迹线混淆的快速移动物体的区域。在这种情况下，亮度贡献将不是来自整个所捕获数字图像，而是仅来自其一部分，因此将与未遮掩的所捕获数字图像百分比成比例地重新计算基于仅包含大气降水迹线的图像计算的大气降水亮度。
另外，可以改进所捕获数字图像中的大气降水亮度的计算，以便减少数字噪声的贡献，上述计算可以被建模为作用于所捕获数字图像的每个像素的随机过程，并且可以基于数字图像/视频捕获装置10的特性且基于拍摄参数来预防性地校准上述随机过程的特性。
该校准可以通过利用已知的图像捕获参数捕获一系列没有大气降水的图像来执行，其中对所捕获的图像中的大气降水亮度变化的唯一贡献精确地归因于数字噪声。然后，可以用适当的分布来分析和建模这种亮度贡献，其参数可以根据图像捕获参数和环境亮度来估计。
在大气降水的计算期间，可以评估由数字噪声产生的亮度贡献，其特性从所捕获数字图像中已知，并且将其从所捕获数字图像中的大气降水亮度中去除，由此基于大气降水亮度来计算所捕获数字图像中的大气降水速率，从而进行校正以去除数字噪声贡献。
可以通过向所捕获数字图像应用滤波器来进一步减少数字噪声贡献，以便从大气降水亮度的计算中排除所捕获数字图像中对应于大气降水并且具有低于亮度阈值的亮度的那些像素。在计算级，亮度阈值改变积分域边界，因为更少的大气降水迹线变得可观察。
最后，可以校正所捕获数字图像中的大气降水亮度，以消除由于数字图像/视频捕获装置10的不完美聚焦引起的任何影响。
Claims (12)
1.一种大气降水速率计算系统(1)，其包括：
-电子数字图像/视频捕获装置(10)，其用于捕获正在发生大气降水的环境的数字图像/视频；以及
-电子数字图像处理装置(20)，其与所述电子数字图像/视频捕获装置(10)通信，以从其接收并处理所捕获的数字图像/视频，以计算在所接收的数字图像/视频中描绘的环境中发生的大气降水的大气降水速率；
其特征在于，所述电子数字图像处理装置(20)被配置为，通过以下步骤来计算在所捕获数字图像中所描述的环境中发生的大气降水的大气降水速率：
-在所捕获数字图像中识别大气降水像素，该大气降水像素表示降水元素；
-基于大气降水在识别的大气降水像素处产生的亮度变化相对于对应的背景亮度，来计算所捕获的数字图像中的大气降水亮度；以及
-基于所捕获的大气降水亮度和所存储的数学模型来计算在所捕获数字图像中的所述大气降水速率，所述数学模型将所捕获数字图像中的所述大气降水亮度表示为在所捕获数字图像中描述的环境中发生的大气降水的大气降水速率的函数。
2.根据权利要求1所述的大气降水速率计算系统(1)，其中，所述电子数字图像处理装置(20)进一步被配置为通过以下步骤来计算所述所捕获数字图像中的所述大气降水亮度：
-从所述所捕获数字图像中识别并且去除(110)大气降水迹线，从而计算没有任何大气降水迹线的数字图像，
-从所述所捕获数字图像中减去(120)没有任何大气降水迹线的所述数字图像，从而计算仅具有大气降水迹线的数字图像，以及
-将所述数字图像中对应于所述大气降水迹线的像素的亮度仅与大气降水迹线相加(130)。
3.根据权利要求2所述的大气降水速率计算系统(1)，其中，所述电子数字图像处理装置(20)进一步被配置为，通过从所捕获数字图像中滤除可能在大气降水迹线的识别中造成干扰的那些区域来计算没有任何大气降水迹线的数字图像，所述区域例如是难以识别所述大气降水迹线的高亮度区域，或者是可能与大气降水迹线混淆的描绘了快速移动物体的区域。
4.根据权利要求1所述的大气降水速率计算系统(1)，其中，所述电子数字图像处理装置(20)进一步被配置为通过以下方式来计算所捕获数字图像中的大气降水亮度：
-将所述所捕获数字图像分割成色调类别，其中，将所述所捕获数字图像分割成色调类别包括在所述所捕获数字图像中识别每个具有均匀色调的区域，
-识别大气降水像素，该大气降水像素表示不同色调类别中的每一个中的降水元素；
-基于大气降水在识别的大气降水像素处产生的亮度变化相对于对应的背景亮度，计算所述不同色调类别中的每一个中的大气降水亮度，以及
-对针对所述不同色调类别中的每一个计算的所述大气降水亮度进行加权求和。
5.根据权利要求1所述的大气降水速率计算系统(1)，其中，所述数学模型将所捕获数字图像中的大气降水亮度表示为以下各项的函数：
-所述所捕获数字图像中描绘的环境中的大气降水速率，
-所述所捕获数字图像的平均亮度，以及
-图像捕获参数，其包括：
ο所述电子数字图像/视频捕获装置(10)的拍摄参数，以及
ο校准参数，其指示已经用其捕获所述数字图像的所述电子数字图像/视频捕获装置(10)的特征，并且至少包括所述电子数字图像/视频捕获装置(10)对环境光的光响应。
6.根据权利要求5所述的大气降水速率计算系统(1)，其中，所述电子数字图像/视频捕获装置(10)对环境光的光响应表示：捕获数字图像中的所述大气降水亮度对所述捕获数字图像中描绘的环境的亮度和对所述图像捕获参数的相关性；
其中，所捕获数字图像中的所述大气降水亮度通过以下方式来计算：
-估计具有给定大小的大气降水元素的亮度，该亮度是所述大气降水元素的迹线在所述所捕获数字图像中的大小的函数，该迹线大小继而可基于所述大气降水元素的所述大小和所述所捕获数字图像的所述拍摄参数、基于所述所捕获数字图像中描绘的环境的亮度、基于所述电子数字图像/视频捕获装置(10)对环境亮度的亮度响应、并且基于所述数字图像中描绘的没有任何大气降水迹线的环境的背景亮度来计算；
-对所述所捕获数字图像中描绘的环境中的给定位置中具有给定大小的大气降水元素的亮度进行概率加权，作为所述大气降水元素在所述所捕获数字图像中描绘的环境中的位置和所述所捕获数字图像中的所述大气降水速率的函数，以及
-对由所述所捕获数字图像中描绘的环境的几何空间和所述大气降水元素的可观察尺寸限定的积分域中的大气降水元素的亮度进行积分，从而计算所述所捕获数字图像中的所述大气降水亮度。
7.根据权利要求5所述的大气降水速率计算系统(1)，其中，所述数学模型进一步将所捕获数字图像中描绘的环境的亮度表示为所述所捕获数字图像的平均亮度的函数。
8.根据权利要求5所述的大气降水速率计算系统(1)，其中，所述数学模型进一步将所捕获数字图像中描绘的环境的亮度表示为由所述电子数字图像/视频捕获装置(10)自动选择的拍摄参数的函数。
9.根据权利要求1所述的大气降水速率计算系统(1)，其中，所述电子数字图像处理装置(20)进一步被配置为，通过减少数字噪声贡献和由于所述电子数字图像/视频捕获装置(10)略微失焦引起的可能影响来改进所捕获数字图像中的所述大气降水亮度的计算。
10.根据权利要求9所述的大气降水速率计算系统(1)，其中，所述电子数字图像处理装置(20)进一步被配置为通过向所述所捕获数字图像应用滤波器来进一步减少所述数字噪声贡献，所述滤波器被设计为从所述大气降水亮度的计算中滤除所述所捕获数字图像中表示所述大气降水并且具有低于阈值亮度的亮度的所述大气降水像素。
11.根据权利要求1所述的大气降水速率计算系统(1)，所述大气降水速率计算系统(1)还包括电子显示设备(30)，所述电子显示设备(30)与所述电子数字图像处理装置(20)通信以从其接收并显示所计算的大气降水速率。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现以下步骤：
捕获正在发生大气降水的环境的数字图像/视频；
接收并处理所捕获的数字图像/视频，以计算在所接收的数字图像/视频中描绘的环境中发生的大气降水的大气降水速率；以及
基于所捕获数字图像中的大气降水亮度和数学模型来计算在所捕获数字图像中所描述的环境中发生的大气降水的大气降水速率，所述数学模型根据在所捕获数字图像中描述的环境中发生的大气降水的大气降水速率来表示所捕获数字图像中的所述大气降水亮度。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102017000093530A IT201700093530A1 (it) | 2017-08-11 | 2017-08-11 | Stima in tempo reale dell'intensita' di una precipitazione atmosferica a partire da un'immagine digitale di un ambiente in cui la precipitazione atmosferica ha luogo |
| IT102017000093530 | 2017-08-11 | ||
| PCT/IB2018/056032 WO2019030714A1 (en) | 2017-08-11 | 2018-08-10 | REAL-TIME CALCULATION OF AN ATMOSPHERIC PRECIPITATION RATE FROM A DIGITAL IMAGE OF AN ENVIRONMENT WHERE ATMOSPHERIC PRECIPITATION OCCURS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111316135A CN111316135A (zh) | 2020-06-19 |
| CN111316135B true CN111316135B (zh) | 2021-12-03 |
Family
ID=60991174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880052141.4A Active CN111316135B (zh) | 2017-08-11 | 2018-08-10 | 根据正在发生大气降水的环境的数字图像实时计算大气降水速率的系统 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US11112535B2 (zh) |
| EP (1) | EP3665512B1 (zh) |
| KR (1) | KR102630836B1 (zh) |
| CN (1) | CN111316135B (zh) |
| AU (1) | AU2018315336B2 (zh) |
| CA (1) | CA3071957A1 (zh) |
| DK (1) | DK3665512T3 (zh) |
| IL (1) | IL272547B2 (zh) |
| IT (1) | IT201700093530A1 (zh) |
| SG (1) | SG11202000814XA (zh) |
| WO (1) | WO2019030714A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100547481B1 (ko) * | 2001-11-27 | 2006-01-31 | 주식회사 포스코 | 표면처리강판 절단부의 내식성 향상을 위한 다이의 구조 |
| US11727303B2 (en) * | 2019-08-22 | 2023-08-15 | Kyndryl, Inc. | Precipitation detection using mobile devices |
| CN116049726B (zh) * | 2023-04-03 | 2023-07-14 | 中国科学技术大学 | 夏季青藏高原降水类型分类方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7783183B2 (en) * | 2005-03-16 | 2010-08-24 | The Trustees Of Columbia University In The City Of New York | Systems and methods for reducing rain effects in images |
| CN103033857A (zh) * | 2012-12-25 | 2013-04-10 | 中国人民解放军理工大学 | 基于平行光大视场的降水降雪自动观测方法 |
| CN103439756A (zh) * | 2013-07-31 | 2013-12-11 | 中国人民解放军理工大学 | 一种基于粒子成像测速的自然降水粒子微物理特征测量方法 |
| CN105607452A (zh) * | 2016-01-04 | 2016-05-25 | 中国海洋大学 | 测量悬浮颗粒沉速的双数字全息成像装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69836344T2 (de) * | 1997-10-30 | 2007-05-31 | Donnelly Corp., Holland | Regensensor mit nebelerkennung |
| CN102707340B (zh) * | 2012-06-06 | 2014-11-26 | 南京大学 | 一种基于视频图像的降雨量测量方法 |
| US9582730B2 (en) * | 2014-11-24 | 2017-02-28 | International Business Machines Corporation | Estimating rainfall precipitation amounts by applying computer vision in cameras |
| DE102015110826B4 (de) * | 2015-07-06 | 2023-03-30 | Dimeto Gmbh | Vorrichtung und Verfahren zur Messung von Niederschlag |
| WO2017223475A2 (en) * | 2016-06-24 | 2017-12-28 | Climacell Inc. | Real-time precipitation forecasting system |
-
2017
- 2017-08-11 IT IT102017000093530A patent/IT201700093530A1/it unknown
-
2018
- 2018-08-10 IL IL272547A patent/IL272547B2/en unknown
- 2018-08-10 US US16/609,990 patent/US11112535B2/en active Active
- 2018-08-10 CA CA3071957A patent/CA3071957A1/en active Pending
- 2018-08-10 DK DK18766044.4T patent/DK3665512T3/da active
- 2018-08-10 WO PCT/IB2018/056032 patent/WO2019030714A1/en unknown
- 2018-08-10 CN CN201880052141.4A patent/CN111316135B/zh active Active
- 2018-08-10 SG SG11202000814XA patent/SG11202000814XA/en unknown
- 2018-08-10 AU AU2018315336A patent/AU2018315336B2/en active Active
- 2018-08-10 EP EP18766044.4A patent/EP3665512B1/en active Active
- 2018-08-10 KR KR1020207007269A patent/KR102630836B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7783183B2 (en) * | 2005-03-16 | 2010-08-24 | The Trustees Of Columbia University In The City Of New York | Systems and methods for reducing rain effects in images |
| CN103033857A (zh) * | 2012-12-25 | 2013-04-10 | 中国人民解放军理工大学 | 基于平行光大视场的降水降雪自动观测方法 |
| CN103439756A (zh) * | 2013-07-31 | 2013-12-11 | 中国人民解放军理工大学 | 一种基于粒子成像测速的自然降水粒子微物理特征测量方法 |
| CN105607452A (zh) * | 2016-01-04 | 2016-05-25 | 中国海洋大学 | 测量悬浮颗粒沉速的双数字全息成像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| IL272547A (en) | 2020-03-31 |
| US20200049856A1 (en) | 2020-02-13 |
| WO2019030714A1 (en) | 2019-02-14 |
| KR102630836B1 (ko) | 2024-01-29 |
| KR20200041350A (ko) | 2020-04-21 |
| IL272547B2 (en) | 2024-05-01 |
| AU2018315336A1 (en) | 2020-02-27 |
| EP3665512A1 (en) | 2020-06-17 |
| US11112535B2 (en) | 2021-09-07 |
| CA3071957A1 (en) | 2019-02-14 |
| CN111316135A (zh) | 2020-06-19 |
| IL272547B1 (en) | 2024-01-01 |
| IT201700093530A1 (it) | 2019-02-11 |
| BR112020002688A2 (pt) | 2020-07-28 |
| SG11202000814XA (en) | 2020-02-27 |
| DK3665512T3 (da) | 2022-05-23 |
| EP3665512B1 (en) | 2022-03-02 |
| AU2018315336B2 (en) | 2024-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930353B (zh) | 孔位保护门状态检测方法、装置、计算机设备和存储介质 | |
| CN111316135B (zh) | 根据正在发生大气降水的环境的数字图像实时计算大气降水速率的系统 | |
| CN111524063A (zh) | 一种遥感图像融合方法及装置 | |
| CN111932519A (zh) | 天气预测方法、装置、计算机设备和存储介质 | |
| CN112200848B (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
| CN113408454A (zh) | 一种交通目标检测方法、装置、电子设备及检测系统 | |
| CN110018529A (zh) | 降雨测量方法、装置、计算机设备和存储介质 | |
| CN113344906B (zh) | 车路协同中相机评估方法、装置、路侧设备和云控平台 | |
| CN110910379B (zh) | 一种残缺检测方法及装置 | |
| CN110114801A (zh) | 图像前景检测装置及方法、电子设备 | |
| JP2010128711A (ja) | 天候変化検出装置、天候変化検出方法及び天候変化検出プログラム | |
| CN113011445A (zh) | 标定方法、识别方法、装置及设备 | |
| US20150029230A1 (en) | System and method for estimating target size | |
| KR20220138698A (ko) | 강우량 계산 방법 및 장치 | |
| CN108732178A (zh) | 一种大气能见度检测方法和装置 | |
| CN116430069A (zh) | 机器视觉流体流速测量方法、装置、计算机设备及存储介质 | |
| CN114782561B (zh) | 基于大数据的智慧农业云平台监控系统 | |
| CN115683046A (zh) | 测距方法、装置、传感器及计算机可读存储介质 | |
| CN113470103B (zh) | 车路协同中相机作用距离确定方法、装置和路侧设备 | |
| CN114612882A (zh) | 障碍物检测方法、图像检测模型的训练方法及装置 | |
| BR112020002688B1 (pt) | Sistema de computação da taxa de precipitação atmosférica, e, aparelho eletrônico de processamento de imagem digital | |
| WO2023068208A1 (ja) | エアロゾル濃度の推測方法及びシステム | |
| JP3735621B2 (ja) | 全天下光環境評価方法 | |
| CN117291875B (zh) | 镜头的偏移检测方法、装置、计算机设备、芯片和介质 | |
| CN113139454B (zh) | 基于单张图像的道路宽度提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |