CN103620622A - 用于从航拍图像中去除伪影的方法和设备 - Google Patents
用于从航拍图像中去除伪影的方法和设备 Download PDFInfo
- Publication number
- CN103620622A CN103620622A CN201280030283.3A CN201280030283A CN103620622A CN 103620622 A CN103620622 A CN 103620622A CN 201280030283 A CN201280030283 A CN 201280030283A CN 103620622 A CN103620622 A CN 103620622A
- Authority
- CN
- China
- Prior art keywords
- aerial images
- pixel
- image
- input
- artifact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 3
- 229910001753 sapphirine Inorganic materials 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- AXDJCCTWPBKUKL-UHFFFAOYSA-N 4-[(4-aminophenyl)-(4-imino-3-methylcyclohexa-2,5-dien-1-ylidene)methyl]aniline;hydron;chloride Chemical compound Cl.C1=CC(=N)C(C)=CC1=C(C=1C=CC(N)=CC=1)C1=CC=C(N)C=C1 AXDJCCTWPBKUKL-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000630329 Scomberesox saurus saurus Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- ZMJPCIAEJKVKMQ-UHFFFAOYSA-M [4-[[4-[benzyl(methyl)amino]phenyl]-[4-(dimethylamino)phenyl]methylidene]cyclohexa-2,5-dien-1-ylidene]-dimethylazanium;chloride Chemical compound [Cl-].C1=CC(N(C)C)=CC=C1C(C=1C=CC(=CC=1)N(C)CC=1C=CC=CC=1)=C1C=CC(=[N+](C)C)C=C1 ZMJPCIAEJKVKMQ-UHFFFAOYSA-M 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种计算机系统,用于产生感兴趣区域的无伪影航拍图像。计算机系统接收在不同时间获得的一个或更多个输入航拍图像。通过将两个或更多个输入航拍图像应用到伪彩色图像的不同颜色通道输入而产生伪彩色图像。基于伪彩色图像中的像素颜色,两个或更多个输入航拍图像中的像素被分类为代表清楚区域、云区域或者阴影区域。通过组合来自两个或更多个输入航拍图像的被分类为代表清楚区域的像素而产生输出图像。
Description
相关申请的交叉引用
本申请有权要求享有于2011年6月30日提交的标题为“用于从航拍图像中去除伪影的方法和设备(METHOD AND APPARATUS FORREMOVING ARTIFACTS FROM AERIAL IMAGES)”的美国非临时专利申请系列No.13/173,089的优先权,其内容通过引用并入本文。
技术领域
本文公开的技术涉及遥感技术,并且特别是涉及用于增强航拍图像的系统。
背景技术
作为派遣调查组实地检查小片土地区的一种替代方式,许多森林管理公司和其它土地拥有者利用一个或更多个感兴趣的区域的遥感图像诸如卫星图像或其它航拍图像检查所述土地的保持情况。航拍图像可以被分析以便管理区域内的树木或庄稼的生长或收获,检查自然灾害,诸如来自于火灾、洪水或虫害,检测侵入或盗窃存货以及其它目的。
尽管已经证明遥感对于土地拥有者而言是非常有价值的,但这种航拍图像经常含有大气伪影,即,使地面特征变得模糊的云。尽管基于光反射值很容易识别图像中的云,但是由云引起的图像中的阴影经常被误认为是生长浓密的森林,并且采用计算机程序检测和去除可能是困难的。
附图说明
图1为根据所公开技术的实施例的一种远程成像系统的方框图。
图2解释说明了根据所公开技术的实施例如何从感兴趣区域的两个或更多个输入图像中产生伪彩色合成图像。
图3解释说明了根据所公开技术的一个实施例的用于产生感兴趣区域的无伪影图像的技术。
图4为根据所公开技术的一个实施例的由编程处理器执行以产生图像模板的步骤流程图。
图5为根据所公开技术的一个实施例的由编程处理器执行以便从航拍图像中去除伪影的步骤流程图。
具体实施方式
为解决上面提到的关注和其它方面,本文公开的技术涉及具有一个或更多个处理器的计算机系统,所述处理器被编程以便从感兴趣区域的航拍图像中去除伪影,诸如云和阴影。计算机系统接收感兴趣区域的两个或更多个时间移位(即,在不同时间获得的)的输入航拍图像。通过将两个或更多个航拍图像应用到合成图像的不同颜色通道而产生伪彩色合成图像。基于在伪彩色图像中产生的像素颜色,编程处理器确定输入图像中的相应像素是否为清楚的或者是否包含伪影。通过组合来自两个或更多个输入航拍图像的每一个的清楚像素而产生输出航拍图像,以产生无伪影的合成输出图像。
尽管针对其林业应用对所公开的技术进行了讨论,但将意识到所述技术能够用于其它目的,诸如为农业、地理、气象、情报或期望观察无伪影的航拍图像的其它学科分析航拍图像。
图1解释说明了根据所公开技术的一个实施例的用于产生感兴趣区域10的无伪影航拍图像的系统。所述感兴趣区域10可以包括林地、农用土地、海洋、海滩或其它区域。此外,所公开的技术也可以用于产生宇宙物体诸如行星等的无伪影图像。在一个实施例中,卫星系统20诸如由U.S.Geological Service(美国地质服务公司)操作的LandsatTM系统捕获了感兴趣区域的图像。该LandsatTM卫星系统在从中红外波段至可见光波段的许多个光谱带捕获图像。如将意识到的,航拍图像不局限于卫星图像,而是可以来自于其它的来源,诸如航行器、气象球或者其它的航空成像系统。用于图像中每个光谱带的像素数据经卫星或者其它的通信线路而被传送至远程定位的计算机50。在一些实施例中,图像数据如LandsatTM图像数据包括其它的数据,诸如太阳角度和拍摄图像时呈现的大气条件测量值。这种附加数据允许针对不同时间拍摄的图像中这些参数差异进行调整。
如上所示,航拍图像具有的一个问题是存在伪影,诸如云、云影、航行器机尾云等,这种伪影使图像中的地面特征变得模糊。在图1示出的实例中,云12呈现在航拍图像中并且产生了同样呈现在该图像中的相应阴影14。通常情况下,通过云的色彩和亮度很容易识别图像中的云。然而,阴影区14经常更加难以识别,并且经常和浓密的林区混淆。
在所公开技术的一个实施例中,计算机系统50内的处理器执行存储在永久计算机可读介质诸如CD、DVD、硬盘驱动器等上的程序指令序列。可替代地,可以经计算机通信线路54诸如因特网而接收所述指令。所述指令致使处理器经由卫星线路58、计算机通信线路54诸如因特网或者来自计算机可读的存储介质接收感兴趣区域的一个或更多个时间隔开的图像。处理器可以将感兴趣区域的航拍图像储存在图像数据库60中。
所述处理器被编程以分析航拍图像,通过组合来自两个或更多个时间隔开的航拍图像中的每一个的清晰像素而去除图像中的云/阴影或者其它的遮蔽伪影。这些输入图像可以是间隔几小时、几天或者更长时期拍摄的。优选地,在类似的照明条件下以及充分接近的时间下拍摄航拍图像,从而使每个航拍图像中的地面特征(例如,植物、建筑物、地理特征等)看起来没有明显不同。在一个实施例中,所述处理器被编程以使图像标准化,从而校正大气影响和太阳角度的差异。这种标准化被视为遥感领域的普通技术人员所公知的。
合成的输出航拍图像可以被存储在数据库60中,可以经计算机通信线路54而被传送至远程计算机系统,可以在计算机监控器62上进行显示,或者采用打印机64或其它输出机构进行打印。
图2解释说明了感兴趣区域的一系列时间隔开的航拍图像。第一个图像70包含被标记为A和B的云和相关阴影区域。第二个航拍图像72包括被标记为C的云区和阴影区域,而第三个航拍图像74包括被标记为D的云/阴影区域。
在一个实施例中,时间隔开的航拍图像70、72和74中的每一个的选定频段被应用到图像的独立颜色通道,以产生伪彩色的合成图像80,该合成图像包含了云/阴影区域A-D中的每一个。在一个实施例中,输入图像70的选定频段被应用到伪彩色图像的红色通道,输入图像72的选定频段被应用到绿色通道输入,并且输入图像74的选定频段被应用到伪彩色图像的蓝色通道输入。
如本领域普通技术人员将意识到的,在伪彩色图像中的任何像素位置处显示的颜色取决于应用到颜色通道输入的每一个相应像素的相对强度亮度。与云的围绕物其周围相比,由于云趋于显示作为具有相当相对高强度高亮度的像素出现,因此在伪彩色图像中云的颜色指示出哪个图像含有云。例如,如果在伪彩色图像中云区域作为亮红色区域出现,则随后可以确定云仅出现在应用到红色通道的图像中出现。类似地,如果在伪彩色图像中云作为亮蓝色区域出现,则随后可以确定云仅出现在应用到蓝色通道的图像74中出现。如果在暂时时间隔开的输入图像中的云重叠(即,当获得两个暂时时间隔开的图像时,云处于相同位置),则随后云的重叠部分将具有作为通道颜色混合物的颜色。例如,应用到红色和绿色通道的图像中的重叠云在伪彩色图像中将作为亮黄色区域出现。类似地,应用到红色和蓝色通道的图像中的重叠云在伪彩色图像中将作为亮紫色品红(Magenta)区域出现。
由于来自云的阴影典型地在输入图像中作为低亮度的像素出现,所述阴影将作为具有与在RGB颜色空间中的云颜色相反的颜色的区域出现。例如,与作为亮红色区域出现的云相关的阴影在伪彩色图像中将以暗青色区域出现。与在伪彩色图像中作为亮蓝色区域出现的云相关的阴影区域将作为暗黄色区域等出现。通过测定伪彩色图像中的像素的亮度和色彩,处理器能够确定哪个输入图像含有伪影,诸如云或者该位置处的阴影。
下表解释说明了当将三个输入图像应用到不同的RGB颜色通道以产生伪彩色图像时,在伪彩色图像中将出现的合成色彩。
在表的对角线上方列出的颜色为云区域(以大写字母写的)的亮色,而对角线下方的颜色为阴影区域的暗色。如可看出的,伪彩色图像中的云区和阴影区域可以具有相同的颜色。例如,应用到伪彩色图像的蓝色通道的图像中的阴影作为黄色区域出现。然而,应用到绿色和红色通道输入的图像中的重叠云区域在伪彩色图像中同样作为黄色区域出现。黄色区域中的像素亮度和太阳角度因此被用于区分阴影区域和云区域。
在一个实施例中,在伪彩色图像中那些具有低亮度和灰色的像素注定是清楚的像素。那些具有非常强的色彩的像素被确定为云区域,并且那些具有较低亮度的区域为阴影。用户可以改变处理器采用的阈值,以分离清楚区域/阴影区域/云区域。
在一些实施例中,通过确定像素是否与附近的云像素有联系还可以定位代表阴影的像素。如上所讨论的,阴影像素具有与相应的云颜色相反的颜色。例如,如果在伪彩色图像中定位了暗青色像素,则随后相应的亮红色像素应当被定位在附近。可以从包含在每个航拍图像数据中的太阳角度信息确定预期的云像素的距离和方向。如果云像素被定位在明亮的云像素的正确方向上,则该云像素有可能代表阴影。
图3解释说明了从图2所示的伪彩色合成图像80中产生的合成图像模板100。在所公开技术的一个实施例中,合成图像模板100含有许多像素,每个像素相应于伪彩色合成图像80中的像素之一。合成图像模板中的每一个像素具有红色、绿色和蓝色的彩色值,所述像素被编码以指示该通道的输入图像的相应像素是否代表清楚区域、阴影、云或者另一个伪影。在一个实施例中,清楚像素被编码为数字100,阴影像素被编码为数字150,云像素被编码为数字200,并且任何其它的伪影(例如,机尾云)被编码为数字250。本领域技术人员将意识到可以使用其它代码值。当作为RGB图像观看时,那些代表清楚区域的像素将呈现灰色,并且那些代表伪影的像素将呈现为更加明亮的色彩。
在图3示出的实例中,在合成图像模板100的左上角的像素102为提供到红色、绿色和蓝色通道的每一个输入图像储存代码,所述通道组成伪彩色图像中的相应位置。在示出的实例中,像素102具有被编码为100、100、100的RGB值,指示出在输入图像中的该位置处的所有像素是清楚的。作为另一个实例,在合成图像模板的右上角的像素104具有代码100、150、100,指示出被提供到伪彩色图像的绿色通道的输入图像代表阴影,而应用到红色和蓝色通道输入的输入图像在该位置处是清楚的。从伪彩色图像中的像素颜色中确定与模板图像中的像素有关的代码。
处理器通过分析为合成图像模板中的像素存储的代码,确定哪一个相应的输入图像在该位置处是清楚的。
在一个实施例中,处理器被编程以分析合成图像模板100,用于代表云或者阴影的像素组。这些伪影可以发生成多边形或者其它不规则的形状簇。多边形的边缘可以向外扩张预定数量的像素,以确保在输出图像中去除云、阴影和其它伪影的所有部分。在一个实施例中,处理器在模板图像的每个像素上应用3x3模板。如果处于模板中央的清楚像素邻近伪影像素,则处于模板中央的清楚像素也可以被转换为伪影像素。在图像处理过程中,这种多边形扩张的细节被视为本领域普通技术人员所公知的。
为了产生无伪影的输出图像,计算机系统的用户选取输入图像之一用作标准或基础图像。例如,这种图像可以由用户基于图像中出现的云的数量而进行选取。可替代地,处理器可以被编程以计算在每个图像中出现的云的数量,并且选取具有最少数量的云或者最低百分比的云量的输入图像作为基础图像。
来自被选取的基础图像的清楚像素被复制到输出图像内以完成一部分无伪影的输出图像。在示出的实例中,第二个输入图像72被选取为基础图像,以产生无伪影的输出图像170。为了从基础图像中选取像素数据,编程处理器分析合成图像模板100中的每一个像素,以便为选取的基础图像选取那些具有清楚像素代码的像素。来自基础图像的所有频段的频段数据随后在该像素位置处被复制到输出图像内。例如,如果输入图像72被选取为基础图像并且图像72被应用到伪彩色合成图像的绿色通道,则计算机系统分析为合成图像模板的每个像素的绿色通道存储的代码。
如将意识到的,在输出图像中,在与选取的基础图像中的云、阴影或者其它伪影的位置相对应的位置处出现了许多孔180、182、184、186。因此,计算机系统分析其它的输入图像,以确定相应于孔位置的像素是否为清楚的。假如是清楚的,用于来自那些图像中的一个图像的像素的数据被加入到无伪影的输出图像170中。
如本领域技术人员将要意识到的,来自未被选取为基础图像的输入图像的亮度统计信息(例如,平均值、标准偏差等)可以被调节以与被选取的标准图像的亮度统计信息相对应。在一个实施例中,根据以下方程式调节用于代表输出图像中的孔的目标像素的频段数据:
目标像素=(源像素-源平均值)*目标标准差/源标准差+目标平均值,
其中,源像素为取自另一个输入图像的像素亮度数据,源平均值为来自其它输入图像的平均亮度值(为每个频段计算的),并且源标准差为亮度值的标准偏差(对于每一个频段)。类似地,目标平均值和目标标准差为输出目标图像中的每个频段的平均值和每个频段的标准偏差。在一个实施例中,仅对于无伪影的每一个输入图像的重叠区域计算图像统计信息。在一个实施例中,可以通过为具有100、100、100或者其它代码的像素寻找图像模板而定位这些像素,从而指示出特定像素位置处的所有输入图像都是清楚的。
图4为由计算机系统内的编程处理器执行的步骤流程图,以便从感兴趣区域的一个或更多个时间分开的输入图像中产生无伪影的输出图像。在200处开始,编程处理器系统获得感兴趣区域的两个或更多个时间隔开的图像。如上所示,拍摄输入图像的时间/日期可以被选取成足够远,从而使得感兴趣区域上的伪影图形将很可能已经改变,但在感兴趣区域中的潜在植物或其它物体将没有显著地改变外观。
在步骤202处,通过将不同的输入图像分配至伪彩色图像的红色、绿色和蓝色通道而产生伪彩色图像。如果使用了三个输入图像,每一个输入图像都可以被分配至一个不同的颜色通道。然而,如果仅提供了两个输入图像,则输入图像中的一个可以被提供到两个颜色通道。在204处,处理器分析伪彩色图像中的像素颜色以确定哪个图像在该特定位置处无伪影。
在205处,处理器分析所述像素是否为亮红色、亮黄色、亮品红、亮绿色、亮青色或者亮蓝色。所述鲜亮像素指示一个或更多个输入图像中的云。假如是,则处理器将代表云的代码分配至合成图像模板中相应位置的像素。被分配的特定代码取决于检测到的颜色。例如,如果输入图像70被应用到红色通道输入并且在伪彩色图像中相应位置处的像素是亮红色的,则随后在206处,在合成图像模板中的该位置处用于图像70的像素代码被分类为云。
在208处,处理器分析所述像素是否为暗蓝色、暗品红、暗黄色、暗绿色或者暗红色。假如是,则在210处,所述像素指示阴影像素并且合成图像模板中的相应像素被分类为阴影像素。被分配的特定代码取决于在伪彩色图像中被分析的像素颜色。如果在208处的回答是否,则在212处,对于每一个输入图像,处理器将合成图像模板中相应位置处的像素分类为清楚的。在214处,确定是否已经分析了伪彩色图像中的所有像素。假如是,则完成处理过程,否则,处理过程返回到步骤204,用于伪彩色图像中的下一个像素。
图5解释说明了由编程处理器执行的一系列步骤,以便从许多时间移位的输入图像中产生一个无伪影的输出图像。在300处开始,处理器从在合成图像模板中被识别为清楚的指定输入图像中选取像素数据,并将选取的像素数据复制到输出图像中。
在302处,计算机系统确定输出图像中是否存在一个或更多个孔。从另一个具有在孔位置处被识别为清楚的像素的输入图像中选取关于孔的像素数据。如上所示,可能有必要从其它被选取的输入图像中统计学地依比例确定频段的数据值,以匹配被选取的源图像的统计学特征。重复该过程直到已经从两个或更多个输入图像中的另一个中选取了关于输出图像中的孔的每一个像素。
如将意识到的,所公开的技术提供了一种简单的机构,以便使用感兴趣区域的两个或更多个时间移位的输入图像来产生感兴趣区域的无伪影图像。无伪影的输出图像可以被存储在计算机可读介质上,用于在日后进行分析,可以在监控器上进行显示,在打印机或者其它输出设备上进行打印,或者可以经由计算机通信线路而被传送到另外的计算机系统。
可以在数字电子电路或者计算机软件、固件或者硬件内执行在本说明书中描述的主题和操作的实施例,包括在本说明书中描述的结构及其结构等同物,或者它们中的一个或更多个的组合。在本说明书中描述的主题的实施例可以作为一个或更多个计算机程序(即,被编码在计算机存储介质上的计算机程序指令的一个或更多个模块,用于被数据处理设备执行或者控制数据处理设备的操作)被执行。
计算机存储介质可以是或者可以被包含在永久计算机可读存储装置、计算机可读存储基底、随机或者串行存取存储器阵列或设备中,或者它们中的一个或更多个的组合。此外,尽管计算机存储介质并非被传送的信号,但计算机存储介质可以是计算机程序指令的来源或目的地,其被编码为人工产生的传送信号。计算机存储介质也可以是或者可以被包含在一个或更多个独立的实体部件或介质中(例如,多个CD、盘或者其它存储设备)。在本说明书中描述的操作可以被执行为由数据处理设备在存储于一个或更多个计算机可读存储装置上的数据或者从其它来源接收的数据上执行的操作。
术语“编程处理器”包括各种用于处理数据的设备、装置以及机器,例如包括可编程微处理器、计算机、一个芯片或更多个芯片上的系统,或者前述的组合。所述设备可以包括特殊用途逻辑电路(例如,FPGA(现场可编程门阵列)或者ASIC(专用集成电路))。除硬件之外,所述设备还可以包括为所述计算机程序产生运行环境的代码(例如,组成处理器固件的代码、协议栈、数据库管理系统、操作系统、交互平台运行时期环境、虚拟机,或者它们中的一个或更多个的组合)。所述设备和运行环境能够实现各种不同的计算模型基础结构,诸如网络服务、分布式的计算和栅极计算基础结构。
计算机程序(也已知为程序、软件、软件应用、脚本或者代码)可以以任何程序语言的形式编写,包括编译的或者解释的语言、说明性的或者过程语言,而且可以以任何形式被构造,包括作为孤立的程序或者作为模块、组件、子程序、目标程序或者其它适合于在计算环境中使用的单元。计算机程序可以但不需要与文件系统中的文件相对应。程序可以被存储在拥有其它程序或数据(例如,存储在置标语言文件中的一个或更多个脚本)的部分文件中,存储在专用于所述程序的单个文件或者多个同等文件中(例如,储存一个或更多个模块、子程序或部分代码的文件)。计算机程序可以被构造成在一个计算机或者位于一个地点或者分布在多个地点并且通过通信网络而相互连接的多个计算机上执行。
在本说明书中描述的步骤和逻辑流可以被一个或更多个可编程处理器完成,所述处理器执行一个或更多个计算机程序,以便通过在输入数据上进行操作并且产生输出而完成操作。所述步骤和逻辑流也可以被特殊用途逻辑电路完成,并且所述设备也可以被实施为特殊用途逻辑电路(例如,FPGA(现场可编程门阵列)或者ASIC(专用集成电路))。
适合于执行计算机程序的处理器例如包括通用和特殊用途的微处理器,以及任何类型的数字计算机的任何一个或更多个处理器。通常,处理器将从只读存储器或随机存取存储器或者二者中接收指令和数据。计算机的主要元件为用于根据指令执行操作的处理器以及一个或更多个用于存储指令和数据的存储器装置。通常,计算机也将包括一个或更多个用于存储数据的大容量存储装置,例如磁盘、磁光盘或者光盘,或者被可操作地连接到存储装置以便接收数据或传输数据,或者二者均有。然而,计算机不需要具有这些装置。此外,计算机可以被包含在另一个装置内(例如,手机、个人数字助理(PDA)、移动式音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或者便携式存储装置(例如,通用串行总线架构(USB)闪驱)),以仅对少数进行命名。适合于存储计算机程序指令和数据的装置包括所有形式的非易失存储器、介质和存储器装置,例如包括半导体存储器装置,例如EPROM、EEPROM和闪存装置;磁盘,例如内部硬盘或可移动的盘;磁光盘;以及CD ROM和DVD-ROM盘。处理器和存储器可以通过特殊用途逻辑电路被补充,或者被包含在特殊用途逻辑电路中。
为提供与用户之间的相互作用,在本说明书中描述的主题的实施例可以在计算机上执行,所述计算机具有:显示装置,例如LCD(液晶显示器)、LED(发光二极管)或者OLED(有机发光二极管)监控器,用于向用户显示信息;以及键盘和指点装置,例如,鼠标或者光标运动球,用户能够借此提供输入至计算机。在一些设备中,触摸屏可以用于显示信息并且接收来自用户的输入。其它类型的装置也可以用于提供与用户之间的相互作用;例如,提供给用户的反馈可以是任何形式的感觉反馈,例如视觉反馈、听觉反馈或者触觉反馈;并且来自用户的输入可以以任何形式被接收,包括声音的、语言的或者触觉的输入。此外,计算机能够通过发送文件至用户使用的装置并且从用户使用的装置接收文件而和用户发生相互作用;例如,通过响应于从网络浏览器接收的要求而向用户的客户机装置上的网络浏览器发送网页。
在本说明书中描述的主题的实施例可以在计算系统中被执行,所述计算系统包括后端组件,例如作为数据服务器,或者包括中间设备组件,例如应用服务器,或者包括前端组件,例如客户机计算机,具有图形用户接口界面或者网络浏览器,用户能够通过其和在本说明书中描述的主题的设备发生相互作用,或者一个或更多个所述后端、中间设备或者前端组件的任何组合。所述系统的组件能够通过任何形式或者数字数据通信介质例如通信网络互联。通信网络的实例包括局域网(“LAN”)和广域网(“WAN”)、交互网(例如,因特网)以及对等网(例如,特别是对等的网络)。
所述计算系统可以包括任何数量的客户机和服务器。客户机和服务器通常彼此远离,并且典型地通过通信网络发生互相作用。经由在各自计算机上运行的计算机程序而产生客户机和服务器的关系,并且彼此之间具有客户机-服务器关系。在一些实施例中,服务器传送数据(例如,HTML页)至客户机装置(例如,为了显示数据到用户使用的客户机装置,并且从客户机装置中接收用户输入)。在客户机装置处产生的数据(例如,用户相互作用的结果)可以在服务器处从客户机装置接收。
根据前述描述将意识到,本文中为进行解释说明而描述了本发明的特定实施例,但是在不偏离本发明范围的前提下可以进行各种修改。因此,本发明仅受限于所附权利要求书。
Claims (11)
1.一种用于从感兴趣区域的航拍图像中去除伪影的编程计算机系统,包括:
存储器,所述存储器用于存储能够由处理器执行的程序指令;
处理器,所述处理器被构造成执行存储的所述程序指令,以便:
接收在不同时间获得的所述感兴趣区域的两个或更多个输入航拍图像;
通过将所述两个或更多个航拍图像应用到不同的颜色通道来产生伪彩色图像;
基于所述伪彩色图像中的像素的颜色识别所述两个或更多个输入航拍图像中的伪影;并且
通过组合所述两个或更多个输入航拍图像中的代表清楚区域的像素来产生所述感兴趣区域的无伪影的输出图像。
2.根据权利要求1所述的编程计算机系统,其中,所述伪影是云/阴影,所述系统进一步包括能够由所述处理器执行以产生合成图像模板的指令,所述合成图像模板具有多个像素,所述多个像素中的每个像素相应于所述输入航拍图像中的像素,
其中,模板图像中的像素将在所述两个或更多个输入航拍图像中的每个像素分类为代表清楚区域、云区域或者阴影区域。
3.根据权利要求2所述的编程计算机系统,进一步包括:
能够由所述处理器执行以便为所述两个或更多个输入航拍图像中的每一个输入航拍图像关于被识别为无云和阴影的重叠区域计算平均像素值和标准偏差的指令。
4.根据权利要求1所述的编程计算机系统,进一步包括:
能够由所述处理器执行以便基于所述输出图像的统计信息和输入图像的统计信息按比例调节来自所述两个或更多个输入航拍图像的像素值的指令,所述输入图像用于将像素数据提供到所述输出图像。
5.一种永久计算机可读介质,包括能够由编程处理器执行以便通过以下步骤来从感兴趣区域的航拍图像中去除伪影的指令:
接收在不同时间获得的感兴趣区域的两个或更多个航拍图像;
通过将所述两个或更多个航拍图像应用到不同的颜色通道来产生伪彩色图像;
基于所述伪彩色图像中的像素的色彩识别所述两个或更多个输入航拍图像中的伪影;并且
通过组合所述两个或更多个输入航拍图像中的代表清楚区域的像素来产生所述感兴趣区域的无伪影的输出图像。
6.一种由编程处理器执行以便从航拍图像中去除伪影的方法,所述方法包括:
接收两个或更多个输入航拍图像;
将所述两个或更多个输入航拍图像应用到不同的颜色通道来产生伪彩色图像;
分析所述伪彩色图像中的像素的色彩以识别清楚像素;
通过组合来自所述两个或更多个航拍图像中的每一个航拍图像的清楚像素来产生无伪影的输出图像。
7.根据权利要求6所述的方法,进一步包括:基于所述伪彩色图像中的像素的颜色来检测所述两个或更多个输入航拍图像中的云。
8.根据权利要求6所述的方法,进一步包括:基于所述伪彩色图像中的像素的颜色来检测所述两个或更多个输入航拍图像中的阴影。
9.根据权利要求7所述的方法,进一步包括:基于所述伪彩色图像中的像素的颜色以及基于所述伪彩色图像中与云相对应的附近像素的检测来检测所述两个或更多个输入航拍图像中的阴影。
10.根据权利要求7所述的方法,进一步包括:通过检测所述伪彩色图像中具有相反色彩的像素来检测所述两个或更多个输入航拍图像中的云和阴影。
11.根据权利要求7所述的方法,进一步包括:基于所述伪彩色图像中的像素的亮度来区分所述两个或更多个输入航拍图像中的云区域和阴影区域。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/173,089 US9230308B2 (en) | 2011-06-30 | 2011-06-30 | Method and apparatus for removing artifacts from aerial images |
US13/173,089 | 2011-06-30 | ||
PCT/US2012/043375 WO2013003158A1 (en) | 2011-06-30 | 2012-06-20 | Method and apparatus for removing artifacts from aerial images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103620622A true CN103620622A (zh) | 2014-03-05 |
CN103620622B CN103620622B (zh) | 2016-11-16 |
Family
ID=47390756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280030283.3A Expired - Fee Related CN103620622B (zh) | 2011-06-30 | 2012-06-20 | 用于从航拍图像中去除伪影的方法和设备 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9230308B2 (zh) |
EP (1) | EP2727049A4 (zh) |
CN (1) | CN103620622B (zh) |
AR (1) | AR086807A1 (zh) |
AU (1) | AU2012275721B2 (zh) |
BR (1) | BR112013030516A2 (zh) |
CA (1) | CA2833548C (zh) |
UY (1) | UY34180A (zh) |
WO (1) | WO2013003158A1 (zh) |
ZA (1) | ZA201309117B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484670A (zh) * | 2014-10-24 | 2015-04-01 | 西安电子科技大学 | 基于伪彩色和支持向量机的遥感图像云检测方法 |
CN107633492A (zh) * | 2017-09-26 | 2018-01-26 | 成都国翼电子技术有限公司 | 一种物体阴影快速定位并去除的方法 |
CN110248085A (zh) * | 2018-03-06 | 2019-09-17 | 索尼公司 | 用于图像序列的图像中的对象边界稳定化的装置和方法 |
CN114207417A (zh) * | 2019-08-07 | 2022-03-18 | 纳米电子成像有限公司 | 用于反射样本的宏观检查的系统、方法和设备 |
CN114338956A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002114B2 (en) | 2011-12-08 | 2015-04-07 | The Nielsen Company (Us), Llc | Methods, apparatus, and articles of manufacture to measure geographical features using an image of a geographical location |
US9378509B2 (en) | 2012-05-09 | 2016-06-28 | The Nielsen Company (Us), Llc | Methods, apparatus, and articles of manufacture to measure geographical features using an image of a geographical location |
US9858668B2 (en) * | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
US9082014B2 (en) | 2013-03-14 | 2015-07-14 | The Nielsen Company (Us), Llc | Methods and apparatus to estimate demography based on aerial images |
US20140270502A1 (en) * | 2013-03-15 | 2014-09-18 | Digitalglobe, Inc. | Modeled atmospheric correction objects |
US10339639B2 (en) | 2013-09-26 | 2019-07-02 | Konica Minolta Laboratory U.S.A., Inc. | Method and system of calibrating a multispectral camera on an aerial vehicle |
US9449244B2 (en) * | 2013-12-11 | 2016-09-20 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defense | Methods for in-scene atmospheric compensation by endmember matching |
US9367743B1 (en) | 2014-12-16 | 2016-06-14 | Vricon Systems Aktiebolag | Method and system for classifying a terrain type in an area |
US10885097B2 (en) | 2015-09-25 | 2021-01-05 | The Nielsen Company (Us), Llc | Methods and apparatus to profile geographic areas of interest |
US9792522B2 (en) * | 2015-12-01 | 2017-10-17 | Bloomsky, Inc. | Weather information extraction using sequential images |
US9721181B2 (en) * | 2015-12-07 | 2017-08-01 | The Climate Corporation | Cloud detection on remote sensing imagery |
US10451548B2 (en) | 2016-01-15 | 2019-10-22 | The Mitre Corporation | Active hyperspectral imaging system |
DE102016108079A1 (de) * | 2016-05-02 | 2017-11-02 | Carl Zeiss Microscopy Gmbh | Artefaktreduktion bei der winkelselektiven beleuchtung |
US10182225B1 (en) * | 2016-08-31 | 2019-01-15 | Amazon Technologies, Inc. | Processing images to remove precipitation |
US10497129B1 (en) | 2016-08-31 | 2019-12-03 | Amazon Technologies, Inc. | Image-based weather condition detection |
US10028451B2 (en) | 2016-11-16 | 2018-07-24 | The Climate Corporation | Identifying management zones in agricultural fields and generating planting plans for the zones |
US10398096B2 (en) | 2016-11-16 | 2019-09-03 | The Climate Corporation | Identifying management zones in agricultural fields and generating planting plans for the zones |
WO2019049324A1 (en) * | 2017-09-08 | 2019-03-14 | Nec Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM |
KR102053659B1 (ko) * | 2017-09-13 | 2019-12-09 | (주)다비오 | 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치 |
CN108389168B (zh) * | 2018-02-26 | 2022-01-28 | 上海工程技术大学 | 一种获取固定区域无人机航拍图像的方法 |
US10878588B2 (en) * | 2018-06-22 | 2020-12-29 | X Development Llc | Detection and replacement of transient obstructions from high elevation digital images |
US10997453B2 (en) * | 2019-01-29 | 2021-05-04 | Adobe Inc. | Image shadow detection using multiple images |
EP3696768B1 (en) * | 2019-02-12 | 2022-07-27 | Ordnance Survey Limited | Method and system for generating composite geospatial images |
CN113936009B (zh) * | 2021-09-14 | 2023-11-21 | 国家卫星气象中心(国家空间天气监测预警中心) | 一种气象卫星洪涝监测的云阴影去除方法、装置及设备 |
US20230215165A1 (en) * | 2022-01-05 | 2023-07-06 | Here Global B.V. | Method, apparatus, and computer program product for identifying fluid leaks based on aerial imagery |
CN115760641B (zh) * | 2022-12-06 | 2024-01-23 | 二十一世纪空间技术应用股份有限公司 | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 |
CN118172291B (zh) * | 2024-05-14 | 2024-08-13 | 浙江国遥地理信息技术有限公司 | 一种遥感影像的图像去云方法、装置及电子设备 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5332968A (en) * | 1992-04-21 | 1994-07-26 | University Of South Florida | Magnetic resonance imaging color composites |
US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
US5612901A (en) | 1994-05-17 | 1997-03-18 | Gallegos; Sonia C. | Apparatus and method for cloud masking |
US6185512B1 (en) * | 1998-10-13 | 2001-02-06 | Raytheon Company | Method and system for enhancing the accuracy of measurements of a physical quantity |
US6834125B2 (en) | 2001-06-25 | 2004-12-21 | Science And Technology Corp. | Method of improving a digital image as a function of its dynamic range |
AU2002236415A1 (en) * | 2002-01-22 | 2003-09-04 | National University Of Singapore | Method for producing cloud free, and cloud-shadow free, images |
US7184890B2 (en) | 2003-11-24 | 2007-02-27 | The Boeing Company | Cloud shadow detection: VNIR-SWIR |
US20050195096A1 (en) | 2004-03-05 | 2005-09-08 | Ward Derek K. | Rapid mobility analysis and vehicular route planning from overhead imagery |
US7450778B2 (en) * | 2005-03-17 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
US7912296B1 (en) | 2006-05-02 | 2011-03-22 | Google Inc. | Coverage mask generation for large images |
US8103102B2 (en) * | 2006-12-13 | 2012-01-24 | Adobe Systems Incorporated | Robust feature extraction for color and grayscale images |
JP5246391B2 (ja) * | 2007-08-17 | 2013-07-24 | 株式会社パスコ | 地物情報判読用画像生成方法およびプログラム |
US8078002B2 (en) * | 2008-05-21 | 2011-12-13 | Microsoft Corporation | Matte-based video restoration |
US8705887B2 (en) * | 2008-08-22 | 2014-04-22 | Weyerhaeuser Nr Company | Method and apparatus for filling in or replacing image pixel data |
-
2011
- 2011-06-30 US US13/173,089 patent/US9230308B2/en active Active
-
2012
- 2012-06-20 EP EP12804788.3A patent/EP2727049A4/en not_active Withdrawn
- 2012-06-20 CA CA2833548A patent/CA2833548C/en active Active
- 2012-06-20 WO PCT/US2012/043375 patent/WO2013003158A1/en active Application Filing
- 2012-06-20 CN CN201280030283.3A patent/CN103620622B/zh not_active Expired - Fee Related
- 2012-06-20 AU AU2012275721A patent/AU2012275721B2/en not_active Ceased
- 2012-06-20 BR BR112013030516A patent/BR112013030516A2/pt not_active IP Right Cessation
- 2012-06-29 AR ARP120102348A patent/AR086807A1/es not_active Application Discontinuation
- 2012-06-29 UY UY0001034180A patent/UY34180A/es not_active Application Discontinuation
-
2013
- 2013-12-04 ZA ZA2013/09117A patent/ZA201309117B/en unknown
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484670A (zh) * | 2014-10-24 | 2015-04-01 | 西安电子科技大学 | 基于伪彩色和支持向量机的遥感图像云检测方法 |
CN107633492A (zh) * | 2017-09-26 | 2018-01-26 | 成都国翼电子技术有限公司 | 一种物体阴影快速定位并去除的方法 |
CN110248085A (zh) * | 2018-03-06 | 2019-09-17 | 索尼公司 | 用于图像序列的图像中的对象边界稳定化的装置和方法 |
CN110248085B (zh) * | 2018-03-06 | 2021-08-06 | 索尼公司 | 用于图像序列的图像中的对象边界稳定化的装置和方法 |
CN114207417A (zh) * | 2019-08-07 | 2022-03-18 | 纳米电子成像有限公司 | 用于反射样本的宏观检查的系统、方法和设备 |
CN114338956A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
BR112013030516A2 (pt) | 2017-06-06 |
AR086807A1 (es) | 2014-01-22 |
CA2833548A1 (en) | 2013-01-03 |
WO2013003158A1 (en) | 2013-01-03 |
EP2727049A4 (en) | 2015-10-07 |
CA2833548C (en) | 2016-07-19 |
US9230308B2 (en) | 2016-01-05 |
UY34180A (es) | 2013-01-31 |
NZ616639A (en) | 2015-02-27 |
AU2012275721B2 (en) | 2015-08-27 |
US20130004065A1 (en) | 2013-01-03 |
ZA201309117B (en) | 2014-08-27 |
AU2012275721A1 (en) | 2013-10-31 |
EP2727049A1 (en) | 2014-05-07 |
CN103620622B (zh) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103620622A (zh) | 用于从航拍图像中去除伪影的方法和设备 | |
CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
Trier et al. | Automatic detection of pit structures in airborne laser scanning data | |
Xu et al. | Object‐based mapping of karst rocky desertification using a support vector machine | |
US10271229B1 (en) | Assessing reception of line of sight radio service | |
Hung et al. | Mapping and visualizing the Great Salt Lake landscape dynamics using multi‐temporal satellite images, 1972–1996 | |
CN116611713B (zh) | 一种生态修复进程展示方法、系统、终端设备及存储介质 | |
Midgarden et al. | Spatial analysis of tephritid fruit fly traps | |
Dezécache et al. | Moving forward socio‐economically focused models of deforestation | |
Yan et al. | Evaluating simulated visible greenness in urban landscapes: An examination of a midsize US city | |
Monks et al. | Attrition of recommended areas for protection | |
EP3862974A1 (en) | Deep-learned generation of accurate typical simulator content via multiple geo-specific data channels | |
US9031287B2 (en) | System and method for estimating ages of forests from remotely sensed images | |
Carbonneau et al. | Global mapping of river sediment bars | |
Salehi et al. | Well site extraction from Landsat-5 TM imagery using an object-and pixel-based image analysis method | |
CN116983660A (zh) | 一种图像处理的方法以及相关装置 | |
Dawelbait et al. | Using Landsat Images and Spectral Mixture Analysis to Assess Drivers of 21‐Year LULC Changes in Sudan | |
Knoblauch et al. | Semi-supervised water tank detection to support vector control of emerging infectious diseases transmitted by Aedes Aegypti | |
CN117408907B (zh) | 提高图像对抗防御能力的方法、装置及电子设备 | |
Ma | Interactive boundary delineation of agricultural lands using graphics workstations | |
Foster | A UAS-based approach toward habitat suitability modeling of a rare endemic plant | |
Go et al. | Assessing Stream Vegetation Dynamics and Revetment Impact Using Time-Series RGB UAV Images and ResNeXt101 CNNs | |
Panjang et al. | Mapping the distribution of the Sunda pangolin (Manis javanica) within natural forest in Sabah, Malaysian Borneo | |
Lawrence | Early detection of Heacleum Mantegazzianum (Giant Hogweed) based on leaf spectral characteristics from UAV images SVM and OBIA Techniques | |
Yang et al. | Linking forest management to surrounding lands: a citizen-based approach towards the regional understanding of land-use transitions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161116 Termination date: 20170620 |