CN115668295A - 图像处理装置和方法 - Google Patents

Abstract

本公开内容涉及可以抑制图像聚类的处理时间增加的图像处理装置和方法。通过对图像中包括的稀疏像素进行聚类并且使用图像信号作为指导的图像滤波对通过所述聚类获得的稀疏信息进行插值，导出密集聚类结果。该稀疏信息是例如在聚类中获得的模型系数或聚类结果。本公开内容可以应用于例如图像处理装置、图像处理方法等。

Description

图像处理装置和方法

技术领域

本公开内容涉及一种图像处理装置和方法，更具体地，涉及能够抑制图像聚类的处理时间增加的图像处理装置和方法。

背景技术

常规地，图像聚类被用于各种图像处理(例如，参见专利文献1)。例如，专利文献1公开了对图像进行聚类、通过使用图像的类数据对像素进行插值以及恢复细化像素的方法。

引用列表

专利文献

专利文献1：日本专利申请特许公开第5-328185号

发明内容

本发明要解决的问题

然而，根据常规方法的聚类，会对处理目标图像的所有像素进行聚类，因此处理时间可能会增加。

鉴于这种情况作出了本公开内容，并且本公开内容使得可以抑制图像聚类的处理时间的增加。

问题的解决方案

根据本技术的一个方面的图像处理装置是图像处理装置，该图像处理装置包括：聚类单元，其被配置成对图像中包括的稀疏像素进行聚类；以及插值处理单元，其被配置成通过图像滤波对稀疏信息进行插值，从而导出密集聚类结果，稀疏信息是由聚类单元进行聚类获得的，并且使用图像信号作为指导进行图像滤波。

根据本技术的一个方面的图像处理方法是图像处理方法，该图像处理方法包括：对图像中包括的稀疏像素进行聚类；以及通过图像滤波对稀疏信息进行插值，从而导出密集聚类结果，稀疏信息是通过聚类获得的，并且使用图像信号作为指导进行图像滤波。

根据本技术的另一方面的图像处理装置是图像处理装置，该图像处理装置包括聚类单元，该聚类单元被配置成通过使用信息执行局部聚类，局部聚类是对图像的局部区域中包括的密集像素进行聚类，并且信息是通过广域聚类获得的，广域聚类是对图像的广域中包括的稀疏像素进行聚类。

根据本技术的另一方面的图像处理方法是图像处理方法，该图像处理方法包括：通过使用信息执行局部聚类，局部聚类是对图像的局部区域中包括的密集像素进行聚类，并且信息是通过广域聚类获得的，广域聚类是对图像的广域中包括的稀疏像素进行聚类。

根据本技术的一个方面的图像处理装置和方法对图像中包括的稀疏像素进行聚类，通过使用图像信号作为指导的图像滤波对通过该聚类获得的稀疏信息进行插值，从而导出密集聚类结果。

根据本技术的另一方面的图像处理装置和方法通过使用通过广域聚类获得的信息来执行局部聚类，该局部聚类是对图像的局部区域中包括的密集像素进行聚类，广域聚类是对包括在图像的广域中的稀疏像素进行聚类。

附图说明

图1是示出图像处理装置的主要配置示例的框图。

图2是用于说明如何执行图像滤波的示例的图。

图3是用于说明稀疏模型系数的示例的图。

图4是用于说明指导的示例的图。

图5是用于说明密集模型系数的示例的图。

图6是用于说明聚类结果的示例的图。

图7是用于说明聚类处理的流程的示例的流程图。

图8是示出图像处理装置的主要配置示例的框图。

图9是用于说明田地的示例的图。

图10是用于说明聚类处理的流程的示例的流程图。

图11是示出图像处理装置的主要配置示例的框图。

图12是用于说明拼接信息的示例的图。

图13是用于说明聚类处理的流程的示例的流程图。

图14是示出图像处理装置的主要配置示例的框图。

图15是用于说明聚类处理的流程的示例的流程图。

图16是用于说明图像聚类的概要的示例的图。

图17是示出图像处理装置的主要配置示例的框图。

图18是用于说明聚类处理的流程的示例的流程图。

图19是示出图像处理装置的主要配置示例的框图。

图20是用于说明聚类处理的流程的示例的流程图。

图21是示出图像处理装置的主要配置示例的框图。

图22是用于说明如何比较聚类结果的示例的图。

图23是用于说明聚类处理的流程的示例的流程图。

图24是示出图像处理装置的主要配置示例的框图。

图25是用于说明聚类处理的流程的示例的流程图。

图26是示出图像处理装置的主要配置示例的框图。

图27是用于说明聚类处理的流程的示例的流程图。

图28是用于说明生成CT图像的示例的图。

图29是用于说明如何生成示出全局区域和局部区域的示例的CT图像的示例的图。

图30是示出图像处理装置的主要配置示例的框图。

图31是用于说明聚类处理的流程的示例的流程图。

图32是用于说明计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的方式(在下文中称为实施方式)。注意，将按以下顺序给出描述。

1.第一实施方式(稀疏聚类和图像滤波)

2.第二实施方式(广域聚类和稀疏局部聚类)

3.第三实施方式(广域聚类和密集局部聚类)

4.第四实施方式(植被区域分析中的聚类)

5.第五实施方式(CT图像的聚类)

6.补充说明

<1.第一实施方式>

<图像聚类>

常规地，图像聚类已用于各种图像处理。例如，专利文献1公开了对图像进行聚类、通过使用图像的类数据对像素进行插值以及恢复细化像素的方法。

此外，例如在如下情况下，在所谓的无人机、飞机等在移动的同时从天空多次对田地进行成像，并且通过使用该捕获图像分析植被(将植被和土壤进行分类等)，使用图像聚类。

然而，根据常规方法的聚类，处理目标图像的所有像素都被聚类，因此处理时间可能会增加。

<稀疏聚类和图像滤波>

因此，图像中包括的稀疏像素被聚类，通过该聚类获得的稀疏信息通过使用图像信号作为指导的图像滤波进行插值，从而导出密集聚类结果。针对其执行该图像滤波的信息可以是例如学习的模型系数、聚类结果等。通过该图像滤波的“插值”不仅是指信息的插值(缺失数据的填充)，而且还指根据图像结构适当地进行优化等。即，通过该图像滤波获得优化的密集聚类结果。

例如，在捕获田地的图像的情况下，由于在室外环境中执行成像，因此在成像作业期间照明环境有可能发生较大的变化，并且透射阴影、阴影等导致同一被摄体中的信号分布不均匀(同一被摄体的多个像素具有不同的信号特性)。即使在这种情况下，通过如上所述执行聚类，也可以高速获得使用周围环境的图像结构信息的聚类结果。即，通过应用本技术，可以在聚类结果中反映与指导图像的几何结构相匹配的正则化，使得即使从显示室外照明环境显著变化的图像或者由于投射阴影或阴影而在同一被摄体中信号分布不均匀的图像也可以获得按被摄体分类的结果。

<图像处理装置>

图1是示出应用本技术的图像处理装置的配置示例的框图。图1所示的图像处理装置100是执行图像聚类的装置。图像处理装置100接收捕获图像20作为输入，对该捕获图像20执行图像聚类，并且输出该图像聚类的聚类结果30。

捕获图像20可以是例如通过拼接多个捕获图像(P1至Pn)而获得的拼接图像。此外，捕获图像20可以是包括多个帧图像的运动图像。此外，捕获图像20可以是通过将多个捕获图像整合为一个图像而获得的文件(捕获图像组)，或者可以是一个捕获图像。当然，捕获图像20可以是除捕获图像以外的图像(例如，CG图像等)。此外，该捕获图像20可以是可见光(RGB)的波长范围的图像，或者可以是通过对诸如近红外光的不可见光的波长范围进行成像而获得的图像。此外，捕获图像20可以是这两种图像。

注意，图1示出了主要元素，例如处理单元和数据流，并且图1中示出的元素不一定是全部。即，在该图像处理装置100中，可以存在未在图1中示出为块的处理单元，或者可以存在未在图1中示出为箭头等的处理或数据流。

如图1所示，图像处理装置100包括采样像素选择单元111、聚类单元112和插值处理单元113。

采样像素选择单元111执行与作为聚类目标像素的采样像素的选择相关的处理。例如，采样像素选择单元111获得捕获图像20。此外，采样像素选择单元111选择该捕获图像20的部分像素作为采样像素。在这种情况下，采样像素选择单元111选择采样像素，使得采样像素处于稀疏状态。

“稀疏状态”是指包括捕获图像的部分像素的像素组(或者与该像素组对应的信息)的状态，并且是指至少包括比稍后描述的“密集状态”的像素数更少的像素数的像素组(或者与该像素组对应的信息)的状态。例如，包括具有像素彼此不相邻的位置关系的像素的像素组(或者与该像素组对应的信息)可以处于“稀疏状态”。即，在对像素进行采样的情况下，仅从在捕获图像20中具有像素彼此不相邻的位置关系的像素中选择的采样像素可以是处于稀疏状态的采样像素(也称为稀疏采样像素)。此外，以小于预定阈值的比率(数目)从预定图像中选择的像素组(或者与该像素组对应的信息)可以处于“稀疏状态”。即，在对像素进行采样的情况下，以小于相对于捕获图像20的像素数的预定阈值的比率(数目)选择的采样像素可以是稀疏采样像素。

采样像素选择单元111将选择的稀疏采样像素提供给聚类单元112。

聚类单元112执行与聚类相关的处理。例如，聚类单元112获得从采样像素选择单元111提供的稀疏采样像素。聚类单元112将这些获得的稀疏采样像素聚类为处理目标。这种聚类方法是任意的。例如，可以应用GMM、k-means方法等。聚类单元112将通过该聚类获得的稀疏信息提供给插值处理单元113。

该稀疏信息是通过对稀疏采样像素进行聚类获得的信息，并且对应于每个采样像素(即，稀疏状态)。例如，稀疏信息可以是学习的模型系数，可以是聚类结果，或者可以是学习的模型系数和聚类结果二者。

插值处理单元113执行与稀疏信息的插值相关的处理。例如，插值处理单元113获得从聚类单元112提供的稀疏信息(学习的模型系数、聚类结果等)。此外，插值处理单元113获得捕获图像20。

该捕获图像20可以与提供给采样像素选择单元111的捕获图像(即，要聚类的捕获图像)相同，或者可以是时间和范围与要聚类的捕获图像的时间和范围是基本相同的时间和基本相同的范围并且与要聚类的捕获图像不同的捕获图像。例如，捕获图像20可以是通过与用于获得要聚类的捕获图像的成像是基本相同的时间和基本相同的视角的另一次成像而获得的另一个捕获图像。例如，可以将可见光(RGB)的波长范围的捕获图像20提供给采样像素选择单元111，并且可以将通过对诸如近红外线的不可见光的波长范围进行成像而获得的捕获图像20提供给插值处理单元113。

插值处理单元113通过使用图像信号(获得的捕获图像20)作为指导，对从聚类单元112获得的稀疏信息执行图像滤波(插值处理)，并且导出密集状态的聚类结果。

“密集状态”是指包括捕获图像的部分或全部像素的像素组的状态(或者与该像素组对应的信息)，并且是指至少包括比上述“密集状态”的像素数更多的像素数的像素组的状态(或者与该像素组对应的信息)。例如，也包括具有像素彼此相邻的位置关系的像素的像素组(或者与该像素组对应的信息)可以处于“密集状态”。即，在聚类结果的情况下，捕获图像20中的也包括具有像素彼此相邻的位置关系的像素的采样像素的聚类结果可以是密集状态(也称为密集聚类结果)。此外，以等于或大于预定阈值的比率(数目)从预定图像中选择的像素组(或者与该像素组对应的信息)可以处于“密集状态”。即，在聚类结果的情况下，以等于或大于相对于捕获图像20的像素数的预定阈值的比率(数目)选择的采样像素的聚类结果可以是密集聚类结果。

例如，插值处理单元113针对每个类别接收每个像素的似然性(似然性图像)作为输入，依次应用使用原始图像作为指导的图像滤波来执行插值，从该经滤波的似然性图像重新确定类，从而获取密集聚类结果。图像滤波可以在聚类结果中反映与指导图像的几何结构相匹配的正则化，使得插值处理单元113即使从显示室外照明环境显著变化的图像或者由于投射阴影或阴影导致同一被摄体中的信号分布显示不均匀的图像也可以获得按被摄体分类的结果。例如，可以抑制由于亮度的差异而使得同一被摄体的同一颜色的一部分的部分成为阴影并且被分类为另一类的现象的发生。

插值处理单元113将通过该插值处理获得的聚类结果30(密集聚类结果)作为图像处理装置100的图像处理结果输出到图像处理装置100的外部。

<图像滤波>

该图像滤波(插值处理)的方法是任意的。通过使用高速运行的边缘保留滤波，例如快速全局平滑滤波、域变换滤波、快速双边求解器滤波或者域变换求解器滤波作为图像滤波，可以在所有像素中以比预测更高的速度获得对噪声和干扰影响的鲁棒的聚类结果。

例如，插值处理单元113可以通过以下各项对聚类结果执行能量最小化，JianboLi等人在“KM_GrabCut:一种快速交互式图像分割算法(a fast interactive imagesegmentation algorithm)”，ICGIP 2014(也称为非专利文献1)中公开的GrabCut，通过C.Rhemann等人在“用于视觉通信及其他内容的快速成本体积过滤(Fast Cost-VolumeFiltering for Visual Correspondence and Beyond)”，CVPR 2011(也称为非专利文献2)中公开的成本体积过滤执行广域优化，使用D.Min等人在“基于加权最小二乘的快速全局图像平滑(Fast Global Image Smoothing Based on Weighted Least Squares)”，IEEE TIP2014(也称为非专利文献3)中公开的FGS滤波器以及高密度化信息。

非专利文献3中公开的快速全局加权最小二乘滤波器(FGWLS)是如下处理：将ZFarbman等人在“用于多尺度色调和细节处理的边缘保持分解(Edge-PreservingDecompositions for Multi-Scale Tone and Detail Manipulation)”ACM SIGGRAPH2008(也称为非专利文献4)的记录中公开的加权最小二乘滤波器(WLS)分解为一维递归滤波器，在x和y轴方向重复应用一维递归滤波器，从而通过恒定时间操作获得整体最优解。通过该处理，稀疏数据根据纹理、边缘等的图像结构(根据基于该结构获得的像素之间的相邻关系)被扩展和高密度化。

例如，通过使用包括灰色和白色螺旋图片图案的图像130作为如图2的A所示的指导，对由对角线线图案指示的第一颜色的区域131中的像素以及由网格图案指示的第二颜色的区域132中的像素执行上述图像滤波。第一颜色的区域131位于图像130的灰色区域中。第二颜色的区域132位于图像130的白色区域中。

通过在x和y方向上重复执行相邻像素的线性递归操作，第一颜色的区域131在图像130的灰色区域中被放大，如图2的B、图2的C和图2的D所示。类似地，第二颜色的区域132在图像130的白色区域中被放大。然后，在图2的D中的状态下，图像130上的区域被第一颜色的区域131和第二颜色的区域132填充。即，在图2的A中处于稀疏状态的第一颜色的区域131和第二颜色的区域132(即图像130上的区域中的稀疏部分)在图2的D中处于密集状态(图像130上的区域被填充的状态)。

以这种方式，通过执行图像滤波，可以根据用作指导的图像的结构对稀疏数据进行插值和高密度化(highly densify)。因此，图像处理装置100可以获得更准确的聚类结果。注意，如上所述，通过该滤波的“插值”不仅意味着信息的插值(缺失数据的填充)，而且还意味着根据图像结构适当地进行优化等。即通过该图像滤波获得优化的密集聚类结果。因此，图像处理装置100可以获得更准确的聚类结果。

除了上述示例之外，作为图像滤波，还可以应用在以下文献中公开的基于规则的滤波：Eduardo SLGastal和Manuel M Oliveira在ACM Transactions on Graphics(TOG)第30卷，第69页，ACM 2011年的“用于边缘感知图像和视频处理的域变换(Domain transformfor edge-aware image and video processing)”(也称为非专利文献5)；Jonathan TBarron和Ben Poole在欧洲计算机视觉会议(ECCV)，第617-632页，SpringerInternational Publishing，2016年的“快速双边解算器(The Fast Bilateral Solver)”(也称为非专利文献6)；以及Akash Bapat,Jan-Michael Frahm在IEEE计算机视觉和模式识别会议(CVPR)2019年，第6014-6023页的“域变换解算器(The Domain Transform Solver)”(也称为非专利文献7)等。此外，还可以应用在以下文献中公开的基于深度学习(深度神经网络(DNN))的滤波：Hang Su,Varun Jampani,Deqing Sun,Orazio Gallo,Erik Learned-Miller,Jan Kautz在IEEE计算机视觉和模式识别会议论文集(CVPR),2019的“像素自适应卷积神经网络(Pixel-Adaptive Convolutional Neural Networks)”(也称为非专利文献8)；Yu-Kai Huang,Tsung-Han Wu,Yueh-Cheng Liu,Winston H.Hsu在(ICCV)2019年的“具有边界一致性和自我关注的室内深度完成(Indoor depth completion with BoundaryConsistency and Self-Attention)”(也称为非专利文献9)；以及Jie Tang,Fei-PengTian,Wei Feng,Jian Li,Ping Tan在arXiv preprint arXiv:1908.01238,2019的“用于深度完成的学习引导卷积网络(Learning Guided Convolutional Network for DepthCompletion)”(也称为非专利文献10)等。

聚类单元112如上所述执行聚类，并且将稀疏信息(模型系数、聚类结果等)提供给插值处理单元113。

图3是示出通过将模型系数的一部分可视化获得的结果的示例的图。例如，图3的A所示的稀疏模型系数141从聚类单元112提供给插值处理单元113。图3的B中的模型系数142是通过放大图3的A中的模型系数141的一部分而获得的模型系数。模型系数142中指示的灰点组指示各个位置处的像素的模型系数。因此，模型系数141包括稀疏信息(部分像素的模型系数)。

图3的C是示意性地示出该稀疏模型系数141的结构的图。在图3的C中，用灰色表示的方块指示存在模型系数的像素。如该示例中所示，模型系数141包括针对预定大小的每个区域143提供的一个像素的模型系数144。例如，当区域143为4×4像素时，模型系数141的数据量是密集情况下的数据量(所有像素的模型系数)的1/16。

插值处理单元113通过使用图像信号作为指导对该稀疏模型系数141执行图像滤波。图4是示出用作该指导的图像的一部分的示例的图。例如，插值处理单元113通过使用包括在作为指导的捕获图像20中的图像151(图4的A)，对稀疏模型系数141执行图像滤波。图4的B中所示的图像152是通过放大图像151的一部分而获得的图像。

图5是示出通过使通过该图像滤波获得的模型系数的一部分可视化而获得的结果的示例的图。例如，通过插值处理单元113的图像滤波，获得图5的A所示的模型系数161。图5的B所示的模型系数162是通过放大模型系数161的一部分而获得的模型系数。通过与模型系数142(图3的B)的比较可知，模型系数162(即模型系数161)处于密集状态。

图5的C是示意性地示出该模型系数161的结构的图。在图5的C中，用灰色指示的方块指示其中存在模型系数的像素。即，在该示例的情况下，模型系数161包括所有像素的模型系数。例如，当区域163为4×4像素时，在每个区域163中存在16个像素的模型系数164。因此，模型系数161(图5的A)的数据量是模型系数141(图3的A)的数据量的16倍。

图6的A所示的聚类结果171示出了通过使用该密集模型系数161导出的聚类结果的示例。图6的B所示的聚类结果172是通过放大聚类结果171的一部分而获得的聚类结果。这样，通过执行图像滤波，从稀疏模型系数中获得密集聚类结果。

例如，在图3的C和图5的C中的结构示例的情况下，尽管用于获得稀疏模型系数141的聚类的处理时间取决于用于聚类的方法而不同，因此即使在例如简单k-means方法的情况下，当数据项数为N并且迭代次数为常数k并且处理时间是获得密集模型系数161的聚类处理时间的大约1/16时，计算量的阶O为O＝(Nk)。当考虑图像滤波的处理时间时，整个处理时间大约是通过聚类获得密集模型系数161的情况下的处理时间的1/3到1/4。即，通过如上所述应用稀疏聚类和图像滤波，图像处理装置100能够以更高的速度获得密集聚类结果。即，可以抑制处理时间的增加。

<聚类处理的流程>

将参照图7的流程图描述由这种图像处理装置1000执行的聚类处理的流程的示例。当聚类处理开始时，采样像素选择单元111在步骤S101中获得捕获图像20。

在步骤S102中，采样像素选择单元111从在步骤S101中获得的捕获图像中选择并且确定稀疏采样像素。

在步骤S103中，聚类单元112对在步骤S102中确定的稀疏采样像素进行聚类。

在步骤S104中，插值处理单元113获得捕获图像20，通过使用该捕获图像20作为指导，对通过步骤S103中的处理获得的稀疏信息(学习的模型系数和聚类结果)执行图像滤波，对该稀疏信息进行插值，并且导出密集聚类结果。

在步骤S105中，插值处理单元113输出通过步骤S104中的处理获得的密集聚类结果作为聚类结果30。当步骤S105中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置100可以抑制图像聚类的处理时间的增加。

<田地信息的使用>

例如，存在如下方法：在分析以田地为目标的植被(植被、土壤等的分类)时，通过对从天空对该田地进行成像而获得的多个捕获图像进行拼接而获得的拼接图像进行聚类。在这种情况下，不需要对除了拼接图像中包括的区域中的该田地以外的区域进行聚类。然而，通常难以执行控制，以聚焦在田地的范围上执行成像而不对田地之外进行成像，并且通过拼接捕获图像而获得的拼接图像也包括田地外的区域。因此，当将整个拼接图像作为目标进行聚类时，田地之外的区域也被聚类，因此不必要的处理可能会增加不必要的处理时间。

然后，只选择田地中的像素作为采样像素(即，田地之外的区域的像素不被选为采样像素)。田地信息(田地边界信息)是关于田地的信息，并且是例如指示作为执行图像聚类的目标区域的田地的范围的信息。因此，通过使用这样的田地信息指定捕获图像中包括的田地的区域，并且仅在该指定的田地中选择采样像素。通过这样做，可以抑制不必要的聚类的增加，并且可以抑制不必要的处理时间的增加。

<图像处理装置>

图8是示出在这种情况下的图像处理装置100的主要配置示例的框图。捕获图像20是通过对从天空对聚类处理目标田地进行成像而获得的多个捕获图像进行拼接而获得的拼接图像。如图8所示，在这种情况下，图像处理装置100除了图1所示的部件之外还包括田地区域存储单元201。

田地区域存储单元201包括存储介质，并且在该存储介质(的存储区)中存储指示处理目标田地的区域(田地区域)的信息。该指示田地区域的信息可以是任何信息。该信息可以是例如通过使用基于全球定位系统(GPS)等的坐标信息(也称为GPS坐标信息)来指示田地区域的信息、指示捕获图像20的哪个像素在该田地区域中的信息、或者这些信息以外的信息。

田地区域存储单元201将存储在田地区域存储单元201的存储介质(的存储区域)中的信息提供给采样像素选择单元111，并且响应于例如采样像素选择单元111的请求，将田地区域指示为田地信息。

采样像素选择单元111获得该田地信息，并且基于该田地信息来指定捕获图像20中包括的田地区域。例如，在通过使用GPS坐标信息来指示田地区域的田地信息的情况下，采样像素选择单元111将该田地信息与指示捕获图像的元数据等中包括的该捕获图像20的成像范围的GPS坐标信息进行比较和检查，从而指定与捕获图像20的田地区域的内部对应的像素。

例如，作为如图9的A所示的捕获图像的一部分的田地区域211是处理目标。田地区域存储单元201存储指示该田地区域211的信息，并且将该田地信息提供给采样像素选择单元111。如图9的B所示，采样像素选择单元111基于该田地信息来选择该田地区域211中的采样像素，并且省略除对田地区域211以外的区域的采样像素的选择。

在这种情况下，选择采样像素的方法也类似于图1中的情况。即，采样像素选择单元111在由田地信息指示的田地区域211中选择稀疏采样像素，并且将稀疏采样像素提供给聚类单元112。

通过这样做，作为聚类单元112的处理目标的采样像素仅包括田地区域中的像素。即，聚类单元112和插值处理单元113可以将田地区域之外的像素从处理目标中排除。因此，图像处理装置100可以抑制不必要的聚类的增加，并且抑制不必要的处理时间的增加。

<聚类处理的流程>

将参照图10的流程图描述在这种情况下的聚类处理的流程的示例。当聚类处理开始时，采样像素选择单元111在步骤S121中获得捕获图像20。此外，采样像素选择单元111从田地区域存储单元201获得田地信息。

在步骤S122中，采样像素选择单元111基于该田地信息从在步骤S121中获得的捕获图像中包括的田地区域中选择和确定稀疏采样像素。

与步骤S103至步骤S105(图7)中的每个处理类似地执行步骤S123至步骤S125中的每个处理。当步骤S125中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置100可以抑制图像聚类的处理时间的增加。

<拼接信息的使用>

例如，如上所述，在将通过对田地的一部分进行成像而获得的多个捕获图像进行拼接以生成包括整个田地的拼接图像的情况下，每个捕获图像的区域通常包括彼此交叠的部分。换言之，通常难以将成像控制成使得每个捕获图像的区域不彼此交叠。

如果在每个捕获图像中独立地选择采样像素，则可能选择多个捕获图像交叠的区域中的像素作为多个捕获图像中的每一个的采样像素。即，多个捕获图像中同一位置的像素可能被选为采样像素。如果以这种方式在多个捕获图像中的同一位置处存在多个采样像素，则针对一个位置执行多次聚类。因此，这种冗余处理可能会不必要地增加处理时间。

通过选择这样的多个捕获图像交叠的区域的捕获图像之一，并且在多个捕获图像不交叠的状态下连接每个捕获图像来生成拼接图像。即，在每个捕获图像中，拼接区域被设置成使得每个捕获图像不与其他捕获图像交叠，并且将每个捕获图像的拼接区域相互拼接，以生成拼接图像。

此外，在捕获图像包括作为聚类目标的区域的外部(例如，田地区域的外部)的情况下，这种区域中的像素可能被选择为采样像素。在这种情况下，不需要聚类的区域中的像素可能被聚类，并且不必要的处理可能会不必要地增加处理时间。

可以将上述拼接区域设置为不包括这种不必要的区域。因此，通过拼接每个捕获图像的拼接区域，可以生成不包括不是聚类处理目标的区域的拼接图像。

因此，只有在这种拼接区域中的像素被选为采样像素。即，在多个捕获图像交叠的区域中，仅在捕获图像之一中选择采样像素。此外，采样像素被选择为不包括不是聚类目标的区域中的像素。

拼接信息是包括指示每个捕获图像的这种拼接区域的信息的信息。即，拼接信息包括关于捕获图像交叠的区域的信息，并且该区域是聚类处理目标。因此，通过使用这样的拼接信息指定拼接区域，并且仅在该指定拼接区域中选择采样像素。通过这样做，可以抑制冗余聚类和不必要聚类的增加，并且抑制不必要处理时间的增加。

<图像处理装置>

图11是示出在这种情况下的图像处理装置100的主要配置示例的框图。捕获图像20是通过对从天空对聚类处理目标田地进行成像而获得的多个捕获图像进行拼接而获得的拼接图像。如图11所示，在这种情况下，图像处理装置100除了图1所示的部件之外，还包括拼接信息存储单元231。

拼接信息存储单元231包括存储介质，并且将包括指示每个捕获图像的拼接区域的信息的拼接信息存储在该存储介质(的存储区域)中。该指示拼接区域的信息可以是任何信息。该信息可以是例如通过使用GPS坐标信息来指示拼接区域的信息，或者可以是通过使用捕获图像中的坐标信息来指示拼接区域的信息。

拼接信息存储单元231响应于例如采样像素选择单元111的请求，将存储在拼接信息存储单元231的存储介质(的存储区域)中的拼接信息提供给采样像素选择单元111。

采样像素选择单元111获得该拼接信息，并且基于该拼接信息来确定每个捕获图像的拼接区域。例如，在如图12的A所示从用于生成拼接图像240的捕获图像241中选择采样像素的情况下，采样像素选择单元111基于拼接信息来指定诸如图12的B中所示的阴影部分的拼接区域(通过考虑周围环境中的捕获图像242与捕获图像243的交叠)，并且选择该拼接区域中的采样像素。

在图12的B的示例的情况下，捕获图像241与捕获图像242彼此交叠的区域是捕获图像242的拼接区域，因此在捕获图像242的处理期间选择采样像素。类似地，捕获图像241与捕获图像243彼此交叠的区域是捕获图像243的拼接区域，因此在捕获图像243的处理期间选择采样像素。

此外，例如，在如图12的A所示从用于生成拼接图像240的捕获图像244中选择采样像素的情况下，采样像素选择单元111基于拼接信息来指定诸如图12的C中所示的阴影部分的拼接区域(考虑聚类目标区域)，并且在该拼接区域中选择采样像素。

在图12的C中的示例的情况下，拼接图像240之外的捕获图像244的区域是额外拼接区域。即，在拼接图像240内的捕获图像244的区域是拼接区域。

在这种情况下，选择采样像素的方法也类似于图1的情况下的方法。即，采样像素选择单元111选择由拼接信息指示的拼接区域中的稀疏采样像素，并且将稀疏采样像素提供给聚类单元112。

通过这样做，图像处理装置100可以防止对一个位置多次执行聚类，并且防止对不必要区域进行聚类。即，图像处理装置100可以抑制冗余聚类和不必要聚类的增加，并且抑制不必要处理时间的增加。

<聚类处理的流程>

将参照图13的流程图描述在这种情况下的聚类处理的流程的示例。当聚类处理开始时，采样像素选择单元111在步骤S141中获得捕获图像20。此外，采样像素选择单元111从拼接信息存储单元231获得拼接信息。

在步骤S142中，采样像素选择单元111基于该拼接信息从在步骤S141中获得的捕获图像的拼接区域中选择并且确定稀疏采样像素。

与步骤S103至步骤S105(图7)中的每个处理类似地执行步骤S143至步骤S145中的每个处理。当步骤S145中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置100可以抑制图像聚类的处理时间的增加。

<平坦区域信息的使用>

通常，捕获图像的角落或边缘部分是具有彼此不同类别的像素彼此接触的部分，并且难以确定从哪个相邻像素传播颜色。即，平坦区域在聚类准确度上高于角落或边缘。

因此，在平坦区域中选择采样像素，使得可以对平坦区域中的像素进行聚类。即，通过使用作为关于平坦区域的信息的平坦区域信息来指定捕获图像的平坦区域，并且在该平坦区域中选择采样像素。通过这样做，可以获得更准确的聚类结果。

<图像处理装置>

图14是示出在这种情况下的图像处理装置100的主要配置示例的框图。如图14所示，在这种情况下，图像处理装置100除了图1所示的部件之外还包括平坦区域检测单元261。

平坦区域检测单元261执行与平坦区域的检测相关的处理。例如，平坦区域检测单元261获得捕获图像20。

该捕获图像20可以与提供给采样像素选择单元111的捕获图像(即，要聚类的捕获图像)或者提供给插值处理单元113的捕获图像(即，用作指导的捕获图像)相同，或者可以是其时间和范围与要聚类的捕获图像和用作指导的捕获图像的时间和范围是基本相同的时间和基本相同的范围并且是与要聚类的捕获图像和用作指导的捕获图像不同的捕获图像。例如，捕获图像20可以是通过与用于获得要聚类的捕获图像和用作指导的捕获图像而进行成像时基本上相同的时间和基本上相同的视角进行的另一次成像获得的另一捕获图像。例如，可以将可见光(RGB)的波长范围的捕获图像20提供给采样像素选择单元111和插值处理单元113，并且可以将通过对诸如近红外线的不可见光的波长范围进行成像而获得的捕获图像20提供给平坦区域检测单元261。

此外，平坦区域检测单元261检测该捕获图像的平坦区域。此外，平坦区域检测单元261将作为指示检测到的平坦区域的信息的平坦区域信息提供给采样像素选择单元111。

采样像素选择单元111获得该平坦区域信息，并且基于该平坦区域信息选择捕获图像20中包括的平坦区域中的采样像素。在这种情况下，选择采样像素的方法也类似于图1中的情况的方法。即，采样像素选择单元111选择平坦区域中的稀疏采样像素，并且将稀疏采样像素提供给聚类单元112。

通过这样做，图像处理装置100可以获得更准确的聚类结果。

<聚类处理的流程>

将参照图15的流程图描述在这种情况下的聚类处理的流程的示例。当聚类处理开始时，采样像素选择单元111在步骤S161中获得捕获图像20。

在步骤S162中，平坦区域检测单元261获得捕获图像20，并且检测该捕获图像20的平坦区域。

在步骤S163中，采样像素选择单元111从在步骤S161中获得的捕获图像中的在步骤S162中检测到的平坦区域中选择并且确定稀疏采样像素。

与步骤S103至步骤S105(图7)中的每个处理类似地执行步骤S164至步骤S166中的每个处理。当步骤S166中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置100可以获得更准确的聚类结果。

<多条信息的使用>

尽管上面已经描述了图像处理装置100通过使用辅助信息、拼接信息和平坦区域信息之一来选择采样像素，但是图像处理装置100不限于此，并且例如可以通过使用田地信息、拼接信息和平坦区域信息中的至少两条或多条信息来选择采样像素。通过这样做，可以获得在使用每个信息的情况下的效果。当然，图像处理装置100可以通过使用这些信息中的一条或更多条以及除上述信息之外的信息来选择采样像素。

<2.第二实施方式>

<广域聚类和稀疏局部聚类>

根据图像聚类，例如通过使用作为在广域(也称为全局区域)中对稀疏像素进行聚类的广域聚类而获得的信息，可以执行作为在局部区域(也称为局部地区)中的像素进行聚类的局部聚类。

例如，如图16的右侧所示，对通过对田地成像而获得的多个捕获图像271(的拼接区域)进行拼接而获得的拼接图像270(整个田地的捕获图像)进行聚类以分析该田地的植被。

根据这样的聚类，整个田地(整个拼接图像270)是广域，并且广域聚类作为对该广域(即，整个拼接图像270)的先验学习来执行。例如，从整个拼接图像270(整个广域)中选择稀疏广域采样像素272(图16中的白色圆圈)作为广域采样像素，即广域聚类目标采样像素。然后，广域采样像素272被聚类(即，广域聚类)。

接下来，将每个捕获图像271(帧图像)设置为局部区域，并且通过使用通过广域聚类获得的信息(例如，学习的模型、聚类结果等)对每个捕获图像271执行局部聚类作为附加学习。例如，在捕获图像271A是处理目标的情况下，从该捕获图像271A中选择局部采样像素，作为作为局部聚类目标采样像素的局部采样像素。此外，局部采样像素被聚类(即局部聚类)。

注意，局部采样像素也可以从处理目标捕获图像271A周围的捕获图像(例如，在捕获图像271A之前的一个先前处理过的捕获图像271B、在捕获图像271A之后的一个随后的捕获图像271C等)中选择。此外，可以通过使用通过对一个先前捕获图像的附加学习获得的信息(即，通过对捕获图像271B的局部聚类获得的信息(例如，学习的模型、聚类结果等))来执行该附加学习(即可以执行顺序学习)。

通过以这种方式使用广域聚类获得的信息，可以使用一次估计的模型，使得可以在局部聚类期间高速获得稳定(或者几乎不受初始值波动影响)的模型。此外，在广域聚类期间，也可以通过以稀疏采样像素为目标来高速获得聚类结果。因此，可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

第一实施方式中描述的本技术被应用于这种聚类方法。例如，根据上述的局部聚类，对稀疏局部采样像素进行聚类，通过该聚类获得的稀疏信息(例如，学习的模型、聚类结果等)通过使用图像信号作为指导的图像滤波进行插值，从而导出密集聚类结果。通过这样做，如在第一实施方式中描述的可以抑制局部聚类的处理时间的增加。

<图像处理装置>

图17是示出这种情况下的图像处理装置的主要配置示例的框图。

图17所示的图像处理装置300是与图像处理装置100类似地执行图像聚类的装置。即，图像处理装置300接收捕获图像20作为输入，对该捕获图像20执行图像聚类，并且输出该图像聚类的聚类结果30。

与第一实施方式的情况类似，捕获图像20可以是例如通过拼接多个捕获图像(P1至Pn)而获得的拼接图像。此外，捕获图像20可以是包括多个帧图像的运动图像。此外，捕获图像20可以是通过将多个捕获图像整合为一个图像而获得的文件(捕获图像组)，或者可以是一个捕获图像。当然，捕获图像20可以是除捕获图像以外的图像(例如，CG图像等)。此外，该捕获图像20可以是可见光(RGB)的波长范围的图像，或者可以是通过对诸如近红外光的不可见光的波长范围进行成像而获得的图像。此外，捕获图像20可以是这两种图像。

在下面的描述中，假设捕获图像20对应于通过拼接通过对如图16的示例中的部分田地进行成像而获得的捕获图像271而获得的拼接图像270，并且假设捕获图像20对应于整个田地。此外，以下描述将描述广域(全局区域)是该整个拼接图像270，而局部区域(localarea)是每个捕获图像271(与一帧对应的捕获图像)。

注意，图17示出了主要元素，例如处理单元和数据流，并且图17中示出的元素不一定是全部。即，在该图像处理装置300中，可以存在未在图17中示出为块的处理单元，或者可以存在未在图17中示出为箭头等的处理或数据流。

如图17所示，图像处理装置300包括先验学习单元311、附加学习单元312和系数存储单元313。

先验学习单元311对广域(例如，整个捕获图像20)执行图像聚类(广域聚类)作为先验学习。在这种情况下，先验学习单元311对稀疏像素执行广域聚类。先验学习单元311包括采样像素选择单元321和聚类单元322。

采样像素选择单元321执行与作为广域聚类目标像素的广域采样像素的选择相关的处理。例如，采样像素选择单元321获得捕获图像20。此外，采样像素选择单元321从该捕获图像20中选择广域采样像素，使得该广域采样像素处于稀疏状态。

采样像素选择单元321将选择的稀疏广域采样像素提供给聚类单元322。

聚类单元322执行与广域聚类相关的处理。例如，聚类单元322获得从采样像素选择单元321提供的稀疏广域采样像素。聚类单元322对作为处理目标的这些获得的稀疏广域采样像素执行广域聚类(先验学习)。该广域聚类方法是任意的。例如，可以将高斯混合模型(GMM)、k-means方法等应用于先验学习。

聚类单元322将通过该先验学习(广域聚类)获得的信息例如先验学习的模型系数、广域聚类结果等提供给系数存储单元313。

此外，作为通过使用通过先前学习获得的信息作为初始值来执行的附加学习，附加学习单元312通过使用通过广域聚类获得的信息作为初始值对局部区域(例如，每个拼接的捕获图像)来执行图像聚类(局部聚类)。与图像处理装置100类似，附加学习单元312对稀疏采样像素进行聚类，通过使用捕获图像20作为指导，对通过该聚类获得的稀疏信息执行图像滤波，从而导出密集聚类结果。

类似于图像处理装置100(图1)，附加学习单元312包括采样像素选择单元111、聚类单元112和插值处理单元113。

与图1中的情况类似，采样像素选择单元111执行与稀疏采样像素的选择相关的处理。例如，采样像素选择单元111获得捕获图像20。在这种情况下，整个拼接图像可以被提供给采样像素选择单元111，或者构成拼接图像的每个捕获图像(帧图像)可以被一一提供给采样像素选择单元111。

采样像素选择单元111从每个捕获图像(局部区域)中选择稀疏采样像素(局部采样像素)。在这种情况下，采样像素选择单元111可以选择处理目标捕获图像周围的捕获图像(局部区域)，例如，一个先前处理目标捕获图像(局部区域)和一个后续处理目标捕获图像(局部区域)，作为局部采样像素选择目标。即，采样像素选择单元111可以从处理目标局部区域或处理目标局部区域周围的局部区域中选择稀疏局部采样像素。

采样像素选择单元111将选择的局部采样像素提供给聚类单元112。

类似于图1中的情况，聚类单元112对这些稀疏局部采样像素执行局部聚类，并且将获得的稀疏信息(例如，附加学习的模型系数、广域聚类结果等)提供给插值处理单元113。在这点上，在这种情况下，聚类单元112获得通过存储在系数存储单元313中的先验学习(广域聚类)获得的信息，例如先验学习的模型系数、广域聚类结果等，将通过该先验学习获得的信息(先验学习的模型系数、广域聚类结果等)设置为初始值，并且执行局部聚类。

即，聚类单元112获得从采样像素选择单元111提供的稀疏局部采样像素。此外，聚类单元112提供存储在系数存储单元313中并且通过先验学习(广域聚类)获得的稀疏信息(例如，先验学习的模型系数、广域聚类结果等)。聚类单元112将这些获得的稀疏采样设置为处理目标，将通过该先验学习获得的信息(先验学习的模型系数、广域聚类结果等)设置为初始值，并且执行局部聚类作为附加学习。聚类单元112将通过该附加学习(局部聚类)获得的稀疏信息(例如，附加学习的模型系数、局部聚类结果等)提供给插值处理单元113。

注意，聚类单元112还可以通过使用通过对一个先前处理目标局部区域执行局部聚类(先前局部聚类)获得的信息来对当前处理目标局部区域执行局部聚类(当前局部聚类)。即，聚类单元112可以通过使用先前学习模型、学习结果等作为附加学习来执行顺序学习。

在这种情况下，聚类单元112使系数存储单元313保存通过顺序学习获得的信息(例如，顺序学习的模型系数、局部聚类结果等)。即，聚类单元112从系数存储单元313获得通过先验学习获得的信息，此外，还获得通过先前顺序学习获得的信息，并且执行局部聚类(顺序学习)。此外，聚类单元112将通过该顺序学习获得的信息(例如，顺序学习的模型系数、局部聚类结果等)提供给插值处理单元113，并且将该信息提供至系数存储单元313并存储在系数存储单元313中。存储在该系数存储单元313中的信息用于下一个顺序学习(用于下一个处理目标局部区域的局部聚类)。

根据这种顺序学习，可以在局部区域中高速导出反映广域聚类结果和相邻局部区域的聚类结果的聚类结果。因此，可以在抑制图像聚类的鲁棒性降低的同时，抑制处理时间的增加。

换言之，在不执行上述顺序学习作为附加学习的情况下，可以省略将附加学习获得的信息(附加学习的模型系数，局部聚类结果等)提供(即，即图17中的箭头341)给系数存储单元313。

与图1中的情况类似，插值处理单元113执行与稀疏信息的插值相关的处理。例如，插值处理单元113获得从聚类单元112提供的稀疏信息(附加学习的模型系数、聚类结果等)。此外，插值处理单元113通过使用图像信号作为指导对该稀疏信息执行图像滤波(插值处理)，并且导出密集聚类结果作为局部聚类结果。插值处理单元113将通过该插值处理获得的聚类结果30(密集聚类结果)作为图像处理装置100的图像处理结果输出到图像处理装置100的外部。

系数存储单元313获得从先验学习单元311(的聚类单元322)提供并且通过先验学习获得的信息(先验学习的模型系数和广域聚类结果)，并且将该信息存储在系数存储单元313的存储介质(的存储区域)中。此外，在附加学习单元312执行顺序学习的情况下，系数存储单元313获得从该附加学习单元312(的聚类单元112)提供并且通过顺序学习获得的信息(顺序学习的模型系数和广域聚类结果)，并且将信息存储在系数存储单元313的存储介质(的存储区域)中。此外，系数存储单元313基于例如聚类单元112的请求将通过先验学习获得的信息以及通过顺序学习获得并且存储在系数存储单元313的存储介质(的存储区域)中的信息提供给聚类单元112。

图像处理装置300采用这样的配置，并且可以使用通过广域聚类获得的信息来使用一次估计的模型，从而可以在局部聚类期间高速获得稳定(或者几乎不受初始值的波动影响)的模型。此外，图像处理装置100可以对作为目标的稀疏采样像素执行广域聚类，并且高速获得聚类结果。此外，图像处理装置100使用图像作为指导对通过该局部采样获得的稀疏信息执行图像滤波，从而高速导出密集聚类结果。因此，图像处理装置300可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

<聚类处理的流程>

将参照图18的流程图描述在这种情况下的聚类处理的流程的示例。当聚类处理开始时，在步骤S201中，先验学习单元311的采样像素选择单元321设置全局区域(广域)的图像作为全局图像，并且获得拼接图像的捕获图像20(例如拼接图像270)。

在步骤S202中，采样像素选择单元321从在步骤S201中获得的全局图像中选择并且确定稀疏广域采样像素。

在步骤S203中，聚类单元322对在步骤S202中确定的稀疏广域采样像素执行广域聚类作为先验学习。

在步骤S204中，系数存储单元313存储通过在步骤S203中执行的先验学习获得的信息(例如，先验学习的模型系数或广域聚类结果)。

在步骤S205中，附加学习单元312的采样像素选择单元111从包括在步骤S201中获得的全局图像中的多个局部图像(局部区域(local area)的图像)中获得处理目标局部图像。此外，采样像素选择单元111从该处理目标局部图像中选择和确定稀疏局部采样像素。

在步骤S206中，聚类单元112对在步骤S205中确定的稀疏局部采样像素执行局部聚类作为附加学习。在这种情况下，聚类单元112通过使用存储在系数存储单元313中并且通过先验学习获得的信息以及通过先前附加学习(顺序学习)获得的信息来执行顺序学习。

在步骤S207中，系数存储单元313存储通过在步骤S206中执行的附加学习(顺序学习)获得的信息(例如，先验学习的模型系数或局部聚类结果)。

在步骤S208中，插值处理单元113获得捕获图像20，通过使用该捕获图像20作为指导，对通过步骤S206中的处理获得的稀疏信息(附加学习的模型系数和聚类结果)执行图像滤波，对该稀疏信息进行插值，并且导出密集聚类结果。

在步骤S209中，附加学习单元312确定是否已经对所有局部图像执行了附加学习。在确定存在未处理的局部图像的情况下，处理返回到步骤S205，以针对作为处理目标的下一个局部图像执行后续处理。即，针对每个局部图像执行步骤S205至步骤S209中的每个处理。在步骤S209中确定已经处理了所有局部图像的情况下，处理进行到步骤S210。

在步骤S210中，插值处理单元113输出如上所述优化的聚类结果30。当步骤S210中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置300可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

换言之，注意，在不执行顺序学习作为附加学习的情况下，可以省略步骤S207中的处理。此外，在步骤S206中，聚类单元112通过使用存储在系数存储单元313中并且通过先验学习获得的信息来执行附加学习。

<广域采样像素参考>

注意，可以通过考虑广域采样像素的选择结果来选择局部采样像素。例如，可以从广域采样像素以外的像素中选择局部采样像素。即，可以从局部采样像素候选中排除广域采样像素。

此外，在附加学习单元312(聚类单元112)通过使用通过先前局部聚类获得的信息来执行顺序学习作为用于执行当前局部聚类的附加学习的情况下，采样像素选择单元111可以通过考虑先前局部采样像素的选择结果进一步选择当前局部采样像素。例如，当前局部采样像素可以从不同于先前局部采样像素的像素中选择。即，可以从当前局部采样像素候选中排除先前局部采样像素。

如上所述，通过在附加学习期间排除广域采样像素并且执行局部聚类，可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。此外，通过在顺序学习期间排除先前局部采样像素并且执行当前局部聚类，可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。因此，可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

<图像处理装置>

图19是示出在这种情况下的图像处理装置300的主要配置示例的框图。如图19所示，这种情况下的图像处理装置300除了图17的示例中的部件之外还包括采样像素存储单元351。

在这种情况下，先验学习单元311的采样像素选择单元321将选择的广域采样像素提供给聚类单元322，并且还将选择的广域采样像素提供给采样像素存储单元351。

采样像素存储部351包括存储介质，并且执行与采样像素的存储相关的处理。例如，采样像素存储单元351获得从先验学习单元311(的采样像素选择单元321)提供的广域采样像素，并且将广域采样像素存储在采样像素存储单元351的存储介质(的存储区域)中。

此外，采样像素存储单元351基于例如采样像素选择单元111的请求将存储在采样像素存储单元351的存储介质(的存储区域)中的广域采样像素提供给采样像素选择单元111。

在这种情况下，采样像素选择单元111获得存储在采样像素存储单元351中的广域采样像素。采样像素选择单元111从处理目标局部区域(帧图像)中的这些广域采样像素之外的像素中选择稀疏局部采样像素，并且将稀疏局部采样像素提供给聚类单元112。通过这样做，聚类单元112可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。

注意，在附加学习单元312执行顺序学习的情况下，附加学习单元312的采样像素选择单元111将选择的局部采样像素提供给聚类单元112，并且还将选择的局部采样像素提供给采样像素存储单元351。

在这种情况下，采样像素存储单元351获得从该附加学习单元312(的采样像素选择单元111)提供的局部采样像素，并且将信息存储在采样像素存储单元351的存储介质(的存储区域)中。此外，采样像素存储单元351基于例如采样像素选择单元111的请求将存储在采样像素存储单元351的存储介质(的存储区域)中的广域采样像素和先前局部采样像素提供给采样像素选择单元111。

然后，采样像素选择单元111从采样像素存储单元351获得这些广域采样像素和先前局部采样像素。采样像素选择单元111从处理目标局部区域(帧图像)中的除了这些广域采样像素和先前局部像素之外的像素中选择稀疏局部采样像素，并且将稀疏局部采样像素提供给聚类单元112。通过这样做，聚类单元112可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。

换言之，在不执行上述顺序学习作为附加学习的情况下，可以省略将局部采样像素提供(即，图19中的箭头361)给采样像素存储单元351。

<聚类处理的流程>

将参照图20的流程图来描述在这种情况下由图像处理装置300执行的聚类处理的流程的示例。当聚类处理开始时，与步骤S201和步骤S202中的每个处理类似地执行步骤S251和步骤S252(图18)中的每个处理。

在步骤S253中，采样像素存储单元351存储在步骤S252中确定的稀疏广域采样像素。

当步骤S253中的处理结束时，与步骤S203和步骤S204(图18)中的每个处理类似地执行步骤S254和步骤S255中的每个处理。

在步骤S256中，附加学习单元312的采样像素选择单元111从在步骤S251中获得的全局图像中包括的局部图像组中获得处理目标局部图像。此外，采样像素选择单元111从该处理目标局部图像中的广域采样像素和先前局部采样像素之外的像素中选择稀疏局部采样像素。

在步骤S257中，采样像素存储单元351存储在步骤S256中确定的稀疏局部采样像素(当前局部采样像素)。

当步骤S257结束时，与步骤S206至步骤S208(图18)中的每个处理类似地执行步骤S258至步骤S260中的每个处理。

在步骤S261中，附加学习单元312确定是否已经对所有局部图像执行了附加学习。在确定存在未处理的局部图像的情况下，处理返回到步骤S256，以针对作为处理目标的下一个局部图像执行后续处理。即，针对每个局部图像执行步骤S256至步骤S261中的每个处理。在步骤S261中确定已经处理了所有局部图像的情况下，处理进行到步骤S262。

在步骤S262中，插值处理单元113输出如上所述优化的聚类结果30。当步骤S262中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置300可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

换言之，注意，在不执行顺序学习作为附加学习的情况下，可以省略步骤S255和步骤S259中的处理。此外，在步骤S256中，采样像素选择单元111通过使用存储在采样像素存储单元351中的广域采样像素来选择采样像素。此外，在步骤S258中，聚类单元112通过使用存储在系数存储单元313中并且通过先验学习获得的信息来执行附加学习。

<其他部件>

注意，先验学习单元311可以是图17中的图像处理装置300中的另一装置的部件。即，图像处理装置300可以包括附加学习单元312和系数存储单元313。在这种情况下，系数存储单元313获得并且存储由另一装置的先验学习单元311获得的稀疏信息(先验学习的模型系数、聚类结果等)。此外，附加学习单元312通过使用存储在系数存储单元313中并且由另一装置(的先验学习单元311)获得的稀疏信息对稀疏局部采样像素执行局部聚类。

此外，先验学习单元311和系数存储单元313可以是图17中的图像处理装置300中的另一装置的部件。即，图像处理装置300可以包括附加学习单元312。在这种情况下，附加学习单元312通过使用存储在另一装置(的系数存储单元313)中并且由另一装置(的先验学习单元311)获得的稀疏信息对稀疏局部采样像素进行局部聚类。

在这两种情况下，类似于图17中的情况，图像处理装置300可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

此外，先验学习单元311可以是图19中的图像处理装置300中的另一装置的部件。即，图像处理装置300可以包括附加学习单元312、系数存储单元313和采样像素存储单元351。在这种情况下，系数存储单元313获得并且存储由另一装置(的先验学习单元311)获得的稀疏信息(先验学习的模型系数、聚类结果等)。此外，采样像素存储单元351获得并且存储由另一装置(的先前学习单元311)选择的稀疏广域采样像素。此外，附加学习单元312基于存储在采样像素存储单元351中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择稀疏局部采样像素，并且通过使用存储在系数存储单元313中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的稀疏局部采样像素执行局部聚类。

此外，先验学习单元311和系数存储单元313可以是图19中的图像处理装置300中的另一装置的部件。即，图像处理装置300可以包括附加学习单元312和采样像素存储单元351。在这种情况下，采样像素存储单元351获得并且存储由另一装置(的先验学习单元311)选择的广域采样像素。此外，附加学习单元312基于存储在采样像素存储单元351中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择稀疏局部采样像素，并且通过使用存储在另一装置(的系数存储单元313)中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的稀疏局部采样像素执行局部聚类。

此外，先验学习单元311和采样像素存储单元351可以是图19中的图像处理装置300中的另一装置的部件。即，图像处理装置300可以包括附加学习单元312和系数存储单元313。在这种情况下，系数存储单元313获得并且存储由另一装置(的先验学习单元311)获得的信息(先验学习的模型系数、聚类结果等)。此外，附加学习单元312基于存储在另一装置的(采样像素存储单元351)中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择稀疏局部采样像素，并且通过使用存储在系数存储单元313中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的稀疏局部采样像素执行局部聚类。

此外，先验学习单元311、系数存储单元313和采样像素存储单元351可以是图19中的图像处理装置300中的另一装置的部件。即，图像处理装置300可以包括附加学习单元312。在这种情况下，附加学习单元312基于存储在另一装置(的采样像素存储单元351)中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择稀疏局部采样像素，并且通过使用存储在另一装置(的系数存储单元313)中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的稀疏局部采样像素执行局部聚类。

在这两种情况下，类似于图19中的情况，图像处理装置300可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

当然，在这些情况中的每一种情况下，类似于图17和19中的情况，附加学习单元312可以执行上述顺序学习作为附加学习。

此外，图像处理装置300可以通过使用在第一实施方式中描述的田地信息、拼接信息和平坦区域信息中的至少一条或更多条信息来选择局部采样像素。通过这样做，可以获得在每个信息用于附加学习的情况下的效果。当然，图像处理装置300可以通过使用这些信息中的一条或更多条信息以及除上述信息之外的信息来选择采样像素。

注意，尽管本实施方式描述了捕获图像20是拼接图像的情况，但是本实施方式不限于此，并且捕获图像20可以是包括多个帧图像的运动图像，可以是通过将多个捕获图像整合为一个图像而获得的文件(捕获图像组)，或者可以是一个捕获图像。当然，捕获图像20可以是捕获图像以外的图像(例如，CG图像等)。此外，该捕获图像20可以是可见光(RGB)的波长范围的图像，或者可以是通过对诸如近红外光的不可见光的波长范围进行成像而获得的图像。此外，捕获图像20可以是这两种图像。

此外，广域(全局区域)可以不是整个捕获图像20，或者局部区域(local area)可以不是对应于一帧的捕获图像。局部区域可以是广域中比广域窄的区域。只要适用，广域和局部区域中的每一个可以是捕获图像20中的任何区域。

<3.第三实施方式>

<广域聚类和密集局部聚类>

如第二实施方式中所述，根据图像聚类，可以通过使用例如通过稀疏广域采样像素的广域聚类获得的稀疏信息来执行局部聚类。然后，可以对处于密集状态的局部采样像素执行该局部聚类。即，不是对稀疏局部采样像素执行局部聚类，而是如第二实施方式中那样对获得的稀疏信息执行使用图像信号作为指导的图像滤波，从而导出密集聚类结果，可以对处于密集状态的局部采样像素执行局部聚类。

在这种情况下，也与第二实施方式的情况类似，可以使用通过广域聚类估计一次的模型，从而可以在局部聚类期间高速获得稳定(或者几乎不受初始值波动影响)的模型。此外，在广域聚类期间，也可以通过以稀疏采样像素为目标高速获得聚类结果。因此，可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

<图像处理装置>

图21是示出这种情况下的图像处理装置的主要配置示例的框图。图21所示的图像处理装置400是与图像处理装置300类似地执行图像聚类的装置。即，图像处理装置400接收捕获图像20作为输入，对该捕获图像20执行图像聚类，并且输出该图像聚类的聚类结果30。

与第二实施方式的情况类似，捕获图像20可以是例如通过拼接多个捕获图像(P1至Pn)而获得的拼接图像。此外，捕获图像20可以是包括多个帧图像的运动图像。此外，捕获图像20可以是通过将多个捕获图像整合为一个图像而获得的文件(捕获图像组)，或者可以是一个捕获图像。当然，捕获图像20可以是捕获图像以外的图像(例如，CG图像等)。此外，该捕获图像20可以是可见光(RGB)的波长范围的图像，或者可以是通过对诸如近红外光的不可见光的波长范围进行成像而获得的图像。此外，捕获图像20可以是这两种图像。

在下面的描述中，假设捕获图像20对应于通过拼接通过对如图16的示例中的部分田地进行成像而获得的捕获图像271而获得的拼接图像270，并且捕获图像20对应于整个田地。此外，以下描述将描述广域(全局区域)是该整个拼接图像270，并且局部区域(localarea)是每个捕获图像271(与一帧对应的捕获图像)。

注意，图21示出了主要元素，例如处理单元和数据流，并且图21中示出的元素不一定是全部。即，在该图像处理装置400中，可以存在未在图21中示出为块的处理单元，或者可以存在未在图21中示出为箭头等的处理或数据流。

如图21所示，图像处理装置400包括与图像处理装置300(图17)类似的先验学习单元311、附加学习单元312和系数存储单元313。

与图像处理装置300(图17)的情况类似，先验学习单元311包括采样像素选择单元321和聚类单元322，并且对稀疏广域采样像素执行广域聚类作为先验学习，并且将通过该先验学习获得的信息提供给系数存储单元313。通过该先验学习得到的信息是通过广域聚类获得的信息，并且对应于每个采样像素(即稀疏状态)。例如，该信息可以是先验学习的模型系数，可以是聚类结果，或者可以是学习的模型系数和聚类结果二者。

系数存储单元313采用类似于图像处理装置300(图17)的配置，并且存储从先验学习单元311提供的稀疏信息(例如，先验学习的模型系数、广域聚类结果等)。此外，系数存储单元313响应于例如附加学习单元312(的聚类单元412)的请求，将存储的稀疏信息提供给附加学习单元312(的聚类单元412)。

与图像处理装置300(图17)的情况类似，附加学习单元312通过使用通过先验学习获得的稀疏信息(例如，先验学习的模型系数、广域聚类结果等)的初始值来执行附加学习。在这点上，在这种情况下的附加学习单元312执行局部聚类作为对密集局部采样像素的附加学习，并且导出密集聚类结果。

这种局部聚类方法是任意的。例如，结构约束的高斯混合模型(SC-GMM)可以应用于这种附加学习。根据SC-GMM，导出考虑图像结构信息进行颜色空间中的聚类的优化。例如，使用纹理或边缘的结构来获得像素之间的相邻关系，并且基于该相邻关系执行分类。通过这样做，可以执行更准确的聚类。

如图21所示，这种情况下的附加学习单元312包括采样像素选择单元411、聚类单元412和优化单元413。

采样像素选择单元411执行与局部采样像素的选择相关的处理。例如，采样像素选择单元411获得捕获图像20。在这种情况下，可以将整个拼接图像提供给采样像素选择单元411，或者可以将构成拼接图像的每个捕获图像(帧图像)一一提供给采样像素选择单元411。

此外，采样像素选择单元411选择每个捕获图像(局部区域)的部分或全部像素作为局部采样像素。在这种情况下，采样像素选择单元411选择局部采样像素，使得局部采样像素处于密集状态。注意，采样像素选择单元411选择处理目标捕获图像的周围的捕获图像(局部区域)，例如一个先前处理目标捕获图像(局部区域)和一个后续处理目标捕获图像(局部区域)作为局部采样像素选择目标。即，采样像素选择单元411可以从处理目标局部区域或处理目标局部区域周围的局部区域中选择密集局部采样像素。

采样像素选择单元411将选择的密集局部采样像素提供给聚类单元412。

聚类单元412进行与局部聚类相关的处理。例如，聚类单元412获得从采样像素选择单元411提供的密集局部采样像素。此外，聚类单元412提供存储在系数存储单元313中并且通过先验学习(广域聚类)获得的稀疏信息(例如，先前学习的模型系数、广域聚类结果等)。

聚类单元412将通过该先验学习获得的稀疏信息设置为初始值，并且执行作为密集局部采样的局部聚类。聚类单元412将通过该附加学习(密集局部采样像素的局部聚类)获得的信息提供给优化单元413。通过该附加学习获得的信息是通过局部聚类获得的信息，并且对应于每个采样像素(即处于密集状态)。例如，该信息可以是附加学习的模型系数，可以是聚类结果，或者可以是学习的模型系数和聚类结果二者。

注意，聚类单元412还可以通过使用通过对一个先前处理目标局部区域执行局部聚类(先前局部聚类)获得的信息来对当前处理目标局部区域执行局部聚类(当前局部聚类)。即，聚类单元412可以执行使用先前学习模型、聚类结果等作为附加学习的顺序学习。

在这种情况下，聚类单元412使系数存储单元313保存通过顺序学习获得的密集信息(例如，顺序学习的模型系数、局部聚类结果等)。此外，聚类单元412从系数存储单元313获得通过先前学习获得的稀疏信息，此外，还获得通过先前顺序学习获得的密集信息，并且执行局部聚类(顺序学习)。此外，聚类单元412将通过该顺序学习获得的信息(例如，顺序学习的模型系数、局部聚类结果等)提供给优化单元413，并且将该信息提供并且存储到系数存储单元313中。存储在该系数存储单元313中的信息用于下一个顺序学习(针对下一个处理目标局部区域的局部聚类)。

根据这种顺序学习，可以在局部区域中高速导出反映广域聚类结果和相邻局部区域的聚类结果的聚类结果。因此，可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

换言之，在不执行上述顺序学习作为附加学习的情况下，可以省略将通过附加学习获得的信息(即附加学习的模型系数、局部聚类结果等)提供给系数存储单元313。

优化单元413执行与聚类结果的优化相关的处理。例如，优化单元413获得从聚类单元412提供并且通过附加学习获得的信息(例如，附加学习的模型系数、局部聚类结果等)。此外，优化单元413获得捕获图像20。

该捕获图像20可以与提供给采样像素选择单元321和采样像素选择单元411的捕获图像20(即，要聚类的捕获图像)相同，或者可以是其时间和范围与要聚类的捕获图像的基本上相同的时间和基本上相同的范围并且与要聚类的捕获图像不同的捕获图像。例如，捕获图像20可以是通过与用于获得要聚类的捕获图像的成像基本上相同的时间和基本上相同的视角的另一次成像而获得的另一个捕获图像。例如，可见光(RGB)的波长范围的捕获图像20可以被提供给采样像素选择单元321和采样像素选择单元411，并且通过对诸如近红外线的不可见光的波长范围进行成像而获得的捕获图像20可以提供给优化单元413。

优化单元413通过使用该捕获图像20来优化通过附加学习获得的密集信息，并且导出优化的密集聚类结果。例如，优化单元413通过考虑该捕获图像20的图像结构信息(纹理或边缘的结构)来获得像素之间的相邻关系，并且基于该相邻关系来优化模型系数和聚类结果。

优化单元413将通过该处理获得的聚类结果30(即，已经对其执行优化处理的聚类结果)作为图像处理装置400的图像处理结果输出到图像处理装置400的外部。

图像处理装置400采用这样的配置，使得可以通过使用通过广域聚类一次估计的模型来执行局部聚类。因此，图像处理装置400可以在局部聚类期间高速获得稳定(或几乎不受初始值波动影响)的模型。此外，图像处理装置400采用这样的配置，使得还可以在广域聚类期间通过以稀疏采样像素为目标来高速获得聚类结果。因此，图像处理装置400可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

图22的A所示的聚类结果431示出了由图像处理装置400导出的聚类结果的示例。此外，图22的B所示的聚类结果432示出了由图像处理装置300导出的聚类结果的示例。即，各图像处理装置可以获得基本相似的聚类结果。即，与图像处理装置300的情况类似，图像处理装置400可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

<聚类处理的流程>

将参照图23的流程图来描述由该图像处理装置400执行的聚类处理的流程的示例。当聚类处理开始时，与步骤S201至步骤S204(图18)中的每个处理类似地执行步骤S301至步骤S304中的每个处理。

在步骤S305中，附加学习单元312的采样像素选择单元411从在步骤S301中获得的全局图像中包括的局部图像组中获得处理目标局部图像。此外，采样像素选择单元411从该处理目标局部图像中选择并且确定密集局部采样像素。

在步骤S306中，聚类单元412对在步骤S305中确定的密集局部采样像素执行局部聚类作为附加学习。在这种情况下，聚类单元412通过使用存储在系数存储单元313中并且通过先验学习获得的信息以及通过先前附加学习(顺序学习)获得的信息来执行顺序学习。

在步骤S307中，系数存储单元313存储通过在步骤S306中执行的附加学习(顺序学习)获得的信息(例如，先验学习的模型系数或局部聚类结果)。

在步骤S308中，优化单元413存储通过在步骤S306中执行的附加学习(顺序学习)获得的信息(例如，附加学习的模型系数和局部聚类结果)，并且导出优化的聚类结果。

在步骤S309中，附加学习单元312确定是否已经对所有局部图像执行了附加学习。在确定存在未处理的局部图像的情况下，处理返回到步骤S305，以针对作为处理目标的下一个局部图像执行后续处理。即，针对每个局部图像执行步骤S305至步骤S309中的每个处理。在步骤S309中确定已经处理了所有局部图像的情况下，处理进行到步骤S310。

在步骤S310中，优化单元413输出如上所述优化的聚类结果30。当步骤S310中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置400可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

换言之，注意，在不执行顺序学习作为附加学习的情况下，可以省略步骤S307中的处理。此外，在步骤S306中，聚类单元412通过使用存储在系数存储单元313中并且通过先验学习获得的信息来执行附加学习。

<广域采样像素的参考>

注意，类似于第二实施方式中描述的图像处理装置300的情况，可以通过考虑广域采样像素的选择结果来选择局部采样像素。例如，可以从广域采样像素以外的像素中选择局部采样像素。即，可以从局部采样像素候选中排除广域采样像素。

此外，在附加学习单元312(聚类单元412)通过使用通过先前局部聚类获得的信息来执行顺序学习作为用于执行当前局部聚类的附加学习的情况下，采样像素选择单元411可以进一步通过考虑先前局部采样像素的选择结果来选择当前局部采样像素。例如，当前局部采样像素可以从不同于先前局部采样像素的像素中选择。即，可以从当前局部采样像素候选中排除先前局部采样像素。

如上所述，通过在附加学习期间排除广域采样像素并且执行局部聚类，可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。此外，通过在顺序学习期间排除先前局部采样像素并且执行当前局部聚类，可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性降低。因此，可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

<图像处理装置>

图24是示出在这种情况下的图像处理装置400的主要配置示例的框图。如图24所示，与图19中的图像处理装置300的情况类似，这种情况下的图像处理装置400除了图21的示例中的部件之外还包括采样像素存储单元351。

在这种情况下，优先学习单元311的采样像素选择单元321将选择的广域采样像素提供给聚类单元322，并且还将选择的广域采样像素提供给采样像素存储单元351。

类似于图19中的情况，采样像素存储单元351包括存储介质，并且执行与采样像素的存储相关的处理。例如，采样像素存储单元351获得从先验学习单元311(的采样像素选择单元321)提供的广域采样像素，并且将广域采样像素存储在采样像素存储单元351的存储介质(的存储区域)中。

此外，采样像素存储单元351基于例如采样像素选择单元411的请求，将存储在采样像素存储单元351的存储介质(的存储区域)中的广域采样像素提供给采样像素选择单元411。

在这种情况下，采样像素选择单元411获得存储在采样像素存储单元351中的广域采样像素。采样像素选择单元411从处理目标局部区域(帧图像)中的这些广域采样像素之外的像素中选择密集局部采样像素，并且将密集局部采样像素提供给聚类单元412。通过这样做，聚类单元412可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。

注意，在附加学习单元312执行顺序学习的情况下，附加学习单元312的采样像素选择单元411将选择的局部采样像素提供给聚类单元412，并且还将选择的局部采样像素提供给采样像素存储单元351。

在这种情况下，采样像素存储单元351获得从该附加学习单元312(的采样像素选择单元411)提供的局部采样像素，并且将信息存储在采样像素存储单元351的存储介质(的存储区域)中。此外，采样像素存储单元351基于例如采样像素选择单元411的请求将存储在采样像素存储单元351的存储介质(的存储区域)中的广域采样像素和先前局部采样像素提供给采样像素选择单元411。

然后，采样像素选择单元411从采样像素存储单元351获得这些广域采样像素和先前局部采样像素。采样像素选择单元411从处理目标局部区域(帧图像)中的除了这些广域采样像素和先前局部的像素之外的像素中选择密集局部采样像素，并且将密集局部采样像素提供给聚类单元412。通过这样做，聚类单元412可以抑制聚类冗余的增加，并且进一步抑制图像聚类的鲁棒性的降低。

换言之，在不执行上述顺序学习作为附加学习的情况下，可以省略向采样像素存储单元351提供局部采样像素(即，图24中的箭头441).

<聚类处理的流程>

将参照图25的流程图来描述在这种情况下由图像处理装置400执行的聚类处理的流程的示例。当聚类处理开始时，与步骤S301和步骤S302(图23)中的每个处理类似地执行步骤S351和步骤S352中的每个处理。

在步骤S353中，采样像素存储单元351存储在步骤S352中确定的稀疏广域采样像素。

当步骤S353中的处理结束时，与步骤S303和步骤S304(图23)中的每个处理类似地执行步骤S354和步骤S355中的每个处理。

在步骤S356中，附加学习单元312的采样像素选择单元411从在步骤S351中获得的全局图像中包括的局部图像组中获得处理目标局部图像。此外，采样像素选择单元411从该处理目标局部图像中的除广域采样像素和先前局部采样像素以外的像素中选择密集局部采样像素。

在步骤S357中，采样像素存储单元351存储在步骤S356中确定的密集局部采样像素(当前局部采样像素)。

当步骤S357结束时，与步骤S306至步骤S308(图23)中的每个处理类似地执行步骤S358至步骤S360中的每个处理。

在步骤S361中，附加学习单元312确定是否已经对所有局部图像执行了附加学习。在确定存在未处理的局部图像的情况下，处理返回到步骤S356以针对作为处理目标的下一个局部图像执行后续处理。即，针对每个局部图像执行步骤S356至步骤S361中的每个处理。在步骤S361中确定已经处理了所有局部图像的情况下，处理进行到步骤S362。

在步骤S362中，优化单元413输出如上所述优化的聚类结果30。当步骤S362中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置400可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

换言之，注意，在不执行顺序学习作为附加学习的情况下，可以省略步骤S355和步骤S359中的处理。此外，在步骤S356中，采样像素选择单元411通过使用存储在采样像素存储单元351中的广域采样像素来选择采样像素。此外，在步骤S358中，聚类单元412通过使用存储在系数存储单元313中并且通过先验学习获得的信息来执行附加学习。

<其他部件>

注意，先验学习单元311可以是图21中的图像处理装置400中的另一装置的部件。即，图像处理装置400可以包括附加学习单元312和系数存储单元313。在这种情况下，系数存储单元313获得并且存储由另一装置的先验学习单元311获得的稀疏信息(先验学习的模型系数、聚类结果等)。此外，附加学习单元312通过使用存储在系数存储单元313中并且由另一装置(的先前学习单元311)获得的稀疏信息，对密集局部采样像素执行局部聚类。

此外，先验学习单元311和系数存储单元313可以是图21中的图像处理装置400中的另一装置的部件。即，图像处理装置400可以包括附加学习单元312。在这种情况下，附加学习单元312通过使用存储在另一装置的(系数存储单元313)中并且由另一装置(的先验学习单元311)获得的稀疏信息对密集局部采样像素执行局部聚类。

在这两种情况下，类似于图21中的情况，图像处理装置400可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

此外，先验学习单元311可以是图24中的图像处理装置400中的另一装置的部件。即，图像处理装置400可以包括附加学习单元312、系数存储单元313和采样像素存储单元351。在这种情况下，系数存储单元313获得并且存储由另一装置的先前学习单元311获得的稀疏信息(先前学习的模型系数、聚类结果等)。此外，采样像素存储单元351获得并且存储由另一装置(的先前学习单元311)选择的稀疏广域采样像素。此外，附加学习单元312基于存储在采样像素存储单元351中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择密集局部采样像素，并且通过使用存储在系数存储单元313中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的密集局部采样像素执行局部聚类。

此外，先验学习单元311和系数存储单元313可以是图24中的图像处理装置400中的另一装置的部件。即，图像处理装置400可以包括附加学习单元312和采样像素存储单元351。在这种情况下，采样像素存储单元351获得并且存储由另一装置(的优先学习单元311)选择的广域采样像素。此外，附加学习单元312基于存储在采样像素存储单元351中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择密集局部采样像素，并且通过使用存储在另一装置(的系数存储单元313)中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的密集局部采样像素执行局部聚类。

此外，先验学习单元311和采样像素存储单元351可以是图24中的图像处理装置400中的另一装置的部件。即，图像处理装置400可以包括附加学习单元312和系数存储单元313。在这种情况下，系数存储单元313获得并且存储由另一装置(的先验学习单元311)获得的信息(先验学习的模型系数、聚类结果等)。此外，附加学习单元312基于存储在另一装置(的采样像素存储单元351)中并且由另一装置(的先验学习单元311)选择的稀疏广域采样像素来选择密集局部采样像素，并且通过使用存储在系数存储单元313中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的密集局部采样像素执行局部聚类。

此外，先验学习单元311、系数存储单元313和采样像素存储单元351可以是图24中的图像处理装置400中的另一装置的部件。即，图像处理装置400可以包括附加学习单元312。在这种情况下，附加学习单元312基于存储在另一装置(的采样像素存储单元351)中并且由另一装置(的先验学习单元311)获得的稀疏广域采样像素来选择密集局部采样像素，并且通过使用存储在另一装置(的系数存储单元313)中并且由另一装置(的先验学习单元311)获得的稀疏信息对这些选择的密集局部采样像素执行局部聚类。

在这两种情况下，类似于图24中的情况，图像处理装置400可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

当然，在这些情况中的每一种情况下，附加学习单元312可以执行上述顺序学习作为类似于图21和图24中的情况的附加学习。

此外，图像处理装置400可以通过使用在第一实施方式中描述的田地信息、拼接信息和平坦区域信息中的至少一个或更多个信息来选择局部采样像素。通过这样做，可以获得在将每个信息用于附加学习的情况下的效果。当然，图像处理装置400可以通过使用这些信息中的一条或更多条以及除上述信息之外的信息来选择采样像素。

注意，尽管本实施方式描述了捕获图像20是拼接图像的情况，但是本实施方式不限于此，并且捕获图像20可以是包括多个帧图像的运动图像，可以是将多个捕获图像整合为一个图像而获得的文件(捕获图像组)，或者可以是一个捕获图像。当然，捕获图像20可以是捕获图像以外的图像(例如，CG图像等)。此外，该捕获图像20可以是可见光(RGB)的波长范围的图像，或者可以是通过对诸如近红外光的不可见光的波长范围进行成像而获得的图像。此外，捕获图像20可以是这两种图像。

此外，广域(全局区域)可以不是整个捕获图像20，或者局部区域(local area)可以不是与一帧对应的捕获图像。局部区域可以是广域中比广域窄的区域。只要适用，广域和局部区域中的每一个可以是捕获图像20中的任何区域。

<4.第四实施方式>

<在植被区域分析中的应用>

以上在第一实施方式至第三实施方式中描述的图像处理装置(图像处理装置100、图像处理装置300或图像处理装置400)可以用于例如分析植被区域。

<图像处理装置>

图26所示的图像处理装置500是示出应用本技术的图像处理装置的实施方式的示例的图。该图像处理装置500是分析植被区域的装置，并且例如接收通过对田地等进行成像而获得的捕获图像20作为输入，通过对该捕获图像20使用图像聚类来分析植被区域，并且输出作为分析的分析结果的植被区域信息520。

与上述各实施方式的情况类似，捕获图像20可以是例如通过拼接多个捕获图像(P1至Pn)而获得的拼接图像。此外，捕获图像20可以是包括多个帧图像的运动图像。此外，捕获图像20可以是通过将多个捕获图像整合为一个图像而获得的文件(捕获图像组)，或者可以是一个捕获图像。此外，该捕获图像20可以是可见光(RGB)的波长范围的图像，或者可以是通过对诸如近红外光的不可见光的波长范围进行成像而获得的图像。此外，捕获图像20可以是这两种图像。

注意，图26说明了主要元素，例如处理单元和数据流，并且图26中示出的元素不一定是全部。即，在该图像处理装置500中，可以存在未在图26中示出为块的处理单元，或者可以存在未在图26中示出为箭头等的处理或数据流。

如图26所示，图像处理装置500包括聚类单元511和植被区域确定单元512。聚类单元511对捕获图像20执行聚类，并且导出密集聚类结果。上述图像处理装置可以应用于该聚类单元511。即，聚类单元511采用与上述图像处理装置之一类似的配置，并且通过执行类似的处理(聚类)从捕获图像20导出聚类结果。聚类单元511将该聚类结果提供给植被区域确定单元512。

植被区域确定单元512执行与植被区域的确定相关的处理。例如，植被区域确定单元512获得从聚类单元511提供的聚类结果。此外，植被区域确定单元512获得捕获图像20。植被区域确定单元512通过使用这些信息来确定植被区域，并且输出作为确定的分析结果的植被区域信息520。通过这样做，图像处理装置500可以在抑制鲁棒性降低的同时以更高的速度生成植被区域的分析结果。

<聚类处理的流程>

将参照图27的流程图描述在这种情况下的聚类处理的流程的示例。当聚类处理开始时，聚类单元511在步骤S501中获得捕获图像20。

在步骤S502中，聚类单元511进行聚类处理，并且获得密集聚类结果。上述聚类处理可以应用于该聚类处理。即，聚类单元511通过根据与上述流程图中的每一个类似的流程执行聚类处理来导出密集聚类结果。

在步骤S503中，植被区域确定单元512基于在步骤S502中获得的聚类结果来确定植被区域，并且获得植被区域信息520。

在步骤S504中，植被区域确定单元512输出通过步骤S503中的处理获得的植被区域信息520。当步骤S504中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置500可以获得更准确的聚类结果。因此，图像处理装置500可以在抑制鲁棒性降低的同时以更高的速度生成植被区域信息520。

<5.第五实施方式>

<医疗装置的应用>

以上在第一实施方式至第三实施方式中描述的本技术不限于上述植被区域分析，并且可以应用于任意领域中的任意技术。例如，本技术可以用于医疗装置。

例如，计算机断层扫描(CT)检查装置在旋转的同时用X射线照射人体，由检测器收集透射的X射线强度，由计算机分析和计算获得的数据，并且创建各种图像。例如，如图28的A所示，CT检查装置可以通过对患者601照射X射线来获得诸如XY平面、YZ平面、XZ平面的任意位置和方向的断层图像。例如，获得作为图28的B所示的CT图像611-1至CT图像611-5的多个CT图像611。本技术可以应用于通过这样的CT检查获得的多个CT图像611的聚类。

在这种情况下，例如在图29的A中，可以将一个完整的CT图像651(CT切片)设置为广域(全局区域)，例如，例如块的该CT图像651的预定部分区域652可以被设置为局部区域(local area)，并且可以通过应用上述本技术来执行该聚类。即，在这种情况下，广域和局部区域二者都是二维平面，并且每个CT图像都被一一聚类。在这种情况下，可以执行与上述田地的捕获图像的情况类似的处理。

例如，在应用第三实施方式中描述的方法的情况下，对从整个CT图像651中选择的稀疏广域采样像素执行广域聚类(先验学习)，通过使用获得的稀疏信息(先验学习的模型系数、聚类结果等)作为初始值对每个块中的局部密集采样像素执行局部聚类(附加学习)，并且导出密集聚类结果。

此外，例如在应用第二实施方式中描述的方法的情况下，对从整个CT图像651中选择的稀疏广域采样像素执行广域聚类(先验学习)，通过使用获得的稀疏信息(先验学习的模型系数、聚类结果等)作为初始值，对每个块中的稀疏局部采样像素执行局部聚类(附加学习)，通过使用二维图像作为指导的滤波对获得的稀疏信息(附加学习的模型系数、聚类结果等)进行插值，并且导出密集聚类结果。

在这种情况下，滤波在二维平面上(即，在同一CT图像上)执行传播相邻像素颜色的二维处理。通过使用例如以下等式(1)，从同一CT图像上的周边像素x_j导出处理目标像素x_i。注意，W_i,j是权重系数，并且如以下等式(2)导出。

此外，例如在应用第一实施方式中描述的方法的情况下，对从整个CT图像651中选择的稀疏采样像素进行聚类，通过使用二维图像作为指导的滤波对获得的稀疏信息(学习的模型系数、聚类结果等)进行插值，并且导出密集聚类结果。

在这种情况下，滤波在二维平面上(即，在同一CT图像上)执行传播相邻像素颜色的二维处理。通过使用例如上述式(1)从同一CT图像上的周边像素x_j导出处理目标像素x_i。注意，W_i,j是权重系数，并且如上述等式(2)那样导出。

此外，例如如图29的B所示，可以将CT图像651(CT切片)设置为局部区域(localarea)，可以将作为三维区域的包括多个CT图像651的CT体653(CT体)设置为广域(全局区域)，并且可以通过应用上述本技术来执行该聚类。即，在这种情况下，将广域设置为一组二维平面(三维区域)，局部区域为二维平面，并且将CT体集中聚类。

例如，在应用第三实施方式中描述的方法的情况下，对从CT体653(所有CT图像651)中选择的稀疏广域采样像素执行广域聚类(先验学习)，通过使用获得的稀疏信息(先验学习的模型系数、聚类结果等)作为初始值对每个CT图像651中的密集局部采样像素执行局部聚类(附加学习)，并且导出密集聚类结果。

此外，例如在应用第二实施方式中描述的方法的情况下，对从CT体653(所有CT图像651)中选择的稀疏广域采样像素执行广域聚类(先验学习)，通过使用获得的稀疏信息(先验学习的模型系数、聚类结果等)作为初始值，对每个CT图像651中的稀疏局部采样像素执行局部聚类(附加学习)，通过使用二维图像作为指导的滤波对获得的稀疏信息(附加学习的模型系数、聚类结果等)进行插值，并且导出密集聚类结果。

在这种情况下，滤波执行在三维空间上传播相邻像素的颜色的三维处理。即，在这种情况下，不仅可以在同一CT图像上传播相邻像素的颜色，而且可以在相邻CT图像上传播相邻像素的颜色。例如通过使用上述式(1)从同一CT图像或相邻CT图像上的周边像素x_j导出处理目标像素x_i。注意，在这种情况下的加权系数W_i,j如以下表达式(3)那样导出。

此外，例如在应用第一实施方式中描述的方法的情况下，对从CT体653(所有CT图像651)中选择的稀疏采样像素进行聚类，通过使用二维图像作为指导的滤波对获得的稀疏信息(学习的模型系数、聚类结果等)进行插值，并且导出密集聚类结果。

在这种情况下，滤波执行上述三维处理。例如通过使用上述式(1)从同一CT图像上的周边像素x_j导出处理目标像素x_i。注意，W_i,j是权重系数，并且如上述等式(3)那样导出。

此外，例如，如图29的C所示，CT体积653被设置为广域(全局区域)，通过导出该CT体653获得的预定大小的三维区域的体素654(体素)被设置为局部区域(local area)，并且可以通过应用上述本技术来执行该聚类。即，在这种情况下，广域和局部区域二者都是三维区域，并且将CT体集中聚类。

例如，在应用第三实施方式中描述的方法的情况下，对从CT体653(所有CT图像651)中选择的稀疏广域采样像素执行广域聚类(先验学习)，通过使用获得的稀疏信息(先验学习的模型系数、聚类结果等)作为初始值，对每个体素654中的密集局部采样像素执行局部聚类(附加学习)，并且导出密集聚类结果。

此外，例如在应用第二实施方式中描述的方法的情况下，对从CT体653(所有CT图像651)中选择的稀疏广域采样像素执行广域聚类(先验学习)，通过使用获得的稀疏信息(先验学习的模型系数、聚类结果等)作为初始值，对每个体素654中的稀疏局部采样像素执行局部聚类(附加学习)，通过使用3D数据作为指导的滤波对获得的稀疏信息(附加学习的模型系数、聚类结果等)进行插值，并且导出密集聚类结果。

在这种情况下，滤波执行在三维空间上传播相邻像素的颜色的三维处理。即，在这种情况下，传播三维空间中相邻像素的颜色。例如通过上述式(1)从同一CT图像或相邻CT图像上的周边像素x_j导出处理目标像素x_i。注意，这种情况下的加权系数W_i,j如上述表达式(3)那样导出。

此外，例如在应用第一实施方式中描述的方法的情况下，对从CT体653(所有CT图像651)中选择的稀疏采样像素进行聚类，通过使用3D数据作为指导的滤波对获得的稀疏信息(附加学习的模型系数，聚类结果等)进行插值，并且导出密集聚类结果。

在这种情况下，滤波执行上述三维处理。例如通过上述式(1)从同一CT图像上的周边像素x_j导出处理目标像素x_i。注意，W_i,j是权重系数，并且如上述等式(3)那样导出。

在构成CT体的CT图像的情况下，图像之间的图像结构的相关性一般较高，因此即使三维处理的滤波也可以获得与二维处理类似的更准确的聚类结果。因此，即使在将本技术应用于上述医疗装置的情况下，也可以在抑制图像聚类的鲁棒性降低的同时抑制处理时间的增加。

<图像处理装置>

图30示出了在这种情况下的图像处理装置的主要配置示例。图30所示的图像处理装置700是如下装置，其对CT图像(CT体)进行聚类、接收作为CT图像(CT体)的捕获图像710作为输入、对该捕获图像710进行聚类、并且输出经聚类的CT图像720作为该聚类的聚类结果。

注意，图30示出了诸如处理单元和数据流的主要元素，并且图30中示出的元素不一定是全部。即，在该图像处理装置700中，可以存在未在图30中示出为块的处理单元，或者可以存在未在图30中示出为箭头等的处理或数据流。

如图30所示，图像处理装置700包括聚类单元711和分析单元712。聚类单元711对捕获的图像710进行聚类，并且导出密集聚类结果。上述图像处理装置可以应用于该聚类单元711。即，聚类单元711采用与上述图像处理装置中的每一个类似的配置，并且通过执行类似的处理(聚类)从捕获图像710导出聚类结果。聚类单元711将该聚类结果提供给分析单元712。

分析单元712基于聚类结果来执行与图像分析相关的处理。例如，分析单元712获得从聚类单元711提供的聚类结果。此外，分析单元712获得捕获图像710。分析单元712基于该聚类结果分析作为捕获图像710中的被摄体等的人体的结构等，并且对结构进行成像。解析单元712输出生成的CT图像720作为解析结果。通过这样做，图像处理装置700可以在抑制鲁棒性降低的同时以更高的速度生成CT图像720，。

<聚类处理的流程>

将参照图31的流程图描述在这种情况下的聚类处理的流程的示例。当聚类处理开始时，聚类单元711在步骤S701中获得捕获图像710。

在步骤S702中，聚类单元711执行聚类处理，并且获得密集聚类结果。上述聚类处理可以应用于该聚类处理。即，聚类单元711通过根据与上述流程图中的每一个类似的流程执行聚类处理来导出密集聚类结果。

在步骤S703中，分析单元712基于在步骤S702中获得的聚类结果来分析图像。

在步骤S704中，分析单元712输出CT图像720作为通过步骤S703中的处理获得的分析结果。当步骤S704中的处理结束时，聚类处理结束。

通过执行如上所述的每个处理，图像处理装置700可以获得更准确的聚类结果。因此，图像处理装置700可以在抑制鲁棒性降低的同时以更高的速度生成CT图像720。

<6.补充说明>

<计算机>

上述一系列处理可以通过硬件执行或者可以通过软件执行。在通过软件执行一系列处理的情况下，配置该软件的程序被安装到计算机。这里，计算机包括例如被并入在专用硬件中的计算机以及可以通过安装各种程序来执行各种功能的通用个人计算机。

图32是示出通过程序执行上述一系列处理的计算机的硬件配置示例的框图。

在图32所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904相互连接。

总线904还与输入/输出接口910连接。输入/输出接口910与输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接。

输入单元911包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口等。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质921。

在如上所述配置的计算机中，例如，CPU 901经由输入/输出接口910和总线904将存储单元913中存储的程序加载到RAM 903中，执行该程序，从而执行上述一系列处理。RAM903还适当地存储CPU 901执行各种类型的处理所需的数据等。

例如，由计算机执行的程序可以作为封装介质等记录在可移动介质921中并且被应用。在这种情况下，通过将可移动介质921附接到驱动器915，可以经由输入/输出接口910将程序安装在存储单元913中。

此外，还可以经由诸如局域网、互联网或数字卫星广播等有线或无线传输介质来提供该程序。在这种情况下，程序可以被通信单元914接收，并且安装在存储单元913中。

此外，该程序可以预先安装在ROM 902或存储单元913中。

<现有技术的应用目标>

此外，尽管上面已经将执行图像聚类的图像处理装置作为本技术的应用示例进行了描述，但是本技术可以应用于任意配置。

例如，本技术可以应用于诸如发射机或接收机(例如，电视接收机或移动电话)的各种电子装置，所述发射机或接收机用于卫星广播、诸如有线TV的有线广播、因特网上分发以及通过蜂窝通信到终端的分发，或者本技术可以应用于在诸如光盘、磁盘和闪存等的介质上记录图像或从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。

此外，例如，本技术可以被实现为下述装置的部件的一部分，例如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者通过将其他功能进一步添加到单元的集合(例如，视频集合)。

此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以实现为由多个装置经由网络共享和协作处理的云计算。例如，本技术可以实现用于向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任意终端提供与图像(运动图像)相关的服务的云服务。

注意，在本说明书中，系统是指一组多个部件(例如，装置和模块(部件))，并且所有部件是否都在同一外壳中并不重要。因此，被容纳在单独的外壳中并且经由网络连接的多个装置中的每一个以及多个模块被容纳在一个外壳中的一个装置都是系统。

<现有技术适用的领域/用途>

应用本技术的系统、装置、处理单元等可以用于诸如交通、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家用电器、气象、和自然监测领域的任意领域。此外，这些系统、装置和处理单元的用途也是任意的。

<其他>

本技术的实施方式不限于上述实施方式，并且可以在不背离本技术的主旨的情况下进行各种修改。

例如，描述为一个装置(或处理单元)的配置可以被划分并且配置成多个装置(或处理单元)。相比之下，上述作为多个装置(或多个处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外，除了上述配置之外的配置可以自然地添加到每个装置(或每个处理单元)的配置中。此外，只要整个系统的配置和操作基本相同，某个装置(或处理单元)的部分部件就可以被包括在另一装置(或另一个处理单元)的部件中。

此外，例如，上述程序可以由任意装置执行。在这种情况下，该装置只需要具有必要的功能(功能块等)，并且能够获得必要的信息。

此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并且执行。此外，在一个步骤中包括多个处理的情况下，多个处理可以由一个装置执行，或者可以由多个装置共享并且执行。换言之，一个步骤中包括的多个处理也可以作为多个步骤的处理来执行。相比之下，描述为多个步骤的处理也可以作为一个步骤集中执行。

此外，例如，根据由计算机执行的程序，描述该程序的步骤中的处理可以根据本说明书中描述的顺序按时间顺序执行，或者可以在诸如调用等的时间的必要的定时处并行或单独执行。即，除非出现矛盾，否则可以以与上述顺序不同的顺序来执行每个步骤中的处理。此外，描述该程序的步骤中的处理可以与另一个程序的处理并行执行，或者可以与另一个程序的处理组合执行。

此外，例如，除非出现矛盾，否则与本技术相关的多个技术可以单独独立地实施。当然，也可以组合多个任意的现有技术来实现。例如，在一个实施方式中描述的本技术的部分或全部可以与在其他实施方式中描述的本技术的部分或全部结合来实现。此外，上述任意本技术的一部分或全部可以与以上未描述的其他技术结合来实现。

注意，本技术还可以采用以下配置。

(1)一种图像处理装置，包括：

聚类单元，其被配置成对图像中包括的稀疏像素进行聚类；以及插值处理单元，其被配置成通过图像滤波对稀疏信息进行插值，从而导出密集聚类结果，所述稀疏信息是通过所述聚类单元进行聚类获得的，并且使用图像信号作为指导进行图像滤波。

(2)根据(1)所述的图像处理装置，其中，所述稀疏信息是通过所述聚类获得的模型系数或聚类结果。

(3)根据(1)或(2)所述的图像处理装置，还包括采样像素选择单元，其被配置成从所述图像中选择稀疏采样像素，

其中，所述聚类单元对由所述采样像素选择单元选择的所述稀疏采样像素执行所述聚类。

(4)根据(3)所述的图像处理装置，其中，所述采样像素选择单元基于关于所述图像的处理目标区域的信息，从包括在所述处理目标区域中的一部分中选择所述采样像素。

(5)根据(3)或(4)所述的图像处理装置，其中，

所述图像是通过拼接多个图像而获得的拼接图像，并且

所述采样像素选择单元基于拼接信息来选择所述采样像素，所述拼接信息是关于所述拼接图像中的多个图像相互交叠的信息。

(6)根据(3)至(5)中任一项所述的图像处理装置，其中，所述采样像素选择单元基于关于平坦区域的信息从所述图像的平坦区域中选择所述采样像素。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，

所述聚类单元通过使用稀疏信息执行局部聚类作为所述聚类，所述局部聚类是对所述图像的局部区域中包括的稀疏像素进行聚类，并且所述稀疏信息是通过广域聚类获得的，所述广域聚类是对所述图像的广域中包括的稀疏像素进行聚类，并且

所述插值处理单元通过所述图像滤波对通过所述局部聚类获得的稀疏信息进行插值，从而导出所述局部区域的密集聚类结果。

(8)根据(7)所述的图像处理装置，其中，通过所述广域聚类获得的稀疏信息是模型系数或聚类结果。

(9)根据(7)或(8)所述的图像处理装置，其中，所述聚类单元还通过使用对一个先前处理目标局部区域进行所述局部聚类而获得的稀疏信息来对处理目标局部区域执行所述局部聚类。

(10)根据(7)至(9)中任一项所述的图像处理装置，还包括采样像素选择单元，其被配置成从所述局部区域中选择稀疏采样像素，

其中，所述聚类单元对由所述采样像素选择单元选择的稀疏采样像素执行所述局部聚类。

(11)根据(10)所述的图像处理装置，其中，所述采样像素选择单元从所述局部区域的除了已执行了所述广域聚类的像素以外的像素中选择所述采样像素。

(12)根据(7)至(11)中任一项所述的图像处理装置，还包括广域聚类单元，其被配置成执行所述广域聚类，

其中，所述聚类单元通过使用由所述广域聚类单元执行的广域聚类而获得的信息来执行所述局部聚类。

(13)一种图像处理方法，包括：

对图像中包括的稀疏像素进行聚类；以及通过图像滤波对稀疏信息进行插值，从而导出密集聚类结果，所述稀疏信息是通过所述聚类获得的，并且使用图像信号作为指导进行图像滤波。

(14)一种图像处理装置，包括聚类单元，所述聚类单元被配置成通过使用信息执行局部聚类，所述局部聚类是对图像的局部区域中包括的密集像素进行聚类，并且所述信息是通过广域聚类获得的，所述广域聚类是对所述图像的广域中包括的稀疏像素进行聚类。

(15)一种图像处理方法，包括：通过使用信息执行局部聚类，所述局部聚类是对图像的局部区域中包括的密集像素进行聚类，并且所述信息是通过广域聚类获得的，所述广域聚类是对所述图像的广域中包括的稀疏像素进行聚类。

附图标记列表

100 图像处理装置

111 采样像素选择单元

112 聚类单元

113 插值处理单元

201 田地区域存储单元

231 拼接信息存储单元

261 平坦区域存储单元

300 图像处理装置

311 先验学习单元

312 附加学习单元

313 系数存储单元

321 采样像素选择单元

322 聚类单元

351 采样像素存储单元

400 图像处理装置

411 采样像素选择单元

412 聚类单元

413 优化单元

500 图像处理装置

511 聚类单元

512 植被区域确定单元

700 图像处理装置

711 聚类单元

712 分析单元

900 计算机

Claims (15)

1.一种图像处理装置，包括：

聚类单元，其被配置成对图像中包括的稀疏像素进行聚类；以及

插值处理单元，其被配置成通过图像滤波对稀疏信息进行插值，从而导出密集聚类结果，所述稀疏信息是通过所述聚类单元进行聚类获得的，并且使用图像信号作为指导进行图像滤波。

2.根据权利要求1所述的图像处理装置，其中，所述稀疏信息是通过所述聚类获得的模型系数或聚类结果。

3.根据权利要求1所述的图像处理装置，还包括采样像素选择单元，其被配置成从所述图像中选择稀疏采样像素，

其中，所述聚类单元对由所述采样像素选择单元选择的所述稀疏采样像素执行所述聚类。

4.根据权利要求3所述的图像处理装置，其中，所述采样像素选择单元基于关于所述图像的处理目标区域的信息，从包括在所述处理目标区域中的一部分中选择所述采样像素。

5.根据权利要求3所述的图像处理装置，其中，

所述图像是通过拼接多个图像而获得的拼接图像，并且

所述采样像素选择单元基于拼接信息来选择所述采样像素，所述拼接信息是关于所述拼接图像中的多个图像相互交叠的信息。

6.根据权利要求3所述的图像处理装置，其中，所述采样像素选择单元基于关于平坦区域的信息从所述图像的平坦区域中选择所述采样像素。

7.根据权利要求1所述的图像处理装置，其中，

所述聚类单元通过使用稀疏信息执行局部聚类作为所述聚类，所述局部聚类是对所述图像的局部区域中包括的稀疏像素进行聚类，并且所述稀疏信息是通过广域聚类获得的，所述广域聚类是对所述图像的广域中包括的稀疏像素进行聚类，并且

所述插值处理单元通过所述图像滤波对通过所述局部聚类获得的稀疏信息进行插值，从而导出所述局部区域的密集聚类结果。

8.根据权利要求7所述的图像处理装置，其中，通过所述广域聚类获得的稀疏信息是模型系数或聚类结果。

9.根据权利要求7所述的图像处理装置，其中，所述聚类单元还通过使用对一个先前处理目标局部区域进行所述局部聚类而获得的稀疏信息来对处理目标局部区域执行所述局部聚类。

10.根据权利要求7所述的图像处理装置，还包括采样像素选择单元，其被配置成从所述局部区域中选择稀疏采样像素，

其中，所述聚类单元对由所述采样像素选择单元选择的稀疏采样像素执行所述局部聚类。

11.根据权利要求10所述的图像处理装置，其中，所述采样像素选择单元从所述局部区域的除了已执行了所述广域聚类的像素以外的像素中选择所述采样像素。

12.根据权利要求7所述的图像处理装置，还包括广域聚类单元，其被配置成执行所述广域聚类，

其中，所述聚类单元通过使用由所述广域聚类单元执行的广域聚类而获得的信息来执行所述局部聚类。

13.一种图像处理方法，包括：

对图像中包括的稀疏像素进行聚类；以及

通过图像滤波对稀疏信息进行插值，从而导出密集聚类结果，所述稀疏信息是通过所述聚类获得的，并且使用图像信号作为指导进行图像滤波。

14.一种图像处理装置，包括聚类单元，所述聚类单元被配置成通过使用信息执行局部聚类，所述局部聚类是对图像的局部区域中包括的密集像素进行聚类，并且所述信息是通过广域聚类获得的，所述广域聚类是对所述图像的广域中包括的稀疏像素进行聚类。

15.一种图像处理方法，包括：通过使用信息执行局部聚类，所述局部聚类是对图像的局部区域中包括的密集像素进行聚类，并且所述信息是通过广域聚类获得的，所述广域聚类是对所述图像的广域中包括的稀疏像素进行聚类。

Images