CN112740263A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN112740263A
CN112740263A CN201980061192.8A CN201980061192A CN112740263A CN 112740263 A CN112740263 A CN 112740263A CN 201980061192 A CN201980061192 A CN 201980061192A CN 112740263 A CN112740263 A CN 112740263A
Authority
CN
China
Prior art keywords
image
correction
correction function
section
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980061192.8A
Other languages
English (en)
Inventor
森内优介
伊藤厚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112740263A publication Critical patent/CN112740263A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明的目的是实现利用其可以生成其中亮度或颜色的不均匀降低的高分辨率校正图像。该图像处理装置包括：采样点选择部，其从图像中选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算部，其应用采样点的像素值和位置信息并计算校正函数；以及图像校正部，其应用校正函数并执行图像的像素值校正。采样点选择部执行如下处理：执行聚类(簇划分)，在该聚类中，将图像的构成像素划分成多个子集(簇)，从通过聚类生成的多个簇中确定采样点提取簇；以及执行用于从采样点提取簇中选择采样点的处理。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开内容涉及图像处理装置、图像处理方法和程序。更具体地，本公开内容涉及校正图像的亮度不均匀等以生成高画面质量图像的图像处理装置、图像处理方法和程序。
背景技术
近年来，作为利用遥控执行飞行或基于GPS等执行自主飞行的小型飞行体的无人机的利用迅速增加。
例如，无人机具有安装在其上的摄像装置，并且用于从天空中捕获地面场景的图像等的处理。
此外，近年来，利用无人机捕获的航空图像被用于农田的作物的生长确认或管理、地形的确认处理以及勘测处理，或者还可以被用于建筑工地等。
无人机在运动的同时连续地捕获预定区域的图像。如果多个捕获图像彼此接合，则可以生成具有宽区域的一个图像。
然而，当在空中运动的无人机捕获图像时，其姿态由于风的影响等而变化。因此，从成像目标到摄像装置的光的输入条件变化，并且所捕获的图像的亮度和颜色不是变得均匀而是变得稀疏。如果如以上描述的亮度和颜色彼此不同的这样的图像彼此接合以生成一个合成图像，则合成图像的质量劣化，因为图像的接缝处的连续性丧失。
此外，例如，在存在稀疏云的环境中，即使在一个捕获图像中，被云遮蔽的部分和未被云遮蔽的部分的亮度和颜色不同。
如上所述，在改变捕获位置和捕获方向的同时捕获多个图像并且彼此接合以生成合成图像(全景图像)的接合(拼接)处理中，由于捕获图像的单元的照射状态等的变化，在与合成图像的接缝对应的区域中像素的亮度值不连续地变化的问题出现。
以下文献客用作公开了用于解决该问题的技术的文献。
非专利文献1，(“内窥镜图像的阴影和色彩校正”，安藤正治，日本胃肠内窥镜学会杂志，第31卷，第7期，第1727至1741页，1989)
在该文献中，公开了使用平滑滤波器的信号值校正方法。
特别地，公开了以下方法：利用通过对捕获图像或参考图像进行平滑而获得的图像来将捕获图像的每个像素的信号值除以平滑图像的每个像素值的信号值以校正捕获图像的亮度不均匀。
然而，在该文献中公开的校正方法具有如下问题：由于除了图像中包括的校正目标之外的成像目标的亮度变化信息也对校正图像有影响，因此在校正图像中出现诸如振铃伪影的误差。
此外，在专利文献1(日本公开特许公报第2004-139219号)中公开了基于已知几何条件来校正信号值的方法。
该文献公开了以下方法：利用图像捕获环境或摄像装置的照射和成像目标的几何条件来计算用于图像校正的二次函数等的校正函数，并且利用所计算的校正函数来调整用于图像的亮度等的校正量。
特别地，通过对根据捕获环境预先预测的亮度变化与校正函数执行拟合以对捕获图像执行亮度校正，对由捕获图像中的照射不均匀引起的亮度变化进行校正。
然而，本方法的问题在于，在难以根据几何条件计算精确校正函数的情况下，例如在难以指定照射或摄像装置的坐标或方向的情况下，或者在成像目标的平面不是平坦平面而是不平坦的弯曲平面等的情况下，本方法不能执行高精度校正。
引用列表
专利文献
专利文献1：日本公开特许公报第2004-139219号。
非专利文献
非专利文献1：“内窥镜图像的阴影和色彩校正”，安藤正治，日本胃肠内窥镜学会杂志，第31卷，第7期，第1727至1741页，1989。
发明内容
技术问题
例如，鉴于如上所述的这样的问题做出了本公开内容，并且本公开内容的目的是提供以下图像处理装置、图像处理方法和程序：使得当捕获条件不同的图像彼此接合以生成一个合成图像时，能够缩小输出像素值(例如图像之间的亮度)的差异，以使得可以生成高质量合成图像。
例如，在对从诸如无人机的运动体在室外捕获的图像进行接合以生成一个图像的接合处理的情况下，即使在难以指定诸如太阳光或照射的照射光条件和诸如摄像装置姿势或成像目标面的不平坦状态的几何条件的环境下，也可以通过适当的像素值校正来抑制引起图像的接缝处不连续的振铃伪影，以生成图像之间的接缝不明显的高质量合成图像。
此外，本公开内容的目的是提供以下图像处理装置、图像处理方法和程序：使得即使在一个捕获图像内存在诸如亮度不均匀的输出像素值的差异的情况下，也能够缩小该差异以产生一个高质量图像。
问题的解决方案
本公开内容的第一方面在于提供一种图像处理装置，该图像处理装置包括：
采样点选择部，其被配置成从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；
校正函数计算部，其被配置成应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及
图像校正部，其被配置成应用校正函数执行图像的像素值校正，其中，
采样点选择部执行如下处理：
执行聚类以将图像的构成像素划分成多个子集，
从通过聚类生成的多个簇中确定采样点提取簇，以及
从采样点提取簇内选择采样点。
此外，本公开内容的第二方面在于提供一种在图像处理装置中执行的图像处理方法，该方法包括：
采样点选择步骤，由采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；
校正函数计算步骤，由校正函数计算部应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及
图像校正步骤，由图像校正部应用校正函数执行图像的像素值校正，其中，
采样点选择步骤包括：
执行聚类以将图像的构成像素划分成多个子集的步骤，
从通过聚类生成的多个簇中确定采样点提取簇的步骤，以及
从采样点提取簇内选择采样点的步骤。
此外，本公开内容的第三方面在于提供一种用于使图像处理装置执行图像处理的程序，该程序包括：
采样点选择步骤，使采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；
校正函数计算步骤，使校正函数计算部应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及
图像校正步骤，使图像校正部应用校正函数执行图像的像素值校正，其中，
采样点选择步骤包括：
执行聚类以将图像的构成像素划分成多个子集的步骤，
从通过聚类生成的多个簇中确定采样点提取簇的步骤，以及
从采样点提取簇内选择采样点的步骤。
要注意的是，本公开内容的程序是能够由存储介质或通信介质提供的程序，该存储介质或通信介质以计算机以可读形式例如向能够执行各种程序代码的信息处理装置或计算机系统提供程序。通过如刚刚描述的以计算机可读形式提供这样的程序，可以在信息处理装置或计算机系统上实现根据该程序的处理。
通过基于下文描述的本公开内容的工作示例和附图的更详细描述，本公开内容的其他目的、特征或优点将变得明显。要注意的是，在本说明书中，术语“系统”表示多个装置的逻辑集合配置，并且不限于其中各个配置的期间被容纳在同一壳体中的装置。
本发明的有利效果
利用本公开内容的工作示例的配置，实现了使得能够生成其中亮度不均匀和颜色不均匀降低的高质量校正图像的图像处理装置和图像处理方法。
特别地，例如，图像处理装置包括：采样点选择部，其从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算部，其应用采样点的像素值和位置信息来计算校正函数；以及图像校正部，其应用校正函数执行图像的像素值校正。采样点选择部执行如下处理：执行聚类(簇划分)以将图像的构成像素划分成多个子集(簇)，从通过聚类生成的多个簇中确定采样点提取簇，以及从采样点提取簇内选择采样点。
利用本配置，实现了能够生成其中亮度不均匀和颜色不均匀降低的高质量校正图像的图像处理装置和图像处理方法。
要注意的是，在本说明书中描述的有利效果始终是示例性的而不是限制性的，并且可以获得附加效果。
附图说明
[图1]图1是描绘本公开内容的图像处理装置的第一工作示例的配置的示例的框图。
[图2]图2是描绘通过K-Means方法将要作为校正目标的捕获图像划分成11个簇(K＝11)的示例的视图。
[图3]图3是描绘指示属于图2中描绘的通过K-Means方法划分的11个簇中的各个簇的元素(像素)的信号值的平均值和频率的直方图的视图。
[图4]图4是描绘当从利用图3的直方图选择的采样点提取簇随机选择采样点时的结果的视图。
[图5]图5是示出采样点选择部应用语义分割来执行聚类的情况的示例的视图。
[图6]图6是示出使用由用户设置的边界或预先限定的边界来将捕获图像划分成多个区域并且将这样的划分区域设置为簇的示例的视图。
[图7]图7是示出通过由本公开内容的图像处理装置处理的图像校正的示例与通过常规类型的处理的图像校正的示例之间的特定差异的视图。
[图8]图8是示出由本公开内容的图像处理装置进行的处理的视图。
[图9]图9是描绘示出由图1中描绘的图像处理装置执行的图像处理的序列的流程图的视图。
[图10]图10是示出本公开内容的图像处理装置的第二工作示例的配置和处理的视图。
[图11]图11是描绘示出由图10中描绘的图像处理装置执行的图像处理的序列的流程图的视图。
[图12]图12是示出本公开内容的图像处理装置的第三工作示例的配置和处理的视图。
[图13]图13是描绘示出由图12中描绘的图像处理装置执行的图像处理的序列的流程图的视图。
[图14]图14是示出本公开内容的图像处理装置的第四工作示例的配置和处理的视图。
[图15]图15是示出由本公开内容的图像处理装置的第四工作示例执行的处理的视图。
[图16]图16是示出由本公开内容的图像处理装置的第四工作示例执行的处理的视图。
[图17]图17是示出本公开内容的图像处理装置的第五工作示例的配置和处理的视图。
[图18]图18是示出由本公开内容的图像处理装置的第五工作示例执行的处理的视图。
[图19]图19是示出本公开内容的图像处理装置的第六工作示例的配置和处理的视图。
[图20]图20是示出由本公开内容的图像处理装置的第六工作示例执行的处理的视图。
[图21]图21是示出本公开内容的图像处理装置的硬件配置的示例的视图。
具体实施方式
在下文中，参照附图描述本公开内容的图像处理装置、图像处理方法和程序的细节。要注意的是，按以下项目给出描述。
1.本公开内容的图像处理装置的第一工作示例的配置和处理
2.由图像处理装置执行的图像处理序列
3.本公开内容的图像处理装置的第二工作示例的配置和处理
4.本公开内容的图像处理装置的第三工作示例的配置和处理
5.其他工作示例
6.图像处理装置的硬件配置的示例
7.本公开内容的配置的概述
[1.本公开内容的图像处理装置的第一工作示例的配置和处理]
首先，参照图1和后续附图描述本公开内容的图像处理装置的第一工作示例的配置和处理。
图1是描绘本公开内容的图像处理装置的第一工作示例的配置的示例的框图。如图1所描绘的，图像处理装置100包括采样点选择部101、校正函数计算部102和图像校正部(校正函数应用部)103。
图像处理装置100接收作为校正目标的一个捕获图像10作为其输入，执行校正并且输出校正图像20。
要注意的是，在本工作示例中，成为校正目标的捕获图像10是通过摄像装置的单次图像捕获过程而捕获到的一个捕获图像。换言之，捕获图像10不是通过执行将多个图像彼此接合的接合处理而获得的合成图像。
例如，由安装在诸如无人机的运动体上的摄像装置捕获的图像有时包括成为天空中的云或诸如飞机或鸟的一些其他飞行物体的阴影的区域和没有成为天空中的云或诸如飞机或鸟的一些其他飞行物体的阴影的另一区域。这些区域之间的亮度或颜色不同。换言之，出现亮度不均匀和颜色不均匀。
图1所描绘的图像处理装置100对包括在这样一个捕获图像10中的像素值的输出不均匀进行校正，以生成具有亮度不均匀、颜色不均匀等被降低的校正图像20。
要注意的是，图1中所描绘的图像处理装置100的部件可以被配成单独的硬件块或集成的硬件块。此外，可以部分地或全部地由软件(程序)来执行由图像处理装置100的部件执行的处理。
要注意的是，在以下的描述中，描述了捕获图像10是RGB彩色图像的示例。然而，这是一个示例，并且本公开内容的图像处理装置不仅可以针对RGB图像而且还可以针对诸如除了RGB彩色图像以外的彩色图像的各种图像(例如，YCbCr图像、单色图像和亮度图像)执行校正处理。
描述了图1中描绘的图像处理装置100的配置和处理。
首先，图1中描绘的图像处理装置100的采样点选择部101接收要作为校正目标的捕获图像10作为其输入。
捕获图像10是例如由无人机捕获到的一个图像。
采样点选择部101从校正目标的捕获图像10内选择要作为采样点的像素。
每个采样点是为了在随后的校正函数计算部102处生成校正函数而使用的像素。
采样点选择部101将采样点的像素值(亮度值等)和位置信息输出至随后的校正函数计算部102。
校正函数计算部102利用由采样点选择部101选择的采样点的像素值和位置信息生成校正函数。
最后阶段的图像校正部(校正函数应用部)103将由校正函数计算部102生成的校正函数应用于捕获图像10的所有像素来执行所有像素的像素值校正，以生成校正图像20。
采样点选择部101首先执行将校正目标的捕获图像10的构成像素划分成多个子集(簇)的聚类(簇划分)处理。
例如，可以应用如下给出的这样的现有聚类方法作为用于将捕获图像10的构成像素划分成多个子集(簇)的方法。
(a)K-Means方法，
(b)K-NN方法(K-最近邻方法)，
(c)Ward方法，以及
(d)语义分割。
K-Means方法是根据非分层法的聚类方法，并且是使用评估函数执行分类使得获得最佳评估值从而执行分成K个子集(簇)的方法。
K-NN方法是根据分层法的聚类方法，并且是按照距某个参考值或参考图案的距离的升序(与某个参考值或参考图案的相似度的降序)执行排序以执行分成K类的方法。
Ward方法也是根据分层法的聚类方法，并且是执行分类使得每个簇中的平方和最小化的方法。
语义分割是通过基于图像中的对象与用于基于实际对象的形状和其他特征信息的对象识别的词典数据(学习数据)之间的符合程度来识别图像的每个构成像素(像素)属于哪个类别(人、车、道路、植物等)来执行分类成各个类别单元的簇的方法。
要注意的是，例如，如下给出的多个不同方法可用作语义分割。
(d1)利用条件随机场(CRF)的方法(P.Krahenbuhl,et.al,"Efficient Inferencein Fully Connected CRFs with Gaussian Edge Potentials",NIPS'11Proceedings ofthe 24th International Conference on Neural Information Processing Systems,2011.)
(d2)利用卷积神经网络(CNN)的方法(G.Lin,et.al,"Efficient PiecewiseTraining of Deep Structured Models for Semantic",IEEE Conference on ComputerVision and Pattern Recognition(CVPR),2016.)
(d3)利用生成式对抗网络(GAN)的方法(P.Isola,et.al,"Image-to-ImageTranslation with Conditional Adversarial Networks",IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2017.)
采样点选择部101应用例如上所述的聚类方法中的任一种，即，
(a)K-Means方法，
(b)K-NN方法(K-最近邻方法)，
(c)Ward方法，以及
(d)语义分割
来执行将校正目标的捕获图像10的构成像素分割成多个子集(簇)的聚类(簇划分)方法。
然后，采样点选择部101从划分簇内选择采样点，即，要被随后的校正函数计算部102利用以生成校正函数的采样点(像素)。
例如，通过以下过程执行采样点的选择处理。
从作为通过上述聚类分类的多个像素组的子集(簇)中确定采样点提取簇。
然后，选择所确定的采样点提取簇中包括的像素作为采样点。
在下文中描述处理的细节。
采样点选择部101首先从作为通过上述聚类分类的多个像素组的子集(簇)中确定采样点提取簇。
例如，可以应用以下方法中的任一种作为采样点提取簇的确定方法。
(1)从包括最大样本(元素/像素)数目的簇开始依次将一个或更多个簇确定为采样点提取簇。
(2)将以像素的输出(像素值、亮度值等)的平均值或中值为所有簇的像素值的中心的簇或与该簇相邻的若干簇确定为采样点提取簇。
(3)用户选择特定簇，并且将所选择的簇确定为采样点提取簇。
上面(2)中指示的每个簇的平均值或中值在本示例中是属于该簇的像素的像素值或亮度值的平均值或中值。
通过将在上面(2)中指示的簇的平均值或中值的中心的簇或与该簇相邻的若干簇确定为一个采样点提取簇或多个采样点提取簇，例如，不将包括图像中极暗像素区域或明亮区域的簇设置为采样点提取簇，并且不从该簇中提取采样点。
此外，作为在上面(3)中由用户进行的簇选择的示例，存在包括特定成像目标(对象)的许多像素的簇的示例，根据该特定成像目标计算亮度不均匀或颜色不均匀降低的像素值。
特别地，在存在对例如使用无人机成像的农田上的作物的生长状态进行分析的目的的情况下，可以选择包括在作物的成像区域中的许多像素的簇作为采样点提取簇。
另一方面，在存在对使用无人机成像的农田土壤进行分析的目的的情况下，如果将包括反映地面或作物的许多像素的簇确定为采样点提取簇是足够的。
要注意的是，尽管要被选择的采样点提取簇的数目可以是一个，然而可以选择两个或更多个簇作为采样点提取簇。
由采样点选择部101选择的采样点提取簇中的像素被设置为采样点(像素)，并且被校正函数计算部102利用以生成校正函数。
参照图2和后续附图描述由采样点选择部101执行的采样点选择处理的特定示例。
参照图2和后续附图描述的处理是应用K-Means方法作为将成为校正目标的捕获图像10的构成像素划分成多个子集(簇)的聚类(簇划分)处理的处理示例。
如上文中所述，K-Means方法是根据非分层方法的聚类方法，并且是使用评估函数执行分类使得获得最佳评估值从而执行分成K个子集(簇)的分类的方法。
图2是描绘通过K-Means方法将成为校正目标的捕获图像10划分成11个簇(K＝11)的示例的视图。
要注意的是，尽管图2将捕获图像10描绘为阴影图像，但是实际上对应于11个簇设置不同的颜色。每种颜色与11个簇中的一个簇对应。
每个簇包括一个或更多个像素(元素)，并且在一个簇中被分类的簇是与应用于簇分类的特征信息(例如，亮度或颜色)相似的像素。
要注意的是，可以利用诸如像素的“亮度”、“颜色”的各种特征或R值、G值和B值中的任一个(例如，“G”的像素值)的特征信息作为要应用于簇分类的像素的特征信息。
例如，如果将“亮度”用作要应用于簇分类的特征信息，则可以以亮度彼此相似的一组像素为单元将像素分类成多个簇。
另一方面，例如，如果将“G”的像素值用作要应用于簇分类的特征信息，则可以以G的输出值彼此相似的一组像素为单元将像素分类成多个簇。
以这样的方式，要被应用作为要应用于簇分类的特征信息的信号空间可以使用捕获图像10的亮度、颜色信息或RGB信号的三个波长中的所有波长，或者可以使用可选波长信号或RGB信号之一的可选组合。可替选地，信号空间可以使用通过将捕获图像10转换成诸如Lab空间、YUV空间或xy色度空间的期望空间的信号或这样的信号的组合而获得的一个图像或多个图像的一个信号或多个信号。
图3是指示属于通过图2中描绘的K-Means方法被划分成的11个簇中的每个簇的元素(像素)的信号值的平均值及其频率的直方图。
横坐标轴指示通过图2中描绘的K-Means方法划分的11个簇中的每个簇的簇内元素(像素)的亮度(或像素值)平均值，并且纵坐标轴指示每个簇的频率，即，包括在每个簇中的元素数目(像素数目)。
采样点选择部101例如可以基于直方图来执行采样点提取簇的选择。
例如，采样点选择部101参照指示划分簇中最大频率的簇，沿亮度平均值增加的方向(沿图3的图的向右方向)选择规定数目的簇作为采样点提取簇。此外，属于所选择的簇的像素被随机采样。
采样点选择部101例如通过该处理执行采样像素的选择。
在图3描绘的直方图中，指示最大频率的簇是从左边起的第二个簇，并且参照该簇、沿亮度平均值增加的方向(沿图3的图的向右方向)选择预先规定的若干簇(例如，七个簇)作为采样点提取簇。
属于以这样的方式选择的七个采样点提取簇的像素被随机采样。
例如，通过以这样的方式选择采样点提取簇，而不从直方图的左端或右端的簇中选择采样点(像素)。这是不对亮度或像素值大大偏离整个图像的平均值的像素(即，低亮度的像素或高亮度的像素)进行采样的处理。
通过执行上述这样的处理，可以从去除了图像中受阴影、镜面反射等影响的像素的像素组内选择采样点。
要注意的是，利用上文中参照图3描述的直方图的采样点提取簇的选择过程是一个示例，并且采样点提取簇的选择处理可以通过各种处理来执行，例如执行选择直到属于所选择的簇的像素数目超过如上文中所述的整个图像的像素数目的固定比率的处理。
图4是描绘从参照利用图3的直方图选择的采样点提取簇(即，参照指示11个簇中最大频率的簇)、沿亮度平均值的上升方向选择的七个采样点提取簇内随机选择采样点的结果的视图。
图4中描绘的图像中的白点指示采样点(像素)。
在图4中描绘的图像的右上侧成像有河流，并且太阳光的反射光从河流的表面进入摄像装置。换言之，河流区域是镜面反射区域。这样的镜面反射区域是高亮度区域，其亮度与整个图像的亮度平均值非常不同，并且在本处理示例中，不从如刚刚描述的这样的区域内选择采样像素。
类似地，也不从其亮度与整个图像的亮度平均值非常不同的低亮度区域内选择采样像素。
在本处理示例中，采样像素由其亮度或像素值与整个图像的平均值接近的像素构成，并且采样像素由不包括其亮度值与平均值非常不同的低亮度像素或高亮度像素的像素构成。
将由如上所述的图像的这样的平均像素值构成的采样像素的像素值信息和位置信息输出至图1中所描绘的校正函数计算部102，并且校正函数计算部102基于采样像素的像素值和位置信息来生成校正函数。
如上文中所述，采样点选择部101将采样点的像素值(亮度值等)和位置信息输出至随后的校正函数计算部102。
校正函数计算部分102利用由采样点选择部101选择的采样点的像素值和位置信息来生成校正函数。
校正函数计算部102可以基于由图像的平均像素值构成的采样像素的像素值来生成校正函数，并且可以生成使具有极端亮度或像素值的像素的影响减小的校正函数。
在上文中参照图2至图4描述的采样点选择处理是采样点选择部101执行应用K-Means方法的聚类以将图像的构成像素分类成K个子集(簇)并且利用聚类的结果来选择采样点的示例。
如上所述，采样点选择部101可以应用除了K-Means方法之外的各种聚类方法。
图5描绘了采样点选择部101通过应用语义分割来执行聚类的情况的示例。
如上文中所述，语义分割是下述方法：基于图像中的对象与用于基于实际对象的形状和其他特征信息的对象识别的词典数据(学习数据)之间的符合程度来识别图像的每个构成像素(像素)的对象属于哪个类别(人、车、道路、植物等)，并且将构成像素分类成每个类别单元的簇。
如图5所描绘，通过执行图像的语义分割，执行如图5所描绘的对象单元中的这样的像素分类(聚类)。
在图5所描绘的示例中，识别到以下对象：卷心菜、人、土壤、河流、房屋、树、道路、车辆和土壤。他们形成单独的簇。
要注意的是，有时在图像中出现不能执行对象识别的未知区域(未知)。
例如，在以作为农作物的卷心菜的生长状况为分析对象的情况下，需要准确地获取卷心菜的颜色等的信息。为此，需要将对卷心菜进行成像的图像区域的像素值校正为亮度不均匀和颜色不均匀被降低的像素值，即，将像素值校正为去除了云的阴影等的影响的像素值。
在存在这样的分析对象的情况下，选择包括卷心菜的图像区域作为采样点提取簇，并且选择采样点提取簇中的元素(像素)作为采样点(像素)。
采样像素的像素值信息被输出至图1所描绘的校正函数计算部102，并且校正函数计算部102基于采样像素的像素值来生成校正函数。
校正函数计算部102可以基于从作为卷心菜的图像区域的采样点提取簇中选择的采样像素的像素值来创建校正函数，并且因此可以创建专用于卷心菜的图像区域的校正函数。
通过使用从以此方式的采样点提取簇中选择的采样点，可以生成校正函数以执行校正处理而不受校正目标之外的树或河流的信号值的影响。
要注意的是，对于通过采样点选择部101进行聚类的方法，即，对于将捕获图像10的构成像素划分成多个子集(簇)的方法，可以如上文中所述应用如下所述的现有聚类方法。
(a)K-Means方法，
(b)K-NN方法(K-最近邻方法)，
(c)Ward方法，以及
(d)语义分割。
通过采样点选择部101进行的聚类不限于这样的现有方法，并且例如，可以使用由用户设置的边界或预先规定的边界将捕获图像10划分成多个区域，使得分割区域别被设置为簇。在图6中描绘特定示例。
图6描绘了下面的簇划分示例。
(1)簇划分示例1：将图像均等地划分成图块的聚类处理的示例，
(2)簇划分示例2：仅将图像的端部分划分成多个区域的聚类处理的示例，以及
(3)簇划分示例3：使用由用户指定的边界划分图像区域的聚类处理的示例。
例如，可以执行这样的各种簇划分示例的聚类。
在采样点选择部101执行聚类之后，确定采样点提取簇，并且进一步从所确定的采样点提取簇内选择采样点。
例如，可以将采样点选择处理执行为从采样点提取簇随机选择可选数目像素的处理。
可替选地，这样的方法可以被执行为将作为采样点选择目标的采样点提取簇进一步划分成多个区域，并且从每个区域内随机选择采样点，使得划分区域之间的选择数目的偏差减少。
如在上文中所述，采样点选择部101执行诸如如下的处理：
(1)将捕获图像10的构成像素划分成多个子集(簇)的聚类处理；
(2)从多个簇中确定作为采样点提取目标的采样点提取簇的处理；以及
(3)从所确定的采样点提取簇内选择采样点(像素)的处理。
将由采样点选择部101选择的采样点(像素)的像素值(亮度值等)与由采样点选择部101选择的采样点(像素)的位置信息一起输入至校正函数计算部102。
校正函数计算部102使用由采样点选择部101选择的采样点(像素)的像素值和位置信息来计算要应用于捕获图像10的所有构成像素的校正函数。
校正函数计算部102使用诸如核回归插值(核回归(Kernel Regression))、样条曲面插值、多项式近似曲面和线性插值的现有方法中的任一种来执行作为图像坐标的二维函数的校正曲线拟合等，以计算用于校正图像的构成像素的像素值的校正函数。
在下文中，描述了使用核回归差值(核回归)来计算校正函数的示例作为由校正函数计算部102执行的校正函数计算处理的示例。
根据核回归插值，将作为数据观察空间的观察空间d的数据投影到作为与观察空间d不同的某个特征对应的空间的特征空间(投影空间)D和与特征空间(投影空间)D上的数据对应的近似平面，然后基于所计算的投影空间上的近似平面，获得原始观察空间d上的近似平面(y(x))。根据观察空间d上的该近似平面(y(x))，可以获得与原始观察空间d上的所有x值对应的高精度的近似解。
要注意的是，在本示例中，观察空间d由根据由采样点选择部101选择的采样点(像素)的位置和像素值(亮度值)构成。
可以通过上述核回归插值计算的近似平面(y(x))是定义与还包括除采样点之外的点的所有点对应的像素值(亮度值)的近似解(估计值)的平面。
由采样点选择部101选择的采样点(像素)的总数由N表示。N个采样点的像素组由d表示。
如果x表示N个采样点中的每个采样点的像素位置，并且t表示信号值，则观察空间d可以由下述(表达式1)指示：
[数学式1]
d＝{(x1，t1)，…，(xN，tN)} (表达式1)
要注意的是，像素位置x是指示像素位置的二维坐标数据(x，y)的向量表示。
信号值t与在执行聚类时的特征信息对应，并且例如是亮度值。
(x，t)是像素位置x和像素位置x处的信号值t的组合。
要注意的是，如果在执行聚类时的特征信息是例如RGB的G的信号值，则信号值t是G的信号值，并且(x，t)是像素位置x和像素位置x处的信号值t的组合。
校正函数计算部102可以生成与应用于聚类的特征信息对应的校正函数和近似平面y(x)。
如果由采样点选择部101选择的N个采样点的像素组d被定义为由上述(表达式1)表示，则关于输入x的近似平面y(x)(近似平面计算函数)可以被表示为下述(表达式2)。
[数学式2]
y(x)＝k(x)T(K+λIN)-1t (表达式2)
要注意的是，由(表达式2)指示的近似平面计算函数y(x)中的λ是正则化参数。
此外，K是格拉姆(Gram)矩阵，并且是由下述(表达式3)指示的矩阵。
[数学式3]
Figure BDA0002982142950000161
此外，(表达式2)中的k(x)由下述(表达式4)描述。
[数学式4]
k(x):＝(k(x1，x)，…，k(xN，x)) (表达式4)
(表达式4)中的k(x，x')是核函数，并且可以使用诸如高斯核函数、多项式核函数、全子集核函数和ANOVA核函数的核函数。在本示例中，描述了使用高斯核函数的示例。
在使用高斯核函数的情况下，核函数：(表达式4)中的k(x，x')可以被描述为下述(表达式5)。
[数学式5]
Figure BDA0002982142950000171
校正函数计算部102还使用所计算的近似平面y(x)并且应用下述给出的(表达式6)来生成校正函数以用于计算校正后像素的像素值。
[数学式6]
Figure BDA0002982142950000172
要注意的是，在由(表达式6)指示的校正函数中，
Y'(x)是与校正捕获图像10之后的像素位置(x)对应的信号值(像素值或亮度值)，
Y(x)是与校正捕获图像10之前的像素位置(x)对应的信号值(像素值或亮度值)，
y(x)是由上文中给出的(表达式2)指示的近似平面y(x)，并且
Yref(x)是预先规定的校正参考。
例如，可以使用采样点提取簇的像素值的平均值或中值或者由用户选择的值作为校正参考Yref(x)。由用户选择的值可以是根据响应于像素位置的值变化的值。
(表达式6)是校正函数，通过该校正函数，包括近似平面y(x)和Yref(x)的两个值的比率(Yref(x)/y(x))指示越高的值，校正值被设置得越大。
近似平面y(x)由上文中给出的(表达式2)指示，并且
校正参考Yref(x)根据采样点提取簇的像素值的平均值或中值或者由用户选择的值被配置。
在Yref(x)和y(x)彼此相等并且满足(Yref(x)/y(x))＝1的情况下，根据(表达式6)计算的校正像素值Y'(x)变为等于校正之前的像素值Y(x)，并且
满足Y'(x)＝Y(x)。
另一方面，在校正参考Yref(x)的值与近似平面y(x)的值之差大并且两个值的比率(Yref(x)/y(x))高的情况下，校正之前的像素值Y(x)的校正值被设置得高。
在下文中描述校正的形式的特定示例。
由校正函数计算部102执行的处理可以以如下方式被总结。
(1)计算定义对输入x的输出值(像素值、亮度值等)的近似平面y(x)。
(2)计算用于响应于近似平面y(x)与校正参考Yref(x)之间的比率而改变校正量的校正函数(表达式6)。
要注意的是，在本示例中，“关于输入x的输出值(像素值、亮度值等)”是与像素位置对应的像素值或亮度值，并且近似平面y(x)是定义与像素位置对应的像素值或亮度值的近似平面y(x)。
以这样的方式，校正函数计算部102计算与执行聚类时的特征信息对应的信号值t对应的校正函数。
例如，在执行聚类时的特征信息是亮度值并且在生成校正函数时的信号值t与亮度值对应的情况下，计算与亮度值对应的校正函数。
将与亮度值对应的校正函数应用于作为校正目标的捕获图像10的亮度值的校正。此外，进行将与亮度值对应的校正函数应用于捕获图像10的构成像素中的每个像素的RGB的亮度值的校正的处理。在该情况下，对RGB的所有信号值进行校正。
另一方面，例如，在执行聚类时的特征信息是RGB的G信号值并且在校正函数生成时的信号值t与G的像素值对应的情况下，还可以执行诸如将仅基于G像素值生成的校正函数应用于校正目标的捕获图像10的构成像素中的每个像素的G像素值的处理。
在该情况下，仅对RGB像素值中的G像素值进行校正。
以此方式，校正函数计算部102可以被配置成使得其计算要被应用于捕获图像10的构成像素中的每个像素的所有RGB像素值的一个校正函数，或者可以被以其他方式配置成使得其计算分别与RGB的三个波长的像素值对应的三个不同的校正函数。
后续图像校正部(校正函数应用部)103根据由校正函数计算部102计算的校正函数(表达式6)来计算捕获图像10的所有构成像素的校正像素值，并且生成针对其设置计算出的像素值的校正图像20。
要注意的是，校正目标基本上是捕获图像10的所有构成像素。图像校正部(校正函数应用部)103应用由校正函数计算部102计算的校正函数来计算捕获图像10的所有构成像素的校正像素值，并且生成针对其设置计算出的像素值的校正图像20。
要注意的是，还可以通过用户设置来将特定像素区域或特定簇确定为校正目标。
上面描述了由图1中描绘的图像处理装置100的构成部分执行的一系列处理。
参照图7描述通过根据本工作示例的处理与常规类型的处理的图像校正的示例之间的特定差异。
图7描绘了下面两个视图。
(1)常规类型的处理的示例(在执行空间均等采样点选择的情况下的图像校正处理的示例)
(2)本公开内容的处理的示例(在执行基于聚类结果的采样点选择的情况下的图像校正的处理的示例)
(1)常规类型的处理的示例是在从要作为校正目标的图像的二维平面内执行空间均等采样点的选择的情况下的处理的示例。特别地，处理的示例是在以下情况下的处理的示例：采样点被设置在图像上的相等距离处并且基于采样点的像素值计算近似平面y(x)，并且然后应用响应于近似平面y(x)与校正参考Yref(x)之间的比率而改变校正量的校正函数(表达式6)来执行校正。对于校正参考Yref(x)，使用图像的平均亮度。
另一方面，(2)本公开内容的处理的示例是在执行基于聚类结果的采样点选择的情况下的处理的示例。特别地，这是在应用通过以下处理(S1)至(S3)计算的校正函数的情况下的处理的示例：
(S1)上文参照图2至图4描述的聚类和采样点提取簇的确定的处理，以及从采样点提取簇中选择采样点的选择处理，
(S2)基于采样点的像素值和位置信息的近似平面y(x)的计算，以及(S3)响应于计算的近似平面y(x)与校正参考Yref(x)之间的比率而改变校正量的校正函数(表达式6)的计算。
该示例是在应用通过步骤S1至步骤S3生成的校正函数(表达式6)执行校正的情况下的处理的示例。对于校正参考Yref(x)，使用图像的平均亮度。
要注意的是，图7的(2)中描绘的示例是在包括其亮度接近要作为校正目标图像的图像的平均亮度或中值亮度的许多像素的簇的情况下的处理的示例。包括其亮度相对于作为校正目标图像的图像的平均亮度或中值亮度偏离很大量的许多高亮度像素或低亮度像素的簇不被设置为采样点提取簇。
在图7的(1)和(2)的每一个中，描绘了图(A)、(B)、(C)。
(A)是描绘像素位置-亮度对应曲线(＝校正之前的像素的亮度值)和采样点的选择形式的视图。
(B)是描绘基于采样点生成的近似平面y(x)(＝像素位置-亮度近似曲线)的视图。
(C)是描绘像素位置-亮度对应曲线(即，校正之前的像素的亮度值)，近似平面y(x)、作为基于校正函数校正的像素值的像素位置-亮度对应曲线(＝校正之后的像素的亮度值)的视图。(C)还描绘了上文中描述的(表达式6)中的Yref(x)，即，要被用作预先规定的校正参考的图像的平均亮度值Yref(x)。
在(A)至(C)的所有中，横轴指示像素位置，纵轴指示亮度值(像素值)。
在图7的(1)的常规类型的处理的示例中，即，在执行空间均等采样点选择的情况下的图像校正处理的示例中，如(A)中描绘的，沿指示像素位置的横轴以相等距离选择采样点。还对在亮度值指示突然提高的像素位置(x1)处的像素进行采样。
应注意，该高亮度区域与例如上文中参照图4描述的图像的河流区域等对应。
如图7的(1)的(B)描绘的，将近似平面y(x)被生成为使得以相等距离选择的采样点被平滑地连接。该近似平面y(x)在亮度指示突然提高的像素位置(x1)的附近是弯曲的，使得近似平面y(x)接近像素位置(x1)处的亮度水平。
图7的(1)的(C)描绘了基于校正函数(表达式6)校正的像素位置-亮度对应曲线(＝校正之后的像素的亮度值)。
该像素位置-亮度对应曲线(＝校正之后的像素的亮度值)是与根据上文中描述的(表达式6)计算的校正像素值Y'(x)对应的曲线。
如图7的(1)的(C)中描绘的，像素位置-亮度对应曲线(＝校正之后的像素的亮度值)被设置成使得在亮度指示突然提高的像素位置(x1)附近上下变化很大量。
这是因为设置了：在上文中描述的(表达式6)中，即，在Y′(x)＝(Yref(x)/y(x))Y(x)…(表达式6)中，
随着Yref(x)与y(x)之间的差增大，(Yref(x)/y(x))增大，并且校正之前的像素值Y(x)的校正量增大。
如图7的(1)的(C)中描绘的，在亮度指示突然提高的像素位置(x1)附近，以下项之间的差异变大：
与校正函数对应的像素位置-亮度近似曲线(y(x))，与
用作预先设置的校正参考的图像的平均亮度值Yref(x)，
并且在上文中描述的(表达式6)中的(Yref(x)/y(x))变大，并且校正之前的像素值Y(x)的校正量变大。
结果，如图7的(1)的(C)描绘的，在校正之前的亮度值与周围环境相比显著高的像素位置(xl)附近，校正量被设置得较大，并且出现突然的像素值变化，即，伪影。
另外，由于像素位置(x1)的校正之后的像素值Y'(x)处于与校正之前的原始像素值Y(x)相比校正了很大量的状态，因此，与周围像素的亮度的亮度差减小，并且整个图像的动态范围减小。
相反，图7的(2)中描绘的本公开内容的处理的示例是在执行基于聚类结果的采样点选择的情况下的处理的示例。这是在包括亮度接近于图像的平均亮度或中值亮度的许多像素的簇被设置为采样点提取簇的情况下的处理的示例。包括其亮度相对于要作为校正目标图像的图像的平均亮度或中值亮度偏离很大的量的许多高亮度像素或低亮度像素的簇不被设置为采样点提取簇。
在图7的(2)的本公开内容的处理的示例中，由于采样点是从包括亮度接近于图像的平均亮度或中值亮度的的许多像素的簇中提取的，因此在亮度值指示相对于周围环境突然提高的像素位置(x1)处的像素不被采样。
如图7的(2)的(B)描绘的，近似平面y(x)被生成为使得从包括亮度接近于图像的平均亮度或中值亮度的许多像素的簇内提取的采样点被平滑地连接。近似平面y(x)在亮度指示突然提高的像素位置(x1)附近不弯曲。特别地，没有形成如图7的(1)的(B)中描绘的接近像素位置(x1)处的亮度水平的曲线。
图7的(2)的(C)描绘了表示根据基于采样点生成的校正函数(表达式6)校正的像素值的像素位置-亮度对应曲线(＝校正之后的像素的亮度值)，采样点是基于聚类结果选择的。
像素位置-亮度对应曲线(＝校正之后的像素的亮度值)是与根据上文描述的(表达式6)计算的校正像素值Y'(x)对应的曲线。
如图7的(2)的(C)中描绘的，像素位置-亮度对应曲线(＝校正之后的像素的亮度值)被设置成使得：在亮度指示突然提高的像素位置(x1)附近，基本上保持校正之前的像素值(亮度值)。
这是因为设置了：在上文中描述的(表达式6)中，即，在Y′(x)＝(Yref(x)/y(x))Y(x)…(表达式6)中
随着Yref(x)与y(x)之间的差缩小，(Yref(x)/y(x))缩小，并且像素值Y(x)在校正之前的校正量缩小。
如图7的(2)的(C)中描绘的，在亮度指示突然提高的像素位置(x1)附近，以下项之间的差异被设置成较小：
近似平面y(x)，与
用作预先设置的校正参考的图像的平均亮度值Yref(x)。
特别地，在上文中描述的(表达式6)中的(Yref(x)/y(x))变小，并且校正之前的像素值Y(x)的校正量变小。
这是因为设置了：在近似平面y(x)生成时，亮度指示突然提高的像素位置(x1)处的像素不被选择作为采样点，并且该高亮度像素的像素值不反映在近似平面y(x)上。
结果，如图7的(2)的(C)中描绘的，在校正之前的亮度值与周围环境相比显著较高的像素位置(x1)处，校正量被设置得较小，并且执行在校正时不会引起像素值的较大变化的校正。
结果，防止了如在上文中描述的作为常规类型的处理(即，伪影的处理)的如图7的(1)的(C)中指示的这种突然的像素值变化的出现。
另外，由于对于像素位置(x1)的校正之后的像素值Y'(x)与校正之前的原始像素值Y(x)相比没有显著变化，因此，与周围像素的亮度的亮度差没有减小，并且还抑制了整个图像的动态范围的减小。
以这种方式，通过执行图1描绘的本公开内容的图像处理装置100所应用的图像校正，可以防止在具有大的亮度变化的区域中伪影的出现，还可以防止整个图像的动态范围的减小，并且可以实现具有较小图像质量劣化的像素值校正。
图8描绘了本公开内容的处理的另一示例。
(3)本公开内容的处理的示例(在执行基于聚类结果的采样点选择的情况下用于图像校正的处理的示例)
该处理的示例是例如在图像的一部分被云遮暗的情况下的图像校正的示例。
然而，该示例是以下情况的示例：其中被云遮暗的区域也是分析目标区域(例如，作为生长状态的分析目标的农作物的卷心菜的图像区域)，并且其中需要恢复到正确像素值的分析目标区域。
在刚刚描述的这种情况下，对被云遮暗的区域也进行与其他亮区域类似的用于选择采样点的处理。
特别地，将包括作为成像目标对象的分析目标的卷心菜的许多区域的簇设置为采样点提取簇。
以这种方式，图8的(3)中描绘的本公开内容的处理的示例是其中将分析目标区域(例如，包括农作物的卷心菜的图像区域的区域)设置为采样点提取簇的情况的处理的示例。
在图8的(3)的本公开内容的处理的示例中，如(A)中描绘的，如果亮度受云的阴影的影响而下降的区域是包括卷心菜的图像区域的区域，则与其他亮区域类似地，从该区域中提取采样点。
如图8的(B)中描绘的，近似平面y(x)被生成为使得采样点被平滑地连接。近似平面y(x)在亮度低的区域中是弯曲的，使得近似平面y(x)接近该位置处的亮度水平。
图8的(C)描绘了指示根据基于采样点生成的校正函数(表达式6)校正的像素值的像素位置-亮度对应曲线(＝校正之后的像素的亮度值)，采样点是基于聚类结果选择的。
该像素位置-亮度对应曲线(＝校正之后的像素的亮度值)是与根据上文中描述的(表达式6)计算的校正像素值Y'(x)对应的曲线。
如图8的(C)中描绘的，设置了：在亮度下降的像素位置附近，像素位置-亮度对应曲线(＝校正之后的像素的亮度值)相对于校正之前的像素值(亮度值)被向更高且更亮的方向校正。
这是因为设置了：在上文中描述的(表达式6)中，即，在
Y′(x)＝(Yref(x)/y(x))Y(x)…(表达式6)中，
随着Yref(x)与y(x)之间的差减小，(Yref(x)/y(x))减小，并且校正之前的像素值Y(x)的校正量减小。
如图8的(C)中描绘的，在亮度较低的像素位置附近，以下项之间的差较大：
近似平面(y(x))，与
用作预先设置的校正参考的图像的平均亮度值Yref(x)。
特别地，在上文中描述的(表达式6)中的(Yref(x)/y(x))变大，并且校正之前的像素值Y(x)的校正量变大。
这是因为设置了：在近似平面y(x)生成时，将亮度也较低的像素位置处的像素选择为采样点，并且该低亮度像素的像素值被反映在近似平面y(x)上。
结果，如图8的(C)中描绘的，在校正之前的亮度值与周围环境相比较低的像素位置处，校正量被设置得较大，并且执行用于增大亮度值的校正。
结果，将亮度值由于云的阴影而降低的区域校正得较亮，并且生成与去除云的影响的校正图像类似的校正图像。
以这种方式，在图1描绘的本公开内容的图像处理装置100所应用的图像校正中，即使在包括校正目标对象的图像区域中亮度受阴影等的影响而变化的情况下，通过将包括图像区域的像素的簇设置为采样点提取簇，变得可以执行减小图像区域中阴影的影响的像素值校正。
[2.由图像处理装置执行的图像处理序列]
现在，参照图9中描绘的流程图来描述由图1中描绘的图像处理装置100执行的图像处理的序列。
要注意的是，例如，可以根据存储在图像处理装置100的存储部中的程序，执行根据图9中描绘的流程图的处理。例如，可以在包括具有程序执行功能的CPU等的数据处理部(控制部)的控制下执行图像处理。
下面，依次描述图9描绘的流程图的步骤中的处理。
(步骤S101)
首先，在步骤S101中，图像处理装置100接收要作为校正目标的捕获图像作为对其的输入。
该捕获图像是图1中描绘的捕获图像10，并且是例如使用无人机捕获的一个图像。捕获图像是例如由于其部分区域被云等遮蔽并且与其他区域相比像素值被设置得相当暗而具有亮度不均匀或颜色不均匀的图像。
(步骤S102)
然后，在步骤S102中，图像处理装置100执行将校正目标的捕获图像10的构成像素划分成多个子集(簇)的聚类(簇划分)。
该处理由图1中描绘的采样点选择部101执行。
如上文中所述，可以应用如下给出的这样的现有聚类方法。
(a)K-Means方法，
(b)K-NN方法(K最近邻方法)，
(c)Ward法，和
(d)语义分割。
此外，在不依赖于这样的现有方法的情况下，例如，可以使用由用户设置的边界或预先规定的边界将捕获图像10划分成多个区域，使得划分的区域如上文中参照图6描述地被设置为簇。
要注意的是，可以利用各种特征的信息，例如“亮度”、“颜色”或R、G和B值中的任一个(例如“G”的像素值)作为要被应用于簇分类的像素的特征信息。
例如，如果将“亮度”用作要被应用于聚类分类的特征信息，则可以以其亮度彼此相似的像素组为单元将像素分类成多个簇。
另一方面，例如，如果将“G”的像素值用作要被应用于聚类分类的特征信息，则可以以G的输出值彼此相似的像素组为单元将像素分类成多个簇。
(步骤S103)
然后，在步骤S103中，图像处理装置100从校正目标的捕获图像10内选择采样点。
该处理也由图1描绘的采样点选择部101执行。
在采样点选择部101在步骤S102中执行对校正目标的捕获图像10的构成像素的聚类之后，确定采样点提取簇，并且从所确定的采样点提取簇内选择采样点。
如上文中描述的，例如，可以应用以下方法中的任何一种作为采样点提取簇的确定方法。
(1)从包括最大样本(像素)数量的簇开始依次确定一个或更多个簇作为采样点提取簇。簇被确定为采样点提取簇。
(2)将簇中其平均值或中值为所有簇的中心的簇或与该簇相邻的若干簇的中心的簇确定为采样点提取簇。
(3)用户选择特定的簇，并且将所选择的簇确定为采样点提取簇。
例如，在执行以上(2)的处理的情况下，如果利用属于每个簇的像素的像素值或亮度值的平均值或中值，则包括图像中的非常暗像素区域或非常亮区域的簇不被设置为采样点提取簇，并且不从该簇中提取采样点。
另一方面，在执行以上(3)的由用户进行的聚类选择的情况下，执行诸如选择包括特定成像目标(对象)的簇作为采样点提取簇的处理，该特定成像目标(对象)的精确像素值要被找到，特定成像目标(对象)例如包括田野的农作物的许多像素。
(步骤S104)
然后，在步骤S104中，图像处理装置100利用采样点的像素值生成校正函数。
该处理由图1描绘的校正函数计算部102执行。
校正函数计算部102使用由采样点选择部101选择的采样点(像素)的像素值来计算要被应用于捕获图像10的所有构成像素的校正函数。
如上文中描述的，校正函数计算部102首先例如使用诸如核回归插值(核回归)、样条曲面插值、多项式近似曲面和线性插值的现有方法中的任何一种来执行作为图像坐标的二维函数的校正曲线拟合等，以计算近似平面y(x)。
该近似平面y(x)是由上文中描述的(表达式2)指示的近似平面y(x)。
此外，校正函数计算部102计算用于响应于近似平面y(x)与校正参考Yref(x)之间的比率而改变校正量的校正函数(表达式6)。
例如，可以使用采样点提取簇的像素值的平均值或中值或者由用户选择的值作为校正参考Yref(x)。用户选择的值可以是根据响应于像素位置的值变化的值。
通过仅使用由采样点选择部101选择的采样点(像素)的像素值来计算校正函数，校正函数计算部102可以例如基于根据图像的平均像素值构成的采样像素的像素值来生成校正函数。换言之，可以生成从其中去除具有极端亮度或像素值的像素的影响的校正函数。
此外，例如，在指定将成为分析目标的对象的情况下，通过基于从包括对象的许多图像区域的簇中选择的采样点的像素值来生成校正函数，还可以生成用于准确地执行对象的像素值校正的校正函数。
例如，在分析目标对象是使用无人机捕获的田野的卷心菜的情况下，如果生成基于从作为卷心菜的图像区域的采样点提取目标内选择的采样像素的像素值的校正函数，则可以生成针对卷心菜的图像区域指定的校正函数。
(步骤S105)
然后，在步骤S105中，图像处理装置100通过将校正函数(表达式6)应用于校正目标的捕获图像10的像素的像素值来计算校正的像素值。
该处理是由图1描绘的图像校正部(校正函数应用部)103执行的处理。
图像校正部(校正函数应用部)103通过应用步骤S104中由校正函数计算部102计算的校正函数——即，下面给出的(表达式6)——来计算校正后的像素的像素值：
Y′(x)＝(Yref(x)/y(x))Y(x)…(表达式6)
执行根据以上表达式的像素值计算处理。
要注意的是，在以上(表达式6)中，
Y'(x)是与捕获图像10的校正之后的像素位置(x)对应的信号值(像素值、亮度值等)，
Y(x)是与捕获图像10的校正之前的像素位置(x)对应的信号值(像素值、亮度值等)，
y(x)是由上文中给出的(表达式2)指示的近似平面y(x)，并且
Yref(x)是预先规定的校正参考。
例如，可以使用采样点提取簇的像素值的平均值或中值或者由用户选择的值作为校正参考Yref(x)。由用户选择的值可以是根据响应于像素位置的值而变化的值。
图像校正部(校正函数应用部)103根据由校正函数计算部102计算出的校正函数(表达式6)来计算捕获图像10的所有构成像素的校正的像素值，并且生成对其设定了计算的像素值的校正图像20。
(步骤S106)
最后，图像处理装置100中生成并且输出由通过步骤S105中的像素值校正处理校正的像素值构成的校正图像。例如，图像处理装置100执行对显示部的输出处理或对存储部中的存储处理。
结果，可以防止在具有大的亮度变化的区域中伪影的出现，并且还可以减小图像的动态范围，并且生成如上文中参照图7和图8描述的具有较小图像质量劣化的校正图像。
[3.本公开内容的图像处理装置的第二工作示例的配置和处理]
现在，参照图10和后续附图描述本公开内容的图像处理装置的第二工作示例的配置和处理。
图10是描绘本公开内容的第二工作示例的图像处理装置120的配置的示例的框图。如图10中描绘的，图像处理装置120包括缩小图像生成部121、采样点选择部101、校正函数计算部102和图像校正部(校正函数应用部)103。
图10中描绘的图像处理装置120被配置成使得在上文中参照图1描述的第一工作示例的图像处理装置100的采样点选择部101之前的阶段中提供缩小图像生成部121。
作为其他部件的采样点选择部101、校正函数计算部102和图像校正部(校正函数应用部)103执行与第一工作示例中的处理基本上类似的处理。
下面，主要给出图像处理装置120与上文中描述的工作示例1的差异。
图像处理装置120接收一个要作为校正目标的捕获图像10作为其输入，执行校正，并且然后输出校正图像20。
要注意的是，在本工作示例中，校正目标的捕获图像10还是通过摄像装置的单次图像捕获处理而捕获的一个捕获图像。换言之，捕获图像10不是通过执行将多个图像彼此接合的接合处理而生成的合成图像。
缩小图像生成部121接收校正目标的捕获图像10作为其输入，并且生成从捕获图像10缩小的缩小图像。
对于图像的缩小方法，例如，可以应用现有的图像缩小方法，例如最近邻方法、面积平均方法、双线性方法、双三次方法和Lanczos方法。此外，可以通过使用缩小范围的中值(中心值)或平均值作为缩小图像的信号值来计算缩小图像。
采样点选择部101和校正函数计算部102利用由缩小图像生成部121生成的缩小图像来执行采样点的选择处理和校正函数的计算处理。
校正函数计算部102针对缩小的图像尺寸计算近似平面y(x)和校正函数。
图像校正部(校正函数应用部)103使用由校正函数计算部102计算的校正函数来生成校正图像。
图像校正部(校正函数应用部)103接收未被缩小的捕获图像10作为其输入，并且对捕获图像10的构成像素的像素值进行校正。
图像校正部(校正函数应用部)103首先将由校正函数计算部102计算的缩小的图像尺寸的近似平面y(x)和校正函数扩展到缩小之前的捕获图像10的尺寸，以生成扩展的校正函数，并且将扩展的校正函数应用于捕获图像10。
可替选地，图像校正部(校正函数应用部)103可以接收由缩小图像生成部121生成的缩小图像作为其输入，并且将由校正函数计算部102计算的缩小的图像尺寸的近似平面y(x)和校正函数应用于该缩小图像，以生成用于缩小的校正图像的校正图像，之后，执行用于对缩小的校正图像进行扩展的处理。可以应用现有的扩展方法，例如最近邻方法、双线性方法、双三次方法和Lanczos方法作为图像扩展方法。
在第二工作示例的处理中，在缩小图像生成部121生成捕获图像10的缩小图像之后，可以执行采样点选择部101、校正函数计算部102和图像校正部(校正函数应用部分)103的处理作为针对缩小图像的处理，并且可以减小计算量，并且可以简化处理速度的提高以及要应用于处理的程序和硬件的简化。
现在，参照图11的流程图描述由图10中描绘的图像处理装置120执行的图像处理的序列。
要注意的是，可以根据例如存储在图像处理装置120的存储部中的程序来执行根据图11描绘的流程图的处理。这些处理可以在包括具有程序执行功能的CPU等的数据处理部(控制部)的控制下执行。
下面，依次描述图11描绘的流程图的各个步骤中的处理。
(步骤S201)
首先，在步骤S201中，图像处理装置120接收要作为校正目标的捕获图像作为其输入。
该捕获图像是图10中描绘的捕获图像10，并且是例如使用无人机捕获的一个图像。捕获图像是例如由于部分区域被云等遮蔽并且像素值与其他区域相比被设置得相当暗而具有亮度不均匀或颜色不均匀的图像。
(步骤S202)
然后，在步骤S202中，图像处理装置120生成校正目标的捕获图像10的缩小图像。
该处理是由图10描绘的缩小图像生成部121执行的处理。
缩小图像生成部121例如通过对校正目标的捕获图像10应用现有的图像缩小方法(例如，最近邻方法、面积平均方法、双线性方法，双三次方法、Lanczos方法)来生成缩小图像。注意，也可以生成将缩小的范围的中值(中心值)或平均值用作缩小图像的信号值的缩小图像。
(步骤S203至步骤S205)
步骤S203至S205中的处理是与上文中参照图9描述的工作示例1的流程的步骤S102至S104中的处理类似的处理。
然而，在本工作示例中，步骤S203至S205中的处理是对在步骤S202中生成的缩小图像执行的。
在步骤S203中，执行将校正目标的捕获图像10的缩小图像的构成像素划分成多个子集(簇)的聚类(簇划分)。
在步骤S204中，从作为聚类的结果而生成的簇中确定采样点提取簇，并且从所确定的采样点提取簇中选择采样点。
所描述的处理由图10中描绘的采样点选择部101执行。
此外，在步骤S205中，利用采样点的像素值生成校正函数。
该处理由图10中描绘的校正函数计算部102执行。
如上文中描述的，在本工作示例2中，校正函数计算部102针对缩小的图像尺寸计算校正函数y(x)(＝近似平面计算函数y(x))。
(步骤S206至步骤S207)
然后，在步骤S206中，图像处理装置120通过将校正函数应用于校正目标的捕获图像10的像素的像素值来计算校正的像素值。
最后，在步骤S207中，生成并且输出由校正的像素值构成的校正图像。例如，执行对显示部的输出处理或对存储部中的存储处理。
所提及的处理是由图10中描绘的图像校正部(校正函数应用部)103执行的处理。
如上文中描述的，图像校正部(校正函数应用部)103接收例如未处于缩小状态的捕获图像10作为其输入，并且对捕获图像10的构成像素的像素值进行校正。
在这种情况下，图像校正部(校正函数应用部)103首先将由校正函数计算部102计算的缩小的图像尺寸的近似平面y(x)和校正函数扩展到缩小之前的捕获图像10的尺寸，以生成扩展的校正函数，并且将扩展的校正函数应用于捕获图像10。
可替选地，图像校正部(校正函数应用部)103可以接收由缩小图像生成部121生成的缩小图像作为其输入，并且将由校正函数计算部102计算的缩小的图像尺寸的近似平面y(x)和校正函数原样应用于缩小图像，以生成缩小的校正图像的校正图像，之后，执行对缩小的校正图像进行扩展的处理。可以利用现有的图像扩展方法，例如最近邻方法、双线性方法、双三次方法和Lanczos方法作为图像扩展方法。
如上文中描述的，根据第二工作示例的处理，缩小图像生成部121可以生成捕获图像10的缩小图像，使得通过应用缩小图像来执行后续处理。这使得可以减小计算量，并且实现了处理速度的提高以及要应用于处理的程序和硬件的简化。
[4.本公开内容的图像处理装置的第三工作示例的配置和处理]
现在，参照图12和后续附图描述本公开内容的图像处理装置的第三工作示例的配置和处理。
图12是描绘本公开内容的第三工作示例的图像处理装置130的配置的示例的框图。如图12中描绘的，图像处理装置130包括缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103和合成图像生成部131。
图12中描绘的图像处理装置130被配置成使得将合成图像生成部131添加知上文中参照图10描述的第二工作示例的图像处理装置120。
合成图像生成部131被作为图像校正部(校正函数应用部)103的随后的阶段处理部而添加。
作为图像处理装置130的其他部件的缩小图像生成部121、采样点选择部101、校正函数计算部102和图像校正部(校正函数应用部)103执行与第二工作示例中的处理大体上类似的处理。
下面，主要给出与上述工作示例2的差异。
图12中描绘的图像处理装置130生成并且输出其中连接了例如使用无人机捕获的多个图像作为最终的输出图像的合成图像30。
输入图像是例如使用无人机捕获的多个图像。如图12中描绘的，将包括图像P1至Pn的多个图像作为捕获图像10依次输入至图像处理装置130。
图像P1至Pn例如是使用无人机接连捕获的图像，并且是通过捕获广阔区域的部分区域而各自获得的图像。通过将图像彼此接合，可以生成与广阔区域对应的一个图像。
然而，在空中运动的无人机在捕获图像时经历由于风等的影响而引起的姿势变化。因此，在捕获每个图像时，来自由摄像装置接收的成像目标的反射光根据摄像装置、成像目标和光源的关系的变化而变化，并且捕获图像在亮度和颜色上不能被均匀化，而是变得稀疏。如果以这种方式将具有彼此不同的亮度和颜色的图像彼此连接以生成单个合成图像，则所得到的合成图像的质量劣化，因为在图像的连接部分处失去连续性。
此外，即使一个图像有时包括被天空中的云或作为不同的飞行体的飞机、鸟等遮蔽的区域和未遮蔽的另一区域，并且在这些区域之间出现亮度或颜色的差异。总之，出现亮度或颜色的不均匀。
图12中描绘的工作示例3的图像处理装置130生成高质量的合成图像30，在该高质量的合成图像30进行了用于减小以捕获以图像为单元的亮度不均匀和颜色不均匀、以及构成合成图像的图像之间的亮度差异和颜色差异的校正。
图12中描绘的工作示例3的图像处理装置130的从缩小图像生成部121到图像校正部103的部件对构成校正之前的合成图像的图像(P1至Pn)中的每一个图像依次执行处理以生成校正图像20-1至20-n。
针对每个图像单元的处理是与上文中参照图10描述的工作示例2的配置的处理类似的处理。
在工作示例3中，针对构成校正之前的合成图像的图像(P1至Pn)中的每个图像，依次执行用于每个图像单元的处理。特别地，对于n个图像重复执行相同的处理n次，以生成校正图像20-1至20-n。
合成图像生成部131接收n个校正图像20-1至20-n作为其输入，并且生成其中校正图像20-1至20-n彼此连接的合成图像30。
合成图像生成部131例如在接合图像时将校正参考信号设置为参考，并且使图像的平均信号(像素值或亮度值的平均值)、接合时重叠区域的平均信号(像素值或亮度值的平均值)、以及采样点提取簇的平均值(像素值或亮度值的平均值)与校正的参考信号一致，以生成接合部分处的不连续性减小的合成图像。
要注意的是，校正参考信号可以使用预先设置的值，或者可以使用特定的单个图像或多个图像的平均值。
特别地，进行诸如使得相邻图像的平均亮度彼此一致或者将这样的图像之间的差异设置为规定的范围或更小的范围的调整以连接相邻图像。
此外，在图像连接(接合)时，进行检测相邻图像的重叠区域并且从相邻图像之一中删除该重叠区域，或者计算多个图像中包括的重叠区域的平均值，并且执行将图像接合成一个区域中，以执行图像校正以使得在合成图像中不出现重叠区域。
工作示例3的图12中描绘的工作示例3的图像处理装置130执行用于降低一个捕获图像的单元中的亮度不均匀或颜色不均匀的校正，并且还降低要构成合成图像的图像之间的亮度差异或颜色差异，以生成高质量的合成图像30。
参照图13中描绘的流程图描述由图12中描绘的图像处理装置130执行的图像处理的序列。
要注意的是，例如，根据存储在图像处理装置130的存储部中的程序，可以执行根据图13中描绘的流程图的处理。例如，可以在包括具有程序执行功能的CPU等的数据处理部(控制部)的控制下执行该处理。
下面，依次描述图13中描绘的流程图的各个步骤中的处理。
(步骤301)
首先，在步骤S301中，图像处理装置130从多个捕获图像中选择要作为校正目标的捕获图像。
特别地，将要构成图12中描绘的校正之前的合成图像的图像(P1至Pn)依次选择为校正目标图像。
图像P1至Pn是例如使用无人机接连捕获的图像，并且是每个图像都是某个广阔区域的部分区域的捕获图像的图像。通过将图像彼此接合，可以生成与广阔区域对应的单个图像。
然而，图像是其中由于捕获时的条件差异而使亮度或颜色不均匀的稀疏图像，并且在一个图像中，还存在由阴影区域、镜面反射区域等引起的亮度不均匀或颜色不均匀。
(步骤S302)
然后，在步骤S302中，图像处理装置130接收在步骤S301中选择的校正目标图像作为其输入。
(步骤S303至步骤S308)
步骤S303至S308中的处理是与上文中参照图11描述的工作示例2的流程中的步骤S202至S207中的处理类似的处理。
特别地，在步骤S303中，对校正目标图像的捕获图像10执行缩小处理。
在步骤S304中，对缩小图像执行聚类。
在步骤S305中，执行根据聚类结果确定采样点提取簇以及从采样点提取簇中选择采样点。
此外，在步骤S306中，执行基于所选择的采样点的像素值的对校正函数的生成处理。
在步骤S307中，应用所生成的校正函数来计算校正目标图像的校正像素值。
在步骤S308中，生成由校正的像素值构成的校正图像。
(步骤S309)
在步骤S309中，判定对于所有捕获图像(P1至Pn)是否完成了校正图像的生成。
在存在未处理的图像的情况下，在步骤S301中选择未处理的图像，并且对未处理的图像执行步骤S302至S308中的处理。
如果在步骤S309中判定对于所有捕获图像(P1至Pn)完成了校正图像的生成，则处理前进至步骤S310。
在该时间点，完成了图12中描绘的其中像素值已经被校正的校正图像20-1至20-n的生成。
(步骤S310)
最后，在步骤S310中，图像处理装置130将所有校正图像20-1至20-n接合以生成并且输出合成图像30。
该处理是由图12中描绘的合成图像生成部131执行的处理。
如上文中所述，合成图像生成部131设置例如作为图像接合时的参考的校正参考信号，并且使得图像的平均信号或接合时的重叠区域的平均信号以及采样点提取簇的平均值与校正信号一致，以生成连接部分处的不连续台阶被减少的图像。
对于校正参考信号，可以利用预先设置的值，例如单个特定图像或多个图像的平均值等。这使得可以生成其中相邻图像的平均亮度彼此一致或者它们之间的差异被设定为规定值范围或更小的范围的合成图像。
要注意的是，在图像连接(接合)时，执行诸如检测相邻图像的重叠区域并且从相邻图像的一个图像中删除该重叠区域等的处理。作为替选，可以计算在多个图像中包括的重叠区域的平均值，使得图像被连接为单个区域。作为另一替选，可以通过重叠图像的α混合来确定重叠区域的像素值，以平滑地改变重叠区域中的图像。虽然执行α混合以便例如在考虑两个图像的情况下从图像A到图像B连续地改变信号值，但是在α混合时，考虑到镜头失真、阴影或周边模糊，可以将该值添加至混合比率以反映距屏幕图像的中心的距离，使得该比率朝向屏幕图像的中心增大。
通过执行如上所述的这样的处理，图12中描绘的工作示例3的图像处理装置130可以生成高质量的合成图像30，在该合成图像30中，一个捕获图像单元的亮度不均匀和颜色不均匀减小，并且构成合成图像的图像之间的亮度差异和颜色差异也减小。
[5.其他工作示例]
现在，参照图14和随后的附图描述其他工作示例。
描述了以下三个工作示例。
(工作示例4)通过参考已处理的周围图像的采样点位置信息来执行对未处理的图像中的采样点的选择处理的工作示例，
(工作示例5)通过参考已处理的周围图像的校正函数信息来执行对未处理的图像的校正函数的计算处理的工作示例，
(工作示例6)通过参考已处理的周围图像的近似平面信息来执行对未处理的图像中的近似平面的计算处理的工作示例。
(5-1)(工作示例4)通过参考已处理的周围图像的采样点位置信息来执行对未处理的图像中的采样点的选择处理的工作示例。
首先，描述了通过参考已处理的周围图像的采样点位置信息来执行对未处理的图像中的采样点的选择处理的工作示例作为工作示例4。
图14是描绘本工作示例4的图像处理装置140的配置的示例的框图。如图14中描绘的，图像处理装置140包括缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103、合成图像生成部131和图像对应采样点位置信息存储部141。
图14中描绘的图像处理装置140被配置成使得将图像对应采样点位置信息存储部141添加至上文中参照图12描述的第三工作示例的图像处理装置130。
作为图像处理装置140的其他部件的缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103和合成图像生成部131基本上执行与第三工作示例的处理大体上类似的处理。
然而，采样点选择部101执行不同的处理。
图像对应采样点位置信息存储部141存储针对其已经由采样点选择部101执行了采样点选择处理的图像的采样点位置信息。
此外，在采样点选择部101对新图像执行采样点选择处理时，采样点选择部101从图像对应采样点位置信息存储部141获取处理目标图像周围的经处理的图像(即，采样点选择部101已经对其执行了采样点选择处理的图像)的采样点位置信息。采样点选择部101参考从图像对应采样点位置信息存储部141获取的信息对新图像执行采样点选择处理。
参照图15描述特定的示例。
在图15的左上部分，描绘了校正之前的合成图像。该合成图像是由例如使用无人机接连捕获的多个图像构成的。
构成合成图像的图像被依次输入至图像处理装置140并且由图像处理装置140处理。
假定根据图15中描绘的箭头标记来执行处理。
在图15的右侧，描绘了作为构成合成图像的图像的一部分的五个相邻图像。
它们是采样点选择部101随后要对其执行采样点选择处理的图像Px以及图像Px的周围图像中已经执行了采样点选择处理的图像Pa至Pd。
在采样点选择部101执行从随后要针对其执行采样点选择处理的图像Px中选择采样点的选择处理时，参考在针对其已经执行了采样点选择处理的图像Pa至Pd中(即，图像Px的周围图像中)设置的采样点。
利用参考的结果来执行针对图像Px的采样点选择处理。
例如，基于周围的图像来判定如图15中描绘的这样的区域a或其他区域b具有其可以包括采样点选择目标的图像的高度可能性，并且执行从图像Px中的包括在区域a和b中的区域中选择采样点。
通过执行上述这样的处理，可以省略或简化上述聚类处理以及诸如采样点提取簇的确定和采样点提取簇中选择采样点的选择处理的步骤。
此外，例如，如图16中描绘的，通过采用以固定比率从周围图像中选择的采样点作为采样点选择目标的图像的采样点，可以避免采样点选择目标的图像的采样点具有与周围图像的采样点非常不同的采样点的选择布置。通过执行如上所述的处理，可以稳定地执行校正。
要注意的是，优选地执行上述的聚类处理、采样点提取簇的确定、以及从采样点提取簇中选择采样点的选择处理而不省略这些处理，并且在执行这些处理时，参考经处理的周围图像的采样点信息，以执行诸如修改要基于周围图像的信息选择的采样点的处理。
(5-2)(工作示例5)通过参考已处理的周围图像的校正函数信息来执行对未处理的图像的校正函数的计算处理的工作示例。
现在，描述了通过参考已处理的周围图像的校正函数信息来执行对未处理的图像的校正函数的计算处理的工作示例作为工作示例5。
图17是描绘本工作示例5的图像处理装置150的配置的示例的框图。如图17中描绘的，图像处理装置150包括缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103、合成图像生成部131和图像对应校正函数存储部151。
图17中描绘的图像处理装置150被配置成使得将图像对应校正函数存储部151添加到上文中参照图12描述的第三工作示例的图像处理装置130。
作为图像处理装置150的其他部件的缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103和合成图像生成部131基本上执行与第三工作示例的处理大体上类似的处理。
然而，校正函数计算部102执行不同的处理。
图像对应校正函数存储部151存储由校正函数计算部102已经对其执行了校正函数的计算处理的图像的校正函数。
此外，在校正函数计算部102对新图像执行校正函数计算处理时，校正函数计算部102从图像对应校正函数存储部151获取处理目标图像周围的经处理的图像(即，校正函数计算部102已经对其执行了校正函数的计算处理的图像)的校正函数信息。校正函数计算部102参考从图像对应校正函数存储部151获取的信息对新图像执行校正函数计算处理。
参照图18描述特定的示例。
在图18的左上部分，描绘了校正之前的合成图像。该合成图像是由例如使用无人机接连捕获的多个图像构成的。
构成合成图像的图像被依次输入至图像处理装置150并且由图像处理装置150处理。
假设根据图18中描绘的箭头标记来执行处理。
在图18的右侧，描绘了作为构成合成图像的图像的一部分的五个相邻图像。
它们是校正函数计算部102随后要对其执行校正函数计算处理的图像Px以及图像Px的周围图像中已经执行了校正函数计算处理的图像Pa至Pd。
在校正函数计算部102针对随后要对其执行校正函数计算处理的图像Px执行校正函数的计算时，参考了已经对其计算了校正函数的图像Pa至Pd(即，图像Px的周围图像)的校正函数。
利用参考的结果执行图像Px的校正函数计算处理。
例如，通过将图18中描绘的五个周围图像的校正函数组合来计算图像Px的校正函数。例如，执行诸如α混合的处理以基于周围图像的多个校正函数来计算新图像的校正函数。
例如，执行诸如α混合的处理，其中将权重设置成使得增加的权重被应用于较短距离处的参考图像，并且基于周围图像的多个校正函数来计算新图像的校正函数。
通过执行上述这样的处理，可以省略或简化在上文中描述的近似平面的计算中涉及的校正函数的计算处理步骤。
要注意的是，优选地，执行诸如执行包括上文中描述的近似平面的计算的校正函数的计算处理的处理而不省略这些处理，并且在执行这样的处理时，参考经处理的周围图像的校正函数信息以对基于周围图像的信息计算的校正函数进行修改。
(5-3)(工作示例6)通过参考已处理的周围图像的近似平面信息来执行对未处理的图像中的近似平面的计算处理的工作示例。
现在，参考已处理的周围图像的近似平面信息来执行对未处理的图像中的近似平面的计算处理的工作示例作为工作示例6。
图19是描绘本工作示例6的图像处理装置160的配置的示例的框图。如图19中描绘的，图像处理装置160包括缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103、合成图像生成部131和图像对应近似平面存储部161。
图19中描绘的图像处理装置160被配置成使得将图像对应近似平面存储部161添加至上文中参照图12描述的第三工作示例的图像处理装置130。
作为图像处理装置160的其他部件的缩小图像生成部121、采样点选择部101、校正函数计算部102、图像校正部(校正函数应用部)103和合成图像生成部131基本上执行与第三工作示例的处理大体上类似的处理。
然而，校正函数计算部102执行不同的处理。
图像对应近似平面存储部161存储由校正函数计算部102已经对其执行了近似平面y(x)的计算处理的图像的近似平面y(x)。
此外，在校正函数计算部102执行对新图像的近似平面y(x)的计算处理时，校正函数计算部102从图像对应近似平面存储部161获取处理目标图像周围的经处理的图像(即，校正函数计算部102已经针对其执行了近似平面y(x)的计算的图像)的近似平面y(x)信息。校正函数计算部102参考从图像对应近似平面存储部161中的获取信息来对新图像执行近似平面y(x)计算处理。
参照图20描述特定的示例。
在图20的左上部分，描绘了校正之前的合成图像。该合成图像是由例如使用无人机接连捕获的多个图像构成的。
构成合成图像的图像被依次输入至图像处理装置160并且由图像处理装置160处理。
假定根据图20中描绘的箭头标记来执行处理。
在图20的右侧，描绘了作为构成合成图像的图像的一部分的五个相邻图像。
它们是校正函数计算部102随后要对其执行近似平面y(x)计算处理的图像Px以及图像Px的周围图像中已经执行了近似平面y(x)计算处理的图像Pa至Pd。
在校正函数计算部102针对随后要对其执行近似平面y(x)计算处理的图像Px执行近似平面y(x)的计算时，参考了已经对其计算了近似平面y(x)的图像Pa至Pd(即，图像Px的周围图像)的近似平面y(x)。
利用参考的结果执行图像Px的近似平面y(x)计算处理。
例如，通过将图20中描绘的五个周围图像的近似平面y(x)进行组合来计算图像Px的近似平面y(x)。例如，执如诸如α混合的处理以基于周围图像的多个近似平面y(x)来计算新图像的近似平面y(x)。
例如，执行诸如α混合的处理，其中将权重设置成使得增加的权重被应用于较短距离处的参考图像，并且基于周围图像的多个校正函数来计算新图像的近似平面y(x)。
通过执行上述这样的处理，可以省略或简化上述近似平面y(x)的计算处理步骤。
要注意的是，优选地，在不省略上述近似平面y(x)的计算处理的情况下执行计算处理过程，并且在执行该处理时，通过参考经处理的周围图像的近似平面y(x)信息来执行对基于周围图像的信息计算的经处理的周围图像的近似平面y(x)信息的处理。
已经参照图14至图20描述了以下三个工作示例：
(工作示例4)通过参考已处理的周围图像的采样点位置信息来执行对未处理的图像中的采样点的选择处理的工作示例，
(工作示例5)通过参考已处理的周围图像的校正函数信息来执行对未处理的图像的校正函数的计算处理的工作示例，
(工作示例6)通过参考已处理的周围图像的近似平面信息来执行对未处理的图像中的近似平面的计算处理的工作示例。
这些工作示例被配置成使得在采样点选择时或者在校正函数或近似平面计算过程中，参考周围经处理的图像的信息。
虽然工作示例4至工作示例6可以被配置成单独地执行，但是它们也可以以其他方式被配置成组合地执行。各种配置是可能的，例如，工作示例4和工作示例5的组合的配置。
要注意的是，例如，可以使用以下设置中的任何一个作为在执行多个参考处理例如工作示例4和工作示例5的情况下的处理过程。
(a)针对采样选择部和校正函数计算部的每个处理块循环捕获的图像以依次执行处理的过程(内部循环)
(b)针对每个图像循环处理块的处理以依次执行处理的过程(外部循环)
此外，尽管在处理开始时不存在经处理的周围图像，但是作为这种情况下的处理模式，例如，以下处理是可能的：
(a)使用通过采样获得的值而不是周围图像信息作为初始值来递归地重复利用周围信息的处理的处理；和
(b)依次校正捕获图像并且在每个图像被校正时仅利用已处理的信息来计算采样点和校正函数的处理。
此外，用作参考图像的图像不限于校正之前的图像，而可以是校正后的图像。换言之，可以使用以下处理模式中的任何一种。
(a)一种方法，通过该方法，将校正前的捕获图像中的仅针对其计算了采样点或校正函数的图像用作参考图像；
(b)一种方法，通过该方法，将校正后的图像中的针对其计算采样点和校正函数的图像用作参考图像。
要注意的是，在上文中参照图15、图18和图20描述的处理的示例的描述中，描述了将根据构成单个大合成图像的多个图像(即，相邻图像)的位置关系确定的周围图像用作采样点或校正函数的参考图像的示例。
除了这样的位置相邻图像被用作参考图像的配置之外，例如，在执行运动图像的校正的情况下，在作为处理目标的图像帧之前和之后的图像(例如，N个之前和之后的帧)可以被用作参考图像。
此外，例如，可以应用以下方法中的任何一种作为在从周围图像的采样点当中确定采样点的情况下的特定处理的示例。
(a)以固定速率选择与周围图像的采样点(像素)的像素位置相同的像素位置处的像素。
(b)应用包括周围图像的多个图像来执行聚类、语义分割、采样点提取簇的确定处理和采样点选择处理。
此外，作为利用周围图像和处理目标图像的重叠区域的信息的方法，以下方法也是可能的。
(c)以固定速率从重叠区域(周围图像和处理目标图像的全部重叠区域)内选择采样点。
(d)在仅用图像之一的信号替换重叠区域的信号的情况下，以固定速率从重叠区域内的仅用于上述替换的图像的信号中选择采样点。
此外，在校正函数计算处理或近似平面计算处理中，可以执行诸如使用加权平均来重新计算校正函数或近似平面的处理，在加权平均中，使用与周围图像的接近程度作为权重。
[6.图像处理装置的硬件配置的示例]
现在，描述本公开内容的图像处理装置的硬件配置的示例。图21中描绘的硬件是上文中参照图1等描述的工作示例的成像处理装置的特定硬件配置的示例。
CPU(中央处理单元)301用作根据存储在ROM(只读存储器)302或存储部308中的程序执行各种处理的控制部和数据处理部。例如，CPU 301根据上文中结合工作示例描述的序列执行处理。在RAM(随机存取存储器)303中存储要由CPU 301执行的程序、数据等。CPU301、ROM 302和RAM 303通过总线304彼此连接。
CPU 301通过总线304连接至输入/输出接口305，并且将由各种开关、键盘、鼠标、麦克风、传感器等构成的输入部306和由显示器、扬声器等构成的输出部307连接至输入/输出接口305。
CPU 301根据从输入部306输入的指令执行各种处理，并且将处理结果输出至例如输出部307。
连接至输入/输出接口305的存储部308例如由硬盘等构成，并且存储要由CPU 301执行的程序和各种数据。通信部309用作针对通过诸如因特网或局域网的网络的Wi-Fi通信、蓝牙(注册商标)(BT)通信和其他数据通信的发送和接收部，并且与外部装置通信。
连接至输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器如存储器卡的可移动介质311，并且执行对数据的记录或读取。
[7本公开内容的配置的概要]
已经参考具体的工作示例详细描述了本公开内容的工作示例。然而，不言而喻的是，本领域技术人员可以在不背离本公开内容的主题的情况下进行修改或替换。特别地，本发明已经以例示的形式公开，并且不应被限制性地解释。为了判定本公开内容的主题，应当考虑权利要求。
要注意的是，本说明书中公开的技术可以采用以下配置。
(1)一种图像处理装置，包括：
采样点选择部，其被配置成从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；
校正函数计算部，其被配置成应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及
图像校正部，其被配置成应用校正函数执行图像的像素值校正，其中，
采样点选择部执行如下处理：
执行聚类以将图像的构成像素划分成多个子集，
从通过聚类生成的多个簇中确定采样点提取簇，以及
从采样点提取簇内选择采样点。
(2)根据(1)的图像处理装置，其中，
采样点选择部通过以下方法(a)至方法(c)中的任一种来确定采样点提取簇：
(a)从具有最大像素数目的簇开始依次将一个或更多个簇设置为采样点提取簇，
(b)将所包括的像素的像素值的平均值或中值是所有簇的中心的簇、或者与该簇相邻的若干簇设置为采样点提取簇，以及
(c)将由用户选择的簇设置为采样点提取簇。
(3)根据(1)的图像处理装置，其中，
采样点选择部将包括许多作为图像中的分析目标的被摄体的簇确定为采样点提取簇。
(4)根据(1)至(3)中任一项的图像处理装置，其中，
校正函数计算部：
计算近似平面y(x)，近似平面y(x)定义了与像素位置对应的像素值，并且
生成校正函数，校正函数根据近似平面y(x)与预先规定的校正参考Yref(x)之间的比率而改变校正量。
(5)根据(4)的图像处理装置，其中，
校正参考Yref(x)是采样点提取簇的像素值的平均值或中值以及用户选择值中的任一个。
(6)根据(4)或(5)的图像处理装置，其中，
校正函数计算部使用核回归插值、样条曲面插值、多项式近似曲面或线性插值中的至少一种来计算定义与像素位置对应的像素值的近似平面y(x)。
(7)根据(1)至(6)中任一项的图像处理装置，其中，
校正函数计算部：
计算近似平面y(x)，近似平面y(x)定义与像素位置对应的像素值，并且
生成校正函数，校正函数根据近似平面y(x)与预先规定的校正参考Yref(x)之间的比率而改变校正量，校正函数为：
Y'(x)＝(Yref(x)/y(x))Y(x)
其中，
Y'(x)是与校正图像之后的像素位置(x)对应的像素值，
Y(x)是与校正图像之前的像素位置(x)对应的像素值。
(8)根据(1)至(7)中任一项的图像处理装置，其中，
采样点选择部通过应用以下方法(a)至方法(d)中的任一种来执行聚类：
(a)K-Means方法，
(b)K-NN方法，
(c)Ward方法，以及
(d)语义分割。
(9)根据(1)至(8)中任一项的图像处理装置，其中，
采样点选择部基于图像的像素的特定特征信息来执行聚类。
(10)根据(9)的图像处理装置，其中，特征信息是图像的像素的亮度、或RGB至少一个信号、或者转换了RGB图像后的Lab空间、YUV空间和xy色度空间中的任一个空间上的信号。
(11)根据(1)至(10)中任一项的图像处理装置，还包括：
缩小图像生成部，其被配置成缩小图像以生成缩小图像，其中，
采样点选择部和校正函数计算部对由缩小图像生成部生成的缩小图像执行处理。
(12)根据(1)至(11)中任一项的图像处理装置，还包括：
合成图像生成部，其被配置成对由图像校正部生成的校正图像进行接合以生成一个合成图像。
(13)根据(12)的图像处理装置，其中，
合成图像生成部执行以下处理：使成为接合目标的各校正图像的像素值平均值、或各校正图像的重叠区域的像素值平均值、或采样点提取簇的像素值平均值与预先设定的校正参考像素值相一致，以生成接合部处的不连续性减轻的合成图像。
(14)根据(1)至(13)中任一项的图像处理装置，其中，
采样点选择部在采样点选择处理时从处理目标图像的周围图像接收已经处理为针对其的输入的采样点选择信息，并且参考输入信息来执行对处理目标图像的采样点选择处理。
(15)根据(1)至(14)中任一项的图像处理装置，其中，
校正函数计算部在校正函数计算处理时从处理目标图像的周围图像接收已经计算为针对其的输入的校正函数信息，并且参考输入信息来执行处理目标图像的校正函数计算处理。
(16)一种图像处理装置中执行的图像处理方法，包括：
采样点选择步骤，由采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；
校正函数计算步骤，由校正函数计算部应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及
图像校正步骤，由图像校正部应用校正函数执行图像的像素值校正，
采样点选择步骤包括：
执行聚类以将图像的构成像素划分成多个子集的步骤，
从通过聚类生成的多个簇中确定采样点提取簇的步骤；以及
从采样点提取簇内选择采样点的步骤。
(17)一种用于使图像处理装置执行图像处理的程序，程序包括：
采样点选择步骤，使采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；
校正函数计算步骤，使校正函数计算部应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及
图像校正步骤，使图像校正部应用校正函数执行图像的像素值校正，其中，
采样点选择步骤包括：
执行聚类以将图像的构成像素划分成多个子集的步骤，
从通过聚类生成的多个簇中确定采样点提取簇的步骤；以及
从采样点提取簇内选择采样点的步骤。
此外，说明书中描述的一系列处理可以由硬件、由软件或者由硬件和软件的组合配置来执行。在由软件执行一系列处理的情况下，将记录了处理序列的程序安装到专用硬件中所包括的计算机的存储器中并且由该计算机执行该程序，或者可以将程序安装到可以执行各种功能的通用计算机中并且由该通用计算机执行该程序。例如，可以预先将程序记录在记录介质中。程序可以从记录介质被安装到计算机中，并且可以通过诸如LAN(局域网)或因特网的网络接收，并且被安装到诸如内置硬盘等的记录介质中。
要注意的是，说明书中描述的各种处理可以根据说明书按时间顺序执行，并且还可以根据执行处理的装置的处理能力或根据情况需要并行或单独执行。此外，在本说明书中，术语“系统”用于表示多个部件的逻辑集合，并且不限于其中各个部件的配置容纳在同一壳体中的系统。
[工业适用性]
如上所述，根据本公开内容的一个工作示例的配置，实现了能够生成其中亮度不均匀和颜色不均匀降低的高画面质量的校正图像的图像处理装置和图像处理方法。
特别地，例如，图像处理装置包括：采样点选择部，采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算部，校正函数计算部应用采样点的像素值和位置信息来计算校正函数；以及图像校正部，图像校正部应用校正函数执行图像的像素值校正。采样点选择部执行如下处理：执行聚类(簇划分)以将图像的构成像素划分成多个子集(簇)，从通过聚类生成的多个簇中确定采样点提取簇，以及从采样点提取簇选择采样点。
通过本配置，实现了能够生成其中亮度不均匀和颜色不均匀降低的高画面质量的校正图像的图像处理装置和图像处理方法。
[附图标记列表]
10 捕获图像
20 校正图像
100 图像处理装置
101 采样点选择部
102 校正函数计算部
103 图像校正部
120 图像处理装置
121 缩小图像生成部
130 图像处理装置
131 合成图像生成部
140 图像处理装置
141 图像对应采样点位置信息存储部
150 图像处理装置
151 图像对应校正功能存储部
160 图像处理装置
161 图像对应近似平面存储部
301 CPU
302 ROM
303 RAM
304 总线
305 输入/输出接口
306 输入部
307 输出部
308 存储部
309 通信部
310 驱动器
311 可移动介质

Claims (17)

1.一种图像处理装置，包括：
采样点选择部，其被配置成从图像内选择采样点，所述采样点被用于计算要应用于所述图像的像素值校正的校正函数；
校正函数计算部，其被配置成应用由所述采样点选择部选择的所述采样点的像素值和位置信息来计算所述校正函数；以及
图像校正部，其被配置成应用所述校正函数执行所述图像的像素值校正，其中，
所述采样点选择部执行如下处理：
执行聚类以将所述图像的构成像素划分成多个子集，
从通过所述聚类生成的多个簇中确定采样点提取簇，以及
从所述采样点提取簇内选择采样点。
2.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部通过以下方法(a)至方法(c)中的任一种来确定采样点提取簇：
(a)从具有最大像素数目的簇开始依次将一个或更多个簇设置为所述采样点提取簇，
(b)将所包括的像素的像素值的平均值或中值是所有簇的中心的簇、或者与该簇相邻的若干簇设置为所述采样点提取簇，以及
(c)将由用户选择的簇设置为采样点提取簇。
3.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部将包括许多作为所述图像中的分析目标的被摄体的簇确定为采样点提取簇。
4.根据权利要求1所述的图像处理装置，其中，
所述校正函数计算部：
计算近似平面y(x)，所述近似平面y(x)定义与像素位置对应的像素值，并且
生成校正函数，所述校正函数根据所述近似平面y(x)与预先规定的校正参考Yref(x)之间的比率而改变校正量。
5.根据权利要求4所述的图像处理装置，其中，
所述校正参考Yref(x)是所述采样点提取簇的像素值的平均值或中值以及用户选择值中的任一个。
6.根据权利要求4所述的图像处理装置，其中，
所述校正函数计算部使用核回归插值、样条曲面插值、多项式近似曲面或线性插值中的至少一种来计算定义与像素位置对应的像素值的近似平面y(x)。
7.根据权利要求1所述的图像处理装置，其中，
所述校正函数计算部：
计算近似平面y(x)，所述近似平面y(x)定义与像素位置对应的像素值，并且
生成校正函数，所述校正函数根据所述近似平面y(x)与预先规定的校正参考Yref(x)之间的比率而改变校正量，所述校正函数为：
Y'(x)＝(Yref(x)/y(x))Y(x)
其中，
Y'(x)是与校正所述图像之后的像素位置(x)对应的像素值，
Y(x)是与校正所述图像之前的像素位置(x)对应的像素值。
8.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部通过应用以下方法(a)至方法(d)中的任一种来执行所述聚类：
(a)K-Means方法，
(b)K-NN方法，
(c)Ward方法，以及
(d)语义分割。
9.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部基于所述图像的像素的特定特征信息来执行所述聚类。
10.根据权利要求9所述的图像处理装置，其中，
所述特征信息是所述图像的像素的亮度、或RGB至少一个信号、或者转换了RGB图像后的Lab空间、YUV空间和xy色度空间中的任一个空间上的信号。
11.根据权利要求1所述的图像处理装置，还包括：
缩小图像生成部，其被配置成缩小所述图像以生成缩小图像，其中，
所述采样点选择部和所述校正函数计算部对由所述缩小图像生成部生成的缩小图像执行处理。
12.根据权利要求1所述的图像处理装置，还包括：
合成图像生成部，其被配置成对由所述图像校正部生成的校正图像进行接合以生成一个合成图像。
13.根据权利要求12所述的图像处理装置，其中，
所述合成图像生成部执行以下处理：使成为接合目标的各校正图像的像素值平均值、或各校正图像的重叠区域的像素值平均值、或所述采样点提取簇的像素值平均值与预先设定的校正参考像素值相一致，以生成接合部处的不连续性减轻的合成图像。
14.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部在采样点选择处理时从处理目标图像的周围图像接收已经处理为针对其的输入的采样点选择信息，并且参考输入信息来执行对所述处理目标图像的所述采样点选择处理。
15.根据权利要求1所述的图像处理装置，其中，
所述校正函数计算部在校正函数计算处理时从处理目标图像的周围图像接收已经计算为针对其的输入的校正函数信息，并且参考输入信息来执行处理目标图像的校正函数计算处理。
16.一种图像处理装置中执行的图像处理方法，包括：
采样点选择步骤，由采样点选择部从图像内选择采样点，所述采样点被用于计算要应用于所述图像的像素值校正的校正函数；
校正函数计算步骤，由校正函数计算部应用由所述采样点选择部选择的所述采样点的像素值和位置信息来计算所述校正函数；以及
图像校正步骤，由图像校正部应用所述校正函数执行所述图像的像素值校正，
所述采样点选择步骤包括：
执行聚类以将所述图像的构成像素划分成多个子集的步骤，
从通过所述聚类生成的多个簇中确定采样点提取簇的步骤，以及
从所述采样点提取簇内选择采样点的步骤。
17.一种用于使图像处理装置执行图像处理的程序，所述程序包括：
采样点选择步骤，使采样点选择部从图像内选择采样点，所述采样点被用于计算要应用于所述图像的像素值校正的校正函数；
校正函数计算步骤，使校正函数计算部应用由所述采样点选择部选择的所述采样点的像素值和位置信息来计算所述校正函数；以及
图像校正步骤，使图像校正部应用所述校正函数执行所述图像的像素值校正，其中，
所述采样点选择步骤包括：
执行聚类以将所述图像的构成像素划分成多个子集的步骤，
从通过所述聚类生成的多个簇中确定采样点提取簇的步骤，以及
从所述采样点提取簇内选择采样点的步骤。
CN201980061192.8A 2018-09-25 2019-08-30 图像处理装置、图像处理方法和程序 Withdrawn CN112740263A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-178382 2018-09-25
JP2018178382 2018-09-25
PCT/JP2019/034079 WO2020066456A1 (ja) 2018-09-25 2019-08-30 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112740263A true CN112740263A (zh) 2021-04-30

Family

ID=69950521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061192.8A Withdrawn CN112740263A (zh) 2018-09-25 2019-08-30 图像处理装置、图像处理方法和程序

Country Status (7)

Country Link
US (1) US20210312589A1 (zh)
EP (1) EP3859657A4 (zh)
JP (1) JPWO2020066456A1 (zh)
KR (1) KR20210064193A (zh)
CN (1) CN112740263A (zh)
BR (1) BR112021005139A2 (zh)
WO (1) WO2020066456A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019244260A1 (ja) * 2018-06-19 2019-12-26 株式会社ソシオネクスト 輝度決定方法、輝度決定装置、および、映像表示装置
JP7290848B2 (ja) 2021-10-11 2023-06-14 株式会社Ridge-i 影マスクの作成方法、影を除去する方法、影マスクを作成させるプログラム
KR102571528B1 (ko) * 2021-11-29 2023-08-28 국방과학연구소 다시점 영상 스티칭을 위한 색 보정 방법, 영상 합성 방법, 영상 처리 장치, 저장 매체 및 컴퓨터 프로그램
TWI821149B (zh) * 2023-05-18 2023-11-01 國立中正大學 內視鏡冗餘影像除去方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004139219A (ja) 2002-10-16 2004-05-13 Seiko Instruments Inc 画像処理方法および画像処理装置
JP5609742B2 (ja) * 2011-03-31 2014-10-22 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
JP5273208B2 (ja) * 2011-06-07 2013-08-28 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
CN103971082A (zh) * 2013-01-31 2014-08-06 威联通科技股份有限公司 基于区域转换的视频对象检测系统及相关方法
JP6046250B2 (ja) * 2013-06-19 2016-12-14 株式会社トプコン 眼科撮影装置および眼科画像表示装置
US9858683B2 (en) * 2015-08-05 2018-01-02 Intel Corporation Method and system of planar surface detection objects in 3d space generated from captured images for image processing
JP2017157043A (ja) * 2016-03-02 2017-09-07 キヤノン株式会社 画像処理装置、撮像装置、及び、画像処理方法
CN109389611A (zh) * 2018-08-29 2019-02-26 稿定（厦门）科技有限公司 交互式抠图方法、介质及计算机设备

Also Published As

Publication number Publication date
US20210312589A1 (en) 2021-10-07
BR112021005139A2 (pt) 2021-06-15
KR20210064193A (ko) 2021-06-02
JPWO2020066456A1 (ja) 2021-08-30
EP3859657A4 (en) 2021-12-01
EP3859657A1 (en) 2021-08-04
WO2020066456A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
CN112740263A (zh) 图像处理装置、图像处理方法和程序
US11037278B2 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
US10853925B2 (en) Methods, systems, and media for image processing
US20220014684A1 (en) Image display method and device
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
KR20200078314A (ko) 시맨틱 분할에 의해 지배적 장면 분류를 제공하는 시스템 및 방법
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
US8548232B2 (en) Image processing apparatus, method and program
CN105323497A (zh) 恒定包围的高动态范围（cHDR）操作
Onzon et al. Neural auto-exposure for high-dynamic range object detection
US20100232685A1 (en) Image processing apparatus and method, learning apparatus and method, and program
CN112633185B (zh) 图像处理的方法及装置
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
Li et al. Fast region-adaptive defogging and enhancement for outdoor images containing sky
CN111814545A (zh) 作物识别方法、装置、电子设备及存储介质
JP7153264B2 (ja) 画像解析システム、画像解析方法及び画像解析プログラム
CN111881924A (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN116188859A (zh) 一种基于超分和检测网络的茶叶病害无人机遥感监测方法
US20230186446A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
WO2022193132A1 (zh) 图像检测方法、装置和电子设备
Kamal et al. Resoluting multispectral image using image fusion and CNN model
Park et al. Classification of daytime and night based on intensity and chromaticity in RGB color image
Vršnak et al. Illuminant segmentation for multi-illuminant scenes using latent illumination encoding
Lee et al. Sensors i: Color imaging and basics of image processing
CN115190226B (zh) 参数调整的方法、训练神经网络模型的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210430

WW01 Invention patent application withdrawn after publication