CN113474809A - 信息处理装置以及信息处理方法 - Google Patents

Abstract

本发明提供信息处理装置以及信息处理方法，信息处理装置在一个方式中，具备第一获取部、第一提取部、第一生成部、第二提取部、导出部、以及第一输出控制部。第一获取部获取输入图像，并输出第一图像以及第二图像。第一提取部从第一图像提取第一特征点信息。第一生成部生成降低了第二图像的数据量的第三图像。第二提取部从第三图像提取第二特征点信息。导出部导出第一特征点信息与第二特征点信息之差。第一输出控制部输出根据差进行了修正的第三图像作为输出图像。

Description

信息处理装置以及信息处理方法

技术领域

本发明涉及信息处理装置以及信息处理方法。

背景技术

以往，为了高速处理或者存储器量的降低等，进行了降低了数据量的图像的提供。例如，已知有将浮点格式的图像转换为定点格式的图像的运算装置、以及更新定点数据的小数点位置的运算处理装置等(例如，参照专利文献1以及非专利文献1)。

专利文献1：日本特开2018－124681号公报

非专利文献1：池敦，外3名，“用于Deep Learning的高效化技术”，FUJITSU.68，5，p.15－21(09，2017)

然而，以往，有在数据量的降低处理前能够识别的物体的轮廓等特征点的一部分由于数据量的降低处理而缺损的情况。因此，以往，难以提供抑制了特征点缺损的图像数据。

发明内容

在一个侧面，本发明的目的在于提供能够提供抑制了特征点缺损的图像的信息处理装置以及信息处理方法。

本申请公开的信息处理装置在一个方式中，具备：第一获取部，获取输入图像，并输出第一图像以及第二图像；第一提取部，从上述第一图像提取第一特征点信息；第一生成部，生成降低了上述第二图像的数据量的第三图像；第二提取部，从上述第三图像提取第二特征点信息；导出部，导出上述第一特征点信息与上述第二特征点信息之差；以及第一输出控制部，输出根据上述差进行了修正的上述第三图像作为输出图像。

根据本申请公开的信息处理装置的一个方式，能够提供抑制了特征点缺损的图像。

附图说明

图1是表示第一实施方式的信息处理系统的整体构成的一个例子的图。

图2是表示第一实施方式的信息处理装置的硬件构成的一个例子的图。

图3是表示第一实施方式的信息处理装置的功能的一个例子的图。

图4A是表示第一实施方式的输入图像的一个例子的示意图。

图4B是表示第一实施方式的显示图像的一个例子的示意图。

图4C是表示第一实施方式的延伸完毕图像的一个例子的示意图。

图4D是表示第一实施方式的第三图像的一个例子的示意图。

图4E是表示第一实施方式的第一图像的亮度的直方图的一个例子的线图。

图4F是表示第一实施方式的第三图像的亮度的直方图的一个例子的线图。

图5A是第一实施方式的像素值的修正的说明图。

图5B是第一实施方式的像素值的修正的说明图。

图5C是第一实施方式的像素值的修正的说明图。

图5D是第一实施方式的像素值的修正的说明图。

图6是表示第一实施方式的输出图像的一个例子的示意图。

图7是表示第一实施方式的信息处理装置执行的信息处理的一个例子的流程图。

图8是表示第二实施方式的信息处理系统的整体构成的一个例子的图。

图9是表示第二实施方式的信息处理装置的功能的一个例子的图。

图10是表示第二实施方式的信息处理装置执行的信息处理的一个例子的流程图。

图11是表示第三实施方式的信息处理系统的整体构成的一个例子的图。

图12是表示第三实施方式的信息处理装置的功能的一个例子的图。

图13是表示第三实施方式的信息处理装置执行的信息处理的一个例子的流程图。

图14是表示第四实施方式的信息处理系统的整体构成的一个例子的图。

图15是表示第四实施方式的信息处理装置的功能的一个例子的图。

图16是表示第四实施方式的信息处理装置执行的信息处理的一个例子的流程图。

图17是表示第五实施方式的信息处理装置的功能的一个例子的图。

图18是表示第五实施方式的信息处理装置执行的信息处理的一个例子的流程图。

具体实施方式

以下，参照附图，对本申请公开的信息处理装置以及信息处理方法的实施方式进行详细说明。此外，以下的实施方式并不对公开的技术进行限定。而且，各实施方式能够在不使处理内容矛盾的范围内适当地组合。

(第一实施方式)

图1是表示本实施方式的信息处理系统1的整体构成的一个例子的图。信息处理系统1具备信息处理装置10、拍摄部12、显示部14、以及学习部16。拍摄部12、显示部14、以及学习部16与信息处理装置10以能够授受数据或者信号的方式连接。

拍摄部12通过拍摄得到拍摄图像。拍摄部12例如是公知的图像传感器。在本实施方式中，拍摄部12连续地进行拍摄，并将通过拍摄得到的拍摄图像数据依次输出到信息处理装置10。以下，将拍摄图像数据仅称为拍摄图像进行说明。

显示部14显示各种信息。显示部14例如是公知的LCD(Liquid Crystal Display：液晶显示器)或者有机EL(Electro－Luminescence：电致发光)显示器等。

学习部16基于从信息处理装置10受理的输出图像，进行使用了学习完成模型的处理，并输出处理结果信息。处理结果信息是从图像导出的信息，例如是通过使用了学习完成模型的处理导出的正解信息。例如，处理结果信息是与图像所包含的物体相关的信息等，但并不限定于此。

学习完成模型是用于根据输出图像，生成处理结果信息的机械学习完成模型。学习完成模型通过预先决定的机械学习算法的深层学习(深度学习)预先进行学习。算法例如是卷积神经网络(Convolutional Neural Network：CNN)。另外，算法例如是递归型神经网络(Recurrent Neural Network：RNN)。另外，算法例如是LSTM(Long Short－Term Memory：长短期记忆网络)等。

此外，学习部16也可以使用从信息处理装置10受理的输出图像，作为用于生成学习完成模型的学习所使用的教师数据。

信息处理装置10从拍摄部12受理拍摄图像。以下，将从拍摄部12受理的拍摄图像称为输入图像进行说明。信息处理装置10对受理的输入图像执行数据量的降低等各种处理，并输出给显示部14以及学习部16(详细后述)。信息处理装置10例如将实施了数据量的降低处理的输入图像作为向学习完成模型的输入输出到学习部16。

接下来，对硬件构成进行说明。图2是表示信息处理装置10的硬件构成的一个例子的图。

信息处理装置10包含CPU(Central Processing Unit：中央处理器)10A、ROM(ReadOnly Memory：只读存储器)10B、RAM(Random Access Memory：随机存储器)10C、以及I/F(InterFace：接口)10D，例如是计算机。CPU10A、ROM10B、RAM10C、以及I/F10D通过总线10E相互连接，成为利用了通常的计算机的硬件构成。

CPU10A是控制本实施方式的信息处理装置10的运算装置。CPU10A与硬件处理器的一个例子对应。ROM10B存储实现CPU10A的各种处理的程序等。RAM10C存储CPU10A的各种处理所需要的数据。I/F10D与拍摄部12、显示部14、以及学习部16等连接，是用于发送接收数据的接口。

通过预先设置于ROM10B等来提供用于执行在本实施方式的信息处理装置10执行的信息处理的程序。此外，也可以构成为以能够在信息处理装置10安装的形式或者能够执行的形式的文件记录于记录介质来提供在本实施方式的信息处理装置10执行的程序。记录介质能够通过计算机进行读取，是CD－ROM、软盘(FD)、CD－R、DVD(Digital VersatileDisk：数字通用盘)、USB(Universal Serial Bus：通用串行总线)存储器、SD(安全数码)卡等。

接下来，对信息处理装置10的功能的构成进行说明。图3是表示信息处理装置10的功能的一个例子的图。此外，在图3，为了明确数据的输入输出关系，除了信息处理装置10之外，一并图示了拍摄部12、显示部14、以及学习部16。

信息处理装置10具备第一获取部20A、编辑部20B、第二输出控制部20C、第一提取部20D、延伸部20E、第一生成部20F、第二提取部20G、导出部20H、第一修正部20I、以及第一输出控制部20J。

也可以例如通过使CPU10A等处理装置执行程序，即通过软件实现上述多个各部的一部分或者全部。另外，也可以通过IC(Integrated Circuit：集成电路)等硬件实现上述多个各部的一部分或者全部，也可以并用软件以及硬件来实现。

第一获取部20A获取输入图像。如上述那样，第一获取部20A获取在拍摄部12拍摄到的拍摄图像作为输入图像。第一获取部20A每当获取输入图像，则将获取的输入图像输出给编辑部20B以及延伸部20E。

在本实施方式中，第一获取部20A将输入图像作为第一图像输出给编辑部20B。另外，第一获取部20A将输入图像作为第二图像输出给延伸部20E。此外，第一图像以及第二图像并不限定于与输入图像相同的图像，第一获取部20A也可以根据需要输出对输入图像实施了某种加工之后的图像，作为第一图像或者第二图像。在以下的第二～第五实施方式中也相同。

图4A是表示输入图像50的一个例子的示意图。输入图像50是对被拍摄体进行了拍摄的图像。被拍摄体是一个或者多个物体。在图4A作为一个例子示出输入图像50包含物体P1、和物体P2的形态。如图4A所示，第一图像52以及第二图像54是相同的输入图像50。然而，第一图像52是作为显示于显示部14的对象进行了处理的输入图像50。另一方面，第二图像54是作为输出到学习部16的对象进行了处理的输入图像50。

返回到图3继续说明。编辑部20B使从第一获取部20A受理的第一图像52清晰化。清晰化表示将第一图像52加工为显示部14的显示用。例如，清晰化表示对第一图像52进行编辑、颜色修正、以及噪声除去等加工。颜色修正例如是γ修正。编辑部20B只要根据显示部14的规格等，对第一图像52执行公知的清晰化以在显示于显示部14时成为清晰的图像即可。

编辑部20B将显示图像输出给第一提取部20D以及第二输出控制部20C。图4B是表示显示图像53的一个例子的示意图。显示图像53是通过编辑部20B进行了清晰化后的第一图像52。

返回到图3继续说明。第二输出控制部20C将第一图像52输出给显示部14。在本实施方式中，第二输出控制部20C将显示图像53输出给显示部14。因此，在显示部14显示有显示图像53。

第一提取部20D从显示图像53提取第一特征点信息。此外，第一提取部20D也可以从作为输入图像50的第一图像52提取第一特征点信息。

第一特征点信息是指与物体相关的信息。与物体相关的信息是表示物体的至少一部分的特征点的信息。物体的特征点例如是物体的轮廓线(边界、边缘)、以及构成物体的点等。通过亮度的梯度等表示物体的轮廓线。在本实施方式中，将第一特征点信息是第一图像52所包含的表示物体的轮廓线的信息的情况作为一个例子进行说明。

在本实施方式中，第一提取部20D使用高通滤波器(HPF：High－pass filter)，从显示图像53提取第一特征点信息。高通滤波器是用于边缘提取的公知的滤波器。用于滤波处理的滤波器的种类例如是Sobel滤波器，或者Laplacian滤波器。第一提取部20D使用高通滤波器，对构成显示图像53的多个像素的每一个导出与周边像素的像素值的变化率。通过该导出，第一提取部20D提取第一特征点信息。即，在本实施方式中，第一提取部20D对构成显示图像53的多个像素的每一个提取第一特征点信息。

周边像素表示与处理对象的像素邻接地配置的至少一个像素。此外，周边像素也可以包含与处理对象的像素邻接地配置的一个或者多个像素、和朝向远离与该像素邻接的位置的方向排列的一个或者多个像素。

像素值的变化率表示通过像素值表示的颜色的亮度的变化率。像素值例如是以色值(例如，0～255的灰度值)表示R(红)、G(绿)、B(蓝)等颜色要素的值。此外，也可以色值除了颜色要素之外，还包含亮度值。亮度是通过这些色值表示的颜色的亮度。亮度表示明度以及光亮度的至少一方。在本实施方式中，第一提取部20D对构成显示图像53的多个像素的每一个提取与周边像素的亮度的变化率，即亮度的梯度(微分值)，作为第一特征点信息。

此外，第一提取部20D只要利用公知的方法，从显示图像53提取第一特征点信息即可，并不限定于使用高通滤波器的方式。

第一提取部20D将提取的第一特征点信息输出给导出部20H。详细而言，例如第一提取部20D按照像素依次将提取出的第一特征点信息、和提取了该第一特征点信息的像素的识别信息输出给导出部20H。像素的识别信息例如是表示像素的像素位置的信息。

另一方面，延伸部20E从第一获取部20A受理第二图像54。延伸部20E延伸第二图像54的亮度的直方图。第二图像54的亮度的直方图以图表表示第二图像54所包含的多个像素的亮度的分布。直方图有时被称为度数分布图。例如，假定第二图像54所包含的多个像素的像素值在特定的亮度的范围不均匀地分布。该情况下，延伸部20E通过在更宽的范围对亮度的分布进行延伸，来使第二图像54的亮度的直方图延伸。延伸部20E只要使用公知的延伸方法，使第二图像54的亮度的直方图延伸即可。通过使第二图像54的亮度的直方图延伸，延伸部20E能够实现第二图像54的浓淡的明确化。

延伸部20E将延伸完毕图像输出给第一生成部20F。图4C是表示延伸完毕图像55的一个例子的示意图。延伸完毕图像55是使第二图像54延伸的图像。返回到图3继续说明。此外，延伸部20E只要执行使第二图像54最佳化的处理，以容易识别延伸完毕图像55所包含的一个或者多个物体的各个即可。最佳化使用公知的图像处理技术即可。因此，延伸部20E也可以进一步执行直方图的延伸以外的处理。

第一生成部20F降低输入图像50亦即第二图像54的数据量，生成第三图像。

降低第二图像54的数据量表示与当前的数据量相比降低第二图像54的数据量。具体而言，降低第二图像54的数据量表示降低第二图像54的位深度、以及降低第二图像54的分辨率的至少一方。

降低第二图像54的位深度是指与当前的位深度相比降低第二图像54的位深度。位深度是指表示像素值的灰度数。例如，在位深度为8位的情况下，灰度数为256。第一生成部20F通过使第二图像54的位深度例如从8位降低至小于8位的位深度，生成降低了第二图像54的数据量的第三图像。第一生成部20F只要使用公知的方法，来降低第二图像54的位深度即可。另外，根据对输出图像进行输出的对象的学习部16的要求规格等，适当地调整位深度的降低率即可。

降低第二图像54的分辨率是指与当前的分辨率相比降低第二图像54的分辨率。例如，假定第二图像54的分辨率为350dpi。该情况下，第一生成部20F将第二图像54的分辨率降低至小于350dpi(例如，72dpi等)。此外，第一生成部20F只要使用公知的方法，来降低第二图像54的分辨率即可。另外，根据对输出图像进行输出的对象的学习部16的要求规格等，适当地调整分辨率的降低率即可。

在本实施方式中，将第一生成部20F通过降低第二图像54的位深度，生成降低了第二图像54的数据量的第三图像的情况作为一个例子进行说明。另外，在本实施方式中，对第一生成部20F降低从延伸部20E受理的延伸完毕图像55的数据量，生成第三图像的方式进行说明。

在本实施方式中，第一生成部20F通过对构成延伸完毕图像55的多个像素的每一个降低数据量，来生成第三图像56。然后，第一生成部20F按照像素将第三图像56的像素值依次输出到第二提取部20G。

图4D是表示第三图像56的一个例子的示意图。第一生成部20F通过降低第二图像54(参照图4A)的数据量，例如生成第三图像56。

这里，有由于第一生成部20F的数据量的降低处理，而在数据量的降低处理前能够识别的物体的轮廓线等特征点的一部分缺损的情况。

具体而言，假定在数据量的降低处理前的第二图像54中能够识别的物体P1以及物体P2中(参照图4A)，物体P2与背景的亮度之差比物体P1与背景的亮度之差少。该情况下，有由于第二图像54的数据量的降低处理，而物体P2的特征点的一部分缺损，在第三图像56中与背景同化而难以识别的情况(参照图4D)。

这考虑是因为亮度的直方图变化。图4E是表示第一图像52的亮度的直方图60的一个例子的线图。图4F是表示第三图像56的亮度的直方图62的一个例子的线图。在图4E以及图4F中，纵轴表示像素数，横轴表示亮度。

如图4E所示，在第一图像52的亮度的直方图60包含有表示物体P1的峰值60A、和表示物体P2的峰值60B双方。但是，在通过降低数据量生成的第三图像56的亮度的直方图62虽然示出表示物体P1的峰值62A，但表示物体P2的峰值消失(参照图4F)。

若将这样的第三图像56应用于通过检测图像所包含的物体执行各种处理的装置等，则有处理精度降低的情况。作为执行各种处理的该装置，例如有学习部16。在学习部16中，从高速化或者省存储器化的观点来看，优选将更少的数据量的图像使用于处理。但是，若使用物体的特征点的一部分缺损的第三图像56作为输入到学习部16的学习完成模型的图像，或者作为用于生成学习完成模型的学习所使用的教师数据，则有学习精度降低的情况。

返回到图3继续说明。然而，在本实施方式中，信息处理装置10具备第一提取部20D、第二提取部20G、导出部20H、以及第一修正部20I。

第二提取部20G从第三图像56提取第二特征点信息。

第二特征点信息是与物体相关的信息。与物体相关的信息以及物体的特征点的定义与上述相同。在本实施方式中，将第二特征点信息是表示第三图像56所包含的物体的轮廓线的信息的情况作为一个例子进行说明。

在本实施方式中，第二提取部20G与第一提取部20D相同，使用高通滤波器，从第三图像56提取第二特征点信息。高通滤波器与第一提取部20D使用的高通滤波器相同。即，第二提取部20G通过使用高通滤波器导出与周边像素的像素值的变化率，分别对构成第三图像56的多个像素提取第二特征点信息。

具体而言，第二提取部20G对构成第三图像56的多个像素的每一个提取与周边像素的亮度的变化率，即亮度的梯度(微分值)，作为第二特征点信息。此外，第二提取部20G只要利用公知的方法，从第三图像56提取第二特征点信息即可，并不限定于使用高通滤波器的方式。

第二提取部20G将提取出的第二特征点信息输出给导出部20H。详细而言，例如第二提取部20G按照像素依次将提取出的第二特征点信息、和像素的识别信息输出到导出部20H。如上述那样，像素的识别信息例如是表示第二图像54中的像素的像素位置的信息。

导出部20H导出第一特征点信息与第二特征点信息之差。

详细而言，例如导出部20H导出由第一特征点信息表示的变化率与由第二特征点信息表示的变化率之差。

在本实施方式中，导出部20H对第三图像56中的与第一图像52对应的每个像素导出第一特征点信息与第二特征点信息之差。对应的像素表示相同的像素位置的像素。因此，导出部20H对构成第一图像52的多个像素、和构成第三图像56的多个像素的每一个，对相同的像素位置的每个像素导出第一特征点信息与第二特征点信息之差。在本实施方式中，导出部20H对构成显示图像53的多个像素与构成延伸完毕图像55的多个像素的每一个，对相同的像素位置的每个像素导出上述差。

导出部20H对相同的像素位置的每个像素，判断导出的差是否在第一阈值以上。第一阈值只要是能够辨别是否第二图像54所包含的物体(例如，物体P1、物体P2)中的至少一部分在第三图像56中缺损的值即可。

导出部20H在导出的差在第一阈值以上的情况下，将第三图像56所包含的多个像素中用于该差的导出的像素的像素值的修正指示输出给第一修正部20I。修正指示包含差在第一阈值以上的像素的像素位置、和表示该像素的像素值的修正的信号。即，导出部20H将延伸完毕图像55中的导出的差在第一阈值以上的像素的像素值的修正指示输出给第一修正部20I。

另一方面，导出部20H在导出的差小于第一阈值的情况下，将输出对象指示输出给第一输出控制部20J。输出对象指示是表示将第三图像56所包含的多个像素中上述差小于第一阈值的像素作为输出对象的指示信息。详细而言，例如，输出对象指示包含上述差小于第一阈值的像素的像素位置、和表示将该像素作为输出对象的信号。

第一修正部20I根据通过导出部20H导出的差，修正第二图像54。在本实施方式中，第一修正部20I根据上述差修正延伸完毕图像55。

详细而言，例如第一修正部20I从导出部20H受理差在阈值以上的像素的像素值的修正指示。然后，第一修正部20I修正延伸完毕图像55所包含的多个像素中差在第一阈值以上的像素的像素值。

图5A、图5B、图5C、以及图5D是第一修正部20I对像素值的修正的说明图。图5A是表示显示图像53的像素的第一特征点信息的一个例子的线图。图5B是表示第三图像56的像素的第二特征点信息的一个例子的线图。图5C是表示第三图像56的像素的第二特征点信息的一个例子的线图。图5D是表示第三图像56的像素的第二特征点信息的一个例子的线图。

在图5A、图5B、图5C、以及图5D中，横轴表示像素位置，纵轴表示由像素值表示的亮度。另外，假定像素位置Q0、像素位置Q1、以及像素位置Q2表示相邻地排列的三个像素各自的位置。

例如，如图5A所示假定在显示图像53中，像素位置Q1的像素的第一特征点信息亦即亮度的变化率为变化率α。另外，如图5B所示，假定在第三图像56中，像素位置Q1的像素的第二特征点信息亦即亮度的变化率为变化率β1。另外，假定该变化率α与变化率β1之差小于第一阈值。该情况下，第一修正部20I不进行延伸完毕图像55中的该像素位置Q1的像素的像素值的修正。

另一方面，如图5C以及图5D所示，假定在第三图像56的图像中，像素位置Q1的像素的第二特征点信息亦即亮度的变化率为变化率β2。另外，假定变化率β2与变化率α之差在第一阈值以上。该情况下，第一修正部20I修正延伸完毕图像55中的该像素位置Q1的像素的像素值。

例如，如图5C所示，假定根据延伸完毕图像55中的该像素位置Q1的像素值示出的亮度在第一亮度L1以上。该情况下，第一修正部20I将根据延伸完毕图像55中的该像素位置Q1的像素的像素值示出的亮度修正为小于第一亮度L1(在图5C中，参照线图73)。预先决定第一亮度L1即可。例如，预先将像素值可取的最小的亮度与最大的亮度的中间的亮度(例如，50％的亮度)决定为第一亮度L1即可。

另一方面，如图5D所示，假定根据延伸完毕图像55中的该像素位置Q1的像素值示出的亮度小于第一亮度L1。该情况下，第一修正部20I将根据延伸完毕图像55中的该像素位置Q1的像素的像素值示出的亮度修正为第一亮度L1以上的亮度(在图5D中，参照线图74)。

通过进行上述修正，第一修正部20I将延伸完毕图像55中的通过导出部20H判定为第一特征点信息与第二特征点信息之差在第一阈值以上的像素的像素值修正为该差变小。换句话说，第一修正部20I将判定为上述差在第一阈值以上的像素的像素值修正为亮度的变化率比当前大，即出现或者强调物体的轮廓线。

如上述那样，第一阈值是能够辨别是否显示图像53所包含的物体(例如，物体P1、物体P2)中的至少一部分在第三图像56中缺损的值。因此，第一修正部20I能够将延伸完毕图像55中的辨别为由于数据量的降低处理而表示物体的特征点的至少一部分缺损的区域的像素值修正为能够辨别该物体的像素值。此外，第一修正部20I也可以代替延伸完毕图像55而使用第二图像54，作为用于亮度的判断的图像。

返回到图3继续说明。第一修正部20I将修正后的像素的像素值输出给第一生成部20F。第一生成部20F与上述相同地降低进行了修正的像素的数据量，并输出给第二提取部20G。第二提取部20G从通过第一修正部20I进行了修正并且通过第一生成部20F降低了数据量的像素提取第二特征点信息。导出部20H导出该第二特征点信息与显示图像53(或者，第一图像52)中的对应的像素位置的像素的第一特征点信息之差。然后，导出部20H对延伸完毕图像55中的该像素位置的像素重复将像素值的修正指示输出给第一修正部20I的处理，直至判断为该差小于第一阈值为止。

这样，在本实施方式的信息处理装置10中，对构成第三图像56的多个像素的全部重复执行第一修正部20I的修正，直至判断为第一特征点信息与第二特征点信息之差小于第一阈值为止。

因此，通过导出部20H、第一修正部20I、第一生成部20F、以及第二提取部20G的处理，将构成第三图像56的全部的像素的像素值调整为上述差小于第一阈值。

此外，第一修正部20I也可以根据第一特征点信息与第二特征点信息之差，修正第三图像56。即，第一修正部20I只要修正第二图像54，延伸完毕图像55，或者，第三图像56即可。

第一修正部20I在根据上述差修正第三图像56的情况下，执行以下的处理即可。该情况下，导出部20H在导出的差在第一阈值以上的情况下，将修正指示输出给第一修正部20I。该修正指示是表示第三图像56所包含的多个像素中用于差的导出的像素的像素值的修正的指示信息。即，导出部20H将第三图像56中的上述差在第一阈值以上的像素的像素值的修正指示输出给第一修正部20I即可。

第一修正部20I根据由导出部20H导出的差来修正第三图像56中的被指示修正的像素位置的像素的像素值。即，第一修正部20I修正第三图像56所包含的多个像素中差在第一阈值以上的像素的像素值。第一修正部20I与延伸完毕图像55的修正相同，根据由第三图像56的像素值示出的亮度是否在第一亮度L1以上，来进行像素值的修正即可。

接下来，对第一输出控制部20J进行说明。第一输出控制部20J将第三图像56中的根据输出对象指示示出的像素位置的像素的像素值作为输出对象来保持，并将输出图像输出给学习部16。输出图像是根据第一特征点信息与第二特征点信息之差进行了修正的第三图像56。即，输出图像是由第一特征点信息与第二特征点信息之差小于第一阈值的像素构成的第三图像56。

第一输出控制部20J例如在对构成第三图像56的全部的像素受理了输出对象指示时，将输出图像输出给学习部16。

图6是表示输出图像58的一个例子的示意图。在图6示出了信息处理装置10使用图4A所示的输入图像50生成的输出图像58的一个例子。如图6所示，输出图像58包含图4D所示的第三图像56(参照图4D)中从输入图像50缺损的物体P2。

如上述那样，第一修正部20I将构成第二图像54或者延伸完毕图像55的像素中第一特征点信息与第二特征点信息之差在第一阈值以上的像素的像素值修正为亮度的变化率比当前的变化率大。因此，输出图像58成为将第三图像56修正为使由于数据量的降低处理而至少一部分消失的物体的轮廓线出现或者强调的图像。换句话说，输出图像58成为将被降低了数据量的降低的第三图像56修正为由于数据量的降低处理而缺损的物体P2复原的图像。因此，第一输出控制部20J能够将抑制了特征点缺损并且降低了数据量的图像亦即输出图像58输出给学习部16。

接下来，对本实施方式的信息处理装置10执行的信息处理的流程的一个例子进行说明。图7是表示本实施方式的信息处理装置10执行的信息处理的一个例子的流程图。此外，多个步骤各自的顺序能够适当地变更，并不限定于图7的例子。另外，多个步骤的至少一部分也可以并列地执行。

第一获取部20A从拍摄部12获取输入图像50(步骤S100)。第一获取部20A将获取的输入图像50作为第一图像52输出给编辑部20B，并将输入图像50作为第二图像54输出给延伸部20E。

编辑部20B使从第一获取部20A受理的第一图像52清晰化(步骤S102)。通过步骤S102的处理，生成显示图像53。第二输出控制部20C将在步骤S102生成的显示图像53输出到显示部14(步骤S104)。

延伸部20E使从第一获取部20A受理的第二图像54的亮度的直方图延伸(步骤S106)。通过步骤S106的处理，生成延伸完毕图像55。

第一提取部20D、延伸部20E、第一生成部20F、第二提取部20G、导出部20H、以及第一修正部20I对在步骤S100获取的输入图像50(第一图像52、第二图像54)的每个像素重复步骤S108～步骤S120的处理。

详细而言，第一提取部20D从在步骤S102生成的显示图像53中的处理对象的像素提取第一特征点信息(步骤S108)。第一提取部20D依次提取构成显示图像53的多个像素中步骤S108～步骤S120的处理为未处理的一个像素作为处理对象的像素即可。

第一生成部20F通过对在步骤S106生成的延伸完毕图像55所包含的在步骤S108作为处理对象的像素位置的像素降低数据量，生成第三图像56(步骤S110)。第二提取部20G从在步骤S110降低了数据量的像素提取第二特征点信息(步骤S112)。

导出部20H导出在步骤S108提取的第一特征点信息、和在步骤S112提取的第二特征点信息之差(步骤S114)。导出部20H判断在步骤S114导出的差是否在第一阈值以上(步骤S116)。

在步骤S114导出的差在第一阈值以上的情况下(步骤S116：是)，导出部20H向第一修正部20I输出步骤S108中作为处理对象的像素位置的像素的像素值的修正指示。受理了修正指示的第一修正部20I根据差修正在步骤S106生成的延伸完毕图像55中的修正指示所示出的像素位置的像素的像素值(步骤S118)。然后，第一修正部20I将进行了修正的像素的像素值输出给第一生成部20F，并返回到步骤S110。在步骤S110中，第一生成部20F降低进行了修正的像素的数据量，重复上述处理。

另一方面，在步骤S114导出的差小于第一阈值的情况下(步骤S116：否)，导出部20H向第一输出控制部20J输出将第三图像56所包含的多个像素中在步骤S108作为处理对象的像素位置的像素作为输出对象的输出对象指示。第一输出控制部20J将第三图像56中的输出对象指示所示出的像素位置的像素的像素值作为输出对象保持(步骤S120)。

若对在步骤S100获取的输入图像50(第一图像52、第二图像54)的全部的像素结束步骤S108～步骤S120的处理，则进入步骤S122。在步骤S122中，第一输出控制部20J将由第一特征点信息与第二特征点信息之差小于第一阈值的多个像素构成的第三图像56亦即输出图像58输出给学习部16(步骤S122)。然后，结束本程序。

如以上说明的那样，本实施方式的信息处理装置10具备第一获取部20A、第一提取部20D、第一生成部20F、第二提取部20G、导出部20H、第一输出控制部20J、以及第一修正部20I。第一获取部20A获取输入图像50，并输出第一图像52以及第二图像54。第一提取部20D从第一图像52提取第一特征点信息。第一生成部20F生成降低了第二图像54的数据量的第三图像56。第二提取部20G从第三图像56提取第二特征点信息。导出部20H导出第一特征点信息与第二特征点信息之差。第一输出控制部20J输出根据差进行了修正的第三图像56作为输出图像58。

这里，有由于第一生成部20F的数据量的降低处理，而在数据量的降低处理前能够识别的物体的轮廓线等特征点的一部分缺损的情况。

另一方面，在本实施方式中，第一修正部20I在导出的差在第一阈值以上的情况下，修正第二图像54。然后，第一输出控制部20J输出根据导出的差进行了修正并且降低了数据量的输入图像50亦即第三图像56作为输出图像58。

例如，第一修正部20I根据第一特征点信息与第二特征点之差，将第二图像54修正为亮度的变化率比当前的变化率大，第一输出控制部20J输出进行了修正的第三图像56，作为输出图像58。因此，输出图像58成为将第三图像56修正为使由于数据量的降低处理而至少一部分消失的物体的轮廓线出现或者强调的图像。换句话说，输出图像58成为将第三图像56修正为由于数据量的降低处理而缺损的物体复原的图像。因此，第一输出控制部20J能够输出抑制特征点缺损并且降低了数据量的图像亦即输出图像58。

因此，本实施方式的信息处理装置10能够提供抑制了特征点缺损的图像。

另外，第一输出控制部20J将输出图像58输出给学习部16。学习部16将输出图像58使用为输入到学习完成模型的输入图像、以及用于生成学习完成模型的学习所使用的教师数据的至少一方。因此，学习部16能够实现处理精度或者学习精度的提高。即，本实施方式的信息处理装置10除了上述效果之外，还能够提供能够实现学习的处理精度或者学习精度的提高的输出图像58。

(第二实施方式)

在上述第一实施方式中，获取输入图像50，并使用于信息处理。在本实施方式中，对获取输入图像50以及距离信息，并使用于信息处理的方式进行说明。

此外，在本实施方式以及以下的实施方式中，对与上述第一实施方式相同的功能以及构成的部分给予相同的附图标记，并省略详细的说明。

图8是表示本实施方式的信息处理系统1B的整体构成的一个例子的图。信息处理系统1B具备信息处理装置11B、拍摄部12、显示部14、学习部16、以及第一传感器18。拍摄部12、显示部14、学习部16、以及第一传感器18与信息处理装置11B以能够授受数据或者信号的方式连接。拍摄部12、显示部14、以及学习部16与上述第一实施方式相同。

第一传感器18得到规定了输入图像50的拍摄环境所包含的多个检测点各自的距离第一传感器18的距离信息的第一距离图像。

拍摄环境是拍摄部12拍摄输入图像50时的环境。

检测点表示第一传感器18的外界的拍摄环境中的能够通过第一传感器18独立地观测到的多个点。例如，第一传感器18向第一传感器18的周围照射光，并接收在反射点反射的反射光。该反射点相当于检测点。此外，也可以将多个反射点使用为一个检测点。

第一距离图像是规定了表示拍摄环境所包含的多个检测点各自的距离第一传感器18的距离的距离信息的图像。例如，第一距离图像是对输入图像50所包含的多个像素所分别对应的每个检测点规定了距离信息的图像。

例如，第一传感器18得到包含对多个检测点的各个的光的照射方向(以第一传感器18为基准的检测点的方向)、和分别在多个检测点反射的反射光相关的信息的观测信息。与反射光相关的信息例如是从光的照射到反射光的受光为止的经过时间，或者，接收的光的强度或接收的光的强度相对于射出的光的强度的衰减率等。第一传感器18使用经过时间或者强度，对每个检测点计算距离信息。

然后，第一传感器18将计算出的距离信息规定为输入图像50所包含的多个像素所分别对应的检测点的距离信息，从而作为第一距离图像，并输出给信息处理装置11B。此外，也可以由信息处理装置11B执行距离信息的计算。在本实施方式中，将根据构成第一距离图像的检测点的密度表示的分辨率与根据输入图像50的像素的密度表示的分辨率一致的情况作为一个例子进行说明。此外，根据构成第一距离图像的检测点的密度表示的分辨率也可以与根据输入图像50的像素的密度表示的分辨率不一致。

第一传感器18是距离传感器。距离传感器例如是毫米波雷达或者激光传感器。激光传感器例如是与水平面平行地设置的二维LiDAR(Laser imaging Detection andRanging：激光成像探测与测距)传感器，或者，三维LiDAR传感器。此外，在本实施方式中，对使用根据照射激光到反射光返回为止的时间导出距离的Time－of－Flight：飞行时间(ToF)方式的LiDAR的方式进行说明。此外，第一传感器18也可以是得到对每个像素规定了到第一传感器18的距离的深度图的拍摄装置。

信息处理装置11B从拍摄部12受理输入图像50。另外，信息处理装置11B从第一传感器18受理第一距离图像。此外，信息处理装置11B受理在相同的定时得到的输入图像50以及第一距离图像。即，信息处理装置11B受理相同的拍摄环境的输入图像50以及第一距离图像。信息处理装置11B使用受理的输入图像50以及第一距离图像，执行信息处理。此外，信息处理装置11B的硬件构成与信息处理装置10相同。

图9是表示信息处理装置11B的功能的一个例子的图。

信息处理装置11B具备第一获取部20A、编辑部20B、第二输出控制部20C、第一提取部20D、延伸部20E、第一生成部20F、第二提取部20G、导出部22H、以及第一修正部20I。另外，信息处理装置11B具备第一输出控制部20J、第二获取部22K、第三提取部22L、二值化部22M、二值化部22N、以及逻辑或运算部22O。

也可以例如通过使CPU10A等处理装置执行程序，即通过软件实现上述多个各部的一部分或者全部。另外，也可以通过IC(Integrated Circuit：集成电路)等硬件实现上述多个各部的一部分或者全部，也可以并用软件以及硬件来实现。

即，本实施方式的信息处理装置11B代替第一实施方式的导出部20H而具备导出部22H。另外，信息处理装置11B除了第一实施方式的信息处理装置10的功能之外，还具备第二获取部22K、第三提取部22L、二值化部22M、二值化部22N、以及逻辑或运算部22O。

第二获取部22K从第一传感器18获取第一距离图像。

第三提取部22L从第一距离图像提取第三特征点信息。第三特征点信息是表示第一距离图像所包含的物体的至少一部分的特征点的信息。特征点与上述第一实施方式相同。在本实施方式中，将第三特征点信息是表示第一距离图像所包含的物体的轮廓线(边界、边缘)的信息的情况作为一个例子进行说明。

在本实施方式中，第三提取部22L使用高通滤波器，从第一距离图像提取第三特征点信息。高通滤波器与第一提取部20D使用的高通滤波器相同。即，第三提取部22L通过使用高通滤波器，分别对构成第一距离图像的多个检测点导出与周边的检测点的距离信息的变化率，来提取第三特征点信息。即，在本实施方式中，第三提取部22L对构成第一距离图像的每个检测点提取第三特征点信息。

周边的检测点表示与处理对象的检测点邻接地配置的至少一个其它的检测点。此外，周边的检测点也可以包含与处理对象的检测点邻接地配置的其它的检测点、和朝向远离与该检测点邻接的位置的方向排列的一个或者多个其它的检测点。

距离信息的变化率表示根据距离信息表示的距离的变化率。因此，在本实施方式中，第三提取部22L对第一距离图像的每个检测点提取与周边的检测点的距离信息的变化率即距离的梯度(微分值)，作为第三特征点信息。

此外，第三提取部22L只要利用公知的方法，提取第一距离图像所包含的第三特征点信息即可，并不限定于使用高通滤波器的方式。

此外，在第一距离图像所包含的多个检测点中与周边的检测点的变化率较大的检测点的周边存在重要的边界的可能性较高。因此，第三提取部22L优选通过使用多个种类的滤波器进行多重滤波处理，来提取第三特征点信息。通过进行多重滤波处理，能够更准确地提取第三特征点信息。

二值化部22M使第三特征点信息二值化。二值化部22M在第三特征点信息在预先决定的第二阈值以上的情况下导出二值化结果“1”(真)，在小于第二阈值的情况下导出二值化结果“0”(伪)。

预先将用于辨别是否是表示物体的轮廓线或者边界的信息的阈值决定为第二阈值即可。

二值化部22M将进行了二值化的结果输出给逻辑或运算部22O。详细而言，例如二值化部22M将第三特征点信息的二值化结果、和表示该第三特征点信息的检测点的识别信息输出给逻辑或运算部22O。检测点的识别信息例如是表示第一距离图像上的位置的信息。

另一方面，第一提取部20D与第一实施方式相同，通过分别对构成显示图像53的多个像素导出与周边像素的像素值的变化率，来提取第一特征点信息。而且，第一提取部20D与第一实施方式相同，按照像素依次将提取出的第一特征点信息、和提取了第一特征点信息的像素的识别信息输出给导出部22H。

在本实施方式中，第一提取部20D进一步按照像素将提取出的第一特征点信息、和提取了第一特征点信息的像素的识别信息输出给二值化部22N。

二值化部22N使在第一提取部20D提取出的第一特征点信息二值化。二值化部22N在第一特征点信息在预先决定的第三阈值以上的情况下导出二值化结果“1”(真)，在小于第三阈值的情况下导出二值化结果“0”(伪)。

与第二阈值相同，预先将用于辨别是否是表示物体的轮廓线或者边界的信息的阈值决定为第三阈值即可。

二值化部22N将二值化结果输出给逻辑或运算部22O。详细而言，例如，二值化部22N将第一特征点信息的二值化结果、和表示该第一特征点信息的像素的识别信息输出给逻辑或运算部22O。如上述那样，像素的识别信息是表示第一图像52上的像素位置的信息。

逻辑或运算部22O对第一特征点信息与第三特征点信息进行逻辑或运算。详细而言，例如，逻辑或运算部22O对第一特征点信息的基于二值化部22N的二值化结果与第三特征点信息的基于二值化部22M的二值化结果的逻辑或进行运算。此外，在本说明书中，进行逻辑或运算除了对进行了二值化的信息运算逻辑或之外，还包含对输入信息进行二值化，并对其二值化结果运算逻辑或。在以下的第三～第五实施方式中也相同。由此，虽然在图9中，作为独立的功能部示出逻辑或运算部22O、和二值化部22N、二值化部22M，但也能够使逻辑或运算部22O在内部具备二值化部22N、二值化部22M的功能。

此时，逻辑或运算部22O对构成第一图像52的多个像素的每一个运算第一特征点信息的二值化结果与各像素所对应的位置的检测点的第三特征点信息的二值化结果的逻辑或。对应的位置表示图像上的位置相同的位置。详细而言，对应的位置表示实际空间的位置相同。因此，逻辑或运算部22O对构成第一图像52的多个像素、和第一距离图像所包含的多个检测点的每一个，对相同的位置的像素与检测点的每一对运算逻辑或。

逻辑或运算部22O在第一特征点信息的基于二值化部22N的二值化结果、和第三特征点信息的基于二值化部22M的二值化结果的至少一方为“1”的情况下，导出“1”。另外，逻辑或运算部22O在第一特征点信息的基于二值化部22N的二值化结果、和第三特征点信息的基于二值化部22M的二值化结果双方为“0”的情况下，导出“0”。

然后，逻辑或运算部22O基于上述的逻辑或运算的结果，对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果为“1”的像素，使用第一特征点信息作为第四特征点信息。另一方面，逻辑或运算部22O基于上述的逻辑或运算的结果，对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果为“0”像素，代替第一特征点信息而使用第一修正信息作为第四特征点信息。这里，第一修正信息只要是上述第三阈值以上的值即可，例如，能够为预先决定的上述第三阈值以上的固定值。另外，逻辑或运算部22O基于上述的逻辑或运算的结果，对逻辑或运算的结果为“0”(伪)的像素，使用第一特征点信息作为第四特征点信息。

因此，逻辑或运算部22O能够基于逻辑或运算的结果，得到对显示图像53附加了从第一距离图像识别出的物体的特征点的信息。即，逻辑或运算部22O能够对显示图像53中的不包含表示物体的特征点的信息的像素附加表示从第一距离图像提取的特征点的信息。

详细而言，逻辑或运算部22O能够通过基于进行了逻辑或运算的结果修正第一特征点信息来生成第四特征点信息。即，逻辑或运算部22O能够基于从第一距离图像提取的第三特征点信息，对显示图像53中的不包含表示物体的特征点的信息的像素决定表示比第一特征点信息所包含的变化量大的变化量的第四特征点信息。

逻辑或运算部22O按照像素依次将基于逻辑或运算的结果对构成显示图像53的多个像素的每一个生成的第四特征点信息、和像素的识别信息输出给导出部22H。

导出部22H对第三图像56中的与第一图像52对应的像素的每一个导出从逻辑或运算部22O受理的第四特征点信息与第二特征点信息之差。

导出部22H与第一实施方式的导出部20H相同，判断导出的差是否在第一阈值以上。导出部22H在导出的差在第一阈值以上的情况下，将第三图像56所包含的多个像素中用于差的导出的像素的像素值的修正指示输出给第一修正部20I。另一方面，导出部22H在导出的差小于第一阈值的情况下，向第一输出控制部20J输出将第三图像56所包含的多个像素中用于差的导出的像素位置的像素作为输出对象的输出对象指示。

这样，在本实施方式中，导出部22H导出通过基于对第一特征点信息与第三特征点信息进行了逻辑或运算的结果修正第一特征点信息而生成的第四特征点信息与从第三图像56提取的第二特征点信息之差。然后，与第一实施方式相同，第一修正部20I根据差修正延伸完毕图像55。第一输出控制部20J将由第一修正部20I根据差进行了修正的降低了第二图像54的数据量的第三图像56作为输出图像58输出给学习部16。

此外，第一修正部20I与第一实施方式相同，也可以根据导出的差，修正第三图像56。

接下来，对本实施方式的信息处理装置11B执行的信息处理的流程的一个例子进行说明。图10是表示本实施方式的信息处理装置11B执行的信息处理的一个例子的流程图。此外，多个步骤各自的顺序能够适当地变更，并不限定于图10的例子。另外，也可以并列地执行多个步骤的至少一部分。

第一获取部20A从拍摄部12获取输入图像50(步骤S200)。编辑部20B使从第一获取部20A受理的第一图像52清晰化(步骤S202)。通过步骤S202的处理，生成显示图像53。第二输出控制部20C将在步骤S202生成的显示图像53输出给显示部14(步骤S204)。延伸部20E使从第一获取部20A受理的第二图像54的亮度的直方图延伸(步骤S206)。通过步骤S206的处理，生成延伸完毕图像55。步骤S200～步骤S206与第一实施方式的步骤S100～步骤S106相同。

第二获取部22K从第一传感器18获取第一距离图像(步骤S208)。在步骤S208获取的第一距离图像是与在步骤S200获取的输入图像50在相同的定时观测相同的拍摄环境的图像。

信息处理装置11B对在步骤S200获取的输入图像50(第一图像52、第二图像54)的每个像素，重复步骤S210～步骤S228的处理。

详细而言，第一提取部20D对在步骤S202生成的显示图像53中的处理对象的像素提取第一特征点信息(步骤S210)。

第三提取部22L提取在步骤S208获取的第一距离图像所包含的多个检测点中与步骤S210的处理对象的像素对应的位置的检测点的第三特征点信息(步骤S212)。

逻辑或运算部22O对在步骤S210提取的第一特征点信息与在步骤S212提取的第三特征点信息进行逻辑或运算(步骤S214)。例如，逻辑或运算部22O得到在步骤S210提取的第一特征点信息的基于二值化部22N的二值化结果。另外，逻辑或运算部22O得到在步骤S212提取的第三特征点信息的基于二值化部22M的二值化结果。然后，逻辑或运算部22O对这些二值化结果的逻辑或进行运算。

第一生成部20F对在步骤S206生成的延伸完毕图像55中的在步骤S210作为处理对象的像素位置的像素降低数据量(步骤S216)。第二提取部20G根据在步骤S216降低了数据量的像素提取第二特征点信息(步骤S218)。

逻辑或运算部22O导出第四特征点信息(步骤S220)。逻辑或运算部22O基于步骤S214的逻辑或运算的结果，对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果为“1”的像素，使用第一特征点信息作为第四特征点信息。另一方面，逻辑或运算部22O对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果“0”的像素，代替第一特征点信息，而使用第一修正信息作为第四特征点信息。另外，逻辑或运算部22O对逻辑或运算的结果为“0”(伪)的像素，使用第一特征点信息作为第四特征点信息。

导出部22H导出在步骤S220导出的第四特征点信息与在步骤S218提取的第二特征点信息之差(步骤S222)。导出部22H判断在步骤S222导出的差是否在第一阈值以上(步骤S224)。

在步骤S224导出的差在第一阈值以上的情况下(步骤S224：是)，导出部22H向第一修正部20I输出用于差的导出的像素的像素值的修正指示。受理了修正指示的第一修正部20I根据差修正在步骤S206生成的延伸完毕图像55所包含的在步骤S224判断为差在第一阈值以上的像素的像素值(步骤S226)。然后，第一修正部20I将进行了修正的像素的像素值输出给第一生成部20F，并返回到步骤S216。在步骤S216中，第一生成部20F降低进行了修正的像素的数据量，并重复上述处理。

另一方面，在步骤S222导出的差小于第一阈值的情况下(步骤S224：否)，导出部22H向第一输出控制部20J输出将第三图像56所包含的多个像素中用于差的导出的像素位置的像素作为输出对象的输出对象指示。第一输出控制部20J保持第三图像56中的受理的输出对象指示所示出的像素位置的像素的像素值，作为输出对象(步骤S228)。

若对在步骤S200获取的输入图像50(第一图像52、第二图像54)的全部的像素结束步骤S210～步骤S228的处理，则进入步骤S230。第一输出控制部20J向学习部16输出由上述差小于第一阈值的像素构成的第三图像56亦即输出图像58(步骤S230)。然后，结束本程序。

如以上说明的那样，本实施方式的信息处理装置11B的第二获取部22K获取规定了输入图像50的拍摄环境所包含的多个检测点各自的距离第一传感器18的距离信息的第一距离图像。第三提取部22L根据第一距离图像提取第三特征点信息。导出部22H导出基于第一特征点信息与第三特征点信息的逻辑或运算生成的第四特征点信息、和第二特征点信息之差。

这里，能够与距离拍摄部12的距离或者物体的轮廓的复杂度无关地，从通过拍摄部12得到的输入图像50亦即第一图像52提取表示亮度的变化率的第一特征点信息。但是，在第一图像52中，亮度之差越小，越得到表示较小的变化率的第一特征点信息。因此，在第一图像52中，与背景的亮度之差越小的物体越难以识别。

另一方面，如上述那样，第一距离图像是对每个检测点规定了距离第一传感器18的距离信息的图像。因此，能够与亮度之差的大小无关地从第一距离图像提取表示距离信息的变化率的第三特征点信息。但是，在第一距离图像中，拍摄环境所包含的物体的轮廓越复杂，或者，越为从第一传感器18输出的光难以到达的区域，越得到表示较小的变化率的第三特征点信息。因此，在第一距离图像中，越为轮廓复杂的物体，或者，越为光难以到达的区域的物体，越难以识别。

另一方面，在本实施方式中，信息处理装置11B对从第一距离图像提取的第三特征点信息与从第一图像52提取的第一特征点信息进行逻辑或运算。通过该逻辑或运算，信息处理装置11B能够得到对第一图像52附加了从第一距离图像识别出的物体的特征点的信息作为第四特征点信息。

而且，导出部22H导出第四特征点信息与第二特征点信息之差。因此，在本实施方式的信息处理装置11B中，通过进一步使用从第一距离图像提取的第三特征点信息，能够使用使物体的识别精度提高的第一图像52，导出第四特征点信息与第二特征点信息之差。

因此，本实施方式的信息处理装置11B除了上述第一实施方式的效果之外，还能够提供进一步抑制特征点缺损，并且降低了数据量的图像。

(第三实施方式)

在上述第一实施方式中，获取输入图像50，使用于信息处理。在本实施方式中，对获取输入图像50以及方向信息，并使用于信息处理的方式进行说明。

此外，在本实施方式以及以下的实施方式中，对与上述第一以及第二实施方式相同的功能以及构成的部分附加相同的附图标记，并省略详细的说明。

图11是表示本实施方式的信息处理系统1C的整体构成的一个例子的图。信息处理系统1C具备信息处理装置11C、拍摄部12、显示部14、学习部16、以及第二传感器19。拍摄部12、显示部14、学习部16、以及第二传感器19与信息处理装置11C以能够授受数据或者信号的方式连接。拍摄部12、显示部14、以及学习部16与上述第一实施方式相同。

第二传感器19得到表示输入图像50的拍摄环境所包含的物体的从第二传感器19来看的方向的方向信息。详细而言，例如，第二传感器19将表示物体的有无、到物体的距离、以及物体的方向的方向信息输出给信息处理装置11C。

第二传感器19例如是通过声波或者超声波探知物体的声呐，或者是采集声音并输出声音数据的麦克。第二传感器19通过利用公知的方法对接收的声波、超声波或者声音数据的强弱进行解析，导出表示物体的方向的方向信息。此时，第二传感器19也可以通过接收的声波、超声波或者声音数据的解析，进一步导出物体的有无、以及从第二传感器19到物体的距离。在本实施方式中，将方向信息是表示物体的有无、从第二传感器19到物体的距离、以及物体的方向的信息的情况作为一个例子进行说明。然后，第二传感器19将方向信息输出到信息处理装置11C。此外，也可以由信息处理装置11C执行接收的声波、超声波或者声音数据的解析。

信息处理装置11C从拍摄部12受理输入图像50。另外，信息处理装置11C从第二传感器19受理方向信息。此外，信息处理装置11C受理在相同的定时得到的输入图像50以及方向信息。即，信息处理装置11C受理相同的拍摄环境的输入图像50以及方向信息。信息处理装置11C使用受理的输入图像50以及方向信息，执行信息处理。此外，信息处理装置11C的硬件构成与信息处理装置10相同。

图12是表示信息处理装置11C的功能的一个例子的图。

信息处理装置11C具备第一获取部20A、编辑部20B、第二输出控制部20C、第一提取部20D、以及延伸部24E。另外，信息处理装置11C具备第一生成部20F、第二提取部20G、导出部20H、第一修正部20I、第一输出控制部20J、以及第三获取部24P。

也可以例如通过使CPU10A等处理装置执行程序，即通过软件实现上述多个各部的一部分或者全部。另外，也可以通过IC(Integrated Circuit：集成电路)等硬件实现上述多个各部的一部分或者全部，也可以并用软件以及硬件来实现。

本实施方式的信息处理装置11C代替第一实施方式的延伸部20E，而具备延伸部24E。另外，信息处理装置11C还具备第三获取部24P。

第三获取部24P从第二传感器19获取方向信息。方向信息如上述那样，是表示物体的有无、到物体的距离、以及物体的方向的信息。第三获取部24P将获取的方向信息输出给延伸部24E。

此外，第三获取部24P也可以在根据获取的方向信息示出的拍摄环境所包含的物体与第二传感器19的距离小于预先决定的第四阈值的情况下，将方向信息输出给延伸部24E。第四阈值预先决定为用于辨别是否为强调轮廓或者边界的对象的物体的值即可。

延伸部24E与第一实施方式的延伸部20E相同，使从第一获取部20A受理的第二图像54的亮度的直方图延伸。在本实施方式中，延伸部24E具有增加处理部24Q。

增加处理部24Q使第二图像54的整个区域中与方向信息对应的物体区域的数据量增加。

详细而言，例如增加处理部24Q将第二图像54的整个区域中根据方向信息示出的物体存在的区域确定为物体区域。具体而言，增加处理部24Q将根据方向信息示出的距离第二传感器19的距离小于第四阈值的物体存在的区域确定为物体区域。此外，增加处理部24Q也可以通过利用公知的方法对在第二传感器19接收的声波、超声波或者声音数据进行解析，来估计拍摄环境中的物体所在的方向以及物体的范围。而且，增加处理部24Q也可以将第二图像54中的估计出的方向以及范围确定为物体区域。

然后，增加处理部24Q使通过延伸部24E进行了延伸的第二图像54的整个区域中确定出的物体区域的数据量增加。

使物体区域的数据量增加是表示使物体区域的数据量与当前的数据量相比增加。具体而言，使物体区域的数据量增加是表示使位深度与当前的位深度相比增加，或者，使分辨率与当前的分辨率相比增加。物体区域的数据量的增加例如使用伽马修正等即可。

使数据量增加的物体区域只要是第二图像54所包含的多个像素中特定的物体区域内的像素，构成特定的物体区域的轮廓的像素，或者，包含特定的物体区域的区域的像素即可。在本实施方式中，将增加处理部24Q使第二图像54所包含的多个像素中构成特定的物体区域的轮廓的像素的数据量增加的方式作为一个例子进行说明。

增加处理部24Q通过使第二图像54的整个区域中根据方向信息确定出的物体区域的数据量增加，能够将第二图像54修正为在降低了第二图像54的数据量时抑制物体的特征点的缺损。

然后，包含增加处理部24Q的延伸部24E与第一实施方式的延伸部20E相同，生成延伸并使物体区域的数据量增加的第二图像54，作为延伸完毕图像55。然后，增加处理部24Q将延伸完毕图像55输出给第一生成部20F。

第一生成部20F降低延伸完毕图像55的数据量，生成第三图像56。

这里，通过增加处理部24Q使第一生成部20F降低数据量的对象的延伸完毕图像55的物体区域增加数据量。因此，第一生成部20F通过降低数据量生成的第三图像56的该物体区域与该物体区域以外的区域相比数据量较多。因此，第二提取部20G通过从该第三图像56提取第二特征点信息，能够提取强调了物体区域的第二特征点信息。

接下来，对本实施方式的信息处理装置11C执行的信息处理的流程的一个例子进行说明。图13是表示本实施方式的信息处理装置11C执行的信息处理的一个例子的流程图。此外，多个步骤各自的顺序能够适当地变更，并不限定于图13的例子。

第一获取部20A从拍摄部12获取输入图像50(步骤S300)。编辑部20B使从第一获取部20A受理的第一图像52清晰化(步骤S302)。通过步骤S302的处理，生成显示图像53。第二输出控制部20C将在步骤S302生成的显示图像53输出给显示部14(步骤S304)。

第三获取部24P从第二传感器19获取方向信息(步骤S306)。延伸部24E使从第一获取部20A受理的第二图像54的亮度的直方图延伸。然后，延伸部24E的增加处理部24Q使进行了延伸的第二图像54中的与在步骤S306获取的方向信息对应的物体区域的数据量增加(步骤S308)。通过步骤S308的处理，生成延伸完毕图像55。

第一提取部20D、第一生成部20F、第二提取部20G、导出部20H、以及第一修正部20I对在步骤S300获取的输入图像50(第一图像52、第二图像54)的每个像素重复步骤S310～步骤S322的处理。步骤S310～步骤S322与第一实施方式的步骤S108～步骤S120相同(参照图7)。

然后，若对在步骤S300获取的输入图像50的全部的像素结束步骤S310～步骤S322的处理，则进入步骤S324。第一输出控制部20J将由上述差小于第一阈值的像素构成的第三图像56亦即输出图像58输出给学习部16(步骤S324)。然后，结束本程序。

如以上说明的那样，本实施方式的信息处理装置11C的第三获取部24P获取表示输入图像50的拍摄环境所包含的物体的从第二传感器19来看的方向的方向信息。增加处理部24Q使第二图像54的整个区域中与方向信息对应的物体区域的数据量增加。第一生成部20F生成降低了使物体区域的数据量增加后的第二图像54的数据量的第三图像56。

通过增加处理部24Q使第一生成部20F降低数据量的对象的第二图像54的物体区域增加数据量。因此，第一生成部20F通过降低数据量生成的第三图像56的该物体区域与该物体区域以外的区域相比数据量较多。因此，第二提取部20G通过从该第三图像56提取第二特征点信息，能够提取强调了物体区域的第二特征点信息。即，导出部20H与上述第一实施方式相比，能够精度更好地导出上述差。

因此，第一修正部20I与上述第一实施方式相比，通过根据上述差修正延伸完毕图像55，能够输出进一步抑制了特征点缺损的第三图像56作为输出图像58。

因此，本实施方式的信息处理装置11C除了上述第一实施方式的效果之外，还能够提供进一步抑制特征点缺损，并且降低了数据量的图像。

(第四实施方式)

在上述第一实施方式中，获取输入图像50，使用于信息处理。在本实施方式中，对获取输入图像50、距离信息、以及方向信息，并使用于信息处理的方式进行说明。

此外，在本实施方式以及以下的实施方式中，对与上述第一～第三实施方式相同的功能以及构成的部分附加相同的附图标记，并省略详细的说明。

图14是表示本实施方式的信息处理系统1D的整体构成的一个例子的图。信息处理系统1D具备信息处理装置11D、拍摄部12、显示部14、学习部16、第一传感器18、以及第二传感器19。拍摄部12、显示部14、学习部16、第一传感器18、以及第二传感器19与信息处理装置11D以能够授受数据或者信号的方式连接。拍摄部12、显示部14、学习部16、第一传感器18、以及第二传感器19与上述第一～第三实施方式相同。

信息处理装置11D从拍摄部12受理输入图像50。另外，信息处理装置11D从第一传感器18受理第一距离图像。另外，信息处理装置11D从第二传感器19受理方向信息。此外，信息处理装置11D受理在相同的定时得到的输入图像50、第一距离图像、以及方向信息。即，信息处理装置11D受理相同的拍摄环境的输入图像50、第一距离图像、以及方向信息。信息处理装置11D使用受理的输入图像50、第一距离图像、以及方向信息，执行信息处理。此外，信息处理装置11D的硬件构成与信息处理装置10相同。

图15是表示信息处理装置11D的功能的一个例子的图。

信息处理装置11D具备第一获取部20A、编辑部20B、第二输出控制部20C、第一提取部20D、延伸部20E、第一生成部20F、第二提取部20G、导出部26H、以及第一修正部20I。另外，信息处理装置11D具备第一输出控制部20J、第二获取部26K、第三获取部26P、第二生成部26R、第五提取部26S、以及二值化部26V。另外，信息处理装置11D具备二值化部26T、和逻辑或运算部26U。

也可以例如通过使CPU10A等处理装置执行程序，即通过软件实现上述多个各部的一部分或者全部。另外，也可以通过IC(Integrated Circuit：集成电路)等硬件实现上述多个各部的一部分或者全部，也可以并用软件以及硬件来实现。

本实施方式的信息处理装置11D代替第一实施方式的导出部20H，而具备导出部26H。另外，信息处理装置11D除了第一实施方式的信息处理装置10的功能之外，还具备第二获取部26K、第三获取部26P、第二生成部26R、第五提取部26S、二值化部26V、逻辑或运算部26U、以及二值化部26T。

第二获取部26K从第一传感器18获取第一距离图像。第三获取部26P从第二传感器19获取方向信息。第一距离图像以及方向信息与上述第一以及第二实施方式相同。

第二生成部26R使用在第三获取部26P获取的方向信息修正在第二获取部26K获取的第一距离图像。通过该修正，第二生成部26R根据第一距离图像生成第二距离图像。

详细而言，例如，第二生成部26R对第一距离图像的整个区域中与方向信息对应的物体区域内的检测点的距离信息，修正为与周边的其它的检测点的距离信息的变化率增加。通过该修正，第二生成部26R生成第二距离图像。

具体而言，第二生成部26R将第一距离图像的整个区域中根据方向信息示出的物体存在的区域确定为物体区域。物体区域的确定方法与上述第三实施方式相同。

然后，第二生成部26R将第一距离图像所包含的多个检测点中物体区域的检测点的距离信息修正为与周边的其它的检测点的变化率比当前的变化率大。因此，第一距离图像所包含的检测点中构成物体区域的轮廓的检测点的距离信息被修正为成为进一步强调轮廓的值。

此外，第一距离图像的整个区域中的修正对象的物体区域只要是第一距离图像所包含的多个检测点中特定的物体区域内的检测点，构成特定的物体区域的轮廓的检测点，或者，包含特定的物体区域的区域的检测点即可。在本实施方式中，对第二生成部26R通过修正第一距离图像所包含的多个检测点中构成特定的物体区域的轮廓的检测点的距离信息，来生成第二距离图像的方式进行说明。

第五提取部26S从第二距离图像提取第五特征点信息。第五特征点信息是表示第二距离图像所包含的物体的至少一部分的特征点的信息。特征点与上述第二实施方式相同。在本实施方式中，将第五特征点信息是表示第二距离图像所包含的物体的轮廓线的信息的情况作为一个例子进行说明。

在本实施方式中，第五提取部26S使用高通滤波器，从第二距离图像提取第五特征点信息。高通滤波器与上述第二实施方式相同。即，第五提取部26S通过使用高通滤波器，对构成第二距离图像的多个检测点的每一个导出与周边的检测点的距离信息的变化率，来提取第五特征点信息。周边的检测点的定义与上述第二实施方式相同。

这里，第二距离图像是对第一距离图像所包含的物体区域的检测点的距离信息，使与周边的检测点的距离信息的变化率增加的距离图像。即，第二距离图像是对构成第一距离图像所包含的物体区域的轮廓的检测点将距离信息修正为成为进一步强调轮廓的值的图像。因此，第五提取部26S与使用第一距离图像的情况相比，能够提取强调了物体的第五特征点信息。

与上述第二实施方式相同，距离信息的变化率表示根据距离信息表示的距离的变化率。因此，在本实施方式中，第五提取部26S对第二距离图像所包含的多个检测点的每一个提取与周边的检测点的距离信息的变化率即距离的梯度(微分值)，作为第五特征点信息。

此外，第五提取部26S只要利用公知的方法，提取第二距离图像所包含的第五特征点信息即可，并不限定于使用高通滤波器的方式。

二值化部26V使在第五提取部26S提取的第五特征点信息二值化。二值化部26V在第五特征点信息在预先决定的第五阈值以上的情况下导出二值化结果“1”(真)，在小于第五阈值的情况下导出二值化结果“0”(伪)。

预先将用于辨别是否是表示物体的轮廓线的信息的阈值决定为第五阈值即可。

二值化部26V将进行了二值化的结果输出给逻辑或运算部26U。详细而言，例如二值化部26V将第五特征点信息的二值化结果、和示出该第五特征点信息的检测点的识别信息输出给逻辑或运算部26U。检测点的识别信息例如是表示第二距离图像上的位置的信息。

另一方面，第一提取部20D与第一实施方式相同，通过对构成第一图像52多个像素的每一个导出与周边像素的像素值的变化率，提取第一特征点信息。然后，第一提取部20D按照像素依次将提取的第一特征点信息、和提取了第一特征点信息的像素的识别信息输出给导出部26H。

在本实施方式中，第一提取部20D还按照像素将提取的第一特征点信息、和提取了第一特征点信息的像素的识别信息输出给二值化部26T。

二值化部26T使在第一提取部20D提取的第一特征点信息二值化。二值化部26T与第二实施方式的二值化部22N相同(参照图9)，在第一特征点信息在预先决定的第三阈值以上的情况下导出二值化结果“1”(真)，在小于第三阈值的情况下导出二值化结果“0”(伪)。第三阈值与上述第二实施方式相同。

二值化部26T将二值化结果输出给逻辑或运算部26U。详细而言，例如二值化部26T将第一特征点信息的二值化结果、和示出该第一特征点信息的像素的识别信息输出给逻辑或运算部26U。像素的识别信息如上述那样，是表示第一图像52上的位置的信息。

逻辑或运算部26U对第一特征点信息与第五特征点信息进行逻辑或运算。详细而言，例如逻辑或运算部26U对第一特征点信息的基于二值化部26T的二值化结果与第五特征点信息的基于二值化部26V的二值化结果的逻辑或进行运算。此时，逻辑或运算部26U对构成第一图像52的多个像素的每一个，运算第一特征点信息的二值化结果与各像素所对应的位置的检测点的第五特征点信息的二值化结果的逻辑或。此外，虽然在图15中，作为独立的功能部示出逻辑或运算部26U、和二值化部26T、26V，但也能够使逻辑或运算部26U在内部具备二值化部26T、二值化部26V的功能。

即，逻辑或运算部26U在第一特征点信息的基于二值化部26T的二值化结果、和第五特征点信息的基于二值化部26V的二值化结果的至少一方为“1”的情况下，导出“1”。另外，逻辑或运算部26U在第一特征点信息的基于二值化部26T的二值化结果、和第五特征点信息的基于二值化部26V的二值化结果双方为“0”的情况下，导出“0”。

然后，逻辑或运算部26U基于上述的逻辑或运算的结果，对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果为“1”的像素，使用第一特征点信息作为第六特征点信息。另一方面，逻辑或运算部22O基于上述的逻辑或运算的结果，对逻辑或运算的结果为“1”(真)，并且，第六特征点信息的二值化结果为“0”的像素，代替第六特征点信息，而使用第二修正信息作为第四特征点信息。这里，第二修正信息只要是上述第三阈值以上的值即可，例如能够为预先决定的上述第三阈值以上的固定值。另外，逻辑或运算部22O基于上述的逻辑或运算的结果，对逻辑或运算的结果为“0”(伪)的像素，使用第一特征点信息作为第六特征点信息。

因此，逻辑或运算部26U能够基于逻辑或运算的结果，得到对显示图像53附加了从第二距离图像识别出的物体的特征点的信息。另外，第二距离图像是对构成第一距离图像所包含的物体区域的轮廓的检测点，将距离信息修正为成为进一步强调轮廓的值的图像。因此，逻辑或运算部26U能够基于逻辑或运算的结果对显示图像53所包含的不包含表示物体的特征点的信息的像素给予与强调了第一距离图像的物体区域的第五特征点信息对应的信息。

详细而言，逻辑或运算部26U能够通过基于进行了逻辑或运算的结果修正第一特征点信息来生成第六特征点信息。即，逻辑或运算部26U能够基于从被修正为成为进一步强调物体区域的轮廓的值的第二距离图像提取出的、强调了物体区域的第五特征点信息，对显示图像53中的不包含表示物体的特征点的信息的像素决定表示比第一特征点信息所包含的变化量大的变化量的第六特征点信息。

逻辑或运算部26U按照像素依次将对构成显示图像53的多个像素的每一个基于逻辑或运算的结果生成的第六特征点信息、和像素的识别信息输出给导出部26H。

导出部26H对第三图像56中的与第一图像52对应的像素的每一个，导出从逻辑或运算部26U受理的第六特征点信息与第二特征点信息之差。

导出部26H与第一实施方式的导出部20H相同，判断导出的差是否在第一阈值以上。导出部26H在导出的差在第一阈值以上的情况下，将第三图像56所包含的多个像素中用于差的导出的像素的像素值的修正指示输出给第一修正部20I。另一方面，导出部26H在导出的差小于第一阈值的情况下，向第一输出控制部20J输出将第三图像56所包含的多个像素中用于差的导出的像素位置的像素作为输出对象的输出对象指示。

这样，在本实施方式中，导出部26H导出通过基于对第一特征点信息与第五特征点信息进行了逻辑或运算的结果对第一特征点信息进行修正生成的第六特征点信息与从第二图像54提取的第二特征点信息之差。然后，与第一实施方式相同，第一修正部20I根据差修正第二图像54。第一输出控制部20J将降低了根据差进行了修正的第二图像54的数据量的第三图像56作为输出图像58输出给学习部16。

此外，第一修正部20I与第一实施方式相同，也可以根据差，修正由第一生成部20F生成的第三图像56。

接下来，对本实施方式的信息处理装置11D执行的信息处理的流程的一个例子进行说明。图16是表示本实施方式的信息处理装置11D执行的信息处理的一个例子的流程图。此外，多个步骤各自的顺序能够适当地变更，并不限定于图16的例子。

第一获取部20A从拍摄部12获取输入图像50(步骤S400)。编辑部20B使从第一获取部20A受理的第一图像52清晰化(步骤S402)。通过步骤S402的处理，生成显示图像53。第二输出控制部20C将在步骤S402生成的显示图像53输出给显示部14(步骤S404)。延伸部20E使从第一获取部20A受理的第二图像54的亮度的直方图延伸(步骤S406)。通过步骤S406的处理，生成延伸完毕图像55。步骤S400～步骤S406与第一实施方式的步骤S100～步骤S106相同。

第二获取部26K从第一传感器18获取第一距离图像(步骤S408)。第三获取部26P从第二传感器19获取方向信息(步骤S410)。在步骤S408获取的第一距离图像、以及在步骤S410获取的方向信息是与在步骤S400获取的输入图像50在相同的定时观测相同的拍摄环境得到的信息。

第二生成部26R使用在步骤S410获取的方向信息修正在步骤S408获取的第一距离图像。通过该修正，第二生成部26R根据第一距离图像生成第二距离图像(步骤S412)。

信息处理装置11D对在步骤S400获取的输入图像50(第一图像52、第二图像54)的每个像素，重复步骤S414～步骤S432的处理。

详细而言，第一提取部20D对在步骤S402进行了清晰化的第一图像52中的处理对象的像素，提取第一特征点信息(步骤S414)。

第五提取部26S对在步骤S412生成的第二距离图像中的与步骤S414相同的像素位置的处理对象的像素提取第五特征点信息(步骤S416)。

逻辑或运算部26U对在步骤S414提取的第一特征点信息与在步骤S416提取的第五特征点信息进行逻辑或运算(步骤S418)。例如，逻辑或运算部26U对第一特征点信息的基于二值化部26T的二值化结果与第五特征点信息的基于二值化部26V的二值化结果的逻辑或进行运算。

第一生成部20F对在步骤S406生成的延伸完毕图像55中的在步骤S414作为处理对象的像素位置的像素降低数据量(步骤S420)。第二提取部20G根据在步骤S420降低了数据量的像素提取第二特征点信息(步骤S422)。

逻辑或运算部26U导出第六特征点信息(步骤S424)。逻辑或运算部26U基于步骤S418的逻辑或运算的结果，对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果为“1”的像素，使用第一特征点信息作为第六特征点信息。另一方面，逻辑或运算部26U对逻辑或运算的结果为“1”(真)，并且，第一特征点信息的二值化结果为“0”的像素，代替第一特征点信息，而使用第二修正信息作为第六特征点信息。另外，逻辑或运算部26U对逻辑或运算的结果为“0”(伪)的像素，使用第一特征点信息作为第六特征点信息。

导出部26H导出在步骤S424导出的第六特征点信息与在步骤S422提取的第二特征点信息之差(步骤S426)。导出部26H判断在步骤S426导出的差是否在第一阈值以上(步骤S428)。

在步骤S428导出的差在第一阈值以上的情况下(步骤S428：是)，导出部26H将用于差的导出的像素的像素值的修正指示输出给第一修正部20I。受理了修正指示的第一修正部20I根据差来修正在步骤S406生成的延伸完毕图像55所包含的在步骤S428判断为差在第一阈值以上的像素的像素值(步骤S430)。然后，第一修正部20I将进行了修正的像素的像素值输出给第一生成部20F，并返回到步骤S420。在步骤S420中，第一生成部20F降低进行了修正的像素的数据量，并重复上述处理。

另一方面，在步骤S426导出的差小于第一阈值的情况下(步骤S428：否)，导出部26H向第一输出控制部20J输出将第三图像56所包含的多个像素中用于差的导出的像素位置的像素作为输出对象的输出对象指示。第一输出控制部20J保持第三图像56中的输出对象指示所示出的像素位置的像素的像素值，作为输出对象(步骤S432)。

若对在步骤S400获取的输入图像50(第一图像52、第二图像54)的全部的像素结束步骤S414～步骤S432的处理，则进入步骤S434。第一输出控制部20J将由上述差小于第一阈值的像素构成的第三图像56亦即输出图像58输出给学习部16(步骤S434)。然后，结束本程序。

如以上说明的那样，本实施方式的信息处理装置11D的第二获取部26K获取规定了输入图像50的拍摄环境所包含的多个检测点各自的距离第一传感器18的距离信息的第一距离图像。第三获取部26P获取表示输入图像50的拍摄环境所包含的物体的从第二传感器19来看的方向的方向信息。第二生成部26R生成对第一距离图像的整个区域中与方向信息对应的物体区域内的检测点的距离信息使与周边的其它的检测点的距离信息的变化率增加的第二距离图像。第五提取部26S从第二距离图像提取第五特征点信息。导出部26H导出基于对第一特征点信息与第五特征点信息进行逻辑或运算的结果生成的第六特征点信息、和第二特征点信息之差。

这里，能够与距离拍摄部12的距离或者物体的轮廓的复杂度无关地，从通过拍摄部12得到的输入图像50亦即第一图像52提取表示亮度的变化率的第一特征点信息。但是，在第一图像52中，亮度之差越小，越得到表示较小的变化率的第一特征点信息。因此，在第一图像52中，与背景的亮度之差越小的物体越难以识别。

因此，在本实施方式中，导出部26H对从第一图像52提取的第一特征点信息与第五特征点信息进行逻辑或运算。第五特征点信息是从强调了第一距离图像的物体区域的第二距离图像提取出的特征点信息。因此，通过该逻辑或运算，逻辑或运算部26U能够基于逻辑或运算的结果对显示图像53中的不包含表示物体的特征点的信息的像素给予与强调了第一距离图像的物体区域的第五特征点信息对应的信息。

而且，导出部26H导出基于逻辑或运算的结果生成的第六特征点信息与第二特征点信息之差。因此，在本实施方式的信息处理装置11D中，能够使用强调了根据第一距离图像以及方向信息识别出的物体的特征点的第一图像52，导出该强调后的第一图像52的第六特征点信息与第二特征点信息之差。

因此，本实施方式的信息处理装置11D除了上述第一～第三实施方式的效果之外，还能够提供进一步抑制特征点缺损，并且降低了数据量的图像。

(第五实施方式)

在本实施方式中，对使用基于对作为输入图像50的第一图像52与根据距离信息以及方向信息生成的第二距离图像进行逻辑或运算的结果生成的第四图像，修正第三图像56的方式进行说明。

此外，在本实施方式以及以下的实施方式中，对与上述第一～第四实施方式相同的功能以及构成的部分附加相同的附图标记，并省略详细的说明。

图17是表示本实施方式的信息处理装置11E的功能的一个例子的图。此外，具备信息处理装置11E的信息处理系统的构成除了代替信息处理装置11D而具备信息处理装置11E这一点以外，与第四实施方式的信息处理系统1D相同(参照图14)。另外，信息处理装置11E的硬件构成与第一实施方式的信息处理装置10相同(参照图2)。

信息处理装置11E具备第一获取部20A、编辑部20B、第二输出控制部20C、延伸部20E、以及第一输出控制部20J。另外，信息处理装置11E具备第二获取部26K、第三获取部26P、第二生成部26R、以及二值化部28W。另外，信息处理装置11E具备二值化部28X、逻辑或运算部28Y、以及第二修正部28F。

也可以例如通过使CPU10A等处理装置执行程序，即通过软件实现上述多个各部的一部分或者全部。另外，也可以通过IC(Integrated Circuit：集成电路)等硬件实现上述多个各部的一部分或者全部，也可以并用软件以及硬件来实现。

第一获取部20A、编辑部20B、第二输出控制部20C、延伸部20E、以及第一输出控制部20J与第一实施方式相同。第二获取部26K、第三获取部26P、以及第二生成部26R与第四实施方式相同。

二值化部28W按照每个检测点对第二距离图像进行二值化。第二距离图像与上述第四实施方式相同，是第二生成部26R通过基于方向信息对第一距离图像进行修正生成的距离图像。

二值化部28W在距离信息在预先决定的第七阈值以上的情况下，导出二值化结果“1”(真)。另外，二值化部28W在距离信息小于第七阈值的情况下，导出二值化结果“0”(伪)。预先将用于辨别是否是表示物体的轮廓线的信息的阈值决定为第七阈值即可。

二值化部28W将进行了二值化的结果输出给逻辑或运算部28Y。详细而言，例如，二值化部28W将第二距离图像所包含的多个像素各自的二值化结果、和示出该二值化结果的像素的识别信息输出给逻辑或运算部28Y。像素的识别信息是表示输入图像50(第一图像52、第二图像54)上的位置的信息。

另一方面，二值化部28X按照每个像素对从编辑部20B受理的显示图像53进行二值化。详细而言，例如，二值化部28X在根据显示图像53的像素的像素值示出的亮度在预先决定的第八阈值以上的情况下，导出二值化结果“1”(真)。另一方面，二值化部28X在根据像素值示出的亮度小于第八阈值的情况下，导出二值化结果“0”(伪)。预先将用于辨别是否是表示物体的轮廓线的信息的阈值决定为第八的阈值即可。

接下来，逻辑或运算部28Y基于对显示图像53与第二距离图像进行逻辑或运算后的结果生成第四图像。详细而言，例如逻辑或运算部28Y基于对显示图像53的二值化结果与第二距离图像的二值化结果进行逻辑或运算的结果生成第四图像。此外，逻辑或运算部28Y也可以基于对第一图像52的二值化结果与第二距离图像的二值化结果进行逻辑或运算的结果生成第四图像。在本实施方式中，逻辑或运算部28Y从编辑部20B获取显示图像53，并进行显示图像53的二值化结果与第二距离图像的二值化结果的逻辑或运算。

首先，逻辑或运算部28Y对显示图像53的基于二值化部28X的二值化结果与第二距离图像的基于二值化部28W的二值化结果的逻辑或进行运算。此外，虽然在图17中，作为独立的功能部示出逻辑或运算部28Y、和二值化部28X、28W，但也能够使逻辑或运算部28Y在内部具备二值化部28X、28W的功能。此时，逻辑或运算部28Y对构成显示图像53的多个像素的每一个，运算显示图像53的二值化结果与各像素所对应的位置的检测点的距离信息的二值化结果的逻辑或。

然后，逻辑或运算部28Y对构成显示图像53的多个像素的每一个，对逻辑或运算的结果为“1”(真)的像素规定与周边像素所规定的像素值的变化率在第九阈值以上的像素值。详细而言，例如逻辑或运算部28Y使用显示图像53中的处理对象的像素的像素值、和该像素的周边像素的像素值，将该处理对象的像素的像素值规定为上述像素值。第九阈值预先决定为用于辨别是否是表示物体的轮廓线或者边界的信息的阈值即可。

另一方面，逻辑或运算部28Y对逻辑或运算的结果为“0”(伪)的像素规定基于编辑部20B的清晰化后的第一图像52亦即显示图像53中的处理对象的像素的像素值。

然后，逻辑或运算部28Y通过对构成显示图像53的全部的像素规定与逻辑或运算的结果对应的像素值，生成第四图像。即，逻辑或运算部28Y基于对显示图像53的二值化结果和第二距离图像的二值化结果进行逻辑或运算的结果生成第四图像。

因此，逻辑或运算部28Y作为逻辑或运算的结果，能够生成对显示图像53强调了从第二距离图像识别出的物体的特征点的第四图像。即，逻辑或运算部28Y能够对显示图像53中的不包含表示物体的特征点的信息的像素附加表示从第二距离图像提取出的特征点的信息。另外，在本实施方式中，第二距离图像是对第一距离图像所包含的物体区域的检测点的距离信息，使与周边的检测点的距离信息的变化率增加的距离图像。因此，逻辑或运算部28Y能够基于逻辑或运算的结果得到对显示图像53附加强调了从第二距离图像识别出的物体区域的特征点的信息。

这里，通过拍摄部12得到的输入图像50亦即第一图像52是能够与距离拍摄部12的距离或者物体的轮廓的复杂度无关地确定亮度的变化率的图像。另一方面，第一距离图像以及方向信息是能够与亮度之差的大小无关地确定距离信息的变化率的信息。而且，在本实施方式中，逻辑或运算部28Y基于第一图像52、第一距离图像、以及方向信息，通过上述处理生成第四图像。

因此，第四图像成为与距离拍摄部12的距离、物体的轮廓的复杂度、以及亮度之差的大小无关地，高精度地规定了物体的特征点的图像。

第二修正部28F与在第一实施方式说明的第一生成部20F相同，生成降低了延伸完毕图像55的数据量的第三图像56。在本实施方式中，第二修正部28F进一步修正构成第三图像56的像素中特定的像素的像素值。特定的像素是第三图像56中与构成在逻辑或运算部28Y生成的第四图像的像素中的与周边像素的像素值的变化率在第九阈值以上的像素对应的像素位置的像素。

第二修正部28F对第三图像56中的与第四图像中与周边像素的像素值的变化率在第九阈值以上的像素位置对应的像素，将像素值修正为与周边像素的变化率比当前的变化率大。具体而言，第二修正部28F对第四图像所包含的上述特定的像素修正该特定的像素的亮度，以使与周边像素的亮度的变化率比当前的变化率大。然后，第二修正部28F将通过对第四图像进行修正生成的第三图像56作为输出图像58输出给第一输出控制部20J。

因此，第二修正部28F能够将强调了拍摄环境所包含的物体的轮廓线等物体的特征点的第三图像56作为输出图像58输出到第一输出控制部20J。

然后，第一输出控制部20J将从第二修正部28F受理的输出图像58输出给学习部16。

接下来，对本实施方式的信息处理装置11E执行的信息处理的流程的一个例子进行说明。图18是表示本实施方式的信息处理装置11E执行的信息处理的一个例子的流程图。此外，多个步骤各自的顺序能够适当地变更，并不限定于图18的例子。另外，也可以适当地并列地执行多个步骤的至少一部分。

第一获取部20A从拍摄部12获取输入图像50(步骤S500)。编辑部20B使从第一获取部20A受理的第一图像52清晰化(步骤S502)。通过步骤S502的处理，生成显示图像53。第二输出控制部20C将在步骤S502生成的显示图像53输出给显示部14(步骤S504)。延伸部20E使从第一获取部20A受理的第二图像54的亮度的直方图延伸(步骤S506)。通过步骤S506的处理，生成延伸完毕图像55。步骤S500～步骤S506与第一实施方式的步骤S100～步骤S106相同。

第二获取部26K从第一传感器18获取第一距离图像(步骤S508)。第三获取部26P从第二传感器19获取方向信息(步骤S510)。在步骤S508获取的第一距离图像、以及在步骤S510获取的方向信息是与在步骤S500获取的输入图像50在相同的定时观测相同的拍摄环境得到的信息。

第二生成部26R使用在步骤S510获取的方向信息修正在步骤S508获取的第一距离图像。通过该修正，第二生成部26R从第一距离图像生成第二距离图像(步骤S512)。

逻辑或运算部28Y运算利用二值化部28X对在步骤S502生成的显示图像53进行二值化的二值化结果与利用二值化部28W对在步骤S512生成的第二距离图像进行二值化的二值化结果的逻辑或(步骤S514)。

然后，逻辑或运算部28Y通过对构成显示图像53的全部的像素规定与步骤S514的逻辑或运算的结果对应的像素值，生成第四图像(步骤S516)。

第二修正部28F降低在步骤S506生成的延伸完毕图像55的数据量(步骤S518)。第二修正部28F通过降低数据量，生成第三图像56(步骤S520)。

第二修正部28F进一步使用在步骤S516生成的第四图像修正生成的第三图像56(步骤S522)。第二修正部28F确定第三图像56中的、与第四图像所包含的与周边像素的像素值的变化率在第九的阈值以上的像素位置对应的像素。然后，第二修正部28F对确定出的像素，将像素值修正为与周边像素的变化率比当前的变化率大。

第一输出控制部20J将通过第二修正部28F进行了修正的第三图像56作为输出图像58输出到学习部16(步骤S524)。然后，结束本程序。

如以上说明的那样，本实施方式的信息处理装置11E具备第一获取部20A、第二获取部26K、第三获取部26P、第二生成部26R、逻辑或运算部28Y、以及第二修正部28F。

第一获取部20A获取输入图像50。第二获取部26K获取规定了输入图像50的拍摄环境所包含的多个检测点各自的距离第一传感器18的距离信息的第一距离图像。第三获取部26P获取表示输入图像50的拍摄环境所包含的物体的从第二传感器19来看的方向的方向信息。第二生成部26R生成对第一距离图像的整个区域中与方向信息对应的物体区域内的检测点的距离信息，使与周边的其它的检测点的距离信息的变化率增加的第二距离图像。逻辑或运算部28Y基于对作为输入图像50的第一图像52与第二距离图像进行逻辑或运算的结果生成第四图像。第二修正部28F修正构成降低了作为输入图像50的第二图像54的数据量的第三图像56的像素中特定的像素所对应的像素值。特定的像素是构成第四图像的像素中的与周边像素的像素值的变化率在阈值(第九阈值)以上的像素。

第四图像是基于对显示图像53(或者，第一图像52)的二值化结果和第二距离图像的二值化结果进行逻辑或运算的结果生成的图像。即，第四图像是基于方向信息、第一距离图像、以及第一图像52生成的与距离、轮廓的复杂度或者亮度之差的大小无关地高精度地规定了物体的特征点的图像。而且，在本实施方式中，第二修正部28F修正第三图像56中的、与构成第四图像的像素中的与周边像素的像素值的变化率在阈值以上的像素对应的像素的像素值。

因此，输出图像58成为将第三图像56修正为使由于数据量的降低处理而至少一部分消失的物体的轮廓线出现或者强调的图像。换句话说，输出图像58成为将降低了数据量的第二图像54亦即第三图像56修正为复原由于数据量的降低处理而缺损的物体的图像。因此，第一输出控制部20J能够输出抑制特征点缺损并且降低了数据量的图像亦即输出图像58。

因此，本实施方式的信息处理装置11E能够提供抑制了特征点缺损的图像。

以上，对实施方式进行了说明，但本申请公开的信息处理装置以及信息处理方法并不限定于上述的实施方式，在实施阶段能够在不脱离其主旨的范围内使构成要素变形来进行具体化。另外，能够通过上述的实施方式所公开的多个构成要素的适当的组合，形成各种发明。例如，也可以从实施方式所示的全部构成要素删除几个构成要素。

此外，上述第一～第五实施方式的信息处理装置10、信息处理装置11B～信息处理装置11E能够应用于包含降低图像的数据量的处理的各种装置。例如，上述第一～第五实施方式的信息处理装置10、信息处理装置11B～信息处理装置11E能够应用于对从监视照相机得到的影像进行处理的监视照相机系统，或者对车外的周边环境的图像进行处理的车载系统等。

附图标记说明

10、11B、11C、11D、11E…信息处理装置，12…拍摄部，14…显示部，16…学习部，18…第一传感器，19…第二传感器，20A…第一获取部，20B…编辑部，20C…第二输出控制部，20D…第一提取部，20E、24E…延伸部，20F…第一生成部，20G…第二提取部，20H…导出部，20I…第一修正部，20J…第一输出控制部，22K、26K…第二获取部，22L…第三提取部，22O、26U、28Y…逻辑或运算部，24P、26P…第三获取部，24Q…增加处理部，26R…第二生成部，26S…第五提取部，28F…第二修正部。

Claims (23)

1.一种信息处理装置，具备：

第一获取部，获取输入图像，并输出第一图像以及第二图像；

第一提取部，从上述第一图像提取第一特征点信息；

第一生成部，生成降低了上述第二图像的数据量的第三图像；

第二提取部，从上述第三图像提取第二特征点信息；

导出部，导出上述第一特征点信息与上述第二特征点信息之差；以及

第一输出控制部，输出根据上述差进行了修正的上述第三图像作为输出图像。

2.根据权利要求1所述的信息处理装置，其中，

上述第一生成部生成与当前的位深度相比降低了上述第二图像的位深度的上述第三图像。

3.根据权利要求1或者权利要求2所述的信息处理装置，其中，

具备第一修正部，上述第一修正部根据上述差修正上述第二图像或者上述第三图像，

上述第一输出控制部输出降低了通过上述第一修正部进行了修正的上述第二图像的数据量的上述第三图像、或者通过上述第一修正部进行了修正的上述第三图像，作为上述输出图像。

4.根据权利要求3所述的信息处理装置，其中，

上述第一提取部对上述第一图像所包含的多个像素的每一个提取与周边像素的像素值的变化率，作为上述第一特征点信息，

上述第二提取部对构成上述第三图像的多个像素的每一个提取与周边像素的像素值的变化率，作为上述第二特征点信息，

上述导出部对上述第三图像中的与上述第一图像对应的每个像素导出上述差，

上述第一修正部根据上述差，按照每个像素修正上述第二图像或者上述第三图像的像素值。

5.根据权利要求3或者权利要求4所述的信息处理装置，其中，

上述第一修正部修正上述第二图像或者上述第三图像所包含的多个像素中上述差在第一阈值以上的像素的像素值。

6.根据权利要求5所述的信息处理装置，其中，

上述第一修正部将上述第二图像或者上述第三图像所包含的多个像素中的、上述差在上述第一阈值以上并且第一亮度以上的像素的像素值修正为小于上述第一亮度，

并将上述第二图像或者上述第三图像所包含的多个像素中的、上述差在上述第一阈值以上并且小于上述第一亮度的像素的像素值修正为上述第一亮度以上的亮度。

7.根据权利要求5或者权利要求6所述的信息处理装置，其中，

上述第一输出控制部将由通过上述第一修正部修正了像素值且上述差小于上述第一阈值的像素构成的上述第三图像亦即上述输出图像输出给学习部，上述学习部输出与输入的上述输出图像对应的处理结果信息。

8.根据权利要求5或者权利要求6所述的信息处理装置，其中，

上述导出部向上述第一输出控制部输出将上述第三图像所包含的多个像素中上述差小于上述第一阈值的像素作为输出对象的输出对象指示，

上述第一输出控制部在对构成上述第三图像的全部的像素受理了上述输出对象指示时，将上述第三图像作为上述输出图像输出给学习部。

9.根据权利要求1～8中任意一项所述的信息处理装置，其中，

具备将上述第一图像输出到显示部的第二输出控制部。

10.根据权利要求1～9中任意一项所述的信息处理装置，其中，

具备使上述第二图像的亮度的直方图延伸的延伸部，

上述第一生成部生成降低进行了延伸的上述第二图像亦即延伸完毕图像的数据量的上述第三图像。

11.根据权利要求1～10中任意一项所述的信息处理装置，其中，

具备使上述第一图像清晰化的编辑部，

上述第一提取部从进行了清晰化的上述第一图像亦即显示图像提取上述第一特征点信息。

12.根据权利要求1～11中任意一项所述的信息处理装置，具备：

第二获取部，获取第一距离图像，上述第一距离图像规定了上述输入图像的拍摄环境所包含的多个检测点各自的距离信息；以及

第三提取部，从上述第一距离图像提取第三特征点信息，

上述导出部导出第四特征点信息和上述第二特征点信息的上述差，上述第四特征点信息是基于对上述第一特征点信息与上述第三特征点信息进行逻辑或运算的结果生成的信息。

13.根据权利要求12所述的信息处理装置，其中，

具备进行上述逻辑或运算的逻辑或运算部，

逻辑或运算部通过基于上述逻辑或运算的结果对上述第一特征点信息进行修正来生成上述第四特征点信息。

14.根据权利要求12或者权利要求13所述的信息处理装置，其中，

上述第二获取部获取对上述多个检测点的每一个规定了距离第一传感器的距离信息的上述第一距离图像。

15.根据权利要求1～11中任意一项所述的信息处理装置，具备：

第三获取部，获取表示上述输入图像的拍摄环境所包含的物体的方向的方向信息；以及

增加处理部，根据上述方向信息使上述第二图像的整个区域中的、根据上述方向信息示出的上述物体存在的区域亦即物体区域的数据量增加，

上述第一生成部生成降低了使上述物体区域的数据量增加后的上述第二图像的数据量的上述第三图像。

16.根据权利要求15所述的信息处理装置，其中，

上述第三获取部获取至少表示上述物体的从第二传感器来看的方向以及从上述物体到上述第二传感器为止的距离的上述方向信息。

17.根据权利要求1～11中任意一项所述的信息处理装置，具备：

第二获取部，获取规定了上述输入图像的拍摄环境所包含的多个检测点各自的距离信息的第一距离图像；

第三获取部，获取表示上述输入图像的拍摄环境所包含的物体的方向的方向信息；

第二生成部，生成第二距离图像，上述第二距离图像是对上述第一距离图像的整个区域中根据上述方向信息示出的上述物体存在的区域亦即物体区域内的上述检测点的距离信息，使与周边的其它的上述检测点的距离信息的变化率增加的图像；以及

第五提取部，从上述第二距离图像提取第五特征点信息，

上述导出部导出第六特征点信息和上述第二特征点信息的上述差，上述第六特征点信息是基于对上述第一特征点信息与上述第五特征点信息进行逻辑或运算的结果生成的信息。

18.根据权利要求17所述的信息处理装置，其中，

具备进行上述逻辑或运算的逻辑或运算部，

逻辑或运算部通过基于上述逻辑或运算的结果修正上述第一特征点信息来生成上述第六特征点信息。

19.根据权利要求17或者权利要求18所述的信息处理装置，其中，

上述第二获取部获取对上述多个检测点的每一个规定了距离第一传感器的距离信息的上述第一距离图像，

上述第三获取部获取至少表示上述物体的从第二传感器来看的方向以及从上述物体到上述第二传感器为止的距离的上述方向信息。

20.一种信息处理装置，具备：

第一获取部，获取输入图像；

第二获取部，获取规定了上述输入图像的拍摄环境所包含的多个检测点各自的距离信息的第一距离图像；

第三获取部，获取表示上述输入图像的拍摄环境所包含的物体的方向的方向信息；

第二生成部，生成第二距离图像，上述第二距离图像是对上述第一距离图像的整个区域中根据上述方向信息示出的上述物体存在的区域亦即物体区域内的上述检测点的距离信息，使与周边的其它的上述检测点的距离信息的变化率增加的图像；

逻辑或运算部，生成基于对作为上述输入图像的第一图像与上述第二距离图像进行逻辑或运算的结果生成的第四图像；以及

第二修正部，修正构成降低了作为上述输入图像的第二图像的数据量的第三图像的像素中的、与构成上述第四图像的像素中的与周边像素的像素值的变化率在阈值以上的像素对应的像素的像素值。

21.根据权利要求20所述的信息处理装置，其中，

上述第二获取部获取对上述多个检测点的每一个规定了距离第一传感器的距离信息的上述第一距离图像，

上述第三获取部获取至少表示上述物体的从第二传感器来看的方向以及从上述物体到上述第二传感器为止的距离的上述方向信息。

22.一种信息处理装置，是具备处理器的信息处理装置，其中，

上述处理器执行以下处理，即

获取输入图像，并输出第一图像以及第二图像；

从上述第一图像提取第一特征点信息；

生成降低了上述第二图像的数据量的第三图像；

从上述第三图像提取第二特征点信息；

导出上述第一特征点信息与上述第二特征点信息之差；以及

输出根据上述差进行了修正的上述第三图像作为输出图像。

23.一种信息处理方法，其中，计算机执行以下处理，即

获取输入图像，并输出第一图像以及第二图像；

从上述第一图像提取第一特征点信息；

生成降低了上述第二图像的数据量的第三图像；

从上述第三图像提取第二特征点信息；

导出上述第一特征点信息与上述第二特征点信息之差；以及

输出根据上述差进行了修正的上述第三图像作为输出图像。

Images