CN115668285A - 信息处理装置、信息处理方法、信息处理系统及程序 - Google Patents

信息处理装置、信息处理方法、信息处理系统及程序 Download PDF

Info

Publication number
CN115668285A
CN115668285A CN202180036201.5A CN202180036201A CN115668285A CN 115668285 A CN115668285 A CN 115668285A CN 202180036201 A CN202180036201 A CN 202180036201A CN 115668285 A CN115668285 A CN 115668285A
Authority
CN
China
Prior art keywords
image
unit
evaluation
filter
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180036201.5A
Other languages
English (en)
Inventor
山本祐辉
C·赖特
B·艾略特-鲍曼
N·沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115668285A publication Critical patent/CN115668285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72Data preparation, e.g. statistical preprocessing of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本公开涉及能够以更简单的处理适当地评估物体识别滤波器的信息处理设备、信息处理方法、信息处理系统和程序。生成设置在物体识别滤波器的前级中的预处理滤波器的教师数据的生成单元由用于无监督学习的循环生成对抗网络(循环GAN)生成。将由所生成的生成单元生成的教师数据放入物体识别滤波器,并且从而根据物体识别结果图像之间的差生成评估图像,并根据评估图像和教师数据生成了生成评估图像的评估滤波器。将评估滤波器应用于输入图像并且从而生成评估图像,并通过所生成的评估图像评估物体识别滤波器。本公开能够应用于物体识别设备。

Description

信息处理装置、信息处理方法、信息处理系统及程序
技术领域
本公开涉及信息处理装置、信息处理方法、信息处理系统和程序,更具体而言,涉及能够用更简单的处理适当地评估通过学习获得的生成单元或转换单元的信息处理装置、信息处理方法、信息处理系统和程序。
背景技术
近年来,以深度学习为代表的机器学习作为构成所谓的人工智能(AI)的要素技术得到了显著发展,并且广泛应用于诸如例如图像分类、物体检测之类的图像区域的领域,以及分割、自然语言处理和语音识别。
其中,最近引起关注的技术之一是生成对抗网络(下文中称为GAN)。GAN是生成模型中的一种类型,并且通过从数据中学习特征,可以生成不存在的数据或者根据存在的数据的特征进行数据转换。
GAN作为在不提供地面真值(ground truth)数据的情况下学习特征的“无监督学习”的一种方法引起关注。
更具体而言,通过使神经网络对抗地彼此竞争,GAN训练包括生成真实数据的生成单元或将数据转换成真实数据的转换单元的神经网络,以及包括确定所生成或所转换的真实数据是否真实的确定单元的神经网络。
然而,在GAN中,由于学习中存在不稳定性并且所生成的数据中存在偏差并且难以进行预测,因此已知有必要通过反复试错来人工地调整参数并来重构网络以便实现完全学习。
因此,已经提出了一种技术,其中无监督确定单元从由生成单元生成的真实图像或由转换单元转换的真实图像中计算图像中物体的潜在特征表示,有监督确定单元接收潜在特征表示和属性标签,并获得属性标签是真实的概率(即,物体的确定性),从而对经训练的生成单元或转换单元进行机械评估(参见专利文献1)。
引文列表
专利文献
专利文献1:日本专利申请特许公开No.2019-091440
发明内容
本发明要解决的问题
然而,在专利文献1的技术中,由于除了无监督确定单元和有监督确定单元这两个确定单元之外还需要人工的属性标签,因此用于机械地评估经训练的生成单元或转换单元的配置和处理变得复杂。
鉴于这样的情况完成了本公开,并且特别地,本公开的目的是使得能够用更简单的处理对通过学习获得的生成单元或转换单元进行适当的评估。
问题的解决方案
根据本公开的一个方面的信息处理装置、信息处理系统和程序是包括识别输入图像中的物体的识别单元以及评估识别单元的评估单元的信息处理装置、信息处理系统和程序。
根据本公开的一个方面的信息处理方法是一种信息处理装置的信息处理方法,该信息处理装置包括识别输入图像中的物体的识别单元和评估识别单元的评估单元,并且该信息处理方法包括评估单元评估识别单元的步骤。
在本公开的一个方面,识别输入图像中的物体,并且评估识别单元。
附图说明
图1是图示车辆控制系统的配置示例的框图。
图2是图示感测区域的示例的图。
图3是用于描述在不应用本技术的情况下识别单元的配置示例的图。
图4是用于描述在应用本技术的情况下识别单元的配置示例的图。
图5是用于描述图4中的评估滤波器生成单元的配置示例的图。
图6是用于描述物体识别滤波器的学习的图。
图7是用于描述预处理滤波器的学习的图。
图8是用于描述循环生成对抗网络的图。
图9是用于描述学习集的生成的图。
图10是用于描述评估图像的生成的图。
图11是用于描述评估滤波器的生成的图。
图12是用于描述使用评估滤波器的操作控制的图。
图13是用于描述评估滤波器生成处理的流程图。
图14是用于描述操作控制处理的流程图。
图15是用于描述第一变形例的图。
图16是用于描述第二变形例的图。
图17是用于描述第三变形例的图。
图18是用于描述第四变形例的图。
图19是用于描述第五变形例的图。
图20是用于描述通用计算机的配置示例的图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施例。注意的是,在本说明书和附图中,具有实质上相同功能配置的构成要素将被指派相同的附图标记并且将省略重复的描述。
在下文中,将描述用于进行本技术的模式。将按以下次序给出描述。
1.车辆控制系统的配置示例
2.没有应用本公开的技术的识别单元的配置示例
3.应用本公开的技术的识别单元的配置示例
4.评估滤波器生成单元的配置示例
5.第一变形例
6.第二变形例
7.第三变形例
8.第四变形例
9.第五变形例
10.由软件执行的示例
<<1.车辆控制系统的配置示例>>
本技术使得能够通过简单的处理评估通过学习获得的生成单元(转换单元)。
在本说明书中,将描述本技术应用于移动设备控制系统的情况下的示例。
图1是图示作为对其应用本技术的移动设备控制系统的示例的车辆控制系统11的配置示例的框图。
车辆控制系统11设置在车辆1中,并进行与车辆1的行驶辅助和自动驾驶相关的处理。
车辆控制系统11包括处理器21、通信单元22、地图信息累积单元23、全球导航卫星系统(GNSS)接收单元24、外部识别传感器25、车载传感器26、车辆传感器27、记录单元28、行驶辅助和自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32。
处理器21、通信单元22、地图信息累积单元23、GNSS接收单元24、外部识别传感器25、车载传感器26、车辆传感器27、记录单元28、行驶辅助和自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41彼此连接。通信网络41包括例如:符合诸如控制器局域网(CAN)、局域互连网(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网之类的任意标准的车载通信网络、总线等。注意的是,车辆控制系统11的每个单元可以通过例如近场通信(NFC)、蓝牙(注册商标)等直接连接,而不通过通信网络41。
注意的是,在下文中,在车辆控制系统11的每个单元经由通信网络41进行通信的情况下,将省略对通信网络41的描述。例如,在处理器21和通信单元22经由通信网络41进行通信的情况下,简单地描述为处理器21和通信单元22进行通信。
例如,处理器21包括诸如中央处理单元(CPU)、微处理单元(MPU)和电子控制单元(ECU)之类的各种处理器。处理器21控制整个车辆控制系统11。
通信单元22与车辆内外的各种设备、其它车辆、服务器、基站等进行通信,并发送和接收各种种类的数据。作为与车辆外部的通信,例如,通信单元22从外部接收用于更新用于控制车辆控制系统11的操作的软件的程序、地图信息、交通信息、车辆1周围的信息等。例如,通信单元22将与车辆1相关的信息(例如,指示车辆1的状态的数据、识别单元73的识别结果等)、车辆1周围的信息等发送到外部。例如,通信单元22进行与诸如e呼叫之类的车辆紧急呼叫系统对应的通信。
注意的是,通信单元22的通信方法不受特别限制。此外,可以使用多种通信方法。
作为与车辆内部的通信,例如,通信单元22通过诸如无线LAN、蓝牙、NFC或无线USB(WUSB)之类的通信方法与车内的设备进行无线通信。例如,通信单元22经由未图示的连接端子(如果需要则为电缆)通过诸如通用串行总线(USB)、高清多媒体接口(HDMI,注册商标)或移动高清链路(MHL)之类的通信方法与车内的设备进行有线通信。
在此,车内的设备例如是在车内未连接到通信网络41的设备。例如,假设由诸如驾驶员之类的乘员携带的移动设备或可穿戴设备、带入车内并临时安装的信息设备等。
例如,通信单元22通过诸如第四代移动通信系统(4G)、第五代移动通信系统(5G)、长期演进(LTE)或专用短程通信(DSRC)之类的无线通信方法经由基站或接入点与存在于外部网络(例如,因特网、云网络或特定于公司的网络)上的服务器等进行通信。
例如,通信单元22使用对等(P2P)技术与存在于本车附近的终端(例如,行人或商店的终端,或机器类型通信(MTC)终端)进行通信。例如,通信单元22进行V2X通信。V2X通信例如是与另一车辆的车辆到车辆通信、与路边设备等的车辆到基础设施通信、车辆到家庭通信、与行人携带的终端等的车辆到行人的通信,等等。
例如,通信单元22接收由诸如无线电波信标、光信标或FM多路广播之类的道路交通信息通信系统(以太网(车辆信息和通信系统)注册商标)发送的电磁波。
地图信息累积单元23累积从外部获取的地图和由车辆1制作的地图。例如,地图信息累积单元23累积三维高精度地图、准确度比高精度地图低但覆盖范围广的全局地图,等等。
高精度地图是例如动态地图、点云地图、矢量地图(也称为高级驾驶辅助系统(ADAS)地图)等。动态地图是例如包括动态信息、准动态信息、准静态信息和静态信息这四层的地图,并从外部服务器等中提供。点云地图是包括点云(点云数据)的地图。矢量地图是其中将诸如车道和信号的位置之类的信息与点云地图相关联的地图。点云地图和矢量地图可以从例如外部服务器等中提供,或者可以由车辆1基于雷达52、LiDAR 53等的感测结果作为与稍后描述的局部地图进行匹配的地图而制作,以在地图信息累积单元23中累积。此外,在从外部服务器等中提供高精度地图的情况下,例如,从服务器等中获取关于车辆1今后行驶的所规划路径的用于数百平方米的地图数据,以便减少通信容量。
GNSS接收单元24从GNSS卫星接收GNSS信号,并将GNSS信号供应给行驶辅助和自动驾驶控制单元29。
外部识别传感器25包括用于识别车辆1外部的状况的各种传感器,并且将来自每个传感器的传感器数据供应给车辆控制系统11的每个单元。包括在外部识别传感器25中的传感器的类型和数量是任意的。
例如,外部识别传感器25包括相机51、雷达52、光检测和测距或激光成像检测和测距(LiDAR)53、以及超声波传感器54。相机51、雷达52、LiDAR 53和超声波传感器54的数量是任意的,并且稍后将描述每个传感器的感测区域的示例。
注意的是,作为相机51,例如,根据需要使用诸如飞行时间(ToF)相机、立体相机、单目相机或红外相机之类的任意成像系统的相机。
此外,例如,外部识别传感器25包括用于检测气候、天气、明亮度等的环境传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器、照度传感器等。
而且,例如,外部识别传感器25包括用于检测车辆1周围的声音、声源的位置等的麦克风。
车载传感器26包括用于检测车辆内部的信息的各种传感器,并且将来自每个传感器的传感器数据供应给车辆控制系统11的每个单元。包括在车载传感器26中的传感器的类型和数量是任意的。
例如,车载传感器26包括相机、雷达、落座传感器、方向盘传感器、麦克风、生物传感器等。注意的是,例如,可以使用任意成像系统的相机(诸如ToF相机、立体相机、单目相机或红外相机)。生物传感器例如设置在座椅、方向盘等上,并检测诸如驾驶员之类的乘员的各种种类的生物信息。
车辆传感器27包括用于检测车辆1的状态的各种传感器,并且将来自每个传感器的传感器数据供应给车辆控制系统11的每个单元。包括在车辆传感器27中的传感器的类型和数量是任意的。
例如,车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和惯性测量单元(IMU)。例如,车辆传感器27包括检测方向盘的转向角的转向角传感器、偏航率传感器、检测加速器踏板的操作量的加速器传感器、以及检测制动器踏板的操作量的制动器传感器。例如,车辆传感器27包括检测发动机或电动机的转速的旋转传感器、检测轮胎的气压的气压传感器、检测轮胎的打滑率的打滑率传感器,以及检测车轮的转速的车轮速度传感器。例如,车辆传感器27包括检测电池的剩余量和温度的电池传感器和检测外部冲击的冲击传感器。
记录单元28包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光学存储设备、磁-光存储设备等。记录单元28记录车辆控制系统11的每个单元使用的各种程序、数据等。例如,记录单元28记录包括由其中操作与自动驾驶相关的应用程序的机器人操作系统(ROS)发送和接收的消息的rosbag文件。例如,记录单元28包括事件数据记录器(EDR)和用于自动驾驶的数据存储系统(DSSAD),并且记录车辆1在诸如事故之类的事件前后的信息。
行驶辅助和自动驾驶控制单元29控制车辆1的行驶辅助和自动驾驶。例如,行驶辅助和自动驾驶控制单元29包括分析单元61、行动规划单元62和操作控制单元63。
分析单元61对车辆1及其周边的状况进行分析处理。分析单元61包括自身位置估计单元71、传感器融合单元72和识别单元73。
自身位置估计单元71基于来自外部识别传感器25的传感器数据和地图信息累积单元23中累积的高精度地图来估计车辆1的自身位置。例如,自身位置估计单元71基于来自外部识别传感器25的传感器数据生成局部地图,并且通过将局部地图与高精度地图匹配来估计车辆1的自身位置。车辆1的位置例如以后轮对车轴的中心为基准。
局部地图例如是使用诸如同时定位与建图(SLAM)、占有栅格地图等技术制作的三维高精度地图。三维高精度地图例如是上述点云地图等。占有栅格地图是将车辆1周围的三维或二维空间划分为具有预定尺寸的栅格的地图,并且物体的占有状态为以栅格为单位指示。物体的占有状态例如通过物体的有无或存在概率来指示。例如,局部地图还被用于识别单元73对车辆1外部的状况的检测处理和识别处理。
注意的是,自身位置估计单元71可以基于GNSS信号和来自车辆传感器27的传感器数据来估计车辆1的自身位置。
传感器融合单元72进行组合多种不同类型的传感器数据(例如,从相机51供应的图像数据和从雷达52供应的传感器数据)的传感器融合处理以获得新信息。组合不同类型传感器数据的方法包括综合、融合、联合等。
识别单元73进行用于车辆1外部的状况的检测处理和识别处理。
例如,识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等进行用于车辆1外部的状况的检测处理和识别处理。
具体而言,例如,识别单元73进行车辆1周围的物体的检测处理、识别处理等。用于物体的检测处理是例如检测物体的有无、尺寸、形状、位置、移动等的处理。用于物体的识别处理是例如识别物体的属性(诸如类型)或识别特定物体的处理。然而,检测处理和识别处理不必明确划分,并且可以重叠。
例如,识别单元73通过对基于诸如LiDAR或雷达之类的传感器数据的点云按点云的每个集群进行用于分类的聚类来检测车辆1周围的物体。因此,检测车辆1周围的物体的有无、尺寸、形状和位置。
例如,识别单元73通过进行跟随由聚类分类的点云的集群的移动的跟踪来检测车辆1周围的物体的移动。因此,检测车辆1周围的物体的速度和行进方向(移动矢量)。
例如,识别单元73通过对从相机51供应的图像数据进行诸如语义分割之类的物体识别处理来识别车辆1周围的物体的类型。
注意的是,作为要被检测或识别的物体,例如,假设有车辆、人、自行车、障碍物、构造物、道路、交通灯、交通标志、道路标志等。
例如,识别单元73基于地图信息累积单元23中累积的地图、自身位置的估计结果和车辆1周围的物体的识别结果进行用于车辆1周围的交通规则的识别处理。通过该处理,例如,识别信号的位置和状态、交通标志和道路标志的内容、交通限制的内容、可行驶车道等。
例如,识别单元73进行用于车辆1周围的环境的识别处理。作为要被识别的周围环境,例如,假设有气候、温度、湿度、明亮度、路面的状态等。
行动规划单元62制作车辆1的行动规划。例如,行动规划单元62通过进行用于路径规划和路径跟随的处理来制作行动规划。
注意的是,路径规划(全局路径规划)是规划从起点到终点的路径的处理。该路径规划被称为轨迹规划,并且包括在通过路径规划所规划的路径中,考虑车辆1的运动特性,使得能够在车辆1附近安全且平滑地行驶的用于轨迹生成的处理(局部路径规划)。
路径跟随是用于在所规划的时间内安全且准确地行驶过通过路径规划所规划的路径的规划操作的处理。例如,计算车辆1的目标速度和目标角速度。
操作控制单元63控制车辆1的操作以便实现由行动规划单元62制作的行动规划。
例如,操作控制单元63控制转向控制单元81、制动控制单元82和驾驶控制单元83以进行加速和减速控制以及方向控制,使得车辆1在由轨迹规划计算出的轨迹上行驶。例如,操作控制单元63以实现ADAS的功能(诸如避免碰撞或缓和冲击、跟车行驶、车速维持行驶、本车的碰撞警告、本车的车道偏离警告等)为目的进行协调控制。例如,操作控制单元63以车辆不依赖于驾驶员的操作而自主行驶的自动驾驶等为目的进行协调控制。
DMS 30基于来自车载传感器26的传感器数据、输入到HMI 31的输入数据等进行驾驶员认证处理、驾驶员状态识别处理等。作为要被识别的驾驶员的状态,例如,假设有身体情况、清醒程度、注意力程度、疲劳程度、视线方向、醉酒程度、驾驶操作、姿势等。
注意的是,DMS 30可以进行除驾驶员以外的乘员的认证处理以及该乘员的状态的识别处理。此外,例如,DMS 30可以基于来自车载传感器26的传感器数据来进行用于车辆内部的状况的识别处理。作为要被识别的车辆内部的状况,例如,假设有温度、湿度、明亮度、气味等。
HMI 31被用于输入各种种类的数据、指令等,基于输入的数据、指令等生成输入信号,并将输入信号供应给车辆控制系统11的每个单元。例如,HMI 31包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备,可以通过语音、手势等的手动操作以外的方法进行输入的操作设备,等等。注意的是,HMI 31可以是例如使用红外线或其它无线电波的遥控设备,或者是与车辆控制系统11的操作兼容的诸如移动设备或可穿戴设备之类的外部连接设备。
此外,HMI 31进行输出控制以控制视觉信息、听觉信息和触觉信息的生成以及输出到乘员或车辆外部、输出内容、输出定时、输出方法等。视觉信息是例如由诸如操作画面、车辆1的状态显示、警告显示或指示车辆1周围的状况的监视器图像之类的图像或光指示的信息。听觉信息是例如由诸如引导、警告音或警告消息之类的语音指示的信息。触觉信息是例如通过力、振动、移动等给予乘员触觉感觉的信息。
作为输出视觉信息的设备,例如,假设有显示设备、投影仪、导航设备、仪表板、相机监视系统(CMS)、电子反射镜、灯等。显示设备除了具有通常的显示器的设备之外,还可以是在乘员的视野中显示视觉信息的设备,诸如平视显示器、透射式显示器或具有增强现实(AR)功能的可穿戴设备。
作为输出听觉信息的设备,例如,假设有音频扬声器、头戴式耳机、耳机等。
作为输出触觉信息的设备,例如,假设有使用触感技术等的触感元件。触感元件例如设置在方向盘、座椅等上。
车辆控制单元32控制车辆1的每个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驾驶控制单元83、车身系统控制单元84、灯控制单元85和喇叭控制单元86。
转向控制单元81进行车辆1的转向系统的状态的检测、控制等。转向系统包括例如包括方向盘等的转向机构、电动动力转向器等。转向控制单元81包括例如控制转向系统的控制单元(诸如ECU)、驱动转向系统的致动器等。
制动控制单元82进行车辆1的制动系统的状态的检测、控制等。制动系统包括例如包括制动器踏板的制动机构、防抱死制动系统(ABS)等。制动控制单元82包括例如控制制动系统的控制单元(诸如ECU)、驱动制动系统的致动器等。
驾驶控制单元83进行车辆1的驾驶系统的状态的检测、控制等。驾驶系统包括例如用于生成驱动力的驱动力生成设备(诸如加速器踏板、内燃机或驱动电动机)、用于将驱动力传递到车轮的驱动力传递机构等。驾驶控制单元83包括例如控制驾驶系统的控制单元(诸如ECU)、驱动驾驶系统的致动器等。
车身系统控制单元84进行车辆1的车身系统的状态的检测、控制等。车身系统包括例如无钥匙进入系统、智能钥匙系统、动力窗设备、动力座椅、空调、安全气囊、安全带、换档杆等。车身系统控制单元84包括例如控制车身系统的控制单元(诸如ECU)、驱动车身系统的致动器等。
灯控制单元85进行车辆1的各种种类的灯的状态的检测、控制等。作为要被控制的灯,例如,假设有前灯、背光灯、雾灯、转向信号、制动灯、投影、保险杠的显示等。灯控制单元85包括例如控制灯的控制单元(诸如ECU)、驱动灯的致动器等。
喇叭控制单元86进行车辆1的汽车喇叭的状态的检测、控制等。喇叭控制单元86包括例如控制汽车喇叭的控制单元(诸如ECU)、驱动汽车喇叭的致动器等。
图2是图示图1中的外部识别传感器25的相机51、雷达52、LiDAR 53和超声波传感器54的感测区域的示例的图。
感测区域101F和感测区域101B图示了超声波传感器54的感测区域的示例。感测区域101F覆盖车辆1的前端的周边。感测区域101B覆盖车辆1的后端的周边。
感测区域101F和感测区域101B中的感测结果例如被用于车辆1的停车辅助等。
感测区域102F至感测区域102B图示了用于短距离或中距离的雷达52的感测区域的示例。感测区域102F在车辆1的前方覆盖到比感测区域101F更远的位置的区域。感测区域102B在车辆1的后方覆盖到比感测区域101B更远的位置的区域。感测区域102L覆盖车辆1的左侧面的后方周边。感测区域102R覆盖车辆1的右侧面的后方周边。
感测区域102F中的感测结果例如被用于检测车辆1前方存在的车辆、行人等。感测区域102B中的感测结果例如被用于车辆1后方的防止碰撞功能。感测区域102L和感测区域102R中的感测结果被用于例如车辆1侧面的盲区中的物体的检测等。
感测区域103F至感测区域103B图示了相机51的感测区域的示例。感测区域103F在车辆1的前方覆盖到比感测区域102F更远的位置的区域。感测区域103B在车辆1的后方覆盖到比感测区域102B更远的位置的区域。感测区域103L覆盖车辆1的左侧面的周边。感测区域103R覆盖车辆1的右侧面的周边。
感测区域103F中的感测结果例如被用于交通灯或交通标志的识别、车道偏离防止辅助系统等。感测区域103B中的感测结果例如被用于停车辅助、环视系统等。感测区域103L和感测区域103R中的感测结果被用于例如环视系统等。
感测区域104图示了LiDAR 53的感测区域的示例。感测区域104在车辆1的前方覆盖到比感测区域103F更远的位置的区域。另一方面,感测区域104在左右方向上的范围比感测区域103F更窄。
感测区域104中的感测结果例如被用于紧急制动、避免碰撞、行人检测等。
感测区域105图示了用于远距离的雷达52的感测区域的示例。感测区域105在车辆1的前方覆盖到比感测区域104更远的位置的区域。另一方面,感测区域105在左右方向上的范围比感测区域104更窄。
感测区域105中的感测结果例如被用于自适应巡航控制(ACC)。
注意的是,每个传感器的感测区域可以具有除图2中那些以外的各种配置。具体而言,超声波传感器54也可以感测车辆1的侧面,或者LiDAR 53可以感测车辆1的后方。
<<2.未对其应用本公开的技术的识别单元的配置示例>>
接下来,在描述对其应用本公开的技术的识别单元73的配置时,将参考图3描述未对其应用本公开的技术的识别单元73的配置示例。
注意的是,在本实施例中,将以在识别单元73中对由相机51捕获的图像进行物体识别处理的配置为例进行描述。
未对其应用本公开的技术的识别单元73包括预处理滤波器111和物体识别滤波器112。
预处理滤波器111对输入图像PI进行处理,将输入图像PI转换成经预处理的图像PC,并将经预处理的图像PC输出到物体识别滤波器112。
更具体而言,预处理滤波器111对降低物体识别滤波器112中的物体识别准确度的低质量输入图像PI(诸如低照度图像、包括噪声的图像、多云或朦胧的图像、因移动造成的模糊的图像、没有聚焦的图像、亮度饱和的图像,或诸如暴雨或大雪之类的暴风雨天气中光的状态不良的图像)进行用于提高质量的滤波处理(诸如照度的调整、噪声去除、多云或朦胧的去除、模糊的去除、聚焦调整、亮度调整,以及将暴风雨天气中的图像调整为接近良好天气状态的图像),校正输入图像PI,将输入图像PI转换成经预处理的图像PC,并将经预处理的图像PC输出到物体识别滤波器112。
预处理滤波器111是使用降低物体识别滤波器112中的滤波处理的准确度的低质量图像和对应的高质量图像通过所谓的有监督学习而生成的滤波器,并且包括例如神经网络。
物体识别滤波器112对由预处理滤波器111预处理的经预处理的图像PC进行诸如语义分割之类的物体识别处理,以像素为单位识别物体,并且输出包括识别结果的图像作为物体识别结果图像PL。
物体识别滤波器112是使用输入图像和以对应的像素为单位标记了物体识别结果的信息通过所谓的有监督学习生成的滤波器,并且包括例如神经网络。
操作控制单元63基于物体识别结果图像PL中的以像素为单位的物体识别结果来识别图像中的被摄体的物体,并基于识别结果控制车辆1的操作。
然而,由于预处理滤波器111的学习不充分并且出现不稳定或偏差,因此存在不能一定进行适当的预处理的可能性。
即,在预处理滤波器111不能充分学习,并且例如不能对输入图像PI进行适当的预处理的情况下,存在在物体识别滤波器112中没有进行适当的物体识别的可能性,因此,存在物体识别结果图像PL中的每个像素单位的识别结果成为不适当的识别结果的可能性。
即,例如,在物体识别结果图像PL中识别出不存在具有碰撞风险的物体,但实际上由预处理滤波器111进行的预处理不充分,使得虽然存在具有碰撞风险的物体,但该物体无法被识别的情况下,存在无法采取避免碰撞行动的可能性。
因此,操作控制单元63可能不能基于包括不适当识别结果的物体识别结果图像PL来适当地控制车辆1的操作,并且在最坏的情况下,可能引发事故。
<<3.对其应用本公开的技术的识别单元的配置示例>>
因此,在本公开中,可以基于输入图像生成与物体识别结果图像对应的、用于评估预处理滤波器111的评估图像,并且可以在掌握了对物体识别结果图像中的识别结果的评估之后实现操作控制。
更具体而言,如图4中所示,对其应用本公开的技术的识别单元73包括预处理滤波器131、物体识别滤波器132、评估滤波器133和评估滤波器生成单元134。
注意的是,预处理滤波器131和物体识别滤波器132具有与图3中的预处理滤波器111和物体识别滤波器112对应的配置,并且具有相同的功能,因此省略其描述。
评估滤波器133对输入图像PI进行处理,并且生成并输出用于评估预处理滤波器131的评估图像PE。
评估图像PE例如是与通过预处理滤波器131对输入图像PI进行滤波处理而获得的经预处理的图像PC对应的图像,并且由于预处理不适合以像素为单位所以是具有较高像素值的图像。
即,在预处理滤波器131的处理适当的情况下,评估图像PE成为全黑图像,并且在预处理滤波器131的处理不适当的情况下,评估图像PE成为其中不适当的部分是明亮的图像。
因此,在评估图像PE中,图像整体越明亮,那么预处理滤波器131的预处理越不充分并且预处理的评估被表示为越低,反之,图像整体越暗,那么预处理滤波器131的预处理越充分并且预处理的评估被表示为越高。
此外,由于预处理滤波器131的预处理更适当,因此经预处理的图像PC成为被适当校正的图像,因此以更高的准确度进行物体识别滤波器132进行的物体识别处理。
因此,评估图像PE中评估低的区域可以被认为预处理进行不充分并且由物体识别滤波器132进行的物体识别准确度低,或者预处理可以被充分进行但是由物体识别滤波器132进行的物体识别准确度低。相反,评估图像PE中评估高的区域可以被认为预处理滤波器131的预处理被充分进行并且由物体识别滤波器132进行的物体识别准确度高。
因此,评估图像PE可以说是用于评估由预处理滤波器131进行的预处理的程度的图像,并且也是用于评估整个识别单元73中的物体识别准确度的图像。
操作控制单元63基于评估图像PE以像素为单位评估物体识别结果图像PL,并根据该评估控制车辆1的操作。
即,例如,操作控制单元63在控制车辆1的操作时可以不使用物体识别结果图像PL中的、对应的评估图像PE中具有高像素值的区域大于预定面积的物体识别结果图像PL。
此时,例如,操作控制单元63可以使用评估图像PE的像素值来获得评估分数,在评估分数低于预定值的情况下认为评估低,并且在控制车辆1的操作时可以不使用物体识别结果图像PL。
在此,评估分数例如可以是所有像素的像素值的相加值的倒数。即,整个评估图像PE越明亮并且所有像素的像素值的相加值越大,评估分数越小并且对预处理和物体识别处理的评估越低,并且整个评估图像PE越暗并且所有像素的像素值的相加值越小,评估分数越大并且对预处理和物体识别处理的评估越高。
此外,由于预处理滤波器131包括例如通过有监督学习训练的神经网络等,因此可以进行切换到基于评估图像PE的评估高的其它教师数据(teacher data)而训练的另一预处理滤波器131。
利用这种处理,能够实现根据预处理滤波器131的可靠性的适当的车辆1的操作控制。
<<4.评估滤波器生成单元的配置示例>>
接下来,将参考图5描述评估滤波器生成单元134的配置示例。
评估滤波器生成单元134包括滤波器学习单元151、转换判别单元学习单元152、学习集生成单元153、评估图像生成单元154和评估滤波器学习单元155。
<滤波器学习单元>
滤波器学习单元151通过学习生成与预处理滤波器131和物体识别滤波器132对应的预处理滤波器PF和物体识别滤波器RF。
更具体而言,滤波器学习单元151包括物体识别滤波器学习单元171和预处理滤波器学习单元172。
例如,如图6中所示,物体识别滤波器学习单元171基于使用输入图像PA和带有用于识别关于输入图像PA的物体的标签的物体识别结果图像PL的多个集合的有监督学习来生成物体识别滤波器RF,并将物体识别滤波器RF输出到评估图像生成单元154。
即,由物体识别滤波器学习单元171生成的物体识别滤波器RF包括例如神经网络,从输入图像中以像素为单位识别物体,输出作为识别结果的例如带有诸如语义标签之类的标签的物体识别结果图像PL。
在图6中,输入图像PA是十字路口处的人行横道的白天风景的图像,并且物体识别结果图像PL是将用于输入图像PA中的每个物体的标签作为图案附加到其上的图像。
在图6的物体识别结果图像PL中,用于每个物体的标签是例如道路、人行横道、行人、人行道、标志、建筑物等,并且包括例如通过手动输入等附加的信息。
注意的是,由物体识别滤波器学习单元171生成的物体识别滤波器RF具有与图4中的识别单元73中的物体识别滤波器132相同的配置,但是其仅为了生成评估滤波器133而生成。
因此,图4中的识别单元73中的物体识别滤波器132可以是由物体识别滤波器学习单元171生成的物体识别滤波器RF,或者可以用另一配置来生成。
例如,如图7中所示,预处理滤波器学习单元172基于使用低质量输入图像PB和作为对应的经预处理的图像的高质量输出图像PC的多个集合的有监督学习来生成预处理滤波器PF,并将预处理滤波器PF输出到评估图像生成单元154。
即,由预处理滤波器学习单元172生成的预处理滤波器PF例如包括神经网络,并且输出通过提高低质量输入图像的图像质量而获得的高质量图像。
在图7中,低质量输入图像PB是低照度的暗图像,而输出图像PC是与输入图像PB对应的高照度的明亮图像。
虽然图7图示了作为低质量图像的示例的暗图像的示例,但是可以使用其它图像,只要该图像是低质量的即可。例如,可以使用包括噪声的图像、多云或朦胧的图像、因移动造成的模糊的图像、没有聚焦的图像、亮度饱和的图像、或诸如暴雨或大雪之类的暴风雨天气中光的状态不良的图像。在这种情况下,去除了对应噪声的图像、去除了多云或朦胧的图像、去除了模糊的图像、进行了聚焦调整的图像、调整了亮度的图像以及接近良好天气状态的图像作为与经预处理的图像对应的输出图像PC被使用。
注意的是,由预处理滤波器学习单元172生成的预处理滤波器PF具有与图4中的识别单元73中的预处理滤波器131相同的配置,但是其仅为了生成评估滤波器133而生成。
因此,图4中的识别单元73中的预处理滤波器131可以是由预处理滤波器学习单元172生成的预处理滤波器PF,或者可以用另一配置来生成。
<转换判别单元学习单元>
转换判别单元学习单元152通过使用循环生成对抗网络(循环GAN)使转换单元191、转换判别单元192、逆转换单元193和逆转换判别单元194进行相互学习来生成该单元,并将转换单元191输出到学习集生成单元153。
在此,转换单元191包括例如神经网络,并将用于物体识别滤波器RF的学习的输入图像PA转换成用于生成预处理滤波器PF的与输入图像PB相似的图像PA'。
转换判别单元192包括例如神经网络,根据由转换单元191转换成与输入图像PB相似的图像PA'与用于预处理滤波器PF的学习的输入图像PB之间的比较来获得误差损失,并判定图像PA'是否是输入图像PB。
逆转换单元193包括例如神经网络,并且将用于预处理滤波器PF的学习的输入图像PB转换成用于生成物体识别滤波器RF的与输入图像PA相似的图像PB'。
逆转换判别单元194例如包括神经网络,根据由逆转换单元193转换成与输入图像PA相似的图像PB'与用于物体识别滤波器RF的学习的输入图像PA之间的比较来获得误差损失,并判定图像PB'是否是输入图像PA。
生成对抗网络(GAN)使得基于随机噪声将数据转换成与特定数据相似的数据的转换单元(生成单元)和判定通过转换单元(生成单元)转换(生成)的与特定数据相似的数据是否是真实特定数据的判定单元彼此对抗地学习。
因此,转换单元(生成单元)被训练为将数据(生成数据)转换成要被判定单元判定为真实特定数据的数据,并且判定单元被训练为能够判定由转换单元(生成单元)转换的数据不是真实数据。
因此,转换单元(生成单元)被训练为能够以高准确度将要从随机噪声转换(生成)的数据转换(生成)为与真实特定数据相似的数据,并且判定单元被训练为能够以高准确度判定被转换(生成)为与真实特定数据相似的数据不是真实特定数据。
循环生成对抗网络(循环GAN)通过组合由上述生成对抗网络(GAN)训练的多个转换单元和判定单元来实现循环无监督学习,从而训练多个转换单元(生成单元)和判定单元。
在转换判别单元学习单元152中,转换单元191和逆转换单元193,以及转换判别单元192和逆转换判别单元194由循环生成对抗网络(循环GAN)训练。
即,如图8中所示,转换单元191将用于物体识别滤波器RF的学习的输入图像PA转换成用于生成预处理滤波器PF的与输入图像PB相似的图像PA'。
转换判别单元192根据由转换单元191转换成与输入图像PB相似的图像PA'与用于预处理滤波器PF的学习的输入图像PB的集合PBS之间的比较获得误差损失,并判定图像PA'是否是输入图像PB。
逆转换单元193通过将图像PA'用作用于预处理滤波器PF的学习的输入图像PB来将图像PA'转换成用于生成物体识别滤波器RF的与输入图像PA相似的图像PB'。即,逆转换单元193将由转换单元191从输入图像PA转换和生成的图像PA'逆转换为与输入图像PA相似的图像PB'。
逆转换判别单元194根据由逆转换单元193逆转换为与输入图像PA相似的图像PB'与用于物体识别滤波器RF的学习的输入图像PA的集合PAS之间的比较来获得误差损失,并判定图像PB'是否是输入图像PA。
以这种方式配置的转换单元191、转换判别单元192、逆转换单元193和逆转换判别单元194通过循环生成对抗网络(循环GAN)进行相互学习,使得转换单元191被配置为能够以高准确度将用于物体识别滤波器RF的学习的输入图像PA转换成用于生成预处理滤波器PF的输入图像PB。
此外,转换判别单元192可以以高准确度判定由转换单元191从输入图像PA转换的图像PA'是否是输入图像PB。
因此,能够相互提高转换单元191中的转换准确度和转换判别单元192关于转换单元191的转换结果是否真实的判定准确度。
类似地,能够相互提高逆转换单元193中的逆转换准确度和逆转换判别单元194关于逆转换单元193的逆转换结果是否真实的判定准确度。
通过这种处理,例如,转换单元191可以以高准确度将对用于物体识别滤波器RF的学习的物体识别影响小的高质量输入图像PA转换成用于预处理滤波器PF的学习的低质量输入图像PB。
在图8的示例中,转换单元191可以以高准确度将用于物体识别滤波器RF的学习的高质量明亮图像转换成用于预处理滤波器PF的学习的低质量暗图像。
此外,转换单元191可以根据低质量图像的类型将低质量图像转换成对应类型的高质量图像。
即,低质量图像的类型例如是暗图像、包括噪声的图像、多云或朦胧的图像、因移动造成的模糊的图像、没有聚焦的图像、亮度饱和的图像,或诸如暴雨或大雪之类的暴风雨天气中光的状态不良的图像。
因此,转换单元191根据低质量图像的类型,将上述低质量图像转换成高质量图像,诸如明亮的图像、去除了对应噪声的图像、去除了多云或朦胧的图像、去除了模糊的图像、进行了聚焦调整的图像、调整了亮度的图像以及接近良好天气状态的图像。
即,例如,转换单元191将具有低明亮度作为类型的暗图像以高准确度转换成明亮的高质量图像。此外,例如,转换单元191将包括噪声作为类型的低质量图像以高准确度转换成已经去除了噪声的高质量图像。而且,转换单元191例如将包括多云或朦胧作为类型的低质量图像转换成已经去除了多云或朦胧的高质量图像。此外,转换单元191例如将因移动造成的模糊作为类型的低质量图像转换成已经去除了模糊的高质量图像。而且,转换单元191例如将没有聚焦作为类型的低质量图像转换成聚焦的高质量图像。此外,转换单元191例如将亮度饱和作为类型的低质量图像转换成其中亮度被适当调整的高质量图像。而且,转换单元191例如将在诸如暴雨或大雪之类的暴风雨天气中光的状态不良作为类型的低质量图像转换成光的状态良好的高质量图像。
此外,类似地,逆转换单元193可以以高准确度将用于预处理滤波器PF的学习的低质量输入图像PB转换成对用于物体识别滤波器RF的学习的物体识别影响小的高质量输入图像PA。
转换判别单元学习单元152将通过这种循环生成对抗网络(循环GAN)的学习而生成的转换单元191、转换判别单元192、逆转换单元193和逆转换判别单元194中的转换单元191输出到学习集生成单元153。
<学习集生成单元>
如图9中所示,学习集生成单元153以高准确度使用从转换判别单元学习单元152供应的转换单元191以将对用于物体识别滤波器RF的学习的物体识别影响小的高质量输入图像PA转换成用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'。
学习集生成单元153将所生成的高质量输入图像PA和用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'的对作为学习集输出到评估图像生成单元154。
<评估图像生成单元>
评估图像生成单元154基于包括高质量输入图像PA和用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'的对的学习集、预处理滤波器PF和物体识别滤波器RF来生成表示预处理滤波器PF的误差的热图作为评估图像PE,并将该热图输出到评估滤波器学习单元155。
更具体而言,如图10中所示,评估图像生成单元154将预处理滤波器PF应用于高质量输入图像PA以生成经预处理的图像PC,并且进一步将物体识别滤波器RF应用于图像PC以生成物体识别结果图像PLa。
此外,评估图像生成单元154将预处理滤波器PF应用于低质量输入图像PA'以生成经预处理的图像PC',并且进一步将物体识别滤波器RF应用于图像PC'以生成物体识别结果图像PLa'。
而且,评估图像生成单元154生成其中基于高质量输入图像PA而获得的物体识别结果图像PLa与基于低质量输入图像PA'而获得的物体识别结果图像PLa'的以像素为单位的像素值之间的差被设置为像素值的热图,作为评估图像PE。
即,由于输入图像PA和PA'是通过对基本上相同的高质量状态图像和低质量状态图像应用相同的物体识别滤波器RF而获得的,因此包括其中将通过处理每个图像而获得的物体识别结果图像PLa与PLa'之间的差设置为像素值的热图的评估图像PE可以被视为用于评估预处理滤波器PF的图像。
即,输入图像PA和PA'与预处理滤波器PF学习时的教师数据对应,因此在理想地进行了充分的学习的情况下,已对其应用预处理滤波器PF的图像PC和PC'成为相同的输入图像PA,并且作为物体识别滤波器RF的处理结果的物体识别结果图像PLa与PLa'为相同。
因此,理想情况下,物体识别结果图像PLa与PLa'的所有像素的像素值之间的差为零,并且评估图像EP成为完全暗的图像。
然而,在没有对预处理滤波器PF进行充分学习的情况下,不能充分地进行预处理。因此,对其应用了预处理滤波器PF的图像PC和PC'中预处理未充分进行的区域中的像素被赋予指示不同物体识别结果的标签,从而在像素值之间生成差。
因此,在评估图像PE中,可以将像素值高、明亮并且物体识别结果图像PLa与PLa'之间的差大的区域视为其中通过预处理滤波器PF未进行充分的预处理并且无法进行适当的物体识别的区域。
此外,在评估图像PE中,可以将像素值接近零、暗并且物体识别结果图像PLa与PLa'之间的差小的区域示为其中充分进行了通过预处理滤波器PF的预处理并且进行适当的物体识别的区域。
评估图像生成单元154针对多个学习集的每个获得评估图像PE,每个学习集包括高质量输入图像PA和用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'的对,并且将用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'和对应的评估图像PE的多个集合输出到评估滤波器学习单元155。
<评估滤波器学习单元>
如图11中所示,评估滤波器学习单元155基于用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'和对应的评估图像PE的多个集合,通过有监督学习来获得与评估滤波器133对应的评估滤波器EF。
即,通过该学习,通过对低质量输入图像PB进行滤波处理,能够生成能够生成评估图像PE的评估滤波器EF。
通过以上的一系列处理,生成评估滤波器EF作为图4中的评估滤波器133以配置图4的识别单元73。
因此,在图4的识别单元73中,如图12中所示,对低质量输入图像PI应用预处理滤波器131以进行预处理,使得将低质量输入图像PI转换成高质量图像PC,并且进一步对图像PC应用物体识别滤波器132,从而生成以像素为单位附加有与物体识别结果对应的标签的物体识别结果图像PL。
此外,由评估滤波器生成单元134生成的评估滤波器EF被配置为评估滤波器133,并且对输入图像PI应用评估滤波器133,从而获得对应的评估图像PE。
操作控制单元63基于物体识别结果图像PL来控制车辆1的操作。
此时,例如,在评估图像PE中,在其中像素值高于预定值、通过预处理滤波器131未充分进行预处理,并且很可能未进行适当的物体识别的区域大于预定面积,并且物体识别结果图像PL的可靠性被认为低于预定水平的情况下,操作控制单元63可以不执行基于物体识别结果图像PL的操作控制。
此外,关于预处理滤波器131,由于可以被适当预处理的图像的类型根据用于有监督学习的教师数据而改变,因此可以预先根据教师数据的类型准备多个预处理滤波器131,并且操作控制单元63可以切换预处理滤波器131以获得评估图像PE,基于评估图像PE选择具有最高评估的预处理滤波器131,并基于物体识别结果图像PL执行操作控制。
而且,例如,在评估图像PE中,关于其中像素值高于预定值、通过预处理滤波器131没有充分地进行预处理,并且没有进行适当的物体识别的区域,认为物体识别结果图像PL的物体识别结果不充分,并且操作控制单元63可以基于关于其中物体识别结果图像PL中除像素值高于预定值的区域以外的区域的信息来执行操作控制。
因此,操作控制单元63可以基于评估图像PE来评估物体识别结果图像PL,并根据评估结果实现适当的操作控制。
<评估滤波器生成处理>
接下来,将参考图13中的流程图描述评估滤波器生成单元134的评估滤波器生成处理。
在步骤S11中,滤波器学习单元151的物体识别滤波器学习单元171通过参考图6描述的方法通过有监督学习来生成物体识别滤波器RF,并将物体识别滤波器RF输出到评估图像生成单元154.
在步骤S12中,滤波器学习单元151的预处理滤波器学习单元172通过参考图7描述的方法通过有监督学习来生成预处理滤波器PF,并将预处理滤波器PF输出到评估图像生成单元154。
在步骤S13中,转换判别单元学习单元152通过使用参考图8描述的循环生成对抗网络(循环GAN)的无监督学习来生成转换单元191、转换判别单元192、逆转换单元193和逆转换判别单元194。
然后,转换判别单元学习单元152将所生成的转换单元191、转换判别单元192、逆转换单元193和逆转换判别单元194中的转换单元191输出到学习集生成单元153。
在步骤S14中,如参考图9所述,学习集生成单元153使用转换单元191以高准确度将对用于物体识别滤波器RF的学习的物体识别影响小的高质量输入图像PA转换成用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'。
然后,学习集生成单元153将包括高质量输入图像PA和用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'的对的学习集输出到评估图像生成单元154。注意的是,学习集生成单元153将多个不同的输入图像PA转换成图像PA',并将包括多个输入图像PA和图像PA'的学习集输出到评估图像生成单元154。
在步骤S15中,如参考图10所述,评估图像生成单元154基于包括高质量输入图像PA和用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'的对的学习集、预处理滤波器PF和物体识别滤波器RF来生成包括表示预处理滤波器PF的误差的热图的评估图像PE,并将评估图像PE连同用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'一起输出到评估滤波器学习单元155。
在步骤S16中,如参考图11所述,评估滤波器学习单元155基于用于预处理滤波器PF的学习的与低质量输入图像PB相似的图像PA'和对应的评估图像PE的集合,通过有监督学习来获得评估滤波器EF,以配置评估滤波器133。
利用以上处理,能够生成用于生成评估物体识别结果图像PL的评估图像PE的评估滤波器EF。
因此,能够仅通过将获得的评估滤波器应用于要输入到预处理滤波器131、物体识别滤波器132等的输入图像来适当地评估预处理滤波器131和物体识别滤波器132。
<操作控制处理>
接下来,将参考图14中的流程图来描述基于图4中的识别单元73的识别处理的操作控制处理,该识别单元使用通过上述评估滤波器生成处理生成的评估滤波器EF作为评估滤波器133。
在步骤S31中,与预处理滤波器PF对应的预处理滤波器131对包括低质量图像的输入图像PI进行预处理,将输入图像PI转换成高质量图像PC,并将图像PC输出到物体识别滤波器132。
在步骤S32中,与上述物体识别滤波器RF对应的物体识别滤波器132对高质量图像PC进行物体识别处理,生成物体识别结果图像PL,并将物体识别结果图像PL输出到操作控制单元63。
在步骤S33中,与评估滤波器EF对应的评估滤波器133基于输入图像PI生成评估图像PE,并将评估图像PE输出到操作控制单元63。
在步骤S34中,操作控制单元63基于物体识别结果图像PL和评估图像PE来控制车辆1的操作。
此时,例如,在评估图像PE中,在其中像素值高于预定值、通过预处理滤波器131未充分进行预处理,并且未进行适当的物体识别的区域大于预定面积,并且物体识别结果图像PL的可靠性被认为低于预定水平的情况下,操作控制单元63可以不执行基于物体识别结果图像PL的操作控制,或者可以仅停止预处理滤波器131。
此外,在物体识别结果图像PL的可靠性被认为低于预定水平的情况下,操作控制单元63可以基于其它教师数据交换通过有监督学习训练的预处理滤波器131或物体识别滤波器132中的至少一个。
即,如上所述,由循环生成对抗网络(循环GAN)训练的转换单元191根据低质量图像的类型将图像转换成对应的高质量图像。
此外,由于评估图像生成单元154基于由学习集生成单元153中的转换单元191生成的学习集来生成评估图像PE,因此要生成的评估图像PE也根据低质量图像的类型而不同。
而且,由于评估图像PE被用于在评估滤波器学习单元155中生成评估滤波器EF,因此自然地,要在评估滤波器学习单元155中生成的评估滤波器EF也根据低质量图像的类型而不同。
因此,在预处理滤波器131、物体识别滤波器132以及预处理滤波器131和物体识别滤波器132的组合的配置中,适当的配置根据低质量图像的类型而不同。
例如,预处理滤波器131不同于能够适当地预处理对于明亮度具有低质量作为低质量类型的暗图像的配置,以及能够适当地预处理对于噪声具有低质量作为低质量类型的包括噪声的图像的配置。
类似地,物体识别滤波器132或预处理滤波器131和物体识别滤波器132的组合不同于对对于明亮度具有低质量作为低质量类型的暗图像适当地进行物体识别处理的配置,以及对对于噪声具有低质量作为低质量类型的包括噪声的图像适当地进行物体识别处理的配置。
因此,能够适当地评估处理结果的评估滤波器133也根据低质量类型而不同。
即,针对诸如暗图像、包括噪声的图像、多云或模糊图像、因移动造成的模糊的图像、没有聚焦的图像、亮度饱和的图像或诸如暴雨或大雪之类的暴风雨天气中光的状态不良的图像之类的每种类型的低质量图像,存在用于物体识别结果图像PL的评估滤波器133。
因此,针对每种类型的低质量图像,操作控制单元63准备预处理滤波器131、物体识别滤波器132以及预处理滤波器131和物体识别滤波器132的组合的多种配置,并且针对多种配置中的每一种配置准备对应的评估滤波器133。
然后,操作控制单元63可以将多个评估滤波器133应用于输入图像PI,以通过每个评估滤波器133获得评估图像PE,并选择和使用具有最高评估的预处理滤波器131、物体识别滤波器以及预处理滤波器131和物体识别滤波器的组合中的任何一个。
此时,在存在许多类型的低质量图像且存在许多类型的评估滤波器133的情况下,针对每种类型的低质量图像与预处理滤波器131、物体识别滤波器132以及预处理滤波器131和物体识别滤波器132的组合的多种配置对应的多个评估滤波器133之一根据位置、时刻等根据低质量图像的类型而受到限制,并且获得评估图像PE。
然后,在所获得的评估图像PE中,可以选择性地使用具有最高评估的、与评估滤波器133对应的预处理滤波器131、物体识别滤波器以及预处理滤波器131和物体识别滤波器的组合。
此外,评估滤波器133的处理也可以通过设置在车辆1外部的服务器来实现。这样,即使在存在许多类型的低质量图像和许多类型的评估滤波器133的情况下,通过设置在车辆1外部的服务器等执行使用评估滤波器133而获得评估图像PE的处理,使得能够减轻识别单元73的整体处理负荷并提高处理速度。
而且,在以上描述中,已经描述了其中根据低质量图像的类型,准备根据类型的预处理滤波器131、物体识别滤波器132以及预处理滤波器131和物体识别滤波器132的组合的多个配置以及多个对应的评估滤波器133的示例,但也可以将物体识别中的低质量图像视为与成像环境一致。
即,图像中的明暗和噪声的量根据成像环境而改变,并且例如,成像环境也类似地根据上面描述的时刻和气候(诸如早晨、白天、夜晚,晴天,雨天和雪天)而改变。而且,根据诸如春、夏、秋和冬之类的季节的改变也被视为识别中的低质量图像。即,在由晴天的图像训练的识别器的情况下,雨天的图像由于颜色和明亮度不同而被认为是低质量图像。
类似地,在物体识别处理等中,例如,由于使用语言、建筑风格等方面的差异,可以将其视为低质量图像。即,例如,在被训练为识别日本的图像中建筑物的物体的识别器中,在海外的图像中识别建筑物的物体可以被视为低质量图像。
因此,类似于低质量图像的类型,操作控制单元63可以针对每个数据的来源、日期和时间、季节、位置、国家等及其组合作为用于学习的成像环境来准备用于多种配置中的每一种的预处理滤波器131、物体识别滤波器132以及预处理滤波器131和物体识别滤波器132的组合的多种配置,以及对应的评估滤波器133,并且操作控制单元63可以根据基于评估图像PE的评估来切换和使用多种配置。
而且,例如,在评估图像PE中,其中像素值高于预定值、通过预处理滤波器131和物体识别滤波器132未充分地进行预处理,并且未进行适当的物体识别的区域被认为是不能充分进行物体识别处理的区域,并且操作控制单元63可以基于除了在物体识别结果图像PL中像素值高于预定值的区域以外的、充分进行了物体识别处理的区域的信息来执行操作控制。
在任一情况下,操作控制单元63都可以基于评估图像PE来评估物体识别结果图像PL,并根据评估结果实现适当的操作控制。
注意的是,在上文中,已经描述了其中在识别单元73中配置评估滤波器生成单元134并且将由评估滤波器生成单元134生成的评估滤波器EF用作评估滤波器133的示例。
然而,评估滤波器生成单元134可以不必设置在识别单元73中,并且可以与包括识别单元73的车辆控制系统11分开设置。
在这种情况下,评估滤波器133可以被配置为使得由与包括识别单元73的车辆1分开设置的评估滤波器生成单元134生成的评估滤波器EF经由通信网络等被读取。
而且,在上文中,已经描述了这样的示例,其中每次由物体识别滤波器132进行物体识别处理时,由评估滤波器133生成评估图像PE,并且每次都评估物体识别结果图像PL。然而,在条件变化不大的情况下,由于认为评估图像PE的变化小,因此可以通过根据日期和时间以及位置执行评估或在预定的时间间隔执行评估来降低执行频度。
在此,例如,在生成评估图像PE,并且获得物体识别结果图像PL的评估分数且其小于预定值的情况下,可以认为通过预处理滤波器131未充分进行预处理,并且可以停止预处理滤波器131的处理,直到接下来获得评估图像PE并且获得评估分数为止。
然后,在生成评估图像PE,并且获得物体识别结果图像PL的评估分数并且其大于预定值的情况下,可以认为通过预处理滤波器131充分地进行了预处理,并且可以执行预处理滤波器131的处理,直到接下来获得评估图像PE并且获得评估分数为止。
此外,在上文中,已经描述了其中预处理滤波器131和物体识别滤波器132被配置为通过学习而获得的示例,但是预处理滤波器131和物体识别滤波器132可以不被配置为通过学习而获得,并且可以针对各种识别器获得类似的评估滤波器,从而可以根据基于评估滤波器的来自评估图像PE的评估来选择性地使用识别器。
<<5.第一变形例>>
在上文中,如图10中所示,评估图像生成单元154将预处理滤波器PF应用于高质量输入图像PA以生成经预处理的图像PC。然后,评估图像生成单元154将物体识别滤波器RF应用于图像PC以生成物体识别结果图像PLa,并且生成其中物体识别结果图像PLa与基于低质量输入图像PA'而获得的物体识别结果图像PLa'的以像素为单位的像素值之间的差被设置为像素值的热图,作为评估图像PE。
然而,在通过预处理滤波器PF处理用于高质量输入图像PA的物体识别结果图像PLa的情况下,理想地,预期输入图像PA本身被输出。
因此,在获得评估图像PE时,如图15中所示,对于高质量输入图像PA,可以省略用于预处理滤波器PF的处理,并且可以直接使用输入图像PA来代替图像PC。
<<6.第二变形例>>
在上文中,如图15中所示,已经描述了其中在获得评估图像PE时对高质量输入图像PA省略用于预处理滤波器PF的处理的示例。
然而,预处理滤波器PF的评估低的区域是由低质量输入图像PA'造成的。
因此,如图16中所示,可以根据直接应用物体识别滤波器RF的物体识别结果图像PLa'与直接应用物体识别滤波器RF的物体识别结果图像PLa之间的差来获得评估图像PE,而不将预处理滤波器PF应用于低质量输入图像PA'和高质量输入图像PA。
<<7.第三变形例>>
在上文中,已经描述了其中识别单元73将预处理滤波器131应用于输入图像PI以获得经预处理的图像PC并且将物体识别滤波器132应用于经预处理的图像PC以获得物体识别结果图像PL的示例。
然而,由于在预处理滤波器131中对输入图像PI进行的处理是对输入图像PI中的四舍五入的像素值进行的处理,因此在实际对其进行预处理的图像PI'与输入图像PI之间存在差。
因此,可以从输入图像PI中提取实际对其进行预处理的图像PI'与输入图像PI之间的差作为残差Pr,并将其添加到经预处理的图像PC以获得图像PCr,并且图像PCr可以被应用于物体识别滤波器132。
图17图示了识别单元73的配置示例,其中从输入图像PI中提取实际对其进行预处理的图像PI'与输入图像PI之间的差作为残差Pr,并将其添加到经预处理的图像PC以获得图像PCr,并且图像PCr被应用物体识别滤波器132。
注意的是,在图17中的识别单元73中,具有与图4中的识别单元73的配置相同功能的配置由相同的附图标记表示,并且将适当地省略其描述。
即,图17中的识别单元73与图4中的识别单元73的不同之处在于新提供了残差提取单元201和加法单元202。
残差提取单元201从输入图像PI中提取由预处理滤波器131实际对其进行了处理的图像PI'与输入图像PI之间的差作为残差Pr,并将残差Pr输出到加法单元202。
加法单元202生成通过将由预处理滤波器131对其进行了预处理的图像PC和残差Pr相加而获得的图像PCr,并将图像PCr输出到物体识别滤波器132。
利用这种配置,物体识别滤波器132对通过将由预处理滤波器131对其进行了预处理的图像PC和残差Pr相加而获得的图像PCr进行物体识别处理,并输出物体识别结果图像PL。
由于具有如图17中所示的配置的识别单元73提取实际对其进行了预处理的图像PI'与输入图像PI之间的差作为来自输入图像PI的残差Pr,将残差Pr添加到经预处理的图像PC以获得图像PCr,并对图像PCr应用物体识别滤波器132,因此没有对残差Pr的误差,并且能够以高准确度实现物体识别处理。
<<8.第四变形例>>
在上文中,已经描述了在识别单元73的配置中设置残差提取单元201和加法单元202,并且物体识别滤波器132对通过将由预处理滤波器131对其进行了预处理的图像PC和残差Pr相加而获得的图像PCr进行物体识别处理并输出物体识别结果图像PL的示例。
因此,同样在评估图像生成单元154的处理中,在从输入图像中提取残差并将其添加到经预处理的图像之后,可以生成表示预处理滤波器PF的误差的热图作为评估图像PE。
即,如图18中所示,评估图像生成单元154从高质量输入图像PA中提取残差Pr,对高质量输入图像PA应用预处理滤波器PF以生成经预处理的图像PC,并将提取出的残差Pr添加到图像PC以生成图像PCr。
此外,评估图像生成单元154从低质量输入图像PA'提取残差Pr',对低质量输入图像PA'应用预处理滤波器PF以生成经预处理的图像PC',并将提取出的残差Pr'加到图像PC'以生成图像PCr'。然后,评估图像生成单元154将物体识别滤波器RF应用于图像PCr'以生成物体识别结果图像PLa'。
然后,评估图像生成单元154生成其中基于高质量输入图像PA而获得的物体识别结果图像PLa与基于低质量输入图像PA'而获得的物体识别结果图像PLa'的以像素为单位的像素值之间的差被设置为像素值的热图,作为评估图像PE。
<<9.第五变形例>>
此外,已经描述了其中以获得残差、进行预处理、然后添加残差的方式来获得评估图像PE的示例。而且,与参考图15描述的第一变形例相似,如图19中所示,在获得评估图像PE时,对于高质量输入图像PA可以省略用于预处理滤波器PF的处理。
<<10.软件执行的示例>>
同时,上述一系列处理可以由硬件执行,但也可以由软件执行。在通过软件执行一系列处理的情况下,构成该软件的程序从记录介质被安装到结合在专用硬件中的计算机或者例如能够通过安装各种程序来执行各种功能的通用计算机等。
图20图示了通用计算机的配置示例。个人计算机包括中央处理单元(CPU)1001。输入和输出接口1005经由总线1004连接到CPU1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
输入和输出接口1005与输入单元1006、输出单元1007、存储单元1008和通信单元1009连接,输入单元1006包括用户用其输入操作命令的输入设备(诸如键盘或鼠标),输出单元1007向显示设备输出处理操作画面或处理结果的图像,存储单元1008包括存储程序或各种种类的数据的硬盘驱动器等,以及通信单元1009包括局域网(LAN)适配器等并经由由因特网表示的网络执行通信处理。此外,还连接有驱动器1010,其从诸如磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光盘(包括迷你光盘(MD))或半导体存储器之类的可移动存储介质1011中读取数据并向其中写入数据。
CPU 1001根据存储在ROM 1002中的程序或从诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动存储介质1011中读取、安装在存储单元1008中并从存储单元1008加载到RAM 1003的程序来执行各种处理。此外,CPU 1001执行各种种类的处理所需的数据等被适当地存储在RAM 1003中。
在如上所述配置的计算机中,例如,CPU 1001将存储在存储单元1008中的程序经由输入和输出接口1005以及总线1004加载到RAM1003中并执行该程序,从而进行上述一系列处理。
由计算机(CPU 1001)执行的程序可以通过例如记录在作为封装介质等的可移动存储介质1011中来提供。此外,可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中,通过将可移动存储介质1011安装到驱动器1010,可以经由输入和输出接口1005将程序安装在存储单元1008中。此外,通过由通信单元1009经由有线或无线传输介质来接收,程序可以安装在存储单元1008中。此外,程序可以预先安装在ROM 1002或存储单元1008中。
注意的是,由计算机执行的程序可以是其中按照本说明书中描述的次序按时间序列进行处理的程序,或者可以是其中并行进行处理或在必要定时(诸如当进行调用时)进行处理的程序。
注意的是,图20中的CPU 1001实现了图1中识别单元73的功能。
此外,在本说明书中,系统是指多个组件(设备、模块(零件)等)的集合,并且所有组件是否在同一壳体中没有关系。因此,容纳在单独的壳体中并经由网络连接的多个设备和其中多个模块容纳在一个壳体中的一个设备都是系统。
注意的是,本公开的实施例不限于上述实施例,并且可以在不脱离本公开的主旨的情况下进行各种修改。
例如,本公开可以具有云计算的配置,其中一个功能经由网络由多个设备共享和协作处理。
此外,上述流程图中描述的每个步骤可以由一个设备执行,或者可以由多个设备共享和执行。
而且,在一个步骤中包括多种种类的处理的情况下,一个步骤中包括的多种处理可以由一个设备执行,或者可以由多个设备共享和执行。
注意的是,本公开还可以具有以下配置。
<1>一种信息处理装置,包括:
识别单元,识别输入图像中的物体;以及
评估单元,评估识别单元。
<2>如<1>所述的信息处理装置,还包括:
转换单元,降低输入图像的质量以将输入图像转换成低质量图像。
<3>如<2>中所述的信息处理装置,
其中转换单元是通过无监督学习而生成的。
<4>如<3>中所述的信息处理装置,
其中无监督学习是使用循环生成对抗网络(循环GAN)的学习。
<5>如<2>所述的信息处理装置,还包括:
评估单元生成单元,基于识别单元对输入图像的识别结果和识别单元对低质量图像的识别结果来生成评估单元。
<6>如<5>所述的信息处理装置,还包括:
评估图像生成单元,生成包括作为识别单元对输入图像的识别结果的识别结果图像与作为识别单元对低质量图像的识别结果的识别结果图像的像素值之间的差的评估图像,
其中评估单元生成单元基于使用评估图像和输入图像的有监督学习来生成评估单元。
<7>如<6>所述的信息处理装置,还包括:
预处理单元,进行提高图像的质量以进行校正的预处理,
其中识别单元识别通过由预处理单元对输入图像进行校正而获得的校正输入图像中的物体。
<8>如<7>所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对通过由预处理单元提高输入图像的质量并校正输入图像而获得的校正输入图像的识别结果的识别结果图像与作为由识别单元对通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正低质量图像的识别结果的识别结果图像之间的差。
<9>如<7>所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对输入图像的识别结果的识别结果图像与作为由识别单元对通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正图像的识别结果的识别结果图像之间的差。
<10>如<7>所述的信息处理装置,还包括:
残差提取单元,从由预处理单元对其进行了预处理的图像中提取与预处理相关的残差;以及
加法单元,将残差添加到由预处理单元对其进行了预处理的图像,
其中识别单元识别通过将残差添加到通过由预处理单元对输入图像进行校正而获得的校正输入图像而获得的残差添加校正输入图像中的物体。
<11>如<10>所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对通过将残差添加到通过由预处理单元提高输入图像的质量并校正输入图像而获得的校正输入图像而获得的残差添加校正输入图像的识别结果的识别结果图像以及作为由识别单元对通过将残差添加到通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正低质量图像而获得的残差添加校正低质量图像的识别结果的识别结果图像之间的差。
<12>如<10>所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对输入图像的识别结果的识别结果图像与作为由识别单元对通过将残差添加到通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正低质量图像而获得的残差添加校正低质量图像的识别结果的识别结果图像之间的差。
<13>如<7>所述的信息处理装置,
其中在由评估单元对识别单元的评估低于预定值的情况下,预处理单元停止预处理,并以未处理状态将输入图像输出到后级。
<14>如<1>至<13>中的任一项所述的信息处理装置,
其中评估单元以低于识别单元识别输入图像中的物体的频度的频度来评估识别单元。
<15>如<14>所述的信息处理装置,
其中评估单元在预定时间间隔、预定时刻和预定位置中的任何一个或预定时间间隔、预定时刻和预定位置的组合满足预定条件的情况下来评估识别单元。
<16>如<1>至<15>中的任一项所述的信息处理装置,
其中存在多个识别单元,并且所述多个识别单元识别根据不同的成像环境的输入图像中的物体,
存在与所述多个识别单元对应的多个评估单元,并且所述多个评估单元分别评估对应的识别单元,以及
信息处理装置还包括选择单元,所述选择单元基于由所述多个评估单元对所述多个识别单元中的每个识别单元的评估结果来选择所述多个识别单元中的任何一个。
<17>如<16>所述的信息处理装置,
其中成像环境是根据对输入图像进行成像的时刻、季节和位置的成像环境。
<18>一种信息处理装置的信息处理方法,所述信息处理装置包括识别输入图像中的物体的识别单元和评估识别单元的评估单元,
其中所述信息处理方法包括:评估单元评估识别单元的步骤。
<19>一种使计算机用作以下单元的程序:
识别单元,识别输入图像中的物体;以及
评估单元,评估识别单元。
<20>一种信息处理系统,包括:
识别单元,识别输入图像中的物体;以及
评估单元,评估识别单元。
附图标记列表
73 识别单元
131 预处理滤波器
132 物体识别滤波器
133 评估滤波器
134 评估滤波器生成单元
151 滤波器学习单元
152 转换判别学习单元
153 学习集
154 评估图像生成单元
155 评估滤波器学习单元
171 物体识别滤波器学习单元
172 预处理滤波器学习单元
191 转换单元
192 转换判别单元
193 逆转换单元
194 逆转换判别单元

Claims (20)

1.一种信息处理装置,包括:
识别单元,识别输入图像中的物体;以及
评估单元,评估识别单元。
2.根据权利要求1所述的信息处理装置,还包括:
转换单元,降低输入图像的质量以将输入图像转换成低质量图像。
3.根据权利要求2所述的信息处理装置,
其中转换单元是通过无监督学习而生成的。
4.根据权利要求3所述的信息处理装置,
其中无监督学习是使用循环生成对抗网络(循环GAN)的学习。
5.根据权利要求2所述的信息处理装置,还包括:
评估单元生成单元,基于识别单元对输入图像的识别结果和识别单元对低质量图像的识别结果来生成评估单元。
6.根据权利要求5所述的信息处理装置,还包括:
评估图像生成单元,生成包括作为识别单元对输入图像的识别结果的识别结果图像与作为识别单元对低质量图像的识别结果的识别结果图像的像素值之间的差的评估图像,
其中评估单元生成单元基于使用评估图像和输入图像的有监督学习来生成评估单元。
7.根据权利要求6所述的信息处理装置,还包括:
预处理单元,进行提高图像的质量以进行校正的预处理,
其中识别单元识别通过由预处理单元对输入图像进行校正而获得的校正输入图像中的物体。
8.根据权利要求7所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对通过由预处理单元提高输入图像的质量并校正输入图像而获得的校正输入图像的识别结果的识别结果图像与作为由识别单元对通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正低质量图像的识别结果的识别结果图像之间的差。
9.根据权利要求7所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对输入图像的识别结果的识别结果图像与作为由识别单元对通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正图像的识别结果的识别结果图像之间的差。
10.根据权利要求7所述的信息处理装置,还包括:
残差提取单元,从由预处理单元对其进行了预处理的图像中提取与预处理相关的残差;以及
加法单元,将残差添加到由预处理单元对其进行了预处理的图像,
其中识别单元识别通过将残差添加到通过由预处理单元对输入图像进行校正而获得的校正输入图像而获得的残差添加校正输入图像中的物体。
11.根据权利要求10所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括以下之间的差
作为由识别单元对通过将残差添加到通过由预处理单元提高输入图像的质量并校正输入图像而获得的校正输入图像而获得的残差添加校正输入图像的识别结果的识别结果图像,以及作为由识别单元对通过将残差添加到通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正低质量图像而获得的残差添加校正低质量图像的识别结果的识别结果图像。
12.根据权利要求10所述的信息处理装置,
其中评估图像生成单元生成评估图像,所述评估图像包括作为由识别单元对输入图像的识别结果的识别结果图像与作为由识别单元对通过将残差添加到通过由预处理单元提高低质量图像的质量并校正低质量图像而获得的校正低质量图像而获得的残差添加校正低质量图像的识别结果的识别结果图像之间的差。
13.根据权利要求7所述的信息处理装置,
其中在由评估单元对识别单元的评估低于预定值的情况下,预处理单元停止预处理,并以未处理状态将输入图像输出到后级。
14.根据权利要求1所述的信息处理装置,
其中评估单元以低于识别单元识别输入图像中的物体的频度的频度来评估识别单元。
15.根据权利要求14所述的信息处理装置,
其中评估单元在预定时间间隔、预定时刻和预定位置中的任何一个或预定时间间隔、预定时刻和预定位置的组合满足预定条件的情况下来评估识别单元。
16.根据权利要求1所述的信息处理装置,
其中存在多个识别单元,并且所述多个识别单元识别根据不同的成像环境的输入图像中的物体,
存在与所述多个识别单元对应的多个评估单元,并且所述多个评估单元分别评估对应的识别单元,以及
信息处理装置还包括选择单元,所述选择单元基于由所述多个评估单元对所述多个识别单元中的每个识别单元的评估结果来选择所述多个识别单元中的任何一个。
17.根据权利要求16所述的信息处理装置,
其中成像环境是根据对输入图像进行成像的时刻、季节和位置的成像环境。
18.一种信息处理装置的信息处理方法,所述信息处理装置包括识别输入图像中的物体的识别单元和评估识别单元的评估单元,
其中所述信息处理方法包括:评估单元评估识别单元的步骤。
19.一种使计算机用作以下单元的程序:
识别单元,识别输入图像中的物体;以及
评估单元,评估识别单元。
20.一种信息处理系统,包括:
识别单元,识别输入图像中的物体;以及
评估单元,评估识别单元。
CN202180036201.5A 2020-05-27 2021-05-14 信息处理装置、信息处理方法、信息处理系统及程序 Pending CN115668285A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-091923 2020-05-27
JP2020091923 2020-05-27
PCT/JP2021/018331 WO2021241260A1 (ja) 2020-05-27 2021-05-14 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム

Publications (1)

Publication Number Publication Date
CN115668285A true CN115668285A (zh) 2023-01-31

Family

ID=78744039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180036201.5A Pending CN115668285A (zh) 2020-05-27 2021-05-14 信息处理装置、信息处理方法、信息处理系统及程序

Country Status (5)

Country Link
US (1) US20230215151A1 (zh)
EP (1) EP4160526A4 (zh)
JP (1) JPWO2021241260A1 (zh)
CN (1) CN115668285A (zh)
WO (1) WO2021241260A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023108329A (ja) * 2022-01-25 2023-08-04 ソニーセミコンダクタソリューションズ株式会社 振動検出システムおよび振動検出方法
JP2023161938A (ja) * 2022-04-26 2023-11-08 京セラ株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041273A (ja) * 2016-09-07 2018-03-15 キヤノン株式会社 画像認識装置、画像認識装置の制御方法およびプログラム
JP7197971B2 (ja) * 2017-08-31 2022-12-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US11741693B2 (en) 2017-11-15 2023-08-29 Palo Alto Research Center Incorporated System and method for semi-supervised conditional generative modeling using adversarial networks
JP2020035194A (ja) * 2018-08-30 2020-03-05 株式会社デンソー 物体認識装置

Also Published As

Publication number Publication date
US20230215151A1 (en) 2023-07-06
WO2021241260A1 (ja) 2021-12-02
EP4160526A1 (en) 2023-04-05
EP4160526A4 (en) 2023-07-19
JPWO2021241260A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
US20200409387A1 (en) Image processing apparatus, image processing method, and program
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
EP4160526A1 (en) Information processing device, information processing method, information processing system, and program
CN113168692A (zh) 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
US20220277556A1 (en) Information processing device, information processing method, and program
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
EP4177732A1 (en) Information processing device, information processing method, information processing system, and program
US20230410486A1 (en) Information processing apparatus, information processing method, and program
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023053718A1 (ja) 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム
US20230206596A1 (en) Information processing device, information processing method, and program
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法
WO2023079881A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination