CN117999587A - 识别处理设备、识别处理方法和识别处理系统 - Google Patents

Abstract

本技术涉及实现更高效的对象识别的识别处理设备、识别处理方法和识别处理系统。词典数据储存单元储存待识别的各模式的远方词典和各模式的近傍词典。识别处理单元使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理。并且，识别处理单元通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式远方词典相同模式的近傍词典识别对象。本技术可以被应用于例如对广角图像执行行人识别的图像识别芯片。

Description

识别处理设备、识别处理方法和识别处理系统

技术领域

本技术涉及识别处理设备、识别处理方法和识别处理系统，更具体地，涉及能够实现更高效的对象识别的识别处理设备、识别处理方法和识别处理系统。

背景技术

专利文献1公开了当在红外图像中检测到来自停放或停止在主车辆周围的另一车辆的热辐射时通过优先对另一车辆附近执行人物识别检测人物的识别处理设备。

同时，在对由广角照相机捕获的广角图像执行对象识别的情况下，已知执行被称为圆筒校正的失真校正处理。

引文列表

专利文献

专利文献1：日本专利申请特开No.2020-27380

发明内容

本发明要解决的问题

在经圆筒校正的广角图像中，外观在识别目标位于远处的情况和识别目标位于附近的情况之间大不相同，这阻碍对广角图像的有效对象识别。

本技术是针对这种情况而提出的，并且旨在实现更高效的对象识别。

问题的解决方案

本技术的识别处理设备包括：储存识别目标的各模式的远方词典和各模式的近傍词典的词典数据储存单元；和通过使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理的识别处理单元，其中，识别处理单元通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。

本技术的识别处理方法包括：由使用待识别的各模式的远方词典和各模式的近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理的识别处理设备，通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典来识别对象。

本技术的识别处理系统包括：广角照相机；和储存待识别的各模式的远方词典和各模式的近傍词典并且通过使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理的识别处理设备，其中，识别处理设备通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。

在本技术中，使用待识别的各模式的远方词典和各模式的近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理，并且，通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。

附图说明

图1是示出车辆控制系统的配置示例的框图。

图2是示出感测区域的示例的示图。

图3是用于解释圆筒校正的示图。

图4是示出识别词典的模式的示例的示图。

图5是示出使用识别词典的常规识别处理的示例的示图。

图6是示出应用本技术的识别处理系统的功能配置示例的框图。

图7是示出根据本技术的识别词典的模式的示例的示图。

图8是示出识别处理系统的动作的概要的流程图。

图9是示出使用识别词典的本技术的识别处理的示例的示图。

图10是示出使用识别词典的本技术的识别处理的示例的示图。

图11是示出使用识别词典的本技术的识别处理的示例的示图。

图12是示出本技术的识别处理的细节的流程图。

图13是示出本技术的识别处理的细节的流程图。

图14是示出本技术的识别处理的细节的流程图。

图15是示出本技术的识别处理的细节的流程图。

图16是用于解释高似然性模式的词典的设定的示图。

图17是示出使用识别词典的本技术的识别处理的另一示例的示图。

图18是示出使用识别词典的本技术的识别处理的另一示例的示图。

图19是示出根据本技术的识别词典的模式的另一示例的示图。

图20是示出计算机的配置示例的框图。

具体实施方式

以下将描述本技术的实施方式(以下，称为实施例)。注意，将按照以下顺序给出描述。

1.车辆控制系统的配置示例

2.常规识别处理的问题

3.本技术的识别处理系统的配置和动作概述

4.现有技术的识别处理的细节

5.变更例

6.计算机的配置示例

<1.车辆控制系统的配置示例>

图1是示出车辆控制系统11的配置示例的框图，该车辆控制系统11是应用本技术的移动设备控制系统的示例。

车辆控制系统11被设置在车辆1中，并且执行与车辆1的行驶辅助和自动驾驶相关的处理。

车辆控制系统11包括车辆控制电子控制单元(ECU)21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车辆内传感器26、车辆传感器27、储存单元28、行驶辅助/自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32。

车辆控制ECU 21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车辆内传感器26、车辆传感器27、储存单元28、行驶辅助/自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41彼此可通信地连接。通信网络41包括例如符合诸如控制器局域网络(CAN)、局域互联网络(LIN)、局域网络(LAN)、FlexRay(注册商标)或以太网(注册商标)的数字双向通信标准的车辆内通信网络或总线等。可以根据要传送的数据的类型选择性地使用通信网络41。例如，CAN可以被应用于与车辆控制相关的数据，并且，以太网可以被应用于大容量数据。注意，车辆控制系统11的单元可以在不使用通信网络41的情况下通过使用适于相对短距离通信的无线通信(诸如近场通信(NFC)或蓝牙(注册商标))直接彼此连接。

注意，在下文中，在车辆控制系统11的各单元经由通信网络41执行通信的情况下，将省略对通信网络41的描述。例如，在车辆控制ECU 21和通信单元22经由通信网络41执行通信的情况下，将简单地描述车辆控制ECU 21和通信单元22执行通信。

例如，车辆控制ECU 21包括诸如中央处理单元(CPU)和微处理单元(MPU)的各种处理器。车辆控制ECU 21控制车辆控制系统11的功能中的全部或一些。

通信单元22与车辆内部和外部的各种设备、另一车辆、服务器和基站等执行通信，并且传送和接收各种类型的数据。此时，通信单元22可以通过使用多种通信方案执行通信。

将示意性地描述可由通信单元22执行的与车辆外部的通信。通信单元22通过例如诸如第五代移动通信系统(5G)、长期演进(LTE)或专用短程通信(DSRC)等的无线通信方案经由基站或接入点与存在于外部网络上的服务器(以下，称为外部服务器)等通信。通信单元22执行通信的外部网络的示例包括因特网、云网络和公司专用网络等。通信单元22与外部网络通信的通信方案不受特别限制，只要它是允许以等于或高于预定速度的通信速度并且在等于或长于预定距离的距离上进行数字双向通信的无线通信方案即可。

并且，例如，通信单元22可以通过使用对等(P2P)技术与存在于主车辆附近的终端进行通信。存在于主车辆附近的终端是例如附接到以相对低速移动的移动体(诸如，行人或自行车)的终端、固定地安装在商店等中的终端或者机器类型通信(MTC)终端。并且，通信单元22还可以执行V2X通信。V2X通信指的是例如主车辆与另一车辆之间的通信，诸如与另一车辆的车辆对车辆通信、与路边设备等的车辆对基础设施通信、车辆对家通信、以及与由行人携带的终端等的车辆对行人通信。

例如，通信单元22可以从外部(空中)接收用于更新用于控制车辆控制系统11的动作的软件的程序。通信单元22还可以从外部接收地图信息、交通信息和关于车辆1周围的信息等。并且，例如，通信单元22可以将关于车辆1的信息和关于车辆1的周围的信息等传送到外部。由通信单元22传送到外部的关于车辆1的信息的示例包括表示车辆1的状态的数据和识别处理单元73的识别结果等。并且，例如，通信单元22执行对应于诸如eCall的车辆紧急调用系统的通信。

例如，通信单元22接收由诸如无线电波信标、光学信标或FM多路复用广播的道路交通信息通信系统(车辆信息和通信系统(VICS)(注册商标))传送的电磁波。

将示意性地描述可由通信单元22执行的与车辆内部的通信。通信单元22可以通过使用例如无线通信与车辆中的各设备进行通信。通信单元22可以通过例如允许通过诸如无线LAN、蓝牙、NFC或无线USB(WUSB)的无线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方案执行与车辆中的设备的无线通信。由通信单元22执行的通信不限于无线通信，并且通信单元22还可以通过使用有线通信与车辆中的各设备进行通信。例如，通信单元22可以经由连接到连接端子(未示出)的线缆通过有线通信与车辆中的各设备通信。通信单元22可以通过允许通过诸如通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)或移动高清晰度链路(MHL)的有线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方案执行与车辆中的各设备的通信。

这里，车辆中的设备指的是例如未连接到车辆中的通信网络41的设备。作为车辆内设备，例如，可以考虑由诸如驾驶员的乘员携带的移动装置或可穿戴设备或携带到车辆上并且被临时安装的信息设备等。

地图信息累积单元23累积从外部获取的地图和由车辆1创建的地图中的一个或两个。例如，地图信息累积单元23累积三维高精度地图和比高精度地图精度低但覆盖更宽区域的全局地图等。

高精度地图是例如动态地图、点云地图或矢量地图等。动态地图为例如包括四个层即动态信息、半动态信息、半静态信息和静态信息的地图，并且从外部服务器等被提供给车辆1。点云地图是包括点云(点云数据)的地图。矢量地图为例如诸如车道和交通灯位置的交通信息与点云地图相关联并且适于高级驾驶员辅助系统(ADAS)或自动驾驶(AD)的地图。

点云地图和矢量地图可以从例如外部服务器等被提供，或者可以由车辆1创建为用于基于来自照相机51、雷达52、光检测和测距或者激光成像检测和测距(LiDAR)53等的感测结果执行与稍后描述的局部地图的匹配的地图，并且可以被累积在映射信息累积单元23中。并且，在从外部服务器等提供高精度地图的情况下，例如，为了减少通信流量，从外部服务器等获取关于车辆1从现在起行驶的计划路径的几百平方米的地图数据。

位置信息获取单元24从GNSS卫星接收全球导航卫星系统(GNSS)信号，并且获取车辆1的位置信息。获取的位置信息被供给到行驶辅助/自动驾驶控制单元29。注意，位置信息获取单元24不仅可以通过使用使用GNSS信号的方法、还可以使用例如信标获取位置信息。

外部识别传感器25包括用于识别车辆1外部的状况的各种传感器，并且将来自各传感器的传感器数据供给到车辆控制系统11的各单元。包含于外部识别传感器25中的传感器的类型和数量可以根据需要被确定。

例如，外部识别传感器25包括照相机51、雷达52、光检测和测距、激光成像检测和测距(LiDAR)53以及超声传感器54。不限于此，并且外部识别传感器25可以包括照相机51、雷达52、LiDAR 53和超声传感器54中的一种或更多种类型的传感器。照相机51、雷达52、LiDAR 53和超声传感器54的数量不受特别限制，只要它们可以被设置在车辆1中即可。并且，包含于外部识别传感器25中的传感器的类型不限于该示例，并且外部识别传感器25％可以包括其它类型的传感器。将在后面描述包含于外部识别传感器25中的各传感器的感测区域的示例。

注意，照相机51的成像方法没有特别限制。例如，作为能够进行距离测量的成像方法的各种成像方法的照相机，诸如飞行时间(ToF)照相机、立体照相机、单目照相机和红外照相机，可以根据需要被应用于照相机51。不限于此，不管距离测量如何，照相机51可以简单地获取捕获的图像。

并且，例如，外部识别传感器25可以包括用于检测车辆1的环境的环境传感器。环境传感器是用于检测诸如天气、气候和亮度的环境的传感器，并且例如可以包括诸如雨滴传感器、雾传感器、阳光传感器、雪传感器和照度传感器的各种传感器。

并且，例如，外部识别传感器25包括用于检测车辆1周围的声音和声音源的位置等的麦克风。

车辆内传感器26包括用于检测关于车辆内部的信息的各种传感器，并且将来自各传感器的传感器数据供给到车辆控制系统11的各单元。包含于车辆内传感器26中的各种传感器的类型和数量没有特别限制，只要它们能够实际被安装在车辆1中即可。

例如，车辆内传感器26可以包括照相机、雷达、座椅传感器、方向盘传感器、麦克风和生物传感器的一个或更多个传感器。作为包含于车辆内传感器26的照相机，例如，可以使用能够测量距离的各种成像方法的照相机，诸如ToF照相机、立体照相机、单目照相机和红外照相机。除此之外，包含于车辆内传感器26中的照相机可以是简单地获取捕获图像而不考虑测距的照相机。包含于车辆内传感器26中的生物传感器被设置在例如座椅或方向盘等上，并且检测关于诸如驾驶员的乘员的各种生物信息。

车辆传感器27包括用于检测车辆1的状态的各种传感器，并且将来自各传感器的传感器数据供给到车辆控制系统11的各单元。包含于车辆传感器27中的各种传感器的类型和数量没有特别限制，只要它们能够实际被安装在车辆1中即可。

例如，车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)以及集成这些传感器的惯性测量单元(IMU)。例如，车辆传感器27包括检测方向盘的转向角的转向角传感器、横摆率传感器、检测加速踏板的操作量的加速器传感器以及检测制动踏板的操作量的制动传感器。例如，车辆传感器27包括检测发动机或电动机的转数的旋转传感器、检测轮胎的气压的气压传感器、检测车轮的滑移率的滑移率传感器以及检测车轮的转速的轮速传感器。例如，车辆传感器27包括检测电池的充电状态和温度的电池传感器以及检测外部碰撞的碰撞传感器。

储存单元28包括非易失性储存介质或易失性储存介质中的至少一个，并且储存数据和程序。储存单元28被用作例如电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM)，并且，诸如硬盘驱动器(HDD)、半导体储存设备、光学储存设备和磁光储存设备的磁储存设备可以被用作储存介质。储存单元28在其中储存由车辆控制系统11的各单元使用的各种程序和数据。例如，储存单元28包括事件数据记录器(EDR)和用于自动驾驶的数据储存系统(DSSAD)，并且在其中储存关于诸如事故的事件之前和之后的车辆1的信息以及由车辆内传感器26获取的信息。

行驶辅助/自动驾驶控制单元29控制车辆1的行驶辅助和自动驾驶。例如，行驶辅助/自动驾驶控制单元29包括分析单元61、行动计划单元62和动作控制单元63。

分析单元61对车辆1和车辆1周围的状况执行分析处理。分析单元61包括自身位置估计单元71、传感器融合单元72和识别处理单元73。

自身位置估计单元71基于来自外部识别传感器25的传感器数据和在地图信息累积单元23中累积的高精度地图估计车辆1的自身位置。例如，自身位置估计单元71基于来自外部识别传感器25的传感器数据生成局部地图，并且通过将局部地图与高精度地图相匹配估计车辆1的自身位置。车辆1的位置基于例如后轮对的车轴的中心。

局部地图为例如通过使用诸如同时定位和映射(SLAM)等的技术创建的三维高精度地图或占用网格地图等。三维高精度地图为例如上述的点云地图等。占用网格地图是将车辆1周围的三维或二维空间划分为预定大小的网格(格子)并且以网格为单位表示对象的占用状态的地图。对象的占用状态由例如对象的存在或不存在或存在概率表示。例如，局部地图还用于识别处理单元73对车辆1的外部状况的检测处理和识别处理。

注意，自身位置估计单元71可以基于由位置信息获取单元24获取的位置信息和来自车辆传感器27的传感器数据估计车辆1的自身位置。

传感器融合单元72执行用于组合多种不同类型的传感器数据(例如，从照相机51供给的图像数据和从雷达52供给的传感器数据)的传感器融合处理，以获取新信息。用于组合不同类型的传感器数据的方法包括集成、融合或关联等。

识别处理单元73执行用于检测车辆1外部的状况的检测处理和用于识别车辆1外部的状况的识别处理。

例如，识别处理单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息或来自传感器融合单元72的信息等，对车辆1外部的状况执行检测处理和识别处理。

具体地，例如，识别处理单元73对车辆1周围的对象执行检测处理或识别处理等。对象检测处理为例如用于检测对象的存在或不存在、大小、形状、位置或运动等的处理。对象识别处理为例如用于识别对象的诸如类型的属性或者识别特定对象的处理。然而，检测处理和识别处理不一定清楚地分开，并且可能重叠。

例如，识别处理单元73通过执行将基于来自雷达52或LiDAR 53等的传感器数据的点云分类为点云的群的聚类，检测车辆1周围的对象。因此，检测车辆1周围的对象的存在或不存在、大小、形状和位置。

例如，识别处理单元73通过执行用于跟随通过聚类分类的点云的群的运动的跟踪，检测车辆1周围的对象的运动。结果，车辆1周围的对象的速度和行驶方向(运动矢量)被检测。

例如，识别处理单元73基于从照相机51供给的图像数据检测或识别车辆、人、自行车、障碍物、建筑、道路、交通灯、交通标志和道路标志等。并且，识别处理单元73可以通过执行诸如语义分割的识别处理识别车辆1周围的对象的类型。

例如，识别处理单元73可以基于在地图信息累积单元23中累积的地图、通过自身位置估计单元71的自身位置的估计结果以及通过识别处理单元73的车辆1周围的对象的识别结果，执行用于识别车辆1周围的交通规则的处理。通过该处理，识别处理单元73可以识别交通灯的位置和状态、交通标志和道路标志的内容、交通管制的内容和可行驶车道等。

例如，识别处理单元73可以对车辆1的周围环境执行识别处理。作为要由识别处理单元73识别的周围环境，假设天气、温度、湿度、亮度或路面状况等。

行动计划单元62创建用于车辆1的行动计划。例如，行动计划单元62通过执行路径计划和路径跟随的处理创建行动计划。

注意，全局路径计划(全局路径计划)是用于计划从开始到目标的大致路径的处理。路径计划包括执行被称为轨道计划的轨道生成(局部路径计划)的处理，该处理使得能够在计划路径中考虑到车辆1的运动特性在车辆1附近安全且平稳地行驶。

路径跟随是计划用于在计划时间内安全且准确地行驶由路径计划所计划的路径的动作的处理。例如，行动计划单元62可以基于路径跟随处理的结果计算车辆1的目标速度和目标角速度。

为了实现由行动计划单元62创建的行动计划，动作控制单元63控制车辆1的动作。

例如，动作控制单元63控制包含于稍后描述的车辆控制单元32中的转向控制单元81、制动控制单元82和驱动控制单元83，以控制加速/减速和方向，使得车辆1在通过轨道计划计算的轨道上行驶。例如，动作控制单元63执行出于实现诸如碰撞避免或碰撞减轻、跟随行驶、车辆速度保持行驶、主车辆碰撞警告和主车辆车道偏离警告等的ADAS的功能的目的的协调控制。例如，动作控制单元63执行出于自动驾驶等的目的的协调控制，在该自动驾驶中，车辆在不依赖于驾驶员的操作的情况下自主行驶。

DMS 30基于来自车辆内传感器26的传感器数据或输入到稍后描述的HMI 31的输入数据等，执行对驾驶员的认证处理或对驾驶员的状态的识别处理等。作为要识别的驾驶员的状态，例如，假设身体状况、警觉性水平、注意力水平、疲劳水平、视线方向、醉酒水平、驾驶操作和姿势等。

注意，DMS 30可以执行用于认证驾驶员以外的乘员的处理以及对乘员的状态的识别处理。并且，例如，DMS 30可以基于来自车辆内传感器26的传感器数据对车辆内部的状况执行识别处理。作为要识别的车辆内部的状况，例如，假设温度、湿度、亮度和气味等。

HMI 31接收各种数据和指令等，并且将各种数据呈现给驾驶员等。

将示意性地描述通过HMI 31的数据的输入。HMI 31包括供人输入数据的输入设备。HMI 31基于由输入设备输入的数据或指令等生成输入信号，并且将输入信号供给到车辆控制系统11的各单元。HMI 31包括例如诸如触摸板、按钮、开关或杆的操作器作为输入设备。不限于此，HMI 31还可以包括能够通过诸如语音或手势等的方法而不是手动操作输入信息的输入设备。并且，HMI 31可以使用例如使用红外线或无线电波的远程控制设备或者适于车辆控制系统11的操作的诸如移动设备或可穿戴设备的外部连接设备作为输入设备。

将示意性地描述HMI 31对数据的呈现。HMI 31生成关于乘员或车辆外部的视觉信息、听觉信息和触觉信息。并且，HMI 31执行用于控制各条生成信息的输出、输出内容、输出定时和输出方法等的输出控制。HMI 31生成并且输出例如操作画面、车辆1的状态显示、警告显示、指示车辆1周围的状况的诸如监视器图像的图像以及由光指示的信息作为视觉信息。并且，HMI 31生成并且输出例如由诸如语音引导、警告声音和警告消息等的声音指示的信息作为听觉信息。并且，HMI 31生成并且输出通过例如力、振动或运动等给予乘员触觉的信息作为触觉信息。

作为HMI 31输出视觉信息的输出设备，例如，可以应用通过自身显示图像呈现视觉信息的显示设备或者通过投影图像呈现视觉信息的投影设备。注意，除了具有普通显示器的显示设备以外，显示设备可以是在乘员的视野中显示视觉信息的设备，诸如平视显示器、透射显示器、或者具有增强现实(AR)功能的可穿戴设备。并且，在HMI 31中，包含于设置在车辆1中的导航设备、仪表板、照相机监视系统(CMS)、电子镜或灯等中的显示设备也可以被用作输出视觉信息的输出设备。

作为HMI 31输出听觉信息的输出设备，例如，可以应用音频扬声器、头戴受话器或耳机。

作为HMI 31向其输出触觉信息的输出设备，例如，可以应用使用触觉技术的触觉元件。触觉元件被设置在例如车辆1的乘员要触摸的部分(诸如方向盘或座椅)处。

车辆控制单元32控制车辆1的各个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85和喇叭控制单元86。

转向控制单元81执行车辆1的转向系统的状态的检测或控制等。转向系统包括例如包括方向盘等的转向机构或电动助力转向等。转向控制单元81包括例如控制转向系统的转向ECU和驱动转向系统的致动器等。

制动控制单元82执行车辆1的制动系统的状态的检测或控制等。制动系统包括例如包括制动踏板等的制动机构、防抱死制动系统(ABS)或再生制动机构等。制动控制单元82包括例如控制制动系统的制动ECU和驱动制动系统的致动器等。

驱动控制单元83执行车辆1的驱动系统的状态的检测或控制等。驱动系统包括例如加速器踏板、用于产生驱动力的驱动力产生设备(诸如内燃机或驱动电动机)或用于将驱动力传递到车轮的驱动力传递机构等。驱动控制单元83包括例如控制驱动系统的驱动ECU和驱动驱动系统的致动器等。

车身系统控制单元84执行车辆1的车身系统的状态的检测或控制等。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、空调、安全气囊、安全带或换档杆等。车身系统控制单元84包括例如控制车身系统的车身系统ECU和驱动车身系统的致动器等。

灯控制单元85执行车辆1的各种灯的状态的检测或控制等。作为要被控制的灯，例如，可以考虑前照灯、背光灯、雾灯、转向信号灯、制动灯、投影灯或保险杠指示器等。灯控制单元85包括控制光的光ECU和驱动光的致动器等。

喇叭控制单元86执行车辆1的汽车喇叭的状态的检测或控制等。喇叭控制单元86包括例如控制汽车喇叭的喇叭ECU和驱动汽车喇叭的致动器等。

图2是示出通过图1的外部识别传感器25的照相机51、雷达52、LiDAR 53或超声传感器54等的感测区域的示例的示图。注意，图2示意性地示出从上方观察的车辆1，这里，左端侧是车辆1的前端(前)侧，右端侧是车辆1的后端(后)侧。

感测区域101F和101B示出超声传感器54的感测区域的示例。感测区域101F通过多个超声传感器54覆盖车辆1的前端周围的区域。感测区域101B通过多个超声传感器54覆盖车辆1的后端周围的区域。

感测区域101F和101B中的感测结果例如用于车辆1的驻车支援等。

感测区域102F～102B示出短程或中程雷达52的感测区域的示例。感测区域102F覆盖比车辆1前方的感测区域101F延伸得更远的区域。感测区域102B覆盖比车辆1后方的感测区域101B延伸得更远的区域。感测区域102L覆盖车辆1的左后侧周围的区域。感测区域102R覆盖车辆1的右后侧周围的区域。

感测区域102F中的感测结果被用于例如存在于车辆1的前方的车辆或行人等的检测等。感测区域102B中的感测结果被用于例如防止车辆1的后部碰撞的功能等。感测区域102L和102R中的感测结果被用于例如车辆1侧方的盲点中的对象的检测等。

感测区域103F～103B示出照相机51的感测区域的示例。感测区域103F覆盖比车辆1前方的感测区域102F延伸得更远的区域。感测区域103B覆盖比车辆1后面的感测区域102B延伸得更远的区域。感测区域103L覆盖车辆1的左侧周围的区域。感测区域103R覆盖车辆1的右侧周围的区域。

感测区域103F中的感测结果可以被用于例如交通灯或交通标志的识别、车道偏离防止辅助系统和自动前照灯控制系统。感测区域103B中的感测结果可以被用于例如驻车支援或环视系统等。感测区域103L和103R中的感测结果可以被用于例如环视系统。

感测区域104是LiDAR 53的感测区域的示例。感测区域104覆盖比车辆1前方的感测区域103F延伸得更远的区域。同时，感测区域104在左右方向上具有比感测区域103F更窄的范围。

感测区域104中的感测结果被用于例如诸如相邻车辆的对象的检测。

感测区域105是用于长距离的雷达52的感测区域的示例。感测区域105覆盖比车辆1前方的感测区域104延伸得更远的区域。同时，感测区域105在左右方向上具有比感测区域104更窄的范围。

感测区域105中的感测结果被用于例如自适应巡航控制(ACC)、紧急制动和碰撞避免等。

注意，包含于外部识别传感器25中的传感器即照相机51、雷达52、LiDAR 53和超声传感器54的各个感测区域可以具有图2的配置以外的各种配置。具体地，超声传感器54也可以在车辆1的侧方执行感测，或者LiDAR 53可以在车辆1的后方执行感测。并且，各传感器的安装位置不限于上述的各示例。并且，各传感器的数量可以是一个或更多个。

<2.常规识别处理的问题>

在上述的车辆控制系统11中，例如，当由自动驾驶控制的车辆1后方驻车时，能够通过对由安装有鱼眼镜头的广角照相机捕获的广角图像执行行人识别避免与行人的碰撞。

在对这样的广角图像执行诸如行人识别的对象识别的情况下，当识别目标在水平方向上与视角的中心分离时，身体看起来是倾斜的。以这种方式，在识别目标倾斜的状态下，在识别处理时不能执行匹配，并且不能正确地执行识别。

另一方面，如图3中所示，已知执行称为圆筒校正的失真校正处理。在圆筒校正中，由于视角的垂直方向上的失真被抑制，因此无论识别目标在视角中的何处，身体都不出现倾斜。

另一方面，在经圆筒校正的广角图像中，在识别目标远离的情况和识别目标在附近的情况之间，外观大不相同。通常，由于通过使用远处识别目标的外观作为教师数据执行识别处理，因此常规不可能正确地识别附近的识别目标。尽管存在几种用于圆筒校正的方法，但是不容易确保作为识别目标的目标的鲁棒性，例如，随着采用使远处识别目标看起来更大的方法以提高识别性能，附近识别目标的外观变化变得更大。

通常，能够通过增加识别词典的数量并细分场景和被摄体提高目标的鲁棒性。因此，在圆筒校正广角图像的对象识别中，可以通过将识别词典划分为针对诸如场景或被摄体的各模式(针对各特征)学习远目标的远方词典和针对各模式学习近目标的近傍词典，提高识别率。

图4是示出识别词典的模式的示例的示图。

图4示出用于行人识别的识别词典(远方词典A和近傍词典B)，并且远方词典A与近傍词典B针对身高(成人或儿童)和体型(瘦或胖)中的每一个被划分为模式。具体地，词典A-1和B-1被准备为针对瘦成年人学习的远方词典A和近傍词典B，词典A-2和B-2被准备为针对胖成年人学习的近傍词典A和远方词典B。类似地，词典A-3和B-3被准备为针对瘦儿童学习的远方词典A和近傍词典B，词典A-4和B-4被准备为针对胖儿童学习的远方词典A和近傍词典B。

图4中所示的识别词典的划分方式的模式是示例，并且，用于行人识别的远方词典A和近傍词典B中的每一个可以对于性别、种族、自行车的有无、衣服、天气、照度或全身或身体的部分(例如，仅下半身)等中的每一个被划分。

图5是示出使用图4中所示的识别词典(远方词典A和近傍词典B)的常规识别处理的示例的示图。

在识别处理中，通过针对构成经圆筒校正的广角图像的各图像帧(以下，也简称为帧)使用识别词典检测目标。因此，在使用图4中所示的识别词典的行人识别中，如图5中所示，需要执行对一帧使用八种模式的词典的识别处理。

如上所述，虽然可以通过增加识别词典的数量提高识别率，但是一帧的识别处理所需的时间变长，并且处理帧速率降低或者所需的存储器增加。另一方面，例如，通过使一个识别词典学习各种模式，可以缩短识别处理所需的时间，并且可以广泛地检测目标，但是识别率降低或错误检测增加。

如上所述，在对经圆筒校正的广角图像的常规识别处理中，没有考虑有效地执行对象识别。

因此，在应用本技术的识别处理系统中，实现动态地再组合用于识别处理的词典，而不是使用所有模式的远方词典和近傍词典。

具体地，在目标不在附近的情况下，通过按顺序使用各模式的远方词典执行识别处理。在这种情况下，一帧的识别处理所需的时间变得稍长，但与目标的距离长，并且碰撞风险不立即增加，并且不存在问题。

然后，在目标接近的情况下，执行使用近傍词典的比率增加的识别处理。此时使用的近傍词典被限制为与在远方词典中以高似然性识别目标的远方词典的模式相同的近傍词典。结果，可以在不降低识别率的情况下缩短识别处理所需的时间，并且可以实现更有效的对象识别。

<3.本技术的识别处理系统的配置和操作概述>

在下文中，将描述用于实现更高效的对象识别的配置。

(识别处理系统的功能配置示例)

图6是示出应用本技术的识别处理系统的功能配置示例的框图。

图6的识别处理系统200具有执行与图1的车辆控制系统11中的对象识别相关的处理的功能。识别处理系统200包括成像单元210、识别处理单元20和非易失性存储器单元230。

成像单元210对应于图1中的车辆控制系统11中的照相机51。成像单元210被配置为被安装在车辆1上的车载照相机。具体地，成像单元210是固定鱼眼镜头的广角照相机，并且被配置为例如对车辆1的后部进行成像的后部照相机。成像单元210基于来自识别处理单元220的控制信号以车辆1的后方作为成像范围捕获广角图像，并且将相应的视频信号供给到识别处理单元220。

识别处理单元220对应于图1的车辆控制系统11中的识别处理单元73，并且由例如一个图像识别芯片(设备)实现。识别处理单元220执行识别处理，该识别处理检测并识别包含于由被配置为广角照相机的成像单元210捕获的广角图像中的对象。

注意，在以下描述中，假设识别处理单元220的识别目标是存在于车辆1周围的行人，但是识别目标不限于行人，并且可以是诸如另一车辆、自行车、障碍物、建筑、道路、交通灯、交通标志或道路标志的任何对象。

识别处理单元220包括图像输入单元221、图像处理单元222、检测处理单元223、易失性存储器单元224和控制单元225。

图像输入单元221基于来自控制单元225的控制信号从成像单元210接收视频信号的输入，并且将构成相应广角图像的各帧依次储存在易失性存储器单元224中。

图像处理单元222基于来自控制单元225的控制信号，对储存在易失性存储器单元224中的广角图像执行各种类型的图像处理。具体地，图像处理单元222对广角图像执行圆筒校正，并且执行用于对象识别的显影处理。构成经过图像处理的广角图像的各帧被依次储存在易失性存储器单元224中。

检测处理单元223基于来自控制单元225的控制信号，对储存在易失性存储器单元224中的广角图像的各帧执行对象检测处理和识别处理。具体地，检测处理单元223通过使用存储在非易失性存储器单元230中的词典数据231检测并识别包含于广角图像的各帧中的对象。检测处理单元223的处理结果(识别结果)经由控制单元225被适当地输出到HMI 31(图1)等。

易失性存储器单元224包括例如同步动态随机存取存储器(SDRAM)等，并且临时储存广角图像的各帧。储存在易失性存储器单元224中的广角图像的各帧适当地由图像处理单元222和检测处理单元223读取。

控制单元225包括CPU等，并且通过输出控制信号控制成像单元210和识别处理单元220的各单元的动作。例如，控制单元225基于指示车辆1的各单元的状态和车辆1周围的状况等的车辆信息控制成像单元210和检测处理单元223的动作。

非易失性存储器单元230对应于图1的车辆控制系统11中的储存单元28，并且储存由识别处理单元220的各单元使用的设定数据。储存在非易失性存储器单元230中的设定数据包括用于识别处理单元220的识别处理的词典数据231(识别词典)。即，非易失性存储器单元230还用作储存词典数据231的词典数据储存单元。

注意，识别处理系统200不限于图6所示的配置，并且可以采用任何配置。例如，构成识别处理单元220的各单元可以分散地被设置在多个芯片(器件)中，或者其一部分可以被设置在成像单元210中。并且，识别处理系统200可以包括识别处理设备和成像单元210，该识别处理设备包括识别处理单元220和非易失性存储器单元230。并且，整个识别处理系统200可以被配置为单个设备，诸如一个广角照相机。

图7是示出作为词典数据231储存在非易失性存储器单元230中的根据本技术的识别词典的模式的示例的示图。

与图4中所示的识别词典类似地，图7示出用于行人识别的识别词典(远方词典A和近傍词典B)，并且，远方词典A与近傍词典B中的每一个对于各身高(成人或儿童)和身体形状(瘦或胖)被划分为识别目标的模式(特征)。

并且，在图7的示例中，除了与图4中所示的识别词典相似的模式以外，还包括用于通用对象识别的通用词典。具体地，词典A-0和B-0进一步被准备为通过针对各种行人(人)学习的远方词典A和近傍词典B(通用远方词典和通用近傍词典)。根据词典A-0和B-0，例如，不可能识别存在于车辆1的后方的行人的属性，但是能够检测行人存在于车辆1的后方。

与诸如词典A-0和B-0的通用词典相反，可以说词典A-1、B-1、…、A-4和B-4是专门用于特定模式的对象识别的词典。即，可以说词典A-1～A-4是针对各特定模式学习远方目标的专用远方词典，词典B-1～B-4是针对各特定模式学习近傍目标的专用近傍词典。

(识别处理系统的动作概要)

接下来，将参照图8的流程图描述图6的识别处理系统200的动作概要。以构成经圆筒校正广角图像的帧为单位执行图8的处理的各步骤。

在步骤S11中，识别处理单元220(检测处理单元223)通过使用所有模式(多个模式)的远方词典(具体地，图7的词典A-0～A-4)，对在那时获取的最新帧执行识别处理。

在步骤S12中，识别处理单元220确定在通过使用所有模式的远方词典检测到的目标当中是否存在具有高于预设阈值的似然性的目标，该似然性是表示适当性(行人相似性)的指标。

在确定不存在具有高于阈值的似然性的目标的情况下，处理返回到步骤S11，并且针对那时获取的最新帧重复后续处理。另一方面，在确定存在具有高于阈值的似然性的目标的情况下，处理进行到步骤S13。

在步骤S13中，识别处理单元220确定车辆1与具有高于阈值的似然性的目标之间的距离是否比一定距离短。例如，可以基于车辆1的位置信息和基于各种传感器数据检测的目标的位置计算到目标的距离。

在确定到目标的距离不比一定距离(certain distance)短(远)的情况下，处理返回到步骤S11，并且针对那时获取的最新帧重复后续处理。

到目前为止，一帧的识别处理所需的时间变得稍长，但到目标的距离长，并且碰撞风险不立即增加，并且没有问题。

另一方面，在确定到目标的距离比一定距离短的情况下，处理进行到步骤S14。

在步骤S14中，识别处理单元220通过使用与所有模式的远方词典当中的以高于上述阈值的似然性识别目标的模式的远方词典(以下，称为高似然性模式)相同模式的近傍词典执行识别处理。

然后，处理返回到步骤S12，并且针对在那时获取的最新帧重复后续处理。

根据上述处理，在目标接近的情况下，仅通过使用与远方词典当中的以高似然性识别目标的远方词典相同模式的近傍词典执行识别处理。结果，可以在不降低识别率的情况下缩短识别处理所需的时间，并且可以实现更有效的对象识别。

<4.本技术的识别处理的细节>

以下，将描述应用本技术的识别处理系统200的识别处理的细节。

图9～11是示出使用图7所示的识别词典(远方词典A和近傍词典B)的本技术的识别处理的示例的示图。

同样在本技术的识别处理中，通过使用构成经圆筒校正广角图像的各图像帧的识别词典检测目标，但与图5中所示的常规识别处理不同，不必对于一帧通过所有模式的词典执行识别处理。

注意，在图9～图11的示例中，在表示用于识别处理的词典的矩形中的每一个下，示出通过识别处理导出的目标的似然性。

首先，如图9中所示，在紧接着照相机(成像单元210)被激活之后，对最新帧执行使用所有模式的近傍词典(词典B-0～B-4)的识别处理。如上所述，在紧接着照相机被激活之后(在识别处理开始时)的定时，为了避免与存在于车辆1附近的对象碰撞，执行使用近傍词典的识别处理。

当使用所有模式的近傍词典的识别处理结束时，针对那时的最新帧，开始使用所有模式的远方词典(词典A-0～A-4)和通用近傍词典(词典B-0)的识别处理。即，这里，在详细地检测存在于远离车辆1的位置处的对象的同时广泛地检测存在于车辆1附近的对象的识别处理被重复。

假设在重复使用所有模式的远方词典和通用近傍词典的识别处理的同时如图10中所示的那样通过使用词典A-3的识别处理导出的目标的似然性(85)超过阈值。

在这种情况下，对系列识别处理结束的时点处的最新帧，开始使用所有模式的远方词典(词典A-0～A-4)和与高似然性模式的词典A-3相同模式的专用近傍词典(词典B-3)的识别处理。即，这里，在详细地检测存在于远离车辆1的位置处的对象的同时，重复在与以高似然性检测到目标的远方词典相同的条件下检测存在于车辆1附近的对象的识别处理。

如图11中所示，假设在定时t11，在重复使用所有模式的远方词典和高似然性模式的近傍词典的识别处理的同时，以高似然性检测到的目标接近距车辆1一定距离之内的位置。

在这种情况下，对于系列识别处理结束的时点处的最新帧，开始使用远方通用词典(词典A-0)和高似然性模式的专用近傍词典(词典B-3)的识别处理。即，这里，在广泛检测存在于远离车辆1的位置处的对象的同时检测存在于车辆1附近的似然性高的目标的识别处理被重复。

如上所述，随着目标接近一定距离之内，用于识别处理的词典被移交到所有模式的远方词典和通用近傍词典、所有模式的远方词典和高似然性模式的近傍词典以及通用远方词典和高似然性模式的近傍词典。结果，缩短识别处理所需的时间，可以增加处理帧速率，并且可以减少必要的存储器。

接下来，将参照图12～15的流程图描述用于实现图9～11的识别处理的本技术的识别处理的细节。当照相机(成像单元210)被激活时，图12～15的处理开始。

在步骤S101中，识别处理单元220(检测处理单元223)获取储存在易失性存储器单元224中的经圆筒校正的广角图像的帧当中的最新帧。

在步骤S102中，识别处理单元220通过使用所有模式的近傍词典执行识别处理。

在步骤S103中，识别处理单元220确定在通过使用所有模式的近傍词典检测到的目标当中是否存在具有高于阈值的似然性的目标。

当在步骤S103中确定存在具有高于阈值的似然性的目标的情况下，处理进行到步骤S104。

在步骤S104中，识别处理单元220对具有高于阈值的似然性的目标进行编号，并且将似然性、位置信息和TTC(碰撞时间)相关联。然后，处理进行到步骤S105。

这里，可以通过使用各模式的词典的识别处理，对同一目标进行单独编号。并且，位置信息可以表示相对于车辆1的相对位置，可以表示广角图像的视角内的位置，或者可以表示真实空间中的坐标。TTC是指示直到车辆1与目标碰撞的时间的指标。

另一方面，当在步骤S103中确定不存在具有高于阈值的似然性的目标的情况下，跳过步骤S104，并且处理进行到步骤S105。

如上所述，在紧接着照相机被激活之后(在识别处理开始时)的定时，为了避免与存在于车辆1附近的对象碰撞，执行使用近傍词典的识别处理。

在步骤S105中，识别处理单元220确定是否存在编号的目标。这里，假设不存在编号的目标，并且处理进行到图13的步骤S111。

在步骤S111中，识别处理单元220获取储存在易失性存储器单元224中的经圆筒校正的广角图像的帧当中的那时的最新帧。

在步骤S112中，识别处理单元220通过使用所有模式的远方词典执行识别处理。

在步骤S113中，识别处理单元220确定在通过使用所有模式的远方词典检测到的目标当中是否存在具有高于阈值的似然性的目标。

当在步骤S113中确定存在具有高于阈值的似然性的目标的情况下，处理进行到步骤S114。

在步骤S114中，识别处理单元220对具有高于阈值的似然性的目标进行编号，并且将似然性、位置信息和TTC相关联。然后，处理进行到步骤S115。

另一方面，当在步骤S113中确定不存在具有高于阈值的似然性的目标的情况下，跳过步骤S114，并且处理进行到步骤S115。

在步骤S115中，识别处理单元220通过使用通用近傍词典执行识别处理。

在步骤S116中，识别处理单元220确定在通过使用通用近傍词典检测到的目标当中是否存在具有高于阈值的似然性的目标。

当在步骤S116中确定存在具有高于阈值的似然性的目标的情况下，处理进行到步骤S117。

在步骤S117中，识别处理单元220对具有高于阈值的似然性的目标进行编号，并且将似然性、位置信息和TTC相关联。然后，处理返回到图12的步骤S105。

另一方面，当在步骤S116中确定不存在具有高于阈值的似然性的目标的情况下，跳过步骤S117，并且处理返回到图12的步骤S105。

在图12的步骤S105中，重复步骤S111～S117，直到确定存在编号的目标。

如上所述，在详细地检测存在于远离车辆1的位置处的对象的同时广泛地检测存在于车辆1附近的对象的识别处理被重复。

当在图12的步骤S105中确定存在编号的目标时，处理进行到步骤S121。

在步骤S121中，识别处理单元220按TTC的升序排列编号的目标，并且将具有小TTC的预定数量的目标的识别结果输出到后段。结果，驾驶员等被通知在车辆1周围(特别是在车辆1的后方)存在行人等。

在步骤S122中，识别处理单元220将识别具有最小TTC的目标即直到车辆1碰撞为止时间最短的目标的词典设定为高似然性模式的词典。

注意，在编号的目标当中，具有基本上相同的位置信息的目标被视为同一目标，并且采用具有最高似然性的目标并且排除其它目标。

图16是示出在使用作为远方词典的词典A-1的识别处理和使用词典A-2的识别处理中识别同一目标的示例的示图。在图16的示例中，识别处理中的似然性的阈值为70。

对于定时t21处的帧，在使用词典A-1的识别处理和使用词典A-2的识别处理中的每一个中，目标的似然性比阈值低60，并且不对目标进行编号。

随后，对于定时t22处的帧，在使用词典A-1的识别处理中，目标的似然性变得比阈值高80，并且目标被编号为ID：A-1-1。类似地，在使用词典A-2的识别处理中，目标的似然性比阈值高75，并且目标被编号为ID：A-2-1。

然后，对于定时t23处的帧，在使用词典A-1的识别处理中，被编号为ID：A-1-1的目标的似然性是85。类似地，在使用词典A-2的识别处理中，被编号为ID：A-2-1的目标的似然性是80。这里，假设目标的TTC是最小的10秒。

在这种情况下，采用使用具有高似然性的词典A-1识别的目标，并且排除通过使用词典A-2识别的目标。结果，词典A-1被设定为高似然性模式的远方词典。

当如上面描述的那样设定高似然性模式的词典时，在步骤S123中，识别处理单元220确定到具有最小TTC的目标的距离是否比一定距离短。具体地，通过确定目标的TTC是否比预定时间短，确定到目标的距离是否比一定距离短。这里，假设到目标的距离不比一定距离短(远)，并且，处理进行到图14的步骤S131。

注意，步骤S131～S134中的处理与图13的步骤S111～S114中的处理类似，并因此将省略其描述。

即，在执行使用所有模式的远方词典的识别处理之后，在步骤S135中，识别处理单元220通过使用高似然性模式的近傍词典执行识别处理。

在步骤S136中，识别处理单元220确定在通过使用高似然性模式的近傍词典检测到的目标当中是否存在具有比阈值高的似然性的目标。

当在步骤S136中确定存在具有比阈值高的似然性的目标的情况下，处理进行到步骤S137。

在步骤S137中，识别处理单元220对具有比阈值高的似然性的目标进行编号，并且将似然性、位置信息和TTC相关联。然后，处理再次返回图12的步骤S105。

另一方面，当在步骤S136中确定不存在具有比阈值高的似然性的目标的情况下，跳过步骤S137，并且处理再次返回到图12的步骤S105。

当在车辆1的附近存在目标的情况下，处理从图12的步骤S105进行到步骤S121，并且重复步骤S121～S123和S131～S137，直到在步骤S123中确定到目标的距离比一定距离短。

注意，在通用远方词典被设定为高似然性模式的词典的情况下，步骤S131～S137的处理与步骤S111～S117的处理相同。

如上所述，在详细地检测存在于远离车辆1的位置处的对象的同时，重复在与以高似然性检测到目标的远方词典相同的条件下检测存在于车辆1附近的对象的识别处理。

当在图12的步骤S123中确定到具有最小TTC的目标的距离比一定距离短时，处理进行到图15的步骤S141。

在步骤S141中，识别处理单元220获取储存在易失性存储器单元224中的经圆筒校正的广角图像的帧当中的那时的最新帧。

在步骤S142中，识别处理单元220通过使用通用远方词典执行识别处理。

在步骤S143中，识别处理单元220确定在通过使用通用远方词典检测到的目标当中是否存在具有比阈值高的似然性的目标。

当在步骤S143中确定存在具有比阈值高的似然性的目标的情况下，处理进行到步骤S144。

在步骤S144中，识别处理单元220对具有比阈值高的似然性的目标进行编号，并且将似然性、位置信息和TTC相关联。然后，处理进行到步骤S145。

另一方面，当在步骤S143中确定不存在具有比阈值高的似然性的目标的情况下，跳过步骤S144，并且处理进行到步骤S145。

在步骤S145中，识别处理单元220通过使用高似然性模式的近傍词典执行识别处理。

在步骤S146中，识别处理单元220确定在通过使用高似然性模式的近傍词典检测到的目标当中是否存在具有比阈值高的似然性的目标。

当在步骤S146中确定存在具有比阈值高的似然性的目标的情况下，处理进行到步骤S147。

在步骤S147中，识别处理单元220对具有比阈值高的似然性的目标进行编号，并且将似然性、位置信息和TTC相关联。然后，过程返回到图12的步骤S105，并且重复上述的处理。

如上所述，在广泛检测存在于远离车辆1的位置处的对象的同时检测存在于车辆1附近的似然性高的目标的识别处理被重复。

根据以上处理，随着目标接近一定距离之内，用于识别处理的词典被移交到所有模式的远方词典和通用近傍词典、所有模式的远方词典和高似然性模式的近傍词典以及通用远方词典和高似然性模式的近傍词典。结果，缩短识别处理所需的时间，可以增加处理帧速率，并且可以减少必要的存储器。

<5.变更例>

(多个不同词典的移交)

在参照图9～11描述的识别处理的示例中，假设在重复使用所有模式的远方词典和通用近傍词典的识别处理的同时存在目标的似然性超过阈值的一个词典(图10的词典A-3)。

不限于此，在重复使用所有模式的远方词典和通用近傍词典的识别处理的同时，如图17中所示，可能存在通过使用词典A-3的识别处理的行人A的似然性(85)和通过使用词典A-1的识别处理的行人B的似然性(80)超过阈值的情况。

在这种情况下，对系列识别处理结束时的最新帧，开始使用所有模式的远方词典(词典A-0～A-4)和与高似然性模式的词典A-1和A-3相同模式的近傍词典(词典B-1和B-3)的识别处理。

然后，如图18中所示，假设在定时t31，在重复使用所有模式的远方词典和高似然性模式的近傍词典的识别处理的同时，以高似然性检测到的目标(行人A和行人B)接近距车辆1一定距离之内的位置。

在这种情况下，对于系列识别处理结束的时点处的最新帧，开始使用远方通用词典(词典A-0)和高似然性模式的专用近傍词典(词典B-1和词典B-3)的识别处理。

如上所述，在具有高似然性的词典在识别处理中不同的情况下，各词典可以被接管。

(词典数据的应用)

对于储存在非易失性存储器单元230中的词典数据(例如，图7的识别词典)，可以记录远方词典中的每一个的平均似然性和近傍词典的使用频率。在这种情况下，基于记录的平均似然性或使用频率，具有低平均似然性的远方词典或具有低使用频率的近傍词典被视为具有低识别性能的词典，并且被周期性地更新，从而可以提高识别性能。

另外，在上述的示例中，作为词典数据，准备针对各特定模式学习目标的专用远方词典或专用近傍词典。不限于此，如图19中所示，可以准备在不同条件下学习的多个通用远方词典(词典A-0～A-4)和在相似的不同条件下学习的多个通用近傍词典(词典B-0～B-4)。在图19的示例中，能够通过去除具有低识别性能的词典保持识别性能。

<6.计算机的配置示例>

上述的一系列处理可以由硬件执行，或者可以由软件执行。在通过软件执行一系列处理的情况下，构成软件的程序从程序记录介质等被安装在内置于专用硬件的计算机或通用个人计算机上。

图20是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

上述的识别处理系统200由具有图20中所示的配置的计算机500实现。

CPU 501、ROM 502和RAM 503通过总线504彼此连接。

输入/输出接口505进一步连接到总线504。包括键盘和鼠标等的输入单元506和包括显示器和扬声器等的输出单元507连接到输入/输出接口505。并且，包括硬盘和非易失性存储器等的储存单元508、包括网络接口等的通信单元509以及驱动可去除介质511的驱动器510连接到输入/输出接口505。

在如上面描述的那样配置的计算机500中，例如，CPU 501经由输入/输出接口505和总线504将储存在存储器单元508中的程序加载到RAM 503中，并且执行程序，由此执行上述的一系列处理。

例如，要由CPU 501执行的程序被储存在可去除介质511中，或者经由诸如局域网、因特网或数字广播的有线或无线传输介质被提供，并且然后被安装在储存单元508中。

注意，要由计算机500执行的程序可以是按照本文所述的顺序按时间序列执行处理的程序，或者可以是并行地或者在必要的定时(诸如当进行调用时)执行处理的程序等。

在本说明书中，系统意味着多个部件(诸如设备和模块(部件))的组件，并且所有部件是否在同一外壳中并不重要。因此，储存在不同外壳中并且经由网络连接的多个装置和多个模块被储存在一个外壳中的一个装置均是系统。

本技术的实施例不限于上述的实施例，并且可以在不偏离本技术的要点的情况下提出各种修改。

另外，这里描述的效果仅仅是示例并且不受限制，并且可以提供其它效果。

并且，本技术可以具有如下配置。

(1)一种识别处理设备，包括：

词典数据储存单元，储存识别目标的各模式的远方词典和各模式的近傍词典；和

识别处理单元，通过使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理，

其中，识别处理单元通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。

(2)根据(1)所述的识别处理设备，其中，识别处理单元在到识别的对象的距离比一定距离长的情况下通过使用多个模式的远方词典重复对象的识别，并且在到识别的对象的距离比一定距离短的情况下通过使用高似然性模式的近傍词典识别对象。

(3)根据(1)所述的识别处理设备，其中，

远方词典和近傍词典分别包括专门用于特定模式的对象识别的专用远方词典和专用近傍词典，以及

识别处理单元通过使用多个模式的远方词典和与高似然性模式的专用远方词典相同模式的专用近傍词典识别对象。

(4)根据(3)所述的识别处理设备，其中，

远方词典和近傍词典还分别包括用于通用对象识别的通用远方词典和通用近傍词典，以及

识别处理单元通过使用包括通用远方词典的所有模式的远方词典和通用近傍词典识别对象，并且然后通过使用高似然性模式的专用近傍词典而不是通用近傍词典识别对象。

(5)根据(4)所述的识别处理设备，其中，在到识别的对象的距离比一定距离长的情况下，识别处理单元通过使用所有模式的远方词典和高似然性模式的专用近傍词典重复对象的识别。

(6)根据(5)所述的识别处理设备，其中，在到识别的对象的距离比一定距离短的情况下，识别处理单元通过使用通用远方词典和高似然性模式的专用近傍词典识别对象。

(7)根据(1)～(6)中的任一项所述的识别处理设备，其中，识别处理单元在识别处理开始时通过仅使用多个模式的近傍词典来识别对象。

(8)根据(1)～(7)中的任一项所述的识别处理设备，其中，识别处理单元将识别出通过使用远方词典以高似然性识别出的对象当中的具有最小碰撞时间(TTC)的对象的远方词典设定为高似然性模式的远方词典。

(9)根据(1)～(8)中的任一项所述的识别处理设备，其中，识别处理单元针对在预定定时获取的广角图像的一帧，执行使用远方词典和近傍词典的一系列识别处理。

(10)根据(1)～(9)中的任一项所述的识别处理设备，其中，识别处理单元识别包含于经圆筒校正的广角图像中的对象。

(11)根据(1)～(10)中的任一项所述的识别处理设备，其中，广角照相机包括被安装在车辆上的车载照相机。

(12)根据(11)所述的识别处理设备，其中，广角照相机捕获以车辆的后方作为成像范围的广角图像。

(13)根据(12)所述的识别处理设备，其中，识别处理单元将存在于车辆周围的行人识别为包含于广角图像中的对象。

(14)一种识别处理方法，包括：

由使用待识别的各模式的远方词典和各模式的近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理的识别处理设备，通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典来识别对象。

(15)一种识别处理系统，包括：

广角照相机；和

识别处理设备，储存待识别的各模式的远方词典和各模式的近傍词典，并且通过使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理，

其中，识别处理设备通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。

附图标记列表

1车辆

11车辆控制系统

51照相机

73识别处理单元

200识别处理系统

210成像单元

220识别处理单元

221图像输入单元

222图像处理单元

223检测处理单元

224易失性存储器单元

225控制单元

230非易失性存储器单元

231词典数据

Claims (15)

1.一种识别处理设备，包括：

词典数据储存单元，储存识别目标的各模式的远方词典和各模式的近傍词典；和

识别处理单元，通过使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理，

其中，识别处理单元通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。

2.根据权利要求1所述的识别处理设备，其中，识别处理单元在到识别的对象的距离比一定距离长的情况下通过使用多个模式的远方词典重复对象的识别，并且在到识别的对象的距离比一定距离短的情况下通过使用高似然性模式的近傍词典识别对象。

3.根据权利要求1所述的识别处理设备，其中，

远方词典和近傍词典分别包括专门用于特定模式的对象识别的专用远方词典和专用近傍词典，以及

识别处理单元通过使用多个模式的远方词典和与高似然性模式的专用远方词典相同模式的专用近傍词典识别对象。

4.根据权利要求3所述的识别处理设备，其中，

远方词典和近傍词典还分别包括用于通用对象识别的通用远方词典和通用近傍词典，以及

识别处理单元通过使用包括通用远方词典的所有模式的远方词典和通用近傍词典识别对象，并且然后通过使用高似然性模式的专用近傍词典而不是通用近傍词典识别对象。

5.根据权利要求4所述的识别处理设备，其中，在到识别的对象的距离比一定距离长的情况下，识别处理单元通过使用所有模式的远方词典和高似然性模式的专用近傍词典重复对象的识别。

6.根据权利要求5所述的识别处理设备，其中，在到识别的对象的距离比一定距离短的情况下，识别处理单元通过使用通用远方词典和高似然性模式的专用近傍词典识别对象。

7.根据权利要求1所述的识别处理设备，其中，识别处理单元在识别处理开始时通过仅使用多个模式的近傍词典来识别对象。

8.根据权利要求1所述的识别处理设备，其中，识别处理单元将识别出通过使用远方词典以高似然性识别出的对象当中的具有最小碰撞时间(TTC)的对象的远方词典设定为高似然性模式的远方词典。

9.根据权利要求1所述的识别处理设备，其中，识别处理单元针对在预定定时获取的广角图像的一帧，执行使用远方词典和近傍词典的一系列识别处理。

10.根据权利要求1所述的识别处理设备，其中，识别处理单元识别包含于经圆筒校正的广角图像中的对象。

11.根据权利要求1所述的识别处理设备，其中，广角照相机包括被安装在车辆上的车载照相机。

12.根据权利要求11所述的识别处理设备，其中，广角照相机捕获以车辆的后方作为成像范围的广角图像。

13.根据权利要求12所述的识别处理设备，其中，识别处理单元将存在于车辆周围的行人识别为包含于广角图像中的对象。

14.一种识别处理方法，包括：

由使用待识别的各模式的远方词典和各模式的近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理的识别处理设备，通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典来识别对象。

15.一种识别处理系统，包括：

广角照相机；和

识别处理设备，储存待识别的各模式的远方词典和各模式的近傍词典，并且通过使用远方词典和近傍词典执行识别包含于由广角照相机捕获的广角图像中的对象的识别处理，

其中，识别处理设备通过使用多个模式的远方词典和与远方词典当中的以高似然性识别出对象的高似然性模式的远方词典相同模式的近傍词典识别对象。