CN111448529A - 信息处理装置、移动物体、控制系统、信息处理方法以及程序 - Google Patents

信息处理装置、移动物体、控制系统、信息处理方法以及程序 Download PDF

Info

Publication number
CN111448529A
CN111448529A CN201880078729.7A CN201880078729A CN111448529A CN 111448529 A CN111448529 A CN 111448529A CN 201880078729 A CN201880078729 A CN 201880078729A CN 111448529 A CN111448529 A CN 111448529A
Authority
CN
China
Prior art keywords
information
unit
control
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880078729.7A
Other languages
English (en)
Inventor
江岛公志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111448529A publication Critical patent/CN111448529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

[问题]为了提供能够减轻干扰因素的影响的信息处理装置、移动物体、控制系统、信息处理方法以及程序。[解决方案]一种信息处理装置，包括信息获取单元和控制预测单元。信息获取单元获取关于包括感测设备的第一移动物体的位置和姿势的信息。控制预测单元基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的。

Description

信息处理装置、移动物体、控制系统、信息处理方法以及程序
技术领域
本技术涉及信息处理装置、移动物体、控制系统、信息处理方法和程序，尤其涉及对于在估计移动物体的自身位置时获得适当图像是最优的信息处理装置、移动物体、系统、信息处理方法和程序。
背景技术
过去，已经提出了一种用于估计自主行动的移动物体的自身位置的方法，该方法包括例如从由相机捕获的移动物体的周围的图像中提取多个特征点(也称为地标)；以及估计多个特征点的三维位置(例如，参考专利文献1)。
引文列表
专利文献
专利文献1：日本专利申请特许公开No.2005-315746
发明内容
技术问题
当使用图像来估计自身位置时，由于周围环境中存在的各种干扰因素，可能会丢失地标的视线或可能会错误地识别地标，并且这会导致估计自身位置的准确性的下降。
鉴于上述情况，本技术的目的是提供使得可以减轻干扰因素的影响的信息处理装置、移动物体、控制系统、信息处理方法和程序。
问题的解决方案
为了实现上述目的，根据本技术的信息处理装置包括信息获取单元和控制预测单元。
信息获取单元获取关于包括感测设备的第一移动物体的位置和姿势的信息。
控制预测单元基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的。
根据这种配置，基于关于第一移动物体在时间T的位置和姿势的信息以及地图信息，预测在T+N(即，在时间T之后N秒)处针对感测设备执行的并且适合于移动物体的控制。由于针对感测设备的控制是基于关于控制预测的信息在T+N处在移动物体中执行的，因此可以无时滞地执行控制。
感测设备可以包括图像捕获设备。信息处理装置还可以包括用于预测移动物体的位置和姿势的单元，该单元基于关于位置和姿势的信息来预测第一移动物体的位置和姿势，关于位置和姿势的信息是由信息获取单元获取的；以及用于预测干扰因素的位置的单元，该单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果来预测由图像捕获设备捕获的图像中干扰因素的位置。控制预测单元可以基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对图像捕获设备执行的控制。
根据这种配置，基于关于第一移动物体在时间T的位置和姿势的信息以及地图信息，预测在T+N(即，在时间T之后的N秒)处预测要由图像捕获设备捕获的图像中干扰因素的位置。然后，基于干扰因素的位置的预测结果来预测针对图像捕获设备执行的控制，使得获得其中减轻了由于干扰因素引起的影响的图像。
在第一移动物体中，基于关于控制预测的信息来设置用于图像捕获设备在T+N处捕获移动物体的图像的控制条件，并且这使得能够在T+N处无时滞地获得适合移动物体在T+N处的状态并且其中减轻了由干扰因素引起的影响的图像。
控制预测单元可以预测针对图像捕获设备执行的曝光控制。
控制预测单元可以预测针对图像捕获设备执行的测光区域控制。
感测设备可以包括图像捕获设备。第一移动物体可以包括自身位置估计系统，所述自身位置估计系统使用从来自图像捕获设备的图像信息中提取的特征点来估计第一移动物体的位置和姿势。信息处理装置还可以包括用于预测移动物体的位置和姿势的单元，该单元基于关于位置和姿势的信息来预测第一移动物体的位置和姿势，关于位置和姿势的信息是由信息获取单元获取的；以及用于预测干扰因素的位置的单元，该单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果来预测由图像捕获设备捕获的图像中干扰因素的位置。控制预测单元可以基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对自身位置估计系统执行的控制。
根据这种配置，基于关于第一移动物体在时间T的位置和姿势的信息以及地图信息，预测在T+N(即，在时间T之后N秒)处预测要由图像捕获设备捕获的图像中干扰因素的位置。然后，基于干扰因素的位置的预测结果来预测针对自身位置估计系统执行的控制，使得减轻由于干扰因素引起的影响。
在第一移动物体中，基于关于控制预测的信息来设置针对自身位置估计系统在T+N处执行的控制。这使得可以使用例如关于适合移动物体在T+N处的状态并且其中减轻了由于干扰因素引起的影响的图像的信息来执行估计在T+N处的自身位置和姿势的处理。这使得估计准确性得到提高。
控制预测单元可以基于由用于预测干扰因素的位置的单元执行的预测的结果，预测在自身位置估计系统中不执行图像中的特征点的提取的区域。
感测设备可以包括图像捕获设备和检测第一移动物体的状态的移动物体状态检测传感器。第一移动物体可以包括自身位置估计系统，所述自身位置估计系统使用图像信息和来自移动物体状态检测传感器的移动物体状态信息中的至少一个来估计第一移动物体的位置和姿势。控制预测单元可以基于由用于预测干扰因素的位置的单元执行的预测的结果，预测图像信息和移动物体状态信息如何分别加权，图像信息和移动物体状态信息在自身位置估计系统中估计第一移动物体的位置和姿势时被使用。
感测设备可以包括多个图像捕获设备。控制预测单元可以基于由用于预测干扰因素的位置的单元执行的预测的结果，预测来自多个图像捕获设备的各个图像信息如何被加权，各个图像信息在自身位置估计系统中估计第一移动物体的位置和姿势时被使用。
控制预测单元可以基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对图像捕获设备执行的控制。
干扰因素可以是太阳，并且，用于预测干扰因素的位置的单元可以基于地图信息、由用于预测移动物体的位置和姿势的单元执行的预测的结果以及太阳位置信息，预测由图像捕获设备捕获的图像中太阳的位置。
干扰因素可以是隧道，并且，用于预测干扰因素的位置的单元可以基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果，预测由图像捕获设备捕获的图像中隧道的位置。
干扰因素可以是结构的阴影，并且，用于预测干扰因素的位置的单元可以基于地图信息、由用于预测移动物体的位置和姿势的单元执行的预测的结果以及太阳位置信息，预测由图像捕获设备捕获的图像中由于结构而产生的阴影的位置。
信息获取单元可以获取关于包括感测设备并且不同于第一移动物体的第二移动物体的位置和姿势的信息。控制预测单元可以将针对第一移动物体的感测设备执行的控制的预测设置为针对第二移动物体的感测设备执行的控制的预测，针对第一移动物体的感测设备执行的控制的预测是由控制预测单元基于关于第一移动物体的位置和姿势的信息以及地图信息来执行的，关于第一移动物体的位置和姿势的信息是由信息获取单元获取的。
为了实现上述目的，根据本技术的移动物体包括感测设备和获取单元。
获取单元获取关于移动物体的自身位置和姿势的信息。
根据关于针对感测设备执行的控制的预测的控制预测信息来控制感测设备，针对感测设备执行的控制是基于关于自身位置和姿势的信息以及地图信息来预测的，关于自身位置和姿势的信息是由获取单元获取的。
为了实现上述目的，根据本技术的控制系统包括移动物体、信息获取单元、控制预测单元和控制单元。
移动物体包括感测设备。
信息获取单元获取关于移动物体的位置和姿势的信息。
控制预测单元基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的。
控制单元基于关于由控制预测单元执行的控制预测的控制预测信息来执行针对感测设备的控制。
为了实现上述目的，根据本技术的信息处理方法包括获取关于包括感测设备的移动物体的位置和姿势的信息；以及基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制。
为了实现上述目的，根据本技术的程序使信息处理装置执行处理，所述处理包括获取关于包括感测设备的移动物体的位置和姿势的信息；以及基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制。
发明的有益效果
如上所述，根据本技术，可以提供使得可以减轻干扰因素的影响的信息处理装置、移动物体、系统、信息处理方法和程序。
注意的是，这里描述的效果不一定是限制性的，并且可以提供本公开中描述的任何效果。
附图说明
图1示意性地图示了根据本技术第一实施例的感测设备控制系统。
图2是感测设备控制系统中的车辆控制系统的示意性功能配置的示例的框图。
图3是在自身位置估计系统中的自身位置估计单元的示意性功能配置的示例的框图。
图4是车辆中包括的相机的示意性功能配置的示例的框图。
图5是感测设备控制系统中的服务器装置的示意性功能配置的示例的框图。
图6是描述在图像处理装置中生成控制信号的处理的流程图。
图7是根据本技术第二实施例的感测设备控制系统中的服务器装置的功能配置的框图。
图8是描述根据第二实施例的图像处理装置中的生成控制信号的处理的流程图。
图9是根据本技术第三实施例的感测设备控制系统中的图像处理装置的功能配置的框图。
图10是描述根据第三实施例的图像处理装置中的生成控制信号的处理的流程图。
具体实施方式
现在将在下面描述用于执行本技术的实施例。
根据本技术，基于关于时间T处的移动物体的自身位置和姿势的信息以及地图信息，预测移动物体在T+N(N>0)(即，在时间T之后N秒)处的位置，并且预测在T+N处针对移动物体中包括的感测设备执行的控制。
在下面描述的第一实施例至第三实施例中，以诸如汽车之类的车辆作为第一移动物体的示例并以相机(图像捕获设备)和车辆状态检测传感器作为感测设备的示例进行描述。
注意的是，在此，使用汽车作为移动物体进行描述，但不限于此。移动物体的示例包括自行车、摩托车、诸如无人机之类的无人驾驶飞行器(UAV)和各种机器人。
车辆包括相机、车辆状态检测传感器和自身位置估计系统，该自身位置估计系统用于辅助车辆以自动驾驶行驶。
在下面描述的第一实施例和第三实施例中，基于关于车辆在时间T处的自身位置和姿势的信息以及地图信息，预测车辆在T+N(即，在时间T之后N秒)处的位置。
接下来，基于关于移动物体位置预测的信息、地图信息以及关于日期和时间/天气的信息，预测要在T+N处预测被捕获的图像中干扰因素的位置。
接下来，基于干扰因素的位置的预测结果来预测针对相机执行的控制和针对自身位置估计系统执行的控制。在第一实施例中，以太阳作为干扰因素的示例进行描述，而在第三实施例中，以诸如建筑物之类的结构的阴影作为干扰因素的示例进行描述。
另外，在第二实施例中，基于关于移动物体在时间T处的自身位置的信息以及地图信息，预测车辆在T+N(即，在时间T之后N秒)处的位置和姿势。
接下来，基于关于移动物体位置预测的信息以及地图信息，预测要在T+N处预测被捕获的图像中作为干扰因素的隧道的位置。
接下来，基于干扰因素的位置的预测结果来预测针对相机执行的控制和针对自身位置估计系统执行的控制。
下面详细描述各个实施例。
<第一实施例>
[控制系统的配置的示例]
图1是用于本技术适用的感测设备的控制系统1的示意性功能配置的示例的框图。在此，仅描述主要配置，并且稍后将使用图2和图2之后的图描述详细配置。
控制系统1包括安装在作为移动物体的车辆10中的车辆控制系统100和用作信息处理装置的服务器装置500。车辆控制系统100和服务器装置500能够例如通过无线通信网络彼此通信。
注意的是，在本实施例中描述了在车辆10的外部提供用作信息处理装置的服务器装置500的示例，但是服务器装置500可以安装在车辆10中。
车辆控制系统100包括自身位置估计系统200和数据获取单元102。
数据获取单元102包括用作感测设备的相机300和车辆状态检测传感器400。相机300用于捕获车辆10的外部的图像，并且多个相机300安装在车辆10中。
在自身位置估计系统200中，估计执行自动驾驶所需的车辆10的自身位置和姿势。在自身位置估计系统200中，使用来自感测设备的信息(诸如关于由相机300捕获的图像的图像信息，以及来自车辆状态检测传感器400的车辆状态检测信息)来估计车辆10的自身位置和姿势。
在自身位置估计系统200中，当基于来自相机300的图像信息来估计车辆10的自身位置和姿势时，基于跟踪图像中的特征点(地标)的结果来估计位置。
服务器装置500包括信息获取单元502、用于预测车辆在T+N处的位置和姿势的单元503、用于预测图像中干扰因素的位置的单元504，以及控制预测单元505。
在车辆10的数据获取单元102中，使用相机300和车辆状态检测传感器400来获取关于车辆10在时间T处的信息。关于车辆10在时间T处的信息被发送到服务器装置500。
服务器装置500的信息获取单元502获取从车辆控制系统100发送的关于车辆10在时间T处的信息。
基于由信息获取单元502获取的关于车辆10在时间T处的信息，用于预测车辆在T+N处的位置和姿势的单元503(其是用于预测移动物体的自身位置和姿势的单元)预测车辆10在T+N(即，在时间T之后N秒)处的自身位置和姿势。
在本实施例中，用于预测图像中干扰因素的位置的单元504预测图像中作为干扰因素的太阳的位置。
用于预测图像中干扰因素(太阳)的位置的单元504(下文中称为用于预测图像中太阳的位置的单元)基于关于在T+N处车辆10的预测的自身位置和姿势的信息、地图信息以及关于日期和时间/天气的信息，预测在T+N处捕获的图像中太阳的位置。
控制预测单元505基于在T+N处捕获的图像中太阳的位置的预测结果，预测在T+N处针对相机300执行的控制以及在T+N处针对自身位置估计系统200执行的控制。关于控制预测的信息被发送到车辆10。在车辆10中，基于关于控制预测的信息，在T+N处执行针对相机300的控制和针对自身位置估计系统200的控制。
针对相机300执行的控制的示例包括曝光控制和测光区域控制。
针对自身位置估计系统200执行的控制的示例包括在估计车辆10的自身位置和姿势时针对感测设备执行的控制。
具体而言，控制预测单元505预测来自相机300的图像信息和来自车辆状态检测传感器400的检测信息如何分别在自身位置估计系统200中被加权以用于估计车辆的位置和姿势。
另外，当基于关于由相机300捕获的图像的图像信息在自身位置估计系统200中估计自身位置和姿势时，控制预测单元505预测如何设置遮蔽区域，遮蔽区域是不用于被执行以估计自身位置和姿势的特征点提取的特征点提取区域。
此外，当基于关于由相机300捕获的图像的图像信息在自身位置估计系统200中估计自身位置时，控制预测单元505预测如何对来自多个相机300的各个图像信息进行加权以便在估计自身位置和姿势时被使用。
如上所述，基于从服务器装置500发送的控制预测信息来控制关于车辆10的感测设备的操作，控制预测信息是关于针对感测设备(诸如安装在车辆10中的相机300和车辆状态检测传感器400)执行的控制的预测的信息。
这使得获得减轻了干扰因素(即，太阳)的影响的高度稳健的控制系统。
每个结构元件在下面详细描述。
[车辆控制系统的配置的示例]
图2是车辆控制系统100的示意性功能配置的示例的框图，车辆控制系统100是本技术适用的移动物体控制系统的示例。
注意的是，当要将设置有车辆控制系统100的车辆与其它车辆区分开时，设置有车辆控制系统100的车辆在下文中将被称为本车或本车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载装备104、输出控制单元105、输出单元106、动力传动控制单元107、动力传动系统108、车身相关的控制单元109、车身相关的系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、动力传动控制单元107、车身相关的控制单元109、存储单元111和自动驾驶控制单元112通过通信网络121彼此连接。例如，通信网络121包括符合任何标准的总线或车载通信网络，诸如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。注意的是，车辆控制系统100的各个结构元件可以在不使用通信网络121的情况下直接彼此连接。
注意的是，当车辆控制系统100的各个结构元件通过通信网络121彼此通信时，下面将省略对通信网络121的描述。例如，当输入单元101和自动驾驶控制单元112通过通信网络121彼此通信时，将简单地说输入单元101和自动驾驶控制单元112彼此通信。
输入单元101包括由车上人员用来输入各种数据、指令等的装置。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关或操纵杆之类的操作设备；可以通过除手动操作以外的方法(诸如声音或手势)执行输入的操作设备；等等。可替代地，例如，输入单元101可以是外部连接的装备，诸如使用红外或另一种无线电波的远程控制装置，或者与车辆控制系统100的操作兼容的移动装备或可穿戴装备。输入单元101基于车上人员输入的数据、指令等来生成输入信号，并将生成的输入信号供应给车辆控制系统100的各个结构元件。
数据获取单元102包括用于获取用于由车辆控制系统100执行的处理的数据的各种传感器等，并将获取的数据供应给车辆控制系统100的各个结构元件。
例如，数据获取单元102包括用于检测本车的状态等的各种传感器。具体而言，例如，数据获取单元102包括陀螺仪传感器；加速度传感器；惯性测量单元(IMU)；以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机的转数、马达的转数、车轮旋转的速度等的传感器等。
另外，例如，数据获取单元102包括用于检测关于本车的外部的信息的各种传感器。具体而言，例如，数据获取单元102包括图像捕获设备，诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机及其它相机。此外，例如，数据获取单元102包括用于检测天气、气象现象等的环境传感器，以及用于检测本车周围的物体的周围信息检测传感器。例如，环境传感器包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)传感器、声纳等。
而且，例如，数据获取单元102包括用于检测本车的当前位置的各种传感器。具体而言，例如，数据获取单元102包括全球导航卫星系统(GNSS)接收器等。GNSS接收器从GNSS卫星接收GNSS信号。
此外，例如，数据获取单元102包括用于检测关于车辆的内部的信息的各种传感器。具体而言，例如，数据获取单元102包括捕获驾驶员的图像的图像捕获设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器被提供给座椅表面、方向盘等上，并且检测坐在座椅上的车上人员或握住方向盘的驾驶员的生物信息。
通信单元103与车载装备104以及各种车辆外部装备、服务器、基站等通信，发送由车辆控制系统100的各个结构元件供应的数据，并向车辆控制系统100的各个结构元件供应接收到的数据。注意的是，通信单元103所支持的通信协议没有特别限制。通信单元103也可以支持多种类型的通信协议。
例如，通信单元103使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载装备104无线地通信。另外，例如，通信单元103通过连接端子(未示出)(如有必要，还有电缆)通过使用通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等的电线与车载装备104通信。
另外，例如，通信单元103通过基站或接入点与位于外部网络(例如，互联网、云网络或运营商特有网络)中的装备(例如，应用服务器或控制服务器)进行通信。此外，例如，通信单元103使用对等(P2P)技术与位于本车附近的终端(例如，行人或商店的终端、或机器类型通信(MTC)终端)进行通信。而且，例如，通信单元103执行V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、本车与家庭之间的车辆到家庭通信和车辆到行人通信。另外，例如，通信单元103包括信标接收器，接收从例如安装在道路上的无线电站发送的无线电波或电磁波，并且获取关于例如当前位置、交通拥堵、交通管制或必要时间的信息。
车载装备104的示例包括车上人员的移动装备或可穿戴装备，被带入或附接到本车的信息装备以及搜索到任何目的地的路线的导航装置。
输出控制单元105控制各种信息到本车的车上人员或本车外部的输出。例如，输出控制单元105生成包括视觉信息(诸如图像数据)或音频信息(诸如声音数据)中的至少一个的输出信号，将输出信号供应给输出单元106，由此控制视觉信息和音频信息从输出单元106的输出。具体而言，例如，输出控制单元105组合由数据获取单元102的不同图像捕获设备捕获的图像的数据，生成鸟瞰图像、全景图像等，并将包括生成的图像的输出信号供应给输出单元106。另外，例如，输出控制单元105生成包括例如提醒诸如碰撞、接触或进入危险地带的警告蜂鸣声或警告消息的声音数据，并将包括生成的声音数据的输出信号供应给输出单元106。
输出单元106包括能够将视觉信息或音频信息输出到本车的车上人员或本车外部的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、耳机、可穿戴设备(诸如用于戴在车上人员上的眼镜型显示器)、投影仪、灯等。代替包括常用显示器的装置，输出单元106中包括的显示装置可以是诸如平视显示器、透明显示器或包括增强现实(AR)显示功能的装置之类的在驾驶员视场中显示视觉信息的装置。
动力传动控制单元107生成各种控制信号，并将其供应给动力传动系统108，并由此控制动力传动系统108。另外，动力传动控制单元107根据需要将控制信号供应给除动力传动系统108以外的结构元件，以例如向它们通知控制动力传动系统108的状态。
动力传动系统108包括与本车的动力传动相关的各种装置。例如，动力传动系统108包括生成驱动力的驱动力生成装置(诸如内燃机和驱动马达)、用于将驱动力传送到车轮的驱动力传送机构、调整转向角的转向机构、生成制动力的制动装置、防抱死制动系统(ABS)、电子稳定控制(ESC)系统、电动助力转向装置等。
车身相关的控制单元109生成各种控制信号，将它们供应给车身相关的系统110，并由此控制车身相关的系统110。另外，车身相关的控制单元109根据需要将控制信号供应给除车身相关的系统110以外的结构元件，以例如向它们通知控制车身相关的系统110的状态。
车身相关的系统110包括提供给车身的各种车身相关的装置。例如，车身相关的系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调、各种灯(诸如前照灯、尾灯、刹车灯、方向指示灯和雾灯)，等等。
例如，存储单元111包括只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等。存储单元111在其中存储由车辆控制系统100的各个结构元件使用的各种程序、数据等。例如，存储单元111在其中存储地图数据，诸如三维高准确性地图、全局地图和本地地图。高准确性地图是动态地图等。全局地图的准确性低于高准确性地图，但比高准确性地图覆盖更广地区。本地地图包括关于本车周围的信息。
自动驾驶控制单元112执行与自动驾驶相关的控制，诸如自主行驶或驾驶辅助。具体而言，例如，自动驾驶控制单元112执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，包括针对本车的防撞或减震、基于车辆之间的距离在先导车辆后面的行驶、在维持车速的同时行驶、本车的碰撞警告、本车偏离车道的警告等。另外，例如，自动驾驶控制单元112执行旨在实现例如自动驾驶(无需驾驶员进行操作的自主行驶)的协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状态分析单元133、计划单元134和移动控制单元135。
检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。
车辆外部信息检测单元141基于来自车辆控制系统100的每个结构元件的数据或信号来执行检测关于本车外部的信息的处理。例如，车辆外部信息检测单元141执行检测、识别和跟踪本车周围的物体的处理以及检测到物体的距离的处理。检测目标物体的示例包括车辆、人、障碍物、结构、道路、交通灯、交通标志和道路标志。另外，例如，车辆外部信息检测单元141执行检测本车周围的环境的处理。检测目标周围环境的示例包括天气、温度、湿度、亮度和路面状况。车辆外部信息检测单元141将指示检测处理的结果的数据供应给例如自身位置估计单元132，状态分析单元133的地图分析单元151、交通规则识别单元152和状态识别单元153，以及移动控制单元135的紧急事件避免单元171。
车辆内部信息检测单元142基于来自车辆控制系统100的每个结构元件的数据或信号来执行检测关于车辆内部的信息的处理。例如，车辆内部信息检测单元142执行认证和识别驾驶员的处理、检测驾驶员的状态的处理、检测车上人员的处理以及检测车辆内部环境的处理。驾驶员的检测目标状态的示例包括身体状况、唤醒程度、专心程度、疲劳程度和视线方向。检测目标车辆内部环境的示例包括温度、湿度、亮度和气味。车辆内部信息检测单元142将指示检测处理的结果的数据供应给例如状态分析单元133的状态识别单元153和移动控制单元135的紧急事件避免单元171。
车辆状态检测单元143基于来自车辆控制系统100的每个结构元件的数据或信号来执行检测本车的状态的处理。本车的检测目标状态的示例包括速度、加速度、转向角、是否存在异常及其细节、驾驶操作状态、电动座椅的位置和倾斜度、门锁的状态，以及其它车载装备的状态。车辆状态检测单元143将指示检测处理的结果的数据供应给例如状态分析单元133的状态识别单元153和移动控制单元135的紧急事件避免单元171。
自身位置估计单元132基于来自车辆控制系统100的各个结构元件(诸如车辆外部信息检测单元141，和状态分析单元133的状态识别单元153)的数据或信号来执行估计本车的位置、姿势等的处理。另外，自身位置估计单元132根据需要生成用于估计自身位置的本地地图(下文中称为自身位置估计地图)。例如，自身位置估计地图是使用诸如同时定位和绘图(SLAM)之类的技术的高准确性地图。自身位置估计单元132将指示估计处理的结果的数据供应给例如状态分析单元133的地图分析单元151、交通规则识别单元152和状态识别单元153。另外，自身位置估计器132将自身位置估计地图存储在存储单元111中。
状态分析单元133执行分析本车及其周围的状态的处理。状态分析单元133包括地图分析单元151、交通规则识别单元152、状态识别单元153和状态预测单元154。
在必要时，使用来自车辆控制系统100的各个结构元件(诸如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号，地图分析单元151执行分析存储在存储单元111中的各种地图的处理，并且构造包括自动驾驶处理所需的信息的地图。地图分析单元151将构造的地图供应给例如交通规则识别单元152、状态识别单元153和状态预测单元154，以及计划单元134的路线计划单元161、行为计划单元162和移动计划单元163。
交通规则识别单元152基于来自车辆控制系统100的各个结构元件(诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151)的数据或信号来执行识别本车周围的交通规则的处理。识别处理使得有可能识别本车周围的交通灯的位置和状态、本车周围执行的交通控制的细节以及可行驶的车道。交通规则识别单元152将指示识别处理的结果的数据供应给例如状态预测单元154。
状态识别单元153基于来自车辆控制系统100的各个结构元件(诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号来执行识别与本车相关的状态的处理。例如，状态识别单元153执行识别本车的状态、本车周围的状态、本车的驾驶员的状态等的处理。另外，在必要时，状态识别单元153生成用于识别本车周围的状态的本地地图(下文中称为状态识别地图)。状态识别地图例如是占用网格地图。
本车的识别目标状态的示例包括本车的位置、姿势和移动(诸如速度、加速度和移动方向)以及是否存在异常及其细节。本车周围的识别目标状态的示例包括本车周围的静止物体的类型和位置；本车周围的移动物体的类型、位置和移动(诸如速度、加速度和移动方向)；本车周围的道路的结构和道路表面的状况；以及本车周围的天气、温度、湿度和亮度。驾驶员的识别目标状态的示例包括身体状况、唤醒程度、专心程度、疲劳程度、视线移动和驾驶操作。
状态识别单元153将指示识别处理的结果的数据(必要时包括状态识别地图)供应给例如自身位置估计单元132和状态预测单元154。另外，状态识别部分153将状态识别地图存储在存储单元111中。
状态预测单元154基于来自车辆控制系统100的各个结构元件(诸如地图分析单元151、交通规则识别单元152和状态识别单元153)的数据或信号来执行预测与本车相关的状态的处理。例如，状态预测单元154执行预测本车的状态、本车周围的状态、驾驶员的状态等的处理。
本车的预测目标状态的示例包括本车的行为、本车中异常的发生以及本车的可行驶距离。本车周围的预测目标状态的示例包括移动物体的行为、交通灯的状态的改变，以及本车周围的环境(诸如天气)的改变。驾驶员的预测目标状态的示例包括驾驶员的行为和身体状况。
状态预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和状态识别单元153的数据一起供应给例如计划单元134的路线计划单元161、行为计划单元162和移动计划单元163。
路线计划单元161基于来自车辆控制系统100的各个结构元件(诸如地图分析单元151和状态预测单元154)的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。另外，例如，路线计划单元161基于例如交通拥堵、事故、交通管制和构造的状态以及驾驶员的身体状况来适当地改变路线。路线计划单元161将指示计划的路线的数据供应给例如行为计划单元162。
基于来自车辆控制系统100的各个结构元件(诸如地图分析单元151和状态预测单元154)的数据或信号，行为计划单元162计划本车的行为，以便在由路线计划单元161计划的时间内在由路线计划单元161计划的路线上安全地行驶。例如，行为计划单元162制定关于例如开始移动、停止、行驶方向(诸如向前移动、向后移动、向左转、向右转和方向改变)、行驶的车道、行驶速度和通过的计划。行为计划单元162将指示本车的计划的行为的数据供应给例如移动计划单元163。
基于来自车辆控制系统100的各个结构元件(诸如地图分析单元151和状态预测单元154)的数据或信号，移动计划单元163计划本车的移动，以便实现由行为计划单元162计划的行为。例如，移动计划单元163制定关于例如加速度、减速度和行驶路线的计划。移动计划单元163将指示本车的计划的移动的数据供应给例如移动控制单元135的加速/减速控制单元172和方向控制单元173。
移动控制单元135控制本车的移动。移动控制单元135包括紧急事件避免单元171、加速/减速控制单元172和方向控制单元173。
基于由车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143执行的检测的结果，紧急事件避免单元171执行检测紧急事件(诸如碰撞、接触、进入危险地带、驾驶员的不寻常情况以及车辆中的异常)的处理。当紧急事件避免单元171检测到紧急事件的发生时，紧急事件避免单元171计划本车的移动，诸如突然停止或快速转弯，以避免紧急事件。紧急事件避免单元171将指示本车的计划的移动的数据供应给例如加速/减速控制单元172和方向控制单元173。
加速/减速控制单元172控制加速/减速以实现由移动计划单元163或紧急事件避免单元171计划的本车的移动。例如，加速/减速控制单元172计算为了实现计划的加速度、计划的减速度或计划的突然停止的驱动力生成装置或制动装置的控制目标值，并将指示计算出的控制目标值的控制指令供应给动力传动控制单元107。
方向控制单元173控制方向以实现由移动计划单元163或紧急事件避免单元171计划的本车的移动。例如，方向控制单元173计算为了实现由移动计划单元163计划的行驶路线或由紧急事件避免单元171计划的快速转弯的转向机构的控制目标值，并将指示计算出的控制目标值的控制指令供应给动力传动控制单元107。
[自身位置估计系统的配置的示例]
图3是已应用本技术的自身位置估计系统200的配置的示例的框图。自身位置估计系统200主要涉及由车辆控制系统100当中的自身位置估计单元132、车辆外部信息检测单元141和状态识别单元153执行的处理，以及生成用于执行估计自身位置的处理的地图的处理。
自身位置估计系统200是估计车辆10的自身位置和姿势的系统。
自身位置估计系统200包括控制单元201、图像获取单元202、车辆状态信息获取单元203、特征点提取单元204、特征点跟踪单元205、地图生成单元206、估计单元207和地图信息存储单元208。
在自身位置估计系统200中，估计由车辆控制系统100执行的控制处理所需的自身(车辆10的)位置。在自身位置估计系统200中，关于由相机300捕获的图像的图像信息、来自车辆状态检测传感器400的车辆状态信息等被用于估计车辆10的位置。
基于来自服务器装置500的控制预测信息，控制单元201将关于估计时的权重指派的权重指派信息输出到估计单元207，该权重指派信息指示图像信息和车辆状态检测信息如何分别被加权以用于估计车辆10的自身位置和姿势。
另外，基于控制预测信息，控制单元201控制如何对从多个相机300获取的各个图像信息进行加权以用于估计车辆10的自身位置和姿势。控制单元201将关于对每个相机的权重指派的权重指派信息输出到图像获取单元202。
此外，基于控制预测信息，控制单元201执行针对不用于为了估计车辆10的自身位置和姿势而执行的特征点提取的特征提取区域的遮蔽的控制。控制单元201将关于特征点提取区域的遮蔽的信息输出到特征点提取单元204。
图像获取单元202按时间顺序获取由安装在车辆10中并用作感测设备的相机300捕获的图像。在本实施例中，安装了多个相机300，并且这使得有可能获取由于视差而获得的距离图像。注意的是，可以安装单个相机以从按时间顺序捕获的多帧图像中获取距离图像。相机被包括在上述数据获取单元102中。
图像获取单元202将作为被选择的图像的时间顺序图像连同来自控制单元201的关于对每个相机指派权重的权重指派信息一起输出到特征点提取单元204。
对相机300的权重指派包括例如从多个相机300当中选择在估计自身位置和姿势时不使用的相机300。在这种情况下，指派给关于由未使用的相机300捕获的图像的图像信息的权重为零。
车辆状态信息获取单元203按时间顺序获取由安装在车辆10中的车辆状态检测传感器400执行的车辆状态检测的结果。
车辆状态检测传感器400的示例包括检测车辆10的当前位置的GNSS，以及诸如陀螺仪传感器之类的检测车辆10的状态等的传感器；加速度传感器；惯性测量单元(IMU)；以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机的转数、马达的转数、车轮旋转的速度等的传感器等。
基于来自控制单元201的关于特征点提取区域的遮蔽的信息，特征点提取单元204在必要时遮蔽由图像获取单元202输入的时间顺序图像中的特征点提取区域。
例如，图像中太阳位置的区域是通过对特征点提取区域进行遮蔽而获得的遮蔽区域，并且不提取位于这个区域中的特征点。
特征点提取单元204从通过对图像中的特征点提取区域进行遮蔽而获得的遮蔽区域以外的区域中提取静止物体的特征点，并将提取出的特征点输出到特征点跟踪单元205。
具体而言，特征点提取单元204从相继输入的时间顺序图像中提取静止物体(地标)，并且提取提取出的静止物体的特征点。
特征点跟踪单元205在顺序输入的时间顺序图像中跟踪由特征点提取单元204提取出的特征点，并且向地图生成单元206提供关于跟踪的信息。
地图生成单元206生成适用于自身位置的估计并且在物体的世界坐标系中包括静止物体(特征点)的三维坐标(三维点)的地图信息。
地图生成单元206以预设间隔更新初始地图。换句话说，地图生成单元206以预设间隔初始化存储在地图信息存储单元208中的物体的地图信息(世界坐标系中的物体的坐标)，以更新地图信息。
基于由控制单元201输出的关于对估计指派权重的权重指派信息，估计单元207将权重分别指派给由地图生成单元206生成的地图信息和由车辆状态信息获取单元203输出的车辆状态检测信息，并使用这些信息来估计车辆10的自身位置和姿势。
基于物体在世界坐标系中的坐标(特征点的三维坐标)，估计单元207估计表示从世界坐标系到表示基于相机的坐标系的相机坐标系的变换的变换矩阵，并且基于变换矩阵来估计表示车辆10相对于静止物体(特征点)的位置和姿势的旋转角度。
例如，当权重指派信息指示指派给图像信息的权重为100并且指派给车辆状态检测信息的权重为0时，估计单元207仅基于由地图生成单元206基于图像信息生成的地图信息来估计车辆10的自身位置和姿势。
另一方面，当权重指派信息指示指派给图像信息的权重为0并且指派给车辆状态检测信息的权重为100时，估计单元207仅基于车辆状态检测信息来估计车辆10的自身位置和姿势。
例如，当由于太阳光(由于太阳在图像中被反射)而难以使用相机300获取适合估计自身位置和姿势的图像时，在车辆状态检测信息比图像信息具有更大权重的状态下使用车辆状态检测信息和图像信息来估计车辆10的自身位置和姿势。
地图信息存储单元208在其中存储包括世界坐标系中的物体的坐标的地图信息。
[相机的配置的示例]
图4是用作图像捕获设备的相机300的配置示例的方框单元。
相机300是以指定的帧速率捕获车辆10周围的图像的图像传感器，并且检测关于车辆10周围的图像的图像信息。
例如，在车辆10中安装了两个前置相机和两个后置相机，两个前置相机捕获车辆10前方的视野的图像并分别设置在车身前部的左侧和右侧上，两个后置相机捕获车辆10后方的视野的图像并分别设置在车身后部的左侧和右侧上。
例如，包括诸如CCD或CMOS之类的图像传感器的RGB相机用作相机300。相机300不限于此，并且例如可以适当地使用检测红外光或偏振光的图像传感器。红外光或偏振光的使用使得可以生成例如关于其中即使天气改变，图像看起来也没有大改变的图像的图像信息。
在根据本实施例的相机300中，通过基于来自服务器装置500的控制预测信息执行例如曝光控制和测光区域控制来生成图像信息。
相机300包括相机控制单元301、透镜单元驱动电路302、透镜单元303、机械快门(下文中简称为机械快门，并且同样适用于该图)驱动电路304、机械快门305、图像传感器驱动电路306、图像传感器307、自动增益控制(AGC)电路308、信号处理单元309和测光单元310。
相机控制单元301包括曝光控制单元3011和测光区域控制单元3012。
曝光控制单元3011基于由服务器装置500供应的控制预测信息和由测光单元310执行的测光的结果来生成控制曝光的控制信号。
基于由服务器装置500供应的控制预测信息，曝光控制单元3011生成控制信号，该控制信号通过透镜单元驱动电路302控制透镜位置和透镜单元303的停止、通过机械快门驱动电路304控制机械快门305的驱动、通过图像传感器驱动电路306控制图像传感器307的电操作，以及控制AGC电路308的操作定时。从而，控制曝光。
基于由服务器装置500供应的控制预测信息，测光区域控制单元3012将定义测光区域的控制信号供应给测光单元310。
例如，测光区域控制单元3012根据指示图像中已经被服务器装置500预测为太阳将被反射的区域将不被设置为测光目标(关于测光区域的遮蔽处理)而将其它区域设置为测光目标的控制预测信息，生成定义用于测光单元310的区域的控制信号。
透镜单元驱动电路302包括马达等，并且，基于由相机控制单元301供应的控制信号，透镜单元驱动电路302通过移动透镜单元303的透镜位置来调整焦点位置和光圈。
机械快门驱动电路304基于由相机控制单元301供应的控制信号来控制机械快门305的快门速度和快门定时。
机械快门305布置在图像传感器307的整个表面上，并且根据由机械快门驱动电路304执行的控制来打开或关闭，使得穿过透镜单元303的光透射通过机械快门305或者被机械快门305阻挡。
注意的是，在本实施例中描述了使用机械快门的示例，但是可以使用电子快门。
图像传感器驱动电路306基于例如由相机控制单元301供应的定时信号来生成驱动图像传感器307的信号，并且调整例如捕获图像的定时。
图像传感器307包括固态成像元件，诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。
图像传感器307接收来自被摄体的通过透镜单元303进入的光以对接收到的光进行光电转换，并且取决于接收到的光量将模拟图像信号输出到AGC电路308和测光单元310。
AGC电路308基于来自曝光控制单元3011的控制信号来调整图像信号的增益，并且将已经调整了其增益的图像信号输出到信号处理单元309。
信号处理单元309对来自AGC电路308的模拟图像信号执行模拟/数字(A/D)转换。另外，对于由通过A/D转换获得的数字信号表示的图像数据，信号处理单元309应用去噪处理等，并向自身位置估计系统200的图像获取单元202输出作为应用去噪处理等的结果而获得的图像数据(图像信息)。
测光单元310基于来自图像传感器307的图像信号执行测光。在执行测光时，测光单元310基于由相机控制单元301供应的控制信号对定义的测光区域执行测光。测光单元310将测光的结果输出到相机控制单元301。
[服务器装置的配置的示例]
图5是服务器装置500的配置示例的框图。
如图5中所示，服务器装置500包括通信单元501、信息获取单元502、用于预测车辆在T+N处的位置和姿势的单元503、用于预测图像中干扰因素(太阳)的位置的单元504，以及控制预测单元505。
通信单元501通过基站或接入点与位于车辆10中的装备(例如，应用服务器或控制服务器)或外部网络(例如，互联网、云网络或运营商特有网络)通信。
通信单元501从车辆10接收各种信息，并将接收到的信息输出到信息获取单元502。通信单元501将从控制预测单元505接收到的控制预测信息发送到车辆10。
信息获取单元502从车辆10并通过通信单元501获取关于相机300的参数的参数信息、关于车辆10在时间T处的位置和姿势的信息以及车辆10在时间T处的车辆状态信息。
关于相机300的参数的参数信息被输出到用于预测图像中太阳的位置的单元504。
关于车辆10在时间T处的位置和姿势的信息以及车辆10在时间T处的车辆状态信息被输出到用于预测车辆在时间T+N处的位置和姿势的单元503。
关于车辆10的位置的信息是例如由数据获取单元102检测到的GNSS信号的信息。
车辆状态信息包括由陀螺仪传感器、加速度传感器和惯性测量单元(IMU)检测到的信息；以及诸如加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机的转数、马达的转数或车轮旋转的速度之类的信息。
相机300的参数包括内部参数和外部参数。
相机300的内部参数是与车辆状态无关地确定的相机特有的信息，诸如相机透镜的焦距、透镜的畸变特点以及透镜的安装位置的误差。
相机300的外部参数是以车辆10的自身位置和姿势为车辆10的中心的关于安装每个相机300的位置和朝向的信息，即，将车辆10的中心用作参考的关于相机300的位置和姿势的信息。
用于预测车辆在T+N处的位置和姿势的单元503基于从信息获取单元502输出的关于车辆10在时间T处的位置和姿势的信息以及车辆10在时间T处的车辆状态信息来预测车辆10在T+N处的位置和姿势。用于预测车辆在T+N处的位置和姿势的单元503将预测结果输出到用于预测图像中太阳的位置的单元504。
用于预测图像中太阳的位置的单元504基于相机300的参数信息、关于车辆在T+N处的位置和姿势的信息、关于日期和时间/天气的信息506以及地图信息507来预测在T+N处预测要被相机300捕获的图像中太阳的位置。
具体而言，首先，使用日期和时间信息、关于车辆10在T+N处的预测的位置和姿势的信息以及地图信息507，用于预测图像中太阳的位置的单元504计算在预测车辆10在T+N处存在的位置中太阳的高度(仰角)和方位角。
接下来，用于预测图像中太阳的位置的单元504基于关于天气的天气信息来确定太阳在预测车辆10在T+N处存在的位置处是否将出现。
例如，当用于预测图像中太阳的位置的单元504根据天气信息确定太阳在晴朗的天气下将出现时，用于预测图像中太阳的位置的单元504基于关于在T+N处太阳的高度和方位角的信息、关于车辆10的位置和姿势的信息以及相机300的参数信息来预测在T+N处预测要由相机300捕获的图像中太阳的位置。
另一方面，当用于预测图像中太阳的位置的单元504已经根据天气信息确定在阴雨天气太阳不会出现时，用于预测图像中太阳的位置的单元504预测太阳将不会在T+N处由相机300捕获的图像中反射。
在此，例如，可以通过服务器装置500与存在于外部网络中的应用服务器通信来获取关于日期和时间/天气的信息506。
地图信息507被预先存储在服务器装置500中，并且在必要时以预设间隔被更新。
由用于预测图像中太阳的位置的单元504针对图像中太阳的位置执行的预测的结果被输出到控制预测单元505。
基于针对图像中太阳的位置执行的预测的输入结果，控制预测单元505预测针对感测设备执行的控制。关于由控制预测单元505预测的控制的控制预测信息通过通信单元501被发送到车辆10。
针对感测设备执行的控制包括针对相机300执行的控制和在自身位置估计系统200中针对感测设备执行的控制。
针对相机300执行的控制包括曝光控制和测光区域控制。
首先，描述作为针对相机300执行的控制的曝光控制。
一般而言，在相机300中，相机300中包括的图像传感器接收来自被摄体的光，并且取决于接收到的光量的图像信号被供应给测光单元。在测光单元中，基于图像信号执行测光，并且基于作为测光值获得的亮度值来计算适当的曝光值。基于计算出的曝光值执行曝光控制。
当基于在时间T处计算出的曝光值执行曝光控制时，在T+M(M>0)(即，在自时间T起经过M分钟之后)获得在时间T处适当的曝光条件下捕获的图像。换句话说，不可能在时间T处适当的曝光条件下获得对于时间T完美的图像，因此发生时滞。
另一方面，在车辆10的相机300中，可以基于由服务器装置500预测的关于在T+N处针对相机300执行的曝光控制的控制预测信息来预先设置在T+N处用于相机300执行图像捕获的曝光条件。这使得能够在对于T+N处的状态的适当曝光条件下在T+N处执行图像捕获而没有时滞。
曝光控制的示例包括诸如快门速度的调整和图像信号的增益的调整之类的控制。例如，当在图像中太阳被反射时，由于太阳使图像太清晰，因此控制预测单元505预测诸如增加快门速度和降低增益之类的曝光控制。
关于控制预测的信息被发送到车辆10，并且基于所发送的信息来执行针对相机300的曝光控制。这是在T+N处执行图像捕获时的曝光条件。
在此，当在自身位置估计系统200中使用图像来估计自身位置和姿势时，由于在提取特征点时太阳在图像中被反射而使得图像中的特征点的视线可能丢失或图像中的特征点可能被错误地识别，并且这会导致估计自身位置和姿势的准确性下降。
另一方面，在本实施例中，预先预测在T+N处图像中太阳的反射以预测曝光控制，使得可以获得适当的图像。可以在基于关于预测的信息的曝光条件下在T+N处捕获要捕获的图像。
这使得车辆10能够获得以足够的曝光捕获并且适于T+N处的状态的图像。因此，在使用图像估计自身位置和姿势时，可以使用在适当的曝光条件下捕获并且其中特征点的视线不太可能丢失的图像，并且这使得估计自身位置和姿势的准确性得到提高。
接下来，描述作为针对相机300执行的控制的测光区域控制。
例如，当在图像中太阳被反射时，控制预测单元505预测执行的测光区域控制，使得图像中太阳被反射的区域被排除在测光区域之外。关于由控制预测单元505预测的控制的控制预测信息通过通信单元501被发送到车辆10。
在此，当在图像中太阳被反射时，其中太阳被反射的区域和图像中的该区域的周围过亮，而除过亮区域以外的区域暗，这导致过厚的阴影。当使用这种图像在自身位置估计系统200中估计自身位置和姿势时，图像中的特征点的视线可能丢失或者图像中的特征点可能被错误地识别。
另一方面，在本实施例中，预先预测太阳的反射，并且图像中太阳被反射的区域被排除在执行测光的测光区域之外。这使得可以提供适当的图像而没有过厚的阴影。因此，在使用图像估计自身位置和姿势时，可以提供其中特征点的视线不太可能丢失的适当的图像，并且这使得估计自身位置和姿势的准确性得到提高。
在自身位置估计系统200中针对感测设备执行的控制包括在估计自身位置和姿势时执行并且与将权重指派给图像信息和车辆状态检测信息有关的控制、在估计自身位置和姿势时执行的特征点提取遮蔽区域的控制，以及在估计自身位置和姿势时执行并且与将权重指派给来自多个相机300的各个图像信息相关的控制。
首先，描述与向图像信息和车辆状态检测信息指派权重相关的控制。
例如，当在图像中太阳被反射时，其中太阳被反射的区域和图像中该区域的周围会过亮，而除过亮区域以外的区域暗，这导致过厚的阴影。当使用这种图像在自身位置估计系统200中估计自身位置和姿势时，特征点的视线可能丢失或者特征点可能被错误地识别。
在这种情况下，控制预测单元505预测所执行的控制，使得车辆状态检测信息比图像信息具有更大的权重，以在自身位置估计系统200中估计自身位置和姿势。由于自身位置和姿势是基于关于这种控制预测的信息在车辆10中估计的，因此估计自身位置和姿势的准确性得到提高。
接下来，描述特征点提取遮蔽区域的控制。
例如，当在图像中太阳被反射时，由于太阳的光辉，在图像中太阳被反射的区域中图像中的特征点的视线可能丢失或者图像中的特征点可能被错误地识别。
在这种情况下，控制预测单元505预测执行的控制，使得在使用图像在自身位置估计系统200中估计自身位置和姿势时，图像中太阳被反射的区域被设置为不用于提取特征点的区域(特征点提取遮蔽区域)。
在车辆10中，基于关于这种控制预测的信息，首先将太阳被反射的区域遮蔽以设置不从其提取特征点的区域，然后提取特征点以估计自身位置和姿势。这使得使用图像估计自身位置和姿势的准确性得到提高。
接下来，描述与将权重指派给来自多个相机300的各个图像信息相关的控制。
例如，控制预测单元505对执行的控制进行预测，使得在使用图像估计自身位置和姿势时，来自捕获其中太阳被反射的图像的相机300的图像信息被轻度加权，而来自除捕获其中太阳被反射的图像的相机300之外的相机300的图像信息被重度加权。
在车辆10中，基于关于这种控制预测的信息，由捕获其中太阳未被反射的图像的相机300获取的图像主要用于估计自身位置和姿势。这使得使用图像估计自身位置和姿势的准确性得到提高。
[控制预测处理]
图6图示了在服务器装置500中执行的控制预测处理的流程，以生成关于针对感测设备执行的控制的预测的控制预测信息。S表示步骤。
当开始控制预测处理时，信息获取单元502从车辆10并通过通信单元501获取关于车辆10的信息，诸如关于相机300的参数的参数信息、关于车辆10的位置和姿势的信息，以及关于车辆10的状态的信息(S1)。
接下来，用于预测在T+N处的位置和姿势的单元503基于从信息获取单元502输出的关于车辆10在时间T处的位置和姿势的信息以及车辆10在时间T处的车辆状态信息来预测车辆10在T+N处的位置和姿势(S2)。
接下来，用于预测图像中太阳的位置的单元504基于相机300的参数信息、关于车辆在T+N处的位置和姿势的信息、关于日期和时间/天气的信息506以及地图信息507来预测在T+N处预测要由相机300捕获的图像中太阳的位置(S3)。
接下来，基于关于图像中太阳的预测的位置的信息，控制预测单元505预测针对感测设备执行的控制，并生成控制预测信息(控制预测信号)(S4)。
接下来，通信单元501将生成的控制预测信息发送到车辆10(S5)。
服务器装置500包括计算机的配置所需的诸如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD)之类的硬件。
在服务器装置500中，通过将存储在ROM中的程序加载到RAM中并执行该程序来执行上述控制预测处理，以生成关于针对感测设备执行的控制的预测的控制预测信息。
如上所述，在根据本实施例的控制系统1中，针对安装在车辆10中的相机300和自身位置估计系统200执行使得由于在T+N处捕获的图像中太阳的反射引起的影响减轻的控制是基于关于车辆10在时间T处的位置和姿势的信息、地图信息507和关于日期和时间/天气的信息506来预测的。
在车辆10中，基于关于这种控制预测的信息来执行针对安装在车辆10中的相机300和自身位置估计系统200执行的控制。因此，可以在T+N处无时滞地获得适于车辆在T+N处的状态并且减轻了由于太阳(干扰因素)的反射而引起的影响的图像。这使得获得高度稳健的控制系统。
<第二实施例>
[控制系统的配置的示例]
在本实施例中，以隧道作为干扰因素的示例进行描述。
图1是本技术适用于的感测设备的控制系统1000的示意性功能配置的示例的框图。
图8是控制系统1000中的服务器装置(信息处理装置)的功能配置的框图。
在下面的描述中，与第一实施例相同的结构元件可以由相同的附图标记表示，并且可以省略其描述。
控制系统1000包括安装在作为移动物体的车辆10中的车辆控制系统100和用作信息处理装置的服务器装置1500。车辆控制系统100和服务器装置1500能够例如通过无线通信网络彼此通信。
服务器装置1500包括通信单元501、信息获取单元502、用于预测车辆在T+N处的位置和姿势的单元503、用于预测图像中干扰因素(隧道)的位置的单元1504(下文中称为用于预测图像中隧道的位置的单元)，以及控制预测单元1505。
信息获取单元502从车辆10并且通过通信单元501获取关于相机300的参数的参数信息、关于车辆10的位置和姿势的信息以及车辆10的车辆状态信息。
关于相机300的参数的参数信息被输出到用于预测图像中隧道的位置的单元504。
在本实施例中，用于预测图像中隧道的位置的单元1504预测图像中隧道(干扰因素)的位置。
用于预测图像中隧道的位置的单元1504基于关于车辆10在T+N处的预测的自身位置和姿势的信息以及地图信息507来预测在T+N处捕获的图像中隧道的位置。隧道位置预测信息被输出到控制预测单元1505。地图信息507包括隧道位置信息。
基于关于图像中隧道的位置的输入信息，控制预测单元1505预测针对感测设备执行的控制。关于由控制预测单元1505预测的控制的控制预测信息通过通信单元501被发送到车辆10。
针对感测设备执行的控制包括针对相机300执行的控制、在自身位置估计系统200中针对感测设备执行的控制以及针对相机300和自身位置估计系统200两者执行的控制。
针对相机300执行的控制包括曝光控制和测光区域控制。
控制预测单元1505基于对在T+N处捕获的图像中隧道的位置的预测结果来预测在T+N处针对相机300执行的曝光控制。关于控制预测的信息被发送到车辆10。基于所发送的信息，在车辆10中执行针对相机300的曝光控制。这是在T+N处执行图像捕获时的曝光条件。
例如，预测诸如降低快门速度和增加增益之类的曝光控制，使得不会获得暗图像并且隧道的内部出现在适当的图像中，因为其在隧道中变暗。
另外，控制预测单元1505基于对在T+N处捕获的图像中隧道的位置的预测结果来预测在T+N处针对相机300执行的测光区域控制。关于控制预测的信息被发送到车辆10，并且基于所发送的信息来执行针对相机300的测光区域控制。这是在T+N处执行图像捕获时的测光区域条件。
例如，当在车辆10进入隧道之前隧道的入口与车辆10之间存在一定距离时，控制预测单元1505预测执行的控制以使得设置除隧道内部的区域以外的区域作为测光区域并且使得除隧道内部的区域以外的区域出现在适当的图像中，但是图像中隧道所在的区域表现出加厚的阴影。换句话说，控制预测单元1505预测执行的控制，使得获得基于隧道外部的亮度而不是隧道内部的亮度的图像。
同样，当在车辆位于隧道内的状态下隧道的出口出现在图像中并且当车辆在某种程度上接近隧道的出口时，控制预测单元1505预测执行的控制，使得除隧道内部的区域以外的区域被设置为测光区域。
当车辆10接近隧道的入口并且当车辆10接近隧道一定距离以上时，控制预测单元1505预测执行的控制，使得隧道内部的区域被设置为测光区域，并且使得隧道内部在适当的图像中出现。换句话说，控制预测单元1505预测执行的控制，使得获得基于隧道内部的亮度的图像。
同样，当在车辆位于隧道内部的状态下隧道的出口尚未出现在图像中时，或者当在车辆位于隧道内部的状态下隧道的出口出现在图像中但是车辆仍然远离隧道的出口时，控制预测单元1505预测执行的控制，使得隧道内部的区域被设置为测光区域。
针对被执行以使得隧道外部的区域被设置为测光区域的控制和被执行以使得隧道内部的区域被设置为测光区域的控制，可以例如取决于图像中隧道出现的区域的比例来确定选择哪个控制。
另外，针对当隧道外部的区域被设置为测光区域时捕获的图像和当隧道内部的区域被设置为测光区域时捕获的图像，控制预测单元1505预测执行的控制，使得对两个图像进行插值，以使图像之间不存在急剧的改变。
注意的是，当隧道外部的区域被设置为测光区域时，执行基于太阳的位置针对相机或自身位置估计系统执行的根据上述第一实施例的控制，或者执行基于结构的阴影针对相机或自身位置估计系统执行的根据稍后描述的第三实施例的控制。
这使得可以在适于T+N处的状态的测光条件或曝光条件下在车辆10中执行图像捕获。
在自身位置估计系统200中针对感测设备执行的控制包括在估计自身位置和姿势时执行并且与将权重指派给图像信息和车辆状态检测信息相关的控制，以及在估计自身位置和姿势时执行并且与将权重指派给分别从多个相机300获取的图像信息相关的控制。
控制预测单元1505预测如何在自身位置估计系统200中对图像信息和车辆状态检测信息分别进行加权以用于估计车辆10的位置。
例如，由于隧道中是暗的，因此当在自身位置估计系统200中使用图像信息来估计自身位置和姿势时，特征点的视线可能会丢失或者特征点可能被错误地识别。在这种情况下，控制预测单元1505预测执行的控制，使得在自身位置估计系统200中估计自身位置和姿势时，使用图像信息执行的估计的结果被轻度加权，而使用车辆状态检测信息执行的估计的结果被重度加权。
由于基于关于这种控制预测的信息来估计车辆10中的自身位置和姿势，因此估计车辆10的自身位置和姿势的准确性得到提高。
另外，控制预测单元1505预测针对在自身位置估计系统200中如何对由多个相机300获取的各个图像信息进行加权的控制，以用于估计车辆10的位置和姿势。针对将权重指派给相机300的控制的示例包括在估计自身位置和姿势时使用的相机300的选择。
例如，预测被执行的控制，使得关于由朝着隧道定向的相机300捕获的图像的图像信息不被使用或被轻度加权。
接下来，描述针对相机300和自身位置估计系统200两者执行的控制。
控制预测单元1505预测执行的控制，使得相机300对于每一帧以第一模式和第二模式交替地执行图像捕获。此外，控制预测单元1505预测针对在第一模式下捕获的图像和第二模式下捕获的图像中的哪一个被用于在自身位置估计系统200中估计T+N处的自身位置所执行的控制。
关于控制预测的信息被发送到车辆10。在车辆10中，基于该信息在自身位置估计系统200中估计车辆10的自身位置和姿势。
当除隧道内部的区域以外的区域被设置为测光区域时，第一模式是图像捕获模式。在该模式下，执行设置以使得除隧道内部的区域以外的区域出现在以适当的曝光捕获的图像中，但是图像中隧道所在的区域表现出加厚的阴影。
当隧道内部的区域被设置为测光区域时，第二模式是图像捕获模式。在该模式下，执行设置，使得隧道的内部出现在以足够的曝光捕获的图像中。在第二模式中，执行诸如降低快门速度和增加增益之类的控制。
快门速度和增益的模式在第一模式和第二模式之间切换。
在车辆10中，基于包括图像信息和指示在第一模式下捕获的图像和在第二模式下捕获的图像中的哪一个在估计自身位置时使用的信息的控制预测信息，在车辆10中执行估计自身位置和姿势的处理，图像信息是关于对于每一帧通过在第一模式下和在第二模式下交替执行图像捕获而获得的图像的信息。
在基于指示使用在第一模式下捕获的图像的控制预测信息执行的估计自身位置和姿势的处理的情况下，在自身位置估计系统200中从获取的图像信息中提取在第一模式下捕获的图像，并且基于提取出的图像来执行估计自身位置和姿势的处理。
另一方面，在基于指示使用在第二模式下捕获的图像的控制预测信息执行的估计自身位置和姿势的处理的情况下，在自身位置估计系统200中从获取的图像信息中提取在第二模式下捕获的图像，并且基于提取出的图像来执行估计自身位置和姿势的处理。
注意的是，在此，已经描述了如下示例，其中控制预测信息包括指示第一模式下的图像和第二模式下的图像中的哪一个被用于执行估计自身位置和姿势的处理的信息，并且在估计自身位置时使用在第一模式下捕获的图像和在第二模式下捕获的图像中的一个。
此外，控制预测信息可以包括如下信息，该信息指示使用在第一模式下捕获的图像执行的估计自身位置和姿势的处理的结果以及使用在第二模式下捕获的图像执行的估计自身位置和姿势的处理的结果如何分别被加权以彼此积分。
在这种控制预测信息的情况下，在自身位置估计系统200中针对每种模式执行估计自身位置和姿势的处理，即，使用关于在第一模式下捕获的图像的图像信息来执行估计自身位置和姿势的处理，以及使用关于在第二模式下捕获的图像的图像信息来执行估计自身位置和姿势的处理。然后，使用通过将权重指派给各个模式下的处理结果并且对加权的处理结果进行积分而获得的结果，在自身位置估计系统200中执行估计自身位置和姿势的处理。
[控制预测处理]
图8图示了在服务器装置1500中执行的控制预测处理的流程，以生成关于针对感测设备执行的控制的预测的控制预测信息。
当开始控制预测处理时，信息获取单元502从车辆10并通过通信单元501获取关于相机300的参数的参数信息、关于车辆10在时间T处的位置和姿势的信息，以及车辆10在时间T处的车辆状态信息(S11)。
接下来，用于预测在T+N处的位置和姿势的单元503基于从信息获取单元502输出的关于车辆10在时间T处的位置和姿势的信息以及车辆10在时间T处的车辆状态信息，预测车辆10在T+N处的位置和姿势(S12)。
接下来，用于预测图像中隧道的位置的单元1504基于相机300的参数信息、关于车辆在T+N处的位置和姿势的信息以及地图信息507来预测在T+N处预测要由相机300捕获的图像中隧道的位置，并且预测隧道是否将出现在图像中(S13)。
当在S13中执行的确定为“否”时，处理返回到S11以重复执行。
当在S13中执行的确定为“是”时，处理移至S14。
在S14中，基于隧道位置信息，控制预测单元1505预测针对感测设备执行的控制，并生成控制预测信息(控制预测信号)。
接下来，通信单元501将生成的控制预测信息发送到车辆10(S15)。
服务器装置1500包括计算机的配置所需的硬件，诸如CPU、ROM、RAM和HDD。
在服务器装置1500中，通过将存储在ROM中的程序加载到RAM中并执行该程序来执行上述控制预测处理，以生成关于针对感测设备执行的控制的预测的控制预测信息。
如上所述，在根据本实施例的控制系统1000中，基于关于车辆10在时间T的位置和姿势的信息以及地图信息507，预测针对安装在车辆10中的相机300和自身位置估计系统200执行的使得由于在T+N处捕获的图像中隧道的出现引起的影响减轻的控制。
在车辆10中，基于关于这种控制预测的信息来执行针对安装在车辆10中的相机300和自身位置估计系统200执行的控制。因此，可以在T+N处无时滞地获得适于在T+N处的车辆状态并且其中减轻了由于隧道(干扰因素)的出现而引起的影响的图像。这使得获得高度稳健的控制系统。
<第三实施例>
在本实施例中，以作为静止物体的结构(诸如建筑结构)的阴影作为干扰因素的示例进行描述。在下面的描述中，以建筑物作为结构的示例。
图1是本技术适用的感测设备的控制系统2000的示意性功能配置的示例的框图。
图9是在控制系统2000中用作信息处理装置的服务器装置2500的功能配置的框图。
在下面的描述中，与第一实施例相同的结构元件可以由相同的附图标记表示，并且可以省略其描述。
控制系统2000包括安装在作为移动物体的车辆10中的车辆控制系统100和用作信息处理装置的服务器装置2500。车辆控制系统100和服务器装置2500能够例如通过无线通信网络彼此通信。
服务器装置2500包括通信单元501、信息获取单元502、用于预测车辆在T+N处的位置和姿势的单元503、用于预测图像中干扰因素(建筑物的阴影)的位置的单元2504(下文中称为用于预测图像中建筑物的阴影的位置的单元)和控制预测单元2505。
信息获取单元502从车辆10并且通过通信单元501获取关于相机300的参数的参数信息、关于车辆10的位置和姿势的信息以及车辆10的车辆状态信息。
关于相机300的参数的参数信息被输出到用于预测图像中建筑物的阴影的位置的单元2504。
用于预测图像中建筑物的阴影的位置的单元2504预测图像中建筑物的阴影(干扰因素)的位置。
用于预测图像中建筑物的阴影的位置的单元2504基于相机300的参数信息、关于车辆10在T+N处的自身位置和姿势的信息、关于日期和时间/天气的信息506以及地图信息507，预测在T+N处预测要由相机300捕获的图像中建筑物的阴影的位置。
具体而言，首先，使用日期和时间信息、关于车辆10在T+N处的预测的自身位置和姿势的信息以及地图信息507，用于预测图像中建筑物的阴影的位置的单元2504计算在T+N处太阳的高度(仰角)和方位角。地图信息507包括建筑物位置信息。
接下来，用于预测图像中建筑物的阴影的位置的单元2504基于关于在T+N处车辆10的位置处的天气的天气信息来确定太阳是否会出现。
例如，当用于预测图像中建筑物的阴影的位置的单元2504已经确定太阳在晴朗的天气将出现时，用于预测图像中建筑物的阴影的位置的单元2504基于关于在T+N处太阳的高度和方位角的信息、关于车辆10的自身位置和姿势的信息、相机300的参数信息和地图信息507来预测在T+N处由相机300捕获的图像中建筑物的阴影的位置。
由用于预测图像中建筑物的阴影的位置的单元2504针对图像中建筑物的阴影的位置执行的预测的结果被输出到控制预测单元2505。
基于关于图像中建筑物的阴影的位置的输入信息，控制预测单元2505预测针对感测设备执行的控制。关于由控制预测单元2505预测的控制的控制预测信息通过通信单元501被发送到车辆10。
针对感测设备执行的控制包括针对相机300执行的控制、在自身位置估计系统200中针对感测设备执行的控制，以及针对相机300和自身位置估计系统200两者执行的控制。
针对相机300执行的控制包括曝光控制和测光区域控制。
基于关于在T+N处的图像中建筑物的阴影的位置的信息，控制预测单元2505预测针对曝光执行的控制，诸如快门速度的调整和图像信号的增益的调整。
例如，当建筑物的阴影出现在图像中时，控制预测单元2505预测曝光控制，诸如降低快门速度并增加增益，因为图像可能变暗。
关于控制预测的信息被发送到车辆10。基于所发送的控制预测信息，在车辆10中执行针对相机300的曝光控制，并且这是在T+N处执行图像捕获时的曝光条件。
这使得车辆10能够获得以足够的曝光捕获的并且适于T+N处的状态的图像。
另外，当在自身位置估计系统200中使用图像来估计自身位置和姿势时，可以使用以足够的曝光捕获并且其中特征点的视线不太可能丢失的图像，并且这使得能够提高估计自身位置和姿势的准确性。
基于关于在T+N处的图像中建筑物的阴影的位置的信息，控制预测单元2505预测针对测光区域执行的控制。关于由控制预测单元2505预测的控制的控制预测信息通过通信单元501被发送到车辆10。在车辆10中基于所发送的控制预测信息来执行针对相机300的测光区域控制，并且这是在T+N处执行图像捕获时的测光条件。
例如，当建筑物的阴影出现在图像中时，控制预测单元2505预测执行的测光区域控制，使得将图像中建筑物的阴影出现的区域排除在测光区域之外，因为建筑物的阴影出现的区域变暗。
具体而言，只要建筑物的阴影与车辆之间存在一定距离或更远，控制预测单元2505就预测执行的控制，使得图像中建筑物的阴影区域以外的区域被设置为测光区域，并且使得建筑物的阴影区域以外的区域在适当的图像中出现，但是建筑物的阴影区域表现出加厚的阴影。
另一方面，当建筑物的阴影和车辆10彼此接近一定距离以上时，控制预测单元2505预测执行的控制，使得建筑物的阴影区域被设置为测光区域，并且使得阴影区域出现在适当的图像中。
另外，针对当建筑物的阴影被设置为测光区域时捕获的图像和当建筑物的阴影以外的区域被设置为测光区域时捕获的图像，控制预测单元2505预测执行的控制，使得对两个图像进行插值，以使图像之间不存在急剧的改变。
这使得可以获得适合于状态的图像。
另外，可以在自身位置估计系统200中使用其中特征点的视线不太可能丢失的图像来估计自身位置和姿势，并且这使得能够提高估计自身位置和姿势的准确性。
在自身位置估计系统200中针对感测设备执行的控制包括在估计自身位置和姿势时执行并且与将权重指派给图像信息和车辆状态检测信息相关的控制，以及在估计自身位置和姿势时执行并且与将权重指派给分别从多个相机300获取的各个图像信息相关的控制。
基于关于在T+N处的图像中建筑物的阴影的位置的信息，控制预测单元2505预测在自身位置估计系统200中如何对图像信息和车辆状态检测信息分别进行加权以用于估计车辆10的自身位置和姿势。
例如，当控制预测单元2505预测由于建筑物的阴影屏幕将变暗并且提取特征点的准确性将下降时，控制预测单元2505预测执行的控制，使得当在自身位置估计系统200中估计自身位置和姿势时，使用图像信息执行的估计的结果被轻度加权，而使用车辆状态检测信息执行的估计的结果被重度加权。
关于控制预测的信息被发送到车辆10。由于基于关于这种控制预测的信息来在车辆10中估计自身位置和姿势，因此估计自身位置和姿势的准确性得到提高。
另外，控制预测单元2505预测针对如何在自身位置估计系统200中对由多个相机300获取的各个图像信息进行加权以用于估计车辆的位置和姿势而执行的控制。
例如，预测执行的控制，使得关于由朝着建筑物的阴影定向的相机300捕获的图像的图像信息不被使用或被轻度加权。
接下来，描述针对相机300和自身位置估计系统200两者执行的控制。
控制预测单元2505预测执行的控制，使得相机300对于每一帧以第一模式和第二模式交替地执行图像捕获。此外，控制预测单元2505预测针对在第一模式下捕获的图像和在第二模式下捕获的图像中的哪一个被用于在自身位置估计系统200中估计T+N处的自身位置而执行的控制，或者针对使用在第一模式下捕获的图像执行的在T+N处的自身位置的估计的结果以及使用在第二模式下捕获的图像执行的在T+N处的自身位置的估计的结果如何分别被加权以彼此积分用于在自身位置估计系统200中估计在T+N处的自身位置而执行的控制。
关于控制预测的信息被发送到车辆10。在车辆10中，基于该信息，由相机300捕获图像，并且进一步，在自身位置估计系统200中估计车辆10的自身位置和姿势。
当将除建筑物的阴影区域以外的区域设置为测光区域时，第一模式是图像捕获模式。在该模式下，执行设置，使得建筑物的阴影区域以外的区域出现在以适当曝光捕获的图像中，但是图像中建筑物的阴影区域表现出加厚的阴影。
当建筑物的阴影区域被设置为测光区域时，第二模式是图像捕获模式。在这种模式下，执行设置，使得建筑物的阴影区域出现在以适当曝光捕获的图像中。在第二模式下，执行曝光控制，诸如降低快门速度和增加增益。
快门速度和增益的模式在第一模式和第二模式之间切换。
基于控制预测信息在车辆10中执行估计车辆10的自身位置和姿势的处理，控制预测信息包括图像信息以及指示在第一模式下捕获的图像和在第二模式下捕获的图像中的哪一个在估计自身位置时被使用或指示如何对在各个模式下估计自身位置和姿势的结果进行加权以彼此积分的信息，图像信息是关于通过对于每一帧在第一模式下和在第二模式下交替地执行图像捕获而获得的图像的信息，估计各个模式下自身位置和姿势的结果是使用在两种模式下捕获的图像获得的。
在基于指示使用在第一模式下捕获的图像的控制预测信息执行的估计自身位置和姿势的处理的情况下，在自身位置估计系统200中从获取的图像信息中提取在第一模式下捕获的图像，并且基于提取出的图像来执行估计自身位置和姿势的处理。
在基于指示使用在第二模式下捕获的图像的控制预测信息执行的估计自身位置和姿势的处理的情况下，在自身位置估计系统200中从获取的图像信息中提取在第二模式下捕获的图像，并且基于提取出的图像来执行估计自身位置和姿势的处理。
在基于指示使用通过将权重指派给在各个模式下估计自身位置和姿势的结果所获得的结果并对加权的结果进行积分的控制预测信息执行估计自身位置和姿势的处理的情况下，在自身位置估计系统200中针对每种模式执行估计自身位置和姿势的处理，即，使用关于在第一模式下捕获的图像的图像信息来执行估计自身位置和姿势的处理，以及使用关于在第二模式下捕获的图像的图像信息来执行估计自身位置和姿势的处理。然后，使用通过将权重指派给各个模式下的处理结果并且对加权的处理结果进行积分而获得的结果，在自身位置估计系统200中执行估计自身位置和姿势的处理。
[控制预测处理]
图10图示了在服务器装置2500中执行的控制预测处理的流程，以生成关于针对感测设备执行的控制的预测的控制预测信息。
当开始控制预测处理时，信息获取单元502从车辆10并通过通信单元501获取关于相机300的参数的参数信息、关于车辆10的位置和姿势的信息以及车辆10的车辆状态信息(S21)。
接下来，用于预测在T+N处的位置和姿势的单元503基于从信息获取单元502输出的关于车辆10在时间T处的位置和姿势的信息以及车辆10在时间T处的车辆状态信息来预测车辆10在T+N处的位置和姿势(S22)。
接下来，用于预测图像中建筑物的阴影的位置的单元2504基于相机300的参数信息、关于车辆在T+N处的位置和姿势的信息、关于日期和时间/天气的信息506以及地图信息507来预测在T+N处预测要由相机300捕获的图像中建筑物的阴影的位置，并预测建筑物的阴影是否会出现在图像中(S23)。
当在S23中执行的确定为“否”时，处理返回到S21以重复执行。
当在S23中执行的确定为“是”时，处理移至S24。
在S24中，基于关于建筑物的阴影的位置的信息，控制预测单元2505预测针对感测设备执行的控制，并生成控制预测信息(控制预测信号)。
接下来，通信单元501将生成的控制预测信息发送到车辆10(S25)。
服务器装置2500包括计算机的配置所需的硬件，诸如CPU、ROM、RAM和HDD。
在服务器装置2500中，通过将存储在ROM中的程序加载到RAM中并执行该程序来执行上述控制预测处理，以生成关于针对感测设备执行的控制的预测的控制预测信息。
如上所述，在根据本实施例的控制系统2000中，针对安装在车辆10中的相机300和自身位置估计系统200执行的使得在T+N处捕获的图像中由于结构的阴影的出现而引起的影响减轻的控制是基于关于车辆10在时间T处的位置和姿势的信息、地图信息507以及关于日期和时间/天气的信息506预测的。
在车辆10中，基于关于这种控制预测的信息执行针对安装在车辆10中的相机300和自身位置估计系统200执行的控制。因此，可以在T+N处无时滞地获得适于车辆在T+N处的状态并且其中由于结构的阴影(干扰因素)的出现而引起的影响减轻的图像。这使得获得高度稳健的控制系统。
<其它实施例>
本技术的实施例不限于上述实施例，并且可以在不背离本技术的精神的情况下对其进行各种修改。
例如，在上述实施例中，已经描述了将由服务器装置500(1500、2500)生成的控制预测信息发送到安装有获取图像信息的相机的车辆10的示例。但是，可以将控制预测信息发送到车辆10以外的另一个车辆。在此，为了将本车辆10与该另一个车辆区别开来，将车辆10称为本车辆10。
作为第二车辆的另一个车辆遵循与作为第一车辆的本车辆10行驶的路线相同的路线，并且该另一个车辆在时间T+N'处经过特定位置，该特定位置与车辆10在时间T+N(N'>N)经过的位置相同，时间T+N'是自时间T+N起仅一小段时间之后的时间。
关于针对车辆10在T+N处执行的控制的预测的控制预测信息被发送到该另一个车辆，控制的预测由服务器装置500(1500、2500)执行。
当该另一个车辆到达与预测车辆10在T+N处存在的位置相同的位置时，基于接收到的控制预测信息在该另一个车辆中执行与在车辆10中执行并且在上述各个实施例中描述的处理相似的针对感测设备的处理。
服务器装置500(1500、2500)仅从该另一个车辆获取关于该另一个车辆的位置和姿势的信息。作为关于在时间T+N'处针对该另一个车辆的感测设备执行的控制的预测的控制预测信息，服务器装置500(1500、2500)向该另一个车辆发送关于在T+N处针对本车辆10执行的控制的预测的控制预测信息。
换句话说，基于由信息获取单元502获取的关于车辆10在时间T处的位置和姿势的信息，并且基于地图信息，控制预测单元505(1505、2505)将在T+N处针对本车辆10的感测设备执行的控制的预测设置为针对该另一个车辆的感测设备执行的控制的预测，在T+N处针对本车辆10的感测设备执行的控制的预测是由控制预测单元505(1505、2505)预测的。
如上所述，相似的控制预测信息可以由多个车辆共享。
另外，在上述实施例中，已经描述了其中控制预测信息包括关于针对相机执行的控制的预测的控制预测信息、关于在自身位置估计系统中针对感测设备执行的控制的预测的控制预测信息以及关于针对相机和自身位置估计系统两者执行的控制的预测的控制预测信息的示例。但是，可以使用这些控制预测信息中的一个，或者可以使用其组合。
此外，在上述实施例中，已经描述了应用本技术以便捕获在自身位置估计系统中使用的图像的示例，但是应用不限于此。例如，本技术可以被用于执行针对用于捕获存储在行车记录仪中的视频的相机执行的曝光控制和测光控制，并且这使得可以获得受到干扰因素的较少影响的视频。
而且，可以组合根据上述各个实施例的控制系统。
另外，在上述实施例中，系统是指多个结构元件(诸如设备和模块(组件))的集合，并且是否所有结构元件都在单个壳体中不是目标。因此，容纳在分开的壳体中并通过网络彼此连接的多个设备以及其中多个模块容纳在单个壳体中的单个设备都是系统。
注意的是，本技术也可以采用以下配置。
(1)一种信息处理装置，包括：
信息获取单元，获取关于包括感测设备的第一移动物体的位置和姿势的信息；以及
控制预测单元，基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的。
(2)根据(1)所述的信息处理装置，其中
感测设备包括图像捕获设备，
信息处理装置还包括
用于预测移动物体的位置和姿势的单元，该单元基于关于位置和姿势的信息来预测第一移动物体的位置和姿势，关于位置和姿势的信息是由信息获取单元获取的，以及
用于预测干扰因素的位置的单元，该单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果来预测由图像捕获设备捕获的图像中干扰因素的位置，以及
控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对图像捕获设备执行的控制。
(3)根据(2)所述的信息处理装置，其中
控制预测单元预测针对图像捕获设备执行的曝光控制。
(4)根据(2)或(3)所述的信息处理装置，其中
控制预测单元预测针对图像捕获设备执行的测光区域控制。
(5)根据(1)至(4)中的任一项所述的信息处理装置，其中
感测设备包括图像捕获设备，
第一移动物体包括自身位置估计系统，所述自身位置估计系统使用从来自图像捕获设备的图像信息中提取的特征点来估计第一移动物体的位置和姿势，
信息处理装置还包括
用于预测移动物体的位置和姿势的单元，该单元基于关于位置和姿势的信息来预测第一移动物体的位置和姿势，关于位置和姿势的信息是由信息获取单元获取的，以及
用于预测干扰因素的位置的单元，该单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果来预测由图像捕获设备捕获的图像中干扰因素的位置，以及
控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对自身位置估计系统执行的控制。
(6)根据(5)所述的信息处理装置，其中
控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测在自身位置估计系统中不执行图像中的特征点的提取的区域。
(7)根据(5)或(6)所述的信息处理装置，其中
感测设备包括图像捕获设备和检测第一移动物体的状态的移动物体状态检测传感器，
第一移动物体包括自身位置估计系统，所述自身位置估计系统使用图像信息和来自移动物体状态检测传感器的移动物体状态信息中的至少一个来估计第一移动物体的位置和姿势；以及
控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测图像信息和移动物体状态信息如何分别加权，图像信息和移动物体状态信息在自身位置估计系统中估计第一移动物体的位置和姿势时被使用。
(8)根据(5)至(7)中的任一项所述的信息处理装置，其中
感测设备包括多个图像捕获设备，以及
控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测来自多个图像捕获设备的各个图像信息如何被加权，各个图像信息在自身位置估计系统中估计第一移动物体的位置和姿势时被使用。
(9)根据(5)至(8)中的任一项所述的信息处理装置，其中
控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对图像捕获设备执行的控制。
(10)根据(2)至(9)中的任一项所述的信息处理装置，其中
干扰因素是太阳，以及
用于预测干扰因素的位置的单元基于地图信息、由用于预测移动物体的位置和姿势的单元执行的预测的结果以及太阳位置信息，预测由图像捕获设备捕获的图像中太阳的位置。
(11)根据(2)至(9)中的任一项所述的信息处理装置，其中
干扰因素是隧道，以及
用于预测干扰因素的位置的单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果，预测由图像捕获设备捕获的图像中隧道的位置。
(12)根据(2)至(9)中的任一项所述的信息处理装置，其中
干扰因素是结构的阴影，以及
用于预测干扰因素的位置的单元基于地图信息、由用于预测移动物体的位置和姿势的单元执行的预测的结果以及太阳位置信息，预测由图像捕获设备捕获的图像中由于结构而产生的阴影的位置。
(13)根据(1)至(9)中的任一项所述的信息处理装置，其中
如权利要求1所述的信息处理装置，其中
信息获取单元获取关于包括感测设备并且不同于第一移动物体的第二移动物体的位置和姿势的信息，以及
控制预测单元将针对第一移动物体的感测设备执行的控制的预测设置为针对第二移动物体的感测设备执行的控制的预测，针对第一移动物体的感测设备执行的控制的预测是由控制预测单元基于关于第一移动物体的位置和姿势的信息以及地图信息来执行的，关于第一移动物体的位置和姿势的信息是由信息获取单元获取的。
(14)一种移动物体，包括：
感测设备；以及
获取单元，所述获取单元获取关于移动物体的自身位置和姿势的信息，其中
根据关于针对感测设备执行的控制的预测的控制预测信息来控制感测设备，针对感测设备执行的控制是基于关于自身位置和姿势的信息以及地图信息来预测的，关于自身位置和姿势的信息是由获取单元获取的。
(15)一种控制系统，包括：
移动物体，所述移动物体包括感测设备；
信息获取单元，所述信息获取单元获取关于移动物体的位置和姿势的信息；
控制预测单元，所述控制预测单元基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的；以及
控制单元，所述控制单元基于关于由控制预测单元执行的控制预测的控制预测信息来执行针对感测设备的控制。
(16)一种信息处理方法，包括：
获取关于包括感测设备的移动物体的位置和姿势的信息；以及
基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制。
(17)一种程序，所述程序使信息处理装置执行处理，所述处理包括：
获取关于包括感测设备的移动物体的位置和姿势的信息；以及
基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制。
附图标记列表
1，1000，2000 控制系统
10 车辆(第一移动物体)
102 数据获取单元(获取单元)
200 自身位置估计系统
201 自身位置估计系统的控制单元(控制单元)
300 相机(感测设备、图像捕获设备)
301 相机控制单元(控制单元)
400 车辆状态检测传感器(感测设备、移动物体状态检测传感器)
500，1500，2500 服务器装置(信息处理装置)
502 信息获取单元
503 用于预测车辆在T+N处的位置和姿势的单元(用于预测移动物体的位置和姿势的单元)
504 用于预测图像中太阳的位置的单元(用于预测干扰因素的位置的单元)
505，1505，2505 控制预测单元
506 关于日期和时间/天气的信息
507 地图信息
1504 用于预测图像中隧道的位置的单元(用于预测干扰因素的位置的单元)
2504 用于预测图像中建筑物的阴影的位置的单元(用于预测干扰因素的位置的单元)

Claims (17)

1.一种信息处理装置，包括：
信息获取单元，所述信息获取单元获取关于包括感测设备的第一移动物体的位置和姿势的信息；以及
控制预测单元，所述控制预测单元基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的。
2.如权利要求1所述的信息处理装置，其中
所述感测设备包括图像捕获设备，
所述信息处理装置还包括
用于预测移动物体的位置和姿势的单元，该单元基于关于位置和姿势的信息来预测第一移动物体的位置和姿势，关于位置和姿势的信息是由信息获取单元获取的，以及
用于预测干扰因素的位置的单元，该单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果来预测由图像捕获设备捕获的图像中干扰因素的位置，以及
所述控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对图像捕获设备执行的控制。
3.如权利要求2所述的信息处理装置，其中
所述控制预测单元预测针对图像捕获设备执行的曝光控制。
4.如权利要求2所述的信息处理装置，其中
所述控制预测单元预测针对图像捕获设备执行的测光区域控制。
5.如权利要求1所述的信息处理装置，其中
所述感测设备包括图像捕获设备，
所述第一移动物体包括自身位置估计系统，所述自身位置估计系统使用从来自图像捕获设备的图像信息中提取的特征点来估计第一移动物体的位置和姿势，
所述信息处理装置还包括
用于预测移动物体的位置和姿势的单元，该单元基于关于位置和姿势的信息来预测第一移动物体的位置和姿势，关于位置和姿势的信息是由信息获取单元获取的，以及
用于预测干扰因素的位置的单元，该单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果来预测由图像捕获设备捕获的图像中干扰因素的位置，以及
所述控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对自身位置估计系统执行的控制。
6.如权利要求5所述的信息处理装置，其中
所述控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测在自身位置估计系统中不执行图像中的特征点的提取的区域。
7.如权利要求5所述的信息处理装置，其中
所述感测设备包括图像捕获设备和检测第一移动物体的状态的移动物体状态检测传感器，
所述第一移动物体包括自身位置估计系统，所述自身位置估计系统使用图像信息和来自移动物体状态检测传感器的移动物体状态信息中的至少一个来估计第一移动物体的位置和姿势；以及
所述控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测图像信息和移动物体状态信息如何分别加权，所述图像信息和移动物体状态信息在自身位置估计系统中估计第一移动物体的位置和姿势时被使用。
8.如权利要求5所述的信息处理装置，其中
所述感测设备包括多个图像捕获设备，以及
所述控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测来自所述多个图像捕获设备的各个图像信息如何被加权，所述各个图像信息在自身位置估计系统中估计第一移动物体的位置和姿势时被使用。
9.如权利要求5所述的信息处理装置，其中
所述控制预测单元基于由用于预测干扰因素的位置的单元执行的预测的结果，预测针对图像捕获设备执行的控制。
10.如权利要求2所述的信息处理装置，其中
所述干扰因素是太阳，以及
用于预测干扰因素的位置的单元基于地图信息、由用于预测移动物体的位置和姿势的单元执行的预测的结果以及太阳位置信息，预测由图像捕获设备捕获的图像中太阳的位置。
11.如权利要求2所述的信息处理装置，其中
所述干扰因素是隧道，以及
用于预测干扰因素的位置的单元基于地图信息和由用于预测移动物体的位置和姿势的单元执行的预测的结果，预测由图像捕获设备捕获的图像中隧道的位置。
12.如权利要求2所述的信息处理装置，其中
所述干扰因素是结构的阴影，以及
用于预测干扰因素的位置的单元基于地图信息、由用于预测移动物体的位置和姿势的单元执行的预测的结果以及太阳位置信息，预测由图像捕获设备捕获的图像中由于结构而产生的阴影的位置。
13.如权利要求1所述的信息处理装置，其中
所述信息获取单元获取关于包括感测设备并且不同于第一移动物体的第二移动物体的位置和姿势的信息，以及
所述控制预测单元将针对第一移动物体的感测设备执行的控制的预测设置为针对第二移动物体的感测设备执行的控制的预测，针对第一移动物体的感测设备执行的控制的预测是由控制预测单元基于关于第一移动物体的位置和姿势的信息以及地图信息来执行的，关于第一移动物体的位置和姿势的信息是由信息获取单元获取的。
14.一种移动物体，包括：
感测设备；以及
获取单元，所述获取单元获取关于移动物体的自身位置和姿势的信息，其中
根据关于针对感测设备执行的控制的预测的控制预测信息来控制感测设备，针对感测设备执行的控制是基于关于自身位置和姿势的信息以及地图信息来预测的，关于自身位置和姿势的信息是由获取单元获取的。
15.一种控制系统，包括：
移动物体，所述移动物体包括感测设备；
信息获取单元，所述信息获取单元获取关于移动物体的位置和姿势的信息；
控制预测单元，所述控制预测单元基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制，关于位置和姿势的信息是由信息获取单元获取的；以及
控制单元，所述控制单元基于关于由控制预测单元执行的控制预测的控制预测信息执行针对感测设备的控制。
16.一种信息处理方法，包括：
获取关于包括感测设备的移动物体的位置和姿势的信息；以及
基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制。
17.一种程序，所述程序使信息处理装置执行处理，所述处理包括：
获取关于包括感测设备的移动物体的位置和姿势的信息；以及
基于关于位置和姿势的信息以及地图信息来预测针对感测设备执行的控制。
CN201880078729.7A 2017-12-12 2018-11-06 信息处理装置、移动物体、控制系统、信息处理方法以及程序 Pending CN111448529A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017237534 2017-12-12
JP2017-237534 2017-12-12
PCT/JP2018/041145 WO2019116784A1 (ja) 2017-12-12 2018-11-06 情報処理装置、移動体、制御システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN111448529A true CN111448529A (zh) 2020-07-24

Family

ID=66820184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078729.7A Pending CN111448529A (zh) 2017-12-12 2018-11-06 信息处理装置、移动物体、控制系统、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US11698642B2 (zh)
EP (1) EP3726329A4 (zh)
JP (1) JP7200946B2 (zh)
CN (1) CN111448529A (zh)
WO (1) WO2019116784A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520880A (zh) * 2020-11-18 2022-05-20 华为技术有限公司 一种曝光参数调节方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046740B2 (ja) * 2018-07-02 2022-04-04 日立Astemo株式会社 予測制御装置
US20200409381A1 (en) * 2019-06-26 2020-12-31 Weel Autonomy Inc. Autonomous electronic bicycle navigation
US10754340B1 (en) 2019-06-26 2020-08-25 Weel Autonomy Inc. Virtual gearing in an autonomous electronic bicycle
US11654988B2 (en) 2019-06-26 2023-05-23 Weel Autonomy Inc. Balancing system in an autonomous electronic bicycle
DE102019214445A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Assistieren eines Kraftfahrzeugs
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN113016175A (zh) * 2020-07-20 2021-06-22 深圳市大疆创新科技有限公司 确定主摄像装置曝光参数的方法、系统、可移动平台及存储介质
CN118235162A (zh) * 2021-11-18 2024-06-21 索尼集团公司 信息处理装置、信息处理方法和程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
CN103513295A (zh) * 2013-09-25 2014-01-15 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
CN104137529A (zh) * 2012-02-13 2014-11-05 诺基亚公司 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
US20160379365A1 (en) * 2015-06-26 2016-12-29 Kabushiki Kaisha Topcon Camera calibration device, camera calibration method, and camera calibration program

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56137896A (en) 1980-03-10 1981-10-28 Cetus Corp Genetic recombination gram positive bacteria , production thereof and protein for mammal produced by said gram positive bacteria
JP2718033B2 (ja) 1987-08-13 1998-02-25 日産自動車株式会社 自律走行車両制御装置
JPH06253208A (ja) 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JPH08240833A (ja) 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP3034807B2 (ja) * 1996-08-30 2000-04-17 三菱電機株式会社 人工衛星の姿勢決定装置
JP4264380B2 (ja) 2004-04-28 2009-05-13 三菱重工業株式会社 自己位置同定方法及び該装置
JP2006222844A (ja) * 2005-02-14 2006-08-24 Fujitsu Ten Ltd 車載画像情報出力装置及び車載画像情報出力装置の制御方法
JP2006303885A (ja) 2005-04-20 2006-11-02 Toyota Motor Corp 露光制御方法、露光制御装置
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
US20140300686A1 (en) * 2013-03-15 2014-10-09 Tourwrist, Inc. Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
DE102014002150B3 (de) * 2014-02-15 2015-07-23 Audi Ag Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
US9863775B2 (en) * 2014-04-11 2018-01-09 Nissan North America, Inc. Vehicle localization system
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
JP6301202B2 (ja) 2014-06-02 2018-03-28 株式会社 日立産業制御ソリューションズ 撮影条件設定装置および撮影条件設定方法
US9875579B2 (en) 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation
EP3234721B1 (en) 2014-12-17 2021-11-24 Husqvarna AB Multi-sensor, autonomous robotic vehicle with mapping capability
JP6500606B2 (ja) 2015-05-28 2019-04-17 日産自動車株式会社 自車位置判定装置及び自車位置判定方法
JP6365780B2 (ja) * 2015-07-24 2018-08-01 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP6493183B2 (ja) 2015-12-04 2019-04-03 トヨタ自動車株式会社 車両構造
KR101856321B1 (ko) * 2016-05-03 2018-05-09 성균관대학교산학협력단 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
KR20180025591A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
CN110214264A (zh) * 2016-12-23 2019-09-06 御眼视觉技术有限公司 具有施加的责任约束的导航系统
WO2018132607A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
US11409307B2 (en) * 2017-08-08 2022-08-09 Lg Electronics Inc. Apparatus for providing map
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
WO2019151427A1 (ja) * 2018-02-02 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
US11422267B1 (en) * 2021-02-18 2022-08-23 Innovusion, Inc. Dual shaft axial flux motor for optical scanners

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
CN104137529A (zh) * 2012-02-13 2014-11-05 诺基亚公司 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
CN103513295A (zh) * 2013-09-25 2014-01-15 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
US20160379365A1 (en) * 2015-06-26 2016-12-29 Kabushiki Kaisha Topcon Camera calibration device, camera calibration method, and camera calibration program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520880A (zh) * 2020-11-18 2022-05-20 华为技术有限公司 一种曝光参数调节方法及装置
WO2022105381A1 (zh) * 2020-11-18 2022-05-27 华为技术有限公司 一种曝光参数调节方法及装置
CN114520880B (zh) * 2020-11-18 2023-04-18 华为技术有限公司 一种曝光参数调节方法及装置

Also Published As

Publication number Publication date
WO2019116784A1 (ja) 2019-06-20
JPWO2019116784A1 (ja) 2020-12-17
JP7200946B2 (ja) 2023-01-10
KR20200096518A (ko) 2020-08-12
US11698642B2 (en) 2023-07-11
US20210141386A1 (en) 2021-05-13
EP3726329A1 (en) 2020-10-21
EP3726329A4 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
US11531354B2 (en) Image processing apparatus and image processing method
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
US20210218875A1 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
CN111226094A (zh) 信息处理装置、信息处理方法、程序和移动体
US11978261B2 (en) Information processing apparatus and information processing method
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
CN111052174A (zh) 图像处理设备、图像处理方法和程序
CN112106003A (zh) 控制器、控制方法和程序
CN109076167A (zh) 图像处理器、摄像装置和图像处理系统
CN113168692A (zh) 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体
CN112567726B (zh) 信息处理设备，信息处理方法和计算机可读记录介质
US20230045772A9 (en) Information processing apparatus, information processing method, and program
CN110301133B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
US20210295563A1 (en) Image processing apparatus, image processing method, and program
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
EP3863282B1 (en) Image processing device, and image processing method and program
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
CN113424243A (zh) 信息处理装置、信息处理方法和信息处理程序
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination