CN112567726B - 信息处理设备，信息处理方法和计算机可读记录介质 - Google Patents

信息处理设备，信息处理方法和计算机可读记录介质 Download PDF

Info

Publication number
CN112567726B
CN112567726B CN201980052996.1A CN201980052996A CN112567726B CN 112567726 B CN112567726 B CN 112567726B CN 201980052996 A CN201980052996 A CN 201980052996A CN 112567726 B CN112567726 B CN 112567726B
Authority
CN
China
Prior art keywords
section
thinning
image capturing
image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980052996.1A
Other languages
English (en)
Other versions
CN112567726A (zh
Inventor
青木卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112567726A publication Critical patent/CN112567726A/zh
Application granted granted Critical
Publication of CN112567726B publication Critical patent/CN112567726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

在本发明中，运动检测单元31检测被摄体与执行滚动快门操作的图像捕获单元20之间的相对位置关系的改变。间隔剔除设置单元32根据由运动检测单元31的检测结果来设置图像捕获单元20的行间隔剔除操作的间隔剔除水平。识别处理单元37‑1通过使用与由间隔剔除设置单元32设置的间隔剔除水平对应的识别器372‑x执行由图像捕获单元20获得的图像中的被摄体识别。相对位置关系的改变是基于安装有图像捕获单元20的移动体的移动、图像捕获场景、由图像捕获单元20获得的图像等来检测的。在滚动快门操作期间执行行间隔剔除，并且根据由运动检测单元31的检测结果来设置间隔剔除水平，使得能够获得具有小失真的被摄体图像。

Description

信息处理设备，信息处理方法和计算机可读记录介质
技术领域
本技术涉及信息处理设备、信息处理方法和程序，并且使得能够获得失真小的被摄体图像。
背景技术
传统地，当捕获移动物体的图像时，增加帧速率以改善可见性。例如，在PTL 1中，将图像捕获区域分为目标区域和目标区域以外的普通区域，将目标区域的帧速率设置为比普通区域的帧速率高，并且将目标区域的间隔剔除率设置为比普通区域的间隔剔除率低，从而改善目标区域的可见性。
[引文列表]
[专利文献]
[PTL 1]
日本专利公开第2016-131365号
发明内容
[技术问题]
同时，在由图像捕获设备执行卷帘快门操作的情况下以及在图像捕获设备与被摄体之间的位置关系由于曝光而随着时间的流逝而改变的情况下，读取存储的电荷等在二维布置的像素中逐行地按时间顺序执行，在被摄体图像中发生失真(所谓的卷帘快门失真)。即使在如PTL 1中公开的那样增加帧速率的情况下，例如，当图像捕获设备与被摄体之间的位置关系极大地改变时，滚动快门失真也变得显著。
因此，本技术的目的是提供信息处理设备、信息处理方法和程序，通过该信息处理设备、信息处理方法和程序，即使在图像捕获设备与被摄体之间的位置关系随着时间的流逝而改变的情况下，也可以获得具有很小失真的被摄体图像。
[问题的解决方案]
本技术的第一方面是一种信息处理设备，包括：
运动检测部分，检测图像捕获部分与被摄体之间的相对位置关系的改变；以及
间隔剔除设置部分，根据由运动检测部分获得的检测结果来设置图像捕获部分的行间隔剔除操作的间隔剔除量。
在该技术中，运动检测部分检测被摄体与执行滚动快门操作的图像捕获部分之间的相对位置关系的改变。运动检测部分基于安装有图像捕获部分的移动体的运动、图像捕获场景、由图像捕获部分获得的图像等来检测相对位置关系的改变。例如，在移动体是车辆的情况下，相对位置关系的改变是基于车速和转向角或者基于由安装在移动体上的惯性测量部分获得的测量结果来检测的。
间隔剔除设置部分随着运动检测部分检测到的改变的增加而增加间隔剔除量。此外，在由运动检测部分检测到的相对位置关系的改变由于图像捕获部分的旋转而发生的情况下，间隔剔除设置部分执行在整个屏幕上均匀的行间隔剔除操作。而且，在由运动检测部分检测到的相对位置关系的改变由于图像捕获部分在光轴方向上的移动而发生的情况下，间隔剔除设置部分将由于图像捕获部分在光轴方向上的移动而发生的相对位置关系的改变大的区域中的间隔剔除量设置为大于改变小的区域中的间隔剔除量。
另外，该信息处理设备包括读取设置部分，根据由运动检测部分获得的检测结果来设置图像捕获部分中的行读取次序的方向。在由运动检测部分检测到的相对位置关系的改变由于图像捕获部分在光轴方向上的前进移动而发生的情况下，读取设置部分将行读取次序的方向设置为向下，并且，在改变由于图像捕获部分在光轴方向上的后退移动而发生的情况下，读取设置部分将行读取次序的方向设置为向上。
另外，该信息处理设备包括识别处理部分，该识别处理部分在由图像捕获部分获得的图像中执行被摄体识别。识别处理部分具有基于预先生成的字典并且与间隔剔除量对应的识别器，并且通过使用与由间隔剔除设置部分设置的间隔剔除量或者为每个区域设置的间隔剔除量对应的识别器来执行识别处理。此外，识别处理部分通过使用与由间隔剔除设置部分设置的间隔剔除量对应且与由读取设置部分设置的读取次序的方向对应的识别器来执行识别处理。
另外，信息处理设备包括图像处理部分，该图像处理部分通过使用由图像捕获部分获得的图像来进行对应点搜索。图像处理部分根据由间隔剔除设置部分设置的间隔剔除量来调整搜索范围，或者根据由间隔剔除设置部分设置的间隔剔除量来调整对应点的可靠性。
本技术的第二方面是一种信息处理方法，包括：
由运动检测部分检测图像捕获部分与被摄体之间的相对位置关系的改变；并且
由间隔剔除设置部分根据由运动检测部分获得的检测结果来设置图像捕获部分的行间隔剔除操作的间隔剔除量。
本技术的第三方面是一种使计算机控制图像捕获部分的程序，该程序使计算机执行：
检测图像捕获部分与被摄体之间的相对位置关系的改变的过程；以及
根据相对位置关系的改变来设置图像捕获部分的行间隔剔除操作的间隔剔除量的过程。
要注意的是，例如，根据本技术的程序是可以由诸如光盘、磁盘或半导体存储器之类的记录介质或者诸如网络之类的通信介质提供的程序，记录介质和通信介质被配置为将计算机可读格式的程序提供给能够执行各种程序代码的通用计算机。当以计算机可读格式提供这种程序时，根据该程序的处理在计算机上执行。
[发明的有益效果]
根据本技术，根据图像捕获部分与被摄体之间的相对位置关系的改变来设置图像捕获部分的行间隔剔除操作的间隔剔除量。因而，可以获得具有很小失真的被摄体图像。要注意的是，本描述中描述的效果仅仅是示例，并且因此不是限制性的。此外，可以提供任何附加效果。
附图说明
图1是图示根据第一实施例的配置的图。
图2是根据第一实施例的操作的流程图。
图3描绘了根据第一实施例的操作示例的图。
图4描绘了图像捕获部分相对于被摄体前进移动的情况的图。
图5描绘了图像捕获部分相对于被摄体后退移动的情况的图。
图6是图示根据第二实施例的配置的图。
图7是根据第二实施例的操作的流程图。
图8是用于解释到被摄体的距离与滚动快门失真之间的关系的图。
图9是图示根据第三实施例的配置的图。
图10是根据第三实施例的操作的流程图。
图11是图示根据第四实施例的配置的图。
图12是用于解释获取深度图的情况下的可靠性的图。
图13是用于解释SLAM中的可靠性的图。
图14图示了场景推测结果与间隔剔除量之间的关系。
图15图示了移动物体被包括在捕获的图像中的情况。
图16是示意性地描绘车辆控制系统的功能配置示例的框图。
具体实施方式
在下文中，将给出用于执行本技术的模式的解释。将按照以下次序进行解释。
1.第一实施例
1-1.根据第一实施例的配置
1-2.根据第一实施例的操作
2.第二实施例
2-1.根据第二实施例的配置
2-2.根据第二实施例的操作
3.第三实施例
3-1.根据第三实施例的配置
3-2.根据第三实施例的操作
4.第四实施例
4-1.根据第四实施例的配置
4-2.根据第四实施例的操作
5.修改
6.应用示例
<1.第一实施例>
<1-1.根据第一实施例的配置>
图1图示了根据第一实施例的配置。图像捕获系统10包括图像捕获部分20和信号处理部分30-1。
图像捕获部分20包括图像捕获透镜21和图像传感器22。图像捕获部分20的图像捕获透镜21通过使用聚焦透镜、变焦透镜等形成，并且在图像传感器22的图像捕获表面上形成被摄体的光学图像。
图像传感器22例如通过使用CMOS(互补金属氧化物半导体)图像传感器形成。图像传感器22执行滚动快门操作以根据被摄体的光学图像生成图像信号，并将该图像信号输出到信号处理部分30-1。另外，图像传感器22以来自稍后将描述的间隔剔除设置部分32的间隔剔除设置信号所指示的间隔剔除量执行行间隔剔除，并且生成图像信号。要注意的是，可以使用间隔剔除率代替间隔剔除量，但是在以下解释中使用间隔剔除量。
信号处理部分30-1基于由图像捕获部分20生成的图像信号来执行被摄体识别。信号处理部分30-1包括运动检测部分31、间隔剔除设置部分32、插值处理部分36和识别处理部分37-1。
运动检测部分31检测图像捕获部分20的运动。例如，在将图像捕获系统10安装在诸如车辆之类的移动体上的情况下，运动检测部分31基于车速和手柄转向角来检测图像捕获部分20的直线行驶速度和角速度。运动检测部分31将运动检测结果输出到间隔剔除设置部分32。
间隔剔除设置部分32根据由运动检测部分31检测到的运动来设置间隔剔除量。间隔剔除设置部分32例如使用直线行驶方向上的速度VS和旋转方向上的速度VR根据公式(1)计算间隔剔除量Dt。要注意的是，“ka”和“kb”是预设系数。间隔剔除设置部分32将指示所设置的间隔剔除量的间隔剔除设置信号输出到识别处理部分37-1。
Dt＝ka×VS+kb×VR...(1)
插值处理部分36例如通过使用从图像捕获部分20输出的图像信号来执行插值处理，并生成被插值图像的图像信号，该被插值图像的行数等于间隔剔除之前的图像中的行数。插值处理部分36将插值处理之后的图像信号输出到识别处理部分37-1。要注意的是，在从图像捕获部分20供应了指示间隔剔除状态的间隔剔除信息的情况下，插值处理部分36可以基于间隔剔除信息来执行插值处理，或者可以基于由间隔剔除设置部分32生成的间隔剔除设置信号来执行插值处理。
识别处理部分37-1包括识别器切换部分371-1和多个识别器372-1至372-n。提供识别器372-1至372-n以与间隔剔除量对应。例如，识别器372-1预先存储基于通过对以间隔剔除量Dt-1捕获的图像进行插值处理而获得的学习图像的字典，并且通过使用该字典来执行识别处理。此外，识别器372-n预先存储基于以间隔剔除量Dt-n捕获的学习图像的字典，并通过使用该字典来执行识别处理。识别器切换部分371基于由图像捕获部分20生成的图像信号来检测被处理区域。另外，识别器切换部分371根据被处理区域中的间隔剔除量来切换要用于被摄体识别处理的识别器。识别器切换部分371将图像信号供应给作为切换结果而选择的识别器372-x，并且通过使用与间隔剔除量对应的字典来识别被处理区域中的被摄体，并且然后，从信号处理部分30-1输出识别结果。
<1-2.根据第一实施例的操作>
图2是根据第一实施例的操作的流程图。在步骤ST1中，信号处理部分30-1执行运动检测处理。信号处理部分30-1检测在直线行进方向或在旋转方向上的运动。例如，在将图像捕获系统10安装在汽车上的情况下，信号处理部分30-1获得汽车的速度或方向盘的转向角作为运动检测结果。然后，步骤前进到步骤ST2。
在步骤ST2中，信号处理部分30-1设置间隔剔除量。信号处理部分30-1例如基于在步骤ST1中检测到的运动来根据上述公式(1)设置间隔剔除量。然后，步骤前进到步骤ST3。
在步骤ST3中，信号处理部分30-1控制图像捕获。信号处理部分30-1生成指示在步骤ST2中设置的间隔剔除量的间隔剔除设置信号，并将间隔剔除设置信号输出到图像捕获部分20。因而，图像捕获部分20生成已经按照步骤ST2中设置的间隔剔除量执行了行间隔剔除的间隔剔除图像的图像信号。然后，步骤前进到步骤ST4。
在步骤ST4中，信号处理部分30-1执行插值处理。信号处理部分30-1通过使用由图像捕获部分20生成的间隔剔除图像的图像信号来执行插值处理，并且生成被插值图像的图像信号，该被插值图像的行数等于在行间隔剔除之前的行数。然后，步骤前进到步骤ST5。
在步骤ST5中，信号处理部分30-1切换识别器。信号处理部分30-1执行切换到与在步骤ST2中设置的间隔剔除量对应的识别器，作为用于通过使用被插值图像的图像信号来执行被摄体识别的识别器。然后，步骤前进到步骤ST6。
在步骤ST6中，信号处理部分30-1执行识别处理。通过使用在步骤ST4中生成的被插值图像的图像信号，信号处理部分30-1用作为步骤ST5中的切换的结果而选择的识别器来识别被摄体。
图3描绘了根据第一实施例的操作示例。要注意的是，例如，被摄体是道路上的“STOP”标记，并且图像捕获部分20被安装在车辆上并且正在前进移动。此外，每行的曝光时间段是时间段tp，行读取次序的方向被设置为从上侧向下，并且捕获的图像中的被摄体的前端和后端分别是行位置Ma和行位置Mb。
在图3中，(a)图示了在不执行间隔剔除的情况下由图像捕获部分20获得的图像。在这种情况下，以行次序执行读取。因此，行位置Ma和Mb随着时间的流逝而朝着前侧(捕获的图像中的向下方向)移动。因此，如图3的(b)中所示，行位置Ma与行位置Mb之间的距离根据时间差tda期间车辆的移动速度而变得更大。即，如图3的(a)中所示，被摄体被扩大。
在图3中，(c)图示了在执行间隔剔除的情况下由图像捕获部分20获得的间隔剔除图像。行位置Ma和Mb随着时间的流逝而朝着前侧(捕获的图像中的向下方向)移动。此外，因为执行了行间隔剔除读取，所以读取第一行到最后一行所需的时间缩短了。因此，如图3的(d)中所示，时间差tdb(其是行位置Ma与行位置Mb之间的距离)比不执行间隔剔除的情况下的时间差tda短。因此，如图3中的(e)中所描绘的，与不执行间隔剔除的情况相比，通过对图3中的(c)中所描绘的间隔剔除图像执行插值处理而获得的被插值图像具有较小的被摄体失真。另外，当随着车辆的前进移动速度的增加而将间隔剔除量设置为更大时，可以减小被摄体失真。
另外，对通过执行间隔剔除而获得的捕获的图像执行插值处理，并且通过将被插值图像与和间隔剔除量对应的识别器一起使用来执行被摄体识别处理。因此，可以精确地识别被摄体。
如到目前为止所解释的，根据第一实施例，根据图像捕获部分与被摄体之间的相对位置改变来设置间隔剔除量，从而获得滚动快门失真少的捕获的图像。另外，由于使用了与如此获得的捕获的图像中的间隔剔除量对应的识别器，因此可以基于滚动快门失真小的捕获的图像来精确地识别被摄体。
<2.第二实施例>
同时，在执行滚动快门操作的同时获得的捕获的图像中，根据被摄体在与图像捕获部分20中使用的图像传感器的行方向正交的方向上的运动，被摄体被扩大或压缩。图4描绘了图像捕获部分相对于被摄体前进移动的情况的图。图5描绘了图像捕获部分相对于被摄体后退移动的情况的图。要注意的是，例如，被摄体是道路上的“STOP”标记，并且图像捕获部分20被安装在车辆上。此外，在图4和5中，每行的曝光时间段是时间段tp，行读取次序的方向被设置为从上侧向下，并且捕获的图像中的被摄体的前端和后端分别是行位置Ma和行位置Mb。而且，图4图示了车辆相对于被摄体前进移动并且捕获的图像中的被摄体的运动在行读取次序的方向上的情况。图5图示了车辆相对于被摄体后退移动并且捕获的图像中的被摄体的运动在与行读取次序的方向相反的方向上的情况。
在图4中的(a)和(b)以及在图5中的(a)和(b)中图示了车辆停止的情况下的图像。由于车辆停止，因此行位置Ma和Mb固定，而与时间的流逝无关。此外，由于滚动快门操作，在行位置Mb与行位置Mb之间的曝光时间段的开始定时中存在时间差td。
在图4中的(c)和(d)中图示了车辆前进移动的情况。在这种情况下，行位置Ma和Mb随着时间的流逝而朝着前侧(捕获的图像中的向下方向)移动。因此，如图4中的(d)中所示，与车辆停止时相比，根据车辆的移动速度，行位置Ma与行位置Mb之间的时间差td1变得更大。即，如图4中的(c)中所示，被摄体扩大。
在图4中的(e)和(f)中图示了车辆以高速前进移动的情况。同样在这种情况下，行位置Ma和Mb随着时间的流逝而朝着前侧(捕获的图像中的向下方向)移动。此外，因为车辆的速度高，所以移动量大。因此，在曝光时间段到来之前，行位置Ma和行位置Mb偏离了图像捕获范围，如图4中的(f)中所示，并且如图4中的(e)中所示，被摄体未被显示。
在图5中的(c)和(d)中图示了车辆后退移动的情况。在这种情况下，行位置Ma和Mb随着时间的流逝而朝着深度侧(捕获的图像中的水平线的行位置的方向)移动。因此，如图5中的(d)中所示，与车辆停止时相比，根据车辆的移动速度，行位置Ma与行位置Mb之间的时间差td2变得更小。即，如图5中的(c)中所示，被摄体被压缩。
在图5中，(e)和(f)图示了车辆以高速后退移动的情况。同样在这种情况下，行位置Ma和Mb随着时间的流逝而朝着深度侧(捕获的图像中的水平线的行位置的方向)移动。另外，因为车辆的速度高，所以移动量大。因此，如图5中的(f)中所示，行位置Ma与行位置Mb之间的时间差td3小于时间差td2。即，如图5中的(e)中所示，与图5中的(c)中所示相比，被摄体被进一步压缩。
如到目前为止所解释的，当被摄体在行读取次序的方向上以高速移动时，被摄体不包括在捕获的图像中。但是，在被摄体在与读取次序的方向相反的方向上移动的情况下，即使当被摄体以高速移动时，也有必要将被摄体包括在捕获的图像中。
因此，在第二实施例中，在逐行地从图像捕获部分20的图像传感器读取信号的情况下，行读取次序的方向基于运动检测结果被设置为从上侧向下或从下侧向上，使得防止被摄体在间隔剔除图像中丢失。
<2-1.根据第二实施例的配置>
图6图示了根据第二实施例的配置。图像捕获系统10包括图像捕获透镜21、图像捕获部分20和信号处理部分30-2。
图像捕获部分20包括图像捕获透镜21和图像传感器22。图像捕获部分20的图像捕获透镜21通过使用聚焦透镜、变焦透镜等形成，并且在图像传感器22的图像捕获表面上形成被摄体的光学图像。
图像传感器22例如通过使用CMOS(互补金属氧化物半导体)图像传感器形成。图像传感器22执行滚动快门操作以根据被摄体的光学图像生成图像信号，并将该图像信号输出到信号处理部分30-2。另外，图像传感器22将由来自稍后将描述的读取设置部分35的读取次序方向信号指示的方向设置为行读取次序的方向，以由来自稍后将描述的间隔剔除设置部分32的间隔剔除设置信号指示的间隔剔除量来执行行间隔剔除，并生成图像信号。
信号处理部分30-2基于由图像捕获部分20生成的图像信号来执行被摄体识别。信号处理部分30-2包括运动检测部分31、间隔剔除设置部分32、读取设置部分35、插值处理部分36和识别处理部分37-2。
运动检测部分31检测图像捕获部分20的运动。例如，在将图像捕获系统10安装在诸如车辆之类的移动体上的情况下，运动检测部分31基于车速和手柄转向角来检测图像捕获部分20的直线行驶速度和角速度。运动检测部分31将运动检测结果输出到间隔剔除设置部分32。
间隔剔除设置部分32根据由运动检测部分31检测到的运动来设置间隔剔除量。间隔剔除设置部分32例如使用直线行驶方向上的速度VS和旋转方向上的速度VR根据上述公式(1)计算间隔剔除量Dt。间隔剔除设置部分32将指示所设置的间隔剔除量的间隔剔除设置信号输出到识别处理部分37-2。
读取设置部分35根据由运动检测部分31检测到的运动来设置图像捕获部分20中的行读取次序的方向。在确定图像捕获部分20前进移动的情况下，读取设置部分35将行读取次序的方向设置为从下侧向上。此外，在确定图像捕获部分20后退移动的情况下，读取设置部分35将行读取次序的方向设置为从上侧向下。读取设置部分35生成指示读取次序的设定方向的次序方向设置信号，并将该次序方向设置信号输出到图像捕获部分20和识别处理部分37-2。
插值处理部分36通过使用从图像捕获部分20输出的图像信号来执行插值处理并生成被插值图像的图像信号，该被插值图像的行数等于间隔剔除之前的图像中的行数。插值处理部分36将插值处理之后的图像信号输出到识别处理部分37-2。要注意的是，在从图像捕获部分20供应了指示间隔剔除状态的间隔剔除信息的情况下，插值处理部分36可以基于间隔剔除信息来执行插值处理，或者可以基于由间隔剔除设置部分32生成的间隔剔除设置信号来执行插值处理。
识别处理部分37-2包括识别器切换部分371-2和多个识别器372-d1至372-dn和372-u1至372-un。要注意的是，识别器372-d1至372-dn被提供成与当行读取次序的方向被设置为从上侧向下时的间隔剔除量对应，而识别器372-u1至372-un被提供成与当读取次序的方向被设置为从下侧向上时的间隔剔除量对应。例如，识别器372-d1预先存储字典，该字典基于如下学习图像，该学习图像是通过对以将读取次序的方向设置为从上侧向下时的间隔剔除量Dt-d1捕获的图像进行插值处理而获得的，并通过使用该字典来执行识别处理。此外，识别器372-un预先存储字典，该字典基于基于如下学习图像，该学习图像是通过对以将读取次序的方向设置为从下侧向上时的间隔剔除量Dt-un捕获的图像进行插值处理而获得的，并通过使用该字典来执行识别处理。
识别器切换部分371-2基于由图像捕获部分20生成的图像信号来检测被处理区域。另外，识别器切换部分371-2根据被处理区域中的间隔剔除量和由读取设置部分35设置的读取次序的方向来切换用于被摄体识别处理的识别器。识别器切换部分371-2将图像信号供应给作为切换的结果而选择的识别器372-x，并且识别被处理区域中的被摄体，并且然后从信号处理部分30-2输出识别结果。
<2-2.根据第二实施例的操作>
图7图示了根据第二实施例的操作的流程图。在步骤ST11中，信号处理部分30-2执行运动检测处理。信号处理部分30-2检测在直线行驶方向或在旋转方向上的运动。例如，在将图像捕获系统10安装在汽车上的情况下，信号处理部分30-2获得汽车的速度或方向盘的转向角作为运动检测结果。然后，步骤前进到步骤ST12。
在步骤ST12中，信号处理部分30-2设置间隔剔除量。信号处理部分30-2例如基于在步骤ST11中检测到的运动根据上述公式(1)来设置间隔剔除量。然后，步骤前进到步骤ST13。
在步骤ST13中，信号处理部分30-2设置读取次序的方向。信号处理部分30-2基于在步骤ST11中检测到的运动将行读取次序的方向设置为从上侧向下或从下侧向上。然后，步骤前进到步骤ST14。
在步骤ST14中，信号处理部分30-2控制图像捕获。信号处理部分30-2生成指示在步骤ST2中设置的间隔剔除量的间隔剔除设置信号和指示在步骤ST13中设置的读取次序的方向的次序方向设置信号。信号处理部分30-2将生成的间隔剔除设置信号和生成的次序方向设置信号输出到图像捕获部分20。因而，图像捕获部分20生成已经按照在步骤ST12中设置的间隔剔除量在步骤ST13中设置的读取次序的方向上执行了行间隔剔除的间隔剔除图像的图像信号。然后，步骤前进到步骤ST15。
在步骤ST15中，信号处理部分30-2执行插值处理。信号处理部分30-2通过使用由图像捕获部分20生成的间隔剔除图像的图像信号来执行插值处理，并且生成被插值图像的图像信号，该被插值图像的行数等于行间隔剔除之前的行数。然后，步骤前进到步骤ST16。
在步骤ST16中，信号处理部分30-2切换识别器。信号处理部分30-2执行切换到与在步骤ST12中设置的间隔剔除量和在步骤ST13中设置的读取次序的方向对应的识别器，作为用于通过使用被插值图像的图像信号来执行被摄体识别的识别器。然后，步骤前进到步骤ST17。
在步骤ST17中，信号处理部分30-2执行识别处理。通过使用在步骤ST15中生成的被插值图像的图像信号，信号处理部分30-2用作为步骤ST16中的切换的结果而选择的识别器来执行被摄体识别处理。
如到目前为止所解释的，根据第二实施例，根据图像捕获部分与被摄体之间的相对位置的改变来设置间隔剔除量和行读取次序的方向，从而可以获得具有小滚动快门失真并且防止被摄体丢失的捕获的图像。另外，由于使用了与如此获得的捕获的图像中的间隔剔除量和读取次序的方向对应的识别器，因此可以基于具有小滚动快门失真的捕获的图像来精确地识别被摄体。
<3.第三实施例>
在执行滚动快门操作时获得的捕获的图像中，失真的程度根据被摄体的运动或到被摄体的距离而变化。图8描绘了用于解释到被摄体的距离与滚动快门失真之间的关系的图。如图8中的(a)中所描绘的，在图像捕获区域中的被摄体静止的情况下，当图像捕获部分笔直前进移动时图像捕获区域中的被摄体的移动速度随着到被摄体的距离变得更短而变得更高。因此，如图8中的(b)中所描绘的，对于近距离的被摄体，由于滚动快门操作引起的失真量(RS失真量)大，而对于远距离的被摄体，RS失真量小。例如，在将图像捕获系统安装在车辆上的情况下，位于图像捕获区域的下侧区域中的路面等的RS失真量大于上侧区域中的被摄体的RS失真量。此外，如图8中的(c)中所描绘的，当图像捕获部分在旋转方向上移动时，RS失真量在捕获的图像中的每个区域中固定。
因此，在第三实施例中，针对每个区域设置间隔剔除量，使得可以精确地识别被摄体。
<3-1.根据第三实施例的配置>
图9图示了根据第三实施例的配置。图像捕获系统10包括图像捕获透镜21、图像捕获部分20和信号处理部分30-3。
图像捕获部分20包括图像捕获透镜21和图像传感器22。图像捕获部分20的图像捕获透镜21通过使用聚焦透镜、变焦透镜等形成，并且在图像传感器22的图像捕获表面上形成被摄体的光学图像。
图像传感器22例如通过使用CMOS(互补金属氧化物半导体)图像传感器形成。图像传感器22执行滚动快门操作以根据被摄体的光学图像生成图像信号，并将该图像信号输出到信号处理部分30-1。另外，图像传感器22将基于来自稍后将描述的读取设置部分35的次序方向设置信号的方向设置为行读取次序的方向，通过由来自稍后将描述的区域间隔剔除设置部分34的间隔剔除设置信号指示的间隔剔除量来执行行间隔剔除，并生成图像信号。
信号处理部分30-3基于由图像捕获部分20生成的图像信号来执行被摄体识别。信号处理部分30-3包括运动检测部分31、区域失真量估计部分33、区域间隔剔除设置部分34、读取设置部分35、插值处理部分36和识别处理部分37-3。
运动检测部分31检测图像捕获部分20的运动。例如，在将图像捕获系统10安装在诸如车辆之类的移动体上的情况下，运动检测部分31基于车速和手柄转向角来检测图像捕获部分20的直线行驶速度和角速度。运动检测部分31将运动检测结果输出到区域失真量估计部分33。
区域失真量估计部分33基于由运动检测部分31检测到的运动来估计每个区域的RS失真量。区域失真量估计部分33例如在以预定数量的行定义区域之后针对每个区域估计RS失真量。对于每个区域中的RS失真量，使用针对该区域中的相应行估计的统计量(诸如失真量的平均值、中值或最大值)。此外，区域失真量估计部分33可以基于针对相应行估计的失真量来执行划分成区域。例如，使用针对相应行估计的失真量的最大值。在某一行的最大值与相邻行的最大值之间的差大于阈值的情况下，可以在这些行之间设置区域边界。区域失真量估计部分33将每个区域的失真量的估计结果输出到区域间隔剔除设置部分34。
区域间隔剔除设置部分34根据每个区域的失真量为每个区域设置间隔剔除量。区域间隔剔除设置部分34通过使用直线行驶方向上的速度VS、旋转方向上的速度VR和指示当进行直线行驶时滚动快门失真趋势的图根据公式(2)计算区域间隔剔除量DAt。要注意的是，“ka”和“kb”是预设系数。“KSmap”是基于指示当进行直线行驶时滚动快门失真趋势的图的区域的系数。区域间隔剔除设置部分34将指示针对每个区域设置的区域间隔剔除量的区域间隔剔除设置信号输出到图像捕获部分20和识别处理部分37-3。
DAt＝(ka×VS×KSmap)+(kb×VRp)...(2)
读取设置部分35根据由运动检测部分31检测到的运动来设置图像捕获部分20中的读取次序的方向。在确定图像捕获部分20前进移动的情况下，读取设置部分35将行读取次序的方向设置为从下侧向上。此外，在确定图像捕获部分20后退移动的情况下，读取设置部分35将行读取次序的方向设置为从上侧向下。读取设置部分35生成指示读取次序的设定方向的次序方向设置信号，并将该次序方向设置信号输出到图像捕获部分20和识别处理部分37-3。
插值处理部分36通过使用从图像捕获部分20输出的图像信号来执行插值处理，并生成被插值图像的图像信号，该被插值图像的行数等于间隔剔除之前的图像中的行数。插值处理部分36将插值处理之后的图像信号输出到识别处理部分37-3。要注意的是，在从图像捕获部分20供应了指示间隔剔除状态的间隔剔除信息的情况下，插值处理部分36可以基于间隔剔除信息来执行插值处理，或者可以基于由区域间隔剔除设置部分34生成的间隔剔除设置信号来执行插值处理。
识别处理部分37-3包括识别器切换部分371-3和多个识别器372-d1至372-dn和372-u1至372-un。要注意的是，识别器372-d1至372-dn被提供成与当行读取次序的方向被设置为从上侧向下时的间隔剔除量对应，而识别器372-u1至372-un被提供成与当读取次序的方向被设置为从下侧向上时的间隔剔除量对应。例如，识别器372-d1预先存储字典，该字典基于如下学习图像，该学习图像是通过对以将读取次序的方向设置为从上侧向下时的区域间隔剔除量DAt-d1捕获的图像进行插值处理而获得的，并通过使用该字典来执行识别处理。此外，识别器372-un预先存储字典，该字典基于如下学习图像，该学习图像是通过对以将读取次序的方向设置为从下侧向上时的区域间隔剔除量DAt-un捕获的图像进行插值处理而获得的，并通过使用该字典来执行识别处理。
识别器切换部分371-3基于由图像捕获部分20生成的图像信号来检测被处理区域。另外，识别器切换部分371-3基于由区域间隔剔除设置部分针对每个区域设置的间隔剔除量来确定被处理区域中的间隔剔除量，并且根据所确定的被处理区域中的间隔剔除量和由读取设置部分35设置的读取次序的方向来切换要用于被摄体识别处理的识别器。识别器切换部分371-3将图像信号供应给作为切换的结果而选择的识别器372-x，识别被处理区域中的被摄体，并从信号处理部分30-3输出识别结果。
<3-2.根据第三实施例的操作>
图10描绘了根据第三实施例的操作的流程图。在步骤ST21中，信号处理部分30-3执行运动检测处理。信号处理部分30-3检测在直线行驶方向或在旋转方向上的运动。例如，在将图像捕获系统10安装在汽车上的情况下，信号处理部分30-3获得汽车的速度或方向盘的转向角作为运动检测结果。然后，步骤前进到步骤ST22。
在步骤ST22中，信号处理部分30-3设置读取次序的方向。信号处理部分30-3基于在步骤ST21中检测到的运动将行读取次序的方向设置为从上侧向下或从下侧向上。然后，步骤前进到步骤ST23。
在步骤ST23中，信号处理部分30-3估计每个区域中的RS失真量。信号处理部分30-3基于在步骤ST11中检测到的运动来估计每个区域中的RS失真量。然后，步骤前进到步骤ST24。
在步骤ST24中，信号处理部分30-3设置间隔剔除量。信号处理部分30-3基于在步骤ST23中估计的每个区域中的RS失真量来设置间隔剔除量。然后，步骤前进到步骤ST125。
在步骤ST25中，信号处理部分30-3控制图像捕获。信号处理部分30-3生成指示在步骤ST24中设置的间隔剔除量的间隔剔除设置信号和指示在步骤ST22中设置的读取次序的方向的次序方向设置信号。信号处理部分30-3将生成的间隔剔除设置信号和生成的次序方向设置信号输出到图像捕获部分20。因而，图像捕获部分20生成已经按照步骤ST24中设置的间隔剔除量在步骤ST22中设置的读取次序的方向上执行了行间隔剔除的间隔剔除图像的图像信号。然后，步骤前进到步骤ST26。
在步骤ST26中，信号处理部分30-3执行插值处理。信号处理部分30-3通过使用由图像捕获部分20生成的间隔剔除图像的图像信号来执行插值处理，并且生成被插值图像的图像信号，该被插值图像的行数等于行间隔剔除之前的行数。然后，步骤前进到步骤ST27。
在步骤ST27中，信号处理部分30-3切换识别器。信号处理部分30-3执行切换到与通过步骤ST22设置的读取次序的方向和在步骤ST24中设置的间隔剔除量对应的识别器，作为用于通过使用被插值图像的图像信号来执行被摄体识别的识别器。然后，步骤前进到步骤ST28。
在步骤ST28中，信号处理部分30-3执行识别处理。通过使用在步骤ST26中生成的插值图像的图像信号，信号处理部分30-3用作为步骤ST27中的切换分结果而选择的识别器来执行被摄体识别处理。
如到目前为止所解释的，根据第三实施例，根据图像捕获部分与被摄体之间的相对位置改变来设置每个区域中的读取次序的方向和间隔剔除量，并且可以获得具有小的滚动快门失真并防止被摄体丢失的捕获的图像。另外，由于使用了与如此获得的捕获图像中的间隔剔除量和读取次序的方向对应的识别器，因此可以基于具有小的滚动快门失真的捕获的图像来精确地识别被摄体。
<4.第四实施例>
同时，在上述每个实施例中已经解释了基于由图像捕获部分获得的图像执行被摄体识别的情况。但是，在生成深度图、SLAM(同步定位与建图)等时进行的对应点搜索中，可以执行考虑滚动快门失真的处理。
<4-1.根据第四实施例的配置>
图11图示了根据第四实施例的配置。图像捕获系统10包括图像捕获透镜21、图像捕获部分20和信号处理部分30-4。
图像捕获部分20包括图像捕获透镜21和图像传感器22。图像捕获部分20的图像捕获透镜21通过使用聚焦透镜、变焦透镜等形成，并且在图像传感器22的图像捕获表面上形成被摄体的光学图像。
图像传感器22例如通过使用CMOS(互补金属氧化物半导体)图像传感器形成。图像传感器22执行滚动快门操作以根据被摄体的光学图像生成图像信号，并将该图像信号输出到信号处理部分30-4。另外，图像传感器22将基于来自稍后将描述的读取设置部分35的读取次序方向设置信号的方向设置为行读取次序的方向，通过由来自稍后将描述的间隔剔除设置部分32的间隔剔除设置信号指示的间隔剔除量来执行行间隔剔除，并生成图像信号。
信号处理部分30-4基于由图像捕获部分20生成的图像信号执行图像处理。信号处理部分30-4包括运动检测部分31、间隔剔除设置部分32、插值处理部分36和图像处理部分38。
运动检测部分31检测图像捕获部分20的运动。例如，在将图像捕获系统10安装在诸如车辆之类的移动体上的情况下，运动检测部分31基于车速和方向盘的转向角来检测图像捕获部分20的直线行驶速度和角速度。运动检测部分31将运动检测结果输出到间隔剔除设置部分32。
间隔剔除设置部分32根据由运动检测部分31检测到的运动来设置间隔剔除量。间隔剔除设置部分32将指示所设置的间隔剔除量的间隔剔除设置信号输出到图像处理部分38。
插值处理部分36通过使用从图像捕获部分20输出的图像信号来执行插值处理，并生成被插值图像的图像信号，该被插值图像的行数等于间隔剔除之前的图像中的行数。插值处理部分36将插值处理之后的图像信号输出到识别处理部分37-4。要注意的是，在从图像捕获部分20提供了指示间隔剔除状态的间隔剔除信息的情况下，插值处理部分36可以基于间隔剔除信息来执行插值处理，或者可以基于由间隔剔除设置部分32生成的间隔剔除设置信号来执行插值处理。
图像处理部分38在插值处理之后通过使用图像信号进行对应点搜索，并生成深度图或通过立体匹配执行SLAM。在对应点搜索中，图像处理部分38基于由间隔剔除设置部分32生成的间隔剔除设置信号来设置搜索范围和可靠性。例如，在搜索范围的设置中，随着滚动快门失真越大，搜索范围被设置得越宽。此外，因为滚动快门失真在行方向上发生，所以搜索范围可以被设置为在行方向上更宽。另外，当发生滚动快门失真时，匹配准确度恶化。因此，将对应点的可靠性用于执行SLAM或生成深度图。
<4-2.根据第四实施例的操作>
在第四实施例中，执行图2中所描绘的流程图中的步骤ST1至步骤ST4，并且然后执行图像处理。在图像处理中，进行对应点搜索，并且根据RS失真量来调整搜索范围和对应点搜索中的可靠性。
在设置搜索范围时，例如，在由于滚动快门失真而使被摄体扩大的情况下，设置搜索范围以使得能够检测到对应点，并且在被摄体被压缩的情况下，缩小搜索范围以使得能够进行对应点的高效检测。此外，因为匹配准确度随着RS失真量的增加而恶化，因此可靠性随着RS失真量的增加而降低。
图12是用于解释获取深度图的情况下的可靠性的图。在图12中，(a)是左视点图像，并且(b)描绘了与左视点图像对应的滚动快门失真图。要注意的是，在滚动快门失真图中，没有阴影线的区域、具有粗阴影线的阴影区域以及具有细阴影线的阴影区域分别表示其中RS失真量小的区域、其中RS失真量大的区域和RS失真量既不小也不大的区域。此外，在图12中，(c)是右视点图像，并且(d)描绘了与右视点图像对应的滚动快门失真图。在此，在由左视点图像捕获部分获得的图像中发生透镜失真的情况下，在步骤ST31中，通过使用与由左视点图像捕获部分所使用的透镜对应的校正系数来执行左视点图像和滚动快门失真图的透镜失真校正处理。而且，在由右视点图像捕获部分获得的图像中发生透镜失真的情况下，在步骤ST32中，通过使用与由右视点图像捕获部分所使用的透镜对应的校正系数来执行右视点图像和滚动快门失真图的透镜失真校正处理。要注意的是，在图12中，(e)是经过透镜失真校正处理的左视点图像，并且(f)描绘了与经过透镜失真校正处理的左视点图像对应的滚动快门失真图。而且，在图12中，(g)是经过了透镜失真校正处理的右视点图像，并且(h)描绘了与经过了透镜失真校正处理的右视点图像对应的滚动快门失真图。
在步骤ST33的立体匹配处理中，执行使用图12中的(e)中所描绘的经过了透镜失真校正处理的左视点图像和图12中的(g)中所描绘的经过了透镜失真校正处理的右视点图像的匹配处理，使得生成例如指示图12中的(i)中所描绘的左视点图像中的相应像素位置的深度的深度图。要注意的是，深度图指示，随着亮度越低，距离越长。在步骤ST34的可靠性处理中，将图12中的滚动快门失真图(f)用于深度图中的可靠性。在图12中的(j)中，描绘了可靠性。在(j)中，不具有水平线的区域、具有粗水平线的阴影线区域和具有细垂直线的阴影线区域分别表示其中可靠性高的区域、其中可靠性低的区域以及其中可靠性既不高也不低的区域。接下来，在基于可靠性的以下处理中，例如使其中可靠性低的区域中的深度无效。可替代地，可以通过使用可靠性不低的区域中的深度来对可靠性低的区域中的深度进行时间或空间插值处理。
图13是用于解释SLAM中的可靠性的图。在图13中，(a)是在时间T捕获的并且已经经历了透镜失真校正处理的图像，并且(b)描绘了与该捕获的图像对应的滚动快门失真图。而且，在图13中，(c)是在时间T-1捕获的并且已经经历了透镜失真校正处理的图像，并且(d)描绘了与该捕获的图像对应的滚动快门失真图。要注意的是，在经历了透镜失真校正处理的捕获的图像和滚动快门失真图中，执行与用于获取深度图的处理相似的处理就足够了。
在SALM中，在步骤ST41中通过使用在时间T和时间T-1捕获的并且已经经历了透镜失真校正处理的图像来提取特征点对。要注意的是，图13中的(e)和(f)图示了在特征点对FP中包括三个特征点的情况。表示特征点对的三角形的每个顶点是特征点。在步骤ST42和43中分别为每个特征对计算在时间T和T-1的可靠性。此外，在SALM中，在步骤ST44中基于时间T处的特征点对和时间T-1处的特征点对来提取每个特征点对的移动量。在此，针对每个特征点对来计算在时间T的可靠性。例如，通过使用包括在特征点对FP中的N个特征点pi(i＝1至N)处的失真度Dpi来根据公式(3)计算时间T处的特征点对FP的可靠性RP(T)。要注意的是，失真度Dpi是在时间T处的滚动快门失真图中的特征点pi的滚动快门失真度。假设滚动快门失真图中的失真度被设置为使得失真度在没有发生失真的情况下＝“1”，并且随着失真变得更大，失真度接近“0”。
[数学表达式1]
RP(T)＝Σi∈N[DPi]…(3)
通过使用时间T-1处的滚动快门失真图，以与时间T处的可靠性相似的方式来计算时间T-1处的可靠性。
在SALM中，接下来，在步骤ST45中执行可靠性处理，使得关于M个特征点对FPj(j＝1至M)基于移动量Lj、时间T处的可靠性RP(T)j以及时间T-1处的可靠性RP(T-1)j根据公式(4)来计算SLAM中的移动量LV(T，T-1)。
[数学表达式2]
LV(T,T-1)＝Σj∈M[Lj×RP(T)j×RP(T-1)j]…(4)
如到目前为止所解释的，根据第四实施例，通过使用滚动快门失真来执行深度图的生成或SLAM的处理。因而，与不使用滚动快门失真的情况相比，可以以高精度执行深度图的生成或SLAM的处理。
<5.修改>
为了检测运动，在上面提到的每个实施例中使用车速和转向角。但是，可以通过使用IMU(惯性测量单元)检测加速度或角速度来检测图像捕获部分的运动。
此外，基于运动检测结果来设置间隔剔除量，但是可以根据摄像场景来设置间隔剔除量。例如，当使用图像信息或地图信息以及自身位置信息(包括自身位置中的朝向)时，可以推测图像捕获部分捕获了什么场景。
图14图示了场景推测结果与间隔剔除量之间的关系。在图14中，(a)描绘了基于图像信息、地图信息等确定场景具有开放的前侧的情况。在这种情况下，针对前侧的被摄体(例如，路面)的间隔剔除量被设置为大，如图14中的(b)中所描绘的，因为图像捕获部分与被摄体之间的相对位置关系的改变大并且RS失真量大。另外，针对深度侧的被摄体(例如，天空)的间隔剔除量被设置为小，因为图像捕获部分与被摄体之间的相对位置关系的改变小并且RS失真量小。另外，处于中间位置的被摄体(例如，山)的间隔剔除量被设置为中等，因为图像捕获部分与被摄体之间的相对位置关系的改变既不大也不小。
在图14中，(c)描绘了基于图像信息、地图信息等将场景确定为包括许多建筑物的城市区域的情况。在这种情况下，针对前侧的被摄体(例如，路面)的间隔剔除量被设置为大，如图14中的(d)中所描绘的，因为图像捕获部分与被摄体之间的相对位置关系的改变大并且RS失真量大。另外，针对中心或上部的被摄体(例如，位于前方的建筑物)的间隔剔除量被设置为中等，因为图像捕获部分与被摄体之间的相对位置关系的改变既不大也不小。
在图14中，(e)描绘了基于图像信息、地图信息等将场景确定为上坡的情况。在这种情况下，针对前侧的被摄体(例如，路面)的间隔剔除量被设置为大，如图14中的(f)中所描绘的，因为图像捕获部分与被摄体之间的相对位置关系的改变大并且RS失真量大。另外，针对上部的被摄体(例如，远处的道路)的间隔剔除量被设置为小，因为图像捕获部分与被摄体之间的相对位置关系的改变小。另外，针对中心部分的被摄体(例如，位于前方的上坡部分)的间隔剔除量被设置为中等，因为图像捕获部分与被摄体之间的相对位置关系的改变既不大也不小。
而且，在一些情况下，移动物体被包括在图像捕获范围中，并且由于移动物体的运动，滚动快门失真变大。因此，可以基于由图像捕获部分获得的在时间方向上的多个捕获的图像来检测移动物体，并且可以在移动物体的运动大的区域中将间隔剔除量设置为大。
图15图示了移动物体被包括在捕获的图像中的情况。注意的是，在图15中，汽车是移动物体。在图15中，(a)图示了包括移动物体(例如，汽车)OBm的市区场景的捕获的图像。
例如，移动体在水平方向上移动。通过逐块运动检测获得的检测结果在图15的(b)中示出，其中将包括移动物体的交叉阴影线区域BKm检测为运动大的区域。此外，如图15中的(c)中所示，信号处理部分30-4在包括大运动区域BKm的行区域中将间隔剔除量设置为大。作为这种处理的结果，不仅在被摄体静止的情况下，而且在被摄体是移动物体的情况下，都可以根据被摄体的运动来调整间隔剔除量，从而可以精确地执行识别处理。
<6.应用示例>
根据本公开的技术可应用于各种产品。例如，根据本公开的技术可以被实现为安装在包括汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动性、飞行器、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等移动体中的任何一个上的设备。
图16是示意性地描绘车辆控制系统100的功能配置示例的框图，该车辆控制系统100是可对其应用本技术的移动体控制系统的一个示例。
在下文中，在将其上安装有车辆控制系统100的车辆与其它车辆区分开的情况下，将其上安装有车辆控制系统100的车辆称为主体车辆。
车辆控制系统100包括输入部分101、数据获取部分102、通信部分103、车载设备104、输出控制部分105、输出部分106、驱动控制部分107、驱动系统108、车身控制部分109、车身系统110、存储部分111和自动驾驶控制部分112。输入部分101、数据获取部分102、通信部分103、输出控制部分105、驱动控制部分107、车身控制部分109、存储部分111和自动驾驶控制部分112通过通信网络121相互连接。例如，通信网络121包括符合任何标准的总线或车载通信网络，诸如CAN(控制器局域网)、LIN(本地互连网络)、LAN(局域网)或FlexRay(注册商标)。要注意的是，车辆控制系统100中的相应部分可以不通过通信网络121直接连接。
要注意的是，在下文中，在车辆控制系统100中的相应部分通过通信网络121执行通信的情况下，省略对通信网络121的描述。例如，在输入部分101通过通信网络121与自动驾驶控制部分112通信的情况下，使用输入部分101与自动驾驶控制部分112通信的简单表达。
输入部分101包括乘员用来输入各种数据或指示等的设备。例如，输入部分101包括诸如触摸面板、按钮、麦克风、开关或操纵杆之类的操作设备，或者可以通过使用语音、手势等的方法进行输入而无需手动操作的操作设备。可替代地，例如，输入部分101可以是使用红外线或任何其它无线电波的远程控制设备，或者可以是外部连接设备(诸如处理车辆控制系统100中的操作的移动或可穿戴设备之类)。输入部分101基于乘员输入的数据或指示等生成输入信号，并将该信号供应给车辆控制系统100的相应部分。
数据获取部分102包括各种类型的传感器，所述传感器获取在车辆控制系统100中的处理中使用的数据，并将获取的数据供应给车辆控制系统100中的相应部分。
例如，数据获取部分102包括用于检测主体车辆的状态等的各种类型的传感器。具体而言，例如，数据获取部分102包括陀螺仪、加速度传感器、惯性测量单元(IMU)，以及用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机的转速、电动机的转速或车轮的转速的传感器。
另外，数据获取部分102例如包括各种类型的传感器，用于检测关于主体车辆的外部的信息。具体而言，数据获取部分102包括图像捕获设备，诸如ToF(飞行时间)相机、立体相机、单透镜相机、红外相机或任何其它相机。而且，例如，数据获取部分102包括用于检测天气、大气现象等的环境传感器以及用于检测主体车辆周围的物体的外围信息传感器。例如，环境传感器包括雨滴传感器、雾传感器、阳光传感器、雪传感器等。例如，外围信息传感器包括超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等。
此外，数据获取部分102例如包括用于检测主体车辆的当前位置的各种类型的传感器。具体而言，例如，数据获取部分102包括用于从GNSS(全球导航卫星系统)卫星接收GNSS信号的GNSS接收器等。
此外，数据获取部分102包括例如用于检测关于车辆内部的信息的各种类型的传感器。具体而言，例如，数据获取部分102包括捕获驾驶员的图像的图像捕获设备、检测驾驶员的生物特征信息的生物特征传感器、收集车辆内部的声音的麦克风等。生物特征传感器例如在座椅表面或方向盘中提供，并且检测关于坐在座椅上的乘员或握住方向盘的驾驶员的生物特征信息。
通信部分103与车载设备104、各种车辆外部设备、服务器、基站等通信，传输从车辆控制系统100中的相应部分供应的数据，并将接收到的数据供应给车辆控制系统100中的相应部分。要注意的是，通信部分103所支持的通信协议不限于特定协议。另外，通信部分103可以支持多种类型的通信协议。
例如，通信部分103经由无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与车载设备104无线通信。此外，例如，然后，通信部分103通过未示出的连接端子(以及电缆，如果需要的话)通过使用USB(通用串行总线)、HDMI(注册商标)(高清多媒体接口)、MHL(移动高清链接)等与车载设备104有线通信。
另外，例如，通信部分103经由基站或接入点与外部网络(例如，互联网、云网络或特定于公司的网络)中的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信部分103通过使用P2P(对等)技术与存在于主体车辆周围的终端(例如，行人或商店终端，或MTC(机器类型通信)终端)通信。另外，例如，通信部分103执行V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信、车辆到行人通信等。而且，例如，通信部分103包括信标接收部分，以接收从安装在道路上的无线站等发射的无线电波或电磁波，并获取关于当前位置、交通拥堵、交通法规、所需时间等的信息。
例如，车载设备104包括乘员拥有的移动或可穿戴设备、被引入或附接到主体车辆的信息设备、搜索到任何目的地的路线的导航设备等。
输出控制部分105控制各种信息向主体车辆中的乘员或车辆外部的输出。例如，输出控制部分105生成包括视觉信息(例如，图像数据)或听觉信息(例如，声音数据)中的至少一种的输出信号，并将该输出信号供应给输出部分106，从而控制视觉信息和听觉信息从输出部分106的输出。具体而言，例如，输出控制部分105通过在数据获取部分102中组合由不同的图像捕获设备获得的图像数据集来生成鸟瞰图像、全景图像等，并向输出部分106供应包括所生成的图像的输出信号。此外，例如，输出控制部分105生成包括关于碰撞、接触、对危险区域的侵入等的警报声、警报消息等的声音数据，并向输出部分106供应包括所生成的声音数据的输出信号。
输出部分106包括能够将视觉信息或听觉信息输出到主体车辆的乘员或车辆外部的设备。例如，输出部分106包括显示设备、仪表板、音频扬声器、耳机、可穿戴设备(诸如乘员穿戴的眼镜式显示器之类)、投影仪、灯等。输出部分106中包括的显示设备的示例不仅包括配备普通显示器的设备，而且还包括在驾驶员的视场内显示视觉信息的设备(诸如平视显示器、透射型显示器，或具有AR(增强现实)显示功能的设备之类)。
驱动控制部分107通过生成各种控制信号并将信号供应给驱动系统108来控制驱动系统108。另外，如果需要，那么驱动控制部分107通过将控制信号供应给除驱动系统108以外的相应部分来向这些部分给予关于驱动系统108的控制状态的通知等。
驱动系统108包括与主体车辆的驾驶系统相关的各种类型的设备。例如，驱动系统108包括用于生成用于内燃机、驱动马达等的驱动力的驱动力生成设备、用于将驱动力传送到车轮的驱动力传送机构、用于调整转向角的转向机构、用于生成制动力的制动设备、ABS(防抱死制动系统)、ESC(电子稳定控制系统)、电动助力转向设备等。
车身控制部分109通过生成各种控制信号并将信号供应给车身系统110来控制车身系统110。另外，如果需要，那么车身控制部分109通过将控制信号供应给除车身系统110以外的相应部分来向这些部分通知关于车身系统110的控制状态的通知等。
车身系统110包括安装在车身上的各种类型的车身系统设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调装置、各种灯(例如，前灯、后灯、制动灯、转向灯、雾灯等)等。
存储部分111包括磁存储设备、半导体存储设备、光学存储设备，以及诸如ROM(只读存储器)、RAM(随机存取存储器)或HDD(硬盘驱动器)之类的磁光设备，等等。存储部分111存储由车辆控制系统100中的相应部分使用的各种程序和数据等。例如，存储部分111存储地图数据，诸如高精度三维地图(例如，动态地图)、具有比高精度地图低的精度但是覆盖更宽区域的全局地图，以及包括关于主体车辆的周围区域的信息的局部地图。
自动驾驶控制部分112执行与诸如驾驶辅助之类的自主行驶或自动驾驶相关的控制。具体而言，例如，自动驾驶控制部分112执行用于实现ADAS(高级驾驶员辅助系统)功能的协调控制，包括主体车辆的碰撞避免或冲击减缓、基于车距的跟随行驶、以维持的车速行驶、主体车辆的碰撞警告、主体车辆的车道偏离警告等。另外，例如，自动驾驶控制部分112执行用于自动驾驶的协作控制等，以实现自主行驶而不依赖于驾驶员的操作。自动驾驶控制部分112包括检测部分131、自身位置估计部分132、状况分析部分133、计划部分134和操作控制部分135。
检测部分131检测控制自动驾驶所必需的各种信息。检测部分131包括外部信息检测部分141、车辆内部信息检测部分142和车辆状态检测部分143。
外部信息检测部分141基于来自车辆控制系统100的相应部分的数据或信号来执行关于主体车辆的外部相关的信息的检测处理。例如，外部信息检测部分141检测、识别和跟踪主体车辆周围的物体，并检测到物体的距离。要检测的物体的示例包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志和道路标志。此外，例如，外部信息检测部分141执行对主体车辆的周围环境的检测处理。要检测的周围环境的示例包括天气、温度、湿度、亮度和道路状况。外部信息检测部分141将指示检测处理的结果的数据供应给自身位置估计部分132，状况分析部分133的地图分析部分151、交通规则识别部分152和状况识别部分153，操作控制部分135的紧急情况避免部分171等。
车辆内部信息检测部分142基于来自车辆控制系统100中的相应部分的数据或信号来执行关于车辆内部的信息的检测处理。例如，车辆内部信息检测部分142对驾驶员进行认证和识别、检测驾驶员的状况、检测乘员并检测车辆内部环境。要检测的驾驶员状况的示例包括身体状况、觉醒程度、专注程度、疲劳程度和视线方向。要检测的车辆内部环境的示例包括温度、湿度、亮度和气味。车辆内部信息检测部分142将指示检测处理的结果的数据供应给状况分析部分133的状况识别部分153、操作控制部分135的紧急情况避免部分171等。
车辆状态检测部分143基于来自车辆控制系统100的相应部分的数据或信号来执行主体车辆的状态的检测处理。要检测的主体车辆的状态的示例包括速度、加速度、转向角、异常的存在或不存在及其细节、驾驶操作状态、电动座椅的位置和倾斜度、门锁定状态，以及任何其它车载设备的状态。车辆状态检测部分143将指示检测处理的结果的数据供应给状况分析部分133的状况识别部分153、操作控制部分135的紧急情况避免部分171等。
自身位置估计部分132基于来自车辆控制系统100中的相应部分(诸如外部信息检测部分141和状况分析部分133的状况识别部分153之类)的数据或信号来执行主体车辆的位置、姿势等的估计处理。另外，如果需要，那么自身位置估计部分132生成用于估计自身位置的局部图(在下文中，称为自身位置估计图)。例如，使用SLAM((同步定位与建图)技术等的高精度图被用作自位置估计图。自身位置估计部分132将指示估计处理的结果的数据供应给状况分析部分133的地图分析部分151、交通规则识别部分152和状况识别部分153等。此外，自身位置估计部分132使存储部分111存储自身位置估计图。
状况分析部分133执行主体车辆的状况和周围状况的分析处理。状况分析部分133包括地图分析部分151、交通规则识别部分152、状况识别部分153和状况预测部分154。
地图分析部分151通过分析存储在存储部分111中的各种地图来构造包括自动驾驶处理所必需的信息的地图，同时如果需要的话使用来自车辆控制系统100中的相应部分(诸如自身位置估计部分132和外部信息检测部分141之类)的数据或信号。地图分析部分151将构造的地图供应给交通规则识别部分152、状况识别部分153、状况预测部分154，并且供应给计划部分134的路线计划部分161、动作计划部分162和操作计划部分163等。
交通规则识别部分152基于来自车辆控制系统100中的相应部分(诸如自身位置估计部分132、外部信息检测部分141和地图分析部分151之类)的数据或信号来执行在主体车辆的周围区域中的交通规则的识别处理。作为识别处理的结果，识别出主体车辆的周围区域中的交通信号的位置和状态、主体车辆的周围区域中的交通规则的细节以及车辆可以行驶的车道等。交通规则识别部分152将指示识别处理的结果的数据供应给状况预测部分154等。
状况识别部分153基于来自车辆控制系统100中的相应部分(诸如自身位置估计部分132、外部信息检测部分141、车辆内部信息检测部分142、车辆状态检测部分143和地图分析部分151)的数据或信号来执行与主体车辆的状态相关的状况的识别处理。例如，状况识别部分153识别主体车辆的状况、主体车辆的周围状况、主体车辆的驾驶员的状况等。另外，状况识别部分153生成局部地图(在下文中，称为状况识别地图)，以便在需要时识别主体车辆的周围状况。例如，将占用栅格地图用作状况识别地图。
要识别的主体车辆的状况的示例包括主体车辆的位置、姿态和运动(例如，速度、加速度、移动方向等)，以及异常的存在或不存在及其细节。要识别的主体车辆的周围状况的示例包括周围区域中的静止物体的类型和位置，周围区域中的移动物体的类型、位置和运动(例如，速度、加速度、移动方向等)、周围道路的结构及其路面状况，以及周围区域的天气、温度、湿度和亮度。要识别的主体车辆的驾驶员的状况的示例包括身体状况、觉醒程度、专注程度、疲劳程度、视线的移动和驾驶操作。
状况识别部分153将指示识别处理的结果的数据(如果需要，包括状况识别地图)供应给自身位置估计部分132、状况预测部分154等。另外，状况识别部分153使存储部分111存储状况识别地图。
状况预测部分154基于来自车辆控制系统100中的相应部分(诸如地图分析部分151、交通规则识别部分152和状况识别部分153)的数据或信号来执行与主体车辆相关的状况的预测处理。例如，状况预测部分154预测主体车辆的状况、主体车辆的周围状况、驾驶员的状况等。
要预测的主体车辆的状况的示例包括主体车辆的行为、异常的发生和可行驶距离。要预测的主体车辆的周围状况的示例包括移动体的行为、交通信号灯的状态改变和主体车辆的周围区域中的环境改变(诸如天气改变之类)。要预测的驾驶员状况的示例包括驾驶员的行为和驾驶员的身体状况。
状况预测部分154将指示预测处理的结果的数据以及来自交通规则识别部分152和状况识别部分153的数据供应给计划部分134的路线计划部分161、动作计划部分162、操作计划部分163等。
路线计划部分161基于来自车辆控制系统100中的相应部分(诸如地图分析部分151和状况预测部分154)的数据或信号来计划到目的地的路线。例如，路线计划部分161基于全局地图来设置从当前位置到指定目的地的路线。而且，例如，路线计划部分161基于交通拥堵、事故、交通法规、施工状况、驾驶员的身体状况等适当地改变路线。路线计划部分161将指示计划的路线的数据供应给动作计划部分162等。
动作计划部分162基于来自车辆控制系统100中的相应部分(诸如地图分析部分151和状况预测部分154之类)的数据或信号来计划在计划的时间段内沿着由路线计划部分161计划的路线安全行驶的主体车辆动作。例如，动作计划部分162计划开始、停止、行驶方向(例如，前进移动、后退移动、左转、右转、方向改变等)、行驶车道、行驶速度、超车等。动作计划部分162将指示计划的主体车辆动作的数据供应给操作计划部分163等。
操作计划部分163基于来自车辆控制系统100中的相应部分(诸如地图分析部分151和状况预测部分154之类)的数据或信号来计划用于实现由动作计划部分162计划的动作的主体车辆操作。例如，操作计划部分163制定关于加速度、减速度、行驶轨迹等的计划。操作计划部分163将指示计划的主体车辆操作的数据供应给操作控制部分135的加速/减速控制部分172和方向控制部分173等。
操作控制部分135控制主体车辆的操作。操作控制部分135包括紧急情况避免部分171、加速/减速控制部分172和方向控制部分173。
紧急情况避免部分171基于由外部信息检测部分141、车辆内部信息检测部分142和车辆状态检测部分143获得的检测结果来执行紧急情况的检测处理，诸如碰撞、接触、闯入危险区域、驾驶员的异常或车辆的异常。在检测到发生这种紧急情况的情况下，紧急情况避免部分171计划主体车辆操作(诸如突然停止或突然转弯之类)以避免紧急情况。紧急情况避免部分171将指示计划的主体车辆操作的数据供应给加速/减速控制部分172、方向控制部分173等。
加速/减速控制部分172执行用于实现由操作计划部分163或紧急情况避免部分171计划的主体车辆操作的加速/减速控制。例如，加速/减速控制部分172计算用于实现计划的加速、减速或突然停止的驱动力生成设备或制动设备的控制目标值，并且将指示计算出的控制目标值的控制命令供应给驱动控制部分107。
方向控制部分173执行用于实现由操作计划部分163或紧急情况避免部分171计划的主体车辆操作的方向控制。例如，方向控制部分173计算用于实现由操作计划部分163或紧急情况避免部分171计划的行驶轨迹或突然转弯的转向机构的控制目标值，并将指示计算出的控制目标值的控制命令供应给驱动控制部分107。
在上述车辆控制系统100中，在本实施例中已经解释的图像捕获部分20和信号处理部分30-1(30-2、30-3、30-4)分别与数据获取部件102和外部信息检测部件141对应。在车辆控制系统100中提供有图像捕获部分20和信号处理部分30-1(30-2、30-3、30-4)的情况下，图像捕获部分20的间隔剔除量根据配备有车辆控制系统100的车辆与车辆外部的物体之间的相对位置关系的改变来设置，并且执行图像捕获。因而，可以获得具有很少滚动快门失真的捕获的图像。此外，由于执行了与间隔剔除量对应的识别器的切换并且识别出了被摄体，因此与在不切换识别器的情况下执行被摄体识别的情况相比，可以以高精度识别被摄体。
另外，可以通过硬件、软件或其组合来执行在本文解释的一系列处理。在通过软件执行处理的情况下，在其中记录有一系列处理的程序在被安装到结合在专用硬件中的计算机的存储器中之后被执行。可替代地，程序可以被安装到能够进行各种处理的通用计算机中并被执行。
例如，可以将程序预先记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。可替代地，可以将程序临时或永久地存储(记录)在可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光盘)、DVD(数字多功能光盘)、BD(蓝光光盘(注册商标))、磁盘或半导体存储卡之类。这样的可移动记录介质可以以所谓的打包软件的形式提供。
另外，程序可以从可移动记录介质安装到计算机，或者可以通过线缆或通过无线电波、通过诸如LAN(LAN)或因特网之类的网络从下载站点传送到计算机。计算机接收这样传送的程序，从而可以将程序安装到诸如内部硬盘等内部记录介质中。
要注意的是，本说明书中描述的效果仅仅是示例并且不受限制，并且因此，可以提供在本文未描述的任何附加效果。此外，不应当将本技术限于上面提到的实施例来解释。通过以根据本技术的实施例为例来公开本技术。显然，本领域技术人员可以在本技术的要旨内对实施例进行修改或替换。即，应当考虑权利要求以便评估本技术的要旨。
此外，本技术还可以具有以下配置。
(1)一种信息处理设备，包括：
运动检测部分，其检测图像捕获部分与被摄体之间的相对位置关系的改变；以及
间隔剔除设置部分，其根据由运动检测部分获得的检测结果来设置图像捕获部分的行间隔剔除操作的间隔剔除量。
(2)根据(1)所述的信息处理设备，其中
间隔剔除设置部分随着运动检测部分检测到的改变的增加而增加间隔剔除量。
(3)根据(2)所述的信息处理设备，其中
在由运动检测部分检测到的相对位置关系的改变由于图像捕获部分的旋转而发生的情况下，间隔剔除设置部分执行在整个屏幕上均匀的行间隔剔除操作。
(4)根据(2)或(3)所述的信息处理设备，其中
在由运动检测部分检测到的相对位置关系的改变由于图像捕获部分在光轴方向上的移动而发生的情况下，间隔剔除设置部分将其中由于图像捕获部分在光轴方向上的移动而发生的相对位置关系的改变较大的区域中的间隔剔除量设置为大于其中改变较小的区域中的间隔剔除量。
(5)根据(1)至(4)中的任一项所述的信息处理设备，还包括：
读取设置部分，其根据由运动检测部分获得的检测结果来设置图像捕获部分中的行读取次序的方向。
(6)根据(5)所述的信息处理设备，其中
在由运动检测部分检测到的相对位置关系的改变由于图像捕获部分在光轴方向上的前进移动而发生的情况下，读取设置部分将行读取次序的方向设置为向下，并且，在改变由于图像捕获部分在光轴方向上的后退移动而发生的情况下，读取设置部分将行读取次序的方向设置为向上。
(7)根据(1)至(6)中的任一项所述的信息处理设备，其中
运动检测部分基于其上安装有图像捕获部分的移动体的运动来检测相对位置关系的改变。
(8)根据(7)所述的信息处理设备，其中
移动体包括车辆，并且基于车速和转向角来检测相对位置关系的改变。
(9)根据(7)所述的信息处理设备，其中
运动检测部分基于由惯性测量部分获得的测量结果来检测相对位置关系的改变，该相对位置关系的改变被提供给其上安装有图像捕获部分的移动体。
(10)根据(1)所述的信息处理设备，其中
运动检测部分基于图像捕获场景来检测相对位置关系的改变。
(11)根据(1)所述的信息处理设备，其中
运动检测部分基于由图像捕获部分获得的图像来检测相对位置关系的改变。
(12)根据(1)至(11)中的任一项所述的信息处理设备，还包括：
识别处理部分，其通过使用与由间隔剔除设置部分设置的间隔剔除量对应的识别器在由图像捕获部分获得的图像中执行被摄体识别。
(13)根据(12)所述的信息处理设备，其中
识别处理部分根据间隔剔除量通过使用预先生成的字典来执行被摄体识别。
(14)根据(12)所述的信息处理设备，其中
识别处理部分使用与由间隔剔除设置部分针对每个区域设置的间隔剔除量对应的识别器。
(15)根据(12)至(14)中的任一项上述的信息处理设备，还包括：
读取设置部分，其根据由运动检测部分获得的检测结果来设置图像捕获部分中的行读取次序的方向，其中
识别处理部分通过使用与由间隔剔除设置部分设置的间隔剔除量对应并且与由读取设置部分设置的读取次序的方向对应的识别器来执行被摄体识别。
(16)根据(1)至(15)中的任一项所述的信息处理设备，还包括：
图像处理部分，其通过使用由图像捕获部分获得的图像来进行对应点搜索，其中
图像处理部分根据由间隔剔除设置部分设置的间隔剔除量来调整搜索范围。
(17)根据(16)所述的信息处理设备，其中
图像处理部分根据由间隔剔除设置部分设置的间隔剔除量来调整对应点的可靠性。
(18)根据(1)至(17)中的任一项所述的信息处理设备，还包括：
执行滚动快门操作的图像捕获部分。
[工业适用性]
在根据本技术的信息处理设备、信息处理方法和程序中，根据图像捕获部分与被摄体之间的相对位置关系的改变来设置图像捕获部分的行间隔剔除操作的间隔剔除量。因而，获得了具有很小失真的被摄体图像。因此，本技术适用于安装在移动体等上的设备。
[附图标记列表]
10...图像捕获系统
20...图像捕获部分
21...图像捕获透镜
22...图像传感器
30-1、30-2、30-3、30-4...信号处理部分
31...运动检测部分
32...间隔剔除设置部分
33...区域失真量估计部分
34...区域间隔剔除设置部分
35...读取设置部分
36...插值处理部分
37-1、37-2、37-3、37-4...识别处理部分
38...图像处理部分
371-1、371-2、371-3...识别器切换部分
372-1至372-n，372-d1至372-dn，372-u1至372-un...识别器

Claims (15)

1.一种信息处理设备，包括：
图像捕获部分，执行滚动快门操作以生成图像信号；
运动检测部分，检测图像捕获部分相对于被摄体的运动；
间隔剔除设置部分，根据由运动检测部分获得的运动来设置图像捕获部分的行间隔剔除操作的间隔剔除量，随着由运动检测部分检测到的运动的增加而增加间隔剔除量；
插值处理部分，通过使用由所述图像捕获部分生成的图像信号来执行插值处理，并生成被插值图像的图像信号，该被插值图像的行数等于间隔剔除之前的图像中的行数；以及
读取设置部分，根据由运动检测部分获得的运动来设置图像捕获部分中的行读取次序的方向，其中
在由运动检测部分检测到的运动由于图像捕获部分在光轴方向上的前进移动而发生的情况下，读取设置部分将行读取次序的方向设置为向上，并且，在运动由于图像捕获部分在光轴方向上的后退移动而发生的情况下，读取设置部分将行读取次序的方向设置为向下。
2.根据权利要求1所述的信息处理设备，其中
在由运动检测部分检测到的运动由于图像捕获部分的旋转而发生的情况下，间隔剔除设置部分执行在整个屏幕上均匀的行间隔剔除操作。
3.根据权利要求1所述的信息处理设备，其中
在由运动检测部分检测到的运动由于图像捕获部分在光轴方向上的移动而发生的情况下，间隔剔除设置部分将图像捕获区域的下侧区域中的间隔剔除量设置为大于图像捕获区域的上侧区域中的间隔剔除量。
4.根据权利要求1所述的信息处理设备，其中
运动检测部分基于安装有图像捕获部分的移动体的运动来检测运动。
5.根据权利要求4所述的信息处理设备，其中
移动体包括车辆，并且基于车速和转向角来检测运动。
6.根据权利要求4所述的信息处理设备，其中
运动检测部分基于由惯性测量部分获得的测量结果来检测运动，该惯性测量部分被设置于安装有图像捕获部分的移动体。
7.根据权利要求1所述的信息处理设备，其中
运动检测部分基于图像捕获场景来检测运动。
8.根据权利要求1所述的信息处理设备，还包括：
识别处理部分，通过使用与由间隔剔除设置部分设置的间隔剔除量对应的识别器执行在由图像捕获部分获得的图像中的被摄体识别。
9.根据权利要求8所述的信息处理设备，其中
识别处理部分通过使用根据间隔剔除量预先生成的字典来执行被摄体识别。
10.根据权利要求8所述的信息处理设备，其中
识别处理部分使用与由间隔剔除设置部分针对每个区域设置的间隔剔除量对应的识别器。
11.根据权利要求8所述的信息处理设备，其中
识别处理部分通过使用与由间隔剔除设置部分设置的间隔剔除量对应并且与由读取设置部分设置的读取次序的方向对应的识别器来执行被摄体识别。
12.根据权利要求1所述的信息处理设备，还包括：
图像处理部分，通过使用由图像捕获部分获得的图像来进行对应点搜索，其中
图像处理部分根据由间隔剔除设置部分设置的间隔剔除量来调整搜索范围。
13.根据权利要求12所述的信息处理设备，其中
图像处理部分根据由间隔剔除设置部分设置的间隔剔除量来调整对应点的可靠性。
14.一种信息处理方法，包括：
由图像捕获部分执行滚动快门操作以生成图像信号；
由运动检测部分检测图像捕获部分相对于被摄体的运动；
由间隔剔除设置部分根据由运动检测部分获得的检测结果来设置图像捕获部分的行间隔剔除操作的间隔剔除量，其中随着由运动检测部分检测到的运动的增加而增加间隔剔除量；
由插值处理部分通过使用由所述图像捕获部分生成的图像信号来执行插值处理，并生成被插值图像的图像信号，该被插值图像的行数等于间隔剔除之前的图像中的行数；并且
由读取设置部分根据由运动检测部分获得的运动来设置图像捕获部分中的行读取次序的方向，其中
在由运动检测部分检测到的运动由于图像捕获部分在光轴方向上的前进移动而发生的情况下，读取设置部分将行读取次序的方向设置为向上，并且，在运动由于图像捕获部分在光轴方向上的后退移动而发生的情况下，读取设置部分将行读取次序的方向设置为向下。
15.一种计算机可读记录介质，其上记录有程序，该程序在由计算机执行时进行如权利要求14所述的信息处理方法中包括的各步骤。
CN201980052996.1A 2018-08-16 2019-07-23 信息处理设备，信息处理方法和计算机可读记录介质 Active CN112567726B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018153171 2018-08-16
JP2018-153171 2018-08-16
PCT/JP2019/028784 WO2020036043A1 (ja) 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム

Publications (2)

Publication Number Publication Date
CN112567726A CN112567726A (zh) 2021-03-26
CN112567726B true CN112567726B (zh) 2023-12-05

Family

ID=69525391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052996.1A Active CN112567726B (zh) 2018-08-16 2019-07-23 信息处理设备，信息处理方法和计算机可读记录介质

Country Status (6)

Country Link
US (1) US11563905B2 (zh)
EP (1) EP3840359A4 (zh)
JP (1) JP7409309B2 (zh)
KR (1) KR102645368B1 (zh)
CN (1) CN112567726B (zh)
WO (1) WO2020036043A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020137313A1 (zh) * 2018-12-28 2020-07-02
JPWO2022163130A1 (zh) * 2021-01-29 2022-08-04

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209838A (ja) * 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
CN104702826A (zh) * 2013-12-10 2015-06-10 佳能株式会社 摄像设备及其控制方法
JP2016131365A (ja) * 2015-09-18 2016-07-21 株式会社ニコン 撮像装置
JP2018007077A (ja) * 2016-07-04 2018-01-11 株式会社ニコン 撮像装置および自動車

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP5281424B2 (ja) * 2008-03-18 2013-09-04 株式会社ゼンリン 路面標示地図生成方法
JP5909147B2 (ja) * 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP6795030B2 (ja) * 2016-04-27 2020-12-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP6758950B2 (ja) * 2016-06-27 2020-09-23 キヤノン株式会社 撮像装置、その制御方法とプログラム
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209838A (ja) * 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
CN104702826A (zh) * 2013-12-10 2015-06-10 佳能株式会社 摄像设备及其控制方法
JP2016131365A (ja) * 2015-09-18 2016-07-21 株式会社ニコン 撮像装置
JP2018007077A (ja) * 2016-07-04 2018-01-11 株式会社ニコン 撮像装置および自動車

Also Published As

Publication number Publication date
US11563905B2 (en) 2023-01-24
JP7409309B2 (ja) 2024-01-09
US20210227155A1 (en) 2021-07-22
KR102645368B1 (ko) 2024-03-11
KR20210043571A (ko) 2021-04-21
EP3840359A1 (en) 2021-06-23
CN112567726A (zh) 2021-03-26
EP3840359A4 (en) 2021-12-15
WO2020036043A1 (ja) 2020-02-20
JPWO2020036043A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
US11978261B2 (en) Information processing apparatus and information processing method
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
CN112567726B (zh) 信息处理设备，信息处理方法和计算机可读记录介质
US20220165066A1 (en) Information processing apparatus, information processing method, and program
CN112567427B (zh) 图像处理装置、图像处理方法和程序
US20220148283A1 (en) Information processing apparatus, information processing method, and program
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN117999587A (zh) 识别处理设备、识别处理方法和识别处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant