CN114026436A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

配置成在不同定时进行各行的曝光的卷帘快门模式的第一成像部21r和配置成在一个定时进行各行的曝光的全局快门模式的第二成像部21g捕捉移动中的被摄体的图像。通过使用由第二成像部21g获得的第二捕捉图像，失真计算部33确定在由第一成像部21r获得的第一捕捉图像中产生的被摄体图像失真。移动速度检测部35基于捕捉图像的视角，由失真计算部33确定的图像失真的失真量，以及由距离测量部34测量的到被摄体的距离，检测每行中被摄体的移动速度。因而，可以快速并频繁地检测被摄体的移动速度。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和程序。通过本技术，能够快速并且频繁地检测被摄体的移动速度。

背景技术

多普勒效应通常用于检测移动物体的移动速度。由施加于移动物体的无线电波或超声波的反射所产生的波已用于检测移动速度。另外，在PTL 1中，基于移动物体的捕捉图像来检测移动物体的移动速度。

[引文列表]

[专利文献]

[PTL 1]日本专利公开No.2001-183383

发明内容

[技术问题]

同时，在PTL 1中，基于捕捉图像帧之间的被摄体的位置变化以及捕捉图像帧速率等计算移动速度。不能以比帧速率更高的速度和频率检测被摄体的移动速度。

鉴于此，本技术的目的是提供一种使被摄体的移动速度的快速且频繁的检测成为可能的图像处理装置、图像处理方法和程序。

[问题的解决方案]

本技术的第一方面是一种图像处理装置，包括移动速度检测部，所述移动速度检测部基于在通过各行在不同定时的曝光而获得的第一捕捉图像中产生的被摄体图像失真，检测被摄体的移动速度。

在该技术中，基于由在相同定时进行各行的曝光的第二成像部获得的第二捕捉图像，确定在由在不同定时进行各行的曝光的第一成像部获得的第一捕捉图像中产生的被摄体图像失真，所述移动速度检测部基于确定的图像失真的失真量、第一捕捉图像的视角、以及在距离测量部测量的到被摄体的距离，例如以行为单位检测被摄体的移动速度。

第一成像部和第二成像部是以使得第一捕捉图像和第二捕捉图像之间的视差小于预定值，并且第一捕捉图像和第二捕捉图像在同一被摄体的区域的像素尺寸方面相等的方式布置的。

配置成计算被摄体图像失真的失真计算部通过使用在第一捕捉图像和第二捕捉图像中被摄体的在相同位置的行图像之间的位置偏差量，计算所述失真量。例如，在第一捕捉图像和第二捕捉图像中被摄体的在第一位置的行图像之间的位置偏差量与第一捕捉图像和在第二捕捉图像中被摄体的在第二位置的行图像之间的位置偏差量之间的差值用作失真量，在第二位置的曝光定时晚于在第一位置的曝光定时。此外，失真计算部可以按照被摄体图像的尺寸，调整第一位置和第二位置之间的行间隔。或者，失真计算部可以基于几何变换来计算失真量，作为所述几何变换的结果，第一捕捉图像与通过对于第二捕捉图像的几何变换处理而产生的几何变换图像之间的差异等于或小于预定阈值。

另外，设置利用第二捕捉图像进行被摄体识别，并辨识其移动速度待检测的速度检测对象的图像区域的物体识别部。失真计算部通过使用由所述物体识别部识别的速度检测对象的图像区域的图像来计算图像失真。此外，失真计算部在以行为单位切换速度检测对象的同时，计算由所述物体识别部识别的多个速度检测对象各自的图像失真，移动速度检测部基于由所述失真计算部依次计算的图像失真，以行为单位检测每个速度检测对象的移动速度。此外，物体识别部检测静止物体作为速度检测对象，移动速度检测部基于静止物体的图像失真的失真量，检测相对于静止物体的移动速度。

本技术的第二方面是一种图像处理方法，包括使移动速度检测部基于在通过各行在不同定时的曝光而获得的第一捕捉图像中产生的被摄体图像失真，检测被摄体的移动速度。

本技术的第三方面是一种用于使计算机通过使用捕捉图像来检测移动速度的程序。所述程序使计算机执行获取通过各行在不同定时的曝光而获得的第一捕捉图像的过程，计算在第一捕捉图像中产生的被摄体图像失真的过程，和基于计算的图像失真来检测被摄体的移动速度的过程。

要注意的是，按照本技术的程序可以通过用于以计算机可读格式将程序提供给例如能够执行各种程序代码的通用计算机的存储介质或通信介质，例如，诸如光盘、磁盘或半导体存储器之类的存储介质或诸如网络之类的通信介质来提供。由于程序是以计算机可读格式提供的，因此在计算机上执行按照所述程序的处理。

附图说明

图1描述用于说明全局快门模式和卷帘快门模式的示图。

图2描述图解说明在使用卷帘快门模式的情况下产生的失真的示图。

图3是图解说明速度检测系统的构成的示图。

图4描述图解说明成像部21g和成像部21r的布置的示图。

图5是图解说明第一操作的流程图的示图。

图6是用于说明移动速度检测部的操作的示图。

图7描述图解说明第一操作的示图。

图8描述图解说明基准行和参考行的信号的示图。

图9是图解说明在存在多个移动物体的情况下的操作的示图。

图10描述图解说明其中成像装置安装在移动物体的侧面的情况的示图。

图11是图解说明第二操作的流程图的示图。

图12是图解说明不断接近成像装置的被摄体的示图。

图13是用于说明移动速度的计算的示图。

图14是图解说明车辆控制系统的示意功能构成例子的方框图。

具体实施方式

下面，将说明用于实现本技术的方式。要注意的是，将按照以下顺序进行说明。

1.按照本技术的速度检测

2.实施例中的构成

3.实施例中的操作

3-1.第一操作

3-2.第二操作

3-3.其他操作

4.应用例

<1.按照本技术的速度检测>

图1描述用于说明全局快门模式和卷帘快门模式的示图。图1中，(a)图解说明使用全局快门模式的固态成像装置的操作。全局快门模式在基于垂直驱动信号VD的一个定时进行各行L0-g～Ln-g的曝光，使得以帧为单位获取捕捉图像。图1中，(b)图解说明使用卷帘快门模式的固态成像装置的操作。卷帘快门模式相对于垂直驱动信号VD，进行第一行L0-r的曝光，并且对于第二行及后续各行L1-r～Ln-r，在不同定时进行相应行的曝光，使得以帧为单位获取捕捉图像。从而，在被摄体在移动的情况下，在捕捉图像中产生被摄体图像失真。此外，失真随被摄体移动速度的不同而变化。当移动速度高时，失真变大。要注意的是，在图1和后面说明的图11中，时间方向用箭头t指示。

图2图解说明在使用卷帘快门模式的情况下产生的失真。图2中，(a)图解说明在被摄体OB处于静止状态的情况下获得的捕捉图像。图2中，(b)图解说明在被摄体OB以移动速度Va1沿箭头FA的方向移动的情况下获得的捕捉图像。图2中，(c)图解说明在被摄体OB以移动速度Va2(>Va1)沿箭头FA的方向移动的情况下获得的捕捉图像。此外，图2中，(d)图解说明在被摄体OB以移动速度Vb1沿箭头FB的方向移动的情况下获得的捕捉图像。图2中，(e)图解说明在被摄体OB以移动速度Vb2(>Vb1)沿箭头FB的方向移动的情况下获得的捕捉图像。

如图中图解所示，在由使用卷帘快门模式的固态成像装置获得的捕捉图像中，按照被摄体的移动产生图像失真。从而，按照本技术的图像处理装置基于在捕捉图像中产生的被摄体失真来检测被摄体的移动速度。具体地，从如在图1的(a)中图解所示其中没有按照被摄体的移动产生图像失真的捕捉图像(下文中称为“无失真图像”)，和如在图1的(b)中图解所示其中按照被摄体的移动产生图像失真的捕捉图像(下文中称为“失真图像”)，基于在失真图像中产生的失真量，快速并频繁地计算被摄体的移动速度。例如，计算每行中被摄体的位置偏差量，并基于计算的位置偏差量计算每行中被摄体的移动速度。

<2.实施例中的构成>

图3图解说明使用按照本技术的图像处理装置的速度检测系统的构成。速度检测系统10包括捕捉被摄体的图像的成像装置20，和基于成像装置20所获得的捕捉图像，检测被摄体的移动速度的图像处理装置30。

成像装置20包括卷帘快门模式的成像部(第一成像部)21r和全局快门模式的成像部(第二成像部)21g。卷帘快门模式的成像部21r例如包括CMOS图像传感器。全局快门模式的成像部21g例如包括全局快门CMOS图像传感器或CCD(电荷耦合器件)图像传感器。

成像部21r和成像部21g是以图像处理装置30(将在后面说明)可以基于成像部21g获得的无失真图像(第二捕捉图像)，容易地计算在成像部21r获得的失真图像(第一捕捉图像)中产生的被摄体图像失真的方式布置的。例如，成像部21r和成像部21g是以使得成像部21r获得的失真图像与成像部21g获得的无失真图像之间的视差小于预定值，并且第一捕捉图像和第二捕捉图像在同一被摄体的区域的像素尺寸方面相等的方式布置的。

图4图解说明成像部21g和成像部21r的布置。图4中，(a)图解说明其中以失真图像与无失真图像之间的视差变得可忽略的方式并排布置成像部21g和成像部21r的情况。另外，图4中，(b)图解说明其中在入射到成像部21g或成像部21r任意一个的被摄体光的光路上布置半反射镜22，以使被摄体光进入另一个成像部，使得在失真图像与无失真图像之间不产生视差的情况。这里，在成像部21g和成像部21r具有相同的成像光学系统和图像传感器的有效像素数的情况下，例如，处于静止状态的被摄体的图像的位置和区域尺寸在失真图像和无失真图像中相同。这种情况下，在由于被摄体的移动而产生被摄体图像失真的情况下，可以容易地计算失真量。

全局快门模式的成像部21g所获得的无失真图像和卷帘快门模式的成像部21r所获得的失真图像从成像装置20输出到图像处理装置30。

如图3中图解所示，图像处理装置30包括数据库部31、物体识别部32、失真计算部33、距离测量部34和移动速度检测部35。

在数据库部31中预先登记诸如关于其移动速度待检测的对象(被摄体)的形状的数据之类的登记信息。物体识别部32基于从成像装置20供给的无失真图像和数据库部31中的登记信息，识别移动速度检测对象，并将检测对象的图像区域指定为处理对象区域。物体识别部32将指示指定的处理对象区域的信息输出给失真计算部33和距离测量部34。

失真计算部33通过使用由物体识别部32识别的无失真图像中的处理对象区域的图像，计算失真图像中每行中的检测对象的图像失真。失真计算部33将在相应行中计算的失真量输出给移动速度检测部35。

距离测量部34通过使用被动方法或主动方法来测量到检测对象的距离。例如，在使用被动方法的情况下，距离测量部34在一对行传感器上分别形成通过瞳孔分割而获得的分割图像之一和另一个分割图像，并基于在行传感器上形成的图像之间的相位差来测量到检测对象的距离。或者，可以在成像装置20使用的图像传感器中设置用于分别产生分割图像之一的图像信号和另一个分割图像的图像信号的像面相位差检测像素，所述分割图像是通过瞳孔分割获得的，距离测量部34可以基于由像面相位差检测像素产生的图像信号来测量到检测对象的距离。在使用主动方法的情况下，距离测量部34发射光或无线电波，并基于反射的光或无线电波来测量到检测对象的距离。例如，距离测量部34通过使用TOF(飞行时间)传感器、LiDAR(光探测和测距、激光成像探测和测距)、RADAR(无线电探测和测距)等来测量距离。距离测量部34将到由物体识别部32识别的检测对象的距离的测量结果输出给移动速度检测部35。

移动速度检测部35基于由失真计算部33计算的检测对象的图像失真来检测所述检测对象(被摄体)的移动速度。移动速度检测部35通过使用关于成像部21g和21r的图像捕捉条件(例如，视角和分辨率)的信息，以及由距离测量部34测量的到检测对象的距离，以后面说明的方式基于图像失真来检测所述检测对象的移动速度。

<3.实施例中的操作>

<3-1.第一操作>

接下来，将说明按照实施例的第一操作。在第一操作中，提取每行中的处理对象区域的图像，使用从无失真图像中提取的图像与从失真图像中提取的对应图像之间的检测对象区域的位置偏差量来计算失真量，并基于计算的失真量来检测每行中的检测对象的移动速度。

图5图解说明第一操作的流程图。在步骤ST1，成像装置以全局快门模式进行图像捕捉。成像装置20借助于全局快门模式的成像部21g进行图像捕捉，并获取捕捉图像。随后，流程进行到步骤ST2。

在步骤ST2，图像处理装置进行物体识别处理。图像处理装置30的物体识别部32识别包含在步骤ST1所获得的捕捉图像中的物体，并检测其移动速度待检测的检测对象。随后，流程进行到步骤ST3。

在步骤ST3，图像处理装置进行距离测量处理。图像处理装置30的距离测量部34测量到在步骤ST2中检测的检测对象的距离。随后，流程进行到步骤ST4。

在步骤ST4，图像处理装置以两种模式进行图像捕捉。成像装置20借助于全局快门模式的成像部21g和卷帘快门模式的成像部21r两者进行图像捕捉，并获取无失真图像和失真图像。随后，流程进行到步骤ST5。

在步骤ST5，图像处理装置进行从处理对象区域读取1行的处理。图像处理装置30的失真计算部33分别从无失真图像和失真图像中的每一个中，读出在步骤ST2中检测到的检测对象的在相同位置的1行图像。随后，流程进行到步骤ST6。

在步骤ST6，图像处理装置进行基准指定处理。图像处理装置30的失真计算部33将位于在步骤ST5中已进行图像读取的第一位置的行指定为基准行La。另外，失真计算部33计算从无失真图像中读出的基准行La的图像与从失真图像中读出的基准行La的图像之间的位置偏差量。例如，从失真图像中读出的基准行的图像以像素为单位被移位，计算与从无失真图像中读出的基准行的图像的差异，并将所述差异变成最小的移位量指定为基准偏差量EPa。随后，流程进行到步骤ST7。

在步骤ST7，图像处理装置进行新行读取处理。图像处理装置30的失真计算部33将与在第一位置的基准行不同的位于第二位置的行(下文中称为“参考行”)指定为参考行Lb。例如，在向下进行读出行的移位的情况下，失真计算部33将直接在基准行下面的行指定为参考行Lb，并分别从无失真图像和失真图像中读出参考行Lb的图像。随后，流程进行到步骤ST8。

在步骤ST8，图像处理装置进行失真量计算处理。失真计算部33计算在步骤ST7从无失真图像从失真图像中读出的行图像之间的位置偏差量作为失真量。例如，从失真图像中读出的参考行Lb的图像以像素为单位被移位，计算与从无失真图像中读出的参考行Lb的图像的差异，并将所述差异变成最小的移位量指定为位置偏差量EPb。随后，流程进行到步骤ST9。

在步骤ST9，图像处理装置进行移动速度检测处理。图像处理装置30的移动速度检测部35基于在步骤ST2中测量的到检测对象的距离d，在步骤ST6中计算的基准偏差量EPa，在步骤ST8中计算的位置偏差量EPb，以及关于成像部21g和21r的预定图像捕捉条件(例如，视角和分辨率)的信息，来检测所述检测对象的移动速度。

图6是用于说明移动速度检测部的操作的示图。假设成像装置20的成像部21g和21r的水平视角为角度θ，并且水平方向为像素数Iw。此外，成像装置20与检测对象OBm之间的距离为距离d。这种情况下，在检测对象OBm的位置，可以基于式(1)计算与水平方向的一个像素间隔对应的水平距离Xp。

[数学式1]

这里，假设在曝光定时方面与其读取在基准行La的读取之后的参考行Lb的差异为时间段Ts。利用基准偏差量EPa、位置偏差量EPb、距离Xp和时间段Ts，基于式(2)可以计算检测对象的移动速度Vob。

[数学式2]

这样，移动速度检测部35检测所述检测对象的移动速度。随后，流程进行到步骤ST10。

在步骤ST10，图像处理装置判定处理对象区域中的行读取是否完成。在将由新的行读取处理进行处理对象区域中的行的读取的情况下，图像处理装置30的失真计算部33判定处理对象区域中的行读取未完成。随后，流程进行到步骤ST11。另外，在如果进行新的行读取处理则将进行与处理对象区域不同的区域中的行读取的情况下，失真计算部33判定处理对象区域中的行读取完成。随后，流程结束。

在步骤ST11，图像处理装置进行基准更新处理。图像处理装置30的失真计算部33将在步骤ST7中经历图像读取的第二位置指定为新的第一位置，并将参考行Lb指定为新的基准行La。另外，基于参考行Lb的图像计算的位置偏差量EPb被指定为基准偏差量EPa。随后，流程返回步骤ST7。

作为上述处理的结果，图像处理装置能够以与第一位置和第二位置之间的行间隔(时间差)对应的分辨率，频繁地检测所述检测对象的移动速度Vob。

要注意的是，图5中图解所示的流程图是例子，从而，可以进行与图5中的那些处理不同的处理。例如，可以进行使用在步骤ST4中获得的无失真图像的物体识别处理。另外，步骤ST7不限于在向下进行读取行的移位的情况下直接在基准行下面的行的读取，第一位置与第二位置之间的行间隔可以被加宽。当第一位置与第二位置之间的行间隔被加宽时，与读出直接在基准行下面的行的情况相比，检测移动速度的分辨率降低。不过，可以缩短完成移动速度检测所需的时间段。

另外，可以按照作为步骤ST2中的对象识别处理的结果所检测的检测对象在垂直方向的图像尺寸，调整要读出的行之间的间隔。即，在图像尺寸较小的情况下，第一位置与第二位置之间的行间隔被设定为较小，并且此外，检测移动速度的频率被设定为较高。在图像尺寸较大的情况下，行间隔被设定为较宽，使得完成移动速度检测所需的时间段被缩短。因而，可以高效地检测所述检测对象的移动速度。

此外，失真图像和无失真图像中在相同位置的被摄体的行图像之间的位置偏差量可以被指定为失真量，以计算移动速度。具体地，相对于通过执行步骤ST5和步骤ST6而计算的在第一位置的基准偏差量EPa的在第二位置的行图像之间的位置偏差量被指定为失真量，以计算移动速度。另外，在第一位置固定时，只在读出方向上依次更新第二位置，使得检测移动速度。当以这种方式检测移动速度时，可以快速获得移动速度的检测结果，并且每当更新第二位置时，第一位置和第二位置之间的行间隔(时间差)，即，计算移动速度所用的时间段Ts变长。因而，可以获得稳定的检测结果。

图7是图解说明第一操作的示图。图7中，(a)图解说明由成像部21g获取的无失真图像。图7中，(b)图解说明由成像部21r获取的失真图像。失真计算部33分别从无失真图像和失真图像中读出基准行La的像素信号。要注意的是，无失真图像中的基准行La和失真图像中的基准行La分别被定义为信号SLa-g和信号SLa-r。另外，失真计算部33分别从无失真图像和失真图像中读出参考行Lb的像素信号。要注意的是，无失真图像中的参考行Lb和失真图像中的参考行Lb分别被定义为信号SLb-g和信号SLb-r。

图8图解说明基准行和参考行的信号。图8中，(a)图解说明基准行La的信号Sla-g。图8中，(b)图解说明失真图像中的基准行La的信号SLa-r。图8中，(c)图解说明无失真图像中的参考行Lb的信号SLb-g。图8中，(d)图解说明失真图像中的参考行Lb的信号SLb-r。

关于基准行La，失真计算部33计算无失真图像和失真图像之间的基准偏差量EPa。具体地，失真图像中的基准行La的图像以像素为单位被移位，并且关于检测对象OBm的区域的差异变成最小的移位量定义为基准偏差量EPa。

此外，关于参考行Lb，失真计算部33计算无失真图像和失真图像之间的位置偏差量EPb。具体地，失真图像中的参考行Lb的图像以像素为单位被移位，并且关于检测对象OBm的区域的差异变成最小的移位量被定义为位置偏差量EPb。此外，当基准行La和参考行Lb之间的曝光定时的时间差被定义为时间段Ts时，可以基于式(2)计算基准行和参考行之间的检测对象OBm的移动速度Vob。

另外，由于参考行Lb被更新为下一次移动速度检测的基准行，因此可以按基于行的时间间隔计算检测对象OBm的移动速度。

顺便提及，在图7中图解所示的第一操作中，移动物体的数量被例示为1个。不过，在图像捕捉范围中包括多个移动物体的情况下，也可以通过上述处理计算每个移动物体的移动速度。另外，当控制行读出顺序时，可以减小获得多个移动物体的移动速度的检测结果的定时之间的差异。

图9图解说明在包括多个移动物体的情况下的操作。例如，在捕捉图像中包括两个检测对象OBm-1和OBm-2。失真计算部33基于由物体识别部32获得的识别结果，将捕捉图像划分成包括检测对象OBm-1的区域AR-1和包括检测对象OBm-2的区域AR-2。此外，失真计算部33计算例如区域AR-1中一行中的移动速度，随后，在区域AR-2中进行移动速度计算。在计算例如区域AR-2中一行中的移动速度之后，失真计算部33计算区域AR-1中下一行中的移动速度。在交替选择划分的区域的时候，以这种方式计算移动速度。结果，与不将捕捉图像划分成多个区域的情况相比，可以更快速地获得检测对象OBm-1和OBm-2的移动速度的计算结果。即，在不将捕捉图像划分成多个区域的情况下，在检测对象OBm-1的移动速度的检测完成之前，不能检测所述检测对象OBm-2的移动速度。然而，当在各个区域中依次检测移动速度时，在检测对象OBm-1的移动速度的检测完成之前，可以检测所述检测对象OBm-2的移动速度。要注意的是，由于在各个区域中依次检测移动速度，因此从移动速度的最初检测到移动速度的最后检测的时间段变长。

作为第一操作的结果，图像处理装置可以快速且频繁地检测移动中的被摄体的移动速度。

另外，在上面的实施例中，成像装置20被例示成是固定的。不过，成像装置20可以移动。这种情况下，在由成像部21r获得的失真图像中，例如，静止物体按照成像装置20的移动而产生失真。即，根据静止物体的失真，可以计算成像装置20的移动速度。此外，由于可以检测成像装置20的移动速度，因此检测的移动速度可以用于自我位置估计。

在常规的自我位置估计中，使用车辆的旋转量、定位卫星信息等来估计自我位置。但是，例如，在车轮的空转引起误差或者接收定位信号的灵敏度较差的情况下，无法高精度地检测自我位置。不过，通过本技术，可以基于捕捉图像来检测移动速度。从而，当使用检测的移动速度来确定移动量时，即使在车轮空转或者接收定位信号的灵敏度较差的情况下，也能够高精度地估计自我位置。

图10图解说明其中成像装置安装在移动体的侧面的情况。图10中，(a)图解说明成像装置20和被摄体之间的关系。成像装置20捕捉检测对象(例如，建筑物)OBf的图像和检测对象(例如，汽车)OBm的图像。上面安装有成像装置20的移动体(自身车辆)以移动速度Va1沿箭头FA的方向移动，而检测对象OBm以更高的移动速度Va2(>Va1)，沿与自身车辆相同的方向移动。

图10中，(b)图解说明由成像装置20获得的失真图像。检测对象OBf的失真是由于自身车辆的移动而产生的。当基于检测对象OBf的失真来计算移动速度时，检测到自身车辆的移动速度Va1。因而，对检测到的移动速度Va1进行积分，以确定自身车辆的移动量，使得可以估计自身车辆的位置。另外，检测对象OBm的失真是按照相对于自身车辆的移动速度(Va2-Va1)产生的。当基于该失真计算移动速度时，可以检测所述检测对象OBm的相对移动速度。此外，即使在成像装置20移动的情况下，也可以基于自身车辆的移动速度和检测对象OBm的相对移动速度来检测所述检测对象OBm的移动速度Va2。

<3-2.第二操作>

接下来，将说明实施例中的第二操作。在第二操作中，对基准图像中的处理对象区域的图像进行几何变换(例如，仿射变换)，基于使经过几何变换的基准图像(几何变换图像)与失真图像之间的差异最小的几何变换来计算失真量，并且基于失真量在每行中检测所述检测对象的移动速度。

图11图解说明第二操作的流程图。在步骤ST21，成像装置以全局快门模式进行图像捕捉。成像装置20借助于全局快门模式的成像部21g进行图像捕捉，并获得捕捉图像。随后，流程进行到步骤ST22。

在步骤ST22，图像处理装置进行物体识别处理。图像处理装置30的物体识别部32识别包含在步骤ST21中获得的捕捉图像中的物体，并检测其移动速度待检测的检测对象。随后，流程进行到步骤ST23。

在步骤ST23，图像处理装置进行距离测量处理。图像处理装置30的距离测量部34测量到在步骤ST22中检测的检测对象的距离。随后，流程进行到步骤ST24。

在步骤ST24，成像装置以两种模式进行图像捕捉。成像装置20借助于全局快门模式的成像部21g和卷帘快门模式的成像部21r两者进行图像捕捉，并获得无失真图像和失真图像。随后，流程进行到步骤ST25。

在步骤ST25，图像处理装置进行从基准图像中提取图像的处理。图像处理装置30的失真计算部33从基准图像中提取处理对象区域的图像，即，指示在步骤ST22中检测到的检测对象的区域的图像。随后，流程进行到步骤ST26。

在步骤ST26，图像处理装置对提取图像进行几何变换处理。失真计算部33通过对作为步骤ST25中的图像提取处理的结果而获得的提取图像进行几何变换处理以使得产生与检测对象的移动相应的失真，来产生几何变换图像。随后，流程进行到步骤ST27。

在步骤ST27，图像处理装置判定失真图像与几何变换图像之间的差异是否等于或小于阈值。在图像处理装置30的失真计算部33判定在步骤ST26中产生的几何变换图像与失真图像之间的差异等于或小于阈值，即，基准图像中的检测对象的图像的失真与失真图像中的检测对象的图像的失真等同的情况下，流程进行到步骤ST29。在所述差异大于阈值的情况下，流程进行到步骤ST28。

在步骤ST28，图像处理装置更新变换矩阵。图像处理装置30的失真计算部33更新用于几何变换处理的变换矩阵，因为提取图像的失真没有被校正为等于或小于阈值。随后，流程返回步骤ST26，对提取图像进行几何变换处理。

在步骤ST29，图像处理装置进行失真量确定处理。在步骤ST27中，在判定失真图像与几何变换图像之间的差异等于或小于阈值之后，失真计算部33基于在步骤ST26中进行的几何变换，确定失真图像中的失真量。要注意的是，作为失真量，可以确定例如提取图像中的最高行和最低行之间的位置偏差量，或者可以计算提取图像中的行之间的位置偏差量。失真计算部33确定在失真图像中产生的被摄体图像失真。随后，流程进行到步骤ST30。

在步骤ST30，图像处理装置进行移动速度检测处理。图像处理装置30的移动速度检测部35基于在步骤ST22中测量的到检测对象的距离d、在步骤ST29中确定的失真量、和关于成像部21g和21r的预定图像捕捉条件(例如，视角和分辨率)的信息，检测所述检测对象的移动速度。

按照上述方式，图像处理装置可以对基准图像中的检测对象的图像进行几何变换处理，基于几何变换图像和失真图像确定与检测对象的移动相应的失真量，从而检测所述检测对象的移动速度。

<3-3.其他操作>

在上述第一操作和第二操作中，被摄体移动以致越过成像装置20前方的区域。不过，本技术可以应用于其中被摄体沿接近成像装置20的方向，或者离开成像装置20的方向移动的情况。

图12图解说明被摄体不断接近成像装置的情况。图13是说明移动速度的计算的示图。要注意的是，为了简化说明，图13使用了垂直划分成5个区域的捕捉图像，不过实际上，捕捉图像是按时序方式以行为单位划分的。

在如图12中图解所示，检测对象OBm不断接近的情况下，如图13中图解所示，在每个划分区域中产生尺度变化。这里，图像处理装置的失真计算部33从每个划分区域中获得左端边缘OBm-l、右端边缘OBm-r和中心位置OBm-c。另外，如上面关于被摄体沿水平方向移动的情况给出的说明中一样，失真计算部33根据中心位置OBm-c在左右方向的位置偏差量计算左右方向的移动速度。要注意的是，在获得捕捉图像时，通过距离测量部34测量到检测对象OBm的距离。另外，根据到检测对象OBm的距离的测量结果，可以获得离开和接近方向上的移动速度。

从而，按照本技术，基于距离测量部34获得的距离测量结果，可以检测离开和接近方向上的移动速度，并且此外，基于捕捉图像可以快速并频繁地检测与离开和接近方向正交的方向上的移动速度。从而，不仅考虑离开和接近方向上的移动速度，而且考虑与离开和接近方向正交的方向上的移动速度，可以高精度地进行例如避免与检测对象OBm的碰撞的动作。

<4.应用例>

按照本公开的技术适用于各种产品。例如，按照本公开的技术可以实现成安装在汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人机动设备、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等中的任意一个之上的装置。

图14是图解说明车辆控制系统100的示意功能构成例子的方框图，车辆控制系统100是本技术适用于的移动体控制系统的一个例子。

要注意的是在下文中，其中安装有车辆控制系统100的车辆被称为自身车辆，以便将该车辆与任何其他车辆区分开。

车辆控制系统100包括输入部101、数据获取部102、通信部103、车载装置104、输出控制部105、输出部106、驱动控制部107、驱动系统108、车身控制部109、车身系统110、存储部111和自动驾驶控制部112。输入部101、数据获取部102、通信部103、输出控制部105、驱动控制部107、车身控制部109、存储部111和自动驾驶控制部112经由通信网络121相互连接。通信网络121包括符合任何标准的总线或车载通信网络。车载通信网络是CAN(控制器局域网络)、LIN(局部互连网络)、LAN(局域网)、FlexRay(注册商标)等。要注意的是，车辆控制系统100中的各部有时可以直接连接，而不需要通信网络121。

要注意的是在下文中，在通过通信网络121进行车辆控制系统100中的各部之间的通信的情况下，将省略关于通信网络121的描述。例如，输入部101和自动驾驶控制部112之间通过通信网络121的通信将被简单地表述为输入部101和自动驾驶控制部112之间的通信。

输入部101包括乘员用于输入各种数据和指令等的装置。例如，输入部101包括诸如触摸面板、按钮、麦克风、开关或控制杆之类的操作装置，和通过其能够用声音或手势，而不是手动操作进行输入的操作装置。另外，例如，输入部101可以是使用红外线或任何其他无线电波的远程控制器，或者能够处理车辆控制系统100的操作的外部连接装置，比如移动装置或可穿戴式装置。输入部101基于乘员输入的数据或指令产生输入信号，并将该输入信号提供给车辆控制系统100中的各部。

数据获取部102包括获取供车辆控制系统100中的处理之用的数据的各种传感器，并将获取的数据提供给车辆控制系统100中的各部。

例如，数据获取部102包括用于检测自身车辆的状态的各种传感器。具体地，例如，数据获取部102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、和用于检测加速踏板操作量、制动踏板操作量、方向盘转向角、发动机转速、电动机转速或车轮转速等的传感器。

另外，例如，数据获取部102包括用于检测关于自身车辆的外部的信息的各种传感器。具体地，例如，数据获取部102包括诸如ToF(飞行时间)摄像机、立体摄像机、单镜头摄像机、红外摄像机或任何其他摄像机之类的成像装置。此外，例如，数据获取部102包括用于检测天气等的环境传感器，和用于检测在自身车辆的周围环境中的物体的周围环境信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器或雪传感器。周围环境信息检测传感器例如包括超声波传感器、雷达、LiDAR(光探测和测距、激光成像探测和测距)、或声纳。

另外，例如，数据获取部102包括用于检测自身车辆的当前位置的各种传感器。具体地，例如，数据获取部102包括接收来自GNSS卫星的GNSS信号的GNSS(全球导航卫星系统)接收器。

另外，例如，数据获取部102包括用于检测关于自身车辆的内部的信息的各种传感器。具体地，例如，数据获取部102包括捕捉驾驶员的图像的成像装置、检测关于驾驶员的生物信息的生物传感器、和收集车辆内部的声音的麦克风。例如，生物传感器设置在座椅表面或方向盘上，检测关于坐在座椅上的乘员或握住方向盘的驾驶员的生物信息。

通信部103与车载装置104、自身车辆外的各种设备、服务器、基站等进行通信，从而发送从车辆控制系统100中的各部供给的数据，或将接收的数据提供给车辆控制系统100中的各部。要注意的是，通信部103支持的通信协议不限于任何特定类型的通信协议，此外，通信部103可以支持多种类型的通信协议。

例如，通信部103通过无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与车载装置104进行无线通信。另外，例如，通信部103通过USB(通用串行总线)、HDMI(注册商标)(高清多媒体接口)、MHL(移动高清链路)等，经由未图示的连接端子(以及电缆，如果需要的话)与车载装置104进行有线通信。

此外，例如，通信部103经由基站或接入点，与存在于外部网络(例如因特网、云网络或专属于公司的网络)上的装置(例如，应用服务器或控制服务器)进行通信。另外，例如，通过使用P2P(点对点)技术，通信部103与位于自身车辆附近的终端(例如，行人终端、商店终端、或MTC(机器类型通信)终端)进行通信。另外，例如，通信部103进行V2X通信，比如车辆对车辆通信、车辆对基础设施通信、车辆对住宅通信、或车辆对行人通信。此外，例如，通信部103包括信标接收部，接收从安装在道路上的无线站等发射的无线电波或电磁波，使得获得关于当前位置、交通拥堵、交通管制或所需时间段的信息。

例如，车载装置104包括乘员携带的移动或可穿戴式装置、安装或搭载在自身车辆上的信息装置、以及搜索到达任意目的地的路线的导航装置。

输出控制部105控制各种信息向自身车辆中的乘员或者向自身车辆的外部的输出。例如，输出控制部105产生包括视觉信息(例如，图像数据)和/或听觉信息(例如，声音数据)中的任意一个的输出信号，并将该输出信号提供给输出部106。结果，输出控制部105控制从输出部106的视觉信息的输出和听觉信息的输出。具体地，例如，输出控制部105通过合成由数据获取部102的不同成像装置捕捉的图像数据，产生鸟瞰图像或全景图像，并将包括产生的图像的输出信号提供给输出部106。此外，例如，输出控制部105产生包括关于诸如碰撞、接触和进入危险地带之类危险的报警声、报警消息等的声音数据，并将包括产生的声音数据的输出信号提供给输出部106。

输出部106包括能够向自身车辆中的乘员或者向自身车辆的外部输出视觉信息或听觉信息的装置。例如，输出部106包括显示装置、仪表板、音频扬声器、耳机、诸如乘员所穿戴的眼镜式显示器之类的可穿戴式装置、投影仪、或灯。除了具有普通显示器的装置以外，输出部106可以包括在驾驶员的视野内显示视觉信息的装置。此类装置的例子包括抬头显示器、透射式显示器和具有AR(增强现实)显示功能的装置。

驱动控制部107产生各种控制信号，并将控制信号提供给驱动系统108，从而控制驱动系统108。另外，如果需要，驱动控制部107向除驱动系统108以外的一些部提供控制信号，从而给出关于驱动系统108的控制状态的通知。

驱动系统108包括与自身车辆的驱动相关的各种装置。例如，驱动系统108包括用于产生力以驱动内燃机或驱动电动机的驱动力产生装置，用于将驱动力传递给车轮的驱动力传递机构，用于控制转向角的转向机构，用于产生制动力的制动装置，ABS(防抱死制动系统)，ESC(电子稳定控制)，电动助力转向装置等。

车身控制部109产生各种控制信号，并将控制信号提供给车身系统110，从而控制车身系统110。此外，如果需要，车身控制部109将控制信号提供给除车身系统110以外的一些部，从而给出关于车身系统110的控制状态的通知。

车身系统110包括安装在车身上的与车身相关的各种装置。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调器、各种灯(例如前照灯、尾灯、制动灯、闪光信号灯、雾灯等)等。

例如，存储部111包括诸如ROM(只读存储器)、RAM(随机存取存储器)或HDD(硬盘驱动器)之类的磁存储装置、半导体存储装置、光存储装置、或磁-光存储装置。例如，存储部111存储供车辆控制系统100中的各部使用的各种程序和数据。例如，存储部111存储关于诸如动态地图之类的高精度3D地图、与高精度地图相比精度较低但覆盖更大区域的全局地图、以及包含关于自身车辆的周围环境的信息的局部地图等的地图数据。

自动驾驶控制部112进行用于诸如自主行驶或驾驶辅助之类的自动驾驶的控制。具体地，例如，自动驾驶控制部112进行用于实现避免自身车辆的碰撞或吸收冲击、基于车辆间距离进行跟随行驶、定速行驶、和发出关于自身车辆的碰撞或关于自身车辆的车道偏离的报警的ADAS(高级驾驶员辅助系统)功能的协同控制。另外，例如，自动驾驶控制部112进行用于自动驾驶使得自身车辆不依赖于驾驶员的操作而自主行驶的协同控制。自动驾驶控制部112包括检测部131、自我位置估计部132、状况分析部133、规划部134和操作控制部135。

检测部131检测为自动驾驶控制所需的各种信息。检测部131包括外部信息检测部141、内部信息检测部142和车辆状态检测部143。

外部信息检测部141基于从车辆控制系统100中的各部供给的数据或信号，进行检测关于自身车辆的外部的信息的处理。例如，外部信息检测部141检测、识别和追踪自身车辆的周围环境中的物体，并检测到所述物体的距离。要检测的物体的例子包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志和道路标志。此外，例如，外部信息检测部141进行检测自身车辆的周围环境的处理。要检测的周围环境的例子包括天气、温度、湿度、亮度和道路状况。外部信息检测部141将指示检测结果的数据提供给自我位置估计部132、状况分析部133的地图分析部151、交通规则识别部152和状况识别部153、以及操作控制部135的紧急避险部171等。

内部信息检测部142基于来自车辆控制系统100中的各部的数据或信号，进行检测关于自身车辆的内部的信息的处理。例如，内部信息检测部142认证和识别驾驶员，检测驾驶员的状态，检测乘员，以及检测车辆内部环境。要检测的驾驶员的状态的例子包括健康状况、觉醒度、专注度、疲劳度、以及视线的方向。要检测的车辆内部环境的例子包括温度、湿度、亮度和气味。内部信息检测部142将指示检测结果的数据提供给状况分析部133的状况识别部153和操作控制部135的紧急避险部171等。

车辆状态检测部143基于来自车辆控制系统100中的各部的数据或信号，进行检测自身车辆的状态的处理。要检测的自身车辆的状态的例子包括速度、加速度、转向角、异常的有/无、驾驶操作状态、电动座椅的位置和倾斜、门锁状态、以及任何其他车载装置的状态。车辆状态检测部143将指示检测处理结果的数据提供给状况分析部133的状况识别部153和操作控制部135的紧急避险部171等。

自我位置估计部132基于从车辆控制系统100中的各部，比如外部信息检测部141和状况分析部133的状况识别部153提供的数据或信号，进行估计自身车辆的位置和姿态的处理。另外，如果需要，自我位置估计部132产生用于估计自身车辆的位置的局部地图(下文中称为自我位置估计地图)。例如，使用诸如SLAM(同时定位与地图构建)之类技术的高精度地图用作自我位置估计地图。自我位置估计部132将指示估计处理结果的数据提供给状况分析部133的地图分析部151、交通规则识别部152和状况识别部153等。另外，自我位置估计部132将自我位置估计地图存储在存储部111中。

状况分析部133进行分析自身车辆的状况和周围状况的处理。状况分析部133包括地图分析部151、交通规则识别部152、状况识别部153和状况预测部154。

如果需要，通过使用从车辆控制系统100中的各部，比如自我位置估计部132和外部信息检测部141提供的数据或信号，地图分析部151进行分析存储在存储部111中的各种地图的处理，并且构建包含为自动驾驶处理所需要的信息的地图。地图分析部151将构建的地图提供给交通规则识别部152、状况识别部153、状况预测部154、以及规划部134的路线规划部161、动作规划部162和操作规划部163等。

交通规则识别部152基于从车辆控制系统100中的各部，比如自我位置估计部132、外部信息检测部141和地图分析部151提供的数据或信号，进行识别自身车辆的周围环境中的交通规则的处理。作为该识别处理的结果，例如，识别自身车辆的周围环境中的交通信号灯的位置和状态、在自身车辆的周围环境中强加的交通管制的细节、以及车辆可以行驶的车道。交通规则识别部152将指示识别处理结果的数据提供给状况预测部154等。

状况识别部153基于从车辆控制系统100中的各部，比如自我位置估计部132、外部信息检测部141、内部信息检测部142、车辆状态检测部143和地图分析部151提供的数据或信号，进行识别与自身车辆相关的状况的处理。例如，状况识别部153识别自身车辆的状况、自身车辆的周围环境的状况、以及自身车辆的驾驶员的状况。另外，如果需要，状况识别部153产生用于识别自身车辆的周围环境的状况的局部地图(下文中称为状况识别地图)。例如，占据栅格地图(occupancy grid map)用作状况识别地图。

要识别的自身车辆的状况的例子包括车辆的位置、姿态和运动(例如，速度、加速度和移动方向)、异常的有/无、以及异常的细节。要识别的自身车辆的周围环境的状况的例子包括周围环境中的静止物体的类型和位置、周围环境中的移动体的类型、位置和运动(例如，速度、加速度和移动方向)、周围环境中的道路的结构、路面状态、以及周围环境中的天气、温度、湿度和亮度。要识别的驾驶员的状况的例子包括健康状况、觉醒度、专注度、疲劳度、视线的方向和驾驶操作。

状况识别部153将指示识别处理结果的数据(如果需要，包括状况识别地图)提供给自我位置估计部132、状况预测部154等。另外，状况识别部153将状况识别地图存储在存储部111中。

状况预测部154基于从车辆控制系统100中的各部，比如地图分析部151、交通规则识别部152和状况识别部153提供的数据或信号，进行预测关于自身车辆的状况的处理。例如，状况预测部154进行预测自身车辆的状况、自身车辆的周围环境中的状况、驾驶员的状况等的处理。

要预测的自身车辆的状况的例子包括车辆的行为、自身车辆中的异常的发生、以及自身车辆的可行驶距离。要预测的自身车辆的周围环境中的状况的例子包括自身车辆的周围环境中的移动体的行为、交通信号灯的状态变化、以及诸如天气之类的环境的变化。要预测的驾驶员的状况的例子包括驾驶员的行为和驾驶员的健康状况。

指示预测处理结果的数据，以及从交通规则识别部152和状况识别部153供给的数据从状况预测部154提供给规划部134的路线规划部161、动作规划部162和操作规划部163等。

路线规划部161基于从车辆控制系统100中的各部，比如地图分析部151和状况预测部154提供的数据或信号，规划到目的地的路线。例如，路线规划部161基于全局地图，定义从当前位置到指定目的地的路线。另外，例如，路线规划部161基于交通拥堵、事故、交通管制、施工状态、驾驶员的健康状况等，酌情变更路线。路线规划部161将指示规划的路线的数据提供给动作规划部162等。

动作规划部162基于从车辆控制系统100中的各部，比如地图分析部151和状况预测部154提供的数据或信号，规划用于在规划的时间段内安全地在路线规划部161规划的路线上行驶的自身车辆的动作。例如，动作规划部162规划起动/停止、行驶方向(例如，前进、后退、左转、右转和方向变更)、行驶车道、行驶速度、以及超车。动作规划部162将指示自身车辆的规划的动作的数据提供给操作规划部163等。

操作规划部163基于从车辆控制系统100中的各部，比如地图分析部151和状况预测部154提供的数据或信号，规划用于实现由动作规划部162规划的动作的自身车辆的操作。例如，操作规划部163规划加速、减速、以及行驶轨迹等。操作计划部163将指示自身车辆的规划的操作的数据提供给操作控制部135的加速/减速控制部172和方向控制部173等。

操作控制部135控制自身车辆的操作。操作控制部135包括紧急避险部171、加速/减速控制部172和方向控制部173。

紧急避险部171基于外部信息检测部141、内部信息检测部142和车辆状态检测部143获得的检测结果，进行检测诸如碰撞、接触、进入危险地带、驾驶员的异常、以及车辆的异常之类的紧急情况的处理。在检测到紧急情况的发生的情况下，紧急避险部171规划自身车辆的操作以避免紧急情况。所述操作例如是急停或急转弯。紧急避险部171将指示自身车辆的规划的操作的数据提供给加速/减速控制部172和方向控制部173等。

加速/减速控制部172进行加速/减速控制，以实现由操作规划部163或紧急避险部171规划的自身车辆的操作。例如，加速/减速控制部172计算用于实现规划的加速、减速或急停的驱动力产生装置或制动装置的控制目标值，并且将指示计算的控制目标值的控制命令提供给驱动控制部107。

方向控制部173进行方向控制，以便实现由操作规划部163或紧急避险部171规划的自身车辆的操作。例如，方向控制部173计算用于实现由操作规划部163或紧急避险部171规划的行驶轨迹或急转弯的转向机构的控制目标值，并将指示计算的控制目标值的控制命令提供给驱动控制部107。

在具有上述构成的移动体控制系统中，成像装置20设置在数据获取部102中，按照本技术的图像处理装置30设置在外部信息检测部141中。因而，进行检测在自身车辆的周围环境中的物体的移动速度和移动距离的处理。由于图像处理装置30获得的检测结果被提供给例如自我位置估计部132，因此即使在车轮空转或者接收定位信号的灵敏度较差的情况下，也能够精确地估计自身车辆的位置。另外，图像处理装置30获得的检测结果被提供给操作控制部135的紧急避险部171。因而，进行检测诸如碰撞或接触之类紧急情况的处理。

例如，紧急避险部171基于由图像处理装置30检测的移动速度，计算周围物体相对于自身车辆的相对速度Vre。此外，紧急避险部171基于由距离测量部测量的到周围物体的距离Dre，计算碰撞前剩余的时间Ttc(＝Dre/Vre)，规划自身车辆的操作以避免紧急情况，并将规划的操作提供给加速/减速控制部172和方向控制部173等。

此外，通过设置在自身车辆的侧面的成像装置20，能够检测与自身车辆一起行驶的车辆的相对移动速度。因而，与自身车辆一起行驶的车辆的相对移动速度可以用于确定可以安全地进行车道变更的时机。

另外，当在监控领域应用本技术时，可以快速并频繁地确定包含在监控对象范围中的被摄体的移动。

本文中说明的一系列处理可以用硬件、软件或者它们的复合结构来执行。在所述处理用软件执行的情况下，其中记录有一系列处理的程序可以在被安装在并入专用硬件中的计算机的存储器中之后执行，或者可以在被安装在能够执行各种处理的通用计算机中之后执行。

例如，所述程序可以预先记录在充当记录介质的硬盘、SDD(固态驱动器)或ROM(只读存储器)中。或者，所述程序可以临时或永久地存储(记录)在诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、BD(蓝光光盘(注册商标))、磁盘或半导体存储卡之类的可拆卸记录介质中。可以以通常称为套装软件的形式提供这样的可拆卸记录介质。

此外，所述程序可以从可拆卸记录介质安装到计算机，或者可以通过导线或无线电波，经由诸如LAN(局域网)或因特网之类的网络从下载站点传送到计算机。计算机接收这样传送的程序，使得所述程序可以安装在诸如内置硬盘之类的内置记录介质中。

要注意的是，记载在本说明书中的效果仅仅是例子，从而不是限制性的。可以另外提供未记载在本文中的其他效果。另外，不应仅仅从上述实施例来解释本技术。以实施例作为示例公开了本技术。显然在本技术的要点内，本领域的技术人员能够对实施例作出修改或替换。即，为了评估本技术的要点，应考虑权利要求书。

另外，按照本技术的图像处理装置还可以具有以下构成。

(1)一种图像处理装置，包括：

移动速度检测部，所述移动速度检测部基于在通过各行在不同定时的曝光而获得的第一捕捉图像中产生的被摄体图像失真，检测被摄体的移动速度。

(2)按照(1)所述的图像处理装置，其中

所述移动速度检测部基于第一捕捉图像的视角、到被摄体的距离、以及图像失真的失真量，检测被摄体的移动速度。

(3)按照(2)所述的图像处理装置，其中

所述移动速度检测部基于每行中的图像失真的失真量，以行为单位检测被摄体的移动速度。

(4)按照(1)-(3)任意之一所述的图像处理装置，还包括：

计算被摄体图像失真的失真计算部，其中

通过使用通过各行在相同定时的曝光而获得的第二捕捉图像，所述失真计算部计算所述失真量。

(5)按照(4)所述的图像处理装置，其中

所述失真计算部通过使用第一捕捉图像和第二捕捉图像中被摄体的在相同位置的行图像之间的位置偏差量，计算所述失真量。

(6)按照(5)所述的图像处理装置，其中

所述失真计算部使用第一捕捉图像和第二捕捉图像中被摄体的在第一位置的行图像之间的位置偏差量与第一捕捉图像和第二捕捉图像中被摄体的在第二位置的行图像之间的位置偏差量之间的差值，作为所述失真量，在第二位置的曝光定时晚于在第一位置的曝光定时。

(7)按照(7)所述的图像处理装置，其中

所述失真计算部按照被摄体图像的尺寸，调整第一位置和第二位置之间的行间隔。

(8)按照(4)所述的图像处理装置，其中

所述失真计算部基于几何变换来计算所述失真量，作为所述几何变换的结果，第一捕捉图像与通过对于第二捕捉图像的几何变换处理而产生的几何变换图像之间的差异变得等于或小于预定阈值。

(9)按照(4)-(8)任意之一所述的图像处理装置，还包括：

物体识别部，所述物体识别部利用第二捕捉图像进行被摄体识别，并辨识其移动速度待检测的速度检测对象的图像区域，其中

所述失真计算部将由所述物体识别部识别的速度检测对象视为被摄体，并通过使用所述速度检测对象的图像区域的图像来计算图像失真。

(10)按照(9)所述的图像处理装置，其中

所述失真计算部在以行为单位切换速度检测对象的同时，计算由所述物体识别部识别的多个速度检测对象各自的图像失真，并且

所述移动速度检测部基于由所述失真计算部依次计算的图像失真，以行为单位检测每个速度检测对象的移动速度。

(11)按照(9)所述的图像处理装置，其中

所述物体识别部检测静止物体作为速度检测对象，并且

所述移动速度检测部基于所述静止物体的图像失真的失真量，检测相对于所述静止物体的移动速度。

(12)按照(2)-(11)任意之一所述的图像处理装置，还包括：

通过在不同定时进行各行的曝光而获取第一捕捉图像的第一成像部；

通过在相同定时进行各行的曝光而获取第二捕捉图像的第二成像部；和

测量到被摄体的距离的距离测量部。

(13)按照(12)所述的图像处理装置，其中

所述第一成像部和第二成像部是以使得第一捕捉图像和第二捕捉图像之间的视差小于预定值，并且第一捕捉图像和第二捕捉图像在同一被摄体的区域的像素尺寸方面相等的方式布置的。

[附图标记列表]

10:速度检测系统

20:成像装置

21g、21r:成像部

22:半反射镜

30:成像处理装置

31:数据库部

32:物体识别部

33:失真计算部

34:距离测量部

35:移动速度检测部

Claims (15)

1.一种图像处理装置，包括：

移动速度检测部，所述移动速度检测部基于在通过各行在不同定时的曝光而获得的第一捕捉图像中产生的被摄体图像失真，检测被摄体的移动速度。

2.按照权利要求1所述的图像处理装置，其中

所述移动速度检测部基于第一捕捉图像的视角、到被摄体的距离、以及图像失真的失真量，检测被摄体的移动速度。

3.按照权利要求2所述的图像处理装置，其中

所述移动速度检测部基于每行中的图像失真的失真量，以行为单位检测被摄体的移动速度。

4.按照权利要求1所述的图像处理装置，还包括：

计算被摄体图像失真的失真计算部，其中

通过使用通过各行在相同定时的曝光而获得的第二捕捉图像，所述失真计算部计算在第一捕捉图像中产生的被摄体图像失真的失真量。

5.按照权利要求4所述的图像处理装置，其中

所述失真计算部通过使用在第一捕捉图像和第二捕捉图像中被摄体的在相同位置的行图像之间的位置偏差量，计算所述失真量。

6.按照权利要求5所述的图像处理装置，其中

所述失真计算部使用在第一捕捉图像和第二捕捉图像中被摄体的在第一位置的行图像之间的位置偏差量与在第一捕捉图像和第二捕捉图像中被摄体的在第二位置的行图像之间的位置偏差量之间的差值，作为所述失真量，在第二位置的曝光定时晚于在第一位置的曝光定时。

7.按照权利要求6所述的图像处理装置，其中

所述失真计算部按照被摄体图像的尺寸，调整第一位置和第二位置之间的行间隔。

8.按照权利要求4所述的图像处理装置，其中

所述失真计算部基于几何变换来计算所述失真量，作为所述几何变换的结果，第一捕捉图像与通过对于第二捕捉图像的几何变换处理而产生的几何变换图像之间的差异变得等于或小于预定阈值。

9.按照权利要求4所述的图像处理装置，还包括：

物体识别部，所述物体识别部利用第二捕捉图像进行被摄体识别，并辨识其移动速度待检测的速度检测对象的图像区域，其中

所述失真计算部将由所述物体识别部识别的速度检测对象视为被摄体，并通过使用所述速度检测对象的图像区域的图像来计算图像失真。

10.按照权利要求8所述的图像处理装置，其中

所述失真计算部在以行为单位切换速度检测对象的同时，计算由所述物体识别部识别的多个速度检测对象各自的图像失真，并且

所述移动速度检测部基于由所述失真计算部依次计算的图像失真，以行为单位检测每个速度检测对象的移动速度。

11.按照权利要求8所述的图像处理装置，其中

所述物体识别部检测静止物体作为速度检测对象，并且

所述移动速度检测部基于所述静止物体的图像失真的失真量，检测相对于所述静止物体的移动速度。

12.按照权利要求2所述的图像处理装置，还包括：

通过在不同定时进行各行的曝光来获取第一捕捉图像的第一成像部；

通过在相同定时进行各行的曝光来获取第二捕捉图像的第二成像部；和

测量到被摄体的距离的距离测量部。

13.按照权利要求12所述的图像处理装置，其中

所述第一成像部和所述第二成像部是以使得第一捕捉图像和第二捕捉图像之间的视差小于预定值，并且第一捕捉图像和第二捕捉图像在同一被摄体的区域的像素尺寸方面相等的方式布置的。

14.一种成像处理方法，包括：

利用移动速度检测部基于在通过各行在不同定时的曝光而获得的第一捕捉图像中产生的被摄体图像失真，检测被摄体的移动速度。

15.一种用于使计算机通过使用捕捉图像来检测移动速度的程序，所述程序被配置成使所述计算机执行：

获取通过各行在不同定时的曝光而获得的第一捕捉图像的过程；

计算在第一捕捉图像中产生的被摄体图像失真的过程；和

基于计算的图像失真来检测被摄体的移动速度的过程。

Images