CN110942470B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN110942470B
CN110942470B CN201910891795.2A CN201910891795A CN110942470B CN 110942470 B CN110942470 B CN 110942470B CN 201910891795 A CN201910891795 A CN 201910891795A CN 110942470 B CN110942470 B CN 110942470B
Authority
CN
China
Prior art keywords
image
unit
point
camera
specific point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910891795.2A
Other languages
English (en)
Other versions
CN110942470A (zh
Inventor
深町映夫
金道敏树
曾我峰树
加藤洋一
安藤繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110942470A publication Critical patent/CN110942470A/zh
Application granted granted Critical
Publication of CN110942470B publication Critical patent/CN110942470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种即便在拍摄部存在移动的情况下也能够将识别对象在图像间建立对应的图像处理装置。在通过沿光轴方向移动的拍摄部获得的图像设定基准点的图像处理装置具备：存储部；初始设定部，将通过拍摄部获得的第一图像中的光轴附近点的位置作为第一图像的特定点的初始位置并与光轴附近点的周边区域的图像特征建立关联地储存于存储部；探索部，基于储存于存储部的特定点的周边区域的图像特征探索通过拍摄部获得的第二图像中的特定点的对应点；以及输出部，将第二图像的对应点的位置作为第二图像的基准点的位置输出。

Description

图像处理装置
技术领域
本公开涉及图像处理装置。
背景技术
专利文献1公开一种对通过车载照相机等拍摄部获得的图像进行处理的装置。该装置对因车辆的振动而位移的图像内的位移的中心位置(消失点)进行检测。该装置通过监视消失点来对拍摄到的图像中的因车辆的振动引起的图像的位移量进行计算。
具体而言，该装置基于检测区域的坐标的历史进行频率解析(傅立叶变换)，制作表示检测区域内的振动频率与表示各频率的强度的功率谱强度的关系的图表。由此，确定出功率谱强度最高的频率。使用带通滤波器提取包括该频率在内的规定的频带。接着，对提取出的规定的频带进行傅立叶逆变换，获得检测区域内的规定的频带内的位移量的时间变化。在位移量成为0的时间拍摄的图像(平衡图像)是照相机未受到车辆平时产生的振动的影响时拍摄的图像。而且，基于多个平衡图像的横向边缘的纵向的移动计算光流。由此，在平衡图像中计算纵向的图像速度以及速度方向。而且，通过从由照相机拍摄到的图像的图像速度减去平衡图像的图像速度的平均值来获得排除了因车辆的平时的振动而产生的图像速度后的图像速度。在这样修正过的图像速度的水平方向中央设定坐标轴，在坐标轴上将移动速度最小的坐标设定为消失点的坐标。以该消失点为基准进行图像间的抖动修正等。
专利文献1：日本特开2006-170961号公报
另外，在基于通过搭载于车辆的拍摄部获得图像识别车辆、行人、标识、信号、白线等识别对象的情况下，能够通过识别多个图像来提高识别精度。为了使用多个图像对识别对象进行识别，需要在图像间将识别对象建立对应。在因车辆的振动等导致拍摄部存在移动的情况下，产生图像的坐标变动，因而难以在图像间将识别对象建立对应。
如上所述，专利文献1公开一种通过使用推断出的消失点来将识别对象在图像间建立对应的装置。然而，专利文献1记载的装置存在无法将识别对象在图像间充分建立对应的情况。例如，在存在频率比照相机的帧率高的振动分量的情况下，存在专利文献1记载的装置即便对检测区域的y坐标值的时间经过进行了频率解析也无法正确地检测平衡图像或者平衡图像的图像速度的担忧。而且，平衡图像的图像速度是位移量成为0的时刻的图像速度的平均，因而存在专利文献1记载的装置无法准确地修正除此以外的时刻的图像的图像速度的担忧。并且，在车辆在曲线道路行驶的情况下，存在专利文献1记载的装置难以检测消失点、无法正确地求出图像的位移量的担忧。
发明内容
本公开提供一种即便在拍摄部存在移动的情况下也能够将识别对象在图像间建立对应的图像处理装置。
本公开的一个方面是在通过沿光轴方向移动的拍摄部获得的图像设定基准点的图像处理装置。该装置具备：存储部；初始设定部，将通过拍摄部获得的第一图像中的光轴附近点的位置作为第一图像的特定点的初始位置并与光轴附近点的周边区域的图像特征建立关联地储存于存储部；探索部，基于储存于存储部的图像特征探索通过拍摄部获得的第二图像中的特定点的对应点；以及输出部，将第二图像的对应点的位置作为第二图像的基准点的位置输出。
在一个方面所涉及的图像处理装置中，将通过沿光轴方向移动的拍摄部获得的第一图像的光轴附近点的位置设定为特定点的初始位置。光轴附近点是因滚转角的变动以及平移运动引起的移动矢量较小的点。光轴附近点的位置被与光轴附近点的周边区域的图像特征建立关联并作为特定点存储。使用该特定点将第一图像与第二图像建立对应。基于光轴附近点的周边区域的图像特征探索与第一图像的特定点对应的第二图像的对应点。探索到的对应点成为第二图像的基准点。基准点是在将第一图像与第二图像建立对应时成为基准的位置，例如是第二图像中的成为相对位置坐标的基准的位置。此时，在第一图像中，特定点是相对位置坐标的基准。该装置使用第一图像中的光轴附近点在第二图像设定基准点，由此即便在拍摄部存在高速的旋转运动分量的情况下也能够将识别对象在图像间建立对应。并且，该装置的对应建立的算法并不取决于成为特定的位移量的时刻的图像，因而能够拍摄图像的全部的时刻正确地设定基准点。另外，该装置的对应建立的算法不将消失点作为基准点，因而即便在无法检测消失点的情况下也能够正确地计算移动矢量。
一个实施方式所涉及的图像处理装置可以具备移动矢量计算部，该移动矢量计算部针对第二图像的各像素计算像素与基准点的相对移动矢量。输出的基准点的位置与储存于存储部的特定点的位置的差量是从特定点储存于存储部的时刻至第二图像的生成时为止的移动矢量，因俯仰角以及横摆角的变动引起。因此，该图像处理装置能够通过计算像素与基准点的相对的移动亦即相对移动矢量来补偿因俯仰角以及横摆角的变动引起的坐标变动。
本公开的其他方面是一种基于通过沿光轴方向移动的拍摄部获得的图像推断拍摄部的旋转运动的图像处理装置。该装置具备：设定部，将图像的光轴附近点设定为特定点；第一推断部，基于特定点的周边区域的移动矢量对旋转速度分量中的围绕与拍摄部的拍摄面平行且相互正交的第一轴以及第二轴中的至少一方的旋转速度分量进行推断；以及第二推断部，基于由第一推断部推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对围绕连结特定点与拍摄部的光学中心的直线亦即第三轴的旋转速度分量进行推断。
在其他方面所涉及的图像处理装置中，将通过沿光轴方向移动的拍摄部获得的图像的光轴附近点的位置设定为特定点的位置。而且，基于特定点的周边区域的移动矢量对旋转速度分量中的围绕与拍摄部的拍摄面平行且相互正交的第一轴以及第二轴中的至少一方的旋转速度分量进行推断。而且，基于由第一推断部推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而发生变化的约束条件、拍摄部的运动与图像上的各像素的移动矢量的关系对围绕连结特定点与拍摄部的光学中心的直线亦即第三轴的轴的旋转速度分量进行推断。在一次性对围绕2个或者3个轴的旋转速度分量进行推断的情况下，用于进行推断的算式包括多个未知数。围绕第三轴的轴的旋转速度分量与第一轴以及第二轴的旋转速度分量相比成为相当小的值。若同时推断包括较大的值与较小的值在内的多个未知数，则被值较大的分量主导而导致值较小的分量的误差变大。该装置分开进行围绕第一轴以及第二轴的至少一方的旋转速度分量的推断与围绕第三轴的旋转速度分量的推断。因此，对于该装置而言，与一次性对围绕2个或者3个轴的旋转速度分量进行推断的情况相比，能够使围绕第三轴的轴的旋转速度分量的推断精度提高。
本公开的又一其他方面是一种基于通过沿光轴方向移动的拍摄部获得的图像对拍摄部到达拍摄对象为止的到达时间进行计算的图像处理装置。该装置具备：旋转推断部，对与拍摄部的自身运动的至少一个轴相关的旋转速度分量进行推断；和到达时间计算部，基于由旋转推断部推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对补偿了与至少一个轴相关的旋转速度分量的到达时间进行计算。
在如搭载于车辆监视前方的照相机那样沿光轴方向移动的拍摄部的情况下，拍摄部的主要运动是行进方向的平移运动分量。然而，拍摄部的运动还包括路面的凹凸等引起俯仰角速度、转弯引起的横摆角速度等旋转运动分量。因此，在仅使用平移运动分量计算到达时间的情况下，存在计算的到达时间的精度降低的担忧。与此相对，在又一其他方面所涉及的图像处理装置中，对与拍摄部的自身运动的至少一个轴相关的旋转速度分量进行推断。而且，基于推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对补偿了与至少一个轴相关的旋转速度分量的到达时间进行计算。这样，该装置对补偿了旋转速度分量的到达时间进行推断，因而即便在拍摄部上下振动、转弯运动的情况下，也能够以较高的精度推断到达(碰撞)时间。另外，该装置直接计算到达时间而不推断移动矢量，因而能够以简易的构成实现到达时间的推断。
本公开的又一其他方面式是基于通过沿光轴方向移动的拍摄部获得的图像对补偿了拍摄部的运动的移动矢量进行计算的图像处理装置。该装置具备：旋转推断部，对与拍摄部的自身运动的至少一个轴相关的旋转速度分量进行推断；标准化平移速度推断部，基于由旋转推断部推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对按照与至少一个轴相关的距离标准化了的平移速度进行推断；以及异常移动矢量计算部，基于由旋转推断部推断出的旋转速度分量、由标准化平移速度推断部推断出的平移速度、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对排除了因拍摄部的运动引起的像素的移动的移动矢量进行计算。
若假定拍摄对象为刚体，则图像上的移动矢量(光流)能够基于拍摄部与拍摄对象的相对旋转运动、拍摄部与拍摄对象的距离标准化相对平移运动、以及各像素的坐标规定。距离标准化相对平移运动是拍摄部与拍摄对象的相对平移速度除以从与各像素对应的拍摄对象上的点至拍摄部为止的距离的值。因此，在拍摄部运动、拍摄对象静止的情况下，能够基于拍摄部的旋转运动与拍摄部的距离标准化平移运动速度规定移动矢量。另一方面，在拍摄对象包括移动物的情况下，将观测到拍摄对象的移动的分量与规定的移动矢量相加所得的移动矢量。该装置基于拍摄部的运动与图像上的各像素的移动矢量的关系对排除因拍摄部的运动引起的像素的移动的移动矢量进行计算，因而能够仅提取因拍摄对象的移动引起的移动矢量即移动的拍摄对象的移动矢量。
本公开的又一其他方面是一种使用通过固定的拍摄部获得的第一图像的特定点在通过拍摄部获得的第二图像设定基准点的图像处理装置。该装置具备：存储部；移动矢量计算部，基于第一图像计算移动矢量；区域设定部，基于由移动矢量计算部计算出的移动矢量将移动矢量一样的区域设定于第一图像；初始设定部，将区域所包括的点的位置作为特定点的初始位置并与特定点的周边区域的图像特征建立关联地储存于存储部；探索部，基于储存于存储部的图像特征对第二图像中的特定点的对应点进行探索；以及输出部，将第二图像的对应点的位置作为第二图像的基准点的位置输出。
在又一其他方面所涉及的图像处理装置中，基于通过固定的拍摄部获得的第一图像计算移动矢量，移动矢量一样的区域设定于第一图像。而且，移动矢量一样的区域所包括的点的位置设定为特定点的初始位置。特定点的位置被与特定点的周边区域的图像特征建立关联地存储。使用该特定点将第一图像与第二图像建立对应。基于特定点的周边区域的图像特征探索与第一图像的特定点对应的第二图像的对应点。探索到的对应点成为第二图像的基准点。基准点是在将第一图像与第二图像建立对应时成为基准的位置，例如是第二图像中的成为相对位置坐标的基准的位置。在特征量较少且移动矢量较大的情况下，难以将第一图像与第二图像建立对应。该装置使用移动矢量一样的区域所包括的点在第二图像设定基准点，由此即便在特征量较少的情况下也能够将识别对象在图像间建立对应。
根据本公开的各种方面以及实施方式，能够提供即便在拍摄部存在移动的情况下也能够将识别对象在图像间建立对应的图像处理装置。
附图说明
图1是包括第一实施方式所涉及的图像处理装置在内的车辆的功能框图。
图2是表示图1的图像处理装置的动作的一个例子的流程图。
图3是包括第二实施方式所涉及的图像处理装置在内的车辆的功能框图。
图4是表示照相机坐标系的定义的图。
图5是表示图3的图像处理装置的动作的一个例子的流程图。
图6是包括第三实施方式所涉及的图像处理装置在内的车辆的功能框图。
图7是表示图6的图像处理装置的动作的一个例子的流程图。
图8是包括第四实施方式所涉及的图像处理装置在内的车辆的功能框图。
图9是表示图8的图像处理装置的动作的一个例子的流程图。
图10是包括第五实施方式所涉及的图像处理装置在内的车辆的功能框图。
图11是说明路面候补区域的几何学定义的图。
图12是表示图10的图像处理装置的动作的一个例子的流程图。
图13是第六实施方式所涉及的检查系统的概要图。
图14中的(A)是在工件向左振动时拍摄的图像。图14中的(B)是工件位于正中时拍摄的图像。图14图中的(C)是工件向右振动时拍摄的图像。
图15是第六实施方式所涉及的图像处理装置的功能框图。
图16是表示图15的图像处理装置的动作的一个例子的流程图。
附图标记说明：
1、1A、1B、1C、1D、1E…图像处理装置；2…车辆；11、11A…图像取得部；11B、20…移动矢量计算部；11C…区域设定部；12…特定点管理部；13…偏微分图像生成部；14…空白区域检测部；15…移动体检测部；16…路面区域检测部；18…第一推断部；18B、18C…旋转推断部；18D…俯仰角速度及横摆角速度推断部；19…第二推断部；19D…滚转角速度推断部；21…到达时间计算部；22…标准化平移速度推断部；23…异常移动矢量计算部；24…积累图像生成部；25…平移速度推断部；26…距离图像生成部；30…图像存储部；100…检查系统；120、120E…初始设定部；121…探索部；122…输出部；123…特定点存储部；200、200A…照相机。
具体实施方式
以下，参照附图对例示的实施方式进行说明。此外，在以下的说明中，对相同或者相当的要素标注相同的附图标记，重复的说明不赘述。
[第一实施方式]
(图像处理装置的结构)
图1是包括第一实施方式所涉及的图像处理装置在内的车辆的功能框图。如图1所示，图像处理装置1搭载于车辆2。车辆2具备照相机200(拍摄部的一个例子)。照相机200朝向车辆2的行进方向。因此，照相机200的拍摄方向(光轴方向)与车辆2的行进方向大致一致。即，照相机200是大致沿光轴方向移动的拍摄部。照相机200被校正为针孔照相机模型成立。即，处于照相机200的内部参数已知、透镜畸变也被修正了的状态。本公开公开了一种适当地减少拍摄部的移动的影响的实用的技术思想，当然，修正车辆的行进方向与光轴方向的偏移的效果也包括在内。因此，本公开并不追求上述两个方向的严格的一致。以下，“沿光轴方向移动”是指大致沿光轴方向移动的意思。
照相机200的一个例子是时间相关影像传感器(CIS：Correlation ImageSensor)。CIS是输出各像素的光强度信号与所有像素共通的参照信号的时间相关的影像传感器。根据CIS，通过将参照信号设为正弦波信号能够获得与正弦波信号的频率的傅立叶变换相当的输出。CIS输出通过一般的影像传感器能够取得的强度图像g0，并且将各像素的强度信号与所有像素共通的参照信号的时间相关作为相关图像g1输出。相关图像g1将针对相位相互相差90°的参照信号的两个相关图像作为实部与虚部来用复数表达。照相机200可以生成构成动画的图像(帧)。在该情况下，照相机200按照规定的时间间隔输出图像。在下文中，对照相机200为CIS的例子进行说明，但照相机200也可以是仅输出强度图像的一般的影像传感器。
图像处理装置1是构成为能够与照相机200通信并对通过照相机200获得的图像进行处理的装置。图像处理装置1即ECU是具有CPU(Central Processing Unit)等运算部、ROM(Read Only Memory)、RAM(Random Access Memory)等存储部、以及CAN(Controller AreaNetwork)通信电路等通信部的电子控制单元。ECU例如与使用CAN通信电路通信的网络连接。ECU例如基于CPU所输出的信号使CAN通信电路动作来输入输出数据，将数据记录于RAM，将记录于ROM的程序加载至RAM，执行加载于RAM的程序，从而实现图像处理装置1的后述的构成要素的功能。ECU可以由多个电子控制单元构成。
图像处理装置1在通过沿光轴方向移动的照相机200获得的图像设定基准点。成为设定基准点的对象的图像可以是强度图像，也可以是相关图像。基准点是指在将通过照相机200获得的图像间建立对应时成为基准的位置(坐标点)。基准点在第一强度图像与第二强度图像的对应建立、第一相关图像与第二相关图像的对应建立、第一强度图像与第二相关图像的对应建立中的任一者中均能够作为基准。在下文中，将通过照相机200获得的任意的图像称为第一图像，将通过照相机200获得的、与第一图像不同的任意的图像称为第二图像。
图像处理装置1具备图像取得部11、特定点管理部12以及移动矢量计算部20。此外，图像处理装置1不需要必须具备移动矢量计算部20。
图像取得部11从照相机200取得图像。图像取得部11例如经由网络取得通过照相机200获得的图像。图像取得部11作为一个例子而在各时刻取得动画的帧。
特定点管理部12具备初始设定部120、探索部121、输出部122以及特定点存储部123(存储部的一个例子)。
初始设定部120将通过照相机200获得的第一图像中的光轴附近点的位置作为第一图像的特定点的初始位置并与光轴附近点的周边区域的图像特征建立关联地储存于特定点存储部123。光轴附近点是在照相机200的拍摄面中位于照相机200的光轴与拍摄面的交点的周围的点。光轴附近点也可以是照相机200的光轴与拍摄面的交点。初始设定部120基于第一图像取得光轴附近点，并作为第一图像的特定点的初始位置存储于特定点存储部123。特定点是指用于决定基准点的坐标点。初始设定部120基于第一图像取得光轴附近点的周边区域的图像特征。周边区域是指包括光轴附近点在内的规定的大小的区域，图像特征是指强度图像，也可以是从强度图像提取出的边缘、角落等的特征量。初始设定部120将取得的光轴附近点的图像上的位置与图像特征建立关联地储存于特定点存储部123。建立关联是以指光轴附近点的图像上的位置确定的情况下、图像特征确定的方式决定图像特征的坐标范围。
照相机200的运动能够分为平移三分量与旋转三分量(俯仰角、横摆角、滚转角)进行考虑。对于因旋转三分量的中的俯仰角、横摆角变动引起的图像的坐标变动即移动矢量(光流)而言，无论照相机200与拍摄对象的距离如何，在图像上均一致。对于因照相机200的滚转角变动引起的图像上的移动矢量的大小而言，在图像中根据位置不同而不同，取决于距滚转角的旋转中心的距离。另一方面，因照相机200的平移运动引起的图像上的移动矢量取决于照相机200与拍摄对象的距离，越是近距离越大，在足够远方，小到能够忽略。在无遮挡物的情况下，能够认为通过沿光轴方向移动的照相机200获得的图像中的光轴附近为足够远方。因此，在光轴附近因滚转角变动以及平移运动引起的移动矢量能够视为足够小。初始设定部120通过将光轴附近点作为特定点能够使因滚转角变动以及平移运动引起的移动矢量的影响较小的坐标点彼此对应。
初始设定部120可以将光轴附近点的候补中的建立关联的图像特征的信息(空间信息量)最多的点选择为特定点的初始位置。在该情况下，探索部121中的对应点的探索的可靠地性以及处理稳定性提高。作为一个例子，初始设定部120在初始时刻将光轴中心的坐标(x0,y0)作为特定点坐标的候补。而且，利用以下公式计算特定点坐标的候补的坐标(x0,y0)的周边的边缘强度的积分值。
[公式1]
在边缘强度的积分值为规定的阈值以上的情况下，初始设定部120将坐标(x0,y0)作为特定点，与周边区域的图像特征建立关联地储存于特定点存储部123。在边缘强度的积分值小于规定的阈值的情况下，初始设定部120在坐标(x0,y0)的附近将边缘强度的积分值即空间信息量最大的点选择为特定点，与其周边区域的图像特征建立关联地储存于特定点存储部123。
在第一图像中存在车辆等移动体的区域的情况下，初始设定部120可以在该区域外设定特定点。在该情况下，特定点管理部12具备检测移动体区域的移动体检测部。移动体区域的检测算法并不特别限定。作为一个例子，移动体检测部能够使用语义分割等标签赋予算法(labeling method)、SSD(Single Shot Multibox Detector：单发多盒检测器)等图案识别算法。在语义分割中，使用强度图像g0(x，y，t)来相对于各像素(x，y)赋予表示是否为移动体的标签。在SSD等图案识别算法中，移动体被检测为矩形。在该情况下，移动体检测部不需要针对每个像素赋予表示是否为移动体的标签，仅保持矩形的左右上下端的坐标即可。由此，存储器使用高效化。在通过移动体检测部检测到移动体区域的情况下，初始设定部120将存在于移动体区域外的光轴附近点的候补选择为特定点的初始位置。由此，在探索部121，能够排除因移动物的运动引起的拍摄图像上的移动分量求出对应点。此外，初始设定部120可以预先从与特定点建立关联地储存的图像排除特征移动体区域所涉及的图像特征。
探索部121基于储存于特定点存储部123的特定点的周边区域的图像特征对通过照相机200获得的第二图像中的特定点的对应点进行探索。具体而言，探索部121求出与储存于特定点存储部的特定点位置对应的拍摄到第二图像的时刻t的特定点的位置(坐标)亦即(xc(t)，yc(t))。作为一个例子，探索部121将特定点的周边区域的图像特征作为模版，通过模版匹配来探索对应点。
探索部121可以对储存于特定点存储部123的特定点的周边区域的图像特征中的除移动体区域所包括的图像特征之外的对应点进行探索。例如，在作为图像特征而将强度图像与特定点建立关联的情况下，探索部121使用排除了移动体区域的强度图像来探索对应点。在该情况下，特定点管理部12具备上述的移动体检测部。在通过移动体检测部检测到移动体区域的情况下，探索部121使用排除移动体区域的强度图像来探索对应点。
输出部122将第二图像的对应点的位置作为第二图像的基准点的位置。输出部122可以将第二图像的基准点输出至图像处理装置1的存储部，也可以将第二图像的基准点输出至其他构成要素。输出的基准点在将识别对象在图像间建立对应时利用，或者在补偿照相机200的移动时利用。输出的基准点的坐标与储存的特定点的坐标的差量成为因从储存特定点的时刻至第二图像的取得为止的移动矢量中的俯仰角以及横摆角的变动引起的分量。
初始设定部120可以在满足规定的条件时将储存于特定点存储部123的特定点初始化。例如，在第二图像的对应点从第二图像的光轴附近点的范围脱离的情况下，初始设定部120将第二图像的光轴附近点与该光轴附近点的周围区域的图像特征建立关联地才储存于特定点存储部123。在该情况下，当搭载了照相机200的车辆2在曲线道路移动时等，即便特定点从光轴附近脱离，也能够继续设定对应点。
特定点管理部12可以具有在满足规定的条件时对储存于特定点存储部123的特定点进行更新的更新部。作为一个例子，更新部将第二帧的对应点与该对应点的周围区域的图像特征建立关联地储存于特定点存储部123。在该情况下，即便在特定点周边的图像特征从特定点的初始值设定时刻变化时，也能够更可靠地求出第三帧中的对应点。更新部可以针对每一帧更新特定点，也可以构成为针对每一帧更新特定点但在特定的帧中不更新特定点。
特定点管理部12可以具备积累图像生成部，该积累图像生成部针对每一帧基于基准点进行坐标变换(对位)，将累计了从过去至上一帧为止的亮度值的积累图像存储于存储部。积累图像成为补偿照相机200的运动的图像。上述的更新部将特定点的位置与其周边区域的积累图像建立关联，并更新特定点存储部123。针对特定点的周边区域的图像特征，积累图像能够反映更长时间的信息。即，即便在某时刻的强度图像中特定点瞬时被移动体遮挡的情况下，也能够获得与在其他时刻的强度图像中未被移动体遮挡的状况的特定点相关的图像特征。因此，能够在时间上稳定地求出对应点。
对于积累图像生成部而言，例如在探索部121求出的对应点与光轴中心坐标的距离为规定的阈值以下的情况下，通过运算当前时刻的强度图像g0(x，y)与至前一时刻为止的积累图像gacc(x，y，t-1)的加权和来生成积累图像。这里，以将当前时刻的特定点即基准点作为原点的方式对强度图像g0(x，y)进行坐标变换，以将前一时刻的特定点坐标作为原点的方式对积累图像gacc(x，y，t-1)进行坐标变换。加权和的运算如下所述。
[公式2]
gacc(x，y，t)＝w·g0(x，y)+(1-w)·gacc(x，y，t-1)
这里，w：[0＜w＜1]是加权平均中的强度图像g0的加权。由于被变换为将特定点坐标作为原点的坐标系，所以因照相机200的旋转运动引起的位置偏移被修正，生成的至当前时刻为止的积累图像的原点也与特定点对应。生成的积累图像与由探索部121求出的特定点的坐标一同储存于特定点存储部123。
移动矢量计算部20针对第二图像的各像素计算像素与基准点的相对移动矢量。相对移动矢量是描述相对于基准点的移动的矢量。移动矢量计算部20可以在计算各像素的移动矢量(光流)之后计算与基准点的相对移动矢量，但通过将基准点作为原点来计算移动矢量能够以计算相对移动矢量较少的计算量获得较高的精度。通过基于基准点计算相对移动矢量能够获得补偿了照相机200的旋转运动的移动矢量。
假定“拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化”来对光流(v＝[vx，vy]T)进行计算。在将时刻t的位置(x，y)的强度描述为f(x，y，t)时，表示该假定的约束条件成为以下的算式(1)。
[公式3]
算式(1)是照相机200为一般的影像传感器的情况下的约束条件。
在照相机200为CIS的情况下，上述的约束条件成为以下的算式(2)。
[公式4]
这里，j表示虚数单位，图像g1(x，y)如下。
[公式5]
若使用以下的算式(4)对算式(2)进行变形，则成为算式(5)。
[公式6]
[公式7]
hxvx+hyvy+b＝0 (5)
算式(4)的h是相对于从CIS输入的强度图像g0以及相关图像g1的关于x方向以及y方向的空间偏微分图像。算式(5)成为照相机200为CIS的情况下的约束条件。算式(5)的hx、hy、b是复数的系数。移动矢量计算部20能够通过求解式(5)来获得光流。此外，在照相机200为CIS的情况下，能够从1个像素的输出信号获得与算式(5)的实部和虚部对应的两个约束式。因此，能够从1个像素的输出信号计算两个未知数亦即光流。另一方面，在照相机200为一般的影像传感器的情况下，能够通过求解式(1)来获得光流。算式(1)是实数方程式，从1个像素的输出信号获得的约束式为一个。方程式的数量比未知数的数量少，因而从1个像素的输出信号是无法计算光流的。通过使用在附近像素中光流一致的假定能够使用附近像素的输出信号增加方程式的数量。另外，算式(1)的ft表示时间微分，从连续的2帧图像的差量取得ft的值。通过使用在附近像素中光流一致的假定以及使用连续的2帧图像的差量，即便在照相机200为一般的影像传感器的情况下，也能够获得光流。
移动矢量计算部20作为算式(4)的空间偏微分图像的运算而在计算出g1-g0之后进行偏微分。对于移动矢量计算部20而言，在后段的处理中使用强度图像的空间偏微分图像的情况下，可以以在后段的处理中也能够利用运算结果的方式相对于强度图像g0以及相关图像g1独立地进行偏微分运算并保存结果。移动矢量计算部20作为一个例子而通过应用以下所示的x方向与y方向的索贝尔滤波器(Sobel Filter)来进行偏微分运算。
[公式8]
移动矢量计算部20可以使用傅立叶变换运算偏微分。一般地，在函数f(t)的傅立叶变换为F(ω)的情况下，函数f(t)的微分亦即f'(t)的傅立叶变换成为jωF(ω)。因此，移动矢量计算部20能够通过进行傅立叶变换并在乘以jω之后进行傅立叶逆变换来运算偏微分。在将F以及F-1分别作为傅立叶变换、傅立叶逆变换的运算子的情况下，强度图像g0的x方向的空间偏微分用下式表达。
[公式9]
(图像处理装置的动作)
图2是表示图像处理装置1的动作的一个例子的流程图。图2所示的流程图例如从接受了图像处理装置1的动作开始指示时起开始处理。此外，在下文中，假设照相机200输出动画。
作为图像取得处理(步骤S10)，图像取得部11从照相机200取得图像。图像取得部11作为成为设定特定点的对象的第一图像而取得第一帧。图像取得部11取得成为设定基准点的对象的第二帧。
作为初始设定处理(步骤S12)，初始设定部120将在图像取得处理(步骤S10)取得的第一帧中的光轴附近点的位置作为第一帧的特定点的初始位置并与光轴附近点的周边区域的图像特征建立关联地储存于特定点存储部123。
作为探索处理(步骤S14)，探索部121基于储存于特定点存储部123的特定点的周边区域的图像特征对在图像取得处理(步骤S10)取得的第二帧中的特定点的对应点进行探索。
作为输出处理(步骤S16)，输出部122将第二帧的对应点的位置作为第二帧的基准点的位置输出。作为一个例子，输出部122将第二帧的基准点输出至图像处理装置1的存储部，并使之成为能够参照的状态。
作为移动矢量计算处理(步骤S18)，移动矢量计算部20针对第二帧的各像素计算像素与基准点的相对移动矢量。移动矢量计算部20从第二帧计算光流。而且，移动矢量计算部20参照储存于图像处理装置1的存储部的第二帧的基准点来计算各像素与基准点的相对移动矢量。
在移动矢量计算处理(步骤S18)结束的情况下，图2所示的流程图结束。此外，在对紧接着第二帧的第三帧进行处理的情况下，图像取得部11从最初开始图2所示的流程图。
(第一实施方式的总结)
搭载于车辆2的照相机200的俯仰角以及横摆角因路面的凹凸等而变动。照相机200的图像的坐标也因俯仰角以及横摆角的变动而变动。在从图像识别车辆、行人、标识、红绿灯、白线等的情况下，通过使用多个帧的信息来提高识别精度。使用多个帧的信息识别需要将识别对象在帧间建立对应。然而，若存在上述的图像的坐标变动则存在无法建立对应或者因进行了错误的对应建立而导致识别精度降低的担忧。
在图像处理装置1中，通过沿光轴方向移动的照相机200获得的第一图像的光轴附近点的位置被设定为特定点的初始位置。光轴附近点是因滚转角的变动以及平移运动引起的移动矢量较小的点。光轴附近点的位置被与光轴附近点的周边区域的图像特征建立关联并作为特定点存储。使用该特定点将第一图像与第二图像建立对应。基于光轴附近点的周边区域的图像特征探索与第一图像的特定点对应的第二图像的对应点。探索到的对应点成为第二图像的基准点。基准点是在将第一图像与第二图像建立对应时成为基准的位置，是补偿因俯仰角以及横摆角变动引起的坐标变换的图像上的坐标点。基准点例如是第二图像中的成为相对位置坐标的基准的位置。通过将识别对象的坐标相对于基准点表达为相对位置，从而即便存在坐标变动也能够正确地进行对应建立，能够提高使用多个帧的识别精度。
图像处理装置1使用第一图像中的光轴附近点在第二图像设定基准点，由此即便在照相机200存在高速的旋转运动分量的情况下，也能够将识别对象在图像间建立对应。图像处理装置1通过生成以针对每一帧求出的基准点成为相同坐标的方式进行了坐标变换的图像，能够生成补偿了因俯仰角以及横摆角变动引起的坐标变动的图像即修正了图像抖动的图像。此外，对于图像抖动修正而言，只要知晓基准点的坐标点就能够反映到运算(例如移动矢量的运算)中而生成图像。即，可以说设定基准点与在运算上进行抖动修正的意义相同。
并且，图像处理装置1的对应建立的方法不取决于因照相机200的俯仰角以及横摆角的变动引起的坐标变动成为特定的位移量的时刻的图像，因而能够在拍摄图像的全部的时刻正确地设定基准点。另外，图像处理装置1的对应建立的方法不将消失点作为基准点，因而即便在无法检测消失点的情况下也能够正确地计算移动矢量。
另外，输出的基准点的位置与储存于存储部的特定点的位置的差量是从拍摄到第一图像的时刻至拍摄到第二图像的时刻为止的移动矢量，因俯仰角以及横摆角的变动引起。因此，图像处理装置1能够通过计算像素与基准点的相对移动亦即相对移动矢量来补偿因俯仰角以及横摆角的变动引起的坐标变动。
[第二实施方式]
第二实施方式所涉及的图像处理装置1A与图像处理装置1相比，推断照相机200的旋转运动这点不同。以下以不同点为中心进行说明，与第一实施方式重复的说明不赘述。
(图像处理装置的结构)
图3是包括第二实施方式所涉及的图像处理装置在内的车辆的功能框图。如图3所示，图像处理装置1A搭载于车辆2。车辆2具备照相机200以及图像处理装置1A。照相机200与第一实施方式相同。
图像处理装置1A具备图像取得部11、设定部12A、第一推断部18以及第二推断部19。图像取得部11与第一实施方式相同。
设定部12A具有与第一实施方式的初始设定部120的特定点设定功能相同的功能。即，设定部12A具有将光轴附近点设定为特定点的功能。此外，设定部12A可以不仅具备将光轴附近点设定为特定点的功能，还具备初始设定部120的全部的功能。设定部12A可以与特定点管理部12相同。
第一推断部18基于特定点的周边区域的移动矢量对围绕旋转速度分量中的与照相机200的拍摄面平行且相互正交的俯仰轴(第一轴的一个例子)以及横摆轴(第二轴的一个例子)中的至少一方的旋转速度分量进行推断。搭载于车辆2并监视前方的照相机200沿光轴方向移动。利用该照相机200获得的图像中的光轴附近在无遮挡物的情况下能够认为是足够远方。在足够远方，因照相机200的平移运动引起的移动矢量小到能够忽略，在特定点的附近，因围绕连结特定点与照相机200的光学中心(图像中心)的直线亦即滚转轴(第三轴的一个例子)的旋转运动引起的移动矢量也变小。因此，能够认为光轴附近的特定点的周边区域的移动矢量仅为因围绕俯仰轴以及横摆轴的旋转运动引起的分量。因此，第一推断部18能够通过使用特定点的周边区域的移动矢量来对围绕俯仰轴以及横摆轴的旋转运动引起的分量进行推断。
第二推断部19基于由第一推断部18推断出的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对围绕连结特定点与照相机200的光学中心的直线亦即滚转轴的轴的旋转速度分量进行推断。
对于“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”而言，在照相机200为CIS的情况下，用在第一实施方式中说明过的算式(2)或者算式(5)表达。在照相机200为一般的影像传感器的情况下，用算式(1)表达。在下文中，对“照相机200的运动与图像上的各像素的移动矢量的关系”进行概述。
图4是表示照相机坐标系的定义的图。如图4所示，将拍摄光学系的光学中心作为照相机200的坐标系的原点O，将光轴作为Z轴。将与Z轴正交并相互正交的轴作为X轴以及Y轴。拍摄面是用Z＝fc表达的平面。fc为透镜的焦距。假设照相机200的运动使用相对于X轴、Y轴以及Z轴的各坐标轴的平移运动的参数与旋转运动的参数定义。例如，平移运动T用T＝(TX，TY，YZ)表达，旋转运动Ω用Ω＝(ΩX，ΩY，ΩZ)表达。此时，基于照相机200的移动(运动)的光流用下式表达。
[公式10]
通过以如下方式定义矩阵分量A、B，算式(6)能够像算式(7)那样简洁地表达。
[公式11]
在算式(7)中，距离Z(x，y)是至与各像素对应的物体点为止的距离。算式(7)的第一项是因照相机200的平移运动引起的分量，算式(7)的第二项是因照相机200的旋转运动引起的分量。上述的算式(6)或者算式(7)表示“照相机200的运动与图像上的各像素的移动矢量的关系”。
通过将算式(7)代入至照相机200为CIS的情况下的约束条件亦即算式(2)获得以下的算式(8)。
[公式12]
算式(8)成为与距离Z、平移运动T以及旋转运动Ω相关的约束条件。即，能够在算式(8)的约束条件下将距离Z(x，y)、平移运动(T＝(TX，TY，YZ))以及旋转运动(Ω＝(ΩX，ΩY，ΩZ))作为未知数来求解。使用算式(8)求解相当于基于“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”与“照相机200的运动与拍摄图像上的各像素的移动矢量的关系”求未知数。即，第二推断部19使用算式(8)对围绕连结特定点与照相机200的光学中心的直线亦即第三轴的旋转速度分量进行推断。
另外，距离Z(x，y)是针对每个像素不同的值。平移运动T与旋转运动Ω是所有像素共通的未知数。在使用CIS获得N个像素的输出信号时，如上所述，获得2N个约束式。另一方面，未知数的个数为N+6。由于需要方程式的数量为未知数的数量以上，所以需要条件2N≥(N+6)成立。若求解条件式，则在CIS中，只要获得6个像素以上的输出信号，原理上就能够获得未知数的解。
在向车辆2应用时，需要考虑车辆运动特有的性质。车辆2的行进方向即Z轴方向的平移速度分量亦即TZ较大，但与行进方向正交的方向的平移速度分量亦即TX、TY较小。而且，因路面的凹凸等引起的俯仰角速度ΩX与因旋转引起的横摆角速度ΩY比较大，但滚转角速度Ωz较小。在欲在这样的车辆运动特有的条件下同时求出包含误差的6个未知数的情况下，产生被值较大的分量主导而导致值较小的分量的误差变大的现象，同时难以获得实用的解。
这样，若欲根据算式(8)一次性获得解，则存在未知数的个数的问题与误差的问题。与此相对，在由第一推断部18推断出围绕俯仰轴以及横摆轴的旋转速度分量ΩX、ΩY之后，第二推断部19基于围绕俯仰轴以及横摆轴的旋转速度分量仅对围绕滚转轴的旋转速度分量进行推断。算式(8)是Z(x，y)为分母的非线性方程式，但能够将Tx/Z(x，y)、TY/Z(x，y)、TZ/Z(x，y)作为未知数来解方程式。这样，第二推断部19在减少了算式(8)的未知数的个数的基础上仅推断围绕滚转轴的旋转速度分量，因而不会被其他未知数主导而产生误差，能够以较高的精度进行推断。例如，即便在滚转轴的旋转速度分量大于围绕俯仰轴以及横摆轴的轴的旋转速度分量的情况下，也能够提高推断精度。
以下，对第一推断部18对围绕俯仰轴以及横摆轴的轴的旋转速度分量的推断的详情、第二推断部19对围绕滚转轴的轴的旋转速度分量的推断的详情进行说明。
(第一推断部18的推断的详情)
特定点设定为从沿光轴方向移动的照相机200获得的图像的光轴附近点，还被追踪。因此，可以说特定点总为足够远方。在算式(7)中，距离Z(x，y)相对于平移速度|T|大得越多，算式(7)的第一项越接近0。因此，算式(7)能够近似成为以下的算式(9)。
[公式13]
这里，若在矩阵B的要素中忽略2次的微小项(包括x2、y2、xy的项)，则能够近似为以下的算式(10)。
[公式14]
在算式(10)中，第一项为滚转角速度分量，第二项为俯仰角速度以及横摆角速度分量。在搭载于行驶的车辆2的照相机200中，因路面的凹凸等引起的俯仰角速度Ωx与因转弯等引起的横摆角速度Ωy比较大，但滚转角速度Ωz较小。而且，滚转角速度分量在图像中越远离原点越大，在原点附近较小。原点即移动矢量的基准点为光轴附近即转弯中心的附近，因而滚转角速度Ωz能够忽略。因此，特定点的周边区域的主要的移动矢量如下所示。
[公式15]
将以特定点的坐标(xc，yc)为中心的宽度Wc、高度Hc的矩形区域规定为特定点的周边区域。为了从特定点的周边区域排除近距离的拍摄对象，可以从特定点稍向上方(y坐标的负的方向)移位地设定特定点的周边区域。特定点的周边区域的主要的移动矢量是制作光流的柱状图并作为柱状图值的峰值的坐标进行提取的。在柱状图制作中，在第一实施方式中说明过的赋予了移动体的标签的像素被排除。
这样，第一推断部18可以将位于光轴附近的特定点的周边区域的主要的移动矢量推断为围绕横摆轴以及俯仰轴中的至少一方的旋转速度分量。通过从光流的柱状图推断主要的移动矢量，即便每个像素的光流产生误差也能够稳定且高精度地推断滚转角速度。此外，光流能够通过以在第一实施方式中说明过的算法相同的算法进行计算。
(第二推断部19的推断的详情)
在照相机200的移动与光流的关系式亦即算式(6)中，在忽略了2次的微小项(包括x2、y2、xy的项)的情况下，能够描述为如下的算式(12)。
[公式16]
在将照相机200的移动亦即vr(r)描述为如下的算式(13)的情况下，算式(12)能够描述为算式(14)。
[公式17]
若将算式(14)代入至照相机200为CIS的情况下的约束条件亦即算式(2)，则成为以下的算式(15)。
[公式18]
俯仰角速度Ωx以及横摆角速度Ωy已经由第一推断部18推断出，是已知的。因此，将Ωz、vr(r)、vtx(r)、vty(r)这四个作为未知数来解方程式即可。照相机200的平移运动大致仅为Z轴方向，因而能够近似为Tx＝Ty＝0。这样，能够像以下的算式(16)那样将未知数减少至Ωz以及vr(r)这两个。
[公式19]
/>
将算式(16)的变量变换为以下的变量。
[公式20]
由此，算式(16)能够描述为如下的算式(17)。
Ωzhθ+vr(r)hr+hb＝0 (17)
滚转角速度Ωz是所有像素共通的未知数，但vr(r)针对每个像素为不同的未知数，因而针对各像素计算Ωz以及vr(r)。具体而言，通过将描述为如下的算式(18)的评价函数在每个像素的周边区域(积分区间Γ)中最小化来计算Ωz以及vr(r)。积分区间Γ是能够近似为vr(r)相等的程度的局部区域，例如是以关注像素为中心的3×3像素区域。
[公式22]
J＝∫Γ||Ωzhθ+vr(r)hr+hb||2dr (18)
将分别利用Ωz以及vr(r)进行了偏微分的值设为0，将以下的算式(19)获得为解。
[公式23]
这里，后缀i是确定各像素的索引。
理想地，滚转角速度Ωzi在所有像素成为相同的值。然而，滚转角速度Ωzi实际成为包括误差的值。为了减少该误差获得稳定的滚转角速度Ωz的推断值，第二推断部19像以下的算式(20)那样作为加权平均值来推断滚转角速度Ωz。
[公式24]
加权平均的各像素的权重wi用如下的算式(21)定义。
[公式25]
算式(21)是用于求算式(19)的分母即求解的矩阵式，表示解的可靠度。根据该定义，能够获得相对于可靠度较大的解赋予较大的权重的平均值。
此外，在图像中存在车辆等移动体的区域的情况下，第一推断部18以及第二推断部19的至少一方可以在排除了移动体的区域的区域推断旋转速度分量。在该情况下，图像处理装置1A具备在第一实施方式中说明过的移动体检测部即可。由此，能够排除因移动物的运动引起的拍摄图像上的运动分量来推断旋转速度分量。
并且，在图像中存在空白(天空)的区域的情况下，第一推断部18以及第二推断部19的至少一方可以在排除了该区域的区域推断旋转速度分量。在该情况下，图像处理装置1A具备空白区域检测部。拍摄图像中的空白的区域也存在变化(斜率)在空间上、时间上均较小且亮度值饱和的情况，无法获得实用上有意义的移动矢量的情况不少。因此，第一推断部18通过预先检测空白的区域、并从移动矢量的计算排除空白的区域来抑制旋转速度分量的推断误差。另外，空白的区域的距离与拍摄对象的前景相比是足够远方。因此，TX/Z(x，y)、TY/Z(x，y)、TZ/Z(x，y)的值大致等于0。在联立方程式中系数与解均变小的情况下，成为不良设定问题(ill posed problem)。在该情况下，存在解不恒定且产生较大的误差的担忧。因此，第二推断部19通过检测空白的区域并预先从计算中排除或者使解为固定值来避免因不良设定问题引起的误差。
空白区域检测部使用强度图像g0(x，y，t)及其x方向、y方向的偏微分图像g0x(x，y，t)、g0y(x，y，t)来相对于各像素(x，y)赋予表示是否为空白的标签。照相机200的光轴设定为水平方向，因而y＝0为水平线，y坐标为负的区域存在是空白的可能性的区域。考虑照相机200的旋转运动、路面坡度等引起的水平线的变动而将水平线的y坐标决定为yh。空白区域检测部根据如下基准来判定是否为空白。
[公式26]
上述标签的函数的判定条件是指亮度值为规定范围且空间的变化量为规定的阈值以下。这里，阈值skyimin、skyimax、skyvar预先使用强度图像g0(x，y，t)、偏微分图像g0x(x，y，t)、g0y(x，y，t)以如下方式进行计算。
最初，空白区域检测部在y≤yh的区域生成以横轴为亮度值、纵轴为空间坡度g0x 2+g0y 2的二维柱状图，求出其峰值坐标(pi，pj)。空白区域检测部将柱状图的值相对于峰值成为规定值(例如峰值的10％)的最小亮度值、最大亮度值、最大空间坡度值分别决定为skyimin、skyimax、skyvar。具体而言，空白区域检测部将峰值坐标(pi，pj)作为起点向横轴负方向探索，将柱状图值第一次成为峰值的10％以下的横轴坐标决定为skyimin。同样，空白区域检测部将峰值坐标(pi，pj)作为起点向横轴正方向探索，将柱状图值第一次成为峰值的10％以下的横轴坐标决定为skyimax。关于柱状图的纵轴方向也同样，空白区域检测部将峰值坐标(pi，pj)作为起点向纵轴正方向探索，将柱状图值第一次成为峰值的10％以下的纵轴坐标决定为skyvar。
空白区域检测部使用亮度值与空间坡度来对是否为空白进行判定并检测空白区域，但并不限定于此。空白区域检测部可以使用语义分割等标签赋予算法。第一推断部18通过在排除了空白的区域的区域推断旋转速度分量能够防止因亮度值的饱和、无纹理引起的旋转速度分量的推断精度降低。
图像处理装置1A可以不具备第一推断部18。在该情况下，图像处理装置1A具备图像取得部11、设定部12A以及第二推断部19。第二推断部19基于“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”与“照相机200的运动与图像上的各像素的移动矢量的关系”对围绕连结特定点与照相机200的光学中心的直线亦即滚转轴的旋转速度分量进行推断。
(图像处理装置的动作)
图5是表示图像处理装置1A的动作的一个例子的流程图。图5所示的流程图例如从接受了图像处理装置1A的动作开始指示时起开始处理。此外，在下文中，假设照相机200输出动画。
作为图像取得处理(步骤S20)，图像取得部11从照相机200取得图像。该处理与图2的图像取得处理(步骤S10)相同。
作为设定处理(步骤S22)，设定部12A将在图像取得处理(步骤S20)取得的第一帧中的光轴附近点的位置设定为第一帧的特定点。
作为第一推断处理(步骤S24)，第一推断部18基于在设定处理(步骤S22)设定的特定点的周边区域的移动矢量对围绕俯仰轴以及横摆轴中的至少一方的旋转速度分量进行推断。作为一个例子，第一推断部18从特定点的周边区域的光流的柱状图求出主要的移动矢量，对围绕俯仰轴以及横摆轴的旋转速度分量进行推断。
作为第二推断处理(步骤S26)，第二推断部19基于在第一推断处理(步骤S24)推断出的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对围绕连结特定点与照相机200的光学中心的直线亦即滚转轴的旋转速度分量进行推断。作为一个例子，第二推断部19对基于围绕俯仰轴以及横摆轴的旋转速度分量与算式(8)导出的算式(17)求解，即通过将算式(18)最小化来获得算式(19)所示的解。
在第二推断处理(步骤S26)结束的情况下，图5所示的流程图结束。此外，在处理紧接着第二帧的第三帧的情况下，图像取得部11从最初开始图5所示的流程图。
(第二实施方式的总结)
在图像处理装置1A中，通过沿光轴方向移动的照相机200获得的图像的光轴附近点的位置被设定为特定点的位置。而且，通过第一推断部18，基于特定点的周边区域的移动矢量推断旋转速度分量中的围绕照相机200的俯仰轴以及横摆轴中的至少一方的旋转速度分量。图像处理装置1A对光轴附近的特定点的周边区域的主要的移动矢量进行推断，由此即便各个移动矢量推断产生误差，也能够作为主要的移动矢量而高精度且稳健地对围绕俯仰轴以及横摆轴的旋转速度分量进行推断。
而且，通过第二推断部19，基于由第一推断部18推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对围绕连结特定点与照相机200的光学中心的直线亦即滚转轴的旋转速度分量进行推断。在一次性对绕2个或者3个轴的旋转速度分量进行推断的情况下，用于进行推断的算式包括多个未知数。围绕滚转轴的旋转速度分量与围绕俯仰轴以及横摆轴的旋转速度分量相比成为相当小的值。若同时推断包括较大的值与较小的值在内的多个未知数，则被值较大的分量主导而导致值较小的分量的误差变大。图像处理装置1A分开进行围绕俯仰轴以及横摆轴的至少一方的旋转速度分量的推断与围绕滚转轴的轴的旋转速度分量的推断。因此，对于该装置而言，与一次性对绕2个或者3个轴的旋转速度分量进行推断的情况相比，能够使围绕滚转轴的轴的旋转速度分量的推断精度提高。
对于图像处理装置1A的第一推断部18而言，由于不存在必须在处于特定的位置关系的多个点同时进行移动矢量推断之类的限制事项，所以即便是纹理较少的图像也能够推断旋转速度分量。另外，对于图像处理装置1A而言，由于不存在相对于平移速度的假定、制约，所以即便照相机200的平移速度发生变化、低速或者停止，也能够正确地推断旋转速度分量。
在图像处理装置1A中，将滚转轴定义为连结特定点与照相机200的光学中心的直线，因而即便照相机200的俯仰角、横摆角发生变动，也能够总是使滚转轴的方向稳定。图像处理装置1A通过使滚转轴的方向稳定化能够以较高的精度推断围绕滚转轴的旋转速度分量。
[第三实施方式]
第三实施方式所涉及的图像处理装置1B与图像处理装置1相比，推断照相机200的旋转运动这点以及计算照相机200到达拍摄对象为止的到达时间这点不同。以下以不同点为中心进行说明，与第一实施方式以及第二实施方式重复的说明不赘述。
(图像处理装置的结构)
图6是包括第三实施方式所涉及的图像处理装置在内的车辆的功能框图。如图6所示，图像处理装置1B搭载于车辆2。车辆2具备照相机200以及图像处理装置1B。照相机200与第一实施方式相同。
图像处理装置1B具备图像取得部11、旋转推断部18B以及到达时间计算部21。图像取得部11与第一实施方式相同。
旋转推断部18B对与照相机200的自身运动的至少一个轴相关的旋转速度分量进行推断。旋转推断部18B也可以与第二实施方式所涉及的第一推断部18以及第二推断部19的至少一方相同。由此，能够对与俯仰轴、横摆轴以及滚转轴中的至少一个轴相关的旋转运动分量进行推断。
到达时间计算部21基于由旋转推断部18B推断出的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对补偿了与至少一个轴相关的旋转速度分量的到达时间进行计算。
“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”用在第一实施方式中说明过的算式(2)或者算式(5)表达。“照相机200的运动与图像上的各像素的移动矢量的关系”用在第二实施方式中说明过的算式(6)或者算式(7)表达。
忽略算式(6)的2次的微小项(包括x2、y2、xy的项)进行近似还进行变形而获得的算式(14)的第三项如下所述。
[公式27]
第三项是以坐标原点为中心的放射状分布的速度矢量场。该放射状速度矢量场的系数亦即vr(r)＝TZ/Z(r)能够视为按照距离Z(r)将平移速度分量TZ标准化了的标准化平移速度，在平移速度分量TZ已知的基础上给出静止对象的距离Z(r)。而且，倒数1/vr(r)是将Z轴方向的距离除以Z轴方向的平移速度Tz的量，表示与像素r对应的拍摄对象点达到照相机200为止的时间即到达时间。即便在拍摄对象移动的情况下，倒数1/vr(r)也表示正确的到达时间。
到达时间计算部21在将算式(18)最小化的计算中还能够与滚转角速度Ωzi同时推断标准化平移速度vr(r)。针对每个像素推断的滚转角速度Ωzi包括误差，因而同时推断的标准化平移速度vr(r)也包括误差。到达时间计算部21在基于算式(20)以较高的精度推断出滚转角速度Ωz之后，滚转角速度Ωz已知，在算式(16)中仅标准化平移速度vr(r)为未知数，由此能够提高标准化平移速度vr(r)的推断精度。
将算式(16)的变量变换为以下那样。
[公式28]
由此，算式(16)描述为以下那样。
[公式29]
vr(r)hr+hb＝0 (22)
到达时间计算部21从算式(22)计算标准化平移速度vr(r)。在算式(22)中，以与Lucas&Kanade法同样的想法决定评价函数J，并将评价函数最小化，由此求解。
[公式30]
J＝∫Γ||vr(r)hr+hb||2dr (23)
到达时间计算部21在算式(22)中也可以以与Horn&Schunck法同样的想法决定评价函数J，并将评价函数最小化。该情况下的评价函数与解如下。
[公式31]
到达时间计算部21从以上述算法计算出的标准化平移速度vr(r)计算到达时间亦即1/vr(r)。
并且，在图像中存在描绘空白(天空)的区域的情况下，到达时间计算部21可以在排除了该区域的区域计算到达时间。在该情况下，图像处理装置1B具备在第二实施方式中说明过的空白区域检测部即可。到达时间计算部21通过对排除了空白的区域的区域的到达时间进行计算来排除无接触的可能性的拍摄对象，能够防止输出错误的到达时间。
(图像处理装置的动作)
图7是表示图像处理装置1B的动作的一个例子的流程图。图7所示的流程图例如从接受了图像处理装置1B的动作开始指示时起开始处理。此外，在下文中，假设照相机200输出动画。
图像取得部11作为图像取得处理(步骤S30)而从照相机200取得图像。该处理与图2的图像取得处理(步骤S10)相同。
旋转推断部18B作为旋转推断处理(步骤S32)推断与俯仰轴、横摆轴以及滚转轴中的至少一个轴相关的旋转运动分量。该处理与图5的第一推断处理(步骤S24)以及第二推断处理(步骤S26)的至少一方相同。此外，作为旋转推断处理(步骤S32)，可以使用陀螺仪传感器等取得围绕横摆轴、俯仰轴、滚转轴的轴的旋转速度分量。
到达时间计算部21作为到达时间计算处理(步骤S34)而基于由旋转推断部18B推断出的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对补偿了与俯仰轴、横摆轴以及滚转轴中的至少一个轴相关的旋转速度分量的到达时间进行计算。到达时间计算部21使用算式(23)或者算式(24)计算标准化平移速度vr(r)，作为其倒数而计算到达时间。在到达时间计算处理(步骤S34)结束的情况下，图7所示的流程图结束。
(第三实施方式的总结)
照相机200的运动能够分为平移运动以及旋转运动。在搭载于车辆2监视前方的照相机200的情况下，照相机200的主要运动是行进方向的平移运动分量。然而，照相机200的运动还包括路面的凹凸等引起的俯仰角速度、转弯引起的横摆角速度等旋转运动分量。因此，在仅使用平移运动分量计算到达时间的情况下，存在计算的到达时间的精度降低的担忧。与此相对，在图像处理装置1B中，对与照相机200的自身运动的至少一个轴相关的旋转速度分量进行推断。而且，基于推断出的旋转速度分量、假定拍摄对象的亮度值不因拍摄部与拍摄对象的相对运动而变化的约束条件、以及拍摄部的运动与图像上的各像素的移动矢量的关系对补偿了与至少一个轴相关的旋转速度分量的到达时间进行计算。这样，图像处理装置1B对补偿了旋转速度分量的到达时间进行推断，因而即便在照相机200上下振动、转弯运动的情况下，也能够以较高的精度推断到达(碰撞)时间。另外，图像处理装置1B直接计算到达时间而不推断移动矢量，因而能够以简易的结构实现到达时间的推断。
[第四实施方式]
第四实施方式所涉及的图像处理装置1C与图像处理装置1相比，推断照相机200的旋转运动这点、推断按照距离标准化了的平移矢量这点、以及对排除了因照相机200的运动引起的像素的移动的移动矢量进行计算这点不同。以下以不同点为中心进行说明，与第一实施方式～第三实施方式重复的说明不赘述。
(图像处理装置的结构)
图8是包括第四实施方式所涉及的图像处理装置在内的车辆的功能框图。如图8所示，图像处理装置1C搭载于车辆2。车辆2具备照相机200以及图像处理装置1C。照相机200与第一实施方式相同。
图像处理装置1C具备图像取得部11、旋转推断部18C、标准化平移速度推断部22以及异常移动矢量计算部23。图像取得部11与第一实施方式相同。
旋转推断部18C对与照相机200的自身运动的至少一个轴相关的旋转速度分量进行推断。旋转推断部18C也可以与第二实施方式所涉及的第一推断部18以及第二推断部19的至少一方相同。由此，能够对与俯仰轴、横摆轴以及滚转轴中的至少一个轴相关的旋转运动分量进行推断。
标准化平移速度推断部22推断标准化平移速度。标准化平移速度是拍摄机构与拍摄对象的平移速度除以从与各像素对应的拍摄对象上的点至照相机200为止的距离的值。若假定拍摄对象为刚体，则图像上的移动矢量(光流)能够基于照相机200与拍摄对象的相对旋转运动、照相机200与拍摄对象的标准化平移速度、各像素的坐标规定。因此，在照相机200运动、拍摄对象静止的情况下，能够基于照相机200的旋转运动与照相机200的标准化平移速度规定移动矢量。
标准化平移速度推断部22基于由旋转推断部18C推断的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、“照相机200的运动与图像上的各像素的移动矢量的关系”对与至少一个轴相关的按照距离标准化了的标准化平移速度进行推断。
“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”用在第一实施方式中说明过的算式(2)或者算式(5)表达。“照相机200的运动与图像上的各像素的移动矢量的关系”用在第二实施方式说明过的算式(6)或者算式(7)表达。标准化平移速度推断部22使用算式(15)计算用算式(13)表达的标准化平移速。在X轴方向以及Y轴方向的平移速度TX、TY能够近似为零的情况下，可以使用算式(16)作为标准化平移速度而仅求出vr(r)。此时的vr(r)的计算算法与在第三实施方式中说明过的到达时间计算部21的算法相同。
并且，在图像存在描绘了空白(天空)的区域的情况下，标准化平移速度推断部22可以在排除了该区域的区域计算标准化平移速度。在该情况下，图像处理装置1B具备在第二实施方式中说明过的空白区域检测部即可。标准化平移速度推断部22通过对排除了空的区域的区域的标准化平移速度进行计算能够防止因亮度值的饱和、无纹理引起的标准化平移速度的推断精度降低。
在拍摄对象包括移动体的情况下，如上述那样假定拍摄对象静止而规定的移动矢量与拍摄对象的移动的分量相加所得的移动矢量被作为异常移动矢量观测。异常移动矢量是补偿了照相机200的旋转运动与平移运动两方时残余的移动矢量。该异常移动矢量具有如下的实用上有意义的性质。第一，在路面、路边物等静止对象以及前行车等与照相机光轴大致平行地运动的对象中成为零。第二，在进行车道变更的前行车、碰头的车辆等在与照相机200的光轴不同的方向上具有平移运动分量的拍摄对象中表现为表示其移动的方向的矢量。即，选择性地取出交通环境中的典型的应该加以注意的移动(例如跳出、加塞之类的移动)。
异常移动矢量计算部23基于由旋转推断部18C推断出的旋转速度分量、由标准化平移速度推断部22推断出的标准化平移速度、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”来对排除了因照相机200的运动引起的像素的移动的移动矢量进行计算。由此，异常移动矢量计算部23能够仅提取因拍摄对象的移动引起的移动矢量即移动的拍摄对象的移动矢量。
“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”用在第一实施方式中说明过的算式(2)或者算式(5)表达。“照相机200的运动与图像上的各像素的移动矢量的关系”用在第二实施方式中说明过的算式(6)或者算式(7)表达。在忽略2次的微小项(包括x2、y2、xy的项)的情况下，算式(6)或者算式(7)能够表达为算式(12)那样。
若在算式(6)中忽略2次的微小项(包括x2、y2、xy的项)，还将X轴以及Y轴方向的平移速度假定为零，则光流能够用如下算式描述为因照相机200的旋转运动以及Z轴方向的平移运动引起的分量与其他分量的和。
[公式32]
这里，其他分量[Vex，Vey]是排除了因照相机200的旋转运动以及Z轴方向的平移运动引起的分量的光流。若将算式(25)代入至照相机200为CIS的情况下的约束条件亦即算式(2)，则成为以下的算式(26)。
[公式33]
将算式(26)的变量变换为以下那样。
[公式34]
hb＝(yhx-xhy)Ωz+(-fcΩyhx+fcΩxhy)+(xhx+yhy)vr(r)+jΔωg1
由此，算式(26)描述为以下的算式(27)。
[公式35]
hxvex+hyvey+hb＝0 (27)
算式(27)的形式与照相机200为CIS的情况下的约束条件亦即算式(5)的形式相同。因此，异常移动矢量计算部23通过与Lucas&Kanade法或者Horn&Schunck法同样地决定评价函数并将评价函数最小化来求出vex以及vey。该移动矢量是补偿了照相机的旋转运动与光轴方向平移运动的移动矢量，在路面、路边物等静止对象中成为零。与前行车辆等照相机光轴大致平行地运动的对象的移动矢量也用算式(14)的第三项(vr(r)项)表达，因而被补偿成为零。另一方面，进行车道变更的前行车、碰头的车辆等在与照相机200的光轴正交的方向上具有平移运动分量的拍摄对象的移动矢量不被补偿而表现为异常的移动矢量。
(图像处理装置的动作)
图9是表示图像处理装置1C的动作的一个例子的流程图。图9所示的流程图例如从接受了图像处理装置1C的动作开始指示时起开始处理。此外，在下文中，假设照相机200输出动画。
作为图像取得处理(步骤S40)，图像取得部11从照相机200取得图像。该处理与图2的图像取得处理(步骤S10)相同。
作为旋转推断处理(步骤S42)，旋转推断部18C对与俯仰轴、横摆轴以及滚转轴中的至少一个轴相关的旋转运动分量进行推断。该处理与图7的旋转推断处理(步骤S32)相同。此外，作为旋转推断处理(步骤S42)，可以使用陀螺仪传感器等取得与俯仰轴、横摆轴以及滚转轴中的至少一个轴相关的旋转速度分量。
作为标准化平移推断处理(步骤S44)，标准化平移速度推断部22基于由旋转推断部18C推断出的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”计算标准化平移速度。标准化平移速度推断部22与到达时间计算部21同样，使用算式(23)或者算式(24)计算标准化平移速度。
作为异常移动矢量计算处理(步骤S46)，异常移动矢量计算部23而基于由旋转推断部18C推断出的旋转速度分量、由标准化平移速度推断部22推断出的标准化平移速度、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对排除了因照相机200的运动引起的像素的移动的移动矢量进行计算。异常移动矢量计算部23将算式(27)作为约束条件来计算异常移动矢量。在异常移动矢量计算处理(步骤S46)结束的情况下，图9所示的流程图结束。
图像处理装置1C可以具备异常运动区域提取部，该异常运动区域提取部提取由异常移动矢量计算部23计算出的移动矢量之中的大于规定值的移动矢量集中的区域。在该情况下，图像处理装置1C能够提取具有与规定的方向不同的方向的平移运动分量的移动体。
(第四实施方式的总结)
图像处理装置1C基于照相机200的运动与图像上的各像素的移动矢量的关系对排除了因照相机200的旋转运动以及平移运动引起的像素的移动的移动矢量进行计算，因而能够仅提取因拍摄对象的移动引起的移动矢量即移动的拍摄对象的移动矢量。
[第五实施方式]
第五实施方式所涉及的图像处理装置1D是组合了第一实施方式～第四实施方式所涉及的图像处理装置的功能的装置。在下文中，与第一实施方式～第四实施方式重复的说明不赘述。
(图像处理装置的结构)
图10是包括第五实施方式所涉及的图像处理装置在内的车辆的功能框图。如图10所示，图像处理装置1D搭载于车辆2。车辆2具备照相机200以及图像处理装置1D。照相机200与第一实施方式相同。
图像处理装置1D具备图像取得部11、特定点管理部12、偏微分图像生成部13、空白区域检测部14、移动体检测部15、路面区域检测部16、俯仰角速度及横摆角速度推断部18D、滚转角速度推断部19D、移动矢量计算部20、到达时间计算部21、标准化平移速度推断部22、异常移动矢量计算部23、积累图像生成部24、平移速度推断部25、距离图像生成部26、以及图像存储部30。
图像取得部11与第一实施方式相同。
特定点管理部12与第一实施方式相同。在下文中，对探索特定点的模版匹配的详情进行说明。以特定点管理部12依次更新特定点的情况为例进行说明。特定点管理部12通过对储存于特定点存储部123的图像特征与当前时刻的帧的图像特征进行比对来求出与储存于特定点存储部123的特定点对应的当前时刻的坐标。储存于特定点存储部123的图像特征可以是特定点周边的强度图像，也可以是特定点周边的积累图像。在刚被初始设定部120初始化之后的情况下，在特定点存储部123储存有初始化时刻的图像。在除此以外的情况下，储存由后述的积累图像生成部24生成的积累图像。这里，对储存了至前一时刻为止的积累图像gacc(x，y，t-1)的情况下的特定点管理部12的处理进行说明。此外，在特定点存储部123储存有初始时刻图像的情况下的处理也同样。使用3个匹配函数Mt、Mx、My像以下的算式(28)那样进行比对。
[公式36]
(xc(t)，yc(t))＝argmin[Mt(xc(t)，yc(t))+Mx(xc(t)，yc(t))+My(xc(t)，yc(t))]
(28)
Mt(xc(t)，yc(t))＝∫∫∑{g0(x-xc(t)，y-yc(t)-gacc(x，y，t-1)}2dxdy
这里，假设积累图像gacc(x，y，t-1)使用同时储存的特定点的坐标被以将特定点作为原点的方式进行了坐标变换。匹配函数Mt、Mx、My分别是将当前时刻图像的坐标移位了特定点亦即(xc(t)，yc(t))时的、针对强度值、强度值的x方向偏微分、以及强度值的y方向偏微分的当前时刻图像与积累图像的差异。匹配函数Mt、Mx、My将积分区间Σ内的它们的和最小的(xc(t)，yc(t))作为当前时刻的对应点。
上式中的积分区间Σ是将原点作为中心的局部区域，积累图像gacc被坐标变换为将特定点作为原点，因而指特定点的周边区域。在求出的对应点坐标与光轴中心坐标分离规定值以上的情况下，初始设定部120在光轴中心附近设定特定点，与其周边区域的图像特征一同储存于特定点存储部123。在搭载了照相机200的车辆2在曲线道路移动的情况下等，若特定点大幅度脱离光轴附近，则特定点设定于比较近距离的对象上，特定点附近的移动矢量仅因拍摄机构的俯仰角、横摆角变动引起的假定不成立。通过在新的光轴附近点初始化特定点，能够继续使特定点为远方的假定成立，继续对应点探索。
偏微分图像生成部13生成相对于强度图像g0以及相关图像g1的与x方向以及y方向相关的空间偏微分图像。偏微分图像生成部13与第一实施方式所涉及的移动矢量计算部20的偏微分图像的生成保存功能相同，相对于强度图像g0以及相关图像g1独立地进行偏微分运算，保存结果。
空白区域检测部14与在第二实施方式中说明过的空白区域检测部相同。移动体检测部15与在第一实施方式中说明过的移动体检测部相同。
路面区域检测部16从图像推断路面的区域。路面区域检测部16使用强度图像g0(x，y，t)相对于各像素(x，y)赋予表示是否为路面的标签。路面区域检测能够使用各种方法。图11是对路面候补区域的几何学定义进行说明的图。如图11所示，路面候补区域R是由将设定于图像GO的特定点P(xc，yc)作为基点向下方延伸且所成的角为θ的2条直线与图像端部划分的区域。路面区域检测部16使用图11所示的路面候补区域R根据如下基准对是否为路面进行判定。
[公式37]
这里，skylabel(x,y)是在空白区域检测部14中赋予的表示是否为空白的标签，movelabel(x,y)是在移动体检测部15中赋予的表示是否为移动体的标签。路面区域的检测算法不特别限定。作为一个例子，路面区域检测部16能够使用区域成长(region growing)算法、语义分割等标签赋予算法。
俯仰角速度及横摆角速度推断部18D与在第二实施方式中说明过的第一推断部18相同。滚转角速度推断部19D与在第二实施方式中说明过的第二推断部19相同。
移动矢量计算部20对排除了因照相机200的旋转运动引起的分量的光流进行计算。在忽略了2次的微小项(包括x2、y2、xy的项)的情况下，光流用算式(29)描述为因照相机200的旋转运动引起的分量与其他分量的和。这里假设坐标被以将基准点作为原点的方式进行了坐标变换。
[公式38]
其他分量亦即[vgx，vgy]是排除了因照相机200的旋转运动引起的分量的光流。若将算式(29)代入至照相机200为CIS的情况下的约束条件亦即算式(2)，则成为以下的算式(30)。
[公式39]
将算式(30)的变量变换为以下那样。
[公式40]
hb＝(yhx-xhy)Ωz+(-fcΩyhx+fcΩxhy)+jΔωg1
由此，算式(30)能够描述为以下的算式(31)。
[公式41]
hxvgx+hyvgy+hb＝0 (31)
算式(31)的形式与照相机200为CIS的情况下的约束条件亦即算式(5)的形式相同。因此，移动矢量计算部20通过与Lucas&Kanade法或者Horn&Schunck法同样地决定评价函数并将评价函数最小化来求出vgx以及vgy。
到达时间计算部21与在第三实施方式中说明过的到达时间计算部21相同。标准化平移速度推断部22与在第四实施方式中说明过的标准化平移速度推断部22相同。此外，到达时间为标准化平移速度的倒数，因而安装到达时间计算部21与标准化平移速度推断部22仅安装任一方即可。异常移动矢量计算部23与在第四实施方式中说明过的异常移动矢量计算部23相同。积累图像生成部24与在第一实施方式中说明过的积累图像生成部相同。积累图像生成部24以将特定点作为原点的方式对特定点周边的积累图像进行坐标变换并储存于特定点存储部123。
平移速度推断部25基于距离推断平移速度Tz。在下文中，对平移速度推断部25最初推断距离并基于推断出的距离推断平移速度Tz的例子进行说明。
平移速度推断部25作为一个例子可以通过基准环境模型来推断至与各像素对应的拍摄对象为止的距离。基准环境模型是路面形状和对着路面的照相机200的姿势等用于确定出至与各像素对应的拍摄对象为止的距离的信息。作为基准环境模型的一个例子，使用路面形状与对着路面的照相机200的姿势来推断距离。在路面为水平的平面、照相机200的光轴方向为水平且影像传感器的横向与路面平行的情况下，y坐标为y的像素的距离用下式表达。
[公式42]
fc是照相机200的透镜的焦距，Hc是对着路面的照相机200的高度。算式(32)是基准环境模型的最简单的一个例子。基准环境模型也可以使用将各像素的坐标与至对应的拍摄对象为止的距离建立对应的其他模型。
更一般地，平移速度推断部25使用照相机200的内部参数以及外部参数推断至拍摄对象为止的距离。照相机200的内部参数以及外部参数是将利用照相机拍摄了三维的实际空间时的图像(二维)上的坐标与实际空间的坐标建立对应的参数。若该参数已知，则与图像上的各像素对应的实际空间表达为直线。通过求出该直线与例如表示路面的平面或者曲面(即基准环境模型)的交点将实际空间的三维坐标与图像上的坐标建立对应，能够求出距离。对于平移速度推断部25而言，在将三维的地形信息作为地图信息保持的情况下，能够通过利用GPS与陀螺仪传感器求出地图中中的照相机200的位置与姿势来推断各像素的距离。平移速度推断部25除了利用地形信息以外还能够利用建筑物、看板、标识等在地图信息中具有位置信息的陆上标志。在屋内，还能够使用地板面、墙面、顶棚等的形状信息。平移速度推断部25可以利用LIDAR、毫米波雷达或者立体照相机等传感器进行测距。
接下来，平移速度推断部25基于推断出的距离推断平移速度Tz。将算式(16)的变量变换为以下那样。
[公式43]
由此，算式(16)描述为以下的算式(33)。
[公式44]
Tzhr+hb＝0 (33)
算式(33)与算式(22)的形式相同。因此，平移速度推断部25通过与Lucas&Kanade法或者Horn&Schunck法同样地决定评价函数并将评价函数最小化来求出平移速度Tz。这里，积分区间Γ是能够推断出距离的全部的像素的集合。在使用路面模型的情况下，是roadlabel(x,y)＝true的像素集合，在其他基准环境模型的情况下、或利用测距传感器推断距离的情况下，是能够推断出距离的像素的集合。
平移速度推断部25还能够基于推断出的距离Z(r)、由到达时间计算部21或者标准化平移速度推断部22推断出的标准化平移速度vr(r)推断平移速度Tz。平移速度推断部25可以在推断出距离的积分区间Γ中针对每个像素计算vr(r)/Z(r)，制作柱状图，并将制作好的柱状图的峰值坐标作为平移速度Tz的推断值。平移速度推断部25能够通过使用柱状图的推断来提高平移速度Tz的推断精度。
距离图像生成部26使用推断出的标准化平移速度vr(r)以及平移速度Tz生成距离图像。各像素的距离通过算式(34)获得。
[公式45]
这里，对于标记为空白区域的像素而言，不进行算式(34)的计算，在距离Z(r)代入意指无限大的规定值。
(图像处理装置的动作)
图12是表示图像处理装置1D的动作的一个例子的流程图。图12所示的流程图例如从接受了图像处理装置1D的动作开始指示时起开始处理。此外，在下文中，假设照相机200为CIS并输出动画。
最初，作为图像取得处理(步骤S40)，图像取得部11从照相机200取得图像。图像取得部11作为一个例子在各时刻取得与强度图像g0与相关图像g1。
接着，作为偏微分图像生成处理(步骤S42)，偏微分图像生成部13基于在图像取得处理(步骤S40)取得的强度图像g0以及相关图像g1分别制作偏微分图像。偏微分图像在后段的空白区域检测处理、使用约束条件的运算等中利用。
接着，作为空白区域的检测处理(步骤S44)，空白区域检测部14对在图像取得处理(步骤S40)取得的强度图像g0中的空白区域进行检测。空白区域也存在对比度较小且饱和的情况，因而在后段的各种推断值运算中被排除。由此，能够防止因亮度值的饱和、无纹理引起的平移速度等的推断精度降低。
接着，作为移动体区域的检测处理(步骤S46)，移动体检测部15对在图像取得处理(步骤S40)取得的强度图像g0中的移动体区域进行检测。对于移动体区域而言，与算式(8)所示的距离Z、平移运动T以及旋转运动Ω相关的约束条件(照相机运动与光流的关系)跟背景等静止物不同，因此被从照相机运动推断的运算排除。另外，在积累图像生成的运算中也排除移动体区域。
接着，作为路面区域的检测处理(步骤S48)，路面区域检测部16对在图像取得处理(步骤S40)取得的强度图像g0中的路面区域进行检测。对于路面区域而言，能够推断距离且作为静止对象物在平移速度推断等中使用。在到达时间推断中能够在作为不碰撞的对象的判断中使用。
接着，作为特定点的追踪处理(步骤S50)，特定点管理部12追踪决定为光轴附近的特定点。特定点管理部12的初始设定部120在初始时刻将光轴中心的坐标作为特定点的位置，将特定点的位置与特定点的周边区域的强度图像存储于特定点存储部123。在初始时刻以外，将特定点的位置与特定点的周边区域的积累图像存储于特定点存储部123。通过对在图像取得处理(步骤S40)取得的强度图像g0的图像特征与存储于特定点存储部123的特定点的周边区域的图像进行比对求出与前一时刻的特定点对应的当前时刻的坐标。将求出的坐标作为当前时刻的特定点的位置并与特定点的周边区域的积累图像建立关联地存储于特定点存储部123。特定点的位置(坐标)在后段的各种推断运算中作为基准坐标即坐标原点使用。
接着，作为俯仰角速度以及横摆角速度的推断处理(步骤S52)，俯仰角速度及横摆角速度推断部18D基于基准点对照相机200的俯仰角速度ΩX以及横摆角速度ΩY进行推断。俯仰角速度及横摆角速度推断部18D制作特定点的周边区域的移动矢量的柱状图并从其峰值坐标推断俯仰角速度以及横摆角速度。
接着，作为滚转角速度的推断处理(步骤S54)，滚转角速度推断部19D基于在俯仰角速度以及横摆角速度的推断处理(步骤S52)推断出的俯仰角速度以及横摆角速度、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对在图像取得处理(步骤S40)取得的强度图像g0的滚转角速度ΩZ进行推断。
利用至此为止的处理获得全部的照相机运动的旋转速度分量。从以后说明的到达时间的计算处理(步骤S56)起后段的处理与补偿了照相机200的旋转运动的移动矢量的计算处理(步骤S66)能够并列地执行。
作为到达时间的计算处理(步骤S56)，到达时间计算部21基于获得的照相机运动的旋转速度分量、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对与图像中的各像素对应的对象物到达照相机200所需的到达时间进行计算。由此，排除了照相机200的旋转运动的影响。这里运算的到达时间是从照相机200至拍摄对象为止的距离除以照相机200的光轴方向的平移速度的值。其倒数是将照相机的光轴方向的平移速度以距离实施标准化的标准化平移速度。
接着，作为标准化平移速度的推断处理(步骤S58)，标准化平移速度推断部22对在到达时间的计算处理(步骤S56)获得的到达时间的倒数进行运算，获得标准化平移速度。
在至此为止的处理中获得照相机运动的旋转速度分量与标准化平移速度。从以后说明的积累图像的生成处理(步骤S60)起后段的处理与异常移动矢量的计算处理(步骤S68)能够并列地执行。
作为积累图像的生成处理(步骤S60)，积累图像生成部24作为至前一时刻为止的积累图像与当前时刻的图像的强度值的加权和生成积累图像。对于特定点的周边区域的图像特征而言，因照相机200的旋转运动而导致位置发生偏移，且因照相机200的平移运动而发生变形。因此，积累图像生成部24对它们进行补偿并积累强度值。积累图像生成部24将生成的特定点的周边区域的积累图像储存于特定点存储部123。
接着，作为平移速度的推断处理(步骤S62)，平移速度推断部25使用照相机200的内部参数以及外部参数，基于基准环境模型对至与各像素对应的拍摄对象为止的距离进行推断，并基于推断出的距离推断平移速度Tz。平移速度推断部25将由到达时间计算部21推断出的标准化平移速度的倒数与针对每个像素推断出的距离相乘来针对每个像素推断平移速度Tz。制作针对每个像素推断出的平移速度Tz的柱状图，将制作出的柱状图的峰值坐标作为平移速度Tz的推断值。
接着，作为距离图像的生成处理(步骤S64)，距离图像生成部26基于在标准化平移速度的推断处理(步骤S58)获得的标准化平移速度与在平移速度的推断处理(步骤S62)中获得的平移速度生成距离图像。距离图像生成部26仅针对路面等能够应用基准环境模型的区域获得距离信息。距离图像生成部26可以针对全部的像素而基于拍摄对象静止的假定生成距离图像。
对能够与到达时间的计算处理(步骤S56)并行执行的、补偿了照相机200的旋转运动的移动矢量的计算处理(步骤S66)进行说明。移动矢量计算部20基于由俯仰角速度及横摆角速度推断部18D与滚转角速度推断部19D推断出的照相机运动的旋转速度分量对补偿照相机200的旋转运动的移动矢量进行计算。
对能够与积累图像的生成处理(步骤S60)并行执行的异常移动矢量的计算处理(步骤S68)进行说明。异常移动矢量计算部23基于由俯仰角速度及横摆角速度推断部18D和滚转角速度推断部19D推断出的照相机运动的旋转速度分量、由标准化平移速度推断部22推断出的标准化平移速度、“假定拍摄对象的亮度值不因照相机200与拍摄对象的相对运动而变化的约束条件”、以及“照相机200的运动与图像上的各像素的移动矢量的关系”对排除了因照相机200的运动引起的像素的移动的异常移动矢量进行计算。
若距离图像的生成处理(步骤S64)、补偿了照相机旋转运动的移动矢量的计算处理(步骤S66)以及异常移动矢量的计算处理(步骤S68)结束，则图12所示的流程图结束。
(图像处理装置的动作的其他例子)
图12是照相机200为CIS的情况下的动作例。在照相机200为一般的影像传感器的情况下，以如下方式变更图12即可。
在图像取得处理(步骤S40)中，图像取得部11仅获得强度图像g0。强度图像g0与算式(1)中的强度f相同。
在偏微分图像生成处理(步骤S42)中，偏微分图像生成部13对算式(1)中的以下算式进行计算。
[公式46]
偏微分图像生成部13针对时间偏微分ft计算连续的帧间的差量。
针对空白区域的检测处理(步骤S44)、移动体区域的检测处理(步骤S46)、路面区域的检测处理(步骤S48)、以及特定点的追踪处理(步骤S50)，照相机200为一般的影像传感器的情况下与照相机200为CIS的情况下成为相同的处理。
在俯仰角速度以及横摆角速度的推断处理(步骤S52)中，俯仰角速度及横摆角速度推断部18D为了求出主要的移动矢量而基于用算式(1)表达的约束条件通过Lucas&Kanade法或者Horn&Schunck法计算光流。光流的计算并不限定于上述方法，也可以使用块匹配等其他方法。
在滚转角速度的推断处理(步骤S54)中，滚转角速度推断部19D将算式(14)代入至照相机200为一般的影像传感器的情况下的约束条件亦即算式(1)，推断滚转角速度。若将X轴方向以及Y轴方向的平移速度分量近似为零，则算式(16)被如以下那样置换。
[公式47]
由此，算式(17)中的系数hθ、hr、hb成为下式。
[公式48]
将如以上那样置换过系数的算式(17)作为约束条件来推断滚转角速度。
在到达时间的计算处理(步骤S56)中，算式(22)中的系数hr、hb成为下式。
[公式49]
到达时间计算部21如上述那样置换系数，求解式(22)。
标准化平移速度的推断处理(步骤S58)以及积累图像的生成处理(步骤S60)在照相机200为一般的影像传感器的情况下与照相机200为CIS的情况下成为相同的处理。
平移速度的推断处理(步骤S62)在照相机200为一般的影像传感器的情况下与照相机200为CIS的情况下成为相同的处理。在不使用标准化平移速度的情况下，平移速度推断部25利用下式置换算式(33)中的系数hr、hb。
[公式50]
平移速度推断部25如上述那样置换系数，求解式(33)。
距离图像的生成处理(步骤S64)在照相机200成为一般的影像传感器的情况下与照相机200为CIS的情况下成为相同的处理。
在补偿了照相机的旋转运动的移动矢量的计算处理(步骤S66)中，移动矢量计算部20将算式(29)代入至照相机200为一般的影像传感器的情况下的约束条件亦即算式(1)，计算移动矢量[Vgx，Vgy]。移动矢量计算部20如以下那样置换算式(30)。
[公式51]
在异常移动矢量的计算处理(步骤S68)中，异常移动矢量计算部23将算式(25)代入至照相机200为一般的影像传感器的情况下的约束条件亦即算式(1)，计算移动矢量[Vex，Vey]。异常移动矢量计算部23如以下那样置换算式(26)。
[公式52]
(第五实施方式的总结)
图像处理装置1D组合第一实施方式～第四实施方式所涉及的图像处理装置的功能而作为一系列的处理进行移动。这样，第一实施方式～第四实施方式所涉及的图像处理装置的各功能作为模块独立，能够选择性地组合。
[第六实施方式]
第六实施方式所涉及的图像处理装置1E与图像处理装置1相比，照相机固定、拍摄对象移动的情况不同。以下以不同点为中心进行说明，与第一实施方式～第三实施方式重复的说明不赘述。
图像处理装置1E作为一个例子而在工厂自动化(FA)中的部件的涂装检查工序中使用。对于进行了具有混入反射材料的透明的层的涂装的汽车用部件等而言，不仅对表面进行检查，甚至还需要对透明的层的内部的裂缝进行检查。在这样的情况下，涂装检查的最终工序不得不依赖人的目视观察检查的情况并不少见。因此，在检测到缺陷的情况下同时进行缺陷的部件上的位置(以下，称为部件坐标)的确定在实用上变重要。
图13是第六实施方式所涉及的检查系统的概要图。图13所示的检查系统100是对由多关节机器人把持的工件进行图像检查的系统。检查系统100具有照相机200A、图像处理装置1E、照明装置201以及多关节机器人202。
照相机200A与照相机200相比，不同之处在于其被固定，其他相同。照相机200A将拍摄条件设定为能够以高分辨率拍摄拍摄对象亦即工件W。照相机200A可以设定为背景的分辨率低于针对工件W的分辨率。
图像处理装置1E与照相机200A连接，对由照相机200A拍摄到的图像进行处理。照明装置201向拍摄对象照射光。多关节机器人202具有从固定的基台40经由支点42延伸的臂41。臂41具有利用其前端把持物体的功能。多关节机器人202在远离支点42规定距离的位置把持工件W，以能够利用照相机200A拍摄各种姿势的工件W的方式动作。
每当多关节机器人202动作时，会在工件W产生与动作方向平行的振动。因该振动导致图像上的坐标与部件坐标的偏移在时间上发生变动。即，存在部件坐标不稳定的课题。图14是表示振动的影响的图像的一个例子。图14的(A)是表示工件W向左振动了时拍摄的图像G1。图14的(B)是表示工件W位于正中时拍摄的图像G2。图14的(C)是表示工件W向右振动了时拍摄的图像G3。因此，一般的方式是在待机至振动结束为止之后进行拍摄并通过图像处理相对于取得的图像检测缺陷。这样的待机时间成为检查工序的高效化的障碍。特别是在拍摄对象的形状复杂的情况下，需要以大量的姿势对拍摄对象进行拍摄，待机时间的课题变得更加突出。
图像处理装置1E通过使用在第一实施方式～第五实施方式说明过的技术思想对照相机200A与拍摄对象的相对运动积极地进行修正来减少待机时间。并且，对于图像处理装置1E而言，在工件W存在缺陷的情况下，进行用于指定工件W上的位置的部件坐标的稳定化，由此使检查工序高效化。
边挪动工件W边拍摄的图像由无光流的背景区域与产生工件W的光流的检查对象区域构成。若相对于这样的图像适当地应用上述实施方式所公开的在图像中设定基准点并使动态图像稳定化的技术思想，则即便是固定的照相机也能够获得所希望的稳定的图像。
但是，在固定的照相机中，无法使用第一实施方式中说明过的将光轴附近点作为初始值代入至特定点的初始值设定方法。因此，图像处理装置1E采用用于修正拍摄对象的运动的其他的基准点设定方法。
最简易的基准点设定方法是用户手动代入特定点的方法。例如将由照相机200A取得的图像显示在监视器并由操作人员通过触摸笔或鼠标等指定拍摄对象的像内的至少1点即可。例如，图像处理装置1E具有接受指定特定点的用户操作的接受部。由此，能够利用第一实施方式所涉及的结构。在该情况下，利用拍摄对象的各部的移动联动并一样来从由照相机取得的图像计算移动矢量。而且，提取移动矢量在图像上一样的区域。而且，一样的区域中的与手动指定点对应的点被设置为初始值，存储至少一个特定点。此后的特定点及基准点的追踪和部件坐标系的稳定化与第一实施方式相同。
通过相对于手动指定了特定点的工件W应用任意的缺陷检测机构来检测缺陷。在缺陷的图像上的位置确定了的情况下，图像处理装置1E借助部件坐标的稳定化起到能够以较高的精度确定部件坐标系下的缺陷的位置的效果。基准点的初始值也可以自动设定。以下，对初始值自动设定的图像处理装置1E的例子进行说明。
图15是第六实施方式所涉及的图像处理装置的功能框图。如图15所示，图像处理装置1E具有图像取得部11A、移动矢量计算部11B、区域设定部11C以及特定点管理部12。
图像取得部11A与第一实施方式的图像取得部11相同。
移动矢量计算部11B基于图像计算移动矢量。移动矢量计算部11B利用拍摄对象的各部的移动呈联动并一致的现象来从由照相机200A取得的图像计算移动矢量。
区域设定部11C基于由移动矢量计算部11B计算出的移动矢量将移动矢量一样的区域设定于图像。
特定点管理部12具有初始设定部120E、探索部121、输出部122以及特定点存储部123。
初始设定部120E将由区域设定部11C设定的区域所包括的点的位置作为特定点的初始位置并与特定点的周边区域的图像特征建立关联地储存于特定点存储部123。
初始设定部120E可以将由区域设定部11C设定的区域中的空间信息量较多的点作为特定点的初始位置。
探索部121以及输出部122与第一实施方式相同。
在由输出部122设定了基准点的情况下，特定点管理部12可以保存设定了基准点的图像。在该情况下，特定点管理部12具备积累图像生成部，该积累图像生成部针对每帧基于基准点进行坐标变换(对位)，将累计了过去所有帧的亮度值的积累图像存储于存储部。积累图像成为补偿了照相机200的运动的图像。上述更新部可以基于积累图像中的特定点的位置及其周边区域的图像特征来更新特定点存储部123。针对特定点的周边区域的图像特征，积累图像反映更长时间的信息。即，即便在某积累图像中特定点被移动体瞬间遮挡的情况下，也能够获得与在其他积累图像中未被移动体遮挡的状况的特定点相关的图像特征。因此，能够在时间上稳定地求出对应点。
在拍摄对象相对于固定的照相机200A移动的情况下，存在拍摄对象偏离画面的情况。因此，图像处理装置1E可以具备特定点脱离检测部，该特定点脱离检测部对特定点从由照相机200A获得的图像上的规定的范围脱离的情况进行检测并输出特定点脱离信号。
图像处理装置1E可以具备警报部，该警报部使用特定点脱离信号向用户进行脱离警告。警报部可以使用特定点脱离信号向用户进行催促手动的特定点的初始值输入的报告。图像处理装置1E可以基于特定点脱离信号使特定点管理部12动作，再次设定特定点。
也存在因不对焦等事由导致特定点从由照相机200A取得的图像消失的情况。因此，图像处理装置1E可以具备特定点消失检测部，该特定点消失检测部检测特定点的消失并输出特定点消失信号。
图像处理装置1E可以具有使用特定点消失信号向用户进行脱离警告的警报部。警报部可以使用特定点消失信号向用户进行催促手动的特定点的初始值输入的报告。图像处理装置1E可以基于特定点消失信号使特定点管理部12动作，再次设定特定点。
(图像处理装置的动作)
图16是表示图像处理装置1E的动作的一个例子的流程图。图16所示的流程图例如从接受了图像处理装置1E的动作开始指示时起开始处理。此外，在下文中，假设照相机200A为CIS并输出动画。
作为图像取得处理(步骤S70)，图像取得部11A从照相机200A取得图像。该处理与图2的图像取得处理(步骤S10)相同。
接着，作为移动矢量计算处理(步骤S72)，移动矢量计算部11B利用拍摄对象的各部的移动联动并一样来基于在图像取得处理(步骤S70)取得的图像计算移动矢量。
接着，作为区域设定处理(步骤S74)，区域设定部11C基于在移动矢量计算处理(步骤S72)中计算出的移动矢量将移动矢量一致的区域设定于图像。
作为初始设定处理(步骤S76)，初始设定部120将在区域设定处理(步骤S74)设定的区域所包括的坐标点的位置作为第一帧的特定点的初始位置并与该坐标点的周边区域的图像特征建立关联地储存于特定点存储部123。
作为探索处理(步骤S78)，探索部121基于储存于特定点存储部123的特定点的周边区域的图像特征对在图像取得处理(步骤S10)取得的第二帧中的特定点的对应点进行探索。
作为输出处理(步骤S80)，输出部122将第二帧的对应点的位置作为第二帧的基准点的位置输出。作为一个例子，输出部122将第二帧的基准点输出至图像处理装置1E的存储部，并使之成为能够参照的状态。
在输出处理(步骤S80)结束的情况下，图16所示的流程图结束。此外，在对紧接着第二帧的第三帧进行处理的情况下，图像取得部11A从最初开始图16所示的流程图。此时，特定点存储部123存储特定点的初始位置，因而作为图像取得处理(步骤S10)，图像取得部11A仅取得成为设定基准点的对象的第三帧即可。
(第六实施方式的总结)
在镀覆部件、涂装部件等特征量较少且移动矢量较大的情况下，难以将第一图像与第二图像建立对应。根据图像处理装置1E，使用移动矢量一致的区域所包括的点在第二图像设定基准点，由此即便在特征量较少的情况下，也能够将识别对象在图像间建立对应。
(变形例)
上述的各实施方式能够以基于本领域技术人员的知识施与各种变更、改进后的各种形态实施。
例如，第六实施方式的图像处理装置1E还能够应用于拍摄输送辊上的拍摄对象的系统。
在第六实施方式中，假设照相机200A固定进行了说明，但照相机200A可以设置于多关节机器人202的臂41或者其他多关节机器人。即便在该情况下，也同样能够修正相对运动。

Claims (3)

1.一种图像处理装置，在通过沿光轴方向移动的拍摄部获得的图像设定基准点，其中，具备：
存储部；
初始设定部，在通过所述拍摄部获得的第一图像中求出所述拍摄部的光轴与拍摄面的交点，并从该交点与位于该交点的周围的点中选择光轴附近点，将所述光轴附近点的位置作为所述第一图像的特定点的初始位置并与所述光轴附近点的周边区域的图像特征建立关联地储存于所述存储部；
探索部，基于储存于所述存储部的所述图像特征探索通过所述拍摄部获得的第二图像中的所述特定点的对应点；以及
输出部，将所述第二图像的所述对应点的位置作为所述第二图像的基准点的位置输出，
所述基准点是将所述第一图像与所述第二图像建立关联时成为基准的坐标点。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置具备移动矢量计算部，该移动矢量计算部针对所述第二图像的各像素计算像素与所述基准点的相对移动矢量。
3.一种图像处理装置，基于通过沿光轴方向移动的拍摄部获得的图像来推断所述拍摄部的旋转运动，其中，具备：
设定部，将所述图像的光轴附近点设定为特定点；
第一推断部，基于所述特定点的周边区域的移动矢量对旋转速度分量中的围绕第一轴以及第二轴中的至少一方的旋转速度分量进行推断，所述第一轴以及所述第二轴与所述拍摄部的拍摄面平行且相互正交；以及
第二推断部，基于由所述第一推断部推断出的旋转速度分量、假定拍摄对象的亮度值不因所述拍摄部与所述拍摄对象的相对运动而变化的约束条件、以及所述拍摄部的运动与所述图像上的各像素的移动矢量的关系对围绕第三轴的旋转速度分量进行推断，所述第三轴是连结所述特定点与所述拍摄部的光学中心的直线。
CN201910891795.2A 2018-09-25 2019-09-20 图像处理装置 Active CN110942470B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-179121 2018-09-25
JP2018179121A JP7143703B2 (ja) 2018-09-25 2018-09-25 画像処理装置

Publications (2)

Publication Number Publication Date
CN110942470A CN110942470A (zh) 2020-03-31
CN110942470B true CN110942470B (zh) 2023-10-13

Family

ID=67658999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891795.2A Active CN110942470B (zh) 2018-09-25 2019-09-20 图像处理装置

Country Status (4)

Country Link
US (1) US10991105B2 (zh)
EP (1) EP3633617A3 (zh)
JP (1) JP7143703B2 (zh)
CN (1) CN110942470B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7120180B2 (ja) * 2019-08-07 2022-08-17 トヨタ自動車株式会社 イメージセンサ
JP2021129268A (ja) * 2020-02-17 2021-09-02 キヤノン株式会社 撮像装置およびその制御方法
CN113009688B (zh) * 2021-03-04 2022-05-03 清华大学 量子成像方法以及量子成像系统
CN114967458B (zh) * 2022-05-30 2023-03-10 江南大学 一种微纳机器人集群的驱动控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338272A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 車両挙動検出装置、および車両挙動検出方法
KR20070021841A (ko) * 2005-08-20 2007-02-23 한국건설기술연구원 댐 시설물의 실시간 모니터링시스템 및 그 방법
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2014013256A (ja) * 2013-09-13 2014-01-23 Sakata Denki 軌道変位測定装置
JP2014021672A (ja) * 2012-07-17 2014-02-03 Taisei Corp 三次元座標算出装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4159226B2 (ja) 2000-03-21 2008-10-01 住友重機械工業株式会社 患部トラッキング方法、装置、及び、これを用いた放射線照射方法、装置、並びに放射線治療装置
US7050205B2 (en) * 2000-12-26 2006-05-23 Fuji Photo Film Co., Ltd. Method of correcting image data picked up from photographic film
JP4162910B2 (ja) * 2001-05-11 2008-10-08 本田技研工業株式会社 接近検出装置、接近検出方法、及び接近検出プログラム
JP4217143B2 (ja) 2003-11-11 2009-01-28 株式会社東研 バーコード読取装置
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP4096932B2 (ja) 2004-09-22 2008-06-04 日産自動車株式会社 車両用衝突時間推定装置及び車両用衝突時間推定方法
US7262710B2 (en) 2004-09-22 2007-08-28 Nissan Motor Co., Ltd. Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
JP4039425B2 (ja) 2004-12-20 2008-01-30 日産自動車株式会社 画像処理装置、および方法
JP4851239B2 (ja) * 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP4961850B2 (ja) 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
US8331619B2 (en) * 2008-03-14 2012-12-11 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
JP2010135964A (ja) 2008-12-03 2010-06-17 Seiko Epson Corp 画像読取装置のドライバおよび画像読取方法
JP6141601B2 (ja) 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置
US10108864B2 (en) * 2015-12-29 2018-10-23 Texas Instruments Incorporated Stationary-vehicle structure from motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338272A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 車両挙動検出装置、および車両挙動検出方法
KR20070021841A (ko) * 2005-08-20 2007-02-23 한국건설기술연구원 댐 시설물의 실시간 모니터링시스템 및 그 방법
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2014021672A (ja) * 2012-07-17 2014-02-03 Taisei Corp 三次元座標算出装置
JP2014013256A (ja) * 2013-09-13 2014-01-23 Sakata Denki 軌道変位測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡耀仪.一种快速的车载实时视频稳像方法.电脑知识与技术.2010,第3466-3469页. *

Also Published As

Publication number Publication date
CN110942470A (zh) 2020-03-31
EP3633617A3 (en) 2020-05-13
JP7143703B2 (ja) 2022-09-29
US20200098115A1 (en) 2020-03-26
JP2020052544A (ja) 2020-04-02
US10991105B2 (en) 2021-04-27
EP3633617A2 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
CN110942470B (zh) 图像处理装置
US10762643B2 (en) Method for evaluating image data of a vehicle camera
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US9811742B2 (en) Vehicle-surroundings recognition device
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
CN112233177B (zh) 一种无人机位姿估计方法及系统
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
CN111164648B (zh) 移动体的位置推断装置及位置推断方法
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN107957246A (zh) 基于双目视觉的传送带上物体几何尺寸测量方法
JP2019056629A (ja) 距離推定装置及び方法
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN111028272B (zh) 对象追踪方法及装置
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP2001076128A (ja) 障害物検出装置及び方法
JP5267100B2 (ja) 運動推定装置及びプログラム
KR20120019661A (ko) 객체 추적 로봇 및 그 방법
CN116109701A (zh) 一种基于被动双目的高反光物体抓取方法
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2018116147A (ja) 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム
CN110458887B (zh) 一种基于pca的加权融合室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant