CN108369739A - 物体检测装置和物体检测方法 - Google Patents

物体检测装置和物体检测方法 Download PDF

Info

Publication number
CN108369739A
CN108369739A CN201580085019.3A CN201580085019A CN108369739A CN 108369739 A CN108369739 A CN 108369739A CN 201580085019 A CN201580085019 A CN 201580085019A CN 108369739 A CN108369739 A CN 108369739A
Authority
CN
China
Prior art keywords
image
light stream
evaluation
region
estimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580085019.3A
Other languages
English (en)
Other versions
CN108369739B (zh
Inventor
宫泽之
宫泽一之
关口俊
关口俊一
前原秀明
守屋芳美
峯泽彰
服部亮史
长濑百代
泽田友哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN108369739A publication Critical patent/CN108369739A/zh
Application granted granted Critical
Publication of CN108369739B publication Critical patent/CN108369739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

具有：光流计算部(2)，其计算由影像摄像部(1)在不同时刻拍摄到的影像之间的光流；评价值计算部(4)，其将由影像摄像部(1)拍摄到的影像分割成多个区域，按照该分割后的每个区域，使用针对属于该分割区域的多个像素的光流，计算评价值，该评价值表示该分割区域是表现检测对象物体的一部分或全部的物体区域的可能性的尺度；以及区域确定部(5)，其对由评价值计算部(4)计算出的各分割区域的评价值和阈值进行比较，由此，确定检测对象物体所在的影像内的区域。

Description

物体检测装置和物体检测方法
技术领域
本发明涉及对存在检测对象物体的影像内的区域进行检测的物体检测装置和物体检测方法。
背景技术
根据由照相机拍摄的影像检测人或车等物体的处理例如是在机器人、车载用的视觉传感器、影像监视系统等中搭载的重要技术。
在检测期望物体时，大多使用基于机器学习的图案识别处理等判别处理。
具体而言，从由照相机连续摄像而得到的影像的各帧中切出适当大小的作为局部区域的窗口，对该窗口内的影像执行图案识别处理等判别处理，判别该窗口内是否存在物体，由此，对影像内的存在检测对象物体的区域进行检测。
公知图案识别处理等判别处理的运算量较大。并且，一般而言，在影像的各帧的哪个位置存在哪种程度的大小的物体是未知的，因此，一点点改变窗口的尺寸和位置，并反复执行图案识别处理等判别处理。
因此，必须对一张的帧执行庞大次数的判别处理，有时运算量庞大。
在以下的专利文献1中公开了如下的物体检测装置：以减少判别处理的次数并削减运算量为目的，预先检测在时间方向上亮度变化较大的像素等作为物体区域，仅将该检测到的物体区域作为判别处理的对象。
现有技术文献
专利文献
专利文献1：日本特开2007-18324号公报(段落[0008]、图1)
发明内容
发明要解决的课题
现有的物体检测装置如上所述构成，因此，能够削减运算量从而缩短到检测出物体为止的处理时间，但是，前提在于影像的拍摄时照相机静止。因此，无法应用于由如机器人或汽车等移动体上搭载的照相机、手持照相机那样在拍摄时移动的照相机进行摄像而得到的影像。因此，存在如下课题：无法从一边移动一边拍摄的影像中准确地检测影像内的检测对象物体所在的区域。
本发明是为了解决上述课题而完成的，其目的在于，得到物体检测装置和物体检测方法，从一边移动一边拍摄的影像中也能够准确地检测检测对象物体所在的区域。
用于解决课题的手段
本发明的物体检测装置设置有连续地拍摄影像的影像摄像部、以及计算由影像摄像部在不同时刻拍摄到的影像之间的光流的光流计算部，物体检测部使用由光流计算部计算出的光流，检测影像内的检测对象物体所在的区域。
发明效果
根据本发明，构成为设置有计算由影像摄像部在不同时刻拍摄到的影像之间的光流的光流计算部，物体检测部使用由光流计算部计算出的光流，检测影像内的检测对象物体所在的区域，因此，具有如下效果：从由影像摄像部一边移动一边拍摄的影像中也能够准确地检测检测对象物体所在的区域。
附图说明
图1是示出本发明的实施方式1的物体检测装置的结构图。
图2是示出本发明的实施方式1的物体检测装置的硬件结构图。
图3是光流计算部2和物体检测部3由计算机构成的情况下的硬件结构图。
图4是示出光流计算部2和物体检测部3的处理内容的流程图。
图5是示出光流的计算例和光流的空间方向的汇集(aggregate)例的说明图。
图6是示出在时间方向上汇集光流的空间集合的例子的说明图。
图7是示出本发明的实施方式2的物体检测装置的结构图。
图8是示出本发明的实施方式2的物体检测装置的硬件结构图。
图9是示出物体检测部3中的区域确定部6的处理内容的流程图。
图10是示出区域校正部7的处理内容的流程图。
图11是示出基于区域确定部6的探索窗口的设定例的说明图。
图12是示出探索窗口与检测对象物体之间的关系的说明图。
图13是示出区域确定部6一边使探索窗口的位置偏移一边判定探索窗口内是否存在物体的处理的说明图。
图14是示出参照从区域确定部6输出的矩形的纵横尺寸和位置坐标也无法准确掌握检测对象物体的大小和位置的情况的一例的说明图。
图15是示出基于区域校正部7的探索窗口的设定例的说明图。
图16是示出边缘图像的一例的说明图。
图17是示出探索窗口与边缘密度的关系的说明图。
图18是示出本发明的实施方式3的物体检测装置的结构图。
图19是示出本发明的实施方式3的物体检测装置的硬件结构图。
图20是示出光流预测部36的处理内容的流程图。
图21是示出物体检测部3中的评价值计算部37和区域确定部38的处理内容的流程图。
图22是示出由光流预测部36求出的依赖于照相机11的运动和照相机11拍到的空间形状的光流的一例的说明图。
图23是示出由光流计算部2计算出的光流的一例的说明图。
图24是示出从光流计算部2输出的光流和从光流预测部36输出的光流之间的差分的说明图。
具体实施方式
下面，为了更加详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是示出本发明的实施方式1的物体检测装置的结构图，图2是示出本发明的实施方式1的物体检测装置的硬件结构图。
在图1和图2中，影像摄像部1例如由车辆或机器人中搭载的照相机或手持照相机那样在拍摄时能够移动的照相机11构成，连续地拍摄影像。由影像摄像部1连续摄像而得到的影像即各帧的影像数据被输出到后级的光流计算部2。
光流计算部2例如通过由搭载CPU(Central Processing Unit)的半导体集成电路或单片微机等构成的光流计算处理电路12实现，实施如下处理：使用从影像摄像部1输出的影像数据，计算摄像时刻不同的影像之间、即2个帧之间的光流。
这里，光流利用矢量表示时间上连续的影像中的物体的运动。因此，为了计算2个帧之间的光流，在探索到2个帧中存在的物体、即移动物体或包含背景在内的静止物等各物体的对应点后，利用矢量表现2个帧之间的对应点的移动。
物体检测部3由评价值计算部4和区域确定部5构成，实施如下处理：使用由光流计算部2计算出的光流，检测影像内的检测对象物体所在的区域。
评价值计算部4例如通过由搭载CPU的半导体集成电路或单片微机等构成的评价值计算处理电路13实现，实施如下处理：将由影像摄像部1拍摄到的影像即帧分割成多个区域，按照该分割后的每个区域，使用与属于该分割区域的多个像素有关的光流来计算评价值，该评价值表示该分割区域是表现检测对象物体的一部分或全部的物体区域的可能性的尺度。
区域确定部5例如通过由搭载CPU的半导体集成电路或单片微机等构成的区域确定处理电路14实现，实施如下处理：对由评价值计算部4计算出的各分割区域的评价值和阈值进行比较，由此，确定检测对象物体所在的影像内的区域。
在图1中，假设物体检测装置的结构要素即影像摄像部1、光流计算部2和物体检测部3分别由专用硬件构成，但是，光流计算部2和物体检测部3也可以由计算机构成。
图3是光流计算部2和物体检测部3由计算机构成的情况下的硬件结构图。
在光流计算部2和物体检测部3由计算机构成的情况下，将记述了光流计算部2和物体检测部3的处理内容的程序存储在计算机的程序存储器21中，计算机的处理器22执行程序存储器21中存储的程序即可。另外，程序的执行结果和中间处理结果等适当存储在RAM(Random Access Memory)23中。
图4是示出流计算部2和物体检测部3的处理内容的流程图。
接着，对动作进行说明。
由在拍摄时能够移动的照相机11构成的影像摄像部1连续地拍摄在时间上连续的影像。
即，例如，如果影像的取样间隔为t，则每当经过时间t时，影像摄像部1对该时刻的帧影像进行摄像，将该帧的影像数据输出到光流计算部2。
光流计算部2在每次从影像摄像部1接收到帧的影像数据时，存储该帧的影像数据，并且，使用任意2个帧的影像数据计算任意2个帧之间的光流(图4的步骤ST1)。例如，计算最新帧和前一帧之间的光流。
在光流计算部2由计算机构成的情况下，处理器22执行程序存储器21中存储的程序，由此，将从影像摄像部1输出的帧的影像数据存储在RAM23中，并且，例如，使用最新帧的影像数据和前一帧的影像数据计算最新帧和前一帧之间的光流。
这里，图5是示出光流的计算例和光流的空间方向的汇集例的说明图。
在图5的例子中，按照构成帧的每个像素，计算最新帧和前一帧之间的光流，计算针对12×8个像素的光流。
在图5中，利用矢量表示与各像素相关的光流，矢量的基端的位置表示前一帧的像素位置，矢量的前端的位置表示最新帧的像素位置。矢量的基端的位置和矢量的前端的位置成为物体的同一部分的对应点。
另外，计算光流的处理本身是公知技术，例如，在以下的非专利文献1中公开了光流的计算方法，因此，省略光流的计算处理的详细情况。
[非专利文献1]
C.Zach,T.Pock and H.Bischof.“A Duality Based Approach for RealtimeTV-L1Optical Flow”,In Proceedings of Pattern Recognition(DAGM),Germany,pp.214-223,2007
在光流计算部2计算2个帧之间的光流后，物体检测部3使用该光流，检测影像内的检测对象物体所在的区域。
下面，对物体检测部3进行的区域检测处理进行具体说明。
在光流计算部2计算2个帧之间的光流后，如图5所示，物体检测部3的评价值计算部4将帧分割成多个区域，以作为分割后的区域的块为单位在空间方向上汇集光流(图4的步骤ST2)。即，评价值计算部4分别生成与属于各个块内的各像素相关的光流的集合。
在图5中示出如下例子：将帧分割成6×4个区域，作为各分割区域的块分别包含4个光流。
这里，示出块的大小为2×2这样的固定尺寸的例子，但是，块的大小不需要是固定尺寸，可以是任意尺寸。并且，块的形状不需要是矩形。
评价值计算部4以块为单位在空间方向上汇集光流后，使用与属于各块的多个像素相关的光流来计算评价值，该评价值表示各块是表现检测对象物体的一部分或全部的物体区域的可能性的尺度。
但是，在由光流计算部2计算出的光流中可能包含某种程度的误差。
因此，评价值计算部4以即使在如上所述计算评价值之前在光流中包含误差，也能够计算高精度的评价值为目的，在光流计算部2计算出的计算时刻不同的多个光流中，将属于空间位置相同的块的多个像素的光流的空间集合在时间方向上汇集，生成更大的集合(图4的步骤ST3)。
认为如果仅利用一个计算时刻的光流计算评价值时可能受到误差的影响，但不同计算时刻的光流的误差的方向是各种方向，因此，通过在时间方向上生成光流的集合，从而能够抵消不同计算时刻的多个光流的误差，能够减轻误差的影响。
这里，图6是示出在时间方向上汇集光流的空间集合的例子的说明图。
在图6中，示出在时间方向上汇集4个连续的光流中、位于相同空间位置的光流的空间集合的例子。由此，在位于相同空间位置的1个块内生成4×4个(＝16个)光流的集合。
例如，考虑根据影像的帧率、照相机11和检测对象物体的移动速度来决定要汇集的光流的数量等。
评价值计算部4在时间方向上汇集属于各块的多个像素的光流的空间集合后，按照每个块，使用在时间方向上汇集的该块中的光流，计算评价值，该评价值表示该块是表现检测对象物体的一部分或全部的物体区域的可能性的尺度(图4的步骤ST4)。
作为表示是物体区域的可能性的尺度的评价值，考虑各种尺度，但是，作为有效的尺度，例如举出光流的偏差。这是因为，一般而言，多数情况下，在影像中的物体区域中得到偏差较小的稳定的光流的集合，与此相对，在物体区域以外的区域中得到偏差较大的不稳定的光流的集合。
因此，对集合中包含的光流的偏差进行评价，如果偏差较小，则能够判断为该集合属于物体区域，如果偏差较大，则能够判断为属于物体区域以外的区域。作为偏差的评价尺度，公知有方差。
因此，可以如下述式(1)那样计算作为表示是物体区域的可能性的尺度的评价值。具体而言，评价值计算部4根据集合中包含的光流，计算该光流的角度的方差和该光流的长度的方差作为特征量，根据作为该特征量的角度的方差和长度的方差计算评价值。
在式(1)中，O是在时间方向上汇集的光流的集合，No是光流的集合的要素数。
并且，θi是第i个光流的角度，ni是第i个光流的长度。
进而，mθ是在时间方向上汇集的光流的角度的平均值，mn是在时间方向上汇集的光流的长度的平均值。
式(1)的第一项表示光流的角度的方差，第二项表示光流的长度的方差。
另外，如果集合中包含的光流的偏差较小，则计算出较大值的评价值，如果集合中包含的光流的偏差较大，则计算出较小值的评价值。
在式(1)中，也可以对第一项和第二项分别乘以校正用的系数。
这里，示出评价值计算部4根据集合中包含的光流的角度的方差和长度的方差计算评价值的例子，但是，不限于根据光流的角度的方差和长度的方差计算评价值，例如，如下述式(2)所示，也可以根据属于集合O的任意2个光流的角度的差分绝对值的总和和长度的差分绝对值的总和来计算评价值。
在式(2)中，θj是第j个光流的角度，nj是第j个光流的长度。
另外，如果2个光流的角度的差分绝对值的总和和长度的差分绝对值的总和较小，则计算出较大值的评价值，如果2个光流的角度的差分绝对值的总和和长度的差分绝对值的总和较大，则计算出较小值的评价值。
如果差分绝对值的总和较小，则能够判断为集合属于物体区域，如果差分绝对值的总和较大，则能够判断为集合属于物体区域以外的区域，因此，与光流的方差同样，能够用作有效的尺度。
在计算差分绝对值的总和的情况下，不像方差那样包含平均值的计算和平方计算，因此，与计算方差的情况相比，运算量较小，能够高速进行计算。
另外，也可以对第一项和第二项分别乘以校正用的系数。
在评价值计算部4计算出针对某个块的评价值后，物体检测部3的区域确定部5对该评价值和事前设定的阈值进行比较，如果该评价值为阈值以上(图4的步骤ST5：“是”的情况)，则判断为该块是表现检测对象物体的一部分或全部的物体区域(步骤ST6)。
另一方面，如果该评价值小于阈值(步骤ST5：“否”的情况)，则判断为该块不是表现检测对象物体的一部分或全部的物体区域(步骤ST7)。
作为阈值，例如，分别计算不存在检测对象物体的仅背景的影像的各块的评价值，考虑作为比全部块的评价值中最大的评价值稍大的值的、该评价值的1.2倍左右的值等。
这里，示出事前设定阈值的例子，但是，例如，也可以根据影像而自适应地进行计算。假设背景的影像越复杂，则评价值越小，因此，阈值也越小。
反复执行步骤ST4～ST7的处理，直到评价值计算部4针对全部块计算评价值、并且区域确定部5针对全部块根据该评价值判定是否是物体区域为止(步骤ST8)。
区域确定部5针对全部块判定是否是物体区域后，根据该判定结果确定检测对象物体所在的影像内的区域，输出位置信息，该位置信息表示属于该确定出的区域的一个以上的块在空间上的位置。
由以上可知，根据该实施方式1，构成为设置有计算由影像摄像部1在不同时刻拍摄到的影像之间的光流的光流计算部2，物体检测部3使用由光流计算部2计算出的光流，检测影像内的检测对象物体所在的区域，因此，发挥如下效果：从由影像摄像部1根据一边移动一边拍摄的影像中也能够准确地检测检测对象物体所在的区域。
并且，在物体检测部3的评价值计算部4计算块的评价值、区域确定部5根据该评价值判定该块是否是物体区域时，不需要一边改变块的尺寸一边反复进行评价值的计算处理和判定处理，因此，发挥能够以较少的运算量来检测检测对象物体所在的区域的效果。
另外，这里的判定处理是针对评价值的阈值处理，与运算量较大的图案识别处理等判别处理不同，因此，能够以较少的运算量判定块是否是物体区域。
根据该实施方式1，构成为评价值计算部4在时间方向上汇集与多个像素相关的光流的空间集合，生成更大的集合，其中该多个像素属于空间位置相同的块，因此，不同时刻的帧中的误差方向不同的多个光流的误差相互抵消，发挥能够计算光流的误差的影响较小的评价值的效果。
另外，在该实施方式1中示出了，评价值计算部4以即使在光流中包含误差也能够计算高精度的评价值为目的，在光流计算部2计算出的计算时刻不同的多个光流中，将与属于空间位置相同的块的多个像素相关的光流的空间集合在时间方向上汇集，生成更大的集合。由此，得到高精度的评价值，但是，为了防止计算评价值时的运算量的增大，也可以从在时间方向上汇集的各块中的光流的集合中选择P(％)的光流，作为评价值的计算中使用的光流。
P(％)的值例如根据处理器22的性能或RAM23的尺寸来决定即可，能够设定为任意值。
实施方式2.
在上述实施方式1中，示出了判定作为分割区域的块是否是物体区域，但是，也可以设定具有与一个以上的块对应的大小的探索窗口，判定该探索窗口内是否存在物体。
图7是示出本发明的实施方式2的物体检测装置的结构图，图8是示出本发明的实施方式2的物体检测装置的硬件结构图。
在图7和图8中，与图1和图2相同的标号表示相同或相当的部分，因此省略说明。
区域确定部6例如通过由搭载CPU的半导体集成电路或单片微机等构成的区域确定处理电路15实现，实施设定具有与多个块对应的大小的探索窗口的处理。
并且，区域确定部6实施如下处理：从由评价值计算部4计算出的各块的评价值中读出该探索窗口中包含的块的评价值，根据该读出的评价值计算表示该探索窗口内存在物体的可能性的尺度的得分，对该得分和阈值进行比较，由此，确定影像内的存在检测对象物体的区域。
区域校正部7例如通过由搭载CPU的半导体集成电路或单片微机等构成的区域校正处理电路16实现，实施对由区域确定部6确定的区域进行校正的处理。
即，区域校正部7实施如下处理：计算由区域确定部6确定的区域内的影像特征量、对由区域确定部6确定的区域的尺寸进行扩大后的区域内的影像特征量和对由区域确定部6确定的区域进行缩小后的区域内的影像特征量，对计算出的多个影像特征量进行比较，根据多个影像特征量的比较结果从由区域确定部6确定的区域、对其尺寸进行扩大后的区域和缩小后的区域中选择任意一个区域，作为由区域确定部6确定的区域的校正后的区域。
在图7中，假设物体检测装置的结构要素即影像摄像部1、光流计算部2、物体检测部3和区域校正部7分别由专用硬件构成，但是，光流计算部2、物体检测部3和区域校正部7也可以由计算机构成。
在光流计算部2、物体检测部3和区域校正部7由图3所示的计算机构成的情况下，将记述了光流计算部2、物体检测部3和区域校正部7的处理内容的程序存储在计算机的程序存储器21中，计算机的处理器22执行程序存储器21中存储的程序即可。
图9是示出物体检测部3中的区域确定部6的处理内容的流程图，图10是示出区域校正部7的处理内容的流程图。
接着，对动作进行说明。
其中，除了区域确定部6和区域校正部7以外的部分与上述实施方式1相同，因此，这里，对区域确定部6和区域校正部7的处理内容进行说明。
在评价值计算部4在时间方向上汇集与属于空间位置相同的块的多个像素相关的光流的空间集合而生成更大的集合后，区域确定部6设定具有与多个块对应的大小的探索窗口(图9的步骤ST11)。
图11是示出基于区域确定部6的探索窗口的设定例的说明图。
在图11中，由评价值计算部4计算出的各块的评价值以与影像的各帧对应的形式分布在平面上，将各块的评价值所分布的面表现为评价值面，在该评价值面上设定探索窗口。在图11的例子中，设定具有与2个块对应的大小的探索窗口。
如图11那样，在探索窗口为矩形的形状的情况下，作为确定该探索窗口的参数，使用矩形的纵横尺寸、以及表示矩形的左上角等位置的坐标。
但是，探索窗口的形状不限于矩形，可以是任意形状。
区域确定部6设定探索窗口后，从由评价值计算部4计算出的各块的评价值中读出该探索窗口中包含的块的评价值，根据该读出的评价值计算表示该探索窗口内存在物体的可能性的尺度的得分(图9的步骤ST12)。
作为由区域确定部6计算的得分，例如考虑探索窗口中包含的块的评价值的总和等。
但是，作为探索窗口的得分，在计算探索窗口中包含的块的评价值的总和的情况下，探索窗口的尺寸越大，则得分越大。为了使得分不与探索窗口的尺寸成比例地增大，也可以计算评价值面内分布的评价值的平均值等作为偏移(offset)，从探索窗口中包含的各块的评价值中分别减去该偏移，计算减去偏移后的各块的评价值的总和等。
在探索窗口正好包含检测对象物体的情况下，探索窗口的得分成为较大值。另一方面，在探索窗口不包含检测对象物体的情况下、或者虽然包含检测对象物体但是该物体的大小小于探索窗口的尺寸的情况下，探索窗口的得分成为较小值。
图12是示出探索窗口与检测对象物体之间的关系的说明图。
在图12中，探索窗口(1)示出正好包含检测对象物体的情况，探索窗口(2)示出不包含检测对象物体的情况。
并且，探索窗口(3)示出虽然包含检测对象物体、但是该物体的大小小于探索窗口的尺寸的情况。
区域确定部6计算探索窗口的得分后，对该得分和事前设定的阈值进行比较，如果该得分为阈值以上(图9的步骤ST13：“是”的情况)，则判断为该探索窗口内存在物体(步骤ST14)，将用于确定该探索窗口的参数即矩形的纵横尺寸和位置坐标存储在RAM23中。
如果该得分小于阈值(步骤ST13：“否”的情况)，则判断为该探索窗口内不存在物体(步骤ST15)。
作为阈值，例如，分别计算不存在检测对象物体的仅背景的影像的各探索窗口的得分，考虑作为比全部探索窗口的得分中最大的得分稍大的值的、该得分的1.2倍左右的值等。
这里，示出事前设定阈值的例子，但是，例如，也可以根据影像而自适应地进行计算。假设背景的影像越复杂，则得分越小，因此，阈值也越小。
图13是示出区域确定部6一边使探索窗口的位置偏移一边判定探索窗口内是否存在物体的处理的说明图。
如图13所示，区域确定部6反复执行步骤ST12～ST15的处理，直到在评价值面内使探索窗口的位置偏移并在评价值面的全部位置处结束了判定处理为止(步骤ST16、ST17)。探索窗口的位置的偏移例如考虑一个像素一个像素地偏移等。
区域确定部6在评价值面的全部位置的判定处理结束后，根据该判定结果确定检测对象物体所在的影像内的区域，即，确定检测对象物体所在的探索窗口的位置，输出确定该探索窗口的参数即矩形的纵横尺寸和位置坐标。
这里，示出使尺寸固定的探索窗口的位置偏移并在评价值面的全部位置实施判定处理，但是，也可以准备多个不同尺寸的探索窗口，使多个探索窗口的位置偏移并在评价值面的全部位置实施判定处理。
该情况下，在尺寸不同的多个探索窗口中，认为评价值最高的探索窗口的尺寸与检测对象物体的大小大致一致，因此，如果确定评价值最高的探索窗口，则即使检测对象物体的大小未知，也能够确定检测对象物体所在的影像内的区域。即，能够确定检测对象物体的大小。
但是，在使用尺寸不同的多个探索窗口的情况下，判定处理的运算量增加，处理所需要的时间较长，因此，根据实现区域确定部6的区域确定处理电路15或构成区域确定部6的计算机中的处理器22的处理能力，适当决定要准备的探索窗口的个数。
如果参照从区域确定部6输出的位置坐标，则能够掌握检测对象物体的位置。并且，在使用尺寸不同的多个探索窗口的情况下，如果参照从区域确定部6输出的矩形的纵横尺寸，则能够掌握检测对象物体的大小。
但是，即使通过在时间方向上生成光流的集合而使不同计算时刻的多个光流的误差相互抵消，有时也残存有光流的误差。
在残存有光流的误差的情况下，在尺寸不同的多个探索窗口中，即使确定出评价值最高的探索窗口，有时评价值最高的探索窗口的尺寸和位置与检测对象物体的大小和位置的一致度也较小。
由此，即使参照从区域确定部6输出的矩形的纵横尺寸和位置坐标，有时也无法准确掌握检测对象物体的大小和位置。
图14是示出参照从区域确定部6输出的矩形的纵横尺寸和位置坐标也无法准确掌握检测对象物体的大小和位置的情况的一例的说明图。
在图14中，示出检测对象物体的大小小于评价值最高的探索窗口的尺寸的例子。
因此，在该实施方式2中，设置对由区域确定部6确定的区域进行校正的区域校正部7。
下面，参照图10对区域校正部7的处理内容进行具体说明。
区域校正部7参照从区域确定部6输出的矩形的纵横尺寸和位置坐标，在评价值面中设定探索窗口(图10的步骤ST21)。
图15是示出基于区域校正部7的探索窗口的设定例的说明图。
该探索窗口的形状不限于矩形，但是，将远远小于通过区域确定部6判断为存在检测对象物体的探索窗口的窗口设定为探索窗口。例如，设定通过区域确定部6判断为存在检测对象物体的探索窗口的尺寸的0.5倍左右的尺寸的探索窗口。
但是，将要设定的探索窗口的中心坐标设定为与通过区域确定部6判断为存在检测对象物体的探索窗口的中心坐标一致。
区域校正部7在评价值面中设定探索窗口后，计算该探索窗口内的影像特征量(图10的步骤ST22)。
影像特征量是根据处理对象的影像帧的像素值计算的特征量，考虑基于影像的颜色、边缘、梯度等的特征量。
作为基于颜色的特征量，考虑颜色直方图，该颜色直方图表示探索窗口内的影像中的各颜色的出现频度。
作为基于边缘的特征量，考虑边缘密度，该边缘密度表示探索窗口的周上存在的边缘的密度。
作为基于梯度的特征量，考虑HOG(Histogram of Oriented Gradients)等，该HOG表示探索窗口内的影像中的像素值的梯度方向的出现频度。
在该实施方式2中，对影像特征量为边缘密度的例子进行说明。
区域校正部7在计算边缘密度作为探索窗口内的影像特征量的情况下，针对探索窗口内的影像应用例如Canny(Canny Edge Detection)滤波器或微分滤波器，由此取得边缘图像。
边缘图像例如是位于图像边缘的像素(以下称为“边缘像素”)为“1”、不位于图像边缘的像素(以下称为“非边缘像素”)为“0”的图像。
区域校正部7取得边缘图像后，在该探索窗口的周上，对边缘像素的总数进行计数，该边缘像素的总数除以探索窗口的周长，由此计算边缘密度。
图16是示出边缘图像的一例的说明图。
在图16中，示出由10×10像素构成的边缘图像的例子，灰色表示的像素是非边缘像素，白色表示的像素是边缘像素。
在该边缘图像中，在由区域校正部7设定的探索窗口由8×8像素构成的情况下，如图16所示，探索窗口的周围的像素是由粗实线包围的28个像素。
因此，在图16的例子中，边缘像素的总数为7，窗口的周长为28，因此，边缘密度成为7÷28＝0.25。
区域校正部7计算边缘密度作为探索窗口内的影像特征量后，对该边缘密度和RAM23中存储的过去的最大边缘密度进行比较，如果该计算出的边缘密度大于过去的最大边缘密度(图10的步骤ST23：“是”的情况)，则将该计算出的边缘密度作为过去的最大边缘密度覆盖保存在RAM23(步骤ST24)。并且，将确定该探索窗口的参数即矩形的纵横尺寸和位置坐标存储在RAM23中。
过去的最大边缘密度意味着区域校正部7在过去计算出的边缘密度中最大的边缘密度。但是，在区域校正部7最初计算边缘密度的时点，作为过去的最大边缘密度，将0的初始值存储在RAM23中。
如果当前设定中的探索窗口的尺寸不是假设的最大尺寸(步骤ST25：“否”的情况)，则区域校正部7对当前设定中的探索窗口的尺寸进行扩大(步骤ST26)。例如，扩大成当前设定中的探索窗口的尺寸的1.1倍的尺寸。
图17是示出探索窗口和边缘密度的关系的说明图。
在图17的例子中，假设的最大尺寸是探索窗口(4)的尺寸，因此，如果当前设定中的探索窗口的尺寸小于探索窗口(4)的尺寸，则对当前设定中的探索窗口的尺寸进行扩大。
在图17中，探索窗口(1)是最初设定的窗口，探索窗口(2)是对探索窗口(1)进行扩大后的窗口。
并且，探索窗口(3)是对探索窗口(2)进行扩大后的窗口，探索窗口(4)是对探索窗口(3)进行扩大后的窗口。
在图17中，为了简化说明，示出4个由区域校正部7设定的探索窗口的例子，但是，为了提高区域校正部7的校正精度，实际上假设设定4个以上的探索窗口。
此时，除了与通过区域确定部6判断为存在检测对象物体的探索窗口相同尺寸的窗口以外，如果还包含比该探索窗口小的尺寸的窗口和比该探索窗口大的尺寸的窗口，则虽然与由区域校正部7设定的探索窗口的个数无关，但当由区域校正部7设定的探索窗口的个数增加时，区域校正部7的运算量增加，处理所需要的时间较长，因此，根据实现区域校正部7的区域校正处理电路16或构成区域校正部7的计算机中的处理器22的处理能力，适当决定由区域校正部7设定的探索窗口的个数。
区域校正部7对当前设定中的探索窗口的尺寸进行扩大后，计算该探索窗口内的影像特征量(图10的步骤ST22)。在该实施方式2中，作为探索窗口内的影像特征量，与上述同样计算边缘密度。
区域校正部7计算边缘密度作为探索窗口内的影像特征量后，对该边缘密度和RAM23中存储的过去的最大边缘密度进行比较，如果该计算出的边缘密度大于过去的最大边缘密度(步骤ST23：“是”的情况)，则将该计算出的边缘密度作为过去的最大边缘密度覆盖保存在RAM23。并且，将确定该探索窗口的参数即矩形的纵横尺寸和位置坐标存储在RAM23中(步骤ST24)。
区域校正部7反复执行步骤ST22～ST26，直到当前设定中的探索窗口的尺寸成为假设的最大尺寸为止，由此，在计算边缘密度作为探索窗口(1)～(4)的影像特征量后，确定与探索窗口(1)～(4)的边缘密度中最大的边缘密度、即RAM23中存储的最大边缘密度对应的探索窗口(步骤ST27)。
在图17的例子中，探索窗口(1)～(4)的边缘密度中最大的边缘密度是探索窗口(3)的边缘密度，因此，确定探索窗口(3)。
在探索窗口的边界和物体区域的边界准确一致时，边缘密度非常大。探索窗口(3)与探索窗口(1)(2)(4)相比，窗口边界与物体区域的边界更加一致，因此成为最大的边缘密度。
区域校正部7确定与RAM23中存储的最大边缘密度对应的探索窗口后，作为表示由区域确定部6确定的区域的校正后的区域的信息，输出矩形的纵横尺寸和位置坐标，矩形的纵横尺寸和位置坐标是用于确定与最大边缘密度对应的探索窗口的参数(步骤ST28)。
并且，除此之外，区域校正部7也可以根据由区域确定部6确定的区域中包含的颜色或光流等对区域进行校正。该情况下，从影像内探索颜色或光流与由区域确定部6确定的区域中包含的颜色或光流相似的区域，由此进行区域校正。
由以上可知，根据该实施方式2，构成为计算由区域确定部6确定的区域内的影像特征量、对由区域确定部6确定的区域的尺寸进行扩大后的区域内的影像特征量和对由区域确定部6确定的区域进行缩小后的区域内的影像特征量，对计算出的多个影像特征量进行比较，根据多个影像特征量的比较结果从由区域确定部6确定的区域、对其尺寸进行扩大后的区域和缩小后的区域中选择任意一个区域，作为由区域确定部6确定的区域的校正后的区域，因此，例如发挥如下效果：在仅在时间方向上生成光流的集合而残存有光流的误差的情况下，也能够准确检测存在检测对象物体的区域。
在该实施方式2中，说明了如下例子：最初设定远远小于通过区域确定部6判断为存在检测对象物体的探索窗口的窗口作为探索窗口，然后逐渐对该探索窗口的尺寸进行扩大，但是，也可以最初设定远远大于通过区域确定部6判断为存在检测对象物体的探索窗口的窗口作为探索窗口，然后逐渐对该探索窗口的尺寸进行缩小。
实施方式3.
在上述实施方式1、2中，示出使用由光流计算部2计算出的光流，检测影像内的检测对象物体所在的区域，但是，除了由光流计算部2计算出的光流以外，还可以预测依赖于照相机11的运动和照相机11拍到的空间形状的光流，使用该预测出的光流，检测影像内的检测对象物体所在的区域。
图18是示出本发明的实施方式3的物体检测装置的结构图，图19是示出本发明的实施方式3的物体检测装置的硬件结构图。
在图18和图19中，与图7和图8相同的标号表示相同或相当的部分，因此省略说明。
照相机参数取得部31例如通过由搭载CPU的半导体集成电路或单片微机等构成的照相机参数取得处理电路41实现，取得构成影像摄像部1的照相机11的焦距和摄像元件的大小等照相机参数。
另外，照相机参数取得部31也可以从照相机11中直接读出照相机参数，但是，例如，也可以从硬盘45中读出照相机参数。
照相机运动取得部32由运动传感器42构成，取得照相机11的倾斜和移动速度等运动参数。作为运动传感器42，例如考虑陀螺仪传感器或加速度传感器等。
照相机位置取得部33由位置传感器43构成，取得照相机11的空间中的位置坐标。作为位置传感器43，例如考虑GPS(Global Positioning System)、磁传感器或超声波传感器等。
三维地图取得部34例如通过由搭载CPU的半导体集成电路或单片微机等构成的三维地图取得处理电路44实现，实施如下处理：参照由照相机位置取得部33取得的位置坐标，从三维地图存储部35中读出照相机11所在的空间的三维地图。
三维地图使用激光扫描仪或立体照相机等进行计测，由此，事前存储在三维地图存储部35中。另外，如果是室内设施，则考虑根据该室内设施的设计图等生成三维地图并存储在三维地图存储部35中。
三维地图存储部35由硬盘45构成，存储三维地图。
光流预测部36例如通过由搭载CPU的半导体集成电路或单片微机等构成的光流预测处理电路46实现，实施如下处理：使用由照相机运动取得部32取得的运动参数、由照相机位置取得部33取得的照相机11的空间中的位置坐标、由三维地图取得部34取得的照相机11所在的空间的三维地图，预测依赖于该空间的三维形状的光流。
并且，光流预测部36实施如下处理：使用由照相机参数取得部31取得的照相机参数，将该预测出的依赖于三维形状的光流投影到二维图像平面上，由此求出依赖于照相机11的运动和照相机11拍到的空间形状的光流，将该光流输出到评价值计算部37。
物体检测部3由评价值计算部37和区域确定部38构成，实施如下处理：使用从光流计算部2输出的光流和从光流预测部36输出的光流，检测影像内的检测对象物体所在的区域。
评价值计算部37例如通过由搭载CPU的半导体集成电路或单片微机等构成的评价值计算处理电路47实现，实施如下处理：根据从光流计算部2输出的光流和从光流预测部36输出的光流，按照构成影像的每个像素，计算表示该像素是表现检测对象物体的一部分的像素的可能性的尺度的评价值。
区域确定部38例如通过由搭载CPU的半导体集成电路或单片微机等构成的区域确定处理电路48实现，实施如下处理：对由评价值计算部37计算出的各像素的评价值和阈值进行比较，由此，确定存在检测对象物体的影像内的区域。
在图18中，假设物体检测装置的结构要素即影像摄像部1、光流计算部2、照相机参数取得部31、照相机运动取得部32、照相机位置取得部33、三维地图取得部34、三维地图存储部35、光流预测部36、物体检测部3和区域校正部7分别由专用硬件构成，但是，光流计算部2、光流预测部36、物体检测部3和区域校正部7也可以由计算机构成。
在光流计算部2、光流预测部36、物体检测部3和区域校正部7由图3所示的计算机构成的情况下，将记述了光流计算部2、光流预测部36、物体检测部3和区域校正部7的处理内容的程序存储在计算机的程序存储器21中，计算机的处理器22执行程序存储器21中存储的程序即可。
图20是示出光流预测部36的处理内容的流程图，图21是示出物体检测部3中的评价值计算部37和区域确定部38的处理内容的流程图。
接着，对动作进行说明。
与上述实施方式1同样，由在拍摄时能够移动的照相机11构成的影像摄像部1连续地拍摄在时间上连续的影像。
即，例如，如果影像的取样间隔为t，则每当经过时间t时，影像摄像部1对该时刻的帧影像进行摄像，将该帧的影像数据输出到光流计算部2。
与上述实施方式1同样，光流计算部2在每次从影像摄像部1接收到帧的影像数据时，存储该帧的影像数据，并且，使用任意2个帧的影像数据计算任意2个帧之间的光流。例如，计算最新帧和前一帧之间的光流。
照相机参数取得部31取得构成影像摄像部1的照相机11的焦距和摄像元件的大小等照相机参数，将该照相机参数输出到光流预测部36。
照相机运动取得部32取得照相机11的倾斜和移动速度等运动参数，将该运动参数输出到光流预测部36。
照相机位置取得部33取得照相机11的空间中的位置坐标，将该位置坐标输出到光流预测部36和三维地图取得部34。
三维地图取得部34从照相机位置取得部33接收到位置坐标后，参照该位置坐标，从三维地图存储部35中读出照相机11所在的空间的三维地图，将照相机11所在的空间的三维地图输出到光流预测部36。
不存在检测对象物体的空间中的光流是依赖于照相机11的运动和照相机11拍到的空间的背景等的三维形状而决定的。
另一方面，根据存在检测对象物体的影像计算的光流是依赖于照相机11的运动、照相机11拍到的空间的背景等的三维形状以及空间中的检测对象物体的形状和运动而决定的。
并且，依赖于照相机参数来决定如何将照相机11拍到的三维空间投影到二维图像平面上。
因此，光流预测部36使用从照相机运动取得部32输出的运动参数、从照相机位置取得部33输出的照相机11的空间中的位置坐标、从三维地图取得部34输出的照相机11所在的空间的三维地图，预测依赖于该空间的三维形状的光流(图20的步骤ST31)。
在该实施方式3中，关于由光流预测部36预测的光流，设为是在照相机11拍到的空间中不存在检测对象物体的状态下进行预测的。
另外，使用照相机11的运动参数、照相机11的空间中的位置坐标、照相机11所在的空间的三维地图来预测依赖于该空间的三维形状的光流的处理本身是公知技术，因此省略详细说明。
光流预测部36预测依赖于照相机11所在的空间的三维形状的光流后，使用从照相机参数取得部31输出的照相机参数将该预测出的光流投影到二维图像平面上，由此求出依赖于照相机11的运动和照相机11拍到的空间形状的光流，将该光流输出到物体检测部3的评价值计算部37(步骤ST32)。
将预测出的光流投影到二维图像平面上的处理本身是公知技术，因此省略详细说明。
这里，图22是示出由光流预测部36求出的依赖于照相机11的运动和照相机11拍到的空间形状的光流的一例的说明图。
并且，图23是示出由光流计算部2计算出的光流的一例的说明图。
在该实施方式3中，关于由光流计算部2计算出的光流，设为在照相机11拍到的空间中存在检测对象物体的状态下进行计算。因此，图23所示的光流成为对依赖于照相机11的运动和照相机11拍到的空间形状的光流、以及依赖于空间内存在的检测对象物体的形状和运动的光流进行合成后的状态。
物体检测部3的评价值计算部37以构成影像帧的像素为单位，对从光流计算部2输出的光流和从光流预测部36输出的光流进行比较，由此计算评价值，该评价值表示构成影像帧的像素是表现检测对象物体的一部分的像素的可能性的尺度(图21的步骤ST41)。
作为帧中的坐标i处的评价值，例如，如下述式(3)所示，能够使用双方的光流的差分范数(difference norm)。
||fi-gi|| (3)
在式(3)中，fi是从光流计算部2输出的坐标i的光流，gi是从光流预测部36输出的坐标i的光流，||·||是表示范数的记号。
图24是示出从光流计算部2输出的光流和从光流预测部36输出的光流的差分的说明图。
在图24中，物体区域相当于双方的光流的差分。
在评价值计算部37计算构成影像帧的像素的评价值后，物体检测部3的区域确定部38对该像素的评价值和事前设定的阈值进行比较，如果该评价值为阈值以上(图21的步骤ST42：“是”的情况)，则判断为该像素是表现检测对象物体的一部分的像素(步骤ST43)。
另一方面，如果该像素的评价值小于阈值(步骤ST42：“否”的情况)，则判断为该像素不是表现检测对象物体的一部分的像素(步骤ST44)。
作为阈值，例如，分别计算不存在检测对象物体的仅背景的影像的各像素的评价值，考虑作为比全部像素的评价值中最大的评价值稍大的值的、该评价值的1.2倍左右的值等。
这里，示出事前设定阈值的例子，但是，例如，也可以根据影像而自适应地进行计算。假设背景的影像越复杂，则评价值越小，因此，阈值也越小。
反复执行步骤ST41～ST44的处理，直到评价值计算部37针对全部像素计算出评价值、并且区域确定部38针对全部像素根据该评价值判定是否是表现检测对象物体的一部分的像素为止(步骤ST45)。
区域确定部38针对全部像素判定是否是表现检测对象物体的一部分的像素后，根据该判定结果确定检测对象物体所在的影像内的区域，输出表示属于该确定的区域的一个以上的像素的空间上的位置的位置信息。
在该实施方式3中，示出按照构成影像帧的每个像素来判定该像素是否是表现检测对象物体的一部分的像素，但是，也可以设定具有与多个像素对应的大小的探索窗口，判定该探索窗口内是否存在物体。
具体而言，如下所述。
在该实施方式3中，由评价值计算部37计算出的各像素的评价值以与影像的各帧对应的形式分布在平面上，将各像素的评价值所分布的面称为评价值面。因此，在上述实施方式2中，如图11所示，将由多个像素构成的块单位的评价值所分布的面设为评价值面，评价值的计算单位与实施方式3不同。
评价值计算部37计算构成影像帧的各像素的评价值后，区域确定部38设定具有与多个像素对应的大小的探索窗口。
探索窗口的形状没有特别限定，但是，在将探索窗口的形状设为矩形的情况下，作为确定该探索窗口的参数，使用矩形的纵横尺寸、以及表示矩形的左上角等位置的坐标。
区域确定部38设定探索窗口后，从由评价值计算部37计算出的各像素的评价值中读出该探索窗口中包含的像素的评价值，根据该读出的评价值计算表示该探索窗口内存在物体的可能性的尺度的得分。
作为由区域确定部38计算的得分，例如考虑探索窗口中包含的像素的评价值的总和等。
但是，作为探索窗口的得分，在计算探索窗口中包含的像素的评价值的总和的情况下，探索窗口的尺寸越大，则得分越大。为了使得分不与探索窗口的尺寸成比例地增大，也可以计算评价值面内分布的评价值的平均值等作为偏移，从探索窗口中包含的各像素的评价值中分别减去该偏移，计算减去偏移后的各像素的评价值的总和等。
在探索窗口正好包含检测对象物体的情况下，探索窗口的得分成为较大值。另一方面，在探索窗口不包含检测对象物体的情况下、或者虽然包含检测对象物体但是该物体的大小小于探索窗口的尺寸的情况下，探索窗口的得分成为较小值。
这与上述实施方式2相同，图12中示出探索窗口与检测对象物体之间的关系。
在图12中，探索窗口(1)示出正好包含检测对象物体的情况，探索窗口(2)示出不包含检测对象物体的情况。
并且，探索窗口(3)示出虽然包含检测对象物体、但是该物体的大小小于探索窗口的尺寸的情况。
区域确定部38计算探索窗口的得分后，与上述实施方式2中的区域确定部6同样，对该得分和事前设定的阈值进行比较，如果该得分为阈值以上，则判断为该探索窗口内存在物体，将用于确定该探索窗口的参数即矩形的纵横尺寸和位置坐标存储在RAM23中。
如果该得分小于阈值，则判断为该探索窗口内不存在物体。
作为阈值，例如，分别计算不存在检测对象物体的仅背景的影像的各探索窗口的得分，考虑作为比全部探索窗口的得分中最大的得分稍大的值的、该得分的1.2倍左右的值等。
这里，示出事前设定阈值的例子，但是，例如，也可以根据影像而自适应地进行计算。假设背景的影像越复杂，则得分越小，因此，阈值也越小。
与上述实施方式2中的区域确定部6同样，区域确定部38在评价值面中使探索窗口的位置偏移，并在评价值面的全部位置实施判定处理。
区域确定部38在评价值面的全部位置的判定处理结束后，根据该判定结果确定检测对象物体所在的影像内的区域，即，确定检测对象物体所在的探索窗口的位置，输出确定该探索窗口的参数即矩形的纵横尺寸和位置坐标。
这里，示出使尺寸固定的探索窗口的位置偏移并在评价值面的全部位置实施判定处理，但是，也可以准备多个不同尺寸的探索窗口，使多个探索窗口的位置偏移并在评价值面的全部位置实施判定处理。
该情况下，即使检测对象物体的大小未知，也能够确定检测对象物体所在的影像内的区域。即，能够确定检测对象物体的大小。
但是，在使用尺寸不同的多个探索窗口的情况下，判定处理的运算量增加，处理所需要的时间较长，因此，根据实现区域确定部38的区域确定处理电路48或构成区域确定部38的计算机中的处理器22的处理能力，适当决定要准备的探索窗口的个数。
如果参照从区域确定部38输出的位置坐标，则能够掌握检测对象物体的位置。并且，在使用尺寸不同的多个探索窗口的情况下，如果参照从区域确定部38输出的矩形的纵横尺寸，则能够掌握检测对象物体的大小。
但是，在由光流计算部2计算出的光流存在误差的情况下，在尺寸不同的多个探索窗口中，即使确定出评价值最高的探索窗口，有时评价值最高的探索窗口的尺寸和位置与检测对象物体的大小和位置的一致度也较小。
由此，即使参照从区域确定部38输出的矩形的纵横尺寸和位置坐标，有时也无法准确掌握检测对象物体的大小和位置。
因此，在该实施方式3中，设置对由区域确定部38确定的区域进行校正的区域校正部7。
区域校正部7的处理内容与上述实施方式2相同，因此省略详细说明。
由以上可知，根据该实施方式3，构成为设置如下的光流预测部36，该光流预测部36使用由照相机参数取得部31取得的照相机参数、由照相机运动取得部32取得的运动参数、由照相机位置取得部33取得的照相机11的空间中的位置坐标、由三维地图取得部34取得的照相机11所在的空间的三维地图，预测依赖于照相机11的运动和照相机11拍到的空间形状的光流，评价值计算部37根据从光流计算部2输出的光流和从光流预测部36输出的依赖于照相机11的运动和照相机11拍到的空间形状的光流，按照构成影像的每个像素，计算表示该像素是表现检测对象物体的一部分的像素的可能性的尺度的评价值，区域确定部38对由评价值计算部37计算出的各像素的评价值和阈值进行比较，由此，确定检测对象物体所在的影像内的区域，因此，与上述实施方式1同样，发挥如下效果：从由影像摄像部1一边移动一边拍摄的影像中也能够准确地检测检测对象物体所在的区域。
另外，本申请发明能够在本发明的范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。
产业上的可利用性
本发明适用于需要从一边移动一边拍摄的影像中准确检测检测对象物体所在的区域的情况。
标号说明
1：影像摄像部；2：光流计算部；3：物体检测部；4：评价值计算部；5、6：区域确定部；7：区域校正部；11：照相机；12：光流计算处理电路；13：评价值计算处理电路；14、15：区域确定处理电路；16：区域校正处理电路；21：程序存储器；22：处理器；23：RAM；31：照相机参数取得部；32：照相机运动取得部；33：照相机位置取得部；34：三维地图取得部；35：三维地图存储部；36：光流预测部；37：评价值计算部；38：区域确定部；41：照相机参数取得处理电路；42：运动传感器；43：位置传感器；44：三维地图取得处理电路；45：硬盘；46：光流预测处理电路；47：评价值计算处理电路；48：区域确定处理电路。

Claims (11)

1.一种物体检测装置，其具有：
影像摄像部，其连续地拍摄影像；
光流计算部，其计算由所述影像摄像部在不同时刻拍摄到的影像之间的光流；以及
物体检测部，其使用由所述光流计算部计算出的光流，检测影像内的检测对象物体所在的区域。
2.根据权利要求1所述的物体检测装置，其特征在于，
所述物体检测装置具有区域校正部，该区域校正部对由所述物体检测部检测到的区域进行校正，
所述区域校正部计算由所述物体检测部检测到的区域内的影像特征量、以及对所述检测到的区域的位置和尺寸进行变更后的区域内的影像特征量，对计算出的多个影像特征量进行比较，
根据所述多个影像特征量的比较结果从由所述物体检测部检测到的区域和所述变更后的区域中选择任意一个区域，作为对所述物体检测部检测到的区域进行校正后的区域。
3.根据权利要求1所述的物体检测装置，其特征在于，
所述光流计算部按照构成所述影像的每个像素，计算在不同时刻拍摄到的影像之间的光流，
所述物体检测部由以下部分构成：
评价值计算部，其将由所述影像摄像部拍摄到的影像分割成一个或多个区域，按照该分割后的每个区域，使用与属于该分割区域的多个像素相关的所述光流计算评价值，该评价值表示该分割区域是表现检测对象物体的一部分或全部的物体区域的可能性的尺度；以及
区域确定部，其对由所述评价值计算部计算出的各分割区域的评价值和阈值进行比较，从而确定影像内的检测对象物体所在的区域。
4.根据权利要求1所述的物体检测装置，其特征在于，
所述光流计算部按照构成所述影像的每个像素，计算在不同时刻拍摄到的影像之间的光流，
所述物体检测部由以下部分构成：
评价值计算部，其将由所述影像摄像部拍摄到的影像分割成一个或多个区域，按照该分割后的每个区域，使用与属于该分割区域的多个像素相关的所述光流计算评价值，该评价值表示该分割区域是表现检测对象物体的一部分或全部的物体区域的可能性的尺度；以及
区域确定部，其探索由所述评价值计算部计算出的各分割区域的评价值在影像内最大的区域，从而确定影像内的检测对象物体所在的区域。
5.根据权利要求3所述的物体检测装置，其特征在于，
所述评价值计算部根据与属于所述分割区域的多个像素相关的所述光流计算特征量，根据所述特征量计算所述评价值。
6.根据权利要求3所述的物体检测装置，其特征在于，
所述评价值计算部计算与属于所述分割区域的多个像素相关的所述光流的角度的方差和所述光流的长度的方差，根据所述角度的方差和所述长度的方差计算所述评价值。
7.根据权利要求3所述的物体检测装置，其特征在于，
所述评价值计算部计算与属于所述分割区域的多个像素相关的所述光流的角度的差分绝对值的总和和所述光流的长度的差分绝对值的总和，根据所述角度的差分绝对值的总和和所述长度的差分绝对值的总和计算所述评价值。
8.根据权利要求3所述的物体检测装置，其特征在于，
所述评价值计算部在每次通过所述光流计算部计算出在不同时刻拍摄到的影像之间的光流时，在该计算时刻不同的多个光流中，将与属于空间位置相同的分割区域的多个像素相关的光流在时间方向上汇集，使用该汇集后的光流计算评价值，该评价值表示该分割区域是表现检测对象物体的一部分或全部的物体区域的可能性的尺度。
9.根据权利要求1所述的物体检测装置，其特征在于，
所述物体检测装置具有光流预测部，该光流预测部使用所述影像摄像部的摄像所使用的照相机的照相机参数、位置和运动参数以及所述照相机所在的空间的三维地图，预测依赖于所述照相机的运动和所述照相机拍到的空间形状的光流，
所述物体检测部由以下部分构成：
评价值计算部，其根据由所述光流计算部计算出的光流和由所述光流预测部预测出的光流，按照构成所述影像的每个像素计算评价值，该评价值表示该像素是表现检测对象物体的一部分的像素的可能性的尺度；以及
区域确定部，其对由所述评价值计算部计算出的各像素的评价值和阈值进行比较，从而确定影像内的检测对象物体所在的区域。
10.根据权利要求1所述的物体检测装置，其特征在于，
所述物体检测装置具有光流预测部，该光流预测部使用所述影像摄像部的摄像所使用的照相机的照相机参数、位置和运动参数以及所述照相机所在的空间的三维地图，预测依赖于所述照相机的运动和所述照相机拍到的空间形状的光流，
所述物体检测部由以下部分构成：
评价值计算部，其根据由所述光流计算部计算出的光流和由所述光流预测部预测出的光流，按照构成所述影像的每个像素评价值，该评价值表示该像素是表现检测对象物体的一部分的像素的可能性的尺度；以及
区域确定部，其探索由所述评价值计算部计算出的各分割区域的评价值在影像内最大的区域，从而确定影像内的检测对象物体所在的区域。
11.一种物体检测方法，其中，该物体检测方法具有如下步骤：
影像摄像部连续地拍摄影像；
光流计算部计算由所述影像摄像部在不同时刻拍摄到的影像之间的光流；以及
物体检测部使用由所述光流计算部计算出的光流，检测影像内的检测对象物体所在的区域。
CN201580085019.3A 2015-12-02 2015-12-02 物体检测装置和物体检测方法 Active CN108369739B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083880 WO2017094140A1 (ja) 2015-12-02 2015-12-02 物体検出装置及び物体検出方法

Publications (2)

Publication Number Publication Date
CN108369739A true CN108369739A (zh) 2018-08-03
CN108369739B CN108369739B (zh) 2021-07-27

Family

ID=58666882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580085019.3A Active CN108369739B (zh) 2015-12-02 2015-12-02 物体检测装置和物体检测方法

Country Status (5)

Country Link
US (1) US10643338B2 (zh)
EP (1) EP3376468B1 (zh)
JP (1) JP6116765B1 (zh)
CN (1) CN108369739B (zh)
WO (1) WO2017094140A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6797854B2 (ja) * 2018-03-16 2020-12-09 日本電信電話株式会社 情報処理装置および情報処理方法
JP7117169B2 (ja) * 2018-06-19 2022-08-12 日産自動車株式会社 物体検出方法及び物体検出装置
CN111105428B (zh) * 2019-11-08 2023-11-14 上海航天控制技术研究所 一种星敏感器前向滤波硬件图像处理方法
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting
JP2022159694A (ja) * 2021-04-05 2022-10-18 日立Astemo株式会社 物体追跡装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050953A1 (en) * 2004-06-18 2006-03-09 Farmer Michael E Pattern recognition method and apparatus for feature selection and object classification
CN102257533A (zh) * 2008-11-19 2011-11-23 歌乐牌株式会社 接近物体检测系统
CN103871076A (zh) * 2014-02-27 2014-06-18 西安电子科技大学 基于光流法和超像素分割的运动目标提取方法
CN104091351A (zh) * 2014-06-27 2014-10-08 无锡慧眼电子科技有限公司 基于聚类法的人数计数方法
US20150063628A1 (en) * 2013-09-04 2015-03-05 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments
CN104881645A (zh) * 2015-05-26 2015-09-02 南京通用电器有限公司 基于特征点互信息量和光流法的车辆前方目标的检测方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262375A (ja) * 1994-03-25 1995-10-13 Toshiba Corp 移動体検出装置
JPH1011585A (ja) * 1996-06-20 1998-01-16 Toyota Motor Corp 物体検出装置
JP3885999B2 (ja) * 2001-12-28 2007-02-28 本田技研工業株式会社 物体検出装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP2007266652A (ja) 2004-05-31 2007-10-11 Matsushita Electric Ind Co Ltd 移動物体検出装置、移動物体検出方法、移動物体検出プログラム、映像復号化装置、映像符号化装置、撮像装置及び映像管理システム
JP2006215655A (ja) * 2005-02-01 2006-08-17 Sharp Corp 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP4610005B2 (ja) 2005-07-08 2011-01-12 財団法人電力中央研究所 画像処理による侵入物体検出装置および方法およびプログラム
JP4817384B2 (ja) 2006-12-06 2011-11-16 学校法人早稲田大学 移動物体検出装置及び移動物体検出装置用プログラム
JP4845715B2 (ja) 2006-12-22 2011-12-28 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、及び記憶媒体
JP4962304B2 (ja) * 2007-12-26 2012-06-27 株式会社豊田中央研究所 歩行者検出装置
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP5002575B2 (ja) * 2008-11-28 2012-08-15 日本電信電話株式会社 非定常度推定装置、非定常度推定方法、非定常度推定プログラム
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
CN102292726B (zh) 2009-01-23 2014-10-22 日本电气株式会社 视频标识符提取设备
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
JP6120395B2 (ja) * 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
CN104395156B (zh) * 2012-07-03 2017-02-22 歌乐株式会社 车辆周围监视装置
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
CN106415598B (zh) * 2014-05-27 2020-08-28 罗伯特·博世有限公司 用于车载式相机系统的镜头污染的检测、识别和缓解

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050953A1 (en) * 2004-06-18 2006-03-09 Farmer Michael E Pattern recognition method and apparatus for feature selection and object classification
CN102257533A (zh) * 2008-11-19 2011-11-23 歌乐牌株式会社 接近物体检测系统
US20150063628A1 (en) * 2013-09-04 2015-03-05 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments
CN103871076A (zh) * 2014-02-27 2014-06-18 西安电子科技大学 基于光流法和超像素分割的运动目标提取方法
CN104091351A (zh) * 2014-06-27 2014-10-08 无锡慧眼电子科技有限公司 基于聚类法的人数计数方法
CN104881645A (zh) * 2015-05-26 2015-09-02 南京通用电器有限公司 基于特征点互信息量和光流法的车辆前方目标的检测方法

Also Published As

Publication number Publication date
US20180204333A1 (en) 2018-07-19
JP6116765B1 (ja) 2017-04-19
EP3376468B1 (en) 2020-01-29
EP3376468A1 (en) 2018-09-19
WO2017094140A1 (ja) 2017-06-08
EP3376468A4 (en) 2018-10-03
US10643338B2 (en) 2020-05-05
CN108369739B (zh) 2021-07-27
JPWO2017094140A1 (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN104704384B (zh) 具体用于装置的基于视觉的定位的图像处理方法
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9400941B2 (en) Method of matching image features with reference features
EP3309751B1 (en) Image processing device, method, and program
Vedula et al. Three-dimensional scene flow
CN112233177B (zh) 一种无人机位姿估计方法及系统
US8340400B2 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
CN108369739A (zh) 物体检测装置和物体检测方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
CN104848861B (zh) 一种基于图像消失点识别技术的移动设备姿态测量方法
JP2012118666A (ja) 三次元地図自動生成装置
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
Shao A Monocular SLAM System Based on the ORB Features
Ventura et al. P1ac: Revisiting absolute pose from a single affine correspondence
CN114723811A (zh) 一种非结构化环境四足机器人立体视觉定位建图方法
US10855918B2 (en) Image processing device, image processing method, image pickup apparatus, and program storage medium that calculates a matching degree between an estimated target of interest and tracked feature points, then selects a feature point to which tracking is continued according to the matching degree
Rett et al. Autonomous Robot Navigation-A study using Optical Flow and log-polar image representation
Ramli et al. Enhancement of Depth Value Approximation for 3D Image-Based Modelling using Noise Filtering and Inverse Perspective Mapping Techniques for Complex Object
OK Rahmat et al. Enhancement of depth value approximation using noise filtering and inverse perspective mapping techniques for image based modelling
CN117635651A (zh) 一种基于YOLOv8实例分割的动态环境SLAM方法
Janszen et al. Master Thesis Improving robustness of pose estimation in AR using motion segmentation
CN114719759A (zh) 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法
Homainejad Development of an expert system-based object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant