CN102640182A - 被监测对象距离测定装置和搭载了该装置的车辆 - Google Patents
被监测对象距离测定装置和搭载了该装置的车辆 Download PDFInfo
- Publication number
- CN102640182A CN102640182A CN2010800533218A CN201080053321A CN102640182A CN 102640182 A CN102640182 A CN 102640182A CN 2010800533218 A CN2010800533218 A CN 2010800533218A CN 201080053321 A CN201080053321 A CN 201080053321A CN 102640182 A CN102640182 A CN 102640182A
- Authority
- CN
- China
- Prior art keywords
- human body
- mentioned
- head
- height
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种被监测对象距离测定装置(50)和搭载了该装置的车辆(12)。利用了人体探测装置的被监测对象距离测定装置(50),根据图像中的人体候选的尺寸更精准地求出从摄像装置(16)到人体候选在实际空间中的距离。年龄在3岁以上到99岁之间,头部宽度基本上都稳定在约15cm~16cm之间。利用这一特点,根据抽出的图像中的头部的大小和抽出的人体候选区域中的整个高度、整个宽度等人体特征中的至少一个人体特征的大小(例如身高)的比率,推定图像中的人体候选在实际空间中的身高(HT)。再根据推定的实际空间中的身高(HT)和图像中的人体候选的身高,求出从摄像装置到实际空间中的人体候选的距离。
Description
技术领域
本发明涉及一种被监测对象距离测定装置和搭载了该装置的车辆。其中,所述被监测对象距离测定装置利用了人体探测装置,根据摄像装置所拍到的图像,由所述人体探测装置来进行人体探测。
背景技术
对于现有技术中利用了人体探测装置的车辆周围监测装置,其从2台红外线摄像头所拍到的己方车辆周围情况的图像中,抽出具有与己方车辆产生碰撞的可能性的行人等被监测对象,并将该信息提供给己方车辆的驾驶员。
对于上述车辆周围监测装置,将由左右一组红外线摄像头(立体摄像头)所拍到的己方车辆周围情况的图像中的温度较高的部分作为上述被监测对象,通过求出左右图像中的视差来求出到该被监测对象的距离,再从被监测对象的移动方向或被监测对象的位置检测出可能影响己方车辆行驶的被监测对象并发出警报(参照日本发明专利公报特许第3970876号)。
该日本发明专利公报特许第3970876号中记载有如下一种技术:检测出被监测对象的头部候选,判定检测到的头部候选是否大于人体头部的宽度(头部宽度),这样来判别是人体还是人造物体。
但是,如日本发明专利公报特许第3970876号所述,根据视差来检测红外线摄像头的搭载位置到被监测对象之间的距离时存在以下问题:因要搭载2台摄像头,所以会提高装置成本。此外,还要进行仔细调整两个摄像头的光轴的较为繁杂的安装作业。
日本发明专利公报特开2007-213561号中记载有对上述问题进行改善的技术。在所述日本发明专利公报特开2007-213561号所记载的技术中,用搭载在车辆上的单个红外线摄像头相隔规定时间间隔至少对车辆周围的被监测对象拍摄2次(2帧图像)。被监测对象和搭载有车辆周围监测装置的车辆之间的相对速度越高,与上次拍到的图像的大小(尺寸)相比,此次的拍摄图像中的被监测对象的图像的大小(尺寸)的变化就越大。而且,该被监测对象和车辆的相对速度越高,存在于车辆前方的被监测对象到达车辆所在位置的时间就越短。
像这样,可对相隔规定时间间隔的同一被监测对象的图像部分,根据其变化率来推定该被监测对象到达车辆所在位置的时间,通过这样的方法来监测车辆的周围情况。
采用该日本发明专利公报特开2007-213561号所记载的技术时,由于使用单个红外线摄像头,所以与使用2台摄像头的情况相比,既有助于降低装置的成本,还能减少安装到车辆上的安装成本。
作为与本发明相关的现有技术文献,可例举后面将要说明的文献1{日本人体格调查报告书1978年-1981年计测1984年发行经济产业省(通商产业省)工业技术院·财团法人日本规格协会}和文献2{日本人人体计测数据1992年-1994年计测社团法人人类生活工学研究中心(HQL)}。
上述日本发明专利公报特许第3970876号和日本发明专利公报特开2007-213561号所述的车辆周围监测装置,在夜间行驶时,能够将驾驶员的眼睛难以看清的前方行人作为被监测对象检测出来并用图像显示出来。
但是,如图15所示,假设作为被监测对象的在实际空间中的人体候选2在实际空间中的身高Hc为日本人成人平均身高的170[cm]左右,能用固定在车辆前部的摄像头3的焦距F和图像中的人体候选的身高h,依照下式(1)求出从摄像头3的位置、即车辆位置到作为被监测对象的在实际空间中的人体候选2之间的在实际空间中的距离(距离求出值Zc)。
Zc=Hc×F/h=170[cm]×F/h ···(1)
但是与人体候选2相比,在实际空间中的真实人体5的身高比假设的上述人体候选2的身高还高或还矮时,如所述图15所示,作为假定值的身高Hc相对于真实人体5的身高值Htrue会存在高度误差ΔH,此时产生下式(2)所示的距离误差ΔZ(测距误差)。
ΔZ=F×ΔH/h ···(2)
另外,如日本发明专利公报特开2007-213561号所述,其提供了如下一种方法:从不同时刻拍到的2帧图像中求出同一被监测对象的放大率(时间变化率),根据该放大率求出到被监测对象的距离。但该方法存在以下问题:求出距离,要花费一定的时间。
发明内容
鉴于上述情况,本发明的目的在于提供一种被监测对象距离测定装置和搭载了该装置的车辆。所述被监测对象距离测定装置根据图像中的人体候选的尺寸更精准地求出从摄像装置到实际空间中的人体候选(上述图像中推定人体候选2的图像所对应的,在实际空间中的真实人体5)的距离。
本发明的被监测对象距离测定装置利用了人体探测装置,根据摄像装置拍到的图像,由该人体探测装置来进行人体探测。该被监测对象距离测定装置具有:人体候选区域抽出部,由其从上述图像中抽出人体候选区域;基准特征抽出部,由其从所抽出的上述人体候选区域中将整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中预先确定的一个人体特征作为基准特征而抽出;对比特征抽出部,由其从所抽出的上述人体候选区域中将整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中除上述基准特征以外的另一个人体特征作为对比特征而抽出;实际空间中尺寸推定部,由其根据上述基准特征抽出部所抽出的上述基准特征的大小和上述对比特征抽出部所抽出的上述对比特征的大小的比率,来推定上述图像中的人体候选在实际空间中的尺寸;距离求出部,由其根据推定的上述实际空间中的尺寸和上述图像中的人体候选的尺寸,来求出从上述摄像装置到上述实际空间中的上述人体候选的距离。
采用本发明时,由人体候选区域抽出部从摄像装置拍到的图像中抽出人体候选区域,由基准特征抽出部从所抽出的人体候选区域中将整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中预先确定的一个人体特征抽出,同时由对比特征抽出部将除了所抽出的上述基准特征以外的另一个人体特征作为对比特征而抽出。之后由实际空间中尺寸推定部根据上述基准特征的大小和上述对比特征的大小的比率,来推定上述图像中的人体候选在实际空间中的尺寸,根据上述实际空间中尺寸推定部所推定的上述实际空间中人体候选的尺寸和上述图像中的人体候选的尺寸,由距离求出部来求出从上述摄像装置到上述实际空间中的上述人体候选的距离。
像这样,本发明能用简单的结构精准而快速地求出到实际空间中的人体候选的距离。
作为上述基准特征的例子,对于日本人的头部的大小、例如对于头部宽度,从文献1{日本人体格调查报告书1978年-1981年计测1984年发行经济产业省(通商产业省)工业技术院·财团法人日本规格协会}所记载的图而转载的图1中A、图1中B、图1中C和图2所示的日本人体格数据、以及从文献2{日本人人体计测数据1992年-1994年计测社团法人人类生活工学研究中心(HQL)}所记载的图而转载的图3中A、图3中B、图3中C和图4所示的婴幼儿体格数据可知,年龄大致在3岁以上到99岁之间,上述头部宽度基本上都稳定在约15[cm]~16[cm]之间(相对于年龄而言变化很小)。利用这一特点,能够根据基准特征抽出部(起到头部抽出部的作用)所抽出的图像中的头部的大小和由对比特征抽出部抽出的人体候选区域中随着年龄而变化的整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中的至少一个人体特征的大小的比率,由实际空间中尺寸推定部来精准地推定图像中的人体候选在实际空间中的尺寸。再根据所推定的实际空间中的尺寸和图像中的人体候选的尺寸,能够由距离求出部来精准地求出从摄像装置到实际空间中的人体候选的距离。
另外,作为上述基准特征的其他例子,对于日本人的肩部的大小、即肩宽(也称为整个宽度),从文献1{日本人体格调查报告书1978年-1981年计测1984年发行经济产业省(通商产业省)工业技术院·财团法人日本规格协会}所记载的图而转载的图1中A、图1中B、图1中C和图2所示的日本人体格数据、以及从文献2{日本人人体计测数据1992年-1994年计测社团法人人类生活工学研究中心(HQL)}所记载的图而转载的图3中A、图3中B、图3中C和图4所示的婴幼儿体格数据可知,大体上随着年龄的增加而单调地增加。利用这一特点,能够根据基准特征抽出部{这时起到整个宽度(肩宽)抽出部的作用)}所抽出的图像中的肩宽,和由对比特征抽出部抽出的人体候选区域中的随着年龄而变化的整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中至少一个人体特征(实施方式中为对应于整个高度的身高)的大小的比率{实施方式中为(肩宽/身高)},由实际空间中尺寸推定部来精准地推定大致从5岁~99岁的图像中的人体候选在实际空间中的尺寸。再根据所推定的实际空间中的尺寸和图像中的人体候选的尺寸,能够由距离求出部来精准地求出从摄像装置到实际空间中的人体候选的距离。
采用本发明时,因只进行1次拍摄(1帧图像)就能求出距离,所以与前后拍摄2次(2帧图像)而求出距离的日本发明专利公报特开2007-213561号所公开的技术相比,本发明能在更短的时间内求出该距离。还有,由于只用1台摄像装置就能够求出距离,所以与日本发明专利公报特开2007-213561号一样,本发明也能降低成本。
另外,搭载有利用了人体探测装置的被监测对象距离测定装置的车辆,该车辆的该人体探测装置在探测人体时,搭载有具有向驾驶员进行提示的提示部的车辆周围监测装置的车辆也落在本发明的保护范围内。
采用本发明时,能用简单的结构精准而快速地求出到实际空间中的人体候选的距离。
附图说明
图1中A是用于说明7岁以上的人的人体特征的图,图1中B是用于说明7岁以上的人的头部长度和头部高度的图,图1中C是表示年龄在7岁~99岁的人的身高、肩宽、头部高度的体格数据的图表。
图2是表示图1中C的体格数据图表的出处的日本人体格数据的表格。
图3中A是用于说明6岁以下的婴幼儿的人体特征的图,图1中B是用于说明6岁以下的婴幼儿的头部宽度和肩宽的图,图1中C是表示年龄在0岁~6岁的婴幼儿的身高、肩宽、头部宽度的婴幼儿人体格计测值的图表。
图4是表示图3中C的人体计测值图表的出处的婴幼儿数据的表格。
图5是表示组装有利用了本发明一个实施方式的人体探测装置的被监测对象距离测定装置的车辆周围监测装置的结构的框图。
图6是表示搭载有组装了利用图5所示的人体探测装置的被监测对象距离测定装置的车辆周围监测装置的车辆的示意图。
图7是表示在0岁~99岁的各年龄段的身高和头部宽度的平均值数据的表格。
图8是表示在4岁~99岁的各年龄段的身高、头部宽度以及比率(身高/头部宽度)的图表。
图9是用于说明实施方式的动作的流程图。
图10是用于说明第1实施例的动作的图像的说明图。
图11是用于说明实施方式的求出距离的图。
图12是表示在0岁~99岁的各年龄段的身高和肩宽的平均值数据的表格。
图13是表示在4岁~99岁的各年龄段的身高、肩宽以及比率(肩宽/身高)的图表。
图14是用于说明第2实施例的动作的图像的说明图。
图15是用于说明现有技术的求出距离的图。
具体实施方式
下面,参照附图说明本发明的实施方式。
(整体结构)
图5是表示车辆周围监测装置10的结构的框图,其组装有被监测对象距离测定装置50,被监测对象距离测定装置50利用了本发明一个实施方式的人体探测装置。图6是表示搭载有车辆周围监测装置10的车辆12的示意图,车辆周围监测装置10组装有被监测对象距离测定装置50,被监测对象距离测定装置50利用了图5所示的人体探测装置。
在图5和图6中,车辆周围监测装置10具有:图像处理单元14(处理装置),由其控制该车辆周围监测装置10和被监测对象距离测定装置50;红外线摄像头16(摄像装置),其与上述图像处理单元14连接;车速传感器18,由其检测出车辆12的车速Vs;制动传感器20,由其检测出驾驶员操作制动踏板的操作量(制动操作量)Br;横向角速度传感器22,由其检测出车辆12的横向角速度Yr;扬声器24(提示部),其用声音发出警报等;图像显示装置26(提示部),其包含HUD(Head Up Display、平视显示器)26a等,用于显示红外线摄像头16所拍到的图像,以使车辆的驾驶员察觉到发生接触的危险性较高的行人等被监测对象(移动对象)。
作为图像显示装置26,并不局限于HUD26a,也可利用导航系统的显示器。
通过摄有车辆12周围情况的红外线图像和表示车辆行驶状态的信号(此处指车速Vs、制动操作量Br和横向角速度Yr),由图像处理单元14检测出车辆前方的行人等移动物体,判断为发生接触的可能性较高时由扬声器24发出警报。
此处,图像处理单元14具有:A/D变换电路,由其将输入的模拟信号变换为数字信号;图像存储器(存储部14m),由其存储数字化的图像信号;CPU(中央处理装置)14c,由其进行各种运算处理;存储部14m,其包括RAM(Random Access Memory、随机存储器)和ROM(Read Only Memory、只读存储器),所述RAM用于在CPU14c进行运算时存储数据,所述ROM用于存储CPU14c所执行的程序和使用的表格、图(表)等;输出电路,其用于输出扬声器24的驱动信号和图像显示装置26的显示信号等。所述图像处理单元14采用以下结构:来自红外线摄像头16、横向角速度传感器22、车速传感器18和制动传感器20的各个输出信号被变换为数字信号后输出给CPU14c。
由图像处理单元14的CPU14c接收这些数字信号并且执行程序,以实现以下将要说明的各种功能部(有时也被称为功能机构)的功能,向扬声器24和图像显示装置26发出有关警告的驱动信号(声音信号或显示信号)。
在本实施方式中,CPU14c起到人体候选区域抽出部30、人体对比特征抽出部31、人体基准特征抽出部33、实际空间中尺寸推定部34和距离求出部36等的作用。另外,作为人体基准特征抽出部33,其具有头部抽出部32和肩部抽出部37。如下所述,作为第1实施例,其利用头部抽出部32,作为第2实施例,则利用肩部抽出部37。
另外,由图像处理单元14和红外线摄像头16构成本实施方式中的被监测对象距离测定装置50。还有,也可用普通摄像机代替红外线摄像头16。
如图6所示,用于检测出远红外线的红外线摄像头16被设置在己方车辆12的前保险杠上的车宽方向上的中央部。红外线摄像头16具有如下特性:被监测对象的温度越高,其输出信号的强度越高(即,灰度值越大)。
另外,HUD26a设置成在己方车辆12前挡风玻璃上的不妨碍驾驶员视线的位置进行显示。
在本实施方式中,有关于作为人体的行人的随着人体的成长而变化较小的部位(在以下第1实施例中称为人体基准特征)以及变化较大的部位(在以下第1实施例中称为人体对比特征)的比率R,被作为特性(表格或计算式的方式)而预先存储在存储部14m中。在本实施方式的第1实施例中,如上所述,既着眼于作为随着人体的成长而变化较小的部位的头部的宽度,又着眼于随着人体的成长而变化较大的部位的身体的高度,作为上述比率R,通过计算比率R=(身高/头部宽度)得到,并将计算结果存储在存储部14m中。也可以在存储部14m中预先存储比率R的计算式(R=身高/头部宽度)。
另外,为便于理解,对于人体基准特征和人体对比特征,也可以将头部宽度定义为人体对比特征,将身高定义为人体基准特征。
还有,有关于后述的第2实施例的随着人体的成长而变化速度不同的部位的比率R',也作为特性预先存储在存储部14m中。在该第2实施例中,将肩宽称为人体基准特征,而将身高称为人体对比特征,将比率R'=(肩宽/身高)存储在存储部14m中。
如图7所示的表格,是对与从图1中A、图1中B、图1中C和图2所示的日本人体格数据、以及从图3中A、图3中B、图3中C和图4所示的婴幼儿体格数据中所抽出的年龄、身高HT(平均值)、头部宽度(平均值)相对应的第1实施例的比率R(身高/头部宽度的平均值)进行计算,表示有比率R(身高/头部宽度)的图表(表格)60。
图8所示的特性图是对4岁~99岁的各年龄段的人的身高、头部宽度以及求出的第1实施例的比率R(身高/头部宽度)连成曲线而得的图,尤其要注意头部宽度相对于年龄而言变化较小,比率R(身高/头部宽度)的特性Cr大致与身高成正比地变化。
接下来,按照[第1实施例]和[第2实施例]的顺序参照附图来说明本实施方式的动作。
[第1实施例]
图9是用于说明由图像处理单元14完成的检测出行人等被监测对象的动作、推定被监测对象的尺寸和求出距离的动作的流程图。
在图9的步骤S1中,通过图像处理单元14来获取红外线图像,对其进行A/D变换并作为灰度图像存储在存储部14m的图像存储器中。其中,所述红外线图像为红外线摄像头16拍摄的每帧图像中的车辆前方的视野范围内的每帧图像的输出信号。
获取了灰度图像后,在步骤S2中,对其图像信号进行二值图像处理,即进行以下处理:将比用于判别人体灰度的灰度阈值亮的区域作为“1”(白)、暗的区域作为“0”(黑)。对拍到的每帧图像都获取对应于灰度图像的二值图像并存储在存储部14m中。
接下来在步骤S3中,由人体候选区域抽出部30沿x方向(水平方向)上的每条扫描线将二值图像中的“1”(白)变换为游程编码数据,将在y方向上具有重叠部分的线作为一个被监测对象,在该被监测对象的外接四边形上分别标注标签,在图10中,进行标注处理,以用外接四边形围起人体候选区域52。
接下来在步骤S4中抽出被监测对象,首先在步骤S4a中,在帧图像中比标注有标签的人体候选区域52稍大的框区域53(图10中由单点划线围起的区域)中,由人体对比特征抽出部31对该框区域53中的像素从上侧到下侧以及从左侧到右侧扫描像素值进行搜索,较暗区域的“0”像素连续相连时,将该扫描部分判定为图像中的人体候选4和路面51的边界并作为被监测对象的下端OBb。
在腿被裤子遮盖或腿上穿有鞋子而无法从二值图像中进行判别时,从灰度图像中来判别人体候选4和路面51的边界。
从灰度图像中进行判别时,事先求出框区域53的像素的灰度的平均值和灰度方差,例如对框区域53中的图像从上侧到下侧和从左侧到右侧,在每个由多个像素构成的矩形像素组的小区域内计算灰度的平均值和灰度方差,当有灰度方差较低的小区域连续时,作为人体候选4和路面51的边界的被监测对象的下端OBb即可。
接下来在步骤S4b中,接着由人体对比特征抽出部31反向从被监测对象的下端OBb向上侧,对框区域53中的图像从左侧到右侧扫描每个像素进行搜索,当检测出垂直方向上的灰度的水平边缘54的变化区间(二值图像中“1”和“0”组大致连续的区间)时,将该变化区间的扫描部分作为人体候选4和背景的边界边缘的被监测对象的上端OBt。
可以由人体候选4(被监测对象)的下端OBb和上端OBt,求出图像中的人体候选4的身高h的尺寸(由像素数n表示)。
接下来在步骤S5中,由头部抽出部32从二值图像中的作为人体候选4的被监测对象的上端OBt到下侧以及从右侧向左侧沿水平方向进行扫描,抽出作为灰度变化点的并对应于图像中的头部宽度hw的两个垂直边缘56、58。接着计算头部宽度hw的尺寸(由像素数m表示)。通常情况下,因人体的头部62是红外线图像中灰度最高的部分之一,所以“1”值连续,易于精准地检测出头部62的垂直边缘56、58。
接下来在步骤S6中,首先由实际空间中尺寸推定部34求出上述图像中的人体候选4的身高h和头部宽度hw的比率Ri(Ri=h/hw=n/m)。另外,若像素不是正方形,需要预先进行格式化以使其成正方形。接下来参照图8所示的比率R的特性Cr或者图7所示的图表60,由实际空间中尺寸推定部34推定(计算)比率R为求出的比率Ri(R=Ri)时的实际空间中的身高HT(作为实际空间中的人体身高的尺寸)。进行该推定时不参照年龄。
接下来在步骤S7中,根据同于上式(1)的下式(3),依照步骤S7中推定的实际空间中的身高HT、图像中的身高h(长度=像素数×像素长度)和焦距F,由距离求出部36求出到实际空间中的人体候选的距离Zr。
Zr=HT×F/h ···(3)
与参照现有技术的图15说明的求出的一致的身高Hc的假定值、如170[cm]的距离Zc相比,因上述求出的距离Zr是根据无关图8所示的4岁以上的人的大体上不变的数值和作为随10岁到20岁之间的后半段的年龄而变动的变动数值的身高(日本人的平均值:4岁、104.8[cm];20-24岁、170.5[cm];70-79岁、158.6[cm])的比率R而求出的,所以如图11所示,距离误差ΔZ变得较小。身高的计算误差ΔH与实际身高值Htrue相比也变得较小。
接下来在步骤S8中,随着时间的变化从一帧一帧地获取的灰度图像和二值图像中,检测出作为被监测对象的温度较高部分的移动体(移动着的物体),再检测出移动体的移动矢量(速度和方向)。另外,在步骤S8中,根据作为制动传感器20、车速传感器18、横向角速度传感器22的各个输出信号的制动操作量Br、车速Vs、横向角速度Yr和步骤S7中检测出的到被监测对象的距离Zr,由该车辆12的距离求出部36来判定有无与求出距离Zr的被监测对象接触的可能性,如果判定为有接触的可能性,在步骤S9中向驾驶员提供这一信息。具体来讲,既在HUD26a上显示该行人的灰度图像,还通过扬声器24(提示部)发出警报以提示驾驶员,促使车辆12的驾驶员进行规避接触的操作。
像以上所说明的那样,利用了上述第1实施例的人体探测装置的被监测对象距离测定装置50,根据作为摄像装置的一台红外线摄像头16(另外,本发明中,也可以用对可见区域进行拍摄的普通摄像机,但在夜间,优选使用红外线摄像头)所获取的图像进行人体探测时,由人体候选区域抽出部30从图像(二值图像和(或)灰度图像)中抽出人体候选区域52。由构成人体基准特征抽出部33的头部抽出部32从所抽出的人体候选区域52中,根据表面温度较高的头部特有的温度特点来抽出头部62。由人体对比特征抽出部31从所抽出的人体候选区域52中,将整个高度(图1中A的身高)、整个宽度(图1中A的肩宽)、躯干(图1中A的上肢长度)、胳膊(胳膊部长度)、腿(图1中A的下肢长度)等人体特征中的至少一个人体特征作为人体对比特征而抽出(上述实施例1的身高)。根据人体对比特征抽出部31、头部抽出部32所抽出的头部的大小(上述实施例1的头部宽度)和上述至少一个人体特征(上述实施例1的身高)的大小的比率R(上述实施例1中R=身高/头部)并参照图表60,由实际空间中尺寸推定部34来推定上述图像中的人体候选4在实际空间中的尺寸(上述实施例1中为图7、图8、图11中的身高HT)。另外,作为比率,除了头部(基准特征)和身高(对比特征)的比率R以外,例如也可以是头部(人体基准特征)与上肢长度(人体对比特征)、头部(人体基准特征)与下肢长度(腿、人体对比特征)等的比率。
根据所推定的作为实际空间中的尺寸的身高HT和作为图像中的人体候选区域52的尺寸的身高h,能由距离求出部36依照上式(3)求出从作为摄像装置的红外线摄像头16的位置到实际空间中的人体候选2r的距离。
[第2实施例]
如图12所示的表格,是对与从图1中A、图1中B、图1中C和图2所示的日本人体格数据、以及从图3中A、图3中B、图3中C和图4所示的婴幼儿体格数据中所抽出的年龄、身高HT(平均值)、肩宽(平均值)相对应的第2实施例的比率R'(肩宽/身高)进行计算,表示有比率R'(肩宽/身高)的图表(表格)80。
图13所示的特性图是对4岁~99岁的各年龄段的人的身高、肩宽以及求出的第2实施例的比率R'(肩宽/身高)连成曲线而得的图,要注意比率R'(肩宽/身高)的特性Cr'在5岁以上时大致与身高成正比地变化。
对于上述第2实施例,基本沿用图9所示的流程图。步骤S1~S4的处理与之前是相同的,在该步骤S4中,如图14所示,由人体候选4(被监测对象)的下端OBb和上端OBt来计算图像中的人体候选4的身高h的尺寸(由像素数n表示)。
接下来在用于代替步骤S5的步骤S5'中,参照图14进行说明时,通过肩部抽出部37从二值图像中的作为人体候选4的被监测对象的上端OBt到下侧以及从右侧向左侧沿水平方向进行扫描,抽出灰度变化点所对应的于图像中的整个宽度(最大宽度)的肩部72、73的肩宽sw的两个垂直边缘76、78。接着计算肩宽sw的尺寸(由像素数p表示)。另外,在其露出在外时(例如穿着无袖上衣时等),因人体肩部72、73的肩宽sw是红外线图像中灰度最高的部分之一,所以“1”值连续,易于精准地检测出肩部72、73的两个垂直边缘76、78。
另外,作为上衣,在穿着T恤衫或半袖衫时,可将胳膊关节附近的胳膊部的两个外侧部作为肩部72、73的两个垂直边缘76、78同样也能精准地检测出来。因此在夏季等较热的时候人们穿得较薄时,该第2实施例能较好地被应用。
接下来在步骤S6中,首先由实际空间中尺寸推定部34求出上述图像中的人体候选4的身高h和肩宽sw的规定的比率Ri'{Ri'=(h/hw)=(n/p)}。另外,若像素不是正方形,需要预先进行格式化以使其成正方形。
接下来参照图13所示的比率R'的特性Cr'或者图12所示的图表80,由实际空间中尺寸推定部34推定(计算)比率R'为求出的比率Ri'(R'=Ri')时的实际空间中的身高HT(作为实际空间中的人体身高的尺寸)。进行该推定时不参照年龄。
接下来在步骤S7中,根据上式(3),依照步骤S6中推定的实际空间中的身高HT、图像中的身高h(长度=像素数×像素长度)和焦距F,由距离求出部36求出到实际空间中的人体候选的距离Zr。
即使在此时,与参照现有技术的图15说明的求出的一致的身高Hc的假定值、如170[cm]的距离Zc相比,所求出的距离Zr的距离误差ΔZ也变得较小。因此,身高的计算误差ΔH与实际身高值Htrue相比也变得较小。
在上述第2实施例中,从5岁到20岁左右,将比率R'的特性Cr'作近似直线处理,参照特性Cr''来计算对应于所求出的Ri'的实际空间中的身高HT。例如R'=Ri'=0.252t时,身高HT能推定(计算)为HT≈152[cm]。
此时,若所求出的比率Ri'>0.262时,如特性Cr''的水平线部(从20岁到99岁)所示,可以变形为R'=0.262以计算实际空间中的身高。即,作为用虚线表示的特性Cr'',改写图12的比率R'一栏即可。
之所以将比率R'的最大值设为0.262,是由于99岁时的比率R'的数值超过了0.262。
考虑到学龄前婴幼儿、尤其是在夜间等很少一个人在行车道旁行走,因而在上述第2实施例中,即使利用特性Cr'或特性Cr″求出到人体候选的距离Zr,从实用角度来讲也具有明显的效果。
另外,本发明并不局限于上述实施方式,可以根据该说明书记载的内容而采用各种可能的结构。
例如,在上述第1实施例中,根据体格数据中的头部和身高的比率R检测出头部时对身高HT进行了推定,而在第2实施例中,根据肩宽和身高的比率R'检测出肩部时对身高HT进行了推定。但如上所述,也可在检测出其他部位、如躯干(图1中A的上肢长度)、胳膊(胳膊部长度)、腿(图1中A的下肢长度)时(检测出多个部位时),判断为是人体候选的可靠性较高。而且,当检测出多个人体候选时,也可根据可靠性较高的人体候选来求出距离。
还有,在上述实施方式中,以整个高度、整个宽度、躯干、胳膊、腿、头部作为人体特征,但也可以根据上述以外的部位、如腿的尺寸、小腿长度、手的尺寸等求出距离。
另外,在上述实施方式中,用一台红外线摄像头(也可以是普通的摄像机)、即所谓的单眼摄像装置来求出距离,但是也可以用2台红外线摄像头(也可以是普通的摄像机)、即所谓的复眼摄像装置来求出距离。而且,如上所述,因即使用单眼摄像装置也能由一帧图像求出距离,所以能迅速地检测出被监测对象。
Claims (4)
1.一种被监测对象距离测定装置(50),其利用了人体探测装置,根据摄像装置(16)所拍到的图像,由所述人体探测装置来进行人体探测,其特征在于,所述被监测对象距离测定装置(50)具有:
人体候选区域抽出部(30),由其从上述图像中抽出人体候选区域(52);
基准特征抽出部(33),由其从所抽出的上述人体候选区域(52)中将整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中,预先确定的一个人体特征作为基准特征而抽出;
对比特征抽出部(31),由其从所抽出的上述人体候选区域(52)中将整个高度、整个宽度、躯干、胳膊、腿、头部等人体特征中除上述基准特征以外的另一个人体特征作为对比特征而抽出;
实际空间中尺寸推定部(34),由其根据上述基准特征的大小和上述对比特征的大小的比率(R),来推定上述图像中的人体候选在实际空间中的尺寸;
距离求出部(36),由其根据推定的上述实际空间中的人体候选的尺寸和上述图像中的人体候选的尺寸,来求出从上述摄像装置(16)到上述实际空间中的上述人体候选的距离。
2.如权利要求1所述的被监测对象距离测定装置,其特征在于,
上述基准特征为上述头部(62),上述对比特征为上述整个高度。
3.如权利要求1所述的被监测对象距离测定装置,其特征在于,
上述基准特征为上述整个宽度,上述对比特征为上述整个高度。
4.一种搭载有权利要求1~3的任意一项所述的被监测对象距离测定装置(50)的车辆(12),其特征在于,
该车辆(12)具有提示部(24、26),当上述人体探测装置探测到人体时,由该提示部(24、26)来提示驾驶员。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-267793 | 2009-11-25 | ||
JP2009267793 | 2009-11-25 | ||
JP2010-090407 | 2010-04-09 | ||
JP2010090407 | 2010-04-09 | ||
PCT/JP2010/068253 WO2011065149A1 (ja) | 2009-11-25 | 2010-10-18 | 対象物距離測定装置及び当該装置が搭載された車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102640182A true CN102640182A (zh) | 2012-08-15 |
CN102640182B CN102640182B (zh) | 2014-10-15 |
Family
ID=44066254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080053321.8A Active CN102640182B (zh) | 2009-11-25 | 2010-10-18 | 被监测对象距离测定装置和搭载了该装置的车辆 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8983123B2 (zh) |
EP (1) | EP2506211B1 (zh) |
JP (1) | JP5258977B2 (zh) |
CN (1) | CN102640182B (zh) |
WO (1) | WO2011065149A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5642785B2 (ja) * | 2010-06-07 | 2014-12-17 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP5663411B2 (ja) * | 2011-06-14 | 2015-02-04 | 本田技研工業株式会社 | 測距装置 |
JP5760090B2 (ja) * | 2011-09-28 | 2015-08-05 | 本田技研工業株式会社 | 生体認識装置 |
CN102431485B (zh) * | 2011-10-13 | 2013-04-17 | 中国人民解放军总后勤部军需装备研究所 | 一种车载式非接触三维人体自动测量系统 |
WO2013136827A1 (ja) * | 2012-03-12 | 2013-09-19 | 本田技研工業株式会社 | 車両周辺監視装置 |
TW201425871A (zh) * | 2012-12-21 | 2014-07-01 | Zong Jing Investment Inc | 測距方法及電腦程式產品 |
US11615460B1 (en) | 2013-11-26 | 2023-03-28 | Amazon Technologies, Inc. | User path development |
US9444988B2 (en) * | 2014-01-23 | 2016-09-13 | Kiomars Anvari | Fast image sensor for body protection gear or equipment |
JP6428144B2 (ja) * | 2014-10-17 | 2018-11-28 | オムロン株式会社 | エリア情報推定装置、エリア情報推定方法、および空気調和装置 |
US11205270B1 (en) | 2015-03-25 | 2021-12-21 | Amazon Technologies, Inc. | Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility |
US10810539B1 (en) | 2015-03-25 | 2020-10-20 | Amazon Technologies, Inc. | Re-establishing tracking of a user within a materials handling facility |
US10586203B1 (en) * | 2015-03-25 | 2020-03-10 | Amazon Technologies, Inc. | Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility |
US10679177B1 (en) | 2015-03-25 | 2020-06-09 | Amazon Technologies, Inc. | Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility |
US9896022B1 (en) * | 2015-04-20 | 2018-02-20 | Ambarella, Inc. | Automatic beam-shaping using an on-car camera system |
KR20160126802A (ko) * | 2015-04-24 | 2016-11-02 | 삼성전자주식회사 | 인체 정보를 측정하는 방법 및 그 전자 장치 |
JP6627680B2 (ja) * | 2016-07-27 | 2020-01-08 | 株式会社Jvcケンウッド | 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム |
US9891625B1 (en) * | 2016-11-20 | 2018-02-13 | Veripat, LLC | Vehicle with autonomous feature override for theft prevention |
US11328513B1 (en) | 2017-11-07 | 2022-05-10 | Amazon Technologies, Inc. | Agent re-verification and resolution using imaging |
US11186295B2 (en) * | 2017-12-22 | 2021-11-30 | Veripat, LLC | Vehicle with escape feature using synthesized vehicle view |
JP7003972B2 (ja) * | 2019-06-11 | 2022-01-21 | トヨタ自動車株式会社 | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム |
CN110488811B (zh) * | 2019-07-22 | 2023-04-07 | 上海有个机器人有限公司 | 一种基于社交网络模型的机器人对行人轨迹预测的方法 |
US10991130B2 (en) * | 2019-07-29 | 2021-04-27 | Verizon Patent And Licensing Inc. | Systems and methods for implementing a sensor based real time tracking system |
JP2021026265A (ja) * | 2019-07-31 | 2021-02-22 | 富士通株式会社 | 画像処理装置、画像処理プログラム、及び画像処理方法 |
CN116107394B (zh) * | 2023-04-06 | 2023-08-04 | 合肥联宝信息技术有限公司 | 调整方法、装置、电子设备及存储介质 |
CN116953680B (zh) * | 2023-09-15 | 2023-11-24 | 成都中轨轨道设备有限公司 | 一种基于图像的目标物实时测距方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101016053A (zh) * | 2007-01-25 | 2007-08-15 | 吉林大学 | 高等级公路上车辆防追尾碰撞预警方法和系统 |
CN101038153A (zh) * | 2007-01-15 | 2007-09-19 | 中国北方车辆研究所 | 一种三点定标测量方法 |
JP4062306B2 (ja) * | 2004-12-15 | 2008-03-19 | 日産自動車株式会社 | 画像処理装置、および方法 |
CN100567891C (zh) * | 2007-02-16 | 2009-12-09 | 北京航空航天大学 | 基于双目视觉的车载环境及距离测量系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4135123B2 (ja) * | 1998-05-13 | 2008-08-20 | 日産自動車株式会社 | 表示処理装置 |
DE10301468B4 (de) * | 2002-01-18 | 2010-08-05 | Honda Giken Kogyo K.K. | Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs |
DE102005056647B4 (de) * | 2004-11-30 | 2011-02-03 | Honda Motor Co., Ltd. | Fahrzeugumgebungsüberwachungsvorrichtung |
JP3970876B2 (ja) | 2004-11-30 | 2007-09-05 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4970926B2 (ja) * | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4267657B2 (ja) * | 2006-10-31 | 2009-05-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2009088709A (ja) * | 2007-09-27 | 2009-04-23 | Fujifilm Corp | 身長推定装置及び撮影装置 |
EP2227406B1 (en) | 2007-11-12 | 2015-03-18 | Autoliv Development AB | A vehicle safety system |
-
2010
- 2010-10-18 JP JP2011543170A patent/JP5258977B2/ja not_active Expired - Fee Related
- 2010-10-18 WO PCT/JP2010/068253 patent/WO2011065149A1/ja active Application Filing
- 2010-10-18 US US13/511,074 patent/US8983123B2/en active Active
- 2010-10-18 EP EP10832996.2A patent/EP2506211B1/en not_active Not-in-force
- 2010-10-18 CN CN201080053321.8A patent/CN102640182B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4062306B2 (ja) * | 2004-12-15 | 2008-03-19 | 日産自動車株式会社 | 画像処理装置、および方法 |
CN101038153A (zh) * | 2007-01-15 | 2007-09-19 | 中国北方车辆研究所 | 一种三点定标测量方法 |
CN101016053A (zh) * | 2007-01-25 | 2007-08-15 | 吉林大学 | 高等级公路上车辆防追尾碰撞预警方法和系统 |
CN100567891C (zh) * | 2007-02-16 | 2009-12-09 | 北京航空航天大学 | 基于双目视觉的车载环境及距离测量系统 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011065149A1 (ja) | 2013-04-11 |
CN102640182B (zh) | 2014-10-15 |
US8983123B2 (en) | 2015-03-17 |
JP5258977B2 (ja) | 2013-08-07 |
EP2506211B1 (en) | 2014-05-07 |
US20120281878A1 (en) | 2012-11-08 |
EP2506211A4 (en) | 2013-05-22 |
EP2506211A1 (en) | 2012-10-03 |
WO2011065149A1 (ja) | 2011-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102640182B (zh) | 被监测对象距离测定装置和搭载了该装置的车辆 | |
JP4631096B2 (ja) | 車両周辺監視装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
CN102203837B (zh) | 车辆周围监测装置 | |
JP5096836B2 (ja) | 車両の周囲を画像化する方法およびそのためのシステム | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
US20170196482A1 (en) | Rehabilitation assistance system | |
JP6583734B2 (ja) | 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム | |
CN106030679A (zh) | 车辆周围监视装置 | |
JP2016520891A5 (zh) | ||
CN102007521B (zh) | 车辆周围监测装置 | |
JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
US8660737B2 (en) | Vehicle handling assistant apparatus | |
JP2007011815A (ja) | ドライビングレコーダ | |
JP2010286926A (ja) | 周辺監視装置 | |
JPH04113213A (ja) | 車間距離検出装置 | |
US20200218065A1 (en) | Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method | |
JP2011227029A (ja) | 車両の周辺監視装置 | |
JPH05157558A (ja) | 車間距離検出装置 | |
CN105021573A (zh) | 用于基于跟踪的视距估计的方法和设备 | |
JP6466679B2 (ja) | 物体検出装置 | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP3994954B2 (ja) | 物体検出装置及び物体検出方法 | |
CN102906801A (zh) | 车辆周围监测装置 | |
JP2007003462A (ja) | 視線認識装置、及び視線認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |