CN115943287A - 车辆姿态推断系统及车辆姿态推断方法 - Google Patents

车辆姿态推断系统及车辆姿态推断方法 Download PDF

Info

Publication number
CN115943287A
CN115943287A CN202180050480.0A CN202180050480A CN115943287A CN 115943287 A CN115943287 A CN 115943287A CN 202180050480 A CN202180050480 A CN 202180050480A CN 115943287 A CN115943287 A CN 115943287A
Authority
CN
China
Prior art keywords
region
vehicle
distance
image
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180050480.0A
Other languages
English (en)
Inventor
于子涵
安川贵清
入江耕太
门司龙彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN115943287A publication Critical patent/CN115943287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/40—Sensor arrangements; Mounting thereof
    • B62J45/41—Sensor arrangements; Mounting thereof characterised by the type of sensor
    • B62J45/415—Inclination sensors
    • B62J45/4151—Inclination sensors for sensing lateral inclination of the cycle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/40—Sensor arrangements; Mounting thereof
    • B62J45/41—Sensor arrangements; Mounting thereof characterised by the type of sensor
    • B62J45/415—Inclination sensors
    • B62J45/4152—Inclination sensors for sensing longitudinal inclination of the cycle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

本发明提供一种利用车载摄像机来推断车辆的姿态的车辆姿态推断系统及车辆姿态推断方法，该车辆姿态推断系统及车辆姿态推断方法能够准确地推断车辆的倾斜角度而不受行驶场所或环境影响。本发明的特征在于，具有：区域设定部，其在由车辆上搭载的测距装置获取到的与路面相对应的测定区域内设定第一区域和与所述第一区域同一水平线上的第二区域；距离算出部，其算出从所述车辆起到所述第一区域及所述第二区域各自的路面为止的距离；以及倾斜角算出部，其根据到所述第一区域及所述第二区域各自的路面为止的距离以及所述第一区域及所述第二区域的位置关系来求所述车辆的倾斜角。

Description

车辆姿态推断系统及车辆姿态推断方法
技术领域
本发明涉及一种推断车辆的姿态的车辆姿态推断系统及车辆姿态推断方法，尤其涉及一种有效运用于摩托车的倾斜角度的推断的技术。
背景技术
为了防止交通事故于未然，业界在引入面向摩托车的安全辅助系统ADAS(Advanced Driver Assistance Systems)。例如，利用车载摄像机来进行车辆周边的监视或车辆识别而有效用于提醒(报警)和碰撞规避等。
摩托车的操舵机制不同于汽车，尤其是在改变行进方向时，要使车体左右倾斜来转弯。因此，由车载摄像机拍摄到的图像数据也发生倾斜。以往的摄像机影像处理中没有以倾斜的影像为前提，所以对识别性能造成大的影响。
为了获得稳定的识别性能，有将市售的倾斜传感器给出的倾斜信息输入至摄像机而使用该倾斜信息来修正准确的被摄体偏斜的方法。例如，在专利文献1揭示的技术中，根据由检测摄像部的物理偏斜的传感器检测到的摄像部的偏斜来进行图像处理。
此外，专利文献2～4中揭示了根据由摄像单元拍摄到的图像数据来检测车体倾斜角度的技术。
在专利文献2中，提取从拍摄摩托车前方的摄像机装置依序输出的摄影图像中包含的道路与天空的交界线并算出与车辆摄像机的水平基准线的相对角度。
此外，在专利文献3揭示的技术中，根据图像数据来生成表示多个像素的亮度梯度方向的频数分布的亮度梯度方向直方图，使用亮度梯度方向直方图来确定对应于重力方向即垂直方向的边缘的亮度梯度方向以及对应于与重力方向正交的方向即水平方向的边缘的亮度梯度方向，使用所确定的垂直方向的边缘的所述亮度梯度方向或者水平方向的边缘的所述亮度梯度方向中的至少一者来推断倾斜角。
此外，在专利文献4揭示的技术中，根据垂直方向平均梯度和水平方向平均梯度来推断车辆的倾斜角，所述垂直方向平均梯度是借助从图像数据中检测多条直线的直线检测单元来算出垂直方向的直线相对于图像数据的垂直轴的平均梯度，所述水平方向平均梯度是借助从图像数据中检测多条直线的直线检测单元来算出水平方向的直线相对于水平轴的平均梯度。
现有技术文献
专利文献
专利文献1：日本专利第4950290号公报
专利文献2：日本专利特开2015-227082号公报
专利文献3：国际公开第2017/104712号
专利文献4：日本专利特开2015-58915号公报
发明内容
发明要解决的问题
在上述专利文献1中，是根据由检测倾斜的专用传感器检测到的摄像部的偏斜来进行图像处理，所以须将专用传感器安装在车体上。若没有专用传感器，则难以实现准确的偏斜修正。
此外，在使用识别用的车辆摄像机的情况下，在上述专利文献2～4揭示的技术中，只要不是在规定的限制条件下，便无法推断车辆的倾斜角。
在专利文献2～4中，须提取用于倾斜角度的算出的地平线和路旁的交通信号灯及楼宇以及道路上的人行横道等人造物。但在弯道行驶中，有时会因摩托车的倾斜而导致作为对象的人造物未映现在摄影图像中。在这样的环境下无法运用专利文献2～4的技术。
例如，在夜间就变为能获取近距离的路面和远方的路灯等发光体但难以获取建筑物的轮廓线和地平线等的图像的状态。因此，有可能产生无法根据摄影图像来求倾斜角的问题。
因此，本发明的目的在于提供一种利用车载摄像机来推断车辆的姿态的车辆姿态推断系统及车辆姿态推断方法，该车辆姿态推断系统及车辆姿态推断方法能够准确地推断车辆的倾斜角度而不受行驶场所或环境影响。
解决问题的技术手段
为解决上述问题，本发明的特征在于，具有：区域设定部，其在由车辆上搭载的测距装置获取到的与路面相对应的测定区域内设定第一区域和与所述第一区域同一水平线上的第二区域；距离算出部，其算出从所述车辆起到所述第一区域及所述第二区域各自的路面为止的距离；以及倾斜角算出部，其根据到所述第一区域及所述第二区域各自的路面为止的距离以及所述第一区域及所述第二区域的位置关系来求所述车辆的倾斜角。
此外，本发明的特征在于，在由车辆上搭载的测距装置获取到的与路面相对应的测定区域内设定第一区域和与所述第一区域同一水平线上的第二区域，算出从所述车辆起到所述第一区域及所述第二区域各自的路面为止的距离，根据到所述第一区域及所述第二区域各自的路面为止的距离以及所述第一区域及所述第二区域的位置关系来求所述车辆的倾斜角。
发明的效果
根据本发明，可以实现一种利用车载摄像机来推断车辆的姿态的车辆姿态推断系统及车辆姿态推断方法，该车辆姿态推断系统及车辆姿态推断方法能够准确地推断车辆的倾斜角度而不受行驶场所或环境影响。
上述以外的课题、构成以及效果将通过以下实施方式的说明来加以明确。
附图说明
图1为表示本发明的实施例1的车辆姿态推断系统的框图。
图2为表示图1的图像处理部的框图。
图3为概念性地表示图2的视差运算部中的视差运算处理的图。
图4为表示本发明的实施例1的摩托车的倾斜角度(侧倾角)的图。
图5为表示图2的车辆姿态推断部中的处理的流程图。
图6为表示本发明的实施例1的检测区域设定的图。
图7为表示本发明的实施例1的倾斜角度算出处理的流程图。
图8为表示本发明的实施例1的检测区域设定(正往右倾斜的状态)的图。
图9为表示图8中的倾斜角度(侧倾角)的推断处理的图。
图10为表示本发明的实施例2的摩托车的倾斜角度(纵倾角)的图。
图11为表示本发明的实施例2的倾斜角度算出处理的流程图。
图12为表示本发明的实施例2的检测区域设定的图。
图13为表示本发明的实施例3的倾斜角度算出处理的流程图。
图14为表示本发明的实施例3的道路形状的推断处理的图。
具体实施方式
下面，使用附图，对本发明的实施例进行说明。再者，各附图中对同一构成标注同一符号，重复的部分则省略其详细说明。
实施例1
首先，参考图1至图9，对本发明的实施例1的车辆姿态推断系统及车辆姿态推断方法进行说明。本实施例是根据视差数据来推断车体的倾斜角度(侧倾角φ)的情况的一例。
图1为表示本实施例的车辆姿态推断系统的构成的框图。在本实施例的车辆姿态推断系统中，如图1所示，车辆100具备摄像部101、图像处理部102、物体识别部103、车辆控制部104、警报通知部105以及行驶系统控制部106。
摄像部101连接于左摄像机11和右摄像机12这2个摄像机，拍摄车辆100外界的图像并将拍摄到的图像传送至图像处理部102。再者，图1中展示的是摄像机11、12设置在车辆100前部而拍摄车辆100前方的图像的例子，但也可设置在车辆100后部而拍摄后方的图像，也可设置在车辆100前部及后部两方而拍摄前后的图像。
图像处理部102根据由摄像机11、12及摄像部101拍摄到的图像来生成识别处理中使用的图像，并将图像相关的信息传送至物体识别部103。
物体识别部103根据从图像处理部102传送的图像信息有关的信息来识别行驶车道、目标车辆、道路标识、行人等，并将物体识别相关的信息传送至车辆控制部104。
车辆控制部104从图像处理部102、物体识别部103、警报通知部105以及行驶系统控制部106获取各种信息(车辆100的行驶速度、制动器的工作状态等)，并对获取到的信息与预先设定的最大倾斜角度、最高车辆速度等信息进行比较。继而，向图像处理部102、物体识别部103、警报通知部105以及行驶系统控制部106各部提供恰当的动作信息(警报通知、显示、控制等)。
此外，车辆控制部104根据摄影图像及车辆行驶有关的信息将警告信息传送至警报通知部105，而且将车辆100的制动有关的舵角和减速量等传送至行驶系统控制部106。
警报通知部105从车辆控制部104接收车辆100的行驶状态有关的警告，通过使用液晶面板等的图像显示或者使用扬声器等的语音或警告音振动来提醒驾驶员注意。
行驶系统控制部106根据从车辆控制部104传送的车辆100的行驶状态有关的减速量的信息来进行刹车制动等。
另外，上述构成展示本发明的一例，本发明的构成并不限于上述构成。
图2为表示图1的图像处理部102的构成的框图。图像处理部102中配备有图像生成部201、视差运算部202、车辆姿态推断部203以及倾斜角度管理部204。
在图像生成部201中，剪取进行了由左摄像机11和右摄像机12及摄像部101拍摄到的图像的去噪、畸变修正、旋转处理等之后的图像，生成识别处理中使用的边缘图像和深浅图像，并保存至(未图示的)存储器的生成图像保持部。只要是识别处理所需的图像，也不特别限制其他图像。
在视差运算部202中，根据在图像生成部201中对由左摄像机11和右摄像机12及摄像部101拍摄到的图像进行去噪、畸变修正、旋转处理等之后的图像数据来求由2个摄像机拍摄到的图像的视差，并将该视差转换为距离。
在车辆姿态推断部203中，生成视差图像。利用视差图像的距离数据，在行驶中的路面的规定距离内推断车辆倾斜角度。
在倾斜角度管理部204中进行以下处理，即，进行由车辆姿态推断部203求出的车辆倾斜角与由摄像机11、12拍摄到的图像的关联，使用倾斜的侧倾角来旋转摄影图像，使用倾斜的纵倾角来剪取摄影图像。继而，在图像生成部201中使用修正后的摄影图像来生成输入至物体识别部103的图像。
图3概念性地展示图2的视差运算部202中的视差运算处理。考虑以左摄像机11和右摄像机12来拍摄测量对象物10的图像的情况。利用左摄像机11的二维传感器21来拍摄测量对象物10的左图像31，利用右摄像机12的二维传感器22来拍摄测量对象物10的右图像32。将右摄像机12所拍摄到的右图像32作为基准图像，并定义例如5像素×5像素这样的基准块图像42。
块图像的尺寸不限于该例。
另一方面，以与基准块图像42相同的纵位置(Y坐标)和横位置(X坐标)为基准在左摄像机11所拍摄到的左图像31中选择探索宽度(例如128像素)的参考图像41。其后，计算基准块图像42与参考图像41的差分。计算方法的种类有几种，而本实施例中是使用作为其代表例的SAD(Sum of Absolute Difference)来进行下式(1)的计算。
[数式1]
Figure BDA0004080349400000071
其中，I为参考图像41中的图像块(例如5×5像素)，T为基准块图像42的图像数据，i、j为图像块内的坐标。为了算出1个视差，一边以每次1像素的方式挪动参考图像41的参考位置一边进行探索宽度程度的运算，探索SAD值达到最小的位置。
在左图像31中被拍摄到参考图像41的位置。结果，基准块图像42的位置与参考图像41产生视差S。在成为测量对象物10的前方的车辆离左摄像机11和右摄像机12近的情况下，该视差S的值大，在成为测量对象物10的前方的车辆离左摄像机11和右摄像机12远的情况下，该视差S的值小。在整个图像中求如此求出的视差S。可以使用该视差S而以三角测量的原理来测定到左摄像机11和右摄像机12为止的距离。在利用光轴平行、基线距离为B(m)、焦距为f(像素)的摄像机拍摄到某一对象物时，根据视差S而以下式(2)求出距离Ds。
[数式2]
Figure BDA0004080349400000072
图4为表示计算车辆100的倾斜角度(侧倾角φ)的原理的图。在车辆100的水平状态(侧倾角φ＝0度)下，连结车辆整体的重心与轮胎接地面的中心的线与地面成直角。在使车体倾斜时，产生侧倾角φ。利用沿重心左右移动的侧倾方向搭载于车辆100上的左摄像机11、右摄像机12的视差数据来检测伴随侧倾方向的旋转而来的到前方路面为止的距离，根据检测到的距离来算出并输出车辆侧倾角(φ)。
图5为表示图2的车辆姿态推断部203中的处理的流程图。如图5所示，进行以下处理：首先，在步骤S501中获取到视差图像后，在步骤S502中设定检测区域，在步骤S503中根据步骤S502中设定的区域来算出距离，在步骤S504中进行使用各检测区域的距离来推断倾斜角度的处理。下面，也参考图6，对各处理进行具体说明。图6展示了视差图像600中设定的检测区域的一例。
在步骤S501中，获取由图像处理部102的视差运算部202计算出的视差图像。通过颜色的深浅将到测量对象物10为止的距离信息可视化之后的图像就是图6的视差图像600。视差图像中，距离近的显白，距离远的显黑。
然后，在步骤S502中，在视差图像600中设定检测区域。另外，在图6的例子中，在视差图像600的下部区域中与路面相对应的区域内设置第一区域601和设置于同一水平线上(相同Y坐标)的第二区域602。第一区域601和第二区域602是测定到各自的路面为止的距离的区域，所以较理想设定在近距离的路面上。
此外，须以第一区域601与第二区域602的纵横尺寸呈相同大小的方式进行设定。若过于减小第一区域601和第二区域602的尺寸(例如1像素)，则算出距离时的精度有可能变差。因此，在本实施例中定义纵9像素、横9像素这样的检测区域，将第一区域601的中心坐标611设为(x1,y1)，将第二区域602的中心坐标612设为(x2,y1)。也可在不脱离本发明的主旨的范围内酌情变更检测区域的尺寸。
然后，在步骤S503中进行算出到映现在第一区域601、第二区域602各者中的路面为止的距离的处理。到路面为止的距离是取各检测区域内的距离的平均值。在本实施例中，要考虑视差数据的噪声影响，所以按距离由近到远的顺序排列检测区域的视差数据，根据去掉最近距离的数据和最远距离的数据后的数据来算出距离的平均值，将该算出结果作为检测区域的代表距离。
由此，能够排除噪声的影响，从而能稳定地求出检测距离。再者，检测距离的算出方法不限定于此，也可采用根据标准偏差等来算出检测区域内的距离的方法。
然后，在步骤S504中，使用到第一区域601及第二区域602内的各自的路面为止的距离来算出(推断)倾斜角度。使用图7，对步骤S504中的处理进行详细说明。
图7为表示图5的步骤S504倾斜角算出处理的详情的流程图。
首先，在步骤S701中，获取根据第一区域601和第二区域602算出的距离。
接着，在步骤S702中，对获取到的第一区域距离与第二区域距离进行比较，判断两者是否为同值。若两者为同值(否)，则相对于车辆100的行进方向而呈水平状态，所以转移至步骤S707，将倾斜角度即侧倾角0度作为步骤S504的输出。
另一方面，若两者不同(是)，则相对于车辆100的行进方向而呈往左侧或右侧倾斜的状态。例如，在根据第一区域601算出的距离比根据第二区域602算出的距离大的情况下，车辆100呈往右侧方向倾斜的状态。
反过来，在根据第二区域602算出的距离比根据第一区域601算出的距离大的情况下，车辆100呈往左侧方向倾斜的状态。在车辆100倾斜的情况下，转移至步骤S703，将检测区域的距离大的一方设定为基准值(基准距离)，并设定与距离小的检测区域相同的中心坐标、相同的尺寸的第三区域。
图8为表示视差图像800中第一区域801的检测距离比第二区域802的检测距离大的情况的一例。将第一区域801的检测距离设定为基准值，将第三区域803的纵横尺寸设定为与第二区域802相同的大小，将第三区域803的中心坐标813配置在与第二区域802的中心坐标812相同的位置(x2,y1)。
然后，在步骤S704中，将第三区域803的位置坐标往第二区域802的正上方向挪动1像素而再次计算第三区域803的距离。
接着，转移至步骤S705，对基准距离(第一区域801的检测距离)与第三区域803的距离进行比较。在第三区域803的距离小于基准值(第一区域801的检测距离)的情况下(是)，返回至步骤S704而重复步骤S704的处理。再者，也可在不脱离本发明的主旨的范围内酌情变更往正上方向挪动的尺寸。
另一方面，在第三区域803的距离大于或等于基准值(第一区域801的检测距离)的情况下(否)，转移至步骤S706，如图9所示，在视差图像900中使用第一区域901的中心坐标911(x1,y1)、第二区域902的中心坐标912(x2,y1)以及第三区域903的中心坐标913(x2,y2)，借助下述式(3)而根据各中心坐标来算出车辆100的倾斜角(侧倾角度φ)。
[数式3]
Figure BDA0004080349400000101
此处，Δx＝x2－x1，Δy＝y2－y1。
将步骤S504中算出的倾斜角信息传送至各部。
在倾斜角度管理部204中，进行由车辆姿态推断部203求出的车辆倾斜角度(侧倾角度φ)与由摄像机11、12拍摄到的图像的关联，使用倾斜的侧倾角度进行摄像的图像旋转处理。
图像处理部102将车辆倾斜信息(侧倾角度φ)传送至物体识别部103，对识别用世界坐标系、摄像机坐标系、图像坐标系、SfM(Structure from Motion)等的位置进行修正，进行更高精度的识别。
此外，预先设定有车辆100的针对倾斜角度和行驶路径的最大倾斜角度、最高车辆速度，结合所传送的车辆倾斜信息(侧倾角度φ)由车辆控制部104进行判定。进行将危险的倾斜角告知驾驶员、对车辆100的速度进行控制等处理。
根据以上说明过的本实施例的车辆姿态推断系统，能够准确地推断车辆的倾斜角度(侧倾角度φ)而不受行驶环境限定，所以能根据恰当的识别处理来实现修正。此外，可以使用倾斜角在图像生成部201中进行旋转摄影图像的处理。
另外，本实施例中对使用拍摄前方的摄像部101来测定到路面为止的距离的例子进行了说明，但如上所述，也可设为使用车辆100上设置的后摄像机来测定到路面为止的距离而生成车辆倾斜角度信息的构成。
换句话说，本实施例的车辆姿态推断系统具有：区域设定部(车辆姿态推断部203的步骤S502)，其在由车辆100上搭载的测距装置(摄像机11、12及摄像部101)获取到的与路面相对应的测定区域(视差图像600)内设定第一区域601和与第一区域601同一水平线上的第二区域602；距离算出部(车辆姿态推断部203的步骤S503)，其算出车辆100起到第一区域601及第二区域602各自的路面为止的距离；以及倾斜角算出部(车辆姿态推断部203的步骤S504)，其根据到第一区域601及第二区域602各自的路面为止的距离以及第一区域601及第二区域602的位置关系来求车辆100的倾斜角度(侧倾角度φ)。
此外，如图9所示，在倾斜角算出部(车辆姿态推断部203的步骤S504)中，探索具有与第一区域901或第二区域902相同的距离的区域，作为在与第一区域901及第二区域902相同的水平线上的第三区域903。
此外，距离算出部(车辆姿态推断部203的步骤S503)根据由摄像装置(摄像机11、12及摄像部101)得到的图像(视差图像900)来求到路面为止的距离，区域设定部(车辆姿态推断部203的步骤S502)在图像(视差图像900)内设定第一区域901、第二区域902以及不在水平线上的第三区域903。
此外，第三区域903是不同于第一区域901及第二区域902的距离的区域。
由此，能在不设置专用的倾斜传感器的情况下准确地推断车辆的倾斜角度而不受行驶场所或环境影响。
实施例2
接着，参考图10至图12，对本发明的实施例2的车辆姿态推断系统及车辆姿态推断方法进行说明。本实施例是在倾斜角度处理中推断车辆100的纵倾角的例子。再者，与实施例1的共通点则省略重复的说明。
图10为表示计算车辆纵倾角的原理的图。图中的粗虚线为车辆100的前后轴。前后轴大致与车辆100的行进方向一致，但归根结底是以车体100为基准来设定的，所以严格来说并不一致。例如，在车辆100的前部稍微抬起的状态下行驶这样的情况下，车辆100的行进方向与前后轴两者就不一致。
该前后轴的顶端侧(车辆100的前部)沿重力的方向上下移动会形成纵倾角(θ)。于是，根据搭载于车辆100前部的左摄像机11及右摄像机12的视差数据来检测伴随着纵倾方向的旋转的到前方路面为止的距离，根据检测到的距离来算出并输出车辆纵倾角(θ)。
本实施例中的用于算出车辆纵倾角(θ)的倾斜角度算出处理的流程图示于图11。在本处理中，如图12所示，将第三区域1203的位置固定，设定在第二区域1202上方的路面上。虽未限定具体的位置坐标，但在过于靠近或过于远离第二区域1202的情况下，算出时的精度有可能变差。因此，第三区域1203较理想设定在与第二区域1202相距约1～2m的路面上。
例如，在本实施例中，如图12所示，在视差图像1200中设定第一区域1201、第二区域1202、第三区域1203这各区域和中心坐标(1211～1213)，在根据第一区域1201和第二区域1202算出的距离为同值、进而纵倾角为0度时，将第三区域1203的测定值预先设定为基准距离。
在图11的步骤S1101中，获取各区域距离的处理是进行如下这样的处理，即针对第一区域1201、第二区域1202、第三区域1203这各设定区域获取到映现在各设定区域中的路面为止的距离。
接着，在步骤S1102中，对获取到的第一区域1201的距离与第二区域1202的距离进行比较，判断两者是否为同值。若两者不同(否)，则从上一次求出的结果中读出而作为纵倾角。
另一方面，若两者为同值(是)，则转移至步骤S1103，对第三区域1203的检测距离与基准距离进行比较。
在步骤S1103中，若第三区域1203的检测距离与基准距离为同值(否)，则车辆100是水平的，所以转移至步骤S1105，算出纵倾角度θ＝0度。
另一方面，若两者不同(是)，则转移至步骤S1104，计算倾斜角度(纵倾角度θ)。
例如，将第三区域1203的测定值设为m3，将根据第三区域1203的距离预先设定的基准距离设为s3。在根据第三区域1203算出的距离m3大于基准距离s3的情况下(m3＞s3)，车辆100正以前部稍微抬起的状态行驶。反过来，在根据第三区域1203算出的距离m3小于基准距离s3的情况下(m3＜s3)，车辆呈前部下垂的状态。在第三区域1203的距离m3与基准距离s3相同的情况下(m3＝s3)，是在平坦的道路上行驶，从而输出车辆纵倾角0度(步骤S1105)。
因而，可以使用第三区域1203的测定值m3和根据第三区域1203的距离预先设定的基准距离s3而借助下述式(4)来算出车辆100的倾斜角(纵倾角度θ)(步骤S1104)。
[数式4]
Figure BDA0004080349400000131
将像以上那样在图11所示的步骤S504中算出的倾斜角信息传送至各部。
在倾斜角度管理部204中进行以下处理，即，进行由车辆姿态推断部203求出的车辆倾斜角(纵倾角度θ)与由摄像机11、12拍摄到的图像的关联，使用倾斜的纵倾角来剪取摄影图像。
将车辆倾斜信息(纵倾角度θ)传送至物体识别部103，对识别用世界坐标系、摄像机坐标系、图像坐标系、SfM(Structure from Motion)等的位置进行修正，进行更高精度的识别。
此外，预先设定有车辆100的针对倾斜角度和行驶路径的最大倾斜角度、最高车辆速度，结合所传送的车辆倾斜信息(纵倾角度θ)由车辆控制部104进行判定。进行将危险的倾斜角告知驾驶员、对车辆100的速度进行控制等处理。
根据以上说明过的本实施例的车辆姿态推断系统，能够准确地推断车辆的倾斜角度(纵倾角度θ)而不受行驶环境限定，所以能根据恰当的识别处理来实现修正。此外，可以使用倾斜角在图像生成部201中进行旋转摄影图像的处理。
再者，本实施例中也一样，也可设为使用车辆100上设置的后摄像机来测定到路面为止的距离而生成车辆倾斜角度信息的构成。
实施例3
接着，参考图13及图14，对本发明的实施例3的车辆姿态推断系统及车辆姿态推断方法进行说明。本实施例与实施例1及实施例2的不同点在于，在决定车辆倾斜角度时使用道路的曲率半径。另外，与实施例1及实施例2的共通点则省略重复的说明。
图13展示了本实施例中的车辆倾斜角的算出处理的流程图。
首先，在步骤S1301中，获取由视差运算部202生成的视差数据。
接着，在步骤S1302中，算出道路的曲率半径。
然后，在步骤S1303中，根据步骤S1302中算出的道路的曲率半径和自身车辆速度来求车辆倾斜角。
如图14所示，行驶路径1400是车辆实际行驶过的路径，因此可以根据视差数据来求弯道曲率半径1401。此外，也有由摄像机检测道路标识1402、根据道路标识1402上显示的信息来获取曲率半径的方法。
继而，例如可以根据利用视差数据计算出的弯道曲率半径(R)1401、车速v以及重力加速度g而借助下述式(5)来算出车辆的倾斜角(侧倾角度φ)。
[数式5]
Figure BDA0004080349400000151
根据本实施例，可以根据道路的曲率半径来检测车辆100的倾斜角。
另外，本发明包含各种变形例，并不限定于上述实施例。例如，上述实施例是为了帮助理解本发明所作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施例的构成的一部分替换为其他实施例的构成，此外，也可以对某一实施例的构成加入其他实施例的构成。此外，可以对各实施例的构成的一部分进行其他构成的追加、删除、替换。
此外，关于本发明的发现侵权的难度，就站在视差图像上的观点而言，有利用移入了平面图像的情况与实际图像的差分来进行验证的方法等。
此外，在上述各实施例中，主要使用摩托车的例子作为车辆100来进行了说明，但本发明对于以车体前后左右大幅倾斜为前提的越野汽车等也有效。
此外，如上所述，本发明能够运用于通过使用液晶面板等的图像显示或者使用扬声器等的语音或警告音振动来提醒驾驶员注意基于推断出(算出)的倾斜角度的警告信息的ADAS(Advanced Driver Assistance Systems)，进而，通过将基于推断出(算出)的倾斜角度的警告信息传送至警报通知部105并传送至行驶系统控制部106，也能运用于自动驾驶AD(Autonomous Driving)。
符号说明
10…测量对象物，11、12…摄像机，21、22…二维传感器，31…左图像，32…右图像，41…参考图像，42…基准块图像，100…车辆，101…摄像部，102…图像处理部，103…物体识别部，104…车辆控制部，105…警报通知部，106…行驶系统控制部，201…图像生成部，202…视差运算部，203…车辆姿态推断部，204…倾斜角度管理部，600、800、900、1200…视差图像，601、602、801、802、803、901、902、903、1201、1202、1203…检测区域，611、612、811、812、813、911、912、913、1211、1212、1213…(检测区域的)中心坐标，1400…行驶路径，1401…弯道曲率半径，1402…道路标识。

Claims (12)

1.一种车辆姿态推断系统，其特征在于，具有：
区域设定部，其在由车辆上搭载的测距装置获取到的与路面相对应的测定区域内设定第一区域和与所述第一区域同一水平线上的第二区域；
距离算出部，其算出从所述车辆起到所述第一区域及所述第二区域各自的路面为止的距离；以及
倾斜角算出部，其根据到所述第一区域及所述第二区域各自的路面为止的距离以及所述第一区域及所述第二区域的位置关系来求所述车辆的倾斜角。
2.根据权利要求1所述的车辆姿态推断系统，其特征在于，
所述倾斜角算出部探索具有与所述第一区域或所述第二区域相同的距离的区域，作为不在所述水平线上的第三区域。
3.根据权利要求1所述的车辆姿态推断系统，其特征在于，
所述距离算出部根据由摄像装置得到的图像来求到路面为止的距离，
所述区域设定部在所述图像内设定所述第一区域、所述第二区域以及不在所述水平线上的第三区域。
4.根据权利要求3所述的车辆姿态推断系统，其特征在于，
所述第三区域是不同于所述第一区域及所述第二区域的距离的区域。
5.根据权利要求1所述的车辆姿态推断系统，其特征在于，
所述测距装置具有多个摄像机，
所述距离算出部根据由所述多个摄像机拍摄到的多个图像来算出到路面为止的距离，
所述倾斜角算出部根据由所述多个摄像机拍摄到的多个图像的视差来求所述车辆的倾斜角。
6.根据权利要求1所述的车辆姿态推断系统，其特征在于，
所述倾斜角算出部根据所述第一区域及所述第二区域的位置关系来算出道路的曲率半径，
根据算出的所述道路的曲率半径、所述车辆的车速以及重力加速度来求所述车辆的倾斜角。
7.一种车辆姿态推断方法，其特征在于，
在由车辆上搭载的测距装置获取到的与路面相对应的测定区域内设定第一区域和与所述第一区域同一水平线上的第二区域，
算出从所述车辆起到所述第一区域及所述第二区域各自的路面为止的距离，
根据到所述第一区域及所述第二区域各自的路面为止的距离以及所述第一区域及所述第二区域的位置关系来求所述车辆的倾斜角。
8.根据权利要求7所述的车辆姿态推断方法，其特征在于，
探索具有与所述第一区域或所述第二区域相同的距离的区域，作为不在所述水平线上的第三区域。
9.根据权利要求7所述的车辆姿态推断方法，其特征在于，
根据由摄像装置得到的图像来求到路面为止的距离，
在所述图像内设定所述第一区域、所述第二区域以及不在所述水平线上的第三区域。
10.根据权利要求9所述的车辆姿态推断方法，其特征在于，
所述第三区域是不同于所述第一区域及所述第二区域的距离的区域。
11.根据权利要求7所述的车辆姿态推断方法，其特征在于，
根据由多个摄像机拍摄到的多个图像来算出到路面为止的距离，
根据由所述多个摄像机拍摄到的多个图像的视差来求所述车辆的倾斜角。
12.根据权利要求7所述的车辆姿态推断方法，其特征在于，
根据所述第一区域及所述第二区域的位置关系来算出道路的曲率半径，
根据所述算出的道路的曲率半径、所述车辆的车速以及重力加速度来求所述车辆的倾斜角。
CN202180050480.0A 2020-09-16 2021-06-29 车辆姿态推断系统及车辆姿态推断方法 Pending CN115943287A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020155190 2020-09-16
JP2020-155190 2020-09-16
PCT/JP2021/024521 WO2022059289A1 (ja) 2020-09-16 2021-06-29 車両姿勢推定システムおよび車両姿勢推定方法

Publications (1)

Publication Number Publication Date
CN115943287A true CN115943287A (zh) 2023-04-07

Family

ID=80776067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180050480.0A Pending CN115943287A (zh) 2020-09-16 2021-06-29 车辆姿态推断系统及车辆姿态推断方法

Country Status (5)

Country Link
US (1) US20230347910A1 (zh)
JP (1) JP7411108B2 (zh)
CN (1) CN115943287A (zh)
DE (1) DE112021003735T5 (zh)
WO (1) WO2022059289A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4950290B2 (ja) 2007-06-27 2012-06-13 パナソニック株式会社 撮像装置、方法、システム集積回路、及びプログラム
JP5947268B2 (ja) 2013-09-20 2016-07-06 本田技研工業株式会社 車両のロール角推定装置
JP6540009B2 (ja) * 2013-12-27 2019-07-10 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2015227082A (ja) 2014-05-30 2015-12-17 日本電産エレシス株式会社 車体傾斜角度検出装置および車体傾斜角度検出方法
WO2017104712A1 (ja) 2015-12-14 2017-06-22 ヤマハ発動機株式会社 車両用ロール角推定システム、車両、車両用ロール角推定方法及びプログラム
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP7236849B2 (ja) * 2018-11-29 2023-03-10 日立Astemo株式会社 外界認識装置

Also Published As

Publication number Publication date
JP7411108B2 (ja) 2024-01-10
US20230347910A1 (en) 2023-11-02
DE112021003735T5 (de) 2023-06-01
JPWO2022059289A1 (zh) 2022-03-24
WO2022059289A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
JP5089545B2 (ja) 道路境界検出判断装置
EP2933790B1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
JP4420011B2 (ja) 物体検知装置
JP5276637B2 (ja) 車線推定装置
US20170015317A1 (en) Method for image-based vehicle localization
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
WO2015111417A1 (ja) 運転支援装置、および運転支援方法
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
WO2019167531A1 (ja) ステレオカメラ装置
JP5421819B2 (ja) 車線認識装置
JP2010078387A (ja) 車線判定装置
JP3961584B2 (ja) 区画線検出装置
JP2008309519A (ja) 画像処理を用いた物体検出装置
CN115943287A (zh) 车辆姿态推断系统及车辆姿态推断方法
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP2017129543A (ja) ステレオカメラ装置及び車両
JP5559650B2 (ja) 車線推定装置
JP2018136739A (ja) キャリブレーション装置
JP2018084987A (ja) 物体認識装置
JP2007286724A (ja) 車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システム
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
JP6489645B2 (ja) 画像処理装置
JP4768499B2 (ja) 車載周辺他車検出装置
JP7134780B2 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination