CN109716062B - 姿势估计装置 - Google Patents
姿势估计装置 Download PDFInfo
- Publication number
- CN109716062B CN109716062B CN201780056566.8A CN201780056566A CN109716062B CN 109716062 B CN109716062 B CN 109716062B CN 201780056566 A CN201780056566 A CN 201780056566A CN 109716062 B CN109716062 B CN 109716062B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- posture
- information
- estimation device
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000036544 posture Effects 0.000 description 37
- 238000000034 method Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种姿势估计装置。姿势估计装置(1)获取由多个照相机(20a~20d)拍摄得到的多个图像,该多个照相机(20a~20d)以使拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于车辆。姿势估计装置针对多个图像检测出拍摄到重复范围的图像上的区域所包含的特征部分。而且,姿势估计装置针对各个重复范围的每一个,计算从拍摄到该重复范围的多个图像中的每个图像检测出的特征部分彼此的位置的偏移量,并基于针对多个重复范围的每一个计算出的偏移量的差异估计车辆的姿势。
Description
技术领域
本公开涉及基于由安装于车辆的照相机获取的图像来估计车辆的姿势的姿势估计装置。
背景技术
专利文献1记载了根据通过车载照相机在各个不同的时刻拍摄到的多个图像,估计与车辆的姿势相关的作为旋转角之一的俯仰角的技术。
专利文献1:日本特开2012-26992号公报
专利文献1所记载的技术虽然能够基于由车载照相机拍摄到的图像来估计车辆的俯仰角,然而并未考虑侧倾角、横摆角等车辆的其他旋转角的估计。发明人详细研究的结果,发现了专利文献1所记载的技术不足以估计包括车辆的俯仰角、侧倾角以及横摆角等的综合姿势这样的课题。
发明内容
因此,本公开的一方面优选提供一种能够基于由安装于车辆的照相机获取的图像来估计与车辆的姿势相关的各种物理量的技术。
本公开的一个实施方式所涉及的姿势估计装置具备图像获取部、检测部、估计部、以及姿势信息输出部。
图像获取部构成为从安装于车辆的多个照相机获取多个图像。这些多个照相机用于对车辆的周围进行拍摄。多个照相机以拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于车辆。检测部构成为对于由图像获取部在同一时间获取的多个图像中的每个图像检测出至少一个特征部分。特征部分是在拍摄到重复范围的图像上的区域中表示规定的特征的部分。
估计部构成为基于由检测部检测到的特征部分对与车辆的姿势相关的规定的物理量进行估计。具体而言,估计部针对各个重复范围的每一个,计算从拍摄到该重复范围的多个图像中的每个图像检测出的特征部分彼此的位置的偏移量。而且,估计部基于针对多个重复范围的每一个计算出的偏移量的差异,估计与车辆的姿势相关的规定的物理量。姿势信息输出部构成为输出基于由估计部估计出的物理量的信息作为表示车辆的姿势的信息亦即姿势信息。
在车辆上安装有多个照相机的情况下,若由于车辆的姿势变化而各照相机位移,则根据车辆的姿势的变化方向、程度,在所重复的各照相机的拍摄范围内映出的物体的位置相互偏移。因此,在本公开所涉及的姿势估计装置中,对相当于由拍摄范围部分重复的多个照相机获取的图像中的重复范围的区域所包含的特征部分进行检测。而且,基于多个重复范围的每一个的特征部分的位置的偏移量估计车辆的姿势。这样一来,能够实现可估计与车辆的姿势相关的各种物理量的技术。
附图说明
通过参照附图的下述的详细描述,关于本公开的上述目的以及其他的目的、特征、优点变得更加明确。其附图的概要如下所述。
图1是表示实施方式的旋转角估计装置的构成的框图。
图2是表示照相机的安装位置、以及照相机的拍摄范围的说明图。
图3是表示旋转角估计装置所执行的处理的顺序的流程图。
图4是表示旋转角估计装置所执行的处理的顺序的流程图。
图5是表示基于车辆的姿势变化的拍摄图像的变化的说明图。
具体实施方式
以下,基于附图对本公开的实施方式进行说明。此外,本公开并不局限于下述的实施方式,而能够以各种实施方式实施。
[旋转角估计装置的构成的说明]
实施方式的旋转角估计装置1是安装于车辆2的电子控制装置。该旋转角估计装置1相当于本公开中的姿势估计装置。如图1所例示,旋转角估计装置1与安装于车辆2的设备亦即照相机20a、20b、20c、20d、陀螺仪传感器21、以及温度传感器22连接。
如图2所例示,四台照相机20a~20d作为前照相机、后照相机、左照相机、右照相机分别安装于车辆2的前、后、左、右,以便能够对车辆周围进行拍摄。如在图2中以虚线所例示那样,各照相机20a~20d用于将车辆2的前方、后方、左侧方、右侧方作为各自的拍摄范围对车辆周围进行拍摄。而且,在各照相机20a~20d的拍摄范围设置有在车辆2的左前方、右前方、左后方、右后方的各部分中与相互相邻的照相机20a~20d的拍摄范围重合的重复范围3、4、5、6。
另外,各照相机20a~20d的对于车辆2的安装位置以及姿势被预先设定为各照相机20a~20d的拍摄范围如上所述。而且,各照相机20a~20d的实际的安装位置是在制造工厂、设置工厂等基于其被设定的安装位置以及姿势(换言之,拍摄方向)调节的。
返回图1的框图的说明。陀螺仪传感器21是对车辆2的旋转角速度(例如,横摆速率、俯仰速率、以及/或者侧倾速率)进行检测的公知的测量器。温度传感器22是对车辆2的周围的气温进行测量的公知的测量器。通过这些陀螺仪传感器21以及温度传感器22得到的测量结果被输入至旋转角估计装置1。
旋转角估计装置1是以未图示CPU、RAM、ROM、闪存等半导体存储器、以及输入输出接口等为中心而构成的信息处理装置。旋转角估计装置1例如通过集成有作为计算机系统的功能的微型控制器等实现。旋转角估计装置1的功能通过CPU执行储存于ROM、半导体存储器等非过渡性实体存储介质的程序而实现。此外,构成旋转角估计装置1的微型控制器的个数可以是一个,也可以是多个。
旋转角估计装置1具备利用由各照相机20a~20d获取的拍摄图像来对表示车辆的姿势的旋转角以及旋转角速度等物理量进行估计的功能。作为该功能的构成要素,旋转角估计装置1具备特征点检测部11、姿势估计部12、旋转角速度计算部13、以及可靠性判断部14。此外,实现构成旋转角估计装置1的这些要素的方法并不局限于软件,也可以使用组合有逻辑电路、模拟电路等的硬件来实现其一部分或者全部的要素。
另外,旋转角估计装置1具有通过以各照相机20a~20d的安装位置以及姿势作为照相机参数,对通过各照相机20a~20d得到的多个拍摄图像进行视点转换,从而生成由车辆2的上方的视点构成的多个俯视图像的功能。此外,照相机参数例如是将各照相机20a~20d在车辆2中的安装位置以及车辆2的前后、左右、上下的三轴向的安装角度数值化后的值。而且,旋转角估计装置1在对各照相机20a~20d的拍摄图像进行视点转换时,利用基于照相机参数设定的转换数据。
[旋转角估计装置所执行的处理的说明]
参照图3以及图4的流程图对旋转角估计装置1所执行的处理的顺序进行说明。该处理以规定的控制周期反复执行。
首先,从图3的流程图开始进行说明。在S100中,旋转角估计装置1获取由各照相机20a~20d在同一时间获取的多个拍摄图像。而且,旋转角估计装置1从对该获取的各拍摄图像分别进行了视点转换后的俯视图像,检测出至少一个特征点的位置。这里所说的特征点是拍摄有路面上的特定对象物的图像部分。这里,作为检测为特征点的对象物,例如可考虑使用由在道路上描绘的油漆、道钉、石头等构成的车道线、道路标识、或者窨井的盖等在图像中易于与路面区别的对象物。
在S102中,旋转角估计装置1对在S100中检测到的特征点的位置的偏移进行修正。特征点的位置的偏移为照相机参数与实际的各照相机20a~20b的安装位置及姿势的偏移、以及由车辆2的重心偏心所引起的偏移。对于各照相机20a~20b的安装位置及姿势的偏移、以及重心偏心而言,例如利用通过使用各照相机20a~20b所获取的图像的公知方法来另外测量到的已知值。此外,S100以及S102相当于作为特征点检测部11的处理。
在S104中,旋转角估计装置1针对前照相机20a以及左照相机20c的俯视图像的每一个,提取在S100中检测到的至少一个特征点中与左前方的重复范围3相对应的图像区域所包含的至少一个特征点。在S106中,旋转角估计装置1针对前照相机20a以及右照相机20d的俯视图像的每一个,提取在S100中检测到的特征点中与右前方的重复范围4相对应的图像区域所包含的特征点。
在S108中,旋转角估计装置1针对后照相机20b以及左照相机20c的俯视图像的每一个,提取在S100中检测到的特征点中与左后方的重复范围5相对应的图像区域所包含的特征点。在S110中,旋转角估计装置1针对后照相机20b以及右照相机20d的俯视图像的每一个,提取在S100中检测到的特征点中与右后方的重复范围6相对应的图像区域所包含的特征点。
在S112中,旋转角估计装置1基于在S104~S110中提取到的与各重复范围3~6相对应的各俯视图像的特征点的位置,对表示车辆2的姿势的旋转角(即,车辆旋转角)进行估计。在本实施方式中,作为旋转角估计装置1估计出的车辆旋转角,例如假定了俯仰角、侧倾角、以及横摆角等多个种类的旋转角。
若通过施加车辆的加速、减速、以及/或者由转弯引起的旋转力,从而车辆的姿势发生变化,则相对于作为被拍摄体的路面的各照相机20a~20b的相对位置发生变化。因此,在拍摄相同的重复范围的两台照相机中,共用的特征点的位置相互偏移。该偏移的程度根据相对于车辆的重复范围的位置和姿势变化的方向以及程度而不同。
参照图5对于具体例进行说明。在图5中,a是在车辆2产生姿势变化之前的阶段中的左右照相机20c以及20d的俯视图像。b是与a在同一时间获取的前后照相机20a以及20b的俯视图。另外,c是由于紧急减速而俯仰角发生变化以使车辆前倾的阶段中的左右照相机20c以及20d的俯视图像。d是与c在同一时间获取的前后照相机20a以及20b的俯视图。此外,在图5的示例中,以检测沿道路的行进方向描绘的车道线作为特征点为前提。
若由于紧急减速而俯仰角发生变化以使车辆前倾,则前照相机20a与其他照相机相比位移较大。该情况下,如图5所例示那样,在左右照相机20c以及20d的俯视图像c与前照相机20a的俯视图像d之间,重复范围3以及4中的作为特征点的车道线的拍摄方式会产生较大差异。
另一方面,在车辆姿势变化为前倾的情况下,后照相机20b与前照相机20a相比较,位移较小。因此,如图5所例示那样,在左右照相机20c以及20d的俯视图像c与后照相机20b的俯视图像d之间,重复范围5以及6中的作为特征点的车道线的拍摄方式不会产生那么大的差异。
因此,旋转角估计装置1在前侧的重复范围3、4与后侧的重复范围5、6之间,对各个重复范围的特征点的位置的偏移量进行比较,并基于其大小关系估计车辆的俯仰角。另外,相同地,能够在左侧的重复范围3、5与右侧的重复范围4、6之间,对各个重复范围的特征点的位置的偏移量进行比较,并基于其偏移量的大小关系估计车辆的侧倾角。另外,横摆角根据从各照相机20a~20d检测出的车道线的相对于车辆的前后方向的倾斜进行估计。
返回图3的流程图的说明。上述S104~S112的处理相当于作为姿势估计部12的处理。在接下来的S114中,旋转角估计装置1判断在从当前时刻到规定时间前的期间内,过去的车辆旋转角的时间序列的信息是否积累有所需数量。在车辆旋转角的时间序列的信息未积累有所需数量的情况下(即,S114:否),旋转角估计装置1使处理前进到S118。
在S118中,旋转角估计装置1将在S112中获得的车辆旋转角作为时间序列的信息积累到存储器。另一方面,在S114中判断为车辆旋转角的时间序列的信息积累了所需数量的情况下(即,S114:是),旋转角估计装置1使处理前进到S116。
在S116中,旋转角估计装置1对表示车辆旋转角的时间变化率的车辆旋转角速度进行计算。车辆旋转角速度基于在S112中获得的车辆旋转角、以及从当前时刻到规定时间前的期间中积累的过去的车辆旋转角的时间序列的信息而计算。车辆旋转角速度例如被计算为车辆旋转角的时间序列所表示的变化量除以该时间序列中的经过时间而得到的值。在本实施方式中,作为旋转角估计装置1估计出的车辆旋转角速度,例如,假定了俯仰速率、侧倾速率、以及横摆速率等多个种类的旋转角速度。
此外,用于计算车辆旋转角速度的过去的车辆旋转角的信息的所需数量最低限度为一次即可,但是所需数量也可以更多。例如,若增加车辆旋转角的信息的所需数量,则对于突发噪声的车辆旋转角速度的计算结果的鲁棒性提高。相反,对于车辆旋转角的急剧变化,计算出的车辆旋转角速度的追随性变差。另一方面,若减少车辆旋转角的信息的所需数量,则对于车辆旋转角的急剧变化,计算出的车辆旋转角速度的追随性提高。相反,对于突发噪声的车辆旋转角速度的计算结果的鲁棒性降低。因此,车辆旋转角速度的计算结果的鲁棒性和响应性根据用于车辆旋转角速度的计算的车辆旋转角的信息的所需数量,而成为权衡关系。
S116之后,旋转角估计装置1执行S118的处理。此外,S114~S118的处理相当于作为旋转角速度计算部13的处理。
转移到图4的流程图的说明。在120中,旋转角估计装置1对在S116中估计出的车辆角速度与通过陀螺仪传感器21得到的最新测量结果之差进行计算。而且,旋转角估计装置1将该计算出的差存储为比较结果。在S122中,旋转角估计装置1对于从当前时刻到规定时间前的期间中所存储的S120的比较结果,判断估计出的车辆角速度与陀螺仪传感器21的测量结果之差为规定值以上的状态是否连续。
在该S122中,判断陀螺仪传感器21的可靠性。即,若在从各照相机20a~20d的图像估计出的车辆旋转角速度与由陀螺仪传感器21测量出的车辆旋转角速度之间没有显著的差异,则判断为陀螺仪传感器21正常发挥作用。另一方面,在从各照相机20a~20d的图像估计出的车辆旋转角速度与由陀螺仪传感器21测量出的车辆旋转角速度之间存在差异的状态连续一定期间的情况下,否定陀螺仪传感器21的可靠性。
在比较结果之差为规定值以上的状态连续一定期间的情况下(即,S122:是),旋转角估计装置1使处理前进到S124。在S124中,旋转角估计装置1将表示陀螺仪传感器21发生故障的信息亦即故障通知输出至安装于车辆2的未图示的输出装置等输出目的地。在S126中,旋转角估计装置1输出在S112中估计出的车辆旋转角的信息、以及在S116中计算出的车辆旋转角速度的信息作为表示车辆2的姿势的信息亦即姿势信息。
另一方面,在S122中判断为比较结果之差为规定值以上的状态不连续的情况下(即,S122:否),旋转角估计装置1使处理前进到S128。在S128中,旋转角估计装置1基于从温度传感器22获取的测量结果,判断车辆2的周围温度是否在适当范围内。
此外,周围温度的适当范围例如可认为是保证陀螺仪传感器21的动作的温度范围。公知有在通常的情况下,安装于车辆等的陀螺仪传感器在极端高温或者低温的条件下,测量性能会降低。因此,在本实施方式中,构成为在S122中根据周围温度判断是否采用通过陀螺仪传感器21得到的测量结果。
在周围温度为适当范围外的情况下(即,S128:否),旋转角估计装置1使处理前进到S126。在S126中,旋转角估计装置1输出在S112中估计出的车辆旋转角的信息、以及在S116中出计算的车辆旋转角速度的信息作为表示车辆2的姿势的信息亦即姿势信息。
另一方面,在周围温度为适当范围内的情况下(即,S128:是),旋转角估计装置1使处理前进到S130。在S130中,旋转角估计装置1输出陀螺仪传感器21检测到的车辆旋转角速度的信息作为表示车辆2的姿势的信息亦即姿势信息。
[效果]
根据实施方式的旋转角估计装置1,起到以下的效果。
旋转角估计装置1在拍摄范围部分重复的多个照相机20a~20d的俯视图像中,对拍摄到重复范围的区域所包含的特征点进行检测。其结果,能够基于多个重复范围的每一个重复范围的特征点的偏移量,对表示车辆的姿势的车辆旋转角进行估计。因此,旋转角估计装置1可代替陀螺仪传感器21。或者,通过组合旋转角估计装置1和陀螺仪传感器21,从而能够使检测车辆的姿势的单元二重化。
另外,通过对使用照相机20a~20d的俯视图像估计出的车辆姿势与通过陀螺仪传感器21测量出的车辆姿势进行比较,从而能够判断陀螺仪传感器21的可靠性。这样一来,例如,在否定了陀螺仪传感器21的可靠性的条件下,能够输出陀螺仪传感器21的故障通知。另外,从故障安全的观点来看,能够进行使通过陀螺仪传感器21得到的测量结果无效这样的控制。
另外,能够根据周围温度,选择性地输出基于图像的姿势信息和基于陀螺仪传感器21的测量结果的姿势信息。这样一来,能够根据车辆的环境,输出适当的姿势信息。其结果,有助于姿势信息的测量精度的提高。
[实施方式的各构成的对应关系]
特征点检测部11相当于图像获取部以及检测部的一个例子。姿势估计部12以及旋转角速度计算部13相当于估计部的一个例子。可靠性判断部14相当于姿势信息输出部、可靠性信息判断部、可靠性信息输出部、以及环境判断部的一个例子。
[变形例]
也可以使多个构成要素分担上述各实施方式中的一个构成要素所具有的功能,或者使一个构成要素发挥多个构成要素所具有的功能。另外,也可以省略上述各实施方式的构成的一部分。另外,也可以对于上述实施方式的其他构成附加、替换上述各实施方式的构成的至少一部分。此外,根据权利要求书所记载的语句确定出的技术思想所包含的所有实施方式皆为本公开的实施方式。
在上述的实施方式中,对基于由四台照相机20a~20d获取的图像估计车辆姿势的事例进行了说明。但并不局限于该事例,也可以以拍摄范围的一部分相互重复的重复范围形成于多处为必要条件,构成为基于由台数多于或是少于四台的照相机获取的图像估计车辆姿势。
也能够通过以旋转角估计装置1为构成要件的系统、用于使计算机作为旋转角估计装置1发挥作用的程序、记录有该程序的非过渡性实态记录介质、车辆旋转角估计方法等各种方式实现本公开。
Claims (2)
1.一种姿势估计装置,其中,具备:
图像获取部(11),从多个照相机获取多个图像,所述多个照相机是为了拍摄车辆的周围而安装于该车辆的多个照相机(20a~20d),所述多个照相机(20a~20d)以使拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于所述车辆;
检测部(11、12、S100~S110),针对由所述图像获取部在同一时间获取的多个图像中的每个图像,在拍摄到所述重复范围的所述图像上的区域,检测至少一个表示规定的特征的部分亦即特征部分;
估计部(12、13、S112~S118),针对各所述重复范围的每一个,计算从拍摄到该重复范围的在同一时间获取的多个图像中的每个图像检测出的相同的所述特征部分彼此的位置的偏移量,并基于该偏移量的比较,估计与所述车辆的姿势相关的规定的物理量;
姿势信息输出部(14、S130),输出由所述估计部估计出的物理量的信息,作为表示所述车辆的姿势的信息亦即姿势信息;
可靠性判断部(14、S120、S122),基于对由所述估计部估计出的物理量所表示的所述车辆的姿势与基于所述车辆所具备的陀螺仪传感器测量的与所述车辆的姿势相关的测量结果进行比较的结果,判断所述陀螺仪传感器的可靠性;以及
可靠性信息输出部(14、S124),在通过所述可靠性判断部否定了所述陀螺仪传感器的可靠性的情况下,输出表示被否定的意思的信息亦即可靠性否定信息。
2.一种姿势估计装置,其中,具备:
图像获取部(11),从多个照相机获取多个图像,所述多个照相机是为了拍摄车辆的周围而安装于该车辆的多个照相机(20a~20d),所述多个照相机(20a~20d)以使拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于所述车辆;
检测部(11、12、S100~S110),针对由所述图像获取部在同一时间获取的多个图像中的每个图像,在拍摄到所述重复范围的所述图像上的区域,检测至少一个表示规定的特征的部分亦即特征部分;
估计部(12、13、S112~S118),针对各所述重复范围的每一个,计算从拍摄到该重复范围的在同一时间获取的多个图像中的每个图像检测出的相同的所述特征部分彼此的位置的偏移量,并基于该偏移量的比较,估计与所述车辆的姿势相关的规定的物理量;
姿势信息输出部(14、S130),输出由所述估计部估计出的物理量的信息,作为表示所述车辆的姿势的信息亦即姿势信息;以及
环境判断部(14、S128),判断与基于所述车辆所具备的陀螺仪传感器测量的特性相关的规定的环境的状态,
所述姿势信息输出部根据所述环境判断部的判断结果,选择性地进行输出由所述估计部估计出的物理量的信息作为所述姿势信息的控制、或者输出由所述陀螺仪传感器获取的测量结果的信息作为所述姿势信息的控制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-180480 | 2016-09-15 | ||
JP2016180480A JP6601352B2 (ja) | 2016-09-15 | 2016-09-15 | 車両姿勢推定装置 |
PCT/JP2017/032100 WO2018051862A1 (ja) | 2016-09-15 | 2017-09-06 | 姿勢推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109716062A CN109716062A (zh) | 2019-05-03 |
CN109716062B true CN109716062B (zh) | 2021-04-20 |
Family
ID=61619486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780056566.8A Active CN109716062B (zh) | 2016-09-15 | 2017-09-06 | 姿势估计装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11170229B2 (zh) |
JP (1) | JP6601352B2 (zh) |
CN (1) | CN109716062B (zh) |
DE (1) | DE112017004639T5 (zh) |
WO (1) | WO2018051862A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6601352B2 (ja) * | 2016-09-15 | 2019-11-06 | 株式会社デンソー | 車両姿勢推定装置 |
JP2022002861A (ja) * | 2018-10-05 | 2022-01-11 | ソニーグループ株式会社 | 運搬移動体 |
KR102034316B1 (ko) * | 2019-01-29 | 2019-11-08 | 주식회사 만도 | 차량 위치 보정 시스템 및 방법, 그리고 카메라 |
US11029753B2 (en) * | 2019-11-05 | 2021-06-08 | XRSpace CO., LTD. | Human computer interaction system and human computer interaction method |
JP7226268B2 (ja) * | 2019-11-25 | 2023-02-21 | トヨタ自動車株式会社 | 搬送システム、搬送方法およびプログラム |
JP7384043B2 (ja) * | 2020-01-10 | 2023-11-21 | 株式会社デンソー | 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法 |
CN113261274B (zh) * | 2021-03-29 | 2022-10-18 | 华为技术有限公司 | 一种图像处理方法及相关终端装置 |
CN113408443B (zh) * | 2021-06-24 | 2022-07-05 | 齐鲁工业大学 | 基于多视角图像的手势姿态预测方法及系统 |
CN117745720B (zh) * | 2024-02-19 | 2024-05-07 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103438904A (zh) * | 2013-08-29 | 2013-12-11 | 深圳市宇恒互动科技开发有限公司 | 一种使用视觉辅助校正的惯性定位方法及系统 |
WO2014068302A1 (en) * | 2012-11-05 | 2014-05-08 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
CN104364823A (zh) * | 2012-06-14 | 2015-02-18 | 高通股份有限公司 | 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 |
CN105243655A (zh) * | 2014-05-16 | 2016-01-13 | 通用汽车环球科技运作有限责任公司 | 使用图像中的特征点估算车辆动态的系统和方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05157572A (ja) * | 1991-12-10 | 1993-06-22 | Pioneer Electron Corp | ナビゲーション装置 |
US5424953A (en) * | 1992-01-16 | 1995-06-13 | Pioneer Electronic Corporation | Navigation apparatus |
US8483960B2 (en) * | 2002-09-20 | 2013-07-09 | Visual Intelligence, LP | Self-calibrated, remote imaging and data processing system |
US9327726B2 (en) * | 2004-10-05 | 2016-05-03 | Vision Works Ip Corporation | Absolute acceleration sensor for use within moving vehicles |
JP4361913B2 (ja) * | 2006-04-07 | 2009-11-11 | 防衛省技術研究本部長 | 動き量計算装置 |
JP2009074859A (ja) * | 2007-09-19 | 2009-04-09 | Toyota Central R&D Labs Inc | 運動計測装置及び位置計測装置 |
JP5299231B2 (ja) * | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
US10207719B2 (en) * | 2010-07-19 | 2019-02-19 | Nxp Usa, Inc. | Use of multiple internal sensors for measurements validation |
JP5570902B2 (ja) | 2010-07-28 | 2014-08-13 | 本田技研工業株式会社 | 車両ピッチ角の推定装置 |
JP2012046081A (ja) * | 2010-08-27 | 2012-03-08 | Daihatsu Motor Co Ltd | 走行状態判定装置 |
KR101237297B1 (ko) * | 2012-05-31 | 2013-03-04 | 주식회사 하이로시 | 모바일 기기를 이용한 구동장치 및 그 제어방법 |
US20170151994A1 (en) * | 2013-08-28 | 2017-06-01 | Vision Works Ip Corporation | Absolute acceleration sensor for use within moving vehicles |
US9371002B2 (en) * | 2013-08-28 | 2016-06-21 | Vision Works Ip Corporation | Absolute acceleration sensor for use within moving vehicles |
JP6187672B2 (ja) * | 2014-02-24 | 2017-08-30 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
RU2628035C1 (ru) * | 2014-02-24 | 2017-08-14 | Ниссан Мотор Ко., Лтд. | Устройство вычисления собственной позиции и способ вычисления собственной позиции |
TWI520100B (zh) * | 2014-03-17 | 2016-02-01 | 緯創資通股份有限公司 | 自由空間定位方法及系統 |
US9483842B2 (en) * | 2014-04-14 | 2016-11-01 | Vricon Systems Aktiebolag | Navigation based on at least one sensor and a three dimensional map |
CN203811184U (zh) * | 2014-04-28 | 2014-09-03 | 上海融军科技有限公司 | 自校准激光惯性导航装置 |
MX357830B (es) * | 2014-08-04 | 2018-07-26 | Nissan Motor | Aparato de cálculo de la posición propia y método de cálculo de la posición propia. |
JP6539082B2 (ja) | 2015-03-25 | 2019-07-03 | 積水樹脂株式会社 | 支柱連結用継手及び支柱体 |
US9683849B2 (en) * | 2015-04-01 | 2017-06-20 | Trimble Inc. | Vehicle navigation system with adaptive gyroscope bias compensation |
JP6184447B2 (ja) * | 2015-07-13 | 2017-08-23 | 株式会社豊田中央研究所 | 推定装置及び推定プログラム |
KR20170058681A (ko) * | 2015-11-19 | 2017-05-29 | 삼성전자주식회사 | 회전각 정렬 마크, 및 상기 회전각 정렬 마크를 이용한 회전각 측정 방법 및 좌표 추적 방법 |
US9879986B2 (en) * | 2016-03-30 | 2018-01-30 | Sikorsky Aircraft Corporation | Systems and methods for controlling rotorcraft external loads |
JP6601352B2 (ja) * | 2016-09-15 | 2019-11-06 | 株式会社デンソー | 車両姿勢推定装置 |
JP6922641B2 (ja) * | 2017-10-13 | 2021-08-18 | 株式会社Jvcケンウッド | 角速度導出装置および角速度導出方法 |
US11205112B2 (en) * | 2019-04-01 | 2021-12-21 | Honeywell International Inc. | Deep neural network-based inertial measurement unit (IMU) sensor compensation method |
CN110954139B (zh) * | 2019-12-26 | 2023-06-13 | 洛阳伟信电子科技有限公司 | 一种用于微小型光电吊舱的陀螺漂移自动补偿方法 |
-
2016
- 2016-09-15 JP JP2016180480A patent/JP6601352B2/ja active Active
-
2017
- 2017-09-06 WO PCT/JP2017/032100 patent/WO2018051862A1/ja active Application Filing
- 2017-09-06 DE DE112017004639.4T patent/DE112017004639T5/de active Pending
- 2017-09-06 CN CN201780056566.8A patent/CN109716062B/zh active Active
- 2017-09-06 US US16/332,996 patent/US11170229B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104364823A (zh) * | 2012-06-14 | 2015-02-18 | 高通股份有限公司 | 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 |
WO2014068302A1 (en) * | 2012-11-05 | 2014-05-08 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
CN103438904A (zh) * | 2013-08-29 | 2013-12-11 | 深圳市宇恒互动科技开发有限公司 | 一种使用视觉辅助校正的惯性定位方法及系统 |
CN105243655A (zh) * | 2014-05-16 | 2016-01-13 | 通用汽车环球科技运作有限责任公司 | 使用图像中的特征点估算车辆动态的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112017004639T5 (de) | 2019-06-27 |
US20190362160A1 (en) | 2019-11-28 |
JP2018044880A (ja) | 2018-03-22 |
WO2018051862A1 (ja) | 2018-03-22 |
JP6601352B2 (ja) | 2019-11-06 |
US11170229B2 (en) | 2021-11-09 |
CN109716062A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109716062B (zh) | 姿势估计装置 | |
JP6477882B2 (ja) | 自己位置推定装置及び自己位置推定方法 | |
US9797981B2 (en) | Moving-object position/attitude estimation apparatus and moving-object position/attitude estimation method | |
JP4943034B2 (ja) | ステレオ画像処理装置 | |
WO2013132947A1 (ja) | 距離算出装置及び距離算出方法 | |
JP2018036067A (ja) | 自車位置認識装置 | |
US7260460B2 (en) | Device for identifying the risk of a rollover | |
JP5570902B2 (ja) | 車両ピッチ角の推定装置 | |
JP6776202B2 (ja) | 車載カメラのキャリブレーション装置及び方法 | |
JP2009074859A (ja) | 運動計測装置及び位置計測装置 | |
JP6936098B2 (ja) | 対象物推定装置 | |
JP7261588B2 (ja) | 信号機認識方法及び信号機認識装置 | |
JP2019007739A (ja) | 自己位置推定方法及び自己位置推定装置 | |
JP6564127B2 (ja) | 自動車用視覚システム及び視覚システムを制御する方法 | |
CN111989541A (zh) | 立体摄像机装置 | |
JP5425500B2 (ja) | キャリブレーション装置およびキャリブレーション方法 | |
JP7459560B2 (ja) | 物体検知装置 | |
KR20140138635A (ko) | 관성 센서 향상 | |
US10783350B2 (en) | Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera | |
JP7152285B2 (ja) | 電子機器、補正方法およびプログラム | |
JP2018120303A (ja) | 物体検出装置 | |
JP2010002334A (ja) | 路面勾配推定装置 | |
JP2017112566A (ja) | パラメータ特定装置 | |
JP2013183311A (ja) | 車載カメラの姿勢角推定装置及び検出システム | |
JP2011055342A (ja) | 車両用撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |