CN113165657A - 路面检测装置以及路面检测程序 - Google Patents
路面检测装置以及路面检测程序 Download PDFInfo
- Publication number
- CN113165657A CN113165657A CN201980079806.5A CN201980079806A CN113165657A CN 113165657 A CN113165657 A CN 113165657A CN 201980079806 A CN201980079806 A CN 201980079806A CN 113165657 A CN113165657 A CN 113165657A
- Authority
- CN
- China
- Prior art keywords
- road surface
- dimensional model
- vehicle
- plane
- stereo camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 26
- 239000013307 optical fiber Substances 0.000 claims 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C7/00—Tracing profiles
- G01C7/02—Tracing profiles of land surfaces
- G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
实施方式的路面检测装置，具备：图像取得部，其取得从对包括车辆行驶的路面的拍摄区域进行拍摄的立体摄像头输出的拍摄图像数据；三维模型生成部，其基于拍摄图像数据，生成立体摄像头视点的包括路面的表面形状的拍摄区域的三维模型；校正部，其从三维模型估计平面，并校正三维模型，以使平面的法线矢量的朝向及相对于立体摄像头的平面的高度位置、与路面的法线矢量的朝向的通常值及相对于立体摄像头的路面的高度位置的通常值分别匹配。
Description
技术领域
本发明的实施方式涉及一种路面检测装置以及路面检测程序。
背景技术
目前，已知有一种基于从对包括车辆行驶的路面的拍摄区域进行拍摄的立体摄像头等的拍摄部输出的拍摄图像数据，检测例如相对于拍摄部的路面的高度位置等即路面状态的技术。
专利文献1：日本专利第6209648号公报
发明内容
在上述那样的现有技术中，没有考虑伴随车辆摇晃而引起的拍摄部摇晃。存在如果产生了拍摄部摇晃，则实际上平坦的路面被检测为在拍摄图像数据上的存在凹凸的路面，导致路面检测精度恶化的问题。
作为一个示例，本发明的实施方式的路面检测装置，具备：图像取得部，其取得从对包括车辆行驶的路面的拍摄区域进行拍摄的立体摄像头输出的拍摄图像数据；三维模型生成部，其基于所述拍摄图像数据，生成所述立体摄像头视点的包括所述路面的表面形状的所述拍摄区域的三维模型；校正部，其从所述三维模型估计平面，并校正所述三维模型，以使所述平面的法线矢量的朝向及相对于所述立体摄像头的所述平面的高度位置、与所述路面的法线矢量的朝向的通常值及相对于所述立体摄像头的所述路面的高度位置的通常值分别匹配。
从而，作为一个示例，能够抑制路面检测精度的恶化。
进一步地，所述校正部，在使平面的法线矢量的朝向与所述路面的法线矢量的朝向的通常值匹配之后，对所述三维模型的全体进行校正，以使相对于所述立体摄像头的所述平面的高度位置与相对于所述立体摄像头的所述路面的高度位置的通常值匹配。
从而，作为一个示例，能够容易地实施校正。
进一步地，所述校正部基于在所述立体摄像头的校准处理时确定了的值取得所述路面的法线矢量的朝向的通常值及相对于所述立体摄像头的所述路面的高度位置的通常值。
从而，作为一个示例，能够容易地取得通常值。
本发明的实施方式的路面检测程序使计算机执行下述步骤：图像取得步骤，其将从对包括车辆行驶的路面的拍摄区域进行拍摄的立体摄像头输出的拍摄图像数据取到计算机中；三维模型生成步骤，其基于所述拍摄图像数据，生成所述立体摄像头视点的包括所述路面的表面形状的所述拍摄区域的三维模型；校正步骤，其从所述三维模型估计平面，并校正所述三维模型，以使所述平面的法线矢量的朝向及相对于所述立体摄像头的所述平面的高度位置、与所述路面的法线矢量的朝向的通常值及相对于所述立体摄像头的所述路面的高度位置的通常值分别匹配。
从而，作为一个示例，能够抑制路面检测精度的恶化。
附图说明
图1是表示搭载实施方式的路面检测装置的车辆的车室的部分呈透视状态的一个示例的立体图。
图2是表示搭载实施方式的路面检测装置的车辆的一个示例的俯视图。
图3是表示实施方式的ECU的结构以及其周边结构的一个示例的框图。
图4是例示了在实施方式的ECU上实现的软件结构的图。
图5是对实施方式的ECU的路面检测功能的概要进行说明的图。
图6是对实施方式的ECU的路面检测功能的详细进行说明的图。
图7是对实施方式的ECU的路面检测功能的详细进行说明的图。
图8是对实施方式的ECU的路面检测功能的详细进行说明的图。
图9是表示实施方式的ECU的路面检测处理的步骤的一个示例的流程图。
图10是由实施方式的ECU和比较例的结构得到的平坦路面的检测结果。
具体实施方式
以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构、以及由该结构带来的作用、结果和效果仅是一个示例。本发明也可以通过以下实施方式中公开的结构以外的结构实现，并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。
实施方式
使用图1-图10对实施方式的结构进行说明。
车辆的结构
图1是表示搭载实施方式的路面检测装置的车辆1的车室2a的部分呈透视状态的一个示例的立体图。图2是表示搭载实施方式的路面检测装置的车辆1的一个示例的俯视图。
实施方式的车辆1例如可以是以未图示的内燃机为驱动源的汽车即内燃机车，也可以是以未图示的电动机为驱动源的汽车即电动汽车或燃料电池汽车等，也可以是以上述双方为驱动源的混合动力汽车，还可以是具有其他的驱动源的汽车。此外，车辆1可以搭载各种变速装置，也可以搭载驱动内燃机或电动机所需要的各种装置例如系统、部件等。此外，对与车辆1的车轮3的驱动相关的装置的形式以及数量、布局等可以进行各种设定。
如图1所示，车身2构成供未图示的乘车人员乘坐的车室2a。在车室2a内，以朝向作为乘车人员的驾驶员的座席2b的状态，设置有转向部4、加速操作部5、制动操作部6、以及变速操作部7等。转向部4例如是从仪表板24突出的方向盘。加速操作部5例如是位于驾驶员脚下的油门踏板。制动操作部6例如是位于驾驶员脚下的制动踏板。变速操作部7例如是从中央控制台突出的变速杆。另外，转向部4、加速操作部5、制动操作部6、变速操作部7等并不限定于此。
此外，在车室2a内，设置有显示装置8及语音输出装置9。语音输出装置9例如为扬声器。显示装置8例如为LCD(Liquid Crystal Display，液晶显示器)或OELD(OrganicElectroLuminescent Display，有机电致发光显示器)等。显示装置8由例如触控面板等透明的操作输入部10覆盖。乘车人员能够透过操作输入部10观察显示于显示装置8的显示画面的图像。此外，乘车人员通过在与显示于显示装置8的显示画面的图像对应的位置以手指等对操作输入部10进行触碰、按压或划动等来进行操作，能够实施操作输入。这些显示装置8、语音输出装置9、操作输入部10等例如设置于位于仪表板24的车宽方向即左右方向上的中央部的监控装置11。监控装置11可以具有开关、旋钮、控制杆、按钮等未图示的操作输入部。此外，可以在车室2a内的与监控装置11不同的其他位置设置未图示的语音输出装置。此外，还可以从监控装置11的语音输出装置9和其他的语音输出装置输出语音。另外，监控装置11例如可以兼用于导航系统或音响系统。
如图1、图2所例示的那样，车辆1例如是四轮汽车，具有左右两个前轮3F及左右两个后轮3R。这四个车轮3均可以构成为能够转向。
此外，在车身2设置有例如四个拍摄部15a-15d，作为多个拍摄部15。拍摄部15例如是内置CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOS Image Sensor，互补金属氧化物半导体图像传感器)等拍摄元件的数字式立体摄像头。立体摄像头通过多台摄像头同时拍摄物体，并从由各摄像头获得的物体的图像上的位置的不同之处即视差检测该物体的位置或者立体形状。由此，作为三维信息能够取得图像所包括的路面等的形状信息。
拍摄部15能够以规定的帧率输出拍摄图像数据。拍摄图像数据也可以是动态图像数据。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°-220°的范围。此外，拍摄部15的光轴也可以设定为朝向斜下方。由此，拍摄部15依次拍摄包括车辆1能够在其上移动的路面及物体的车辆1外部的周边的环境，并作为拍摄图像数据输出。这里，物体是指在车辆1的行驶时等能够成为障碍物的岩石、树木、人、自行车、以及其他车辆等。
拍摄部15a例如位于车身2后侧的端部2e，设置于后备箱的门2h上的后窗的下方的壁部。拍摄部15b例如位于车身2右侧的端部2f，设置于右侧的车门后视镜2g。拍摄部15c例如位于车身2的前侧即车辆前后方向上的前方侧的端部2c，设置于前保险杠或前格栅等。拍摄部15d例如位于车身2的左侧的端部2d，设置于左侧的车门后视镜2g。
ECU的硬件结构
下面，使用图3对实施方式的ECU(Electronic Control Unit，电子控制单元)14以及ECU14的周边结构进行说明。图3是表示实施方式的ECU14的结构以及其周边结构的框图。
如图3所示，除作为路面检测装置的ECU14之外，监控装置11、转向系统13、制动系统18、转向角传感器19、油门传感器20、档位传感器21、以及轮速传感器22等，也通过作为电信线路的车内网络23电连接。车内网络23例如构成为CAN(Controller Area Network，控制器区域网络)。
ECU14通过车内网络23传送控制信号，由此能够控制转向系统13、制动系统18等。此外，ECU14通过车内网络23，能够接收扭矩传感器13b、制动传感器18b、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22等的检测结果、以及操作输入部10等的操作信号等。
此外，ECU14基于从多个拍摄部15得到的图像数据实施运算处理或图像处理，能够生成视角更广的图像，或生成从上方观察车辆1的虚拟的俯视图像。
ECU14例如具有：CPU14a(Central Processing Unit，中央处理单元)、ROM14b(Read Only Memory，只读存储器)、RAM14c(Random Access Memory，随机存取存储器)、显示控制部14d、语音控制部14e、闪存等即SSD14f(Solid State Drive，固态硬盘)等。
CPU14a例如能够实施与显示于显示装置8的图像相关的图像处理、或决定车辆1的目标位置、运算车辆1的移动路径、判定是否存在与物体的干扰、车辆1的自动控制、自动控制的解除等各种的运算处理及控制。CPU14a能够读取在ROM14b等非易失性存储装置中安装并存储的程序，并按照该程序进行运算处理。所述程序包括用来在ECU14上实现路面检测处理的计算机程序即路面检测程序。
RAM14c临时性地存储在CPU14a的运算中所使用的各种数据。
显示控制部14d主要实施在ECU14的运算处理中的使用了由拍摄部15得到的图像数据的图像处理、或显示于显示装置8的图像数据的合成等。
语音控制部14e在ECU14的运算处理中主要对由语音输出装置9输出的语音数据进行处理。
SSD14f是可擦写的非易失性的存储部，即使在ECU14的电源被断开的情况下也能够存储数据。
另外，CPU14a、ROM14b及RAM14c等可以集成在同一个封装内。此外，ECU14也可以是使用DSP(Digital Signal Processor，数字信号处理器)等其他逻辑运算处理器或逻辑电路等来取代CPU14a的结构。此外也可以设置HDD(Hard Disk Drive，硬盘驱动器)来代替SSD14f，并且SSD14f或HDD也可以与ECU14分别设置。
转向系统13具有：致动器13a和扭矩传感器13b，能使至少两个车轮3转向。即，转向系统13由ECU14等电控制，使致动器13a工作。转向系统13例如是电动助力转向系统或SBW(Steer by Wire，线控转向)系统等。转向系统13通过致动器13a对转向部4施加扭矩即辅助扭矩来补充转向力，或通过致动器13a对车轮3进行转向。在这种情况下，致动器13a可以对一个车轮3进行转向，也可以对多个车轮3进行转向。此外，扭矩传感器13b例如检测驾驶员施加给转向部4的扭矩。
制动系统18例如是抑制制动的锁死的ABS(Anti-lock Brake System，防锁死制动系统)、抑制转弯时车辆1的侧滑的防止侧滑装置(ESC：Electronic Stability Control，电子稳定控制)、增强制动力实施制动辅助的电动制动系统、BBW(Brake by Wire，线控制动)等。制动系统18通过致动器18a，对车轮3进而对车辆1施加制动力。此外，制动系统18能够基于左右的车轮3的旋转差等检测出制动的锁死、车轮3的空转以及侧滑的征兆等，并实施各种控制。制动传感器18b例如是检测制动操作部6的可动部的位置的传感器。制动传感器18b能够检测作为可动部的制动踏板的位置。制动传感器18b包括位移传感器。
转向角传感器19例如是检测方向盘等转向部4的转向量的传感器。转向角传感器19例如用霍尔元件等来构成。ECU14从转向角传感器19获取由于驾驶人员而产生的转向部4的转向操作量、或自动转向时各车轮3的转向操作量等，并实施各种控制。另外，转向角传感器19检测转向部4所包括的旋转部分的旋转角度。转向角传感器19为角度传感器的一例。
油门传感器20例如是检测加速操作部5的可动部的位置的传感器。油门传感器20能够检测作为可动部的油门踏板的位置。油门传感器20包括位移传感器。
档位传感器21例如是检测变速操作部7的可动部的位置的传感器。档位传感器21能够检测作为可动部的杆、臂、按钮等的位置。档位传感器21可以包括位移传感器，也可以构成为开关。
轮速传感器22是检测车轮3的旋转量及每单位时间的转数的传感器。轮速传感器22将表示检测出的转数的轮速脉冲数作为传感器数值输出。轮速传感器22例如可以用霍尔元件等来构成。ECU14基于从轮速传感器22取到的传感器数值来对车辆1的移动量等进行运算，并实施各种控制。另外，轮速传感器22也可以设置于制动系统18。在这种情况下，ECU14可以通过制动系统18取得轮速传感器22的检测结果。
另外，上述各种传感器以及致动器的结构、配置、电连接的形态等仅是一个示例，可以进行各种设定及变更。
ECU的软件结构
下面，使用图4对表示实施方式的ECU14的功能的软件结构进行说明。图4是例示了在实施方式的ECU14上实现的软件结构的图。图4所示的功能通过软件和硬件的协同来实现。即，在图4所示的示例中，ECU14的作为路面检测装置的功能是作为CPU14a读取并执行存储于ROM14b等的路面检测程序的结果而实现的。
如图4所示，作为路面检测装置的ECU14具备：图像取得部401、三维模型生成部402、校正部403、以及存储部404。上述CPU14a通过遵照程序执行处理，而作为图像取得部401、三维模型生成部402、以及校正部403等发挥功能。RAM14c或ROM14b等作为存储部404发挥功能。此外，上述各部的功能的至少一部分也可以通过硬件来实现。
图像取得部401从拍摄车辆1的周边区域的多个拍摄部15取得多个拍摄图像数据。拍摄部15的拍摄区域包括车辆1行驶的路面，拍摄图像数据包括路面的表面形状等。
三维模型生成部402根据图像取得部401取到的拍摄图像数据生成三维模型。三维模型是与包括车辆1行驶路面的路面的表面形状等的路面状态相应地在三维中配置的多个点的三维点云。
校正部403校正三维模型生成部402生成出的三维模型的斜率。三维模型以车身2的朝向等的车辆1的状态为基准生成。因此，即使在车辆1倾斜的情况下，也能够通过校正部403校正成为正确反映路面等的状况的状态。
在存储部404中，存储有在各部的运算处理所使用的数据、以及运算处理的结果数据等。此外，在存储部404中，存储在车辆1出厂时等对拍摄部15等实施的校准处理数据。
ECU的功能例
下面，使用图5，对实施方式的ECU14的功能例进行说明。图5是对实施方式的ECU14的路面检测功能的概要进行说明的图。
作为前提，在车辆1出厂时等，为了正确得到拍摄图像而对拍摄部15实施校准处理。校准处理例如包括光轴校正等。通过该校准处理，确定了以拍摄部15的視点为基准的、相对于路面垂直的法线矢量和路面的高度位置。在ECU14的路面检测中，以拍摄部15的視点为基准的路面的法线矢量以及路面的高度位置能够作为通常值使用。基于此类通常值，能够从拍摄部15的拍摄图像数据正确地计算出到路面等的规定点为止的距离以及规定点的高度。
即，例如如图5(a)所示，一般基于由车辆1前方的拍摄部15c拍摄到的拍摄图像数据检测路面状态。例如，基于由拍摄部15c拍摄到的拍摄图像数据中的到与车辆1最接近的路面的规定点P1-P3为止的距离及高度的路面状态，被视为在该时点车辆1所在的路面即车辆1的正下方的路面状态。这里，检测出相对于车辆1平行的平坦路面。
此外，基于由拍摄部15c拍摄到的拍摄图像数据中的到从车辆1稍稍离开的路面的规定点P4-P6为止的距离及高度，检测出车辆1的稍微前方的路面状态。这里，检测出相对于车辆1所在的路面平行的平坦路面。
此外例如如图5(b)所示，基于到路面的规定点P4-P6为止的距离及高度，在车辆1所在的平坦路面的稍微前方处检测出规定高度的物体T。
此外例如如图5(c)所示，基于到路面的规定点P4-P6为止的距离及高度，在车辆1所在的平坦路面的稍稍前方处检测出上坡等的倾斜路。
此外例如如图5(d)所示，在车辆1位于下坡等的倾斜路时，基于到路面的规定点P1-P3为止的距离及高度，检测出相对于车辆1平行的平坦路面。此外，基于到路面的规定点P4-P6为止的距离及高度，检测出相对于车辆1所在的路面平行的平坦路面。即，与相对于重力方向的路面的倾斜无关地，将车辆1的当前位置的路面作为相对于车辆1平行的路面来实施路面状态的检测。
如此，实施方式的ECU14将由校准处理确定了的路面的法线矢量Vc的朝向作为通常值即路面的法线矢量Vr的应有的朝向使用。即，估计为：本次相对于检测出的路面垂直的法线矢量Vr的朝向与作为通常值的法线矢量Vc的朝向一致。此外，使用由校准处理确定了的路面的高度位置Hc作为通常值即路面的应有的高度，检测出具有与高度位置Hc不一致的高度的东西。如上述示例所述，具有与高度位置Hc不一致的高度的东西例如是指：掉在路面上的小石块等的物体或者路面本身的凹凸等。如图5(c)的示例所示，也有是具有与车辆1所在的路面不同的倾斜的其他路面的情况。
此外，路面状态的检测所使用的路面的信息不局限于上述的规定点P1-P6。例如ECU14取得遍及拍摄部15c能够拍摄的范围的全体区域的路面信息，特定路面状态。
下面,使用图6-图8对实施方式的ECU14的功能进行更详细的说明。图6-图8是对实施方式的ECU14的路面检测功能的详细进行说明的图。ECU14进行的下述处理一般是基于由车辆1前方的拍摄部15c拍摄到的拍摄图像数据实施的。如上所述，拍摄图像数据是通过ECU14的图像取得部401取得的。
首先对车辆1保持相对于路面平行的姿势时的情况进行说明。
如图6(a)所示，三维模型生成部402基于图像取得部401取到的拍摄图像数据生成三维模型M。在三维模型M中，与从车辆1到各种对象物为止的距离以及各种对象物的高度相应地，将路面、路面本身所带的凹凸、以及路面上的物体等的各种对象物变换为在三维中配置的多个点。
校正部403从三维模型生成部402生成出的三维模型M估计路面的位置以及朝向。假设路面为具有不包括凹凸以及其他物体等的理想的平坦性的平面，估计出路面的位置以及朝向。这类平面能够使用例如RANSAC等的稳健估计(Robust Estimation)来决定。在稳健估计中，在所获得的测量值包括离群值(outlier)的情况下、去除该离群值，估计观测对象的规则性。即，在此，去除三维模型M所包括的表示凹凸以及其他物体等的点Px、Py、Pz，通过估计三维模型M的各位置以及各朝向的平坦性，能够得到在规定的位置朝向规定的方向的平面。
如图6(b)所示，校正部403计算出与上述那样的估计出的平面R垂直的法线矢量Vr。此外，校正部403使平面R的法线矢量Vr的朝向与由校准处理确定了的作为通常值的法线矢量Vc的朝向一致后，并且以由校准处理确定了的作为通常值的高度位置Hc为基准，校正三维模型M所包括的三维点云全体的高度位置。在校正出的三维模型M中，作为离群值而被去除了的点Px、Py、Pz与高度位置Hc不一致，表示为在路面上具有规定高度的凹凸。
在图6(b)上，平面R的法线矢量Vr的朝向与作为通常值的法线矢量Vc的朝向一致，可以认为不需要基于校正部403的那样的校正。然而，图6的示例仅仅只是一个理想例。在车辆1中，受路面的凹凸等的影响总是会有产生摇晃的可能性，平面R的法线矢量Vr相对于法线矢量Vc的斜率总是会变化。
在此，对车辆1出现摇晃时的情况进行说明。
图7表示车辆1在路上的物体上搁浅的情况。此时，虽然实际上倾斜的是车辆1，但是在拍摄部15拍摄到的拍摄图像数据上，应该成为相对于车辆1右侧的路面翘起而左侧的路面下降的状态。
如图7(a)所示，三维模型生成部402基于图像取得部401取到的拍摄图像数据生成三维模型M。
如图7(b)所示，校正部403从三维模型生成部402生成出的三维模型M估计平面R的位置以及朝向。接着，校正部403计算估计出的平面R的法线矢量Vr。在图7(b)所示的示例中，平面R的法线矢量Vr与作为通常值的法线矢量Vc不一致。
如图8(a)所示，为了使平面R的法线矢量Vr与作为通常值的法线矢量Vc一致，校正部403校正平面R的法线矢量Vr的斜率。换而言之，校正部403对平面R的法线矢量Vr进行偏置处理，以使平面R成为相对于车辆1的前后左右的轴平行的朝向。
如图8(b)所示，校正部403将平面R的高度位置与作为通常值的高度位置Hc匹配。此时，校正三维模型M所包括的三维点云全体的高度位置。换而言之，三维点云全体的高度位置校正为以拍摄部15c为视点的高度位置。
由此，三维点云中的平面R所包括的点成为与相对于车辆1平行的虚拟的路面在高度位置Hc上重合。此外，表示三维点云中的路面的凹凸以及其他物体等的点Px、Py、Pz与虚拟路面不重合，表示为具有规定高度的凹凸。
ECU的路面检测处理的示例
下面，使用图9对实施方式的ECU14的路面检测处理的示例进行说明。图9是表示实施方式的ECU14的路面检测处理的步骤的一个示例的流程图。
如图9所示，ECU14的图像取得部401取得拍摄部15拍摄到的拍摄图像数据(步骤S101)。在以下所述的路面状态的检测中，一般使用设置在车辆1前方的拍摄部15c拍摄到的拍摄图像数据。拍摄图像数据优选是动态图像数据。
三维模型生成部402一般从拍摄部15c拍摄到的拍摄图像数据生成在三维中配置多个点的三维模型M(步骤S102)。三维模型M包括路面凹凸状态，所述路面包括路面本身的凹凸以及路面上的物体等。
校正部403从生成出的三维模型M特定平面R的位置以及朝向(步骤S103)。即，校正部403从三维模型M根据稳健估计等的运算估计具有规定的位置以及朝向的平面R。估计出的平面R不包括表示凹凸状态的数据。
校正部403计算相对于特定出的平面R的法线矢量Vr(步骤S104)。
校正部403校正平面R的法线矢量Vr的斜率(步骤S105)。具体而言，校正部403进行校正：根据需要将平面R的法线矢量Vr倾斜规定角度，以使平面R的法线矢量Vr成为相对于作为通常值的法线矢量Vc垂直的朝向。
校正部403校正三维模型M全体的高度位置(步骤S106)。即，校正部403基于作为通常值的高度位置Hc，校正三维模型M全体的高度位置。三维模型M全体的高度位置通过将三维模型M所包括的三维点云的全部的位置相对移动与平面R所包括的三维点云的移动距离相应的距离而被校正。
通过校正部403的步骤S103到S106为止的处理，三维模型被校正为:以法线矢量为基准，且平面R相对于车辆1成为水平。由此，从三维点云中估计出的表示为平面R的点的点与虚拟路面的高度位置Hc重合，除此之外的点被判别为具有规定高度的路面的凹凸。在路面上具有规定高度的凹凸可以是：路面本身的凹凸、在路面上的物体、具有与车辆1所在的路面不同的倾斜的倾斜路等的其他路面。
通过上述处理，实施方式的ECU14的路面检测处理结束。
比较例
例如，作为比较例，假定是不实施上述的实施方式那样校正的结构。在此类比较例中，在车辆正在移动时，基于路面状况或驾驶员的操作，导致车辆上下左右摇动。在立体摄像头的視点中，路面一直在摇动，导致路面的规定位置的高度的检测精度恶化。还有因为瞬间的车辆摇晃而检测出就好像存在一样的未存在的凹凸等。
实施方式的ECU14从三维模型估计出根据运算求出的平面R，以法线矢量Vc及高度位置Hc为通常值，校正三维模型M，以使估计出的平面R的法线矢量Vr的朝向以及平面R的高度位置与其一致。由此，能够抑制车辆1摇晃的影响并提高路面高度的检测精度。
图10是由实施方式的ECU14和比较例的结构得到的平坦路面的检测结果的图表。图10的图表的横轴表示车辆的行进方向，纵轴表示路面的凹凸。以路面为0点，夹着0点的上方向为凸(正)侧，下方向为凹(负)侧。
如图10所示，在未实施三维模型的校正的比较例的结构中，即使车辆是正在平坦的路面行驶，也检测出两个大凸部。与此相对，在实施方式的ECU14中，检测出大致平坦的路面状态。
实施方式的ECU14如此能够高精度地检测出路面的凹凸的高度。因此，实施方式的ECU14例如能够应用于车辆1的停车辅助系统以及悬架控制系统等。
例如，在车辆1的停车辅助系统中，通过正确把握路面的凹凸的高度，能够正确地预测经过规定路径时的车辆1的移动方向。由此，能够更加可靠地将车辆1诱导到作为目标的停车位。
此外，在车辆1的悬架控制系统中，通过正确把握路面的凹凸的高度，能够正确地预测经过规定路径时的车辆1的摇晃。由此，能够更加可靠地抑制车辆1的摇晃。
其他实施方式
在上述的实施方式的ECU14中执行的路面检测程序可以通过互联网等网络来提供或者发布。即，路面检测程序可以以存储在与互联网等的网络连接的计算机上的状态接受经由网络下载的方式提供。
以上，举例说明本发明的实施方式，但上述实施方式及变形例仅是一个示例，并不用来限定发明的范围。上述的实施方式或变形例，可以通过其它各种方式实施，在不脱离发明主旨的范围内，可以进行各种省略、替换、组合及变更。另外，各实施方式或各变形例的结构或者形状，可以部分替换而实施。
符号说明
1…车辆、8…显示装置、14…ECU、15…拍摄部、401…图像取得部、402…三维模型生成部、403…校正部、404…存储部、Hc…高度位置、M…三维模型、R…平面、Vc，Vr…法线矢量。
Claims (4)
1.一种路面检测装置，其特征在于，具备：
图像取得部，其取得从对包括车辆行驶的路面的拍摄区域进行拍摄的立体摄像头输出的拍摄图像数据；
三维模型生成部，其基于所述拍摄图像数据，生成以所述立体摄像头为视点的包括所述路面的表面形状的所述拍摄区域的三维模型；以及
校正部，其从所述三维模型估计平面，并校正所述三维模型，以使所述平面的法线矢量的朝向及相对于所述立体摄像头的所述平面的高度位置、与所述路面的法线矢量的朝向的通常值及相对于所述立体摄像头的所述路面的高度位置的通常值分别匹配。
2.根据权利要求1所述的路面检测装置，其特征在于：
所述校正部，
在使平面的法线矢量的朝向与所述路面的法线矢量的朝向的通常值匹配之后，对所述三维模型的全体进行校正，以使相对于所述立体摄像头的所述平面的高度位置与相对于所述立体摄像头的所述路面的高度位置的通常值匹配。
3.根据权利要求2所述的路面检测装置，其特征在于：
所述校正部，
基于在所述立体摄像头的校准处理时确定了的值，取得所述路面的法线矢量的朝向的通常值及相对于所述立体摄像头的所述路面的高度位置的通常值。
4.一种路面检测程序，其使计算机执行下述步骤：
图像取得步骤，取得从对包括车辆行驶的路面的拍摄区域进行拍摄的立体摄像头输出的拍摄图像数据；
三维模型生成步骤，基于所述拍摄图像数据，生成以所述立体摄像头为视点的包括所述路面的表面形状的所述拍摄区域的三维模型；以及
校正步骤，从所述三维模型估计平面，并校正所述三维模型，以使所述平面的法线矢量的朝向及相对于所述立体摄像头的所述平面的高度位置、与所述路面的法线矢量的朝向的通常值及相对于所述立体摄像头的所述路面的高度位置的通常值分别匹配。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018227342A JP7211047B2 (ja) | 2018-12-04 | 2018-12-04 | 路面検出装置および路面検出プログラム |
| JP2018-227342 | 2018-12-04 | ||
| PCT/JP2019/046857 WO2020116352A1 (ja) | 2018-12-04 | 2019-11-29 | 路面検出装置および路面検出プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113165657A true CN113165657A (zh) | 2021-07-23 |
Family
ID=70973795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980079806.5A Pending CN113165657A (zh) | 2018-12-04 | 2019-11-29 | 路面检测装置以及路面检测程序 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220036097A1 (zh) |
| JP (1) | JP7211047B2 (zh) |
| CN (1) | CN113165657A (zh) |
| DE (1) | DE112019006045T5 (zh) |
| WO (1) | WO2020116352A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11684005B2 (en) | 2020-03-06 | 2023-06-27 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement |
| US11718304B2 (en) | 2020-03-06 | 2023-08-08 | Deere & Comoanv | Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement |
| US11678599B2 (en) | 2020-03-12 | 2023-06-20 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
| US11667171B2 (en) * | 2020-03-12 | 2023-06-06 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
| US11753016B2 (en) | 2020-03-13 | 2023-09-12 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed |
| US11685381B2 (en) | 2020-03-13 | 2023-06-27 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed |
| US12094169B2 (en) * | 2022-02-16 | 2024-09-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
| US12094220B2 (en) * | 2022-02-16 | 2024-09-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
| US12043269B2 (en) | 2022-02-16 | 2024-07-23 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| JP2011129048A (ja) * | 2009-12-21 | 2011-06-30 | Ihi Aerospace Co Ltd | 画像から平面を検出する平面検出装置及び検出方法 |
| JP2012123750A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
| CN102737405A (zh) * | 2011-03-31 | 2012-10-17 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
| JP2013145605A (ja) * | 2013-04-30 | 2013-07-25 | Toshiba Corp | 画像処理装置 |
| JP2013237320A (ja) * | 2012-05-14 | 2013-11-28 | Toshiba Alpine Automotive Technology Corp | 違和感軽減表示装置およびその表示制御方法 |
| US20150029345A1 (en) * | 2012-01-23 | 2015-01-29 | Nec Corporation | Camera calibration device, camera calibration method, and camera calibration program |
| CN107505644A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成系统及方法 |
| US20180285660A1 (en) * | 2015-09-28 | 2018-10-04 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57200525A (en) | 1981-06-04 | 1982-12-08 | Seiko Epson Corp | Preparation of free cutting steel for precision parts |
| JP4344860B2 (ja) * | 2004-01-30 | 2009-10-14 | 国立大学法人東京工業大学 | ステレオ画像を用いた道路平面領域並びに障害物検出方法 |
| JP2006053754A (ja) * | 2004-08-11 | 2006-02-23 | Honda Motor Co Ltd | 平面検出装置及び検出方法 |
| JP5920352B2 (ja) * | 2011-08-24 | 2016-05-18 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| EP2963922B1 (en) * | 2013-02-28 | 2019-02-27 | Aisin Seiki Kabushiki Kaisha | Program and device for controlling vehicle |
| EP3176013B1 (en) * | 2015-12-01 | 2019-07-17 | Honda Research Institute Europe GmbH | Predictive suspension control for a vehicle using a stereo camera sensor |
| WO2017122552A1 (ja) * | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
| JP6556675B2 (ja) * | 2016-08-26 | 2019-08-07 | 株式会社Ｚｍｐ | 物体検出方法及びその装置 |
| KR102695518B1 (ko) * | 2017-01-26 | 2024-08-14 | 삼성전자주식회사 | 차량 경로 가이드 방법 및 장치 |
| US10491885B1 (en) * | 2018-06-13 | 2019-11-26 | Luminar Technologies, Inc. | Post-processing by lidar system guided by camera information |
-
2018
- 2018-12-04 JP JP2018227342A patent/JP7211047B2/ja active Active
-
2019
- 2019-11-29 WO PCT/JP2019/046857 patent/WO2020116352A1/ja active Application Filing
- 2019-11-29 US US17/299,625 patent/US20220036097A1/en active Pending
- 2019-11-29 DE DE112019006045.7T patent/DE112019006045T5/de active Pending
- 2019-11-29 CN CN201980079806.5A patent/CN113165657A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| JP2011129048A (ja) * | 2009-12-21 | 2011-06-30 | Ihi Aerospace Co Ltd | 画像から平面を検出する平面検出装置及び検出方法 |
| JP2012123750A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
| CN102737405A (zh) * | 2011-03-31 | 2012-10-17 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
| US20150029345A1 (en) * | 2012-01-23 | 2015-01-29 | Nec Corporation | Camera calibration device, camera calibration method, and camera calibration program |
| JP2013237320A (ja) * | 2012-05-14 | 2013-11-28 | Toshiba Alpine Automotive Technology Corp | 違和感軽減表示装置およびその表示制御方法 |
| JP2013145605A (ja) * | 2013-04-30 | 2013-07-25 | Toshiba Corp | 画像処理装置 |
| US20180285660A1 (en) * | 2015-09-28 | 2018-10-04 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
| CN107505644A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220036097A1 (en) | 2022-02-03 |
| WO2020116352A1 (ja) | 2020-06-11 |
| DE112019006045T5 (de) | 2021-10-07 |
| JP2020090138A (ja) | 2020-06-11 |
| JP7211047B2 (ja) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113165657A (zh) | 路面检测装置以及路面检测程序 | |
| US9973734B2 (en) | Vehicle circumference monitoring apparatus | |
| US9216765B2 (en) | Parking assist apparatus, parking assist method and program thereof | |
| US9598105B2 (en) | Vehicle control apparatus and vehicle control method | |
| JP6361382B2 (ja) | 車両の制御装置 | |
| CN107791951B (zh) | 显示控制装置 | |
| CN111066319B (zh) | 图像处理装置 | |
| WO2018150642A1 (ja) | 周辺監視装置 | |
| US11475676B2 (en) | Periphery monitoring device | |
| US10846884B2 (en) | Camera calibration device | |
| US10922977B2 (en) | Display control device | |
| JP7423970B2 (ja) | 画像処理装置 | |
| JP7501500B2 (ja) | 駐車支援装置 | |
| JP7400326B2 (ja) | 駐車支援装置、駐車支援方法、および、駐車支援プログラム | |
| WO2023238598A1 (ja) | 車両制御装置 | |
| WO2023188927A1 (ja) | 自己位置誤差推定装置及び自己位置誤差推定方法 | |
| JP2018186432A (ja) | 表示制御装置 | |
| CN118722844A (zh) | 车辆控制装置 | |
| JP2017069846A (ja) | 表示制御装置 | |
| JP2018186387A (ja) | 表示制御装置 | |
| JP2018037881A (ja) | 周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |