CN103373285B - 图像生成设备和方法、摄像机及装备控制图像生成设备 - Google Patents
图像生成设备和方法、摄像机及装备控制图像生成设备 Download PDFInfo
- Publication number
- CN103373285B CN103373285B CN201310135068.6A CN201310135068A CN103373285B CN 103373285 B CN103373285 B CN 103373285B CN 201310135068 A CN201310135068 A CN 201310135068A CN 103373285 B CN103373285 B CN 103373285B
- Authority
- CN
- China
- Prior art keywords
- steering angle
- additional wire
- line segment
- coordinate data
- angle information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 239000002131 composite material Substances 0.000 claims abstract description 3
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000006855 networking Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 101001094573 Homo sapiens U1 small nuclear ribonucleoprotein C Proteins 0.000 description 4
- 102100035136 U1 small nuclear ribonucleoprotein C Human genes 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 101100074336 Xenopus laevis ripply2.1 gene Proteins 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 235000021167 banquet Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Generation (AREA)
Abstract
一种行驶辅助图像生成设备,包括:转向角信息获取单元,获取方向盘的转向角信息;附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像。所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
Description
技术领域
本公开涉及一种行驶(cruise)辅助图像生成设备、行驶辅助图像生成方法、车载摄像机及装备控制辅助图像生成设备,具体地讲,本公开涉及生成其中行驶辅助附加线叠加在拍摄的图像上的合成图像的行驶辅助图像生成设备等。
背景技术
相关技术中已知下述技术:通过在监视器上显示其中将指示车辆的行驶估计车辆宽度轨迹的行驶辅助附加线叠加在车辆周边的所拍摄图像上的合成图像,实现行驶辅助,如例如在JP-A-2002-330428(专利文献1)中所公开的。
将由各车辆设计或者摄像机设计特征值确定的车辆的行驶估计车辆宽度轨迹根据车辆而不同,并且此时根据车辆的转向角确定。因此,由诸如摄像机控制器ECU或者导航ECU的具有相对丰富的计算处理能力的微处理器进行与车辆转向角相对应的行驶辅助附加线(动态指导路线)的设置。
发明内容
在具有相关技术配置的上述系统中,在摄像机和诸如LCD的监视器之间的昂贵的ECU是必不可少的。因此,对于低价格的车辆,难以提供动态指导路线的显示功能,而该显示功能对于驾驶/操控是非常方便的。
考虑到以上情形,希望能够容易地向低价格的车辆提供对于驾驶/操控非常方便的动态指导路线的显示功能。
本公开的实施例针对行驶辅助图像生成设备,包括:转向角信息获取单元,获取方向盘的转向角信息;附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
在本公开的实施例中,由转向角信息获取单元获取方向盘的转向角信息。在这一情况下,例如,转向角信息获取单元可以从车载网络获取方向盘的转向角信息。附加线生成单元生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线。然后,附加线叠加单元将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像。拍摄图像可以是通过对车辆的后部区域或者车辆的侧面区域成像获得的拍摄图像。
另外,给定数目的线段的部分或全部由曲线形成,剩余部分由直线形成。使用对应于转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成所述曲线。使用包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,形成所述直线。
如上所述,在本公开的实施例中,通过给定数目的线段的组合形成行驶辅助附加线,给定数目的线段的部分或者全部由曲线形成,剩余部分由直线形成。另外,使用代表每一线段的两个端点和一个中间点的坐标数据,通过二次曲线近似,生成曲线线段,使用代表每一线段的两个端点的坐标数据,通过共线近似,生成直线线段。
因此,可以通过简单的电路配置和小容量的存储器,实现对应于方向盘的转向角的行驶辅助附加线的显示功能,即动态指导路线的显示功能。即,可以不使用昂贵的ECU而实现动态指导路线的显示功能。于是,根据本公开的实施例,能够容易地向低价车辆提供动态指导路线的显示功能。
在本公开的实施例中,一个中间点可以为沿水平方向或者垂直方向位于两个端点之间当中位置的点。另外,在本公开的实施例中,可以共用给定数目的线段的部分端点。因此,可以减少用于生成给定数目的线段的坐标数据的数目,并且实现存储器的进一步节省。
另外,在本公开的实施例中,还提供了存储坐标数据的坐标数据存储单元。在这一情况下,坐标数据存储单元可以存储对应于方向盘的转向角的离散值的坐标数据,附加线生成单元可以将由获取的转向角信息表示的转向角用作目标转向角,并且当对应于目标转向角的坐标数据不存在于坐标数据存储单元中时,可以通过对从坐标数据存储单元获取的对应于目标转向角附近的转向角的坐标数据进行插值处理来生成和使用对应于目标转向角的坐标数据。插值处理的最简单的方法是使用相邻坐标的线性插值处理。也可以使用二次曲线等执行较高阶的曲线插值,以获得转向角的平滑变化。
本公开的另一个实施例针对车载摄像机,包括拍摄车辆周边图像的成像单元;以及行驶辅助图像生成单元,其中,行驶辅助图像生成单元包括转向角信息获取单元,获取方向盘的转向角信息;附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及附加线叠加单元,将生成的行驶辅助附加线叠加在成像单元中获得的拍摄图像上,以获得合成图像,其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
在本公开的实施例中,车载摄像机包括拍摄车辆周边图像的成像单元以及行驶辅助图像生成单元。行驶辅助图像生成单元包括转向角信息获取单元、附加线生成单元以及叠加单元。转向角信息获取单元获取方向盘的转向角信息。附加线生成单元生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线。然后,附加线叠加单元将生成的行驶辅助附加线叠加在成像单元中所获得的所拍摄图像上,以获得合成图像。
在这一情况下,给定数目的线段的部分或全部由曲线形成,剩余部分由直线形成。使用对应于转向角信息的、包括代表每一线段的两个端点和一个中心点的坐标的坐标数据,通过二次曲线近似,生成所述曲线。使用包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,形成所述直线。
如上所述,在本公开的实施例中,通过给定数目的线段的组合形成行驶辅助附加线,给定数目的线段部分或者全部由曲线形成,剩余部分由直线形成。另外,使用代表每一线段的两个端点和一个中间点的坐标数据,通过二次曲线近似,生成曲线线段,使用代表每一线段的两个端点的坐标数据,通过共线近似,生成直线线段。
因此,可以通过简单的电路配置和小容量的存储器,实现对应于方向盘的转向角的行驶辅助附加线的显示功能,即动态指导路线的显示功能。即,可以以低成本形成具有动态指导路线的显示功能的车载摄像机。于是,通过使用根据本公开实施例的车载摄像机,能够容易地向低价车辆提供动态指导路线的显示功能。
本公开的又一个实施例针对行驶辅助图像生成设备,包括附加线生成单元,生成由给定数目的线段的组合形成的行驶辅助附加线;坐标数据存储单元,存储生成所述线段所需的坐标数据,以及附加线叠加单元,把生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,其中,附加线生成单元使用代表每一线段的两个端点和一个中间点的坐标数据,通过二次曲线近似,生成形成给定数目的线段的部分或者全部的各个曲线。
本公开的另一个实施例针对装备控制辅助图像生成设备,包括通过安装在驾驶装备上的成像设备监视外部周边环境的设备,并且该设备能够把对应于其中坐标随着驾驶操作而发生变化的图像的轨迹叠加在通过所述成像设备获得图像上,附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的轨迹辅助附加线,以及附加线叠加单元,将生成的轨迹辅助附加线叠加在背景图像上,以获得合成图像,其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
本公开的又一个实施例针对行驶辅助图像生成设备,包括配备了视野范围可变功能的成像单元,附加线生成单元,生成由给定数目的线段的组合形成的行驶辅助附加线;以及附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,其中,附加线生成单元具有一单元,该单元配置用于使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线,以及根据视野范围的可变状态更新和生成生成所述附加线所需的坐标数据。
根据本公开的实施例,能够向低价车辆提供对于驾驶/操控非常方便的动态指导路线的显示功能。
附图说明
图1是示出根据实施例的车载摄像机的配置示例的结构图;
图2是示出倒车时所显示的行驶辅助附加线的示例的视图;
图3是示出与将存储在查找表中的一个转向角对应的坐标数据集合的示例的图表;
图4是示意性地示出将存储在查找表中以便对应于各个离散的转向角的整体坐标数据的图表;
图5是示出倒车时所显示的行驶辅助附加线的另一个示例的视图;
图6是示出与将存储在查找表中的一个转向角对应的坐标数据集合的另一个示例的图表;
图7是示出倒车时所显示的行驶辅助附加线的另一个示例的视图;
图8是示出与将存储在查找表中的一个转向角对应的坐标数据集合的另一个示例的图表;
图9为示出以给定的时间间隔在转向角信息提取单元、转向角对应坐标获取单元以及行驶辅助附加线生成单元中的处理过程的示例的流程图;
图10是示出在其上叠加了行驶辅助附加线的车辆侧面区域的所拍摄图像的示例的视图;
图11是示出叠加在车辆侧面区域的所拍摄图像上的行驶辅助附加线的示例的视图;以及
图12是示出与将存储在查找表中的一个转向角对应的坐标数据集合的示例的视图。
具体实施方式
以下,将解释实现本公开的模式(以下称为“实施例”)。将按下列次序进行解释。
1.实施例
2.修改示例
<1.实施例>
[车载摄像机的配置示例]
图1示出了根据实施例的车载摄像机100的配置示例。车载摄像机100为布置在车辆后部的后部摄像机、布置在车辆侧面在乘客坐席侧的侧面摄像机或任何其他摄像机。本实施例中应用后部摄像机。
车载摄像机100包括转向角信息提取单元101、转向角对应坐标获取单元102、查找表(LUT)103、行驶辅助附加线生成单元104、成像单元105、附加线叠加单元106以及输出端107。转向角信息提取单元101从车载网络提取方向盘10的转向角信息。转向角信息提取单元101形成转向角信息获取单元。
查找表(LUT)103存储对应于方向盘10的转向角的各个离散值的坐标数据。通过给定数目的线段的组合形成在将要显示的拍摄图像上叠加的行驶辅助附加线。部分或者全部给定数目的线段由曲线形成,并且剩余的由直线形成。查找表103存储用于直接或者间接获得代表各个给定数目的线段的点的坐标数据、以便对应于转向角的各个离散值的坐标数据。此处,代表曲线的点为两个端点和一个中心点。代表直线的点为两个端点。
图2示出了倒车时显示的行驶辅助附加线的示例。行驶辅助附加线包括9个线段。所述9个线段包括第一水平线L1、第一左垂直线L2、第一右垂直线L3、第二水平线L4、第二左垂直线L5、第二右垂直线L6、第三水平线L7、第三左垂直线L8以及第三右垂直线L9。在本示例中,全部9个线段都由曲线形成。
在第一水平线L1中,把左端点的坐标表示为(Xhc1-Xhw1,Yhl1),把右端点的坐标表示为(Xhc1+Xhw1,Yhr1)以及把中心点的坐标表示为(Xhc1,Yhc1)。在这一情况下,中心点位于水平方向的左右两个端点的中心,把两个端点和一个中心点表示为5个坐标数据Xhw1、Xhc1、Yhl1、Yhc1以及Yhr1。因此,存储在查找表(LUT)103中的坐标数据从6个减少为5个。这同样应用于其它线段。
关于水平分量的后缀,分别由“h”表示水平线,“c”表示中心点,“w”表示水平方向的宽度,“l”表示左侧点,“r”表示右侧点。关于垂直分量的后缀而言,“v”表示垂直线,“m”表示“中间点”,“h”表示垂直方向的高度,“b”表示底部点,“t”表示顶部点。
在第一左垂直线L2中,把底部端点的坐标表示为(Xvlb1,Yvlm1-Yvlh1),把顶部端点的坐标表示为(Xvlt1,Yvlm1+Yvlh1)以及把中间点的坐标表示为(Xvlm1,Yvlm1)。在第一右垂直线L3中,把底部端点的坐标表示为(Xvrb1,Yvrm1-Yvrh1),把顶部端点的坐标表示为(Xvrt1,Yvrm1+Yvrh1)以及把中间点的坐标表示为(Xvrm1,Yvrm1)。以与上述相同的方式来表示第二水平线L4、第二左垂直线L5、第二右垂直线L6、第三水平线L7、第三左垂直线L8以及第三右垂直线L9,省略对它们的详细描述。
图3集体地示出了与将存储在查找表103中的、与图2中所示的行驶辅助附加线相关的一个转向角对应的坐标数据集合,包括45(3×15)个坐标。图4示意性地示出了与将存储在查找表103中的各个离散转向角对应的整体坐标数据。与转向角N对应的坐标数据集合包括从坐标(N,1)到坐标(N,45)的45个坐标数据。
图5描述了倒车时显示的行驶辅助附加线的另一个示例。该行驶辅助附加线也包括9个线段。所述9个线段包括第一水平线L1、第一左垂直线L2、第一右垂直线L3、第二水平线L4、第二左垂直线L5、第二右垂直线L6、第三水平线L7、第三左垂直线L8′以及第三右垂直线L9′。在本示例中,7个线段由曲线形成,剩余2个线段由直线形成。以与图2的示例一样的方式,由曲线形成第一水平线L1、第一左垂直线L2、第一右垂直线L3、第二水平线L4、第二左垂直线L5、第二右垂直线L6以及第三水平线L7。第三左垂直线L8′和第三右垂直线L9′由直线形成。
在第三左垂直线L8′中,把底部端点的坐标表示为(Xvlb3,Yvlb3)以及把顶部端点的坐标表示为(Xvlt3,Yvlt3),它们由4个坐标数据Xvlb3、Yvlb3、Xvlt3以及Yvlt3表示。在第三右垂直线L9′中,把底部端点的坐标表示为
(Xvrb3,Yvrb3)以及把顶部端点的坐标表示为(Xvrt3,Yvrt3),它们由4个坐标数据Xvrb3、Yvrb3、Xvrt3以及Yvrt3表示。
图6集体地示出了与将存储在查找表103中的、与图5中所示的行驶辅助附加线相关的一个转向角对应的坐标数据集合,包括43(=2×15+1×13)个坐标。
图7示出了倒车时显示的行驶辅助附加线的另一个示例。在本实施例中,将每一线段的一个端点或者两个端点与其它线段的端点共用,这可以进一步减少将存储在查找表(LUT)103中的坐标数据。
行驶辅助附加线也包括9个线段。所述9个线段包括第一水平线L1a、第一左垂直线L2a、第一右垂直线L3a、第二水平线L4a、第二左垂直线L5a、第二右垂直线L6a、第三水平线L7a、第三左垂直线L8a以及第三右垂直线L9a。在本示例中,以与图5中所示示例相同的方式,由曲线形成7个线段,由直线形成剩余的2个线段。第一水平线L1a、第一左垂直线L2a、第一右垂直线L3a、第二水平线L4a、第二左垂直线L5a、第二右垂直线L6a以及第三水平线L7a由曲线形成。第三左垂直线L8a和第三右垂直线L9a由直线形成。
在第一水平线L1a中,左端点的坐标表示为(Xhc1-Xhw1,Yvlm1-Yvlh1),右端点的坐标表示为(Xhc1+Xhw1,Yvrm1-Yvrh1)以及中心点的坐标表示为(Xhc1,Yhc1)。在第二水平线L4a中,左端点的坐标表示为(Xhc2-Xhw2,Yvlm2-Yvlh2),右端点的坐标表示为(Xhc2+Xhw2,Yvrm2-Yvrh2)以及中心点的坐标表示为(Xhc2,Yhc2)。在第三水平线L7a中,左端点的坐标表示为(Xhc3-Xhw3,Yvlm2+Yvlh2),右端点的坐标表示为(Xhc3+Xhw3,Yvrm2+Yvrh2)以及中心点的坐标表示为(Xhc3,Yhc3)。
在第一左垂直线L2a中,底部端点的坐标表示为与第一水平线L1a的左端点共用的(Xhc1-Xhw1,Yvlm1-Yvlh1),上端点的坐标表示为与第二水平线L4a的左端点共用的(Xhc2-Xhw2,Yvlm2-Yvlh2),以及中间点的坐标示出为(Xvlm1,Yvlm1)。在第一右垂直线L3a中,底部端点的坐标表示为与第一水平线L1a的右端点共用的(Xhc1+Xhw1,Yvrm1-Yvrh1),顶部端点的坐标表示为与第二水平线L4a的右端点共用的(Xhc2+Xhw2,Yvrm2-Yvrh2),以及中间点的坐标表示为(Xvrm1,Yvrm1)。
在第二左垂直线L5a中,底部端点的坐标表示为与第二水平线L4a的左端点共用的(Xch2-Xhw2,Yvlm-Yvlh2),顶部端点的坐标表示为与第三水平线L7a的左端点共用的(Xhc3-Xhw3,Yvlm2+Yvlh2),以及中间点的坐标表示为(Xvlm2,Yvlm2)。在第二右垂直线L6a中,底部端点的坐标表示为与第二水平线L4a的右端点共用的(Xhc2+Xhw2,Yvrm2-Yvrh2),顶部端点的坐标表示为与第三水平线L7a的右端点共用的(Xhc3+Xhw3,Yvrm2+Yvrh2),以及中间点的坐标表示为(Xvrm2,Yvrm2)。
在第三左垂直线L8a中,底部端点的坐标表示为与与第三水平线L7a的左端点共用的(Xhc3-Xhw3,Yvlm2+Yvlh2),以及顶部端点的坐标表示为(Xvlt3,Yvlt3)。在第三右垂直线L9a中,底部端点的坐标表示为与第三水平线L7a的右端点共用的(Xhc3+Xhw3,Yvrm2+Yvrh2),以及顶部端点的坐标表示为(Xvrt3,Yvrt3)。
图8集体地示出了与将存储在查找表103中的、与图7中所示的行驶辅助附加线相关的一个转向角对应的坐标数据集合,包括25个坐标。当将每一线段的一个端点或者两个端点与其它线段的端点共用时,进一步减少了将存储在查找表(LUT)103中的坐标数据。即,在其中不共用数据的图2中所示的示例中需要包括45个坐标的坐标数据,然而,在其中共用数据的图7中所示的示例中仅需要包括25个坐标的坐标数据。
返回至图1,转向角对应坐标获取单元102获取代表形成上述行驶辅助附加线的各个线段的点的坐标数据(坐标数据集合),所述行驶辅助附加线对应于转向角信息提取单元101中提取的转向角信息所表示的转向角。此处,当转向角信息所表示的转向角为目标转向角,以及对应于目标转向角的坐标数据存在于查找表103中时,转向角对应坐标获取单元102从查找表103中直接获取对应于目标转向角的坐标数据。
另一方面,当对应于目标转向角的坐标数据不存在于查找表103中时,转向角对应坐标获取单元102从查找表103获取对应于目标转向角附近的转向角的坐标数据,以通过线性插值处理生成对应于目标转向角的坐标数据。关于车辆转向角的行驶辅助附加线(行驶预测线)是单调递增/递减的,可以通过相邻插值处理保持其连续性。
行驶辅助附加线生成单元104根据转向角对应坐标获取单元102获取的坐标数据(坐标数据集合)生成对应于当前转向角的行驶辅助附加线。在这一情况下,使用两个端点和一个中间点的坐标数据,通过二次曲线近似,生成在行驶辅助附加线中包括的线段(曲线)。使用两个端点的坐标数据,通过共线近似,生成在行驶辅助附加线中包括的线段(直线)。
在本实施例中,成像单元105通过拍摄车辆周边(即,车辆的后部区域)的图像获得所拍摄图像。成像单元105由例如CMOS图像传感器等形成。附加线叠加单元106把行驶辅助附加线生成单元104生成的行驶辅助附加线叠加在成像单元105获得的所拍摄图像上,由此获得合成图像。具体地,附加线叠加单元106把从成像单元105输出的成像信号与行驶辅助附加线生成单元104获得的行驶辅助附加线的显示信号组合,输出合成之后的成像信号。
输出端107得到组合了由附加线叠加单元106获得的行驶辅助附加线的显示信号之后获得的成像信号。例如,LCD等形成的监视器20连接到输出端107。
将解释图1中所示的车载摄像机100的操作。在转向角信息提取单元101中,从车载网络提取方向盘10的转向角信息。将转向角信息提供至转向角对应坐标获取单元102。转向角对应坐标获取单元102获取代表形成上述行驶辅助附加线的各个线段的点的坐标数据(坐标数据集合),其中,行驶辅助附加线对应于转向角信息提取单元101中提取的转向角信息所表示的转向角。将坐标数据提供到行驶辅助附加线生成单元104。
在行驶辅助附加线生成单元104中,基于由转向角对应坐标获取单元102获取的坐标数据(坐标数据集合)生成对应于当前转向角的行驶辅助附加线。在这一情况下,使用两个端点和一个中间点的坐标数据,通过二次曲线近似,生成在行驶辅助附加线中包括的线段(曲线)。使用两个端点的坐标数据,通过共线近似,生成在行驶辅助附加线中包括的线段(直线)。将行驶辅助附加线提供至附加线叠加单元106。
把通过在成像单元105中拍摄车辆的后部区域的图像获得的拍摄图像提供到附加线叠加单元106。在附加线叠加单元106中,把行驶辅助附加线生成单元104生成的行驶辅助附加线叠加在在成像单元105中获得的拍摄图像上,由此获得合成图像。即,在附加线叠加单元106中,将行驶辅助附加线生成单元104获得的行驶辅助附加线的显示信号与从成像单元105输出的成像信号组合,然后输出合成之后的成像信号。
把在附加线叠加单元106中获得的合成之后的成像信号提供到输出端107,作为车载摄像机100的输出。当把监视器20连接到输出端107时,合成之后的成像信号从输出端107提供到监视器20。在监视器20上,显示在其上叠加了行驶辅助附加线的拍摄图像。
以给定时间间隔重复执行转向角信息提取单元101中方向盘10的转向角信息的提取。当转向角信息表示的转向角的值不同于前一次的值时,在转向角对应坐标获取单元102中获取对应于改变的转向角的坐标数据,并在行驶辅助附加线生成单元104中生成行驶辅助附加线,以便对应于改变的转向角。因此,根据方向盘10的转向角的变化更新从行驶辅助附加线生成单元104提供到附加线叠加单元106的行驶辅助附加线。因此,根据方向盘10的转向角的变化,动态地更新叠加在拍摄图像上的行驶辅助附加线。
图9的流程图示出了以给定时间间隔执行的转向角信息提取单元101、转向角对应坐标获取单元102以及行驶辅助附加线生成单元104中的处理过程的示例。在步骤ST1中,开始所述处理。接下来,在步骤ST2中,在转向角信息提取单元101中从车载网络提取时刻“t”的转向角信息Sa(t)。
然后,在步骤ST3中,确定此刻提取的转向角信息Sa(t)是否不同于上一时刻提取的转向角信息Sa(t-1)。即,在步骤ST3中确定是否满足条件|Sa(t)-Sa(t-1)|>0。当提取的转向角信息与上一时刻提取的信息相同时,在步骤ST6中立即结束所述处理。
另一方面,当步骤ST3中提取的转向角信息不同于上一时刻提取的信息时,在步骤ST4中,在转向角对应坐标获取单元102中获取用于生成形成对应于提取的转向角信息的行驶辅助附加线的各个线段的坐标数据。然后,在步骤ST5中,基于行驶辅助附加线生成单元104中新获取的坐标数据,生成对应于此刻提取的转向角信息的行驶辅助附加线。此后,处理在步骤ST6中结束。
如上所述,在图1中所示的车载摄像机100中,通过给定数目的线段的组合形成行驶辅助附加线,并且部分或者全部给定数目的线段由曲线形成,剩余的由直线形成。另外,使用代表每一线段的两个端点和一个中间点的坐标数据,通过二次曲线近似,生成曲线线段,并且使用代表每一线段的两个端点的坐标数据,通过共线近似,生成直线线段。
因此,可以通过简单的电路配置和小容量的存储器实现对应于方向盘10的转向角的行驶辅助附加线的显示功能,即,动态指导路线的显示功能。即,能够以低成本形成具有动态指导路线显示功能的车载摄像机100。因此,能够通过使用车载摄像机100容易地向低价格的车辆提供动态指导路线的显示功能。
<2.修改示例>
在上述实施例中,已经描述了布置在车辆后部的后部摄像机的示例。然而,本公开也可以以相同的方式应用于布置在车辆侧面(例如,在车辆的乘客坐席侧)的对车辆侧面区域进行成像并且获得拍摄图像的侧面摄像机,以获得相同的优点。
图10示出了在其上叠加了行驶辅助附加线的车辆侧面区域的拍摄图像的一个示例。这一示例中的行驶辅助附加线包括4个线段。在该情况下,查找表(LUT)103存储代表4个线段的点的坐标数据,其对应于方向盘10的转向角的各个离散值。行驶辅助附加线包括第一左垂直线L1、第一水平线L2、第二左垂直线L3以及第二水平线L4共4个线段,如图11中所示。在该示例中,所有4个线段由曲线形成。
在第一左垂直线L1中,把底部端点的坐标表示为(Xvlb1,Yvlm1-Yvlh1),把顶部端点的坐标表示为(Xvlt1,Yvlm1+Yvlh1)以及把中间点的坐标表示为(Xvlm1,Yvlm1)。在第二水平线L2中,把左端点的坐标表示为(Xhc1-Xhw1,Yhl1),把右端点的坐标表示为(Xhc1+Xhw1,Yhr1)以及把中心点的坐标表示为(Xhc1,Yhc1)。
在第二左垂直线L3中,把底部端点的坐标表示为(Xvlb2,Yvlm2-Yvlh2),把顶部端点的坐标表示为(Xvlt2,Yvlm2+Yvlh2)以及把中间点的坐标表示为(Xvlm2,Yvlm2)。在第二水平线L4中,把左端点的坐标表示为(Xhc2-Xhw2,Yhl2),把右端点的坐标表示为(Xhc2+Xhw2,Yhr2)以及把中心点的坐标表示为(Xhc2,Yhc2)。
图12集体地示出了与将存储在查找表103中的、与图11中所示的行驶辅助附加线相关的一个转向角对应的坐标数据集合,包括20(2×10)个坐标。
在上述实施例中已经解释了与转向连结(interlock)的操作。然而,本公开中生成的轨迹线并不限于由与转向连结的操作生成的线。在本公开的技术中,可以通过少量设定坐标实现静止的显示曲线,因此,当描绘固定的行驶线时,本公开的技术有效节省存储器。
在上述实施例中,已经示出了将本公开的技术主要用于倒车或者进行平行(parallel)停车时的情况。然而,也可以把本公开的技术用于显示摩托艇等的移动的预测轨迹、操作诸如起重机和建筑机器的重型装备的转弯范围的预测轨迹。
在上述实施例中,未提到成像单元的视野的可变功能。然而,成像单元可以配备视野的可变功能。当成像单元的视野变化时,需要根据视野的可变状态改变将叠加在拍摄图像上的行驶辅助附加线。在这一情况下,为了解决所述问题,提供配置用于根据视野的可变状态更新和生成生成附加线所需的坐标数据的单元。
本公开也可以应用以下配置。
(1)一种行驶辅助图像生成设备,包括
转向角信息获取单元,获取方向盘的转向角信息;
附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及
附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
(2)上述(1)中所描述的行驶辅助图像生成设备,
其中,一个中间点为沿水平方向或者垂直方向位于两个端点之间当中位置的点。
(3)上述(1)或者(2)中所描述的行驶辅助图像生成设备,
其中,共用给定数目的线段的部分端点。
(4)上述(1)到(3)中任一个所描述的行驶辅助图像生成设备,
其中,所述拍摄图像为通过对车辆的后部区域成像获得的拍摄图像。
(5)上述(1)到(3)中任一个所描述的行驶辅助图像生成设备,
其中,所述拍摄图像为通过对车辆的侧面区域成像获得的拍摄图像。
(6)上述(1)到(5)中任一个所描述的行驶辅助图像生成设备,
其中,转向角信息获取单元从车载网络获取方向盘的转向角信息。
(7)上述(1)到(6)中任一个所描述的行驶辅助图像生成设备,还包括
坐标数据存储单元,存储坐标数据。
(8)上述(7)中所描述的行驶辅助图像生成设备,
其中,坐标数据存储单元存储对应于方向盘的转向角的离散值的坐标数据,并且
附加线生成单元将由获取的转向角信息表示的转向角用作目标转向角,并且当对应于目标转向角的坐标数据不存在于坐标数据存储单元中时,通过对从坐标数据存储单元获取的对应于目标转向角附近的转向角的坐标数据进行插值处理来生成并使用对应于目标转向角的坐标数据。
(9)上述(8)中所描述的行驶辅助图像生成设备,
其中,通过对从坐标数据存储单元获取的对应于目标转向角附近的转向角的坐标数据进行线性插值来生成对应于目标转向角的坐标数据,并使用生成的坐标数据。
(10)一种行驶辅助图像生成方法,包括
获取方向盘的转向角信息,
生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及
将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,在所述生成行驶辅助附加线的处理中,使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
(11)一种车载摄像机,包括
拍摄车辆周边图像的成像单元;以及
行驶辅助图像生成单元,
其中,行驶辅助图像生成单元包括
转向角信息获取单元,获取方向盘的转向角信息;
附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及
附加线叠加单元,将生成的行驶辅助附加线叠加在成像单元中获得的拍摄图像上,以获得合成图像,
其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
(12)一种行驶辅助图像生成设备,包括
附加线生成单元,生成由给定数目的线段的组合形成的行驶辅助附加线;
坐标数据存储单元,存储生成所述线段所需的坐标数据,以及
附加线叠加单元,把生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,附加线生成单元使用代表每一线段的两个端点和一个中间点的坐标数据,通过二次曲线近似,生成形成给定数目的线段的部分或者全部的各个曲线。
(13)一种装备控制辅助图像生成设备,包括
通过安装在驾驶装备上的成像设备监视外部周边环境的设备,并且该设备能够把对应于其中坐标随着驾驶操作而发生变化的图像的轨迹叠加在通过所述成像设备获得的图像上,
附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的轨迹辅助附加线,以及
附加线叠加单元,将生成的轨迹辅助附加线叠加在背景图像上,以获得合成图像,
其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
(14)一种行驶辅助图像生成设备,包括
配备了视野范围可变功能的成像单元,
附加线生成单元,生成由给定数目的线段的组合形成的行驶辅助附加线;以及
附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,附加线生成单元具有一单元,该单元配置用于
使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,
使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线,以及
根据视野范围的可变状态更新和生成生成所述附加线所需的坐标数据。
本公开包含于2012年4月25日向日本专利局提出的日本优先权专利申请JP2012-099500中所公开的主题相关的主题,其全部内容通过引用并入于此。
本领域技术人员应当理解,取决于设计要求和其它因素,可以发生各种修改、组合、子组合、以及更改,只要它们在所附权利要求或者其等效物的范围内即可。
Claims (14)
1.一种行驶辅助图像生成设备,包括:
转向角信息获取单元,获取方向盘的转向角信息;
附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及
附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
2.根据权利要求1所述的行驶辅助图像生成设备,
其中,一个中间点为沿水平方向或者垂直方向位于两个端点之间当中位置的点。
3.根据权利要求1所述的行驶辅助图像生成设备,
其中,共用给定数目的线段的部分端点。
4.根据权利要求1所述的行驶辅助图像生成设备,
其中,所述拍摄图像为通过对车辆的后部区域成像获得的拍摄图像。
5.根据权利要求1所述的行驶辅助图像生成设备,
其中,所述拍摄图像为通过对车辆的侧面区域成像获得的拍摄图像。
6.根据权利要求1所述的行驶辅助图像生成设备,
其中,转向角信息获取单元从车载网络获取方向盘的转向角信息。
7.根据权利要求1所述的行驶辅助图像生成设备,还包括:
坐标数据存储单元,存储坐标数据。
8.根据权利要求7所述的行驶辅助图像生成设备,
其中,坐标数据存储单元存储对应于方向盘的转向角的离散值的坐标数据,并且
附加线生成单元将由获取的转向角信息表示的转向角用作目标转向角,并且当对应于目标转向角的坐标数据不存在于坐标数据存储单元中时,通过对从坐标数据存储单元获取的对应于目标转向角附近的转向角的坐标数据进行插值处理来生成并使用对应于目标转向角的坐标数据。
9.根据权利要求8所述的行驶辅助图像生成设备,
其中,通过对从坐标数据存储单元获取的对应于目标转向角附近的转向角的坐标数据进行线性插值来生成对应于目标转向角的坐标数据,并使用生成的坐标数据。
10.一种行驶辅助图像生成方法,包括:
获取方向盘的转向角信息,
生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及
将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,在所述生成行驶辅助附加线的处理中,使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
11.一种车载摄像机,包括:
拍摄车辆周边图像的成像单元;以及
行驶辅助图像生成单元,
其中,行驶辅助图像生成单元包括
转向角信息获取单元,获取方向盘的转向角信息;
附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的行驶辅助附加线;以及
附加线叠加单元,将生成的行驶辅助附加线叠加在成像单元中获得的拍摄图像上,以获得合成图像,
其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
12.一种行驶辅助图像生成设备,包括:
附加线生成单元,生成由给定数目的线段的组合形成的行驶辅助附加线;
坐标数据存储单元,存储生成所述线段所需的坐标数据,以及
附加线叠加单元,把生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,附加线生成单元使用代表每一线段的两个端点和一个中间点的坐标数据,通过二次曲线近似,生成形成给定数目的线段的部分或者全部的各个曲线,
其中,共用给定数目的线段的部分端点。
13.一种装备控制辅助图像生成设备,包括:
通过安装在驾驶装备上的成像设备监视外部周边环境的设备,并且该设备能够把对应于其中坐标随着驾驶操作而发生变化的图像的轨迹叠加在通过所述成像设备获得的图像上,
附加线生成单元,生成对应于获取的转向角信息、并且由给定数目的线段的组合形成的轨迹辅助附加线,以及
附加线叠加单元,将生成的轨迹辅助附加线叠加在背景图像上,以获得合成图像,
其中,所述附加线生成单元使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,并且使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线。
14.一种行驶辅助图像生成设备,包括:
配备了视野范围可变功能的成像单元,
附加线生成单元,生成由给定数目的线段的组合形成的行驶辅助附加线;以及
附加线叠加单元,将生成的行驶辅助附加线叠加在车辆周边的拍摄图像上,以获得合成图像,
其中,附加线生成单元具有一单元,该单元配置用于
使用对应于获取的转向角信息的、包括代表每一线段的两个端点和一个中间点的坐标的坐标数据,通过二次曲线近似,生成形成所述给定数目的线段的部分或者全部的各个曲线,
使用对应于获取的转向角信息的、包括代表每一线段的两个端点的坐标的坐标数据,通过共线近似,生成形成所述给定数目的线段的剩余部分的各个直线,以及
根据视野范围的可变状态更新和生成生成所述附加线所需的坐标数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-099500 | 2012-04-25 | ||
JPJP2012-099500 | 2012-04-25 | ||
JP2012099500A JP5888087B2 (ja) | 2012-04-25 | 2012-04-25 | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103373285A CN103373285A (zh) | 2013-10-30 |
CN103373285B true CN103373285B (zh) | 2017-04-26 |
Family
ID=49459317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310135068.6A Active CN103373285B (zh) | 2012-04-25 | 2013-04-18 | 图像生成设备和方法、摄像机及装备控制图像生成设备 |
Country Status (3)
Country | Link |
---|---|
US (3) | US9533709B2 (zh) |
JP (1) | JP5888087B2 (zh) |
CN (1) | CN103373285B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5888087B2 (ja) * | 2012-04-25 | 2016-03-16 | ソニー株式会社 | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
JP6686886B2 (ja) * | 2014-08-12 | 2020-04-22 | ソニー株式会社 | 信号処理装置と信号処理方法およびモニタリングシステム |
WO2018008085A1 (ja) * | 2016-07-05 | 2018-01-11 | 三菱電機株式会社 | 認知領域推定装置、認知領域推定方法および認知領域推定プログラム |
EP3501929A4 (en) * | 2016-08-22 | 2019-07-24 | Sony Corporation | DRIVING ASSISTANCE DEVICE, METHOD, MOBILE BODY, AND PROGRAM |
CN107878561B (zh) * | 2017-09-26 | 2020-07-07 | 惠州市德赛西威汽车电子股份有限公司 | 一种动态倒车轨迹线描画方法及其装置 |
JP7201315B2 (ja) * | 2017-11-08 | 2023-01-10 | トヨタ自動車株式会社 | 電子ミラー装置 |
CN109849916A (zh) * | 2018-12-19 | 2019-06-07 | 李克 | 车辆行驶状态监控方法及装置 |
DE112020000391T5 (de) * | 2019-01-10 | 2021-10-07 | Jaguar Land Rover Limited | Ein Steuerungssystem, System und Verfahren zur Unterstützung einesFahrzeuginsassen |
CN110996091B (zh) * | 2019-12-26 | 2021-10-08 | 斑马网络技术有限公司 | 在可移动设备的显示图像上叠加信息的方法及装置 |
JP7529784B2 (ja) | 2020-08-06 | 2024-08-06 | 株式会社デンソーテン | 車載カメラ装置及び表示画像生成方法 |
CN116883291B (zh) * | 2023-09-06 | 2023-11-17 | 山东科技大学 | 一种基于二元傅里叶级数的畸变校正方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1287532A (zh) * | 1998-10-08 | 2001-03-14 | 松下电器产业株式会社 | 驾驶操作辅助器及记录媒体 |
CN1371079A (zh) * | 2001-02-09 | 2002-09-25 | 松下电器产业株式会社 | 图象合成装置 |
CN1863694A (zh) * | 2003-08-07 | 2006-11-15 | 松下电器产业株式会社 | 驾驶辅助设备和驾驶辅助方法 |
WO2012032809A1 (ja) * | 2010-09-06 | 2012-03-15 | アイシン精機株式会社 | 運転支援装置 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5408598A (en) * | 1991-05-23 | 1995-04-18 | International Business Machines Corporation | Method for fast generation of parametric curves employing a pre-calculated number of line segments in accordance with a determined error threshold |
JPH05127652A (ja) * | 1991-11-05 | 1993-05-25 | Sharp Corp | 袋文字パタ−ン生成方式 |
JPH07105362A (ja) * | 1993-10-06 | 1995-04-21 | Fujitsu Ltd | 曲線の標本点発生装置 |
US5790126A (en) * | 1995-01-03 | 1998-08-04 | Microsoft Corporation | Method for rendering a spline for scan conversion of a glyph |
JPH11224342A (ja) * | 1998-02-05 | 1999-08-17 | Fuji Xerox Co Ltd | 描画処理装置 |
JP3183284B2 (ja) * | 1999-01-19 | 2001-07-09 | 株式会社豊田自動織機製作所 | 車両の後退時の操舵支援装置 |
JP4096445B2 (ja) * | 1999-03-31 | 2008-06-04 | アイシン精機株式会社 | 駐車補助装置 |
JP4723703B2 (ja) * | 1999-06-25 | 2011-07-13 | 富士通テン株式会社 | 車両の運転支援装置 |
JP3508665B2 (ja) * | 1999-12-24 | 2004-03-22 | 株式会社豊田自動織機 | 操舵支援装置 |
US6704653B2 (en) * | 2000-05-12 | 2004-03-09 | Kabushiki Kaisha Toyota Jidoshokki | Vehicle backing support apparatus |
US6999602B2 (en) * | 2000-06-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Image generation for assistance of drivers of vehicles |
JP4059309B2 (ja) * | 2001-05-07 | 2008-03-12 | 松下電器産業株式会社 | 車載カメラの画像表示制御方法及びその装置 |
JP4108314B2 (ja) * | 2001-10-31 | 2008-06-25 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
US7212653B2 (en) * | 2001-12-12 | 2007-05-01 | Kabushikikaisha Equos Research | Image processing system for vehicle |
JP4021662B2 (ja) * | 2001-12-28 | 2007-12-12 | 松下電器産業株式会社 | 運転支援装置及び画像出力装置並びにカメラ付きロッド |
US20030147539A1 (en) * | 2002-01-11 | 2003-08-07 | Mh Acoustics, Llc, A Delaware Corporation | Audio system based on at least second-order eigenbeams |
JP2006040008A (ja) * | 2004-07-28 | 2006-02-09 | Auto Network Gijutsu Kenkyusho:Kk | 運転支援装置 |
US7671860B2 (en) * | 2004-10-28 | 2010-03-02 | Microsoft Corporation | Representing implicit curves of procedural geometric surfaces |
JP5309442B2 (ja) * | 2006-05-29 | 2013-10-09 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4967620B2 (ja) * | 2006-11-28 | 2012-07-04 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP2008213647A (ja) * | 2007-03-02 | 2008-09-18 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP4924896B2 (ja) * | 2007-07-05 | 2012-04-25 | アイシン精機株式会社 | 車両の周辺監視装置 |
JP5380941B2 (ja) * | 2007-10-01 | 2014-01-08 | 日産自動車株式会社 | 駐車支援装置及び方法 |
KR100939761B1 (ko) * | 2008-10-02 | 2010-01-29 | 삼성전기주식회사 | 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템 |
JP5300443B2 (ja) * | 2008-12-01 | 2013-09-25 | 富士通テン株式会社 | 画像処理装置 |
JP4831374B2 (ja) * | 2009-03-27 | 2011-12-07 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置、運転支援方法、及び運転支援プログラム |
DE112010005565T5 (de) * | 2010-05-14 | 2013-02-28 | Mitsubishi Electric Corp. | Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit |
JP5519479B2 (ja) * | 2010-11-29 | 2014-06-11 | パナソニック株式会社 | 運転支援表示装置 |
CN202176153U (zh) * | 2011-07-12 | 2012-03-28 | 客贝利(厦门)休闲用品有限公司 | 一种帐篷 |
KR101329510B1 (ko) * | 2011-10-07 | 2013-11-13 | 엘지이노텍 주식회사 | 주차 보조 장치 및 방법 |
JP5888087B2 (ja) * | 2012-04-25 | 2016-03-16 | ソニー株式会社 | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
-
2012
- 2012-04-25 JP JP2012099500A patent/JP5888087B2/ja active Active
-
2013
- 2013-04-04 US US13/856,663 patent/US9533709B2/en active Active
- 2013-04-18 CN CN201310135068.6A patent/CN103373285B/zh active Active
-
2016
- 2016-11-29 US US15/363,710 patent/US10696328B2/en active Active
-
2020
- 2020-06-10 US US16/897,658 patent/US11628882B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1287532A (zh) * | 1998-10-08 | 2001-03-14 | 松下电器产业株式会社 | 驾驶操作辅助器及记录媒体 |
CN1371079A (zh) * | 2001-02-09 | 2002-09-25 | 松下电器产业株式会社 | 图象合成装置 |
CN1863694A (zh) * | 2003-08-07 | 2006-11-15 | 松下电器产业株式会社 | 驾驶辅助设备和驾驶辅助方法 |
WO2012032809A1 (ja) * | 2010-09-06 | 2012-03-15 | アイシン精機株式会社 | 運転支援装置 |
Non-Patent Citations (1)
Title |
---|
《Finding the Best Quadratic Approximation of a Function》;Yajun Yang et al;《Internation Journal of Mathematical Education in Science and Technology》;20110930;第42卷;正文部分第8页 * |
Also Published As
Publication number | Publication date |
---|---|
US9533709B2 (en) | 2017-01-03 |
JP5888087B2 (ja) | 2016-03-16 |
US11628882B2 (en) | 2023-04-18 |
US20210024130A1 (en) | 2021-01-28 |
US10696328B2 (en) | 2020-06-30 |
US20130325205A1 (en) | 2013-12-05 |
US20170073007A1 (en) | 2017-03-16 |
JP2013228832A (ja) | 2013-11-07 |
CN103373285A (zh) | 2013-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103373285B (zh) | 图像生成设备和方法、摄像机及装备控制图像生成设备 | |
US10676027B2 (en) | Vehicle control apparatus and program | |
CN106608220B (zh) | 车辆底部影像的生成方法、装置和车辆 | |
EP2974909B1 (en) | Periphery surveillance apparatus and program | |
JP5003946B2 (ja) | 駐車支援装置 | |
JP4765649B2 (ja) | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 | |
WO2009151053A1 (ja) | 駐車支援装置及び駐車支援方法 | |
CN110877572A (zh) | 周边监视装置 | |
US10855954B2 (en) | Periphery monitoring device | |
WO2019058585A1 (ja) | 表示制御装置 | |
US10596966B2 (en) | Display device for vehicle and display method for vehicle | |
JP6953088B2 (ja) | 電子装置および駐車支援方法 | |
JP5891880B2 (ja) | 車載画像表示装置 | |
JP6327144B2 (ja) | 画像処理システム及び画像処理装置 | |
JP4567375B2 (ja) | 補助情報提示装置 | |
WO2017026083A1 (ja) | 車両用表示装置及び車両用表示方法 | |
JP5429399B2 (ja) | 運転補助装置 | |
JP2012051574A (ja) | 駐車支援装置及び駐車支援方法 | |
JP2018158664A (ja) | 運転支援装置、運転支援方法およびプログラム | |
JP6805900B2 (ja) | 画像処理装置およびカメラ装置並びに運転支援装置 | |
JP2020107036A (ja) | 画像処理装置 | |
JP2012063830A (ja) | 入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |