CN102427982A - 利用车辆周边影像的车线脱离检测方法及装置 - Google Patents
利用车辆周边影像的车线脱离检测方法及装置 Download PDFInfo
- Publication number
- CN102427982A CN102427982A CN2009801593961A CN200980159396A CN102427982A CN 102427982 A CN102427982 A CN 102427982A CN 2009801593961 A CN2009801593961 A CN 2009801593961A CN 200980159396 A CN200980159396 A CN 200980159396A CN 102427982 A CN102427982 A CN 102427982A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- fare
- vehicle
- image
- breaks away
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002093 peripheral effect Effects 0.000 claims description 40
- 238000007689 inspection Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 18
- 238000012937 correction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 206010041349 Somnolence Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108091064702 1 family Proteins 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241001212149 Cathetus Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0022—Gains, weighting coefficients or weighting functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/24—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及利用车辆周边影像的车线脱离检测方法及装置。根据本发明的利用车辆周边影像的车线脱离检测方法包括：将通过设置于行驶中的车辆的多个摄像机拍摄的影像，通过连接在摄像机的各频道输入的步骤；将拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；将多个校正影像合成而生成车辆的周边影像的步骤；从车辆的周边影像提取车线，计算车辆和提取出的车线之间的距离信息或车辆的行进方向和提取出的车线构成的角度信息来判断车线脱离的步骤；以及被判断为车线脱离时发生警报的步骤。根据本发明，消除行驶中的车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而可以更准确地检测车线脱离与否。
Description
技术领域
本发明涉及周边影像生成方法及装置，更详细地涉及将通过设置在车辆的前方、后方、左侧及右侧的摄像机拍摄的影像合成来判断车线脱离与否的车线脱离检测方法及装置。
背景技术
最近，由于汽车产业的发达，汽车的普及普遍到可以称得上1户1车时代，由于高速公路及公路运输网的扩充，长途驾驶的驾驶员大幅增加。随之，长途运输较多的卡车驾驶员和长途上下班人员等曝露在由基于长时间驾驶的疲劳、不小心、困倦驾驶带来的车线脱离事故的危险。
一般，尖端安全车辆(Advanced Safety Vehicle，以下称为“ASV”)是指为了提高车辆的安全性应用尖端电子技术和控制技术的尖端车辆，减少交通事故而增加交通量，节约能源并谋求驾驶员的方便。
ASV包括自动控制车距的匀速行驶装置(Adaptive Cruise Control，以下称为“ACC”)，监视车线脱离进行警告的车线脱离警报系统(Lane DepartureWarning System，以下称为“LDWS”)等。
特别是LDWS是通过安装在车辆的摄像机检测前方道路影像掌握当前行驶的车线之后，如果驾驶员由于不注意或困倦驾驶等而要脱离车线时，响起警报音的安全系统。LDWS基于通过摄像机拍摄的图像，综合分析测面位置和测面速度、操纵角度、车线的宽度、道路的弯曲等，分析结果，若检测出车线脱离，则通知给驾驶员。
根据现有技术，根据通过安装在车辆的两侧侧镜的摄像机拍摄的后侧方的左右影像提取车线，计算提取出的左右车线和车体的方向线构成的角度等而检测出车线脱离与否。根据其它现有技术，根据通过安装在车辆的前方的摄像机拍摄的前方的影像和道路的影像识别车线，提取识别出的车线的斜率变化来判断车线脱离与否。
但是，根据现有技术，单纯组合车辆的左右侧影像而显示，从而不能自然的执行影像之间的覆盖处理，具有不能准确判断当前车辆的行驶位置或路径脱离程度的问题，特别是仅根据车辆的前方影像难以准确判断当前车辆的脱离程度，具有驾驶员难以方便地确认行驶状况的问题。
发明内容
因此，本发明要解决的技术课题涉及将由安装在车辆的摄像机拍摄的影像合成为尽可能自然的影像，从而准确地检测车线脱离，使驾驶员能够方便识别车线脱离与否的利用车辆周边影像的车线脱离检测方法及装置。
用于实现这种技术课题的根据本发明的一实施例的利用车辆周边影像的车线脱离检测方法包括：将通过设置于行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入的步骤；将上述拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；将上述多个校正影像合成而生成上述车辆的周边影像的步骤；从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息来判断车线脱离的步骤；以及被判断为上述车线时脱离发生警报的步骤。
生成上述车辆的周边影像的步骤可以利用包含上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像。
上述摄像机可以分别在上述车辆的左侧及右侧方向各设置1个，或分别在上述车辆的前方及后方各设置1个。
上述摄像机可以分别在上述车辆的前方、左侧及右侧方向各设置1个。
上述摄像机可以分别在上述车辆的前方、后方、左侧及右侧方向各设置1个。
判断上述车线脱离的步骤包括：在上述车辆的周边显示表示上述车辆的行进方向的行进方向线的步骤；测定上述行进方向线和上述提取出的车线之间的距离，测定上述行进方向线和上述提取出的车线的交差角度来生成上述距离信息或上述角度信息的步骤；以及上述距离信息或上述角度信息脱离基准范围的情况下判断为脱离车线的步骤。
根据本发明的其它实施例的利用车辆周边影像的车线脱离检测装置包括：影像输入部，将通过设置在行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入；影像处理部，将上述拍摄影像校正处理为顶视图形态而生成多个校正影像；影像合成部，将上述多个校正影像合成而生成上述车辆的周边影像；车线脱离检测部，从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据计算出的上述距离信息或上述角度信息判断车线脱离。
根据本发明的其它实施例的利用车辆周边影像的车线脱离检测系统包括：多个摄像机，设置在行驶中的车辆，将被拍摄的影像通过各频道输出；影像生成装置，将输入的上述拍摄影像校正处理为顶视图形态而生成多个校正影像，合成上述多个校正影像而生成上述车辆的周边影像；车线脱离检测装置，从上述车辆的周边影像提取出车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据上述距离信息或上述角度信息判断车线脱离，在判断为上述车线脱离时发生警报，以及显示装置，显示上述周边影像或警报画面。
这样，根据本发明，消除行驶中的车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而可以更准确地检测车线脱离与否。另外，行驶中的驾驶员不太依赖侧镜或后视镜也可以准确迅速地识别车辆周边的状况和车线脱离信息，可以预防由酒后驾驶或困倦驾驶引起的事故。
附图说明
图1至图4是用于说明根据本发明的实施例的设置于车辆的摄像机的图；
图5是表示根据本发明的实施例的利用车辆周边影像的车线检测系统的构成的图；
图6是表示根据本发明的实施例的周边影像生成方法的顺序图；
图7是用于说明根据本发明的实施例的掩饰影像的图；
图8是表示根据本发明的实施例的重复区域被覆盖处理的周边影像的例示图；
图9是表示根据本发明的实施例的车线脱离检测方法的顺序图；
图10至图12是用于说明根据本发明的实施例的车线脱离检测方法的车辆周边影像。
具体实施方式
这样，参考附图对本发明的实施例进行详细地说明，以便本发明所属技术领域的普通技术人员能够容易实施。
以下，在说明根据本发明的实施例的利用车辆周边影像的车线检测系统之前，对设置于车辆的摄像机进行说明。
图1至图4是用于说明根据本发明的实施例的设置于车辆的摄像机的图。根据本发明的实施例，对通过设置于车辆的3维空间上的4台摄像机110、120、130、140拍摄的影像进行校正处理，从而使驾驶员能够确认车辆的360°周边。如图1所示，在车辆的前方、后方、左侧、右侧分别设有摄像机110、120、130、140，为了最小化车辆的死角地带，摄像机需要最小180°以上的广角。另外，为了提高车辆周边影像的质量，将摄像机的设置高度设定成两个摄像机的重复的视野角的区域最少维持1000×1000mm2。摄像机的设置高度越高越能够确保良好的影像质量。这样，各摄像机可消除车辆的死角地带的位置选定及最小化被合成的周边影像的图像质量下降的设置位置和视野角设定很重要。
通过图2至图4，更详细地说明在车辆(在图1至图4举三箱式汽车为例)设置4台摄像机的位置。如图2所示，前方摄像机110设置在车辆的机罩中心，左侧摄像机130和右侧摄像机140设置成分别位于车辆的两个侧镜的边缘或下方。另外，如图3所示，后方摄像机120设置在后方保险杠上方的中央。在此，前方摄像机110和后方摄像机120设置成以地面方向的垂直线为基准可以拍摄170°以上。
并且，如图4所示，优选前方摄像机110的高度和后方摄像机120的高度维持相同，同样地，优选左侧摄像机130和右侧摄像机140的高度也维持相同。随着摄像机的高度和角度(PAN/TILT)，所输出的影像的比率及图像质量不同，因此在周边影像合成时，这是为了将行车线幅的宽度在重复区域表现出不同且周边事物的大小出现差异的现象最小化。另外，左侧摄像机130和右侧摄像机140设置成以地面方向的垂直线为基准可以拍摄170°以上。在此，各摄像机的设置位置根据车种不同，根据车辆的设计而可能发生限制。
一般，广角摄像机的透镜周边部的光量不足，发生图像质量的下降，与透镜的中心部相比，在周边部发生很多畸变。并且，将通过摄像机拍摄的影像进行视点变换时，周边部的影像的图像质量严重下降。因此，为了使用形成在摄像机透镜的中心部区域的影像，前方摄像机110和后方摄像机120的光轴与地平线平行，左侧摄像机130和右侧摄像机140设置成与地面垂直。
另外，如图2及图4所示，将摄像机110、120、130、140的高度设定为可以拍摄到从车辆的前后方及左右侧面离开大约1.5m的范围，这时摄像机可以拍摄到相对于地面的垂直轴大约30°至60°左右。
另一方面，在图1中，为了便于说明，图示出在车辆的前方、后方、左侧及右侧分别设置摄像机，但是在本发明的实施例中也可以通过2个以上的摄像机体现。
即，分别在车辆的左侧及右侧方向各设置1个摄像机，或分别在车辆的前方及后方各设置1个。另外，可以分别在车辆的前方、左侧及右侧方向各设置1个摄像机。
图5是表示根据本发明的实施例的车线检测系统的构成的图。
如图5所示，车线检测系统可以包括多个摄像机110、120、130、140、影像生成装置200、车线脱离检测装置300及显示装置400。
多个摄像机110、120、130、140分别设置在车辆的前后方、左右侧，可以具备如广角透镜或鱼眼透镜的视角大的透镜，并包括针孔摄像机。摄像机110、120、130、140通过具有170°以上的宽视角的透镜将3维的被摄体拍摄为2维的影像D1、D2、D3、D4，被拍摄的影像分别通过4个频道ch1、ch2、ch3、ch4传递到影像生成装置200。
影像生成装置200包括影像输入部210、影像处理部230、影像合成部250及控制部270。
影像输入部210将通过多个摄像机110、120、130、140拍摄的影像D1、D2、D3、D4通过各频道ch1、ch2、ch3、ch4接收。
影像处理部230将从影像输入部210接收的拍摄影像D1、D2、D3、D4通过查找表进行影像处理，从各拍摄影像D1、D2、D3、D4生成输出校正影像E1、E2、E3、E4。在此，查找表可以应用畸变校正算法、仿射变换算法、视点变换算法而生成。
影像合成部250接收通过影像处理部230校正的校正影像E1、E2、E3、E4，以使接收到的校正影像E1、E2、E3、E4重叠的覆盖方式进行合成处理。在此，影像合成部250利用掩饰影像进行覆盖合成处理，掩饰影像具有每个频道ch1、ch2、ch3、ch4的区域信息和对构成校正影像的像素的加权值信息。
控制部270对包含在校正影像E1、E2、E3、E4之间重复的区域的像素的加权值进行调节而使重复区域自然地显示。
这样，影像合成部250将4个校正影像E1、E2、E3、E4以覆盖方式进行合成处理而生成可以一眼看到车辆的周边360°的周边影像。
车线脱离检测装置300包括影像接收部310、车线识别部330、脱离判断部350及警报发生部370。
首先，影像接收部310接收从影像生成装置200生成的车辆周边的合成影像。在接收到的影像中不仅显示行驶中的车辆，还显示车辆周边的车线及障碍物。
车线识别部330根据车辆周边影像识别位于车辆的两侧的车线，提取对应于车辆的左右车线的假想车线。
脱离判断部350计算表示车辆行驶的假想线和车线之间的距离及角度等，从而生成当前行驶中的车辆的车线脱离信息。
在检测到车辆脱离车线时，警报发生部370承担向显示装置400传递车线脱离信息或发生警告音或方向盘振动的功能。
显示装置400是可以显示由影像生成装置200生成的周边影像的装置，在从车线脱离检测装置300接收车线脱离信息的情况下将画面转换成警报模式画面。例如，使显示的画面闪烁或画面转换成表示警报的红色。显示装置400可以通过设置在汽车内的单独的显示器或导航仪体现，可以包含在影像生成装置200或车线脱离检测装置300内。
在图5中为了便于说明而将影像生成装置200和车线脱离检测装置300分为承担各自的功能的装置进行图示，但是包含在影像生成装置200的各构成要素可以包含在车线脱离检测装置300并一体化为利用车辆周边影像的车线脱离检测装置来体现。
以下，通过图6至图8对影像生成装置200生成汽车的周边影像的方法进行说明。图6是表示根据本发明的实施例的周边影像生成方法的顺序图。
首先，影像生成装置200将通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4分别通过4个频道ch1、ch2、ch3、ch4接收(S310)。如通过图1至图4说明，根据摄像机110、120、130、140的设置位置及高度，拍摄影像D1、D2、D3、D4的构图不同。
接着，影像生成装置200对接收到的拍摄影像D1、D2、D3、D4通过查找表进行校正处理(S320)，生成适合覆盖处理的校正影像E1、E2、E3、E4。查找表是应用畸变校正算法、仿射变换算法、视点变换算法的表，以下对各算法进行说明。
首先，畸变校正算法是用于校正由摄像机透镜产生的几何学性畸变的算法。实际上广角透镜或鱼眼透镜不是完全的球形态并且焦距短，所以可能发生透镜的几何学性畸变，例如放射形畸变或切线方向畸变。通过这种透镜的畸变。由于这种透镜的畸变，在被拍摄的影像中直线可能变形为曲线出现。即，可能发生表示透镜的畸变的畸变常数k小于0的枕形畸变或发生透镜畸变常数k大于0的桶形畸变。
因此，可以通过畸变校正算法校正透镜的几何学性畸变影像。在此，畸变校正算法可以表示为与校正参数和畸变常数有关的函数。校正参数可以包括安装在摄像机的透镜的焦距和光学中心坐标，畸变常数可以包括放射形畸变常数和切线方向畸变常数。
根据本发明的实施例，可以应用如下面的数学式1的畸变校正算法。
[数学式1]
u＝fx×{x′×(1+k1×r2+k2×r4)+2p1×x′×y′+p2(r2+2x′2)}+cx
v＝fy×{y′×(1+k1×r2+k2×r4)+p1(r2+2y′2)+2p2×x′×y′}+cy
在此，x′、y′表示影像平面上的校正指标图像的坐标，u、v表示3维空间坐标被投影的透镜平面上的坐标，fx和fy表示透镜的焦距，cx和cy表示透镜的光学中心点坐标。k1和k2表示放射形畸变常数，p1和p2表示切线方向畸变常数，表示r2＝x′2+y′2。在此，校正指标图像可以由方格形状构成，是为了校正透镜的几何学性畸变而使用的图像。
仿射变换表示2维空间表示为1次式的点对应，经过旋转(R)、移动(T)、比率(S)变换。一般，仿射变换可以如下面的数学式2表示。
[数学式2]
W＝A×D+B
在此，W表示仿射运算而输出的2维彩色影像数据，A表示用于体现2维彩色影像数据的线形放大及缩小、旋转等的第1变换系数，D表示所输入的帧单位的2维彩色影像数据，B表示用于体现2维彩色影像数据D的线形移动的第2变换系数。
视点变换算法将通过4个频道输入的拍摄影像D1、D2、D3、D4变换为顶视图视点。即，将输入影像D1、D2、D3、D4进行视点变换为从上向下看的影像。
并且，影像生成装置200利用存储在掩饰影像的各频道ch1、ch2、ch3、ch4的区域信息和对像素的加权值信息对校正影像E1、E2、E3、E4执行覆盖处理(S330)。在此，影像生成装置200对于在多个校正影像之间重复的区域也利用掩饰影像执行覆盖处理而生成最终的车辆的周边影像(S340)。
图7是用于说明根据本发明的实施例的掩饰影像的图。
根据本发明的实施例，为了将4个校正影像E1、E2、E3、E4覆盖合成为一个影像而利用掩饰影像。
掩饰影像具有每个频道ch1、ch2、ch3、ch4的区域信息和对应于各区域的像素值的信息，如图7所示分为9个区域。如图7所示，掩饰影像被设定为通过频道ch1输入的由前方摄像机110拍摄的影像覆盖在1、2、3区域，通过频道ch2输入的由后方摄像机120拍摄的影像覆盖在7、8、9区域。另外，掩饰影像被设定为通过频道ch3输入的由左侧摄像机130拍摄的影像覆盖在1、4、7区域，通过频道ch4输入的由右侧摄像机140拍摄的影像覆盖在3、6、9区域。在此，第1、3、7、9区域是由多个摄像机重复拍摄的重复区域。即，第1区域是由前方摄像机110和左侧摄像机130重复拍摄的重复区域，第3区域是由前方摄像机110和右侧摄像机140重复拍摄的重复区域。另外，第7区域是由后方摄像机120和左侧摄像机130重复拍摄的重复区域，第9区域是由后方摄像机120和右侧摄像机140重复拍摄的重复区域。
控制部270将对应于未重复拍摄的区域即第2、4、6、8区域的影像移动到相当于目标影像的周边影像的相同的区域。并且，控制部270对由多个摄像机重复拍摄的重复区域的第1、3、7、9区域进行利用掩饰影像的覆盖处理。
掩饰影像为了区分色相，对第2、4、6、8区域的每一个显示为没有色相的变化的单色。另外，为了区分车辆，相当于车辆的5区域设定为可调节R、G、B像素值。
并且，掩饰影像设定为包含在第1、3、7、9区域的各像素具有从1至254之间的范围的R像素值。特别是，为了自然的颜色匹配，如图7所示，掩饰影像将包含在第1、3、7、9区域的各像素的R像素值在1至254之间设定为梯度加权值。若以第1区域为例，将与第2区域相接的部分的像素的R像素值设定为1，越是位于接近第4区域的地方的像素越增加R像素值，与第4区域相接的部分的像素的R像素值设定成254。
同样，如图7所示，在第3区域，将与第2区域相接的部分像素的R像素值设定为1，与第6区域相接的部分的像素的R像素值设定成254。另外，在第7区域，将与第8区域相接的部分的像素的R像素值役定为1，与第4区域相接的部分的像素的R像素值设定为254。并且，在第9区域，将与第8区域相接的部分的像素的R像素值设定为1，与第6区域相接的部分的像素的R像素值设定为254。
在此，相邻的频道之间影像的重复的区域即第1、3、7、9区域由于各摄像机的亮度或明度差异而看起来区分为不同事物，控制部270对包含在第1、3、7、9区域的各像素应用下面的数学式4执行覆盖运算。
[数学式3]
I′(t+1)＝αI1(t)+(1-α)I2(t)，0≤α≤1
在数学式3中，I1(t)和I2(t)分别表示通过两个频道输入的对重复区域的影像信息，α表示对包含在重复区域的像素的加权值，I′(t+1)表示被覆盖处理的影像信息。
特别是，I1(t)表示由设置在前方的摄像机110或设置在后方的摄像机120拍摄而通过ch1频道和ch2频道输入的对重复区域的影像信息，I2(t)表示由设置在左侧的摄像机130或设置在右侧的摄像机140拍摄而通过ch3频道或ch4频道输入的对重复区域的影像信息。
另外，α是对包含在重复区域的R像素的加权值，例如，在第1区域和第2区域相接的部分的情况下，α成为接近0的值1/255，在第1区域和第4区域相接的部分的情况下，α成为接近1的值254/255。
这样，影像生成装置200对在校正影像E1、E2、E3、E4之间发生的重复区域通过掩饰影像进行覆盖处理，从而可以生成重复区域自然显示的周边影像。
图8是表示根据本发明的实施例的重复区域被覆盖处理的周边影像的例示图。
如图8所示，影像生成装置200将通过摄像机110、120、130、140拍摄的影像D1、D2、D3、D4通过4个频道ch1、ch2、ch3、ch4分别接收之后，利用掩饰影像对重复区域进行覆盖处理，从而可以生成重复区域自然显示合成的周边影像E。
通过这种方式，利用影像生成装置200生成的汽车的周边影像，车线脱离检测装置300可以判断行驶中的车辆是否脱离车线，在以下通过图9至图12对车线脱离检测装置300生成汽车的周边影像的方法进行说明。图9是表示根据本发明的实施例的车线脱离检测方法的顺序图，图10至图12是用于说明根据本发明的实施例的车线脱离检测方法的车辆周边影像。
首先，车线脱离检测装置300接收从影像生成装置200合成的车辆周边的影像(S610)。在此，行驶中的车辆的行驶影像如图10及图11显示为顶视图形态。如图10所示，显示车辆710在道路上行驶的影像，在行驶中的车辆710的两侧分别显示左右车线720、730。
车线脱离检测装置300根据从影像生成装置200接收到的车辆周边的合成影像提取车线(S620)。在此，根据合成影像提取车线方法可以利用霍夫变换(hough transform)。霍夫变换是在二维影像坐标中利用特定点检测直线的算法。因此，车线脱离检测装置300利用图10所示的车线与画面的上端的交差点a、和车线与画面的下端的交差点b的假想坐标提取左侧车线。同样，利用车线与画面的上端的交差点c、和车线与画面的下端的交差点d的假想坐标提取左侧车线。
因此，车线脱离检测装置300如图10所示提取与车辆710行驶的道路的左右车线720、730对应的左侧假想车线725及右侧假想车线735而显示在合成影像。并且，车线脱离检测装置300将显示车辆710的行进方向的假想的行进方向线分别显示在车辆的左右侧745、755。即，连接车辆的左侧前轮和后轮而生成假想的延长线即左侧行进方向线745来显示，连接车辆710的右侧前轮和后轮而生成假想的延长线即右侧行进方向线755来显示。
车线脱离检测装置300测定左右侧假想车线725、735和车辆的左右侧之间的距离e1、e2，测定左右侧假想车线725、735和左右侧行进方向线745、755构成的交差角度(S630)。即，车线脱离检测装置300测定车辆的左侧行进方向线745和左侧假想车线725之间的距离e1，测定左侧行进方向线745和左侧假想车线725交差的地点的交差角度。同样，车线脱离检测装置300测定车辆的右侧行进方向线755和右侧假想车线735之间的距离e2，测定右侧行进方向线755和右侧假想车线735交差的地点上的交差角度。
并且，判断左右侧假想车线725、735和车辆的左右侧之间的距离e1、e2或左右侧假想车线725、735和左右侧行进方向线745、755构成的角度是否包含在基准范围内(S640)。在此，基准范围考虑驾驶员识别所产生的警报并将朝脱离车线方向行进中的车辆变更为正常方向所需的充分的时间来设定。
图11及图12是表示脱离车线的车辆的周边影像的例示图。如图11所示，在计算出的左侧假想车线725和左侧行进方向线745构成的角度e大于基准角度的情况下，车线脱离检测装置300判断为行驶中的车辆脱离车线。
另一方面，车辆平行于车线行驶的情况下，不产生左右侧假想车线725、735和左右侧行进方向线745、755交差的点。但是，如图12所示，左侧行进方向线745和车辆的左侧假想车线725之间的距离e1比基准距离宽，或右侧行进方向线755和车辆的右侧假想车线735之间的距离e2比基准距离窄的情况下，车线脱离检测装置300判断行驶中的车辆脱离车线。另外，左右侧假想车线725、735和左右侧行进方向线745、755之间的距离e1、e2逐渐减少、或逐渐增加的情况下，车线脱离检测装置300判断行驶中的车辆脱离车线。
车线脱离检测装置300若判断为行驶中的车辆脱离车线，则产生车线脱离警报信号(S650)。在检测到车辆脱离车线时，车线脱离检测装置300执行向显示装置400传递车线脱离信息或产生警告音或方向盘振动的功能。接收到车线脱离信息的显示装置400设定为所显示的画面闪烁或画面转换成表示警报的红色。
另外，车线脱离检测装置300可以在车辆脱离车线时立即产生警报信号，也可以仅在车辆脱离车线的时间为一定期间以上的情况下产生警报信号。
另一方面，根据本发明的实施例的车线脱离检测装置300不仅进行单纯的车辆的车线脱离检测，还可以检测位于车辆的前方的物体，例如车辆前方的车辆、步行者、各种障碍物。即，根据顶视图形态的车辆周边影像提取前方物体的坐标，检测与当前行驶中的车辆之间的距离变化。因此，车辆和前方物体的距离持续缩小的情况下也产生警报音。
以上，对本发明的优选实施例详细地进行了说明，但是，本发明的权利范围不限于此，利用下面的权利要求书定义的本发明的基本概念的从业人员进行的各种变形及改良形态也属于本发明的权利范围。
工业可利用性
这样，根据本发明，消除行驶中的车辆周边的死角地带，将由多个摄像机拍摄的重复区域校正处理为看起来自然，从而可以更准确地检测车线脱离与否。另外，行驶中的驾驶员在行驶中不太依赖侧镜或后视镜也可以准确迅速地识别车辆周边的状况和车线脱离信息，可以预防由酒后驾驶或困倦驾驶引起的事故。
Claims (14)
1.一种利用车辆周边影像的车线脱离检测方法，其特征在于，包括：
将通过设置于行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入的步骤；
将上述拍摄影像校正处理为顶视图形态而生成多个校正影像的步骤；
将上述多个校正影像合成而生成上述车辆的周边影像的步骤；
从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息来判断车线脱离的步骤；以及
被判断为上述车线脱离时发生警报的步骤。
2.如权利要求1所述的利用车辆周边影像的车线脱离检测方法，其特征在于，
生成上述车辆的周边影像的步骤是利用包含上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像。
3.如权利要求1所述的车线脱离检测方法，其特征在于，
上述摄像机分别在上述车辆的左侧及右侧方向各设置1个，或分别在上述车辆的前方及后方各设置1个。
4.如权利要求1所述的车线脱离检测方法，其特征在于，
上述摄像机分别在上述车辆的前方、左侧及右侧方向各设置1个，或分别在上述车辆的前方及后方各设置1个。
5.如权利要求1所述的车线脱离检测方法，其特征在于，
上述摄像机分别在上述车辆的前方、后方、左侧及右侧方向各设置1个。
6.如权利要求1所述的利用车辆周边影像的车线脱离检测方法，其特征在于，
判断上述车线脱离的步骤包括：
在上述车辆的周边显示表示上述车辆的行进方向的行进方向线的步骤；
测定上述行进方向线和上述提取出的车线之间的距离，测定上述行进方向线和上述提取出的车线的交差角度来生成上述距离信息或上述角度信息的步骤；以及
上述距离信息或上述角度信息脱离基准范围的情况下判断为脱离车线的步骤。
7.一种利用车辆周边影像的车线脱离检测装置，其特征在于，
影像输入部，将通过设置在行驶中的车辆的多个摄像机拍摄的影像，通过连接在上述摄像机的各频道输入；
影像处理部，将上述拍摄影像校正处理为顶视图形态而生成多个校正影像；
影像合成部，将上述多个校正影像合成而生成上述车辆的周边影像；
车线脱离检测部，从上述车辆的周边影像提取车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据计算出的上述距离信息或上述角度信息判断车线脱离。
8.如权利要求7所述的车线脱离检测装置，其特征在于，
上述影像合成部利用上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像。
9.如权利要求7所述的车线脱离检测装置，其特征在于，
上述摄像机分别在上述车辆的左侧及右侧方向各设置1个，或分别在上述车辆的前方及后方各设置1个。
10.如权利要求7所述的车线脱离检测装置，其特征在于，
上述摄像机分别在上述车辆的前方、左侧及右侧方向各设置1个。
11.如权利要求7所述的车线脱离检测装置，其特征在于，
上述摄像机分别在上述车辆的前方、后方、左侧及右侧方向各设置1个。
12.如权利要求7所述的车线脱离检测装置，其特征在于，
还包括警报发生部，该警报发生部在判断为上述车线脱离时发生警报。
13.一种利用车辆周边影像的车线脱离检测系统，其特征在于，包括：
多个摄像机，设置在行驶中的车辆，将被拍摄的影像通过各频道输出；
影像生成装置，将输入的上述拍摄影像校正处理为顶视图形态而生成多个校正影像，合成上述多个校正影像而生成上述车辆的周边影像；
车线脱离检测装置，从上述车辆的周边影像提取出车线，计算上述车辆和上述提取出的车线之间的距离信息或上述车辆的行进方向和上述提取出的车线构成的角度信息，根据上述距离信息或上述角度信息判断车线脱离，在判断为上述车线脱离时发生警报；以及
显示装置，显示上述周边影像或警报画面。
14.如权利要求13所述的车线脱离检测系统，其特征在于，
上述影像生成装置利用包含上述各频道的区域信息和对构成各区域的像素的加权值信息的掩饰影像对上述多个校正影像进行覆盖处理而生成上述车辆的周边影像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2009-0043649 | 2009-05-19 | ||
| KR1020090043649A KR100956858B1 (ko) | 2009-05-19 | 2009-05-19 | 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치 |
| PCT/KR2009/007795 WO2010134680A1 (ko) | 2009-05-19 | 2009-12-24 | 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102427982A true CN102427982A (zh) | 2012-04-25 |
| CN102427982B CN102427982B (zh) | 2015-12-09 |
Family
ID=42281549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980159396.1A Active CN102427982B (zh) | 2009-05-19 | 2009-12-24 | 利用车辆周边影像的车线脱离检测方法及装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9056630B2 (zh) |
| JP (1) | JP2012527681A (zh) |
| KR (1) | KR100956858B1 (zh) |
| CN (1) | CN102427982B (zh) |
| WO (1) | WO2010134680A1 (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103192829A (zh) * | 2013-03-22 | 2013-07-10 | 上海交通大学 | 一种基于环视的道路偏离预警方法和装置 |
| CN103381825A (zh) * | 2012-05-02 | 2013-11-06 | 通用汽车环球科技运作有限责任公司 | 使用多个照相机的全速车道感测 |
| CN103448723A (zh) * | 2012-06-04 | 2013-12-18 | 通用汽车环球科技运作有限责任公司 | 使用后摄像机的车道保持系统 |
| CN103523021A (zh) * | 2012-07-02 | 2014-01-22 | 现代摩比斯株式会社 | 车道线检测可信度计算方法及执行其的计算装置 |
| CN103991448A (zh) * | 2014-04-01 | 2014-08-20 | 财团法人车辆研究测试中心 | 动态车道线检测系统及方法 |
| CN104044508A (zh) * | 2013-03-14 | 2014-09-17 | 怡利电子工业股份有限公司 | 行车安全距离显示方法 |
| CN104885096A (zh) * | 2012-09-28 | 2015-09-02 | 巴利游戏公司 | 用于牌堆的牌处理方法 |
| CN105793909A (zh) * | 2013-12-05 | 2016-07-20 | 罗伯特·博世有限公司 | 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 |
| CN106168988A (zh) * | 2015-05-22 | 2016-11-30 | 罗伯特·博世有限公司 | 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备 |
| CN107826109A (zh) * | 2017-09-28 | 2018-03-23 | 奇瑞汽车股份有限公司 | 车道保持方法和装置 |
| CN108476308A (zh) * | 2016-05-24 | 2018-08-31 | Jvc 建伍株式会社 | 拍摄装置、拍摄显示方法以及拍摄显示程序 |
| CN108909625A (zh) * | 2018-06-22 | 2018-11-30 | 河海大学常州校区 | 基于全景环视系统的车底地面显示方法 |
| CN110228428A (zh) * | 2018-03-05 | 2019-09-13 | 株式会社小糸制作所 | 传感器系统 |
| CN111289958A (zh) * | 2018-12-06 | 2020-06-16 | 星克跃尔株式会社 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
| CN112389325A (zh) * | 2019-08-13 | 2021-02-23 | 奥迪股份公司 | 机动车 |
| CN113370896A (zh) * | 2020-02-21 | 2021-09-10 | 丰田自动车株式会社 | 车辆用电子镜系统 |
Families Citing this family (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6676127B2 (en) | 1997-03-13 | 2004-01-13 | Shuffle Master, Inc. | Collating and sorting apparatus |
| US6655684B2 (en) | 1998-04-15 | 2003-12-02 | Shuffle Master, Inc. | Device and method for forming and delivering hands from randomly arranged decks of playing cards |
| US6254096B1 (en) | 1998-04-15 | 2001-07-03 | Shuffle Master, Inc. | Device and method for continuously shuffling cards |
| US8590896B2 (en) | 2000-04-12 | 2013-11-26 | Shuffle Master Gmbh & Co Kg | Card-handling devices and systems |
| US8337296B2 (en) | 2001-09-28 | 2012-12-25 | SHFL entertaiment, Inc. | Method and apparatus for using upstream communication in a card shuffler |
| US8616552B2 (en) | 2001-09-28 | 2013-12-31 | Shfl Entertainment, Inc. | Methods and apparatuses for an automatic card handling device and communication networks including same |
| US7753373B2 (en) | 2001-09-28 | 2010-07-13 | Shuffle Master, Inc. | Multiple mode card shuffler and card reading device |
| US8011661B2 (en) | 2001-09-28 | 2011-09-06 | Shuffle Master, Inc. | Shuffler with shuffling completion indicator |
| US7677565B2 (en) | 2001-09-28 | 2010-03-16 | Shuffle Master, Inc | Card shuffler with card rank and value reading capability |
| US6886829B2 (en) | 2002-02-08 | 2005-05-03 | Vendingdata Corporation | Image capturing card shuffler |
| US20060066048A1 (en) | 2004-09-14 | 2006-03-30 | Shuffle Master, Inc. | Magnetic jam detection in a card shuffler |
| US7764836B2 (en) | 2005-06-13 | 2010-07-27 | Shuffle Master, Inc. | Card shuffler with card rank and value reading capability using CMOS sensor |
| US7556266B2 (en) | 2006-03-24 | 2009-07-07 | Shuffle Master Gmbh & Co Kg | Card shuffler with gravity feed system for playing cards |
| US8353513B2 (en) | 2006-05-31 | 2013-01-15 | Shfl Entertainment, Inc. | Card weight for gravity feed input for playing card shuffler |
| US8579289B2 (en) | 2006-05-31 | 2013-11-12 | Shfl Entertainment, Inc. | Automatic system and methods for accurate card handling |
| US8342525B2 (en) | 2006-07-05 | 2013-01-01 | Shfl Entertainment, Inc. | Card shuffler with adjacent card infeed and card output compartments |
| US8070574B2 (en) | 2007-06-06 | 2011-12-06 | Shuffle Master, Inc. | Apparatus, system, method, and computer-readable medium for casino card handling with multiple hand recall feature |
| US8919775B2 (en) | 2006-11-10 | 2014-12-30 | Bally Gaming, Inc. | System for billing usage of an automatic card handling device |
| US7988152B2 (en) | 2009-04-07 | 2011-08-02 | Shuffle Master, Inc. | Playing card shuffler |
| US8967621B2 (en) | 2009-04-07 | 2015-03-03 | Bally Gaming, Inc. | Card shuffling apparatuses and related methods |
| US8800993B2 (en) | 2010-10-14 | 2014-08-12 | Shuffle Master Gmbh & Co Kg | Card handling systems, devices for use in card handling systems and related methods |
| US9852633B2 (en) * | 2011-02-28 | 2017-12-26 | Toyota Jidosha Kabushiki Kaisha | Travel assist apparatus and travel assist method |
| CN102806913B (zh) * | 2011-05-31 | 2015-04-15 | 德尔福电子(苏州)有限公司 | 一种车道线偏离检测方法及装置 |
| US8485527B2 (en) | 2011-07-29 | 2013-07-16 | Savant Shuffler LLC | Card shuffler |
| US9731190B2 (en) | 2011-07-29 | 2017-08-15 | Bally Gaming, Inc. | Method and apparatus for shuffling and handling cards |
| KR101286267B1 (ko) | 2011-10-05 | 2013-07-19 | 에스엘 주식회사 | 주변 차량 디스플레이 장치 및 방법 |
| KR101936862B1 (ko) * | 2011-11-17 | 2019-04-04 | 현대모비스 주식회사 | 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법 |
| US20130141520A1 (en) * | 2011-12-02 | 2013-06-06 | GM Global Technology Operations LLC | Lane tracking system |
| SE1250342A1 (sv) * | 2012-04-04 | 2013-10-05 | Scania Cv Ab | Förfarande och system för att förbättra säkerheten vid framförande av ett motorfordon |
| KR20130115840A (ko) * | 2012-04-13 | 2013-10-22 | 이광희 | 모바일용 홍채인식 카메라시스템 |
| US9516277B2 (en) * | 2012-05-02 | 2016-12-06 | GM Global Technology Operations LLC | Full speed lane sensing with a surrounding view system |
| US8960674B2 (en) | 2012-07-27 | 2015-02-24 | Bally Gaming, Inc. | Batch card shuffling apparatuses including multi-card storage compartments, and related methods |
| KR101986166B1 (ko) * | 2012-08-09 | 2019-06-07 | 현대모비스 주식회사 | 차선 인식 장치 및 방법 |
| KR101987634B1 (ko) * | 2012-09-10 | 2019-06-11 | 현대모비스 주식회사 | 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템 |
| KR102010407B1 (ko) * | 2012-09-10 | 2019-08-14 | 현대모비스 주식회사 | 스마트 리어뷰 시스템 |
| JP5686123B2 (ja) * | 2012-09-18 | 2015-03-18 | 株式会社デンソー | 車両検出装置および警報装置 |
| US9378766B2 (en) | 2012-09-28 | 2016-06-28 | Bally Gaming, Inc. | Card recognition system, card handling device, and method for tuning a card handling device |
| KR20140048539A (ko) * | 2012-10-16 | 2014-04-24 | 에스케이텔레콤 주식회사 | 차량의 주변영상을 이용한 객체 인식장치 및 방법 |
| JP5962771B2 (ja) * | 2012-12-12 | 2016-08-03 | 日産自動車株式会社 | 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法 |
| US9280901B2 (en) * | 2013-03-25 | 2016-03-08 | E-Lead Electronic Co., Ltd. | Method for displaying the vehicle safety distance |
| KR102003776B1 (ko) * | 2013-08-13 | 2019-07-26 | 한화테크윈 주식회사 | 감시용 카메라의 자세 검출 방법 및 장치 |
| JP2015074436A (ja) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP5971223B2 (ja) * | 2013-10-16 | 2016-08-17 | 株式会社デンソー | 合成画像生成装置 |
| KR101510336B1 (ko) * | 2013-11-14 | 2015-04-07 | 현대자동차 주식회사 | 차량용 운전자 지원 시스템의 검사 장치 |
| KR101510338B1 (ko) * | 2013-11-22 | 2015-04-07 | 현대자동차 주식회사 | 차량용 차선 이탈 경보 시스템의 검사 장치 |
| EP3076655B1 (en) * | 2013-11-27 | 2020-06-17 | Kyocera Corporation | Imaging settings changing device, imaging system, and imaging settings changing method |
| SG10201706403RA (en) | 2014-04-11 | 2017-09-28 | Bally Gaming Inc | Method and apparatus for shuffling and handling cards |
| JPWO2015162910A1 (ja) * | 2014-04-24 | 2017-04-13 | パナソニックＩｐマネジメント株式会社 | 車載用表示装置、車載用表示装置の制御方法、プログラム |
| US9522676B2 (en) * | 2014-04-30 | 2016-12-20 | Denso International America, Inc. | Situation awareness assistant for vehicle control |
| KR102262369B1 (ko) | 2014-05-09 | 2021-06-08 | 한화디펜스 주식회사 | 주변 차량 탐지 장치 및 방법 |
| US9474957B2 (en) | 2014-05-15 | 2016-10-25 | Bally Gaming, Inc. | Playing card handling devices, systems, and methods for verifying sets of cards |
| DE102014107235A1 (de) * | 2014-05-22 | 2015-11-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm |
| KR20150144125A (ko) * | 2014-06-16 | 2015-12-24 | 현대모비스 주식회사 | 안전 운전 유도 시스템 및 이의 방법 |
| KR101592740B1 (ko) * | 2014-07-24 | 2016-02-15 | 현대자동차주식회사 | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 |
| USD764599S1 (en) | 2014-08-01 | 2016-08-23 | Bally Gaming, Inc. | Card shuffler device |
| US9566501B2 (en) | 2014-08-01 | 2017-02-14 | Bally Gaming, Inc. | Hand-forming card shuffling apparatuses including multi-card storage compartments, and related methods |
| US9504905B2 (en) | 2014-09-19 | 2016-11-29 | Bally Gaming, Inc. | Card shuffling device and calibration method |
| US9902426B2 (en) * | 2014-10-17 | 2018-02-27 | Hyundai Mobis Co., Ltd. | Apparatus and method for driver assistance |
| KR102207325B1 (ko) * | 2014-10-30 | 2021-01-26 | 현대모비스 주식회사 | 운전자 지원 장치 |
| US10127463B2 (en) * | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
| KR102270678B1 (ko) * | 2015-01-13 | 2021-06-29 | 현대모비스 주식회사 | 차량 안전 주행 장치 |
| KR102270677B1 (ko) * | 2015-01-13 | 2021-06-29 | 현대모비스 주식회사 | 차량 안전 주행 장치 |
| JP6564577B2 (ja) * | 2015-02-16 | 2019-08-21 | 修一 田山 | 自動車における近接体警報知装置 |
| US9836060B2 (en) * | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
| CN105894448B (zh) * | 2015-11-06 | 2019-08-20 | 法法汽车(中国)有限公司 | 蒙板矩阵的生成方法、泊车图像的合成方法及装置 |
| US9993719B2 (en) | 2015-12-04 | 2018-06-12 | Shuffle Master Gmbh & Co Kg | Card handling devices and related assemblies and components |
| CN105539293B (zh) * | 2016-02-03 | 2018-01-09 | 北京中科慧眼科技有限公司 | 车道偏离预警方法和装置及汽车驾驶辅助系统 |
| CN105620359B (zh) * | 2016-02-25 | 2017-12-19 | 上海斐讯数据通信技术有限公司 | 一种基于移动终端的车道偏离预警方法及系统 |
| JP6772604B2 (ja) * | 2016-07-12 | 2020-10-21 | 村田機械株式会社 | 移動経路作成方法、及び、移動経路作成装置 |
| US10210406B2 (en) | 2016-08-19 | 2019-02-19 | Dura Operating, Llc | System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map |
| CN106331556A (zh) * | 2016-09-20 | 2017-01-11 | 深圳市同行者科技有限公司 | 基于语音识别的违章抓拍控制方法及其装置 |
| US10933300B2 (en) | 2016-09-26 | 2021-03-02 | Shuffle Master Gmbh & Co Kg | Card handling devices and related assemblies and components |
| US10339765B2 (en) | 2016-09-26 | 2019-07-02 | Shuffle Master Gmbh & Co Kg | Devices, systems, and related methods for real-time monitoring and display of related data for casino gaming devices |
| KR20180051836A (ko) | 2016-11-09 | 2018-05-17 | 삼성전자주식회사 | 주행 차량을 위한 가상의 주행 차선을 생성하는 방법 및 장치 |
| JP6700382B2 (ja) * | 2017-04-19 | 2020-05-27 | バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッドＢａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ． | 車線縁石補助による自律走行車の車線逸脱検出及び車線維持システム |
| US10990102B2 (en) * | 2017-06-14 | 2021-04-27 | Motional Ad Llc | Adaptive dynamic model for automated vehicle |
| JP6958163B2 (ja) * | 2017-09-20 | 2021-11-02 | 株式会社アイシン | 表示制御装置 |
| KR102421855B1 (ko) | 2017-09-28 | 2022-07-18 | 삼성전자주식회사 | 주행 차로를 식별하는 방법 및 장치 |
| KR101982091B1 (ko) * | 2017-10-31 | 2019-05-24 | 주식회사 켐트로닉스 | 서라운드 뷰 모니터링 시스템 |
| KR102296205B1 (ko) * | 2017-11-01 | 2021-09-01 | 재단법인대구경북과학기술원 | 차선 이탈 감지 장치 및 제어 방법 |
| US20190315345A1 (en) * | 2018-04-16 | 2019-10-17 | David E. Newman | Blind spot potential-hazard avoidance system |
| US20190389385A1 (en) * | 2018-06-25 | 2019-12-26 | Ford Global Technologies, Llc | Overlay interfaces for rearview mirror displays |
| US11896891B2 (en) | 2018-09-14 | 2024-02-13 | Sg Gaming, Inc. | Card-handling devices and related methods, assemblies, and components |
| US11376489B2 (en) | 2018-09-14 | 2022-07-05 | Sg Gaming, Inc. | Card-handling devices and related methods, assemblies, and components |
| US11338194B2 (en) | 2018-09-28 | 2022-05-24 | Sg Gaming, Inc. | Automatic card shufflers and related methods of automatic jam recovery |
| US10816635B1 (en) | 2018-12-20 | 2020-10-27 | Autonomous Roadway Intelligence, Llc | Autonomous vehicle localization system |
| CN109767624B (zh) * | 2019-03-06 | 2021-06-29 | 中南大学 | 一种考虑路段交通流相关性的控制子区划分方法 |
| US10713950B1 (en) | 2019-06-13 | 2020-07-14 | Autonomous Roadway Intelligence, Llc | Rapid wireless communication for vehicle collision mitigation |
| US20220299860A1 (en) * | 2019-06-25 | 2022-09-22 | Shanghai Jun Kai Technology Llc | Extensiview and adaptive lka for adas and autonomous driving |
| KR20210005439A (ko) * | 2019-07-05 | 2021-01-14 | 현대자동차주식회사 | 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법 |
| US11900696B2 (en) * | 2019-08-28 | 2024-02-13 | Toyota Motor Europe | Method and system for processing a plurality of images so as to detect lanes on a road |
| KR20210030523A (ko) * | 2019-09-09 | 2021-03-18 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
| CN112546608B (zh) | 2019-09-10 | 2024-05-28 | 夏佛马士特公司 | 缺陷检测的卡牌处理设备及相关方法 |
| US11173383B2 (en) | 2019-10-07 | 2021-11-16 | Sg Gaming, Inc. | Card-handling devices and related methods, assemblies, and components |
| CN111027423B (zh) * | 2019-11-28 | 2023-10-17 | 北京百度网讯科技有限公司 | 一种自动驾驶车道线检测方法、装置和电子设备 |
| US11910092B2 (en) * | 2020-10-01 | 2024-02-20 | Black Sesame Technologies Inc. | Panoramic look-around view generation method, in-vehicle device and in-vehicle system |
| GB2605365B (en) * | 2021-03-22 | 2024-04-10 | Fusion Proc Limited | System for monitoring a position of a vehicle |
| CN113060067A (zh) * | 2021-04-07 | 2021-07-02 | 深圳市大班长科技有限公司 | 一种汽车偏离车道的预警方法及装置 |
| CN113421215A (zh) * | 2021-07-19 | 2021-09-21 | 江苏金海星导航科技有限公司 | 一种基于人工智能的汽车自动循迹系统 |
| JP2023047174A (ja) * | 2021-09-24 | 2023-04-05 | トヨタ自動車株式会社 | 車両用表示制御装置、車両用表示装置、車両、車両用表示制御方法及びプログラム |
| CN115171428B (zh) * | 2022-06-24 | 2023-06-30 | 重庆长安汽车股份有限公司 | 一种基于视觉感知的车辆切入预警方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3114544B2 (ja) | 1994-12-28 | 2000-12-04 | 三菱自動車工業株式会社 | 走行路計測法 |
| US6891563B2 (en) * | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| JPH0939602A (ja) | 1995-08-04 | 1997-02-10 | Mitsubishi Motors Corp | 車両走行状態判定装置 |
| JP3627914B2 (ja) * | 2000-05-23 | 2005-03-09 | シャープ株式会社 | 車両の周囲監視システム |
| EP1158804A3 (en) * | 2000-05-24 | 2003-12-17 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a display image |
| KR20020033816A (ko) * | 2000-07-19 | 2002-05-07 | 마츠시타 덴끼 산교 가부시키가이샤 | 감시시스템 |
| JP3297040B1 (ja) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
| KR100435654B1 (ko) | 2001-06-20 | 2004-06-12 | 현대자동차주식회사 | 자동차의 차선 이탈 방지를 위한 제어 방법 |
| US6636258B2 (en) * | 2001-10-19 | 2003-10-21 | Ford Global Technologies, Llc | 360° vision system for a vehicle |
| TWI221262B (en) * | 2002-07-25 | 2004-09-21 | Via Tech Inc | Device and method for alpha blending overlay frame |
| JP4867313B2 (ja) | 2004-12-27 | 2012-02-01 | 日産自動車株式会社 | 車線逸脱防止装置 |
| CN100486845C (zh) | 2004-12-27 | 2009-05-13 | 日产自动车株式会社 | 车道偏离防止系统 |
| JP4934308B2 (ja) * | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
| KR100766594B1 (ko) | 2006-01-20 | 2007-10-11 | 한민홍 | 차량의 차선이탈 조기경보방법 |
| KR101075615B1 (ko) * | 2006-07-06 | 2011-10-21 | 포항공과대학교 산학협력단 | 주행 차량의 운전자 보조 정보 생성 장치 및 방법 |
| US7728879B2 (en) * | 2006-08-21 | 2010-06-01 | Sanyo Electric Co., Ltd. | Image processor and visual field support device |
| CN100586772C (zh) | 2006-12-20 | 2010-02-03 | 财团法人工业技术研究院 | 车道偏移警示方法与装置 |
| EP2168079B1 (en) * | 2007-01-23 | 2015-01-14 | Valeo Schalter und Sensoren GmbH | Method and system for universal lane boundary detection |
| JP2008187566A (ja) | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
| JP4654208B2 (ja) * | 2007-02-13 | 2011-03-16 | 日立オートモティブシステムズ株式会社 | 車載用走行環境認識装置 |
-
2009
- 2009-05-19 KR KR1020090043649A patent/KR100956858B1/ko active IP Right Grant
- 2009-12-24 US US13/321,518 patent/US9056630B2/en active Active
- 2009-12-24 WO PCT/KR2009/007795 patent/WO2010134680A1/ko active Application Filing
- 2009-12-24 CN CN200980159396.1A patent/CN102427982B/zh active Active
- 2009-12-24 JP JP2012511747A patent/JP2012527681A/ja active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103381825A (zh) * | 2012-05-02 | 2013-11-06 | 通用汽车环球科技运作有限责任公司 | 使用多个照相机的全速车道感测 |
| CN103381825B (zh) * | 2012-05-02 | 2016-06-01 | 通用汽车环球科技运作有限责任公司 | 使用多个照相机的全速车道感测 |
| CN103448723B (zh) * | 2012-06-04 | 2016-04-06 | 通用汽车环球科技运作有限责任公司 | 使用后摄像机的车道保持系统 |
| CN103448723A (zh) * | 2012-06-04 | 2013-12-18 | 通用汽车环球科技运作有限责任公司 | 使用后摄像机的车道保持系统 |
| CN103523021A (zh) * | 2012-07-02 | 2014-01-22 | 现代摩比斯株式会社 | 车道线检测可信度计算方法及执行其的计算装置 |
| CN103523021B (zh) * | 2012-07-02 | 2016-01-20 | 现代摩比斯株式会社 | 车道线检测可信度计算方法及执行其的计算装置 |
| CN104885096A (zh) * | 2012-09-28 | 2015-09-02 | 巴利游戏公司 | 用于牌堆的牌处理方法 |
| CN104885096B (zh) * | 2012-09-28 | 2018-09-25 | 巴利游戏公司 | 自动生成用于牌堆的牌堆库和主图像的方法以及相关的牌处理装置 |
| CN104044508A (zh) * | 2013-03-14 | 2014-09-17 | 怡利电子工业股份有限公司 | 行车安全距离显示方法 |
| CN104044508B (zh) * | 2013-03-14 | 2016-01-27 | 怡利电子工业股份有限公司 | 行车安全距离显示方法 |
| CN103192829A (zh) * | 2013-03-22 | 2013-07-10 | 上海交通大学 | 一种基于环视的道路偏离预警方法和装置 |
| CN105793909A (zh) * | 2013-12-05 | 2016-07-20 | 罗伯特·博世有限公司 | 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 |
| CN105793909B (zh) * | 2013-12-05 | 2018-12-11 | 罗伯特·博世有限公司 | 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 |
| CN103991448A (zh) * | 2014-04-01 | 2014-08-20 | 财团法人车辆研究测试中心 | 动态车道线检测系统及方法 |
| CN106168988A (zh) * | 2015-05-22 | 2016-11-30 | 罗伯特·博世有限公司 | 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备 |
| CN108476308A (zh) * | 2016-05-24 | 2018-08-31 | Jvc 建伍株式会社 | 拍摄装置、拍摄显示方法以及拍摄显示程序 |
| CN107826109A (zh) * | 2017-09-28 | 2018-03-23 | 奇瑞汽车股份有限公司 | 车道保持方法和装置 |
| CN110228428A (zh) * | 2018-03-05 | 2019-09-13 | 株式会社小糸制作所 | 传感器系统 |
| CN108909625A (zh) * | 2018-06-22 | 2018-11-30 | 河海大学常州校区 | 基于全景环视系统的车底地面显示方法 |
| CN111289958A (zh) * | 2018-12-06 | 2020-06-16 | 星克跃尔株式会社 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
| CN111289958B (zh) * | 2018-12-06 | 2023-06-20 | 星克跃尔株式会社 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
| CN112389325A (zh) * | 2019-08-13 | 2021-02-23 | 奥迪股份公司 | 机动车 |
| CN112389325B (zh) * | 2019-08-13 | 2023-11-07 | 奥迪股份公司 | 机动车 |
| CN113370896A (zh) * | 2020-02-21 | 2021-09-10 | 丰田自动车株式会社 | 车辆用电子镜系统 |
| CN113370896B (zh) * | 2020-02-21 | 2023-11-10 | 丰田自动车株式会社 | 车辆用电子镜系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102427982B (zh) | 2015-12-09 |
| KR100956858B1 (ko) | 2010-05-11 |
| US20120062745A1 (en) | 2012-03-15 |
| WO2010134680A1 (ko) | 2010-11-25 |
| JP2012527681A (ja) | 2012-11-08 |
| US9056630B2 (en) | 2015-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102427982A (zh) | 利用车辆周边影像的车线脱离检测方法及装置 | |
| EP3418943B1 (en) | Object detecting apparatus, object detecting method, and computer-readable medium | |
| JP6257989B2 (ja) | 運転支援装置 | |
| EP3229204B1 (en) | Around view provision apparatus and vehicle including the same | |
| US10183621B2 (en) | Vehicular image processing apparatus and vehicular image processing system | |
| US6327536B1 (en) | Vehicle environment monitoring system | |
| EP2544449B1 (en) | Vehicle perimeter monitoring device | |
| EP1005234A2 (en) | Three-dimensional scope system for vehicles with a single camera | |
| US20060111841A1 (en) | Method and apparatus for obstacle avoidance with camera vision | |
| US20050125121A1 (en) | Vehicle driving assisting apparatus | |
| CN103051867B (zh) | 图像生成器 | |
| CN105825475A (zh) | 基于单摄像头的360度全景影像生成方法 | |
| CN108470142B (zh) | 基于逆透视投影和车道距离约束的车道定位方法 | |
| US20200391751A1 (en) | Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method | |
| CN113706883B (zh) | 一种隧道路段安全行车系统和方法 | |
| US20240144507A1 (en) | Electronic device and control method | |
| JP4397573B2 (ja) | 画像処理装置 | |
| JP2005202787A (ja) | 車両用表示装置 | |
| KR101721442B1 (ko) | 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법 | |
| JP2017129543A (ja) | ステレオカメラ装置及び車両 | |
| KR20160133386A (ko) | 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법 | |
| US11403770B2 (en) | Road surface area detection device | |
| JP4629638B2 (ja) | 車両の周辺監視装置 | |
| JP2005175603A (ja) | レーダを用いた障害物の表示方法及び表示システム | |
| JP4165966B2 (ja) | 物体認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Gyeonggi Do, South Korea Patentee after: KSS- Li Zhi Zhi future Limited Address before: Gyeonggi Do, South Korea Patentee before: Imagenext Co., Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Han Guojingjidao Patentee after: Yueshi Technology Co.,Ltd. Address before: Han Guojingjidao Patentee before: KSS-IMAGENEXT Co.,Ltd. |