CN103237685A - 盲区显示装置及方法 - Google Patents
盲区显示装置及方法 Download PDFInfo
- Publication number
- CN103237685A CN103237685A CN2011800579095A CN201180057909A CN103237685A CN 103237685 A CN103237685 A CN 103237685A CN 2011800579095 A CN2011800579095 A CN 2011800579095A CN 201180057909 A CN201180057909 A CN 201180057909A CN 103237685 A CN103237685 A CN 103237685A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- blind area
- demonstration
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000006073 displacement reaction Methods 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 25
- 230000002093 peripheral effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Abstract
本发明的目的在于提供盲区显示装置及方法，该盲区显示装置显示由包括摄像机、导航仪、街景视图接收器中的至少一个的图像检测部提供的至少一个车辆周边图像，以给驾驶员提供随着车辆的行驶被车体挡住从而难以确保驾驶员的视野的车辆的前方、后方以及侧面的盲区信息。
Description
技术领域
本发明涉及显示车辆的周边盲区的装置及方法，尤其涉及显示由摄像机、导航仪、街景视图接收器等提供的至少一个车辆周边图像，以给驾驶员提供随着车辆的行驶被车体挡住从而难以确保驾驶员的视野的车辆的前方、后方以及侧面的盲区信息。
背景技术
通常，车辆是一种将装备于车体的发动机等的原动机作为动力源在道路等上行驶而运送人或货物，或者进行各种作业的装置，车辆的驾驶员在注视行驶方向的同时安全地驾驶车辆。
然而，如图1所示，在通常的车辆中，邻近于车辆10的前方部因设置有驱动车辆10所需的发动机等的车前部而不会映入驾驶员的视野，从而形成盲区20，而且因车辆10的后尾部的后备箱而形成限制一部分后方视野的盲区30，因车辆的车门等而形成限制一部分侧面视野的盲区40。
这种盲区20、30、40是指位于无法用肉眼观察到事物的角度的区域，若驾驶员的前方和后方的视野受到车辆的部分车体的限制，则在行驶时由于行驶在前方开阔的道路，从而不会发生给驾驶带来障碍的问题，然而在车辆停车时由于车辆10的周围将存在各种障碍物，因此当障碍物位于盲区时，难以确保驾驶员的视野，从而给停车带来不便。
而且，在车辆停车时，对于驾驶不熟练的驾驶员而言，由于没有发现前方或后方的障碍物而会发生与障碍物发生碰撞的情形，即便是熟练于驾驶的驾驶员，也要求驾驶员抬头直接观察前方和后方的同时避开障碍物才能够停车，然而这仅仅能够确保部分视野，因此存在停车非常困难的问题。
而且，即便驾驶员识别出车辆的前方或者后方存在障碍物，当集中于驾驶或停车时，也会暂时失去对识别到的障碍物的记忆，从而存在与障碍物发生碰撞的问题
发明内容
技术问题
目的在于提供一种显示由摄像机、导航仪、街景视图接收器等提供的至少一个车辆周边图像，以给驾驶员提供随着车辆的行驶被车体挡住从而难以确保驾驶员的视野的车辆的前方、后方以及侧面的盲区信息的盲区显示装置及方法。
技术方案
为了实现上述目的，本发明的盲区显示装置包括：图像检测部：检测车辆周边的图像；控制部，将由所述图像检测部在任意的时间点或所述任意的时间点之前所拍摄的至少一个图像输出为所述显示用图像，并在所输出的所述显示用图像上使表示车辆的当前位置的车辆图标显示为轮廓线或半透明而输出所述显示用图像和车辆图标，以显示被车辆的车体挡住的盲区；画面显示部，用于显示由所述控制部输出的显示用图像和车辆图标。
而且，特征在于，根据本发明的输出的所述显示用图像为被拍摄的所述图像的原始图像或变换所述原始图像的视角的图像中的某一个。
而且，特征在于，根据本发明的输出的所述显示用图像为对被拍摄的所述图像的多个原始图像或将视角变换的多个图像进行合成的图像，或者对多个图像的一部分进行组合的图像中的某一个。
而且，特征在于，根据本发明的所述被车体挡住的盲区包括车辆的下部。
而且，特征在于，根据本发明的所述图像检测部为设置于车辆而拍摄车辆的周边图像并提供的摄像机、检测所述车辆的位置信息而提供对应位置的周边图像的导航仪、或者从设置于所述车辆的周边道路或建筑物的摄像机接收车辆周边的图像而提供的外部信息接收部中的某一个。
而且，特征在于，根据本发明的所述控制部利用从车辆的外部提供的车辆的位置移动信息或由车辆检测出的驾驶控制信息来运算所述车辆从任意的位置发生移动的位移信息，以检测车辆的当前位置信息。
而且，特征在于，根据本发明的所述控制部使显示在显示用图像上的车辆图标的位置显示为反映依赖于所述车辆的移动的实时位置信息而发生变更。
而且，特征在于，根据本发明的所述车辆图标的位置变更通过使显示在显示用图像上的车辆图标的位置变更显示经由固定显示用图像而仅变更车辆图标的位置、或者固定车辆图标的位置而仅移动显示用图像、或者将显示用图像和车辆图标的位置均都进行变更中的某一个来进行变更。
而且，特征在于，根据本发明的生成的所述显示用图像将利用由车辆提供的车辆的位置移动信息或由车辆检测的驾驶控制信息而移动预设的单位像素数的图像区域进行合成。
而且，特征在于，根据本发明的生成的所述显示用图像仅比较图像而合成相似度高的像素的图像区域和其周边的相似度低的区域。
而且，特征在于，根据本发明的生成的所述图像信息基于包括由车辆提供的车辆的速度以及移动方向的车辆的运行信息，提取根据速度信息和转向角信息的被减少的图像检索区域，将相似度高的像素的图像区域和其周边的相似度低的区域进行合成。
而且，本发明的盲区显示方法包括：a）控制部将在任意的时间点或所述任意的时间点之前由图像检测部拍摄的至少一个图像输出为显示用图像的步骤；b）所述控制部基于由车辆的外部提供的车辆的位置移动信息或由车辆提供的驾驶控制信息来运算所述车辆从任意的位置移动的位移信息，以检测车辆的当前位置的步骤；以及c）所述控制部根据在所述b）步骤中检测的当前位置和位移信息使表示车辆的当前位置的车辆图标以轮廓线或半透明形态显示在所述a）步骤中输出的显示用图像上而输出所述显示用图像和车辆图标，以显示车辆周边的盲区和被车体挡住的盲区的步骤。
而且，特征在于，根据本发明的所述a）步骤的显示用图像为被拍摄的所述图像的原始图像或变换所述原始图像的视角的图像中的某一个。
而且，特征在于，根据本发明的所述a）步骤的显示用图像为对被拍摄的所述图像的多个原始图像或将视角变换的多个图像进行合成的图像或者对多个图像的一部分进行组合的图像中的某一个。
而且，特征在于，根据本发明的所述a）步骤的显示用图像为从设置于车辆而拍摄车辆的周边图像并提供的摄像机、检测所述车辆的位置信息而提供对应位置的周边图像的导航仪、或者从设置于所述车辆的周边道路或建筑物的摄像机接收车辆周边的图像而提供的外部信息接收部中的某一个拍摄的图像。
而且，特征在于，根据本发明的所述车辆图标显示为反映依赖于所述车辆的移动的实时位置信息而使显示在显示用图像上的车辆图标的位置发生变更。
而且，特征在于，根据本发明的所述车辆图标的位置变更通过使显示在显示用图像上的车辆图标的位置变更显示经由固定显示用图像而仅变更车辆图标的位置、或者固定车辆图标的位置而仅移动显示用图像、或者将显示用图像和车辆图标的位置均都进行变更中的某一个来进行变更。
有益效果
本发明的优点在于，显示由图像检测部提供的至少一个车辆周边图像，从而能够给驾驶员提供随着车辆的行驶被车体挡住而难以确保驾驶员的视野的车辆的前方、后方以及侧面的盲区信息的盲区显示装置及方法。
而且，本发明的优点在于，能够确认难以确保驾驶员的视野的盲区，从而能够给驾驶员提供安全的行驶环境和安全的停车环境。
附图说明
图1为示出通常的车辆的前方和后方的盲区的示例图。
图2为示出根据本发明的盲区显示装置的一实施例的方块图。
图3为示出根据本发明的盲区显示装置的动作过程的示例图。
图4为示出根据本发明的盲区显示装置的另一动作过程的示例图。
图5为对通过根据本发明的盲区显示装置检测的后方的过去图像和当前图像进行合成而示出的示例图。
图6为在通过根据本发明的盲区显示装置检测的图像上显示车辆图标的一实施例而示出的示例图。
图7为在通过根据本发明的盲区显示装置检测的图像上显示车辆图标的另一实施例而示出的示例图。
图8为在通过根据本发明的盲区显示装置检测到的道路图像上显示车辆图标而示出的示例图。
图9为示出根据本发明的盲区显示过程的流程图。
图10为示出根据本发明的盲区显示装置的另一实施例的方块图。
附图主要符号的说明
100：盲区显示装置 110：第一摄像机
110′：经过t秒之后的第一摄像机 120：第二摄像机
120′：经过t秒之后的第二摄像机 130：控制部
140：画面显示部 150：第n摄像机
200：车辆 200′：经过t秒之后的车辆
300：减速带 400：车辆图标
410：车轮 500：方向引导信息
600：盲区显示装置 610：导航仪
620：外部信息接收部 630：控制部
640：画面显示部
具体实施方式
以下，参照附图详细说明根据本发明的盲区显示装置方法的优选实施例。
（第一实施例）
图2为示出根据本发明的盲区显示装置的一实施例的方块图，图3为示出根据本发明的盲区显示装置的动作过程的示例图，图4为示出根据本发明的盲区显示装置的另一动作过程的示例图，图5为对通过根据本发明的盲区显示装置检测的后方的过去图像和当前图像进行合成而示出的示例图。
如图2至图5所示，根据本发明的盲区显示装置100作为提供车辆的周边图像的图像检测单元，具备第一摄像机110、第二摄像机120以及第n摄像机150，且包括控制部130和画面显示部140而构成。
所述第一摄像机110作为设置于车辆200而输出对行驶中的车辆的后方进行拍摄的图像的构成，设置在设置于车辆的室内的尾灯、后尾灯或后备箱门等。
所述第二摄像机120作为设置于车辆200而输出对行驶中的车辆的前方进行拍摄的图像的构成，设置在设置于车辆的室内的室内镜、车前灯或散热器护栅等。
所述第n摄像机150作为设置于车辆200而输出对行驶中的车辆的侧面进行拍摄的图像的构成，设置在车辆的外后视镜。
所述第一摄像机110、第二摄像机120以及第n摄像机150可以使用CMOS图像传感器、CCD图像传感器或者其他类型的图像传感器中的任意一个。
而且，虽然在本实施例中对为了拍摄车辆的前方或后方的行驶方向图像而分别设置一台摄像机来工作的构成进行说明，然而也可以是设置有对相同的行驶方向进行拍摄的多个摄像机的构成。
所述控制部130使第一摄像机110、第二摄像机120或者第n摄像机150在任意的时间点（以下，称为当前时间点）拍摄的至少一个图像直接显示，或者使通过预先存储的图像处理程序执行合成/变换/组合中的某一个而生成的图像通过画面显示部140显示。
如图3所示，当车辆200从任意的出发位置朝后方行驶时，所述控制部130检测由对车辆后方的预定区域进行拍摄的第一摄像机110在任意的时间点拍摄的至少一个后方图像A+B，并将此存储到存储器（未图示）等的存储单元中。
在此，任意的时间点可以是当前时间点，也可以是过去时间点与当前时间点之间的任意的时间区间中的某一个时间点。
而且，在所述任意的时间点拍摄的至少一个后方图像A+B可以是一个长的图像，也可以是如下的图像，即，在任意的过去时间点检测第一图像A，并检测以预定速度经过预定时间（t秒）之后移动的车辆200′的第一摄像机110′所拍摄的当前时间点的第二图像B，进而将两个图像A、B合成为一个图像A+B的图像。
而且，所述控制部130从车辆的行车电脑（ECU）、自动变速箱控制单元（TCU）、速度传感器、转向角传感器、轮速传感器、比较由摄像机在当前拍摄的图像和之前拍摄的图像而算出的移动距离信息等检测车辆的移动距离、速度、行驶方向以及转向角信息，并从包括所检测到的所述移动距离、速度、行驶方向以及转向角信息的驾驶控制信息检测车辆的移动位移信息。
而且，基于所检测到的所述车辆的移动位移信息，算出从任意的位置移动的单位时间的车辆的移动位置，由此检测车辆的当前位置信息，而且为了在与所检测到的所述车辆的当前位置信息对应的所述后方图像A+B的任意的位置上表示出车辆200′的当前位置，使车辆形状的图标400以轮廓线或半透明形态显示。
即，所述控制部130检测后方图像A+B之后，在所检测到的所述后方图像A+B上以轮廓线或半透明形态显示车辆图标400来代替实际车辆200′，并通过由车辆的速度传感器或TCU等检测的速度信息来算出从任意的位置经过预定时间（例如，0.5秒）期间车辆200′所移动的距离，且根据所算出的所述车辆的移动距离，使所述轮廓线或半透明的车辆图标位置在所述后方图像A+B上显示于移动了预设的单位像素数或者预定距离的位置（例如A区域）。
为了便于说明，所述预定时间例示为0.5秒，然而并不局限于此。
而且，当车辆朝前方行驶时，所述控制部130如图4那样检测由第二摄像机120在任意的时间点拍摄的一个前方图像C+D，并将此存储到存储器（未图示）等的存储单元中。
在所述任意的时间点拍摄的至少一个前方图像C+D可以是一个长的图像，也可以是这样一种图像，即，在任意的过去时间点检测对前方进行拍摄的第一图像C，并检测以预定速度经过预定时间（t秒）之后移动的车辆200′的第二摄像机120′所拍摄的当前时间点的前方第二图像D，进而将两个图像C、D合成为一个图像C+D的图像。
而且，所述控制部130从车辆检测包括车辆的速度、行驶方向以及转向角信息的车辆的移动位移信息，并基于所检测到的所述车辆的移动位移信息，算出车辆从任意的位置在单位时间内所移动的位置，由此检测车辆的当前位置，而且为了在与所述前方图像C+D的任意的位置上表示出车辆200′的当前位置，使车辆形状的图标400以轮廓线或半透明形态显示。
即，所述控制部130检测前方图像C+D之后，在所检测到的所述前方图像C+D上以轮廓线或半透明形态显示车辆图标400来代替实际车辆200′，并利用车辆的速度信息来算出经过预定时间的期间内车辆200′所移动的距离，从而根据车辆的移动距离，使所述轮廓线或半透明的车辆图标位置在所述前方图像C+D上显示于移动了预设的单位像素数的位置（例如C区域）。
另外，在合成过去图像和当前图像的过程中如图5（a）和图5（b）所示，例如当检测到后方第一图像A和后方第二图像B时，在作为当前图像信息的后方第二图像信息B上合成作为过去图像信息的后方第一图像信息A，由此生成如图5（c）的显示用图像A+B。
此时，对于作为车辆在过去所经过之处的图像的后方第一图像信息A以显示线l为中心分离为任意的合成区域A-1、A-2以及A-3，且对于所述被分离的任意的合成区域A-1、A-2以及A-3和作为当前所看到的图像的后方第二图像信息B执行依据物体识别的特征点提取，由此检测出对合成所需的后方第一图像信息的合成区域A-1、A-2以及A-3，并生成通过归并（merge）程序或者拼接（Stitching）程序分别对被合成的区域的图像调节图像的大小等而进行合成的显示用图像A+B。
即，所述显示用图像为在任意的时间点（t+1）拍摄的一个图像，或者为合成了在所述任意的时间点（t+1）拍摄的图像和在之前的时间点（t）拍摄的图像的图像，或者将在所述任意的时间点（t+1）拍摄的图像和在之前的时间点（t）拍摄的图像以及在其之前的时间点（t-1）拍摄的图像进行合成，由此利用过去图像来显示摄像机无法看到的盲区。
本实施例的图像的合成虽然通过比较两个图像而对相似度高的像素的图像区域进行合成，然而所述图像的合成也可以基于由车辆提供的包括车辆的速度以及移动方向的车辆的运行信息，根据速度信息和转向角信息而对移动了预设的单位像素数的图像区域进行合成。
即，当车辆的速度为10km且转向角为10度时，也可以对使像素根据行驶方向朝上/下方向中的某一方向移动预设的单位像素（例如，20像素），且根据转向方向朝左侧或右侧方向移动预设的单位像素（例如，10像素）的图像区域进行合成。
而且，为了实现更加精密的图像合成，基于包括由车辆提供的车辆的速度以及移动方向的车辆的运行信息，减少依赖于速度信息和转向角信息的图像的检索区域，并在检索区域被减少的所述图像中提取相似度高的像素的图像区域进行合成，由此可以更加精密地整合图像。
另外，当在过去图像中提取相似度高的区域的像素，并在所述过去图像上提取位于相似度高的像素区域的周边的剩余的像素区域（即，相似度变低的像素区域）而进行合成时，利用过去图像将生成包含有在当前图像中无法看到的盲区的显示图像。
图6为在通过盲区显示装置检测的图像上使被车辆的车体挡住的盲区与车辆图标同时显示的图，图6（a）为车辆朝后方行驶时通过摄像机在任意的时间点之前（过去）拍摄的后方第一图像A，图6（b）为通过所述摄像机在任意的时间点（当前）拍摄的后方第二图像B，图6（c）为合成了所述后方第一图像和第二图像的显示用图像A+B。
如图6（c）所示，当合成拍摄于任意的时间点（当前）的后方第二图像B和拍摄于所述任意的时间点之前（过去）的后方第一图像A时，生成一个较长的显示用图像A+B，从而可以确认在第二图像B上无法看到的盲区（被车体挡住的部分）。
所述显示用图像A+B可以合成当前图像和过去图像来生成，但也可以使用一个较长的图像来显示。
另外，控制部130为了使驾驶员能够在所生成的显示用图像A+B上确认车辆的当前位置，在后方第二图像A上重叠利用了轮廓线的车辆图标400来显示，据此可以确认正在后退的车辆的准确的位置。
而且，使车轮410的位置与车辆图标400同时显示，据此可使驾驶员确认例如车轮410是否脱离了停车引导线或者是否沿正确的方向后退。
而且，图7为在通过盲区显示装置检测的图像上使被车辆的车体挡住的盲区与车辆图标同时显示的图，车辆朝前方行驶时，图7（a）为将朝前方行驶中的车辆的当前周边图像用第二摄像机120拍摄的前方第二图像D，图7（b）为将在预定时间之前的过去所拍摄的前方第一图像C与所述前方第二图像D进行合成的显示用图像C+D或者为由第二摄像机120在任意的时间点拍摄包含有减速带300的一个前方图像C+D而生成的显示用图像。
车辆继续行驶而经过t秒之后，车辆的当前位置位于合成为显示用的前方图像C+D上的C区域时，驾驶者可知晓车辆正通过于t秒之前所看到的减速带300，然而实际上减速带300将位于被车体挡住而难以确保驾驶员的视野的盲区。
所述控制部130为了使驾驶员能够识别与位于盲区的减速带300相关的信息，对于在前方图像C+D上的C区域显示车辆的当前位置的虚拟的车辆图标400，通过公知的距离以及位置运算程序来运算基于车辆的移动距离信息、速度信息、转向角信息等的车辆的移动位移信息，由此检测车辆从任意的时间点移动的距离以及位置信息，而且根据所检测到的所述距离以及位置信息，在所述前方图像C+D上的对应区域（例如，C区域）以车辆形状的轮廓线或半透明的车辆形状来显示表示车辆的当前位置的车辆图标400的位置，据此使驾驶员能够识别被车体挡住的车辆的下部的盲区。
而且，所述控制部130使虚拟的车辆图标400以轮廓线或半透明的形态显示于车辆当前所处的位置，据此驾驶员能够识别当前正在通过设置有减速带300的区间，且能够确认将车辆图标400作为中心的右侧的盲区区域C-1和左侧的盲区区域C-2。
而且，所述控制部130使虚拟的车辆图标信息400在前方图像C+D上显示为车辆形状的轮廓线或半透明的车辆形状中的某一个，从而显示成使驾驶员能够识别位于车辆周边的道路上的障碍物以及方向引导信息。
而且，参照图8更加详细地说明在被车辆的车体挡住的状态下给驾驶员显示位于车辆下部和周边道路上的障碍物以及方向引导信息的情形。
图8（a）为作为当前图像的前方第二图像信息D，图8（b）为作为预定时间（例如，0.5秒）之前的过去图像的前方第一图像信息C，图8（c）为将所述图8（a）和图8（b）进行整合的前方整合图像信息C+D。
当驾驶员在驾驶过程中来不及识别出印刷在道路上的方向引导信息500时，控制部130使显示在前方图像C+D上的虚拟的车辆图标400显示为半透明或仅显示为车辆的轮廓线，以使驾驶员能够识别所述方向引导信息500。
而且，所述控制部130可确认当前图像和任意的时间点之前的过去图像中所包含的固定的物体或移动中的物体的有无而一并显示距物体的距离。
即，当利用一个摄像机拍摄图像时，所述控制部130对所拍摄的当前时间点的图像和拍摄于预定时间之前的过去时间点的图像进行图像处理（processing），并在当前图像和过去图像中查找具有相似的特性（例如，像素的亮度、边缘的有无等）的物体（像素）信息，由此分别检测发生位移的任意的物体信息（像素信息）。
所述控制部130通过借助图像处理来比较两个所关注的图像，并通过被定义为矢量的像素的移动位移和角度位移等来检测相似度，据此识别物体，或者可以执行求出物体的边界线或轮廓线等的近似于边缘或物体的轮廓的线段、曲线等而加以利用，或利用存在于图像内的拐角点、不变的点、或者对于旋转变换或大小变化等不变的特征点的识别，而且也可以提取图像中所包含的物体的特征点来进行识别。
而且，所述控制部130检测所述当前图像中所检测的当前的物体位置与过去图像中所检测的过去的物体位置之间的移动位移（矢量），并检测包含从车辆的ECU、TCU、轮速传感器、转向（steering）角度传感器所提供的车辆的转向角信息、距离信息以及速度信息的运行信息，由此算出对应于所述两个物体的移动位移的移动距离。
即，所述控制部130使当前的物体位置和过去的物体位置显示在当前的图像上，而两个物体之间的差值则利用车辆移动的距离设定为两个物体之间的移动距离。
而且，所述控制部130检测当前图像上预设的基准点至当前的物体以及过去的物体的位移，并算出所述基准点和当前的物体以及过去的物体所构成的三角形信息，即，分别算出将所述当前物体与过去物体之间的移动位移作为基准边，将所述基准点分别与当前物体以及过去物体构成的位移作为其他两个边，分别计算出由这些边所构成的角度，据此算出基准点至当前物体的距离。
而且，当所算出的当前物体的位置位于图像区域中过去图像的区域上时，所述控制部130估计物体的移动位移，以基于从所估计的预想的移动位移和车辆的速度以及由所述移动位移检测的当前物体的相对速度等，算出经过预定时间之后至位于任意的图像区域上的物体的预想位置和距离并将此提供。
而且，当利用两台以上的立体摄像机时，所述控制部130可通过立体视觉（stereovision）执行至物体的距离的提取，此时估计所述物体的移动位移，以基于从所估计的预想的移动位移和车辆的速度以及由所述移动位移检测的当前物体的相对速度等，算出经过预定时间之后至位于任意的图像区域上的物体的预想位置和距离并将此提供。
而且，所述控制部130将所算出的所述距离与预设的冲撞判断用基准距离信息进行比较，其结果预想为发生冲撞时，输出警告信息以发出警告音或显示警告画面。
所述立体视觉程序在通过分别设置于车辆的前照灯、后尾灯或外后视镜的左侧和右侧的立体摄像机而得到左侧以及右侧的图像的输入时，执行使针对左侧和右侧图像的亮度以及核线（epipolar line）形成一致的针对所输入的立体图像的前处理过程，并执行生成判断为同一个物体的物体在左侧和右侧图像上重叠的区域的像素之间视差（disparity）的立体匹配，在这种视差的结果下去除噪声（noise）成分之后执行针对其立体图像的距离信息的投射（projection）、分割（segmentation）、滤波（filtering）等的后处理过程，由此获得立体图像，据此通过这种立体图像检测出物体的距离、形状、方向的信息。
所述立体视觉程序为一个实施例，也可以使用公知的多种立体视觉程序。
而且，所述控制部130可将由摄像机拍摄的原始图像原样地输出为显示用图像，然而也可以将通过视角变换程序使所拍摄的所述原始图像变换为俯视图（Bird Eye View）视角的图像输出为显示用图像。
而且，所述控制部130也可以通过图像处理程序对所述摄像机所拍摄的多个原始图像或者视角被变换的多个图像进行合成（merge）或者拼接（stitching）而输出为显示用图像。
而且，所述控制部130也可以通过图像处理程序将所述摄像机所拍摄的原始图像、视角被变换的图像或者被合成的多个图像中的一部分进行组合而输出为显示用图像。
所述画面显示部140使由控制部130输出的图像和虚拟的车辆轮廓线或半透明的车辆图标400同时被输出，该画面显示部140由LCD等的输出单元构成。
所述车辆图标400以半透明或轮廓线形态的车辆形状虚拟地在显示用图像上显示当前位置的车辆。
而且，在所述车辆图标400中，还可以使车辆的车轮（未图示）位置与半透明或轮廓线的车辆形状同时显示，从而在车辆行驶时，可向驾驶员准确地传递被车辆的车体挡住的车辆下部和表示在道路上的行驶方向标识以及道路引导用文字。
而且，对于所述车辆图标400的位置变更而言，通过使显示在显示用图像上的车辆图标的位置变更显示经由对显示用图像进行固定而仅变更车辆图标400的位置、或者对车辆图标400的位置进行固定而仅移动显示用图像、或者将显示用图像和车辆图标的位置均都进行变更中的某一个来进行变更。
图9为示出根据本发明的显示盲区过程的流程图，参照图2、图4至图9说明根据本发明的盲区显示方法。
车辆200例如朝前方行驶（S100）时，设置在车辆的第二摄像机120随着车辆200的行驶而开始拍摄，控制部130检测在任意的时间点由第二摄像机120拍摄的显示用图像C或者C+D（S100）并将此临时存储。
而且，对于在所述S100步骤中所拍摄到的显示用图像而言，可将摄像机所拍摄的原始图像原样地存储为显示用图像而输出，然而也可以将由控制部130通过视角变换程序使所拍摄的所述原始图像变换为俯视图视角的图像输出为显示用图像。
而且，对于在所述S100步骤中所拍摄到的显示用图像而言，也可以由控制部130通过图像处理程序对所述摄像机所拍摄的多个原始图像或者视角被变换的多个所述图像进行合成（merge）或拼接（stitching），或者由控制部130通过图像处理程序对所拍摄的所述原始图像、视角被变换的图像或经过合成的多个图像的一部分进行组合而输出为显示用图像。
在执行所述S100步骤之后，控制部130从由车辆提供的车辆的ECU、TCU、速度传感器、转向角传感器、轮速传感器、比较摄像机在当前所拍摄的图像和之前所拍摄的图像而算出的驾驶控制信息检测出包括车辆的移动距离、速度、行驶方向以及转向角信息的车辆的移动位移信息，并基于所检测的所述移动位移信息算出单位时间内的车辆的移动距离和依赖于转向方向的位置（S110）。
所述控制部130将所算出的移动距离和位置根据预设的单位像素数映射到在所述S100步骤中所检测的显示用图像C+D上，由此使表示车辆的当前位置的虚拟的车辆图标400以车辆的轮廓线或半透明形态显示（S120）并通过画面显示部140输出。
由于在所述S120步骤中通过画面显示部140输出的所述虚拟的车辆图标400在前方图像C+D上显示为半透明或车辆的轮廓线，因此可使得位于盲区的障碍物（例如，减速带、路缘石、隔离带等）或者方向引导信息500与车辆的当前位置信息一起被驾驶员容易地识别出。
因此，能够确认被车辆的车体挡住而难以确保驾驶员的视野的盲区和摄像机所拍摄的当前的图像中无法看到的车辆周边的盲区，从而能够给驾驶员提供安全的行驶环境和安全的停车环境。
另外，在本实施例中，对在所显示的图像上表示车辆的当前位置的虚拟的车辆图标被显示为随着车辆的移动而其位置在所述显示用图像上发生变更的情形进行了说明，然而可以构成为在多个图像连续排列的显示用图像上，所述车辆图标被显示成随着车辆的移动其位置在所述连续排列的图像上发生变更，这是显而易见的。
（第二实施例）
图10为示出根据本发明的盲区显示装置的另一实施例的方块图，第二实施例为从除了设置于车辆的摄像机之外的装置检测车辆周边图像以显示盲区的构成。
如图10所示，根据第二实施例的盲区显示装置作为提供车辆的周边图像的图像检测单元，具备导航仪610、外部信息接收部620，且包括控制部630和画面显示部640而构成。
所述导航仪610设置于车辆，从GPS接收器接收位置信息而检测车辆的当前位置信息，并根据所检测到的所述车辆的位置信息读取预先存储于存储器（未图示）的相关位置的地图图像（或者实景图像）而提供。
所述外部信息接收部620通过无线网络与设置于车辆周边的道路以及建筑物等的摄像机（未图示）连接，接收所述摄像机所拍摄的图像并提供至控制部630。
当前的智能型道路网系统具备固定地拍摄部分道路区间或建筑物的部分区域的摄像机，而且所述摄像机被分配固定的IP，从而利用无线通信连接到所述摄像机，据此用户能够容易地接收并确认摄像机所拍摄的图像。
即，所述外部信息接收部620通过无线通信与设置在道路或道路周边的建筑物等的例如IP摄像机连接，而且接收由所述IP摄像机提供的图像和设置有所述IP摄像机的场所的位置信息而将其存储到存储器（未图示），而从所述IP摄像机接收的图像则提供给控制部630。
而且，所述外部信息接收部620将由所述IP摄像机提供的摄像机的设置位置信息和借助所述导航仪610或GPS接收器（未图示）等检测的车辆的当前位置一并传送至控制部630。
所述控制部630检测由导航仪610或外部信息接收部620在任意的时间点提供的相关位置的地图图像或车辆所处位置的图像，而且输出为显示这样一种显示用图像显示，即该显示用图像为原样地使用所述检测到的至少一个图像而生成或者通过图像处理程序对任意的时间点或所述任意的时间点和其之前所检测的图像进行合成，或者通过视角变换程序变换所检测的图像的视角而重新构成或组合部分图像而重新构成的显示用图像。
即，所述控制部630例如可使IP摄像机所拍摄的原始图像原样地输出为显示用图像，也可以使所拍摄的所述原始图像通过视角变换程序变换为俯视图视角的图像输出为显示用图像。
而且，所述控制部630可通过图像处理程序对所述IP摄像机所拍摄的多个原始图像或者视角发生变化的多个过去图像进行合成或拼接而输出为显示用图像，也可以通过图像处理程序对所述IP摄像机所拍摄的原始图像、视角被变换的图像或者经过合成的图像的一部分进行组合而输出为显示用图像。
而且，所述控制部630将车辆的ECU、TCU、速度传感器、转向角传感器、轮速传感器等检测的驾驶控制信息与任意的时间点之前所接收的驾驶控制信息进行比较运算，由此检测车辆移动的距离、速度、行驶方向以及转向角等车辆的移动位移信息。
而且，当导航仪610通过GPS而检测车辆外部所提供的位置信息并输出时，所述控制部630可通过对对应于所述位置信息的地图图像和在任意的时间点接收的位置信息以及图像进行比较运算，由此检测出车辆的移动位移信息。
而且，所述控制部630对由街景视图接收器620检测的摄像机的设置位置信息及周边图像和通过导航仪610检测的位置移动信息进行比较运算，由此可检测出车辆的移动位移信息。
而且，所述控制部630基于所检测到的所述车辆的移动位移信息来检测从任意的位置移动的车辆的当前位置信息，并在所生成的显示用图像上显示表示所检测到的车辆的当前位置的轮廓线或半透明的车辆图标。
所述画面显示部640使由控制部630输出的显示用图像和虚拟的车辆轮廓线或半透明的车辆图标同时被输出，该画面显示部140由LCD等的输出单元构成。
如上所述，虽然参照本发明的优选实施例进行了说明，然而相关技术领域的熟练的技术人员应当知道，在不脱离权利要求书所记载的本发明的思想及领域的范围内，可对本发明进行各种修改和变更。
产业上的可利用性
因此，通过车辆的周边图像可容易地确认到在当前位置上被车辆的车体挡住而无法确保驾驶员的视野的盲区的障碍物的布置，从而可以给驾驶员提供安全的行驶环境和安全的停车环境。
Claims (17)
1.一种盲区显示装置，包括：
图像检测部：检测车辆周边的图像；
控制部，将由所述图像检测部在任意的时间点或所述任意的时间点之前所拍摄的至少一个图像输出为所述显示用图像，并在所输出的所述显示用图像上使表示车辆的当前位置的车辆图标显示为轮廓线或半透明而输出显示用图像和车辆图标，以显示被车辆的车体挡住的盲区；
画面显示部，用于显示由所述控制部输出的显示用图像和车辆图标。
2.根据权利要求1所述的盲区显示装置，其特征在于，输出的所述显示用图像为被拍摄的所述图像的原始图像或变换所述原始图像的视角的图像中的某一个。
3.根据权利要2所述的盲区显示装置，其特征在于，输出的所述显示用图像为对被拍摄的所述图像的多个原始图像或将视角变换的多个图像进行合成的图像，或者对多个图像的一部分进行组合的图像中的某一个。
4.根据权利要求1至3中任意一项所述的盲区显示装置，其特征在于，所述被车体挡住的盲区包括车辆的下部。
5.根据权利要求4所述的盲区显示装置，其特征在于，所述图像检测部为设置于车辆而拍摄车辆的周边图像并提供的摄像机、检测所述车辆的位置信息而提供对应位置的周边图像的导航仪、或者从设置于所述车辆的周边道路或建筑物的摄像机接收车辆周边的图像并提供的外部信息接收部中的某一个。
6.根据权利要求5所述的盲区显示装置，其特征在于，所述控制部利用从车辆的外部提供的车辆的位置移动信息或由车辆检测出的驾驶控制信息来运算所述车辆从任意的位置发生移动的位移信息，以检测车辆的当前位置信息。
7.根据权利要求5所述的盲区显示装置，其特征在于，所述控制部使显示在显示用图像上的车辆图标的位置显示为反映依赖于所述车辆的移动的实时位置信息而发生变更。
8.根据权利要求7所述的盲区显示装置，其特征在于，所述车辆图标的位置变更通过使显示在显示用图像上的车辆图标的位置变更显示经由固定显示用图像而仅变更车辆图标的位置、或者固定车辆图标的位置而仅移动显示用图像、或者将显示用图像和车辆图标的位置均都进行变更中的某一个来进行变更。
9.根据权利要求4所述的盲区显示装置，其特征在于，生成的所述显示用图像将利用由车辆提供的车辆的位置移动信息或由车辆检测的驾驶控制信息而移动预设的单位像素数的图像区域进行合成。
10.根据权利要求4所述的盲区显示装置，其特征在于，生成的所述显示用图像仅比较图像而合成相似度高的像素的图像区域和其周边的相似度低的区域。
11.根据权利要求4所述的盲区显示装置，其特征在于，生成的所述图像信息基于包括由车辆提供的车辆的速度以及移动方向的车辆的运行信息，提取根据速度信息和转向角信息的被减少的图像检索区域，将相似度高的像素的图像区域和其周边的相似度低的区域进行合成。
12.一种盲区显示方法，包括：
a）控制部将在任意的时间点或所述任意的时间点之前由图像检测部拍摄的至少一个图像输出为显示用图像的步骤；
b）所述控制部基于由车辆的外部提供的车辆的位置移动信息或由车辆提供的驾驶控制信息来运算所述车辆从任意的位置移动的位移信息，以检测车辆的当前位置的步骤；以及
c）所述控制部根据在所述b）步骤中检测的当前位置和位移信息使表示车辆的当前位置的车辆图标以轮廓线或半透明形态显示在所述a）步骤中输出的显示用图像上而输出所述显示用图像和车辆图标，以显示车辆周边的盲区和被车体挡住的盲区的步骤。
13.根据权利要求12所述的盲区显示方法，其特征在于，所述a）步骤的显示用图像为被拍摄的所述图像的原始图像或变换所述原始图像的视角的图像中的某一个。
14.根据权利要13所述的盲区显示方法，其特征在于，所述a）步骤的显示用图像为对被拍摄的所述图像的多个原始图像或将视角变换的多个图像进行合成的图像或者对多个图像的一部分进行组合的图像中的某一个。
15.根据权利要求12至14中任意一项所述的盲区显示方法，所述a）步骤的显示用图像为从设置于车辆而拍摄车辆的周边图像并提供的摄像机、检测所述车辆的位置信息而提供对应位置的周边图像的导航仪、或者从设置于所述车辆的周边道路或建筑物的摄像机接收车辆周边的图像并提供的外部信息接收部中的某一个拍摄的图像。
16.根据权利要求15所述的盲区显示方法，其特征在于，所述车辆图标显示为反映依赖于所述车辆的移动的实时位置信息而使显示在显示用图像上的车辆图标的位置发生变更。
17.根据权利要求16所述的盲区显示方法，其特征在于，所述车辆图标的位置变更通过使显示在显示用图像上的车辆图标的位置变更显示经由固定显示用图像而仅变更车辆图标的位置、或者固定车辆图标的位置而仅移动显示用图像、或者将显示用图像和车辆图标的位置均都进行变更中的某一个来进行变更。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2010-0138493 | 2010-12-30 | ||
| KR1020100138493A KR101097063B1 (ko) | 2010-12-30 | 2010-12-30 | 사각 지대 표시 장치 및 방법 |
| KR10-2011-0132051 | 2011-12-09 | ||
| KR1020110132051A KR101295618B1 (ko) | 2011-12-09 | 2011-12-09 | 사각 지대 표시 장치 및 방법 |
| PCT/KR2011/010280 WO2012091476A2 (ko) | 2010-12-30 | 2011-12-29 | 사각 지대 표시 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103237685A true CN103237685A (zh) | 2013-08-07 |
| CN103237685B CN103237685B (zh) | 2017-06-13 |
Family
ID=46383739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180057909.5A Active CN103237685B (zh) | 2010-12-30 | 2011-12-29 | 盲区显示装置及方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9418556B2 (zh) |
| EP (1) | EP2660104B1 (zh) |
| JP (1) | JP2013541915A (zh) |
| CN (1) | CN103237685B (zh) |
| WO (1) | WO2012091476A2 (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106031166A (zh) * | 2014-02-12 | 2016-10-12 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| CN106063258A (zh) * | 2014-03-05 | 2016-10-26 | 株式会社电装 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| CN106163872A (zh) * | 2014-04-09 | 2016-11-23 | 捷豹路虎有限公司 | 用于显示信息的设备和方法 |
| CN106663379A (zh) * | 2014-07-29 | 2017-05-10 | 罗伯特·博世有限公司 | 用于具有拖车的车辆的增强的盲点检测 |
| CN106828319A (zh) * | 2017-01-16 | 2017-06-13 | 惠州市德赛西威汽车电子股份有限公司 | 一种显示车身底部图像的全景环视显示方法 |
| CN106985751A (zh) * | 2017-04-07 | 2017-07-28 | 深圳市歌美迪电子技术发展有限公司 | 后视显示方法、装置及设备 |
| CN107054355A (zh) * | 2015-11-16 | 2017-08-18 | 福特全球技术公司 | 用于辅助停车操纵的方法和装置 |
| CN107274342A (zh) * | 2017-05-22 | 2017-10-20 | 纵目科技（上海）股份有限公司 | 一种车底盲区填充方法及系统、存储介质、终端设备 |
| CN107878330A (zh) * | 2017-12-06 | 2018-04-06 | 湖北航天技术研究院特种车辆技术中心 | 一种车辆底盘透视方法以及车辆底盘透视装置 |
| CN108016354A (zh) * | 2017-12-04 | 2018-05-11 | 惠州市德赛西威汽车电子股份有限公司 | 一种画面盲区可见的全景泊车系统及其方法 |
| CN108124095A (zh) * | 2016-11-29 | 2018-06-05 | 财团法人工业技术研究院 | 用于交通工具的影像处理方法及影像系统 |
| CN108422932A (zh) * | 2017-02-15 | 2018-08-21 | 奥迪股份公司 | 驾驶辅助系统、方法和车辆 |
| CN108932869A (zh) * | 2017-05-18 | 2018-12-04 | 松下电器（美国）知识产权公司 | 车辆系统、车辆信息处理方法、记录介质、交通系统、基础设施系统及信息处理方法 |
| CN109606263A (zh) * | 2017-10-04 | 2019-04-12 | 斯特拉德视觉公司 | 对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器 |
| CN109717842A (zh) * | 2017-10-31 | 2019-05-07 | 北京帕斯泰克科技有限公司 | 一种用于脉诊仪设备的视频辅助传感器定位设备及方法 |
| CN110877575A (zh) * | 2018-09-06 | 2020-03-13 | 爱信精机株式会社 | 周边监视装置 |
| CN111194450A (zh) * | 2017-10-31 | 2020-05-22 | 科恩托罗尼丝株式会社 | 全景监视系统 |
| CN111998780A (zh) * | 2019-05-27 | 2020-11-27 | 杭州海康威视数字技术股份有限公司 | 目标测距方法、装置及系统 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012005277B3 (de) * | 2012-03-15 | 2013-07-18 | Mekra Lang Gmbh & Co. Kg | Heckbereichssichtsystem |
| US9221396B1 (en) * | 2012-09-27 | 2015-12-29 | Google Inc. | Cross-validating sensors of an autonomous vehicle |
| KR101449160B1 (ko) * | 2012-12-12 | 2014-10-08 | 현대자동차주식회사 | 차량의 사각지대 정보 제공 장치 및 방법 |
| EP2981077B1 (en) * | 2013-03-28 | 2017-09-27 | Aisin Seiki Kabushiki Kaisha | Periphery monitoring device and program |
| JP6148887B2 (ja) * | 2013-03-29 | 2017-06-14 | 富士通テン株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
| KR101698783B1 (ko) * | 2013-12-16 | 2017-01-23 | 엘지전자 주식회사 | 스테레오 카메라 및 이를 구비한 차량 |
| JP6313063B2 (ja) * | 2014-02-17 | 2018-04-18 | 日立オートモティブシステムズ株式会社 | 車載用認識装置 |
| AU2015318810B2 (en) * | 2014-09-15 | 2021-04-22 | Dti Group Limited | Arcing filtering using multiple image capture devices |
| KR101632009B1 (ko) | 2014-11-26 | 2016-06-21 | 엘지전자 주식회사 | 전자기기 및 그것의 제어방법 |
| DE102014225673B4 (de) * | 2014-12-12 | 2020-07-09 | Volkswagen Aktiengesellschaft | Verfahren und System zur Darstellung einer Positionierungshilfe für ein Fahrzeug |
| US10017112B2 (en) * | 2015-03-03 | 2018-07-10 | Hitachi Construction Machinery Co., Ltd. | Surroundings monitoring device of vehicle |
| KR20160112545A (ko) | 2015-03-19 | 2016-09-28 | 현대자동차주식회사 | 차량 및 차량의 제어방법 |
| EP3136291A1 (de) * | 2015-08-31 | 2017-03-01 | Continental Automotive GmbH | Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung |
| US9902322B2 (en) | 2015-10-30 | 2018-02-27 | Bendix Commercial Vehicle Systems Llc | Filling in surround view areas blocked by mirrors or other vehicle parts |
| US20170132476A1 (en) * | 2015-11-08 | 2017-05-11 | Otobrite Electronics Inc. | Vehicle Imaging System |
| US20190266416A1 (en) * | 2015-11-08 | 2019-08-29 | Otobrite Electronics Inc. | Vehicle image system and method for positioning vehicle using vehicle image |
| DE102016208369A1 (de) * | 2016-05-17 | 2017-12-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren |
| CN106004661B (zh) * | 2016-05-31 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 外后视镜系统和应用于外后视镜系统的方法 |
| EP3263405B1 (en) * | 2016-06-27 | 2019-08-07 | Volvo Car Corporation | Around view monitoring system and method for vehicles |
| JP6642306B2 (ja) * | 2016-06-29 | 2020-02-05 | アイシン精機株式会社 | 周辺監視装置 |
| JP6806156B2 (ja) * | 2016-09-30 | 2021-01-06 | アイシン精機株式会社 | 周辺監視装置 |
| JP2018063294A (ja) * | 2016-10-11 | 2018-04-19 | アイシン精機株式会社 | 表示制御装置 |
| US20180236939A1 (en) * | 2017-02-22 | 2018-08-23 | Kevin Anthony Smith | Method, System, and Device for a Forward Vehicular Vision System |
| EP3785048A1 (en) * | 2018-04-25 | 2021-03-03 | Waymo LLC | Underbody radar units |
| DE102018207976A1 (de) * | 2018-05-22 | 2019-11-28 | Continental Automotive Gmbh | Verfahren und Vorrichtung zum Anzeigen einer Fahrzeugumgebung |
| US11227409B1 (en) | 2018-08-20 | 2022-01-18 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
| US11699207B2 (en) | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
| KR20210091148A (ko) * | 2018-11-22 | 2021-07-21 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 화상 처리 장치, 카메라 시스템 및 화상 처리 방법 |
| CN111942288B (zh) * | 2019-05-14 | 2022-01-28 | 欧特明电子股份有限公司 | 车辆影像系统及使用车辆影像的车辆定位方法 |
| US10897600B1 (en) | 2019-09-09 | 2021-01-19 | Texas Instruments Incorporated | Sensor fusion based perceptually enhanced surround view |
| JP2022161066A (ja) * | 2021-04-08 | 2022-10-21 | トヨタ自動車株式会社 | 表示制御システム、表示制御方法及びプログラム |
| US11597383B1 (en) * | 2021-11-04 | 2023-03-07 | STEER-Tech, LLC | Methods and systems for parking a vehicle |
| DE102022209182A1 (de) | 2022-09-05 | 2024-03-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells, Computerprogramm, Rechenvorrichtung und Fahrzeug |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002337605A (ja) * | 2001-05-18 | 2002-11-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両用周辺視認装置 |
| JP2005335410A (ja) * | 2004-05-24 | 2005-12-08 | Olympus Corp | 画像表示装置 |
| JP2006011516A (ja) * | 2004-06-22 | 2006-01-12 | Equos Research Co Ltd | 障害物検知支援装置 |
| US20070088478A1 (en) * | 2005-10-19 | 2007-04-19 | Aisin Aw Co., Ltd. | Vehicle travel distance calculation method, vehicle travel distance calculation apparatus, vehicle current position detection method and vehicle current postition detection apparatus |
| US20090237268A1 (en) * | 2008-03-18 | 2009-09-24 | Hyundai Motor Company | Information display system for vehicle |
| EP2257065A1 (en) * | 2008-02-20 | 2010-12-01 | Clarion Co., Ltd. | Vehicle peripheral image display system |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60009000T2 (de) * | 1999-10-21 | 2005-03-10 | Matsushita Electric Industrial Co., Ltd., Kadoma | System zur Einparkhilfe |
| JP4593070B2 (ja) * | 2001-12-12 | 2010-12-08 | 株式会社エクォス・リサーチ | 車両の画像処理装置 |
| JP2005001570A (ja) * | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
| JP4877447B2 (ja) | 2004-08-31 | 2012-02-15 | 株式会社エクォス・リサーチ | 車両周辺画像表示装置 |
| DE102005008131A1 (de) * | 2005-01-31 | 2006-08-03 | Daimlerchrysler Ag | Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen |
| EP1696669B1 (en) * | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
| JP2006238131A (ja) * | 2005-02-25 | 2006-09-07 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
| JP2006306241A (ja) * | 2005-04-27 | 2006-11-09 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP4622806B2 (ja) * | 2005-10-27 | 2011-02-02 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| JP2008042235A (ja) * | 2006-08-01 | 2008-02-21 | Honda Motor Co Ltd | 車両用表示装置 |
| JP4967604B2 (ja) * | 2006-11-01 | 2012-07-04 | スズキ株式会社 | 駐車支援システム |
| KR100833603B1 (ko) * | 2006-12-29 | 2008-05-30 | 주식회사 엠티오메가 | 버드 뷰를 제공하는 차량용 네비게이션 장치 및 그 방법 |
| JP2007302238A (ja) * | 2007-05-29 | 2007-11-22 | Equos Research Co Ltd | 車両の画像処理装置 |
| JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
| KR101093316B1 (ko) * | 2008-04-15 | 2011-12-14 | 주식회사 만도 | 차량주행중 영상정합 방법 및 그 시스템 |
| US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| JP5118605B2 (ja) * | 2008-10-30 | 2013-01-16 | クラリオン株式会社 | 車両周辺画像表示システム |
| JP5300443B2 (ja) * | 2008-12-01 | 2013-09-25 | 富士通テン株式会社 | 画像処理装置 |
-
2011
- 2011-12-29 US US13/996,346 patent/US9418556B2/en active Active
- 2011-12-29 EP EP11853246.4A patent/EP2660104B1/en active Active
- 2011-12-29 CN CN201180057909.5A patent/CN103237685B/zh active Active
- 2011-12-29 JP JP2013534836A patent/JP2013541915A/ja active Pending
- 2011-12-29 WO PCT/KR2011/010280 patent/WO2012091476A2/ko active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002337605A (ja) * | 2001-05-18 | 2002-11-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両用周辺視認装置 |
| JP2005335410A (ja) * | 2004-05-24 | 2005-12-08 | Olympus Corp | 画像表示装置 |
| JP2006011516A (ja) * | 2004-06-22 | 2006-01-12 | Equos Research Co Ltd | 障害物検知支援装置 |
| US20070088478A1 (en) * | 2005-10-19 | 2007-04-19 | Aisin Aw Co., Ltd. | Vehicle travel distance calculation method, vehicle travel distance calculation apparatus, vehicle current position detection method and vehicle current postition detection apparatus |
| EP2257065A1 (en) * | 2008-02-20 | 2010-12-01 | Clarion Co., Ltd. | Vehicle peripheral image display system |
| US20090237268A1 (en) * | 2008-03-18 | 2009-09-24 | Hyundai Motor Company | Information display system for vehicle |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106031166B (zh) * | 2014-02-12 | 2018-12-25 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| CN106031166A (zh) * | 2014-02-12 | 2016-10-12 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| CN106063258A (zh) * | 2014-03-05 | 2016-10-26 | 株式会社电装 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| CN106063258B (zh) * | 2014-03-05 | 2018-12-25 | 株式会社电装 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| US11597318B2 (en) | 2014-04-09 | 2023-03-07 | Jaguar Land Rover Limited | Apparatus and method for displaying information |
| CN106163872A (zh) * | 2014-04-09 | 2016-11-23 | 捷豹路虎有限公司 | 用于显示信息的设备和方法 |
| CN106163872B (zh) * | 2014-04-09 | 2020-04-07 | 捷豹路虎有限公司 | 用于显示信息的设备和方法 |
| CN111332201A (zh) * | 2014-04-09 | 2020-06-26 | 捷豹路虎有限公司 | 用于车辆的显示设备和方法以及包括该显示设备的车辆 |
| CN111332201B (zh) * | 2014-04-09 | 2023-07-11 | 捷豹路虎有限公司 | 用于车辆的显示设备和方法以及包括该显示设备的车辆 |
| CN106663379A (zh) * | 2014-07-29 | 2017-05-10 | 罗伯特·博世有限公司 | 用于具有拖车的车辆的增强的盲点检测 |
| CN106663379B (zh) * | 2014-07-29 | 2019-09-13 | 罗伯特·博世有限公司 | 用于具有拖车的车辆的增强的盲点检测 |
| CN107054355B (zh) * | 2015-11-16 | 2021-08-06 | 福特全球技术公司 | 用于辅助停车操纵的方法和装置 |
| CN107054355A (zh) * | 2015-11-16 | 2017-08-18 | 福特全球技术公司 | 用于辅助停车操纵的方法和装置 |
| CN108124095A (zh) * | 2016-11-29 | 2018-06-05 | 财团法人工业技术研究院 | 用于交通工具的影像处理方法及影像系统 |
| CN108124095B (zh) * | 2016-11-29 | 2020-06-16 | 财团法人工业技术研究院 | 用于交通工具的影像处理方法及影像系统 |
| CN106828319A (zh) * | 2017-01-16 | 2017-06-13 | 惠州市德赛西威汽车电子股份有限公司 | 一种显示车身底部图像的全景环视显示方法 |
| CN108422932A (zh) * | 2017-02-15 | 2018-08-21 | 奥迪股份公司 | 驾驶辅助系统、方法和车辆 |
| CN108422932B (zh) * | 2017-02-15 | 2021-06-01 | 奥迪股份公司 | 驾驶辅助系统、方法和车辆 |
| WO2018184269A1 (zh) * | 2017-04-07 | 2018-10-11 | 深圳市歌美迪电子技术发展有限公司 | 后视显示方法、装置及设备 |
| CN106985751A (zh) * | 2017-04-07 | 2017-07-28 | 深圳市歌美迪电子技术发展有限公司 | 后视显示方法、装置及设备 |
| CN108932869A (zh) * | 2017-05-18 | 2018-12-04 | 松下电器（美国）知识产权公司 | 车辆系统、车辆信息处理方法、记录介质、交通系统、基础设施系统及信息处理方法 |
| CN107274342A (zh) * | 2017-05-22 | 2017-10-20 | 纵目科技（上海）股份有限公司 | 一种车底盲区填充方法及系统、存储介质、终端设备 |
| CN109606263A (zh) * | 2017-10-04 | 2019-04-12 | 斯特拉德视觉公司 | 对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器 |
| CN111194450A (zh) * | 2017-10-31 | 2020-05-22 | 科恩托罗尼丝株式会社 | 全景监视系统 |
| CN109717842A (zh) * | 2017-10-31 | 2019-05-07 | 北京帕斯泰克科技有限公司 | 一种用于脉诊仪设备的视频辅助传感器定位设备及方法 |
| CN108016354A (zh) * | 2017-12-04 | 2018-05-11 | 惠州市德赛西威汽车电子股份有限公司 | 一种画面盲区可见的全景泊车系统及其方法 |
| CN107878330B (zh) * | 2017-12-06 | 2020-05-05 | 湖北航天技术研究院特种车辆技术中心 | 一种车辆底盘透视方法以及车辆底盘透视装置 |
| CN107878330A (zh) * | 2017-12-06 | 2018-04-06 | 湖北航天技术研究院特种车辆技术中心 | 一种车辆底盘透视方法以及车辆底盘透视装置 |
| CN110877575A (zh) * | 2018-09-06 | 2020-03-13 | 爱信精机株式会社 | 周边监视装置 |
| CN111998780A (zh) * | 2019-05-27 | 2020-11-27 | 杭州海康威视数字技术股份有限公司 | 目标测距方法、装置及系统 |
| CN111998780B (zh) * | 2019-05-27 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 目标测距方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9418556B2 (en) | 2016-08-16 |
| CN103237685B (zh) | 2017-06-13 |
| EP2660104B1 (en) | 2015-09-23 |
| US20130300872A1 (en) | 2013-11-14 |
| WO2012091476A3 (ko) | 2012-08-23 |
| EP2660104A4 (en) | 2014-06-11 |
| WO2012091476A2 (ko) | 2012-07-05 |
| JP2013541915A (ja) | 2013-11-14 |
| EP2660104A2 (en) | 2013-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103237685A (zh) | 盲区显示装置及方法 | |
| US11657604B2 (en) | Systems and methods for estimating future paths | |
| US8305431B2 (en) | Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images | |
| JP6700623B2 (ja) | 走行支援装置及びコンピュータプログラム | |
| US10163016B2 (en) | Parking space detection method and device | |
| US9863775B2 (en) | Vehicle localization system | |
| CN106043308A (zh) | 用于对汽车驾驶员进行专注性识别的方法和设备 | |
| WO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| GB2566523A (en) | System and method for vehicle convoys | |
| JP2006279752A (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
| KR101097063B1 (ko) | 사각 지대 표시 장치 및 방법 | |
| US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
| JP2020197506A (ja) | 車両用物体検出装置 | |
| WO2017056724A1 (ja) | 周辺認識装置 | |
| JP7255345B2 (ja) | 走行車線認識装置、走行車線認識方法およびプログラム | |
| JP3440956B2 (ja) | 車両用走行路検出装置 | |
| WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| US20100054541A1 (en) | Driving support system with plural dimension processing units | |
| KR101295618B1 (ko) | 사각 지대 표시 장치 및 방법 | |
| JP2022006844A (ja) | 物体検出方法及び物体検出装置 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| KR20140106126A (ko) | 전방위 영상 기반 자동 주차 시스템 및 방법 | |
| US20210180960A1 (en) | Road attribute detection and classification for map augmentation | |
| JP7334572B2 (ja) | 物体検知装置および物体検知プログラム | |
| JP7236556B2 (ja) | 物体検知装置および物体検知プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |