CN109476315B - 驾驶员辅助装置及具有该装置的车辆 - Google Patents

驾驶员辅助装置及具有该装置的车辆 Download PDF

Info

Publication number
CN109476315B
CN109476315B CN201680087637.6A CN201680087637A CN109476315B CN 109476315 B CN109476315 B CN 109476315B CN 201680087637 A CN201680087637 A CN 201680087637A CN 109476315 B CN109476315 B CN 109476315B
Authority
CN
China
Prior art keywords
vehicle
video
driver assistance
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087637.6A
Other languages
English (en)
Other versions
CN109476315A (zh
Inventor
蔡圭烈
李�权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN109476315A publication Critical patent/CN109476315A/zh
Application granted granted Critical
Publication of CN109476315B publication Critical patent/CN109476315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

根据本发明实施例的驾驶员辅助装置包括：第一照相机，其被配置为拍摄车辆附近的第一视频；第二照相机，其被配置为拍摄车辆附近的第二视频；处理器，其被配置为提取第一拼接区中所包括的对象的第一边缘，在该第一拼接区中车辆附近的第一视频和车辆附近的第二视频连接；以及显示单元，其被配置为对第一边缘和车辆附近的第一视频和第二视频的除了第一拼接区外的合成视频进行交叠并显示，其中，第一拼接区是车辆附近的第一视频和第二视频中包括的固定区域。

Description

驾驶员辅助装置及具有该装置的车辆
技术领域
本发明涉及驾驶员辅助装置和具有该装置的车辆。
背景技术
车辆是用于将乘坐的用户朝所需的方向移动的装置。作为代表性的可举例有汽车。汽车根据所使用的引擎的分类，可以有内燃机(internal combustion engine)汽车、外燃机(external combustion engine)汽车、燃气涡轮(gas turbine)汽车或电动汽车(electric vehicle)等。
电动汽车是指以电作为能源运行电动马达的汽车，其有纯电动汽车、混合动力汽车HEV、插电式混合动力汽车PHEV、氢燃料电池汽车FCEV等。
最近，为了提供驾驶者、行人等的安全或便利，积极展开有针对智能汽车(SmartVehicle)的开发。
智能汽车是融合了信息技术IT的最尖端汽车。智能汽车除了引入汽车自身的尖端系统以外，通过与智能交通系统ITS的联动而提供最佳的交通效率。
并且，积极展开有针对这样的智能汽车站搭载的传感器的研究。详细而言，照相机、红外线传感器、雷达、GPS、激光雷达(Lidar)、陀螺仪等利用于智能汽车，其中，照相机作为代替人眼的作用的传感器，其占据着重要的位置。
因此，随着开发出各种传感器和电子设备，具有用于辅助用户驾驶并提高行驶安全性和便利等的驾驶辅助功能的车辆受到广泛关注。
作为驾驶员辅助功能的一部分，在最新车辆中用作侧视镜或后视镜的反光镜已被照相机取代。因此，到目前为止，驾驶员必须分别检查左侧视镜、右侧视镜和后视镜以便掌握车辆附近的情况，但是现在，驾驶员只需检查通过合成位于车辆中的多个照相机所拍摄的视频而获得的一个视频。
然而，当合成多个照相机所拍摄的视频时，出现特定对象消失的问题。例如，这是因为通过设置在车辆后部的照相机所观看到的对象通过设置在车辆右侧的照相机未被观看到。因此，为了使对象不消失，需要一种自然地合成多个照相机所拍摄的视频的方法。
此外，当合成多个照相机所拍摄的视频时，存在连接视频的拼接区突然移动的问题。如上所述，当拼接区突然移动时，视频流变得不自然。这可能分散驾驶员的注意力以中断驾驶。
发明内容
技术问题
本发明的目的是提供一种合成多个照相机拍摄的车辆附近的视频使得车辆附近的视频中所包括的对象不会消失的驾驶员辅助装置及具有其的车辆。
本发明的目的是提供一种在合成多个照相机拍摄的车辆附近的视频时通过固定连接视频的拼接区使得合成视频自然显示的驾驶员辅助装置及具有其的车辆。
本发明的目的是提供一种通过使用多个照相机拍摄的车辆附近的视频中所包括的信息来提供显示从上方观看车辆附近的情况的顶视视频的驾驶员辅助装置及具有其的车辆。
本发明的目的是提供一种显示用于在感测到诸如摩托车的特定对象或变道中的危险情况时通知用户该情况的通知消息的驾驶员辅助装置及具有其的车辆。
技术方案
根据本发明的实施例的一种驾驶员辅助装置包括：第一照相机，其被配置为拍摄车辆附近的第一视频；第二照相机，其被配置为拍摄车辆附近的第二视频；处理器，其被配置为提取第一拼接区中所包括的对象的第一边缘，车辆附近的第一视频和车辆附近的第二视频在该第一拼接区中连接；以及显示单元，其被配置为对第一边缘和车辆附近的除了第一拼接区外的第一视频和第二视频的合成视频进行交叠并显示，其中，第一拼接区是车辆附近的第一视频和第二视频中包括的固定区域。
根据本发明的实施例的驾驶员辅助装置可以还包括：第三照相机，其被配置为拍摄车辆附近的第三视频，其中，处理器提取第二拼接区中包括的对象的第二边缘，车辆附近的第二视频和车辆附近的第三视频在该第二拼接区中连接，显示单元对第一边缘、第二边缘以及车辆附近的除第一拼接区和第二拼接区之外的第一视频至第三视频的合成视频进行交叠并显示，以及第二拼接区是车辆附近的第二视频和第三视频中包括的固定区域。
在根据本发明的实施例的驾驶员辅助装置中，处理器可以计算第一拼接区和第二拼接区中包括的对象的速度以及各对象与车辆之间的距离。
在根据本发明的实施例的驾驶员辅助装置中，显示单元还可以通过使用所计算的速度和所计算的距离来显示从上方观看的车辆附近的顶视视频。
在根据本发明的实施例的驾驶员辅助装置中，处理器可以感测车辆附近的第一视频至第三视频中包括的特定对象，显示单元还可以显示指示感测到特定对象的消息，以及特定对象可以包括汽车、摩托车、自行车和人中的至少一个。
在根据本发明的实施例的驾驶员辅助装置中，处理器可以感测车辆的变道操作，以及当感测到变道操作时，显示单元还可以基于车辆与各对象之间的距离以及对象的速度显示变道引导消息。
在根据本发明的实施例的驾驶员辅助装置中，处理器可以通过车辆的车轮的运动来感测车辆的变道操作。
在根据本发明的实施例的驾驶员辅助装置中，处理器可以通过顶视视频中包括的车辆图标的移动来感测车辆的变道操作。
在根据本发明的实施例的驾驶员辅助装置中，显示单元可以基于位于车辆要切换到的车道上的对象的速度以及车辆和该对象之间的距离来显示消息。
在根据本发明的实施例的驾驶员辅助装置中，第一照相机可以是位于车辆的右前侧的照相机，第二照相机可以是位于车辆的后部中央的照相机，而第三照相机可以是位于车辆的左前侧的照相机。
本发明的实施例可以提供一种具有上述驾驶员辅助装置的车辆。
技术效果
根据本发明的各种实施例，可以提供精确显示车辆附近的情况的驾驶引导视频，而不会忽略位于车辆附近的对象。
根据本发明的各种实施例，由于视频的拼接区是固定的，因此可以提供运动自然的驾驶引导影像。
根据本发明的各种实施例，由于从上方可以看到车辆附近的情况，所以驾驶员可以更方便地驾驶车辆。
根据本发明的各种实施例，由于向驾驶员实时地提供能够存在于车辆附近的危险因素，所以驾驶员可以更安全地驾驶车辆。
附图说明
图1示出设置有本发明的实施例的驾驶员辅助装置的车辆的外观。
图2示出本发明的驾驶员辅助装置的框图。
图3示出设置有本发明的实施例的驾驶员辅助装置的车辆的平面。
图4示出本发明的实施例的照相机的一例。
图5及图6是用于说明在本发明的实施例的照相机的影像中生成影像信息的方法的一例的图。
图7是示出包括本发明的实施例的驾驶员辅助装置的车辆的内观的图。
图8是示出根据本发明的实施例的通过驾驶员辅助装置提供驾驶引导视频的方法的流程图。
图9是示出根据本发明第一实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
图10是示出根据本发明第二实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
图11是示出根据本发明的第三实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
图12是示出根据本发明的第四实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
图13A至图13C是由根据本发明的实施例的驾驶员辅助装置中提供的多个照相机拍摄的车辆附近的视频的示例图。
图14是用于描述根据本发明的实施例的通过驾驶员辅助装置从车辆附近的视频获取对应于拼接区的影像的方法的示例图。
图15是用于描述通过根据本发明的实施例的驾驶员辅助装置获取对应于拼接区的影像中所包括的对象的边缘的操作的示例图。
图16是根据本发明的实施例通过将车辆附近的除了对应于拼接区的影像之外的视频中合成为一个视频而获得的视频的示例图。
图17是用于描述根据本发明的实施例的驾驶员辅助装置将合成视频和对象的边缘一起进行显示的状态的示例图。
图18A至图18C是根据本发明的实施例的驾驶员辅助装置中所包括的多个照相机拍摄的车辆附近的视频的其他示例图。
图19是用于描述通过根据本发明的实施例的驾驶员辅助装置从车辆附近的视频获取对应于拼接区的影像的方法的另一示例图。
图20是用于描述通过根据本发明的实施例的驾驶员辅助装置获取在对应于拼接区的影像中所包括的对象的边缘的操作的另一示例图。
图21是根据本发明的实施例的通过将车辆附近除对应于拼接区的影像之外的视频合成为一个视频而获得的视频的另一示例图。
图22是用于描述根据本发明的实施例的由驾驶员辅助装置将合成视频和对象的边缘一起显示的状态的另一示例图。
图23A至图23C是示出根据本发明的实施例的获取车辆附近的视频的交叠区域的操作的图。
图24是通过交叠并合成所获取的交叠区域而获取的视频的示例图。
图25A至图25C是用于描述根据本发明的实施例的获取车辆附近的视频的交叠区域的操作的其他示例图。
图26是通过交叠并合成所获取的交叠区域而获取的视频的另一示例图。
图27A和图27B是示出在拼接区移动前后的驾驶引导视频之间的比较的图。
图28是示出根据本发明的实施例的在车辆附近视频的交叠区域中所包括的对象的图。
图29是示出根据示例性实施例的顶视视频的图。
图30是示出根据本发明的实施例的由驾驶员辅助装置感测到特定对象时显示警告消息的方法的图。
图31是示出根据本发明的实施例的根据车辆的变道来显示通知消息的方法的图。
图32是包括前述的驾驶员辅助装置的图1车辆的内部框图的一例。
具体实施方式
以下参照附图对本说明书所揭示的实施例进行详细的说明，在此，与附图标记无关的对相同或类似的结构元件赋予相同的参照标记，并将省去对其重复的说明。在以下说明中使用的针对结构元件的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用，其自身并不带有相互区分的含义或作用。并且，在对本发明揭示的实施例进行说明的过程中，如果判断为对于相关的公知技术的具体说明会导致混淆本说明书所揭示的实施例的技术思想，则将省去对其详细的说明。并且，所附的附图仅是为了容易理解本说明书所揭示的实施例，不应由所附的附图来限定本发明所揭示的技术思想，而是应当涵盖了本发明的思想及技术范围中所包括的所有变更、均等物乃至替代物。
第二等包含序数的术语可用于说明多种结构元件，但是所述结构元件并不由所述术语所限定。所述术语仅是用于将一个结构元件与其他结构元件区分的目的来使用。
如果提及到某个结构元件“连接”或“接触”于另一结构元件，其可能是直接连接于或接触于另一结构元件，但也可被理解为是他们中间存在有其他结构元件。反之，如果提及到某个结构元件“直接连接”或“直接接触”于另一结构元件，则应当被理解为是他们之间不存在有其他结构元件。
除非在上下文明确表示有另行的含义，单数的表达方式应包括复数的表达方式。
在本申请中，“包括”或“具有”等术语仅是为了指定说明书上记载的特征、数字、步骤、动作、结构元件、部件或其组合的存在，而并不意在排除一个或其以上的其他特征或数字、步骤、动作、结构元件、部件或其组合的存在或添加的可能性。
本说明书中描述的车辆可以是包括汽车、摩托车的概念。以下，对于车辆将以汽车为主进行说明。
本说明书中描述的车辆可以是将作为动力源具有引擎的内燃机车辆、作为动力源具有引擎和电动马达的混合动力车辆、作为动力源具有电动马达的电动汽车等均涵盖的概念。
在以下的说明中，车辆的左侧表示车辆的行驶方向的左侧，车辆的右侧表示车辆的行驶方向的右侧。
在以下的说明中，除非有另行提及到的内容，将以左座驾驶(Left Hand Drive，LHD)车辆为中心进行说明。
在以下的说明中，在车辆中提供驾驶辅助装置，以与车辆交换数据通信所需信息并执行驾驶员辅助功能。可以将车辆的一些单元的集合定义为驾驶员辅助装置。
当分开提供驾驶员辅助装置时，驾驶员辅助装置的至少一些单元(参照图2)未包括于驾驶员辅助装置内，而可以是车辆的单元或车辆中搭载的其他装置的单元。这样的外部单元通过驾驶员辅助装置的接口来收发数据，从而可以被理解为包括于驾驶员辅助装置内。
以下，为了说明上的便利，假设本发明的实施例的驾驶员辅助装置直接包括图2所示的各单元。
以下，参照附图对本发明的实施例的驾驶员辅助装置进行详细的说明。
参照图1，本发明的实施例的车辆700可包括：利用动力源进行旋转的车轮13FL、13RL；以及用于向用户提供驾驶员辅助信息的驾驶员辅助装置100。
根据本发明的实施例的驾驶员辅助装置可以提供通过拍摄车辆的侧面和后方的情况而获取的视频。因此，可以从车辆去除侧视镜或减小其尺寸，从而期望降低在驾驶期间产生的噪音或提高车辆的燃料效率的效果。
根据本发明实施例的驾驶员辅助装置可以提供通过将车辆的侧方视频和后方视频合成为一个视频而获取的视频。因此，可以一目了然地掌握车辆附近的情况，从而提供容易且方便地驾驶车辆的方式。
根据本发明的实施例的驾驶员辅助装置可以提供通过提取车辆附近的任一视频中所包括的车辆边缘，在其他视频中显示提取的边缘，以及将提取的边缘和其他视频合成为一个视频而获取的视频。在合成视频中可以固定交叠区域的位置。因此，可以消除随着交叠区域移动而通常产生的视频不自然。
当根据本发明实施例的驾驶员辅助装置提供车辆附近的视频时，驾驶员辅助装置可以提供从上方观看到的车辆附近的情况的顶视视频。因此，可以更方便和准确地掌握车辆附近的情况。
当根据本发明实施例的驾驶员辅助装置提供车辆附近的视频时，驾驶员辅助装置可以提供特定对象的通知。驾驶员辅助装置代替用户来测量需要用户特定关注的部分并将测量结果通知给用户，从而提供更方便驾驶的方式。
参照图2，驾驶员辅助装置100可包括：输入单元110、通信单元120、接口130、存储器140、传感器部155、处理器170、显示单元180、音频输出单元185及电源190。只是，图2所示的驾驶员辅助装置100的单元并非是实现驾驶员辅助装置100所需的必需结构，本说明书上说明的驾驶员辅助装置100所具有的结构元件可多于或少于以上例举的结构元件。
对各结构进行详细的说明，驾驶员辅助装置100可包括用于检测用户的输入的输入单元110。
例如，用户可通过输入单元110对驾驶员辅助装置100提供的车辆驾驶辅助功能进行设定输入，或可进行用于开启(on)/关闭(off)驾驶员辅助装置100的电源的运行输入等。
这样的输入单元110可包括用于检测用户手势的手势输入单元(例如，光传感器(optical sensor)等)、用于检测触摸的触摸输入单元(例如，触摸传感器(touch sensor)、触摸键(touch key)、机械键(mechanical key)等)以及用于检测语音输入的麦克风(microphone)中的一种以上，并能够检测用户输入。
接着，驾驶员辅助装置100可包括与其他车辆510、终端600及服务器500等进行通信的通信单元120。
驾驶员辅助装置100可通过通信单元120接收包含有导航(Navigation)信息、其他车辆行驶信息及交通信息中的至少一种信息的通信信息，所获取的通信信息可包含于车辆周边信息。
相反地，驾驶员辅助装置100可通过通信单元120发送关于本车辆的信息。详细而言，通信单元120可从移动终端600和/或服务器500接收位置信息、天气信息及道路的交通状况信息(例如，传输协议专家组(Transport Protocol Expert Group，TPEG)等)中的至少一种信息。
并且，通信单元120可从具有智能交通系统ITS的服务器500接收交通信息。其中，交通信息可包含交通信号信息、车线信息、车辆周边信息或位置信息等。
并且，通信单元120可从服务器500和/或移动终端600接收导航信息。其中，导航信息可包含：与车辆行驶相关的地图(map)信息、车线信息、车辆的位置信息、设定的目的地信息及与目的地对应的路径信息中的一种以上的信息。
例如，通信单元120可利用导航信息接收车辆的实时位置。详细而言，通信单元120可包括GPS(Global Positioning System)模块和/或WiFi(Wireless Fidelity)模块来获取车辆的位置。
并且，通信单元120可从其他车辆510接收其他车辆510的行驶信息并发送本车辆的信息，从而相互共享车辆之间的行驶信息。其中，相互共享的行驶信息可包含车辆的移动方向信息、位置信息、车速信息、加速度信息、移动路径信息、前进/倒车信息、相邻车辆信息及转向灯信息中的一种以上的信息。
并且，在用户乘坐车辆的情况下，用户的移动终端600和驾驶员辅助装置100可自动地或通过用户执行应用程序来执行彼此配对(pairing)。
这样的通信单元120可以无线(wireless)方式与其他车辆510、移动终端600或服务器500进行数据交换。
详细而言，通信单元120能够利用无线数据通信方式进行无线通信。作为无线数据通信方式可利用用于移动通信的技术标准或通信方式(例如，全球移动通信系统(GSM：Global System for Mobile communication)、码分多址(CDMA：Code Division MultiAccess)，CDMA2000(Code Division Multi Access 2000：码分多址2000)、EV-DO(Evolution-Data Optimized优化的演进数据)、宽带CDMA(WCDMA：Wideband CDMA)、高速下行链路分组接入(HSDPA：High Speed Downlink Packet Access)、高速上行链路分组接入(HSUPA：High Speed Uplink Packet Access)、长期演进(LTE：Long Term Evolution)、LTE-A(Long Term Evolution-Advanced：增强长期演进)等)。
通信单元120配置为便于无线互联网技术。这种无线互联网技术的示例包括无线LAN(WLAN：Wireless LAN)、无线保真(Wi-Fi：Wireless-Fidelity)、Wi-Fi直接(WirelessFidelityDirect)、数字生活网络联盟(DLNA：Digital Living Network Alliance)、无线宽带(WiBro：Wireless Broadband)、全球微波互联接入(WiMAX：World Interoperabilityfor Microwave Access)、高速下行链路分组接入(HSDPA：High Speed Downlink PacketAccess)、HSUPA(High Speed Uplink Packet Access：高速上行链路分组接入)、长期演进(LTE：Long Term Evolution)、LTE-A(Long Term Evolution-Advanced：增强长期演进)等。
另外，通信单元120被配置为便于近距离通信(Short range communication)。例如，利用蓝牙(BluetoothTM)、射频识别(RFID：Radio Frequency Identification)、红外线数据协会(Infrared Data Association；IrDA)、超宽带(UWB：Ultra Wideband)、紫蜂(ZigBee)、近场通信(NFC：Near Field Communication)、无线保真(Wi-Fi：Wireless-Fidelity)、Wi-Fi直接(Wi-Fi Direct)、无线Wireless USB(Wireless Universal SerialBus：无线通用串行总线)等技术中的至少一种来支持近距离通信。
并且，驾驶员辅助装置100可利用近距离通信方式与车辆内部的移动终端进行配对(paring)，利用移动终端的远距离无线通信模块与其他车辆510或服务器500等以无线方式进行数据交换。
接着，驾驶员辅助装置100可包括用于接收车辆的数据或向外部传送处理器170中被处理或生成的信号的接口130。详细而言，驾驶员辅助装置100可通过接口130接收其他车辆行驶信息、导航信息及传感器信息中的至少一种信息。
并且，驾驶员辅助装置100可通过接口130将用于运行车辆驾驶辅助功能的控制信号或驾驶员辅助装置100中生成的信息等发送给车辆的控制器770。
为此，接口130可通过有线通信或无线通信方式与车辆内部的控制器770、影音导航(Audio Video Navigation，AVN)装置400以及感测单元760中的至少一个执行数据通信。
详细而言，接口130可通过与控制器770、AVN装置400和/或额外的导航装置的数据通信来接收导航信息。
并且，接口130可从控制器770或感测单元760接收传感器信息。
其中，传感器信息可包含车辆方向信息、位置信息、车速信息、加速度信息、斜率信息、前进/倒车信息、燃料信息、与前后方车辆的距离信息、车辆与车线的距离信息以及转向灯信息之的一种以上的信息。
传感器信息可从航向传感器(heading sensor)、横摆传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/倒车传感器、车轮传感器(wheel sensor)、车辆速度传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、车门传感器等中获取。另外，定位模块可包括用于接收GPS信息的GPS模块。
此外，接口130可通过车辆的用户输入单元110接收用户输入。接口130可从车辆的输入单元接收用户输入，或是可经由控制器770接收用户输入。即，在输入单元在车辆自身内作为结构配置的情况下，可通过接口130接收用户输入。
并且，接口130可接收从服务器500获取的交通信息。服务器500可以是位于管制交通的交通管制所的服务器。例如，当通过车辆的通信单元120从服务器500接收交通信息时，接口130可从控制器770接收交通信息。
并且，接口130可接收从服务器500获取的交通信息。服务器500可以是位于管制交通的交通管制所的服务器。例如，当通过车辆的通信单元120从服务器500接收交通信息时，接口130可从控制器770接收交通信息。
接着，存储器140可存储用于处理器170的处理或控制的程序等用于驾驶员辅助装置100整体上的动作的多种数据。
存储器140可以存储与对象的参考速度相关的数据以及与车辆和对象之间的参考距离相关的数据，其作为用于在改变车道时显示警告消息的参考。
并且，存储器140可存储驾驶员辅助装置100中驱动的多个应用程序(applicationprogram或application)、用于驾驶员辅助装置100的动作的数据、命令语。这样的应用程序中的至少一部分可通过无线通信从外部服务器下载。并且，为了驾驶员辅助装置100的基本功能(例如，驾驶辅助信息引导功能)，这样的应用程序中的至少一部分可在出厂时即存在于驾驶员辅助装置100上。
此外，这样的应用程序可存储于存储器140，利用处理器170进行驱动并执行驾驶员辅助装置100的动作(或功能)。
另外，存储器140中可存储用于确认影像中包含的对象的数据。例如，存储器140中可存储用于在通过照相机160获取的车辆周边影像中检测出规定对象时，可利用规定算法确认所述对象为何者的数据。
例如，存储器140中可存储用于在通过照相机160获取的影像中包含有诸如车线、交通标识牌、二轮车、行人的规定的对象时，可利用规定算法确认所述对象为何者的数据。
这样的存储器140在硬件上可包括闪电存储器式(flash memory type)、硬盘式(hard disk type)、SSD式(Solid State Disk type)、SDD式(Silicon Disk Drive type)、多媒体卡微式(multimedia card micro type)、卡式存储器(例如SD或XD存储器等)、随机存取存储器(random access memory；RAM)、固态随机存取存储器(static random accessmemory，SRAM)、随机只读存储器(read-only memory；ROM)、电可擦写只读存储器(electrically erasable programmable read-only memory，EEPROM)、可编程只读存储器(programmable read-only memory，PROM)、磁存储器、磁盘及光盘中的至少一种类型的存储介质。
并且，驾驶员辅助装置100可与在因特网(internet)上执行存储器140的存储功能的网络存储(web storage)相关地进行动作。
接下来，监测单元可以获取关于车辆内部状态的信息。
监测单元感测到的信息可以包括面部识别信息、指纹信息、虹膜扫描信息、视网膜扫描信息、手几何信息和语音识别信息中的至少一种。监测单元(motoring unit)可以包括用于感测这种生物信息的其他传感器。
接着，驾驶员辅助装置100可还包括用于检测车辆周边对象的传感器部155。驾驶员辅助装置100可包括额外的传感器部155并检测周边对象，也可通过接口130接收车辆的感测单元760中获取的传感器信息。此外，如上所述获取的传感器信息可包含于车辆周边信息。
这样的传感器部155可包括用于检测位于车辆周边的对象的位置的距离传感器150和用于拍摄车辆周边并获取影像的照相机160中的至少一种。
首先，距离传感器150能够精确地检测对象离本车辆的位置、对象被分开的方向、分开距离或对象的移动方向等。这样的距离传感器150能够持续地测量与检测出的对象的位置，准确地检测出针对与本车辆的位置关系的变化。
这样的距离传感器150可检测位于车辆的前后左右中至少一处的区域的对象。为此，距离传感器150可配置在车辆的多种位置。
详细而言，参照图3，距离传感器150可配置在车辆的车身的前后左右及天花板中至少一处的位置。
这样的距离传感器150可包括激光雷达(lidar)传感器、激光(laser)传感器、超声波(ultrasonic waves)传感器及立体照相机(stereo camera)等多种测距传感器中的一种以上。
例如，距离传感器150是激光传感器，按照激光信号调制方法使用时间延迟方式(time-of-flight，TOF)和/或相位调制方式(phase-shift)等，能够准确地测量车辆和对象之间的位置关系。
另外，可通过处理器170对照相机160拍摄的影像进行分析，来获取关于对象的信息。
详细而言，驾驶员辅助装置100可利用照相机160拍摄车辆周边，处理器170对获取的车辆周边影像进行分析并检测出车辆周边对象，判断对象的属性并生成传感器信息.
其中，影像信息是对象的种类、对象显示的交通信号信息、对象与车辆之间的距离以及对象的位置中的至少一种信息，其可包含于传感器信息。
详细而言，处理器170可执行诸如从通过图像处理拍摄的影像检测对象、跟踪对象、测量与对象的距离、确认对象等对象分析，从而生成影像信息。
这样的照相机160可设置于多种位置。
详细而言，照相机160可包括用于在车辆内部拍摄车辆的前方并获取前方影像的内侧照相机160f。
并且，参照图3，多个照相机160可分别配置在车辆的左侧、后方、右侧、前方及天花板中的一个以上的位置。
详细而言，左侧照相机160b可配置在围绕左侧侧镜的壳体内。或者，左侧照相机160b可配置在围绕左侧侧镜的壳体外部。或者，左侧照相机160b可配置在左侧前门、左侧后门或左侧挡泥板(fender)外侧一区域。
右侧照相机160c可配置在围绕右侧侧镜的壳体内。或者，右侧照相机160c可配置在围绕右侧侧镜的壳体外部。或者，右侧照相机160c可配置在右侧前门、右侧后门或右侧挡泥板(fender)外侧一区域。
并且，后方照相机160d可配置在后方车牌板或后备箱开关附近。前方照相机160a可配置在标徽附近或散热器格栅(radiator grill)附近。
另外，处理器170可提供将从四处拍摄的影像进行合成并从顶部看去车辆的环视图像。当生成环视图像时，各图像区域之间产生边界部分。这样的边界部分可利用图像融合(blending)处理来自然地进行显示。
并且，天花板照相机160e配置在车辆的天花板上，能够拍摄车辆的前后左右的所有方向。
这样的照相机160可直接包括图像传感器和影像处理模块。照相机160可对利用图像传感器(例如，CMOS或CCD)获取的静态影像或动态影像进行处理。并且，影像处理模块可对通过图像传感器获取的静态影像或动态影像进行加工，提取所需的影像信息，并将提取出的影像信息传送给处理器170。
为使处理器170更容易地执行对象分析，在本实施例中，照相机160可以是拍摄影像的同时测量与对象的距离的立体照相机。
传感器部155可以是距离传感器150和照相机160相结合的立体照相机。即，立体照相机可获取影像的同时检测与对象的位置关系。
以下，参照图4至图6对立体照相机和处理器170利用立体照相机检测影像信息的方法进行更加详细的说明。
首先，参照图4，立体照相机160可包括：具有第一镜头163a的第一照相机160a、具有第二镜头163b的第二照相机160b。
另外，车辆驾驶辅助装置100可分别包括用于遮蔽第一镜头163a和第二镜头163b中入射的光的第一遮光部162a(light shield)、第二遮光部162b。
驾驶员辅助装置100可以从第一和第二照相机160a和160b获取车辆附近的立体影像，基于立体影像检测视差，从至少一个立体影像检测对象，并在对象检测后连续跟踪对象的移动。
参照图5，作为处理器170的内部框图的一例，驾驶员辅助装置100内的处理器170可包括：影像预处理部410、视差计算部420、对象感测单元434、对象跟踪单元440及应用单元450。在图5和以下说明这，以按影像预处理部410、视差计算部420、对象感测单元434、对象跟踪单元440及应用单元450的顺序处理影像为例进行说明，但是本发明并不限定于此。
影像预处理部410(image preprocessor)可接收来自照相机160的图像并执行预处理(preprocessing)。
具体而言，影像预处理部410可执行针对图像的降噪(noise reduction)、纠正(rectification)、校准(calibration)、色彩增强(color enhancement)、色彩空间转换(color space conversion；CSC)、内插(interpolation)、照相机增益控制(camera gaincontrol)等。由此，能够获取相比照相机160中拍摄的立体图像更加清晰的图像。
视差计算部420(disparity calculator)接收影像预处理部410中进行信号处理的图像，针对接收的图像执行立体匹配(stereo matching)，能够获取基于立体匹配的视差图(disparity map)。即，能够获取关于车辆前方的立体图像的视差信息。
此时，可按立体图像的像素单位或规定块单位执行立体匹配。另外，视差图可表示用数值示出立体图像，即，左、右图像的视差(时差)信息(binocular parallaxinformation)的地图。
分割单元432(segmentation unit)可基于来自视差计算部420的视差信息，对图像中的至少一个执行分割(segment)及群集(clustering)。
具体而言，分割单元432可基于视差信息对立体图像中的至少一个分离出背景(background)和前景(foreground)。
例如，可将视差图内的视差信息为规定值以下的区域计算为背景，并除去相应部分。由此，能够相对地分离出前景。作为另一例，可将视差图内的视差信息为规定值以上的区域计算为前景，并提取出相应部分。由此，能够分离出前景。
如上所述，以基于立体图像提取出的视差信息为基础分离出前景和背景，从而在随后的对象检测时，能够缩短信号处理速度、信号处理量等。
接着，对象感测单元434(object detector)可基于来自分割单元432的图像分割而进行对象检测。
即，对象感测单元434可基于视差信息对图像中的至少一个进行对象检测。
具体而言，对象感测单元434可对图像中的至少一个进行对象检测。例如，可从基于图像分割分离出的前景中检测对象。
接着，对象确认单元436(object verification unit)可对分离出的对象进行分类(classify)并确认(verify)。
为此，对象确认单元436可使用基于神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、基于利用Haar-like特征的AdaBoost的方法，或是梯度向量直方图(Histograms of Oriented Gradients，HOG)方法等。
另外，对象确认单元436可将存储器140中存储的对象和检测出的对象进行比较，从而确认出对象。
例如，对象确认单元436可确认出位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等。
对象跟踪单元440(object tracking unit)可执行针对确认出的对象的跟踪。例如，依次地确认获取的立体图像内的对象，对确认出的对象的移动或移动向量进行计算，并可基于计算出的移动或移动向量而跟踪相应对象的移动等。由此，能够对位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等进行跟踪。
接着，应用单元450可基于位于车辆周边的多种对象，例如其他车辆、车线、道路面、标识牌等，计算出车辆700的危险度等。并且，可计算出与前车的撞车可能性、车辆打滑与否等。
此外，应用单元450可基于计算出的危险度、撞车可能性或打滑与否等，向用户输出用于提示这样的信息的作为车辆驾驶辅助信息的消息等。或者，也可生成用于车辆700的姿势控制或行驶控制的作为车辆控制信息的控制信号。
另外，影像预处理部410、视差计算部420、分隔部432、对象感测单元434、对象确认单元436、对象跟踪单元440及应用单元450可以是处理器170内的影像处理部的内部结构。
另外，根据实施例，处理器170可仅包括影像预处理部410、视差计算部420、分割单元432、对象感测单元434、对象确认单元436、对象跟踪单元440及应用单元450中的一部分。假设照相机160由单色照相机160或环视照相机160构成的情况下，可以省去视差计算部420。并且，根据实施例，分割单元432可被排除在外。
参照图6，在第一帧区间期间，立体照相机160可获取立体图像。
处理器170内的视差计算部420接收影像预处理部410中被信号处理的立体图像FR1a、FR1b，对接收的立体图像FR1a、FR1b执行立体匹配，从而获取视差图520(disparitymap)。
之间的视差进行了等级化，视差等级越高，可计算为与车辆的距离越近，而视差等级越小，则计算为与车辆的距离越远。
另外，当显示这样的视差图时，可显示为视差等级越大时具有越高的亮度，视差等级越小时具有越低的亮度。
在附图中例示出，在视差图520内，第一车线至第四车线528a、528b、528c、528d等分别具有相应的视差等级，施工区域522、第一前方车辆524、第二前方车辆526分别具有相应的视差等级。
分割单元432、对象感测单元434、对象确认单元436基于视差图520执行针对立体图像FR1a、FR1b中的至少一个的分割、对象检测及对象确认。
在附图中例示出，使用视差图520执行针对第二立体图像FR1b的对象检测及确认。
即，在图像530内，可执行针对第一车线至第四车线538a、538b、538c、538d、施工区域532、第一前方车辆534、第二前方车辆536的对象检测及确认。
利用如上所述的图像处理，驾驶员辅助装置100可利用传感器部155获取周边对象为何物、位于何处等多种车辆周边信息作为传感器信息。
接着，驾驶员辅助装置100可还包括用于显示关于车辆驾驶辅助功能的图形图像的显示单元180。
显示单元180可以显示驾驶引导视频。另选地，显示单元180可以显示顶视视频。另选地，显示单元180可以显示驾驶引导视频和顶视视频。
显示单元180可以包括多个显示器。
详细而言，显示单元180可包括用于在车辆的风挡W(windshield)投射图形图像并显示指示器的第一显示单元180a。即，第一显示单元180a为平视显示器(Head Up Display，HUD)，其可包括用于向风挡W投射图形图像并显示指示器的投射模块。这样的投射图形图像可具有一定透明度。因此，用户能够同时看到图形图像后方情形和图形图像。
此外，这样的图形图像可与风挡W上投影的投影图像叠加并构成增强现实(Augmented Reality，AR)。
另外，显示单元可包括额外地设置于车辆内部并显示指示器的第二显示单元180b。
详细而言，第二显示单元180b可以是车辆导航装置的显示器或车辆内部前面的仪表板(cluster)。
并且，第二显示单元180b可包括液晶显示器(liquid crystal display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT LCD)、有机发光二极管(organic light-emitting diode，OLED)、柔性显示器(flexible display)、3D显示器(3D display)、电子墨水显示器(e-ink display)中的至少一种。这样的第二显示单元180b可与手势输入单元相结合并构成触摸屏。
第二显示器180b可以与手势输入单元组合以实现触摸屏。
接着，音频输出单元185可以音频方式输出关于驾驶员辅助装置100的功能的说明、确认运行与否等的消息。即，驾驶员辅助装置100可通过显示单元180以视觉方式进行显示的同时，还可通过音频输出单元185的音响输出来相互补充关于驾驶员辅助装置100的功能的说明。
接着，触觉输出单元183可以触觉方式输出关于车辆驾驶辅助功能的警报(alarm)。例如，当在导航信息、交通信息、通信信息、车辆状态信息、驾驶辅助功能ADAS信息及其他驾驶者便利信息中的至少一种信息中包含有对驾驶者的警告时，驾驶员辅助装置100可以震动方式将其提示给用户。
这样的触觉输出单元183可提供具有方向性的震动。例如，触觉输出单元183可配置在用于控制转向的转向器并输出震动，在提供震动时，通过区分转向器的左右并输出震动，从而能够赋予触觉输出的方向性。
并且，电源190可利用处理器170的控制被施加外部的电源、内部的电源，并供给各结构元件的动作所需的电源。
最后，驾驶员辅助装置100可包括用于控制驾驶员辅助装置100内的各单元的整体上的动作的处理器170。
并且，处理器170为了驱动应用程序，可控制与图3一同描述的结构元件中的至少一部分。进一步，处理器170为了驱动所述应用程序，可将驾驶员辅助装置100中包括的结构元件中的两种以上相互组合并进行动作。
这样的处理器170在硬件上可利用专用集成电路(application specificintegrated circuits，ASICs)、数字信号处理器(digital signal processors，DSPs)、数字信号处理设备(digital signal processing devices，DSPDs)、可编程逻辑设备(programmable logic devices，PLDs)、现场可编程门阵列(field programmable gatearrays，FPGAs)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(microprocessors)、用于执行其他功能的电性单元中的至少一种来实现。
此外，这样的处理器170可受到控制器的控制，或是通过控制器来控制车辆的多种功能。
此外，处理器170除了与所述存储器140中存储的应用程序相关的动作以外，通常还控制驾驶员辅助装置100的整体上的动作。处理器170可对通过以上所述的结构元件输入或输出的信号、数据、信息等进行处理，或是驱动存储器140中存储的应用程序，从而向用户提供或处理适当的信息或功能。
接下来，将参照图8描述通过根据本发明实施例的驾驶员辅助装置提供驾驶引导视频的方法。
图8是示出通过根据本发明的实施例的驾驶员辅助装置提供驾驶引导影像的方法的流程图。
多个照相机160可以拍摄车辆附近的一个或多个视频(S101)。
驾驶员辅助装置100可以包括多个照相机160。例如，驾驶员辅助装置100可包括两个或三个照相机160。然而，这仅是示例，并且本发明不限于此。由于驾驶员辅助装置100包括多个照相机160，所以驾驶员辅助装置100可以提供更详细的视频。另外，驾驶员辅助装置100中所包括的多个照相机160可以定位为彼此相邻或彼此间隔开。驾驶员辅助装置100的照相机160的位置类型可以改变。
接下来，将参照图9至图12描述根据本发明实施例的驾驶员辅助装置100中包括的多个照相机160的位置。
图9是示出根据本发明第一实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
根据本发明的第一实施例，驾驶员辅助装置100可包括三个照相机160。具体地，根据本发明第一实施例的驾驶员辅助装置100可包括第一照相机、第二照相机和第三照相机。根据本发明的第一实施例，驾驶员辅助装置100的第一照相机、第二照相机和第三照相机可以位于车辆700的右前区域901、左前区域902和后部中央区域903中。
在这种情况下，第一照相机的广角可以等于第二照相机的广角。另外，第三照相机的广角可以大于第一照相机或第二照相机的广角。
图10是示出根据本发明第二实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
根据本发明的第二实施例，类似于图9中所示的驾驶员辅助装置100，驾驶员辅助装置100可包括第一照相机、第二照相机和第三照相机。根据本发明的第二实施例，驾驶员辅助装置100的第一照相机、第二照相机和第三照相机可以位于车辆700的右前区域901、左前区域902和前中心区域904中。
根据本发明第二实施例的驾驶员辅助装置100拍摄的视频可以类似于根据第一实施例的驾驶员辅助装置100拍摄的视频。可以根据车辆700的设计或照相机160的广角来选择根据第一实施例或第二实施例的多个照相机的位置。
图11是示出根据本发明第三实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
根据本发明的第三实施例，驾驶员辅助装置100可包括两个照相机160。例如，根据本发明第三实施例的驾驶员辅助装置100可包括第一照相机和第二照相机。根据本发明的第三实施例，驾驶员辅助装置100的第一照相机和第二照相机可以分别位于车辆700的右后区域903a和左后区域903b中。
在这种情况下，优点在于照相机不需要位于车辆的侧面上。
图12是示出根据本发明第四实施例的驾驶员辅助装置中包括的多个照相机的位置的图。
根据本发明的第四实施例，驾驶员辅助装置100可包括四个照相机160。例如，根据本发明第四实施例的驾驶员辅助装置100可包括第一照相机、第二照相机、第三照相机和第四照相机。根据本发明的第四实施例，驾驶员辅助装置100的第一照相机、第二照相机、第三照相机和第四照相机可以分别位于车辆700的右前区域901、左前区域902、右后区域903a和左后区域903b中。
在这种情况下，与根据第一至第三实施例的驾驶员辅助装置相比，可以提供更详细的驾驶引导视频。
由于通过图9至图12描述的多个照相机的位置仅仅是示例，所以照相机的数量和位置不限于此，也是合理的。
通过图9至图12描述的多个照相机各个可拍摄其附近的视频。例如，位于右前区域901中的照相机160可以拍摄包括接近车辆700右侧的对象的视频。以相同的方式，位于左前区域902中的照相机160可以拍摄包括接近车辆700左侧的对象的视频。位于后部中央区域903和前部中央区域904的照相机160可以主要拍摄包括位于车辆700后方的对象的视频。当两个照相机160分别位于车辆700的右后区域903a和左后区域903b中时，可以更详细和准确地拍摄包括位于车辆700后方的对象的视频。如上所述，由位于车辆700的各个区域中的照相机160所拍摄的视频可以表示车辆附近的视频。
接下来，将参照图13A至图13C描述根据本发明实施例的由在驾驶员辅助装置100中提供的多个照相机160拍摄的车辆附近的视频。
图13A至图13C是根据本发明实施例的由驾驶员辅助装置中提供的多个照相机拍摄的车辆附近的视频的示例图。
具体而言，图13A可以是在车辆700的右前区域901中拍摄的车辆附近的视频的示例。图13B可以是在车辆700的后部中央区域903中拍摄的车辆附近的视频的示例。图13C可以是在车辆700的左前区域902中拍摄的车辆附近的视频的示例。
再次，描述图8。
处理器170可以从车辆附近的拍摄视频中获取对应于拼接区的图像(S103)。
拼接区可以表示当合成多个视频时视频的交叠区域。根据本发明的实施例的驾驶员辅助装置100可以固定拼接区。例如，处理器170可以将由位于右前区域901中的照相机拍摄的车辆附近的视频和由位于后部中央区域903的照相机拍摄的车辆附近的视频的交叠区域设置为第一拼接区。以相同的方式，处理器170可以将由位于左前区域902中的照相机拍摄的车辆附近的视频和由位于后部中央区域903中的照相机拍摄的车辆附近的视频的交叠区域设置为第二拼接区。因此，处理器170可以基于所设置的拼接区从车辆附近的视频获取对应于拼接区的图像。
接下来，将参照图14描述通过根据本发明实施例的驾驶员辅助装置100从车辆附近的视频获取对应于拼接区的影像的方法。
图14是用于描述通过根据本发明实施例的驾驶员辅助装置从车辆附近的视频获取对应于拼接区的影像的方法的示例图。
如图14中所示，处理器170可以将由位于后部中央区域903中的照相机160拍摄的车辆附近的视频1400的第一区域1401和第二区域1402设置为拼接区。因此，尽管由位于后部中央区域903中的照相机160拍摄的视频改变，处理器170也可以将第一区域1401和第二区域1402识别为拼接区。处理器170可以获取由位于后部中央区域903中的照相机160拍摄的视频1400中的第一区域1401的影像和第二区域1402的影像，作为对应于拼接区的影像。第一区域1401和第二区域1402是示例，并且拼接区可以对应于视频的其他部分。处理器170可以基于多个照相机各自的广角和由多个照相机各自拍摄的视频的分析结果来设置拼接区。
再次，描述图8。
处理器170可以获取对应于拼接区的影像中所包括的对象的边缘(S105)。
首先，处理器170可以检测对应于与拼接区的影像中所包括的所获取的对象。在图14的示例中，处理器170已获取第一区域1401的影像和第二区域1402的影像作为对应于拼接区的影像。处理器170可以检测第一区域1401的影像中所包括的对象和第二区域1402的影像中所包括的对象。
根据本发明的实施例的对象可以包括汽车、摩托车、自行车和人，但这些仅仅是示例。另外，根据本发明的实施例的对象可以包括汽车、摩托车、自行车或人的局部影像。因此，处理器170可以仅利用其局部影像而不是其整个影像来检测对象。也就是说，可以仅利用其局部影像而不是其整个影像来检测相应影像。
根据本发明的实施例，处理器170可以通过使用将视频中包括的局部影像与存储器140中包括的各对象的影像进行比较的方法来检测对象。例如，可以将视频中的局部影像与存储器140中包括的汽车的影像进行比较，并且当检测出视频中的局部影像与汽车的局部影像匹配作为比较结果时，可以识别出局部影像中包括汽车。
另选地，可以通过视频中包括的对象的大小或速度来检测对象是什么。例如，当对象的大小等于或大于一定标准时，可以将对象检测为公共汽车，当对象的大小小于一定标准时，可以将对象检测为摩托车，并且当对象的尺寸对应于其他尺寸时，对象可以被检测为汽车。另选地，对象的速度等于或大于一定标准，对象可被检测为汽车，并且当对象的速度小于一定标准时，对象可被确定为自行车。另外，可以通过现有技术执行检测对象的方法。
接下来，将参照图15描述通过根据本发明实施例的驾驶员辅助装置100获取对应于拼接区的影像中所包括的对象的边缘的操作。
图15是用于描述通过根据本发明实施例的驾驶员辅助装置获取对应地拼接区的影像中所包括的对象的边缘的操作的图。
处理器170可以检测第一区域1401的影像中的汽车和第二区域1402的影像中的汽车，第一区域1401的影像和第二区域1402的影像是对应于拼接区的影像。
处理器170可以提取检测到的对象的边缘。检测到的对象包括对象的整个影像和局部影像。具体地，处理器170可以提取在第一区域1401的影像中检测到的汽车的第一边缘1501和在第二区域1402的影像中检测到的汽车的第二边缘1502。
根据本发明的实施例，处理器170可以通过使用凯尼(Canny)边缘提取法来获取对象的边缘。根据凯尼边缘提取法，处理器170可以通过模糊视频来去除噪声，通过使用掩模边缘来检测边缘，去除非最大值，通过使用双阈值来区分尺寸以连接边缘，以及获取对象的边缘。
根据本发明的另一实施例，处理器170可以通过使用在对象的边缘区域中亮度变化率高的事实来获取边缘。具体地，可以通过相对于构成视频的各个像素选择相邻像素之间的差的操作来获取对象。由于上述边缘提取法仅是示例，因此可以通过现有技术提取对象。
再次，描述图8。
除了对应于拼接区的影像之外，处理器170可以将车辆附近的视频合成为一个视频(S107)。
处理器170可以将由多个照相机160拍摄的视频合成为一个视频。例如，处理器170可以将车辆附近的视频，即图13A的视频、图13B的视频以及图13C的视频合成为一个视频。此时，处理器170可以将车辆附近除了作为对应于拼接区的影像的对应于第一区域1401的影像和对应于第二区域1402的影像之外的视频合成为一个视频。这是为了去除车辆附近的视频的交叠部分。
图16是根据本发明实施例的通过将车辆附近除了对应于拼接区的影像之外的视频合成为一个视频而获得的视频的示例图。
当去除对应于拼接区的影像时，在图16所示的合成视频1600中可以存在视频剪切区域1601和1602。
再次，描述图8。
处理器170可以将合成视频1600以及所获取的对象的第一边缘1501和第二边缘1502一起显示(S109)。
为了解决操作S107中能够存在于合成视频1600中的视频剪切区域1601和1602中的限制，处理器170可以将合成视频和对象的边缘一起显示。
图17是用于描述根据本发明实施例的驾驶员辅助装置将合成视频和对象的边缘一起显示的状态的图。
显示单元180可以合成并显示合成视频1600和对象的边缘1701和1702。处理器170可以在与合成视频1600中对应于拼接区的部分中显示对象的边缘1701和1702。另选地，处理器170可以检测合成视频1600中与对象的各边缘1701和1702的形状匹配的对象，并且可以在对应部分中显示对象的边缘1701和1702。另外，当处理器170合成并显示合成视频1600和对象的边缘1701和1702时，处理器170还可以在对象的边缘1701和1702内显示影像。例如，当处理器170提取对象的边缘时，处理器170可以与对象的边缘1701和1702一起提取对象边缘内的影像。处理器170可以通过在合成视频1600中一起显示对象的边缘(未示出)内的影像以及边缘1701和1702，来生成更自然的视频。
当驾驶员辅助装置通过上述方法提供驾驶引导视频时，可以固定视频的拼接区。当视频的拼接区连续移动时，对象的移动可能变得不自然。另外，当视频的拼接区突然移动时，可以防止驾驶员专注于驾驶。因此，优点在于通过如本发明中那样固定拼接区可以解决上述限制。为了描述这样的优点，将参照图18至图22通过例示其他视频来再次描述通过图13至图17已描述的合成视频生成方法。
图18A至18C是根据本发明实施例的由驾驶员辅助装置中包括的多个照相机拍摄的车辆附近的视频的其他示例图。
特别地，图18A至图18C中的车辆附近的视频可以是在拍摄图13A至图13C的视频之后经过一定时间拍摄的视频。
因此，图18A的视频可以是在拍摄13A的视频后经过一定时间拍摄的视频，图18B的视频可以是在拍摄13B的视频后经过一定时间拍摄的视频，而图18C可以是在拍摄13C的视频后经过一定时间拍摄的视频。
图19是用于描述通过根据本发明的实施例的驾驶员辅助装置从车辆附近的视频获取对应于拼接区的影像的方法的另一示例图。
如图19中所示，处理器170可以获取由位于后部中央区域903中的照相机160拍摄的车辆附近的视频1900中的第一区域1901的影像和第二区域1902的影像作为对应于拼接区的影像。
图20是用于描述通过根据本发明实施例的驾驶员辅助装置获取在对应于拼接区的影像中所包括的对象的边缘的操作的另一示例图。
处理器170可以检测到在第一区域1901中存在汽车的两个局部影像，而在第二区域1902中预设有汽车的一个局部影像。如图20所示，处理器170可以获取第一区域1901的影像中的第一边缘2001和第二边缘2002以及第二区域1902的影像中的第三边缘2003。
图21是根据本发明实施例的通过将车辆附近除了对应于拼接区的影像之外的视频合成为一个视频而获得的视频的另一示例图。
具体地，处理器170可以连接图18A的视频、除了对应于拼接区1901和1902的影像之外的视频和图18C的视频，以将连接的视频合成为一个视频。通过将连接的视频合成为一个视频而获得的视频可以是如图21所示的视频。如图21所示的合成视频2100可包括视频剪切区域2101和2102。
图22是用于描述根据本发明实施例的驾驶员辅助装置将合成视频和对象边缘一起显示的状态的另一示例图。
为了解决视频剪切区域中的限制，处理器170可以对合成视频2100和对象的边缘2201、2202和2203进行交叠并显示，如图22所示。
因此，当图22中所示的视频与图17中所示的视频进行比较时，可以确认视频的拼接区是固定的。因此，根据本发明，可以提供对象自然移动的视频，从而允许用户专注于驾驶。
接下来，将参照图23A至图27B描述在拼接区移动的情况下的驱动引导视频。
图23A至图23C是示出根据本发明的实施例的获取车辆附近的视频的交叠区域的操作的图。
图23A至图23C中所示的视频与图13A至图13C中所示的车辆附近的视频相同。处理器170可以通过比较车辆附近的视频来获取交叠区域。具体地，处理器170可以获取第(1-a)交叠区域2301、第(1-b)交叠区域2302、第(2-a)交叠区域2303和第(2-b)交叠区域2304作为视频的交叠区域。此时，第(1-a)交叠区域2301和第(1-b)交叠区域2302可以表示在拍摄的视频中彼此交叠的部分。类似地，第(2-a)交叠区域2303和第(2-b)交叠区域2304可以表示在拍摄的视频中彼此交叠的部分。
图24是通过交叠和合成所获取的交叠区域而获取的视频的示例图。
具体地说，如图24所示中的合成视频2400可以包括第一拼接区2401和第二拼接区2402。第一拼接区2401可以是与第(1-a)交叠区域2301和第(1-b)交叠区域2302相对应的区域。第二拼接区域2402可以是与第(2-a)交叠区域2303和第(2-b)交叠区域2304对应的区域。
接下来，图25A至图25C中所示的视频与图18A至图18C中所示的车辆附近的视频相同。处理器170可以通过比较车辆附近的视频来获取交叠区域。具体地，处理器170可以获取第(1-a)交叠区域2501、第(1-b)交叠区域2502、第(2-a)交叠区域2503和第(2-b)交叠区域2504作为视频的交叠区域。此时，第(1-a)交叠区域2501和第(1-b)交叠区域2502可以表示在拍摄的视频中彼此交叠的部分。类似地，第(2-a)交叠区域2503和第(2-b)交叠区域2504可以表示在拍摄的视频中彼此交叠的部分。
图26是通过交叠和合成所获取的交叠区域而获取的视频的另一示例图。
具体地说，如图26所示的合成视频2600可以包括第一拼接区2601和第二拼接区2602。第一拼接区2601可以是与第(1-a)交叠区域2501和第(1-b)交叠区域2502相对应的区域。第二拼接区域2602可以是与第(2-a)交叠区域2503和第(2-b)交叠区域2504对应的区域。
图27A和图27B是示出在拼接区移动之前和之后的驱动引导视频之间的比较的图。特别地，图27A可以是图24中所示的合成视频2400，而图27B可以是图26所示的合成视频2600。图27B的视频可以是在图27A的视频拍摄后经过一定时间拍摄的视频。图27A的拼接区2401和2402的尺寸或位置可以与图27B的拼接区2601和2602的尺寸或位置不同。因此，通过这种方法提供驾驶引导视频，拼接区可以实时改变。因此，视频的移动可能是不自然的。这可能导致驾驶员无法专心驾驶。
再次，描述图8。
驾驶员辅助装置100通过使用车辆附近的视频可以提供从上方观看的车辆附近的情况的顶视视频。具体地，根据本发明的实施例，在操作S109中显示单元180可以显示顶视视频。
处理器170可以获取车辆附近的视频的交叠区域中所包括的对象(S111)。
将参照图28描述车辆附近的视频的交叠区域中所包括的对象的含义。
图28是示出根据本发明的实施例的车辆附近的视频的交叠区域中所包括的对象的图。
例如，如图28所示，顶视视频可包括指示车辆700的车辆图标2801、以及指示位于车辆700附近的对象的第一对象图标2811、第二对象图标2812和第三对象图标2813。此时，位于右前区域901中的照相机160和位于后部中央区域903中的照相机160都可以拍摄包括第一交叠区域2822的视频。此外，位于左前区域902中的照相机160和位于后部中央区域903中的照相机160可以拍摄包括第二交叠区域2821的视频。如上所述，交叠区域可以表示由多个照相机双重拍摄的区域。此外，置于第一交叠区域2822中的第一对象图标2811和置于第二交叠区域2821中的第三对象图标2813可以表示置于交叠区域中的对象。
处理器170可以通过使用与检测视频的对象的方法相同的方法来获取车辆附近的视频的交叠区域中所包括的对象，检测视频的对象的方法是在操作S105中先前执行的以获取对象的边缘。
再次，描述图8。
处理器170可以基于与交叠区域中包括的所获取的对象有关的信息，来计算对象与车辆700之间的距离以及对象的速度(S113)。
交叠区域中所包括的对象可以由设置在驾驶员辅助装置100中的两个或多个不同的照相机160拍摄。处理器170可以通过使用两个或多个照相机所拍摄的两个或多个视频中相同对象的视差，来计算车辆700与对象之间的距离。这是利用了靠近车辆700的对象的视差大而远离车辆700的对象的视差小的特性的方法。通过现有技术执行详细的计算方法。
接下来，将描述对象速度的计算方法。处理器170可以通过使用具有时间差的两个或多个视频中相同对象与车辆700间隔开的距离来计算对象的相对速度。此外，处理器170可以通过将各对象的相对速度与车辆700的速度相加来计算各对象的速度。通过现有技术执行详细的计算方法。
处理器170可以通过使用计算出的距离和计算出的速度来生成顶视视频(S115)。
顶视视频可以是从上方观看到的车辆700附近的情况的视频。生成的顶视视频可以包括存在于车辆700附近的各对象的速度和距对象的距离。
显示单元180可以显示所生成的顶视视频(S117)。
接下来，将参照图29描述根据本发明实施例的通过显示单元180显示顶视视频的方法。
图29是示出根据示例性实施例的顶视视频的图。顶视视频可以包括指示车辆700的车辆图标2801和车辆700的速度。此外，顶视视频可以包括置于车辆700附近的对象图标2811至2813。针对位于车辆700附近的对象，顶视视频可以进一步包括各物体和车辆700之间的距离以及各对象的速度。在图29所示的顶视视频中，车辆图标2801指示车辆700的当前速度是60km/h，第一对象图标2811指示对象离车辆700的距离为70米以55km/h的速度接近车辆700的右后侧，第二对象图标2812指示对象离车辆700的距离为100米以60km/h的速度接近车辆700的后侧，而第三对象图标2813指示对象离车辆700的距离为75m以100km/h的速度接近车辆700的左后侧。
再次，描述图8。
当处理器170感测到顶视视频中包括的特定对象时(S119)，处理器170可以显示警告消息(S121)。
特定对象可包括人、摩托车、自行车等。可以预设特定对象。另选地，当处理器170接收到用于选择特定对象的命令时，处理器170可以单独设置作为待感测对象的特定对象。例如，在驾驶员辅助装置100中，用户可以输入用于仅将摩托车设置为特定对象的命令。处理器170可以根据用户输入接收命令并且仅将摩托车设置为特定对象。
当处理器170感测到被设置为特定对象的对象时，可以在顶视视频中显示警告消息。接下来，将参照图30描述显示警告消息的方法。
图30是示出根据本发明的实施例的当驾驶员辅助装置感测到特定对象时显示警告消息的方法的图。
当在操作S105或S111中检测到对象时，处理器170可以检测特定对象。处理器170可以检测所设置的特定对象。当处理器170感测到检测到特定对象时，显示单元180可以在顶视视频中显示警告消息。警告消息可以包括短语“周围有摩托车。安全驾驶”3001和对象图标3002中的至少一个。然而，这仅仅是示例，并且警告消息可以包括任何短语，只要该短语引起了用户的关注。
再次，描述图8。
当在顶视视频中未感测到特定对象时(S119)，处理器170可以感测车辆700的变道操作(S123)。
处理器170可以感测车辆700的变道操作。处理器170可以通过感测车辆700的车轮13FL和13RL的移动来感测车辆700的变道操作。另选地，处理器170可以通过感测在顶视图视频中车辆图标2801跨越车道来感测变道操作。
当处理器170感测到车辆的变道操作时(S123)，可以基于车辆与对象之间的距离和对象的速度显示通知消息(S125)。
将参照图31描述根据本发明的实施例的根据车辆的变道显示通知消息的方法。
图31是示出根据本发明的实施例的根据车辆的变道显示通知消息的方法的图。如图31所示，当处理器170感测到车辆700的变道操作时，处理器170可以通过考虑位于相应车道后方的对象的速度以及车辆和对象间的距离来控制显示单元180显示通知消息。具体地，存储器140可以存储对象的参考速度和参考距离，这是用于在变道时显示通知消息的参考。当变道时，处理器170可以获取位于变更车道后方的对象的速度和车辆与对象之间的距离，并将获取的速度和获取的距离与参考速度和参考距离进行比较。处理器170可以根据比较结果控制显示单元180显示或不显示通知消息。例如，存储器140可以存储关于对象的速度是100km/h或以上并且离对象的距离在50m内的情况的数据，这些是用于显示通知消息的参考。如图31所示，当处理器170获取位于车辆700将要切换到的车道后方的对象的速度为150km/h时，而对象与车辆700之间的距离为75米，对象的速度偏离参考速度。因此，可以显示通知消息。通知消息可以包括可以包括短语“后方车辆快速接近”3101的消息。当车辆要切换到的车道后方的对象的速度以及车辆和对象之间的距离分别在参考速度和参考距离内时，处理器170可以控制显示单元180显示通知短语“你可以变道”(未示出)。另选地，当车辆要切换到的车道后方的对象的速度和车辆与对象之间的距离分别包括在参考速度和参考距离内时，处理器170可以执行控制，使得不显示任何附加短语。
参照图32所示，上述驾驶员辅助装置100可以包括在车辆700中。
车辆700可包括：通信单元710、输入单元720、感测单元760、输出单元740、车辆驱动单元750、存储器730、接口780、控制器770、电源单元790、驾驶员辅助装置100以及AVN装置400。其中，驾驶员辅助装置100中包括的单元和车辆中记载的单元中具有相同的名称的单元以包括于车辆为例进行说明。
通信单元710可包括能够实现车辆和移动终端600之间、车辆700和外部服务器500之间或车辆和其他车辆510的无线通信的至少一个模块。并且，通信单元710可包括用于将车辆700与至少一个网络(network)相连接的至少一个模块。
通信单元710可包括广播接收模块711、无线网络模块712、近距离通信模块713、位置信息模块714及光通信模块715。
广播接收模块711通过广播信道从外部的广播管理服务器接收广播信号或与广播相关的信息。其中，广播包括电台广播或TV广播。
无线网络模块712指的是用于无线网络连接的模块，其可内置或外置于车辆。无线网络模块712在基于无线网络技术的通信网中进行无线信号收发。
无线网络技术例如有：无线局域网(Wireless LAN，WLAN)、无线高保真(Wireless-Fidelity，Wi-Fi)、无线高保真直连(Wi-Fi(Wireless Fidelity)Direct)、数字生活网络联盟(Digital Living Network Alliance，DLNA)、无线宽带(Wireless Broadband，WiBro)、全球微波接入互操作性(World Interoperability for Microwave Access，WiMAX)、高速下行链路分组接入(High Speed Downlink Packet Access，HSDPA)、高速上行链路分组接入(High Speed Uplink Packet Access，HSUPA)、长期演进(Long Term Evolution，LTE)、先进的长期演进(Long Term Evolution-Advanced，LTE-A)等，所述无线网络模块712基于还包括有以上未被罗列的网络技术的范围的至少一种无线网络技术进行数据收发。例如，无线网络模块712可以无线方式与外部服务器500进行数据交换。无线网络模块712可从外部服务器500接收天气信息、道路的交通状况信息(例如，传输协议专家组(TransportProtocol Expert Group，TPEG)信息)。
近距离通信模块713用于进行近距离通信(Short range communication)，可利用蓝牙(BluetoothTM)、无线射频(Radio Frequency Identification，RFID)、红外线通信(Infrared Data Association；IrDA)、超宽带(Ultra Wideband，UWB)、无线个域网(ZigBee)、近场通信(Near Field Communication，NFC)、无线高保真(Wireless-Fidelity，Wi-Fi)、无线高保真直连(Wi-Fi Direct)、无线通用串行总线(Wireless UniversalSerial Bus，Wireless USB)技术中的至少一种来支持近距离通信。
这样的近距离通信模块713可利用形成近距离无线通信网(Wireless AreaNetworks)来执行车辆700和至少一个外部设备之间的近距离通信。例如，近距离通信模块713可以无线方式与移动终端600进行数据交换。近距离通信模块713可从移动终端600接收天气信息、道路的交通状况信息(例如，传输协议专家组(Transport Protocol ExpertGroup，TPEG))。在用户乘坐车辆的情况下，用户的移动终端600和车辆可自动地或通过用户执行应用程序来执行彼此配对。
位置信息模块714是用于获取车辆700的位置的模块，作为其代表性的例有全球定位系统(Global Positioning System，GPS)模块。例如，当在车辆中使用GPS模块时，能够利用GPS卫星传送的信号获取车辆的位置。
光通信模块715可包括光发送部及光接收部。
光接收部可将光(light)信号转换为电信号以接收信息。光接收部可包括用于接收光的光电二极管(PD，Photo Diode)。光电二极管可将光转换为电信号。例如，光接收部可通过从前方车辆中包括的光源发出的光接收前方车辆的信息。
光发送部可包括至少一个用于将电信号转换为光信号的发光元件。其中，发光元件优选为发光二极管(Light Emitting Diode，LED)。光发送部将电信号转换为光信号并向外部发送。例如，光发送部可通过与规定频率对应的发光元件的闪烁来向外部发送光信号。根据实施例，光发送部可包括多个发光元件阵列。根据实施例，光发送部可与设置于车辆700的车灯一体化。例如，光发送部可以是前照灯、车尾灯、刹车灯、方向指示灯及示廓灯中的至少一种。例如，光通信模块715可通过光通信与其他车辆510进行数据交换。
输入单元720可包括：驾驶操作单元721、照相机195、麦克风723及用户输入单元724。
驾驶操作单元721接收用于驾驶车辆的用户输入。驾驶操作单元721可包括：转向输入构件721A、档位输入构件721D、加速输入构件721C、制动输入构件721B。
转向输入构件721A从用户接收车辆的行进方向输入。转向输入构件721A优选地以轮盘(wheel)形态形成，从而通过旋转可进行转向输入。根据实施例，转向输入构件721A可形成为触摸屏、触摸板或按键。
档位输入构件721D从用户接收车辆的驻车P、前进D、空档N、倒车R的输入。档位输入构件721D优选地以控制杆(lever)形态形成。根据实施例，档位输入构件721b可形成为触摸屏、触摸板或按键。
加速输入构件721C从用户接收用于车辆的加速的输入。制动输入构件721B从用户接收用于车辆的减速的输入。加速输入构件721C及制动输入构件721B优选地以踏板形态形成。根据实施例，加速输入构件721C或制动输入构件721B可形成为触摸屏、触摸板或按键。
照相机722可包括图像传感器和影像处理模块。照相机722可对利用图像传感器(例如，CMOS或CCD)获取的静态影像或动态影像进行处理。影像处理模块对通过图像传感器获取的静态影像或动态影像进行加工，提取出所需的信息，并可将提取出的信息传送给控制器770。另外，车辆可包括：照相机722，用于拍摄车辆前方影像或车辆周边影像；以及，监控部725，用于拍摄车辆内部影像。
监控部725可获取关于乘坐者的图像。监控部725可获取用于乘坐者的生物特征识别的图像。
另外，图32中示出监控部725和照相机722包括于输入单元720，但是也可如前所述的以照相机722包括于驾驶员辅助装置100的结构进行说明。
麦克风723可将外部的音响信号处理为电性数据。被处理的数据可根据车辆上执行中的功能以多种方式加以利用。麦克风723可将用户的语音指令转换为电性数据。被转换的电性数据可传送给控制器770。
另外，根据实施例，照相机722或麦克风723可以是包括于感测单元760的结构元件，而不是包括于输入单元720的结构元件。
用户输入单元724用于从用户输入信息。当通过用户输入单元724输入信息时，控制器770可与输入的信息对应地控制车辆700的动作。用户输入单元724可包括触摸式输入构件或机械式输入构件。根据实施例，用户输入单元724可配置在方向盘的一区域。在此情况下，驾驶者在把持方向盘的状态下，可利用手指操作用户输入单元724。
感测单元760用于检测与车辆的行驶等相关的信号。为此，感测单元760可包括碰撞传感器、车轮传感器(wheel sensor)、速度传感器、斜率传感器、重量检测传感器、航向传感器(heading sensor)横摆传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/倒车传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、雷达、激光雷达等。
由此，感测单元760能够获取与车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度等相关的检测信号。
另外，感测单元760可还包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、TDC传感器、曲轴转角传感器(CAS)等。
感测单元760可包括生物特征识别信息感测单元。生物特征识别信息感测单元检测并获取乘坐者的生物特征识别信息。生物特征识别信息可包含指纹识别(Fingerprint)信息、虹膜识别(Iris-scan)信息、网膜识别(Retina-scan)信息、手模样(Hand geo-metry)信息、脸部识别(Facial recognition)信息、语音识别(Voice recognition)信息。生物特征识别信息感测单元可包括用于检测乘坐者的生物特征识别信息的传感器。其中，监控部725及麦克风723可作为传感器进行动作。生物特征识别信息感测单元可通过监控部725获取手模样信息、脸部识别信息。
输出单元740用于输出控制器770中处理的信息，可包括：显示单元741、音响输出单元742及触觉输出单元743。
显示单元741可显示控制器770中处理的信息。例如，显示单元741可显示车辆相关信息。其中，车辆相关信息可包含：用于对车辆的直接控制的车辆控制信息、或者用于向车辆驾驶者提供驾驶向导的车辆驾驶辅助信息。并且，车辆相关信息可包含：用于提示当前车辆的状态的车辆状态信息或与车辆的运行相关的车辆运行信息。
显示单元741可包括液晶显示器(liquid crystal display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT LCD)、有机发光二极管(organic light-emitting diode、OLED)、柔性显示器(flexible display)、3D显示器(3Ddisplay)、电子墨水显示器(e-ink display)中的至少一种。
显示单元741可与触摸传感器构成相互层次结构或一体地形成，从而能够实现触摸屏。这样的触摸屏用作为提供车辆和用户之间的输入接口的用户输入单元724的同时，可还提供车辆和用户之间的输出接口。在此情况下，显示单元741可包括用于检测针对显示单元741的触摸的触摸传感器，以能够利用触摸方式输入控制指令。当通过这样的结构实现针对显示单元741的触摸时，触摸传感器检测出所述触摸操作，控制器770据此产生与所述触摸对应的控制指令。通过触摸方式输入的内容可以是文字或数字、或是各种模式下的指示或可指定的菜单项目等。
另外，显示单元741可包括仪表盘(cluster)，以使驾驶者在进行驾驶的同时能够确认车辆状态信息或车辆运行信息。仪表盘可位于前围板(dash board)上方。在此情况下，驾驶者可在视线保持于车辆前方的状态下，确认仪表盘上显示的信息。
另外，根据实施例，显示单元741可由平视显示器(Head Up Display，HUD)实现。在显示单元741由HUD实现的情况下，可通过设置于风挡的透明显示器输出信息。或者，显示单元741可设置有投射模块，以通过投射于风挡的图像来输出信息。
音响输出单元742将来自控制器770的电信号转换为音频信号进行输出。为此，音响输出单元742可设置有扬声器等。音响输出单元742可还输出与用户输入单元724动作对应的声音。
触觉输出单元743用于产生触觉性的输出。例如，触觉输出单元743可通过震动方向盘、安全带、座垫，能够使驾驶者感知到输出。
车辆驱动单元750可控制车辆各种装置的动作。车辆驱动单元750可包括：动力源驱动单元751、转向驱动单元752、制动器驱动单元753、车灯驱动单元754、空调驱动单元755、车窗驱动单元756、气囊驱动单元757、天窗驱动单元758及悬架驱动单元759。
动力源驱动单元751可执行针对车辆700内的动力源的电子式控制。
例如，在以基于化石燃料的引擎(未图示)作为动力源的情况下，动力源驱动单元751可执行针对引擎的电子式控制。由此，能够控制引擎的输出扭矩等。在动力源驱动单元751为引擎的情况下，根据控制器770的控制，通过限制引擎输出扭矩能够限制车辆的速度。
作为另一例，在以基于电的马达(未图示)作为动力源的情况下，动力源驱动单元751可执行针对马达的控制。由此，能够控制马达的转速、扭矩等。
转向驱动单元752可执行针对车辆700内的转向装置(steering apparatus)的电子式控制。由此，能够变更车辆的行进方向。
制动器驱动单元753可执行针对车辆内的制动装置(brake apparatus)(未图示)的电子式控制。例如，通过控制车轮上配置的制动器的动作，能够减小车辆的速度。作为另一例，通过改变左轮和右轮上各配置的制动器的动作，可将车辆的行进方向调整为左侧或右侧。
车灯驱动单元754可控制车辆内、外部配置的车灯的开启/关闭。并且，可控制车灯的亮度、方向等。例如，可执行针对方向灯、刹车灯等的控制。
空调驱动单元755可执行针对车辆内的空调装置(air conditioner)(未图示)的电子式控制。例如，在车辆内部的温度高的情况下，通过使空调装置进行动作，能够控制向车辆内部供给冷气。
车窗驱动单元756可执行针对车辆内的车窗装置(window apparatus)的电子式控制。例如，能够控制车辆的侧面的左、右车窗的开放或封闭。
气囊驱动单元757可执行针对车辆内的气囊装置(airbag apparatus)的电子式控制。例如，当发生危险时，能够控制气囊被弹出。
天窗驱动单元758可执行针对车辆内的天窗装置(sunroof apparatus)(未图示)的电子式控制。例如，能够控制天窗的开放或封闭。
悬架驱动单元759可执行针对车辆内的悬架装置(suspension apparatus)(未图示)的电子式控制。例如，在道路面曲折的情况下，通过控制悬架装置能够控制减小车辆的震动。
存储器730与控制器770进行电性连接。存储器730可存储与单元相关的基本数据、用于单元的动作控制的控制数据、输入输出的数据。存储器730在硬件上可以是ROM、RAM、EPROM、闪存盘、硬盘等多种存储装置。存储器730可存储用于控制器770的处理或控制的程序等、用于车辆700整体的动作的多种数据。
接口780可执行与和车辆相连接的多种外部装置的通道作用。例如，接口780可设置有可与移动终端600相连接的端口，通过所述端口能够与移动终端600进行连接。在此情况下，接口780可与移动终端600进行数据交换。
另外，接口780可执行向连接的移动终端600供给电能的通道作用。在移动终端600与接口780进行电性连接的情况下，根据控制器770的控制，接口780将电源单元790供给的电能提供给移动终端600。
控制器770可控制车辆内的各单元的整体上的动作。控制器770可命名为电子控制单元(Electronic Control Unit，ECU)。
这样的控制器770根据驾驶员辅助装置100的运行信号传送，可运行与所传送的信号对应的功能。
控制器770在硬件上可利用专用集成电路(application specific integratedcircuits，ASICs)、数字信号处理器(digital signal processors，DSPs)、数字信号处理设备(digital signal processing devices，DSPDs)、可编程逻辑设备(programmable logicdevices，PLDs)、现场可编程门阵列(field programmable gate arrays，FPGAs)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers),微处理器(microprocessors)、用于执行其他功能的电性单元中的至少一种来实现。
控制器770可代替前述的处理器170的作用。即，驾驶员辅助装置100的处理器170可直接设定于车辆的控制器770。在这样的实施例中，驾驶员辅助装置100可被理解为是将车辆的一部分结合相合成的指称。
或者，控制器770可控制结构以传送处理器170请求的信息。
电源单元790可基于控制器770的控制而供给各结构元件的动作所需的电源。特别是，电源单元790可接收从车辆内部的电池(未图示)等供给的电源。
AVN(Audio Video Navigation)装置400可与控制器770进行数据交换。控制器770可从AVN装置400或额外的导航装置(未图示)接收导航信息。其中，导航信息可包含所设定的目的地信息、与所述目的地对应的路径信息、与车辆行驶相关的地图(map)信息或车辆位置信息。
以上实施例中说明的特征、结构、效果等包含于本发明的至少一个实施例，而并非必须限定于一个实施例。进一步，本发明的实施例所属的领域的一般技术人员可对各实施例中例示出的特征、结构、效果等进行组合或变形，并在其他实施例中实施。因此，与这样的组合和变形相关的内容应当被理解为落入本发明的范围。
并且，以上以本发明的实施例为中心进行了说明，但这些实施例仅属于例示性，而并非意在限定本发明，在不背离本发明的实施例的本质特性的范围内，本发明所属的领域的一般技术人员能够实现以上未被例示出的多种变形和应用。例如，本发明的实施例中具体揭示的各结构元件可变形实施。此外，与这样的变形和应用相关的区别点应当被理解为落入所附的权利要求书中规定的本发明的范围。

Claims (9)

1.一种驾驶员辅助装置，所述驾驶员辅助装置包括：
第一照相机，所述第一照相机被配置为拍摄车辆附近的第一视频；
第二照相机，所述第二照相机被配置为拍摄所述车辆附近的第二视频；
第三照相机，所述第三照相机被配置为拍摄所述车辆附近的第三视频；
处理器，所述处理器被配置为：
提取包括在第一拼接区中的对象的第一边缘，其中，所述车辆附近的所述第一视频和所述车辆附近的所述第二视频在所述第一拼接区中连接，并且
提取包括在第二拼接区中的对象的第二边缘，其中，所述车辆附近的所述第二视频和所述车辆附近的所述第三视频在所述第二拼接区中连接；以及
显示单元，所述显示单元被配置为：
对第一边缘以及所述车辆附近的除了所述第一拼接区以外的所述第一视频和所述第二视频的合成视频进行交叠并显示，并且
对所述第一边缘、所述第二边缘以及所述车辆附近的除了所述第一拼接区和所述第二拼接区之外的所述第一视频至所述第三视频的合成视频进行交叠并显示，
其中，所述第一拼接区是包括在所述车辆附近的所述第一视频和所述第二视频中的固定区域，并且
所述第二拼接区是包括在所述车辆附近的所述第二视频和所述第三视频中的固定区域，并且
其中，所述处理器还被配置为感测包括在所述车辆附近的所述第一视频至所述第三视频中的特定对象，并且
所述显示单元还显示指示感测到所述特定对象的消息。
2.根据权利要求1所述的驾驶员辅助装置，其中，所述处理器计算包括在所述第一拼接区和所述第二拼接区中的对象的速度以及各个对象与所述车辆之间的距离。
3.根据权利要求2所述的驾驶员辅助装置，其中，所述显示单元还通过使用所计算的速度和所计算的距离来显示从上方观看到的所述车辆附近的顶视视频。
4.根据权利要求3所述的驾驶员辅助装置，其中，
所述特定对象包括汽车、摩托车、自行车和人中的至少一个。
5.根据权利要求3所述的驾驶员辅助装置，其中，所述处理器感测所述车辆的变道操作，并且
当感测到变道操作时，所述显示单元还基于所述车辆与各个对象之间的距离以及所述对象的速度来显示变道引导消息。
6.根据权利要求5所述的驾驶员辅助装置，其中，所述处理器通过所述车辆的车轮的运动来感测所述车辆的变道操作。
7.根据权利要求5所述的驾驶员辅助装置，其中，所述处理器通过包括在所述顶视视频中的车辆图标的移动来感测所述车辆的变道操作。
8.根据权利要求5所述的驾驶员辅助装置，其中，所述显示单元基于位于所述车辆要切换到的车道上的对象的速度以及所述车辆和所述对象之间的距离来显示变道引导消息。
9.根据权利要求1所述的驾驶员辅助装置，其中，所述第一照相机是位于所述车辆的右前侧的照相机，所述第二照相机是位于所述车辆的后部中央的照相机，并且所述第三照相机是位于所述车辆的左前侧的照相机。
CN201680087637.6A 2016-07-11 2016-10-13 驾驶员辅助装置及具有该装置的车辆 Active CN109476315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160087502A KR101844885B1 (ko) 2016-07-11 2016-07-11 차량 운전 보조장치 및 이를 포함하는 차량
KR10-2016-0087502 2016-07-11
PCT/KR2016/011445 WO2018012674A1 (en) 2016-07-11 2016-10-13 Driver assistance apparatus and vehicle having the same

Publications (2)

Publication Number Publication Date
CN109476315A CN109476315A (zh) 2019-03-15
CN109476315B true CN109476315B (zh) 2021-10-08

Family

ID=60953267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087637.6A Active CN109476315B (zh) 2016-07-11 2016-10-13 驾驶员辅助装置及具有该装置的车辆

Country Status (5)

Country Link
US (1) US10807533B2 (zh)
EP (1) EP3481692B1 (zh)
KR (1) KR101844885B1 (zh)
CN (1) CN109476315B (zh)
WO (1) WO2018012674A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056632A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR102528002B1 (ko) * 2016-08-17 2023-05-02 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
US11030468B2 (en) * 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
DE102016124747A1 (de) * 2016-12-19 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
US10606767B2 (en) * 2017-05-19 2020-03-31 Samsung Electronics Co., Ltd. Ethernet-attached SSD for automotive applications
US10870426B2 (en) * 2017-06-22 2020-12-22 Magna Electronics Inc. Driving assistance system with rear collision mitigation
KR20190049004A (ko) * 2017-11-01 2019-05-09 현대자동차주식회사 차량 및 그 제어방법.
US11351989B2 (en) 2018-04-11 2022-06-07 Hyundai Motor Company Vehicle driving controller, system including the same, and method thereof
US11597403B2 (en) 2018-04-11 2023-03-07 Hyundai Motor Company Apparatus for displaying driving state of vehicle, system including the same and method thereof
US10843710B2 (en) 2018-04-11 2020-11-24 Hyundai Motor Company Apparatus and method for providing notification of control authority transition in vehicle
US11077854B2 (en) 2018-04-11 2021-08-03 Hyundai Motor Company Apparatus for controlling lane change of vehicle, system having the same and method thereof
US11334067B2 (en) 2018-04-11 2022-05-17 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
EP3552902A1 (en) 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for providing a driving path to a vehicle
US11084490B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for controlling drive of vehicle
US11548509B2 (en) 2018-04-11 2023-01-10 Hyundai Motor Company Apparatus and method for controlling lane change in vehicle
EP3552901A3 (en) 2018-04-11 2020-04-29 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11084491B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11173910B2 (en) 2018-04-11 2021-11-16 Hyundai Motor Company Lane change controller for vehicle system including the same, and method thereof
EP3552913B1 (en) 2018-04-11 2021-08-18 Hyundai Motor Company Apparatus and method for controlling to enable autonomous system in vehicle
EP3569460B1 (en) 2018-04-11 2024-03-20 Hyundai Motor Company Apparatus and method for controlling driving in vehicle
CN108765284A (zh) * 2018-05-04 2018-11-06 哈尔滨理工大学 一种自动驾驶汽车车载无人机图像处理方法和装置
WO2020079927A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、プログラム及び情報処理方法
KR20200095408A (ko) * 2019-01-31 2020-08-10 한국전자통신연구원 이머시브 비디오 포맷팅 방법 및 장치
US11158056B2 (en) * 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
KR20210005428A (ko) * 2019-07-05 2021-01-14 현대모비스 주식회사 차량 주행 정보 표시 시스템 및 방법
CN110435541A (zh) * 2019-08-05 2019-11-12 西藏宁算科技集团有限公司 一种基于视觉识别和测距的车辆变道预警方法和系统
KR102208418B1 (ko) * 2019-08-12 2021-01-27 엘지전자 주식회사 공유차량의 생체인식 장치 및 방법
JP7206010B2 (ja) * 2019-09-19 2023-01-17 株式会社 ミックウェア 制御装置
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching
KR102219339B1 (ko) * 2019-10-01 2021-02-24 주식회사대성엘텍 운전 보조 장치 및 이를 이용한 운전 보조 방법
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
MX2022007039A (es) * 2019-12-10 2022-06-23 Nissan Motor Metodo de control de conduccion y dispositivo de control de conduccion.
JP2021103481A (ja) * 2019-12-25 2021-07-15 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
KR102479795B1 (ko) * 2021-03-22 2022-12-22 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
WO2022203340A1 (ko) * 2021-03-22 2022-09-29 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
KR102506812B1 (ko) * 2021-08-27 2023-03-07 김배훈 자율 주행용 차량

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232936A (ja) * 1997-02-19 1998-09-02 Omron Corp 物体認識方法およびその装置
CN102729824A (zh) * 2011-03-31 2012-10-17 本田技研工业株式会社 图像处理判定装置
WO2014035148A1 (en) * 2012-08-31 2014-03-06 Samsung Electronics Co., Ltd. Information providing method and information providing vehicle therefor
US20140074356A1 (en) * 2011-05-20 2014-03-13 Honda Motor Co., Ltd. Lane change assist system
CN105205785A (zh) * 2015-10-09 2015-12-30 济南东朔微电子有限公司 一种可定位的大型车辆运行管理系统及其运行方法
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US10144353B2 (en) * 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
JP4969269B2 (ja) 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
TWI361396B (en) * 2008-01-18 2012-04-01 Univ Nat Chiao Tung Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
EP2482557B1 (en) * 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device
JP2012138876A (ja) 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
KR20140106927A (ko) * 2013-02-27 2014-09-04 한국전자통신연구원 파노라마 생성 장치 및 방법
US9508014B2 (en) * 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
JP6349637B2 (ja) 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
KR102153030B1 (ko) * 2013-11-05 2020-09-07 현대모비스 주식회사 주차 지원 장치 및 방법
US9898670B2 (en) * 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR102329444B1 (ko) * 2014-07-04 2021-11-24 주식회사 만도모빌리티솔루션즈 자동차의 제어 시스템 및 제어방법
US9563953B2 (en) * 2014-08-28 2017-02-07 Qualcomm Incorporated Systems and methods for determining a seam
US10627813B2 (en) * 2015-04-21 2020-04-21 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
JP6506625B2 (ja) * 2015-05-29 2019-04-24 株式会社デンソー 運転支援装置及び運転支援方法
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
JP6397801B2 (ja) * 2015-06-30 2018-09-26 日立オートモティブシステムズ株式会社 物体検知装置
JP6254554B2 (ja) * 2015-07-21 2017-12-27 トヨタ自動車株式会社 情報提示システム
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
US20170192091A1 (en) * 2016-01-06 2017-07-06 Ford Global Technologies, Llc System and method for augmented reality reduced visibility navigation
JP6737288B2 (ja) * 2016-01-13 2020-08-05 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
US10618467B2 (en) * 2016-03-22 2020-04-14 Research & Business Foundation Sungkyunkwan University Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
EP3481059A4 (en) * 2016-06-29 2020-02-05 KYOCERA Corporation OBJECT DETECTION AND DISPLAY APPARATUS, MOBILE BODY AND OBJECT DETECTION AND DISPLAY METHOD
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR101834351B1 (ko) * 2016-07-14 2018-03-05 엘지전자 주식회사 차량용 운전 보조 장치
KR101816449B1 (ko) * 2016-10-20 2018-01-08 현대자동차주식회사 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232936A (ja) * 1997-02-19 1998-09-02 Omron Corp 物体認識方法およびその装置
CN102729824A (zh) * 2011-03-31 2012-10-17 本田技研工业株式会社 图像处理判定装置
US20140074356A1 (en) * 2011-05-20 2014-03-13 Honda Motor Co., Ltd. Lane change assist system
WO2014035148A1 (en) * 2012-08-31 2014-03-06 Samsung Electronics Co., Ltd. Information providing method and information providing vehicle therefor
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
CN105205785A (zh) * 2015-10-09 2015-12-30 济南东朔微电子有限公司 一种可定位的大型车辆运行管理系统及其运行方法

Also Published As

Publication number Publication date
EP3481692B1 (en) 2021-05-19
US20190291642A1 (en) 2019-09-26
EP3481692A4 (en) 2020-04-15
EP3481692A1 (en) 2019-05-15
WO2018012674A1 (en) 2018-01-18
KR101844885B1 (ko) 2018-05-18
US10807533B2 (en) 2020-10-20
CN109476315A (zh) 2019-03-15
KR20180006733A (ko) 2018-01-19

Similar Documents

Publication Publication Date Title
CN109476315B (zh) 驾驶员辅助装置及具有该装置的车辆
CN109843676B (zh) 自动泊车辅助装置以及包括其的车辆
CN109789778B (zh) 自动泊车辅助装置以及包括其的车辆
CN107891809B (zh) 自动驻车辅助装置、提供自动驻车功能的方法以及车辆
CN106915302B (zh) 用于车辆的显示装置及其控制方法
CN107914713B (zh) 车辆用显示装置及包括其的车辆
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
CN106696701B (zh) 驾驶员辅助设备以及包括该驾驶员辅助设备的车辆
KR101750178B1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
KR101838187B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
EP3211616A2 (en) Driver assistance apparatus
KR102551099B1 (ko) 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
KR101790426B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR101962348B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101929294B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR101843535B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101888259B1 (ko) 차량 보조장치 및 이를 포함하는 차량
KR101894636B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR102480989B1 (ko) 차량용 디스플레이 장치 및 그 동작 방법
KR101737236B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101929288B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR101728964B1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant