CN110177723A - 用于提供周围视野的装置 - Google Patents

用于提供周围视野的装置 Download PDF

Info

Publication number
CN110177723A
CN110177723A CN201880007031.6A CN201880007031A CN110177723A CN 110177723 A CN110177723 A CN 110177723A CN 201880007031 A CN201880007031 A CN 201880007031A CN 110177723 A CN110177723 A CN 110177723A
Authority
CN
China
Prior art keywords
image
region
circle
sight visibility
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880007031.6A
Other languages
English (en)
Other versions
CN110177723B (zh
Inventor
金东均
林圣炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN110177723A publication Critical patent/CN110177723A/zh
Application granted granted Critical
Publication of CN110177723B publication Critical patent/CN110177723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B60K35/22—
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B60K2360/1523—
    • B60K2360/171—
    • B60K2360/176—
    • B60K2360/178—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

一种用于提供周围视野的装置，包括：第一摄像头和第二摄像头，用于获取第一图像信息和第二图像信息；以及处理器。处理器可以基于第一图像和第二图像生成包括第一区域和第二区域的周围视野图像，该第一区域包括对象重叠区域，该第二区域不包括对象重叠区域。该对象重叠区域设置在第一图像和第二图像中的第一边界线和第二边界线之间。第一边界线位于第一区域中，第二边界线邻接第二区域。如果预测在预定距离内第一对象将由于第一对象的接近而通过第二边界线时，处理器可以生成周围视野图像，在该周围视野图像中第二区域被改变使得第二区域包括对象重叠区域。

Description

用于提供周围视野的装置
技术领域
本发明涉及一种用于提供周围视野的装置。
背景技术
车辆是指为了运输人员或货物而驱动车轮的装置。车辆的典型示例是汽车。
根据使用的原动机(prime mover)，车辆分为内燃机车辆、外燃机车辆、燃气涡轮机车辆、电动车辆等。
电动车辆是指通过使用电力作为能量来源来驱动电马达的车辆，并且可以分为纯电动车辆、混合动力电动车辆(HEV)、插入式混合电动车辆(PHEV)、燃料电池电动车辆(FCEV)等。
近来，为了驾驶员和行人的安全或方便，已经积极地开发和商业化智能车辆(智慧车辆)。智能车辆是一种集成信息技术(IT)的高科技车辆，其中将先进的系统引入智能车辆，通过与智能交通系统的互通提供最佳的运输效率。具体而言，智能车辆执行自动巡航控制、自适应巡航控制(ACC)、障碍物检测、碰撞检测、精确地图提供、到目的地的路线设置以及对主要位置的引导，从而最大化驾驶员、乘客和行人的安全性和便利性。
作为用于最大化驾驶员、乘客和行人的安全性和便利性的装置之一，用于提供周围视野的装置受到关注。
周围视野提供装置使用摄像头提供车辆周围的周围视野图像，并且驾驶员可以通过周围视野图像实时查看车辆周围。
由于通过合成从相互不同的方向获取的图像来生成周围视野图像，因此相邻图像之间可能存在边界。
然而，根据传统的周围视野提供装置，当行人、危险对象等位于这样的边界处时，行人、危险对象等从周围视野中被重叠或消失，使得驾驶员可能无法识别行人或危险对象，从而导致行人或车辆发生事故。
发明内容
【技术问题】
本发明的一个目的是解决上述问题和其他问题。
本发明的另一个目的是提供一种用于提供周围视野的装置和方法、以及包括该装置和方法的车辆，其能够在任何情况下防止对象在周围视野图像中消失或重叠。
【技术方案】
为了实现上述目的和另一个目的，根据本发明的一个方面，提供了一种用于提供周围视野的装置，该装置包括第一摄像头和第二摄像头，被配置为获取第一图像和第二图像信息；以及处理器。处理器基于第一图像和第二图像生成包括第一区域和第二区域的周围视野图像，该第一区域包括对象重叠区域，该第二区域不包括对象重叠区域。对象重叠区域设置在第一图像和第二图像中的第一边界线和第二边界线之间，第一边界线位于第一区域中，第二边界线邻接第二区域。当预测在预定距离内第一对象由于第一对象的接近而通过第二边界线时，处理器生成周围视野图像，在该周围视野图像中第二区域被改变以包括对象重叠区域。
根据本发明的另一方面，提供了一种用于提供周围视野的装置，该装置包括第一摄像头和第二摄像头，被配置为获取第一图像和第二图像；以及处理器。
处理器可以基于获取的第一图像和第二图像生成包括第一合成区域和第二合成区域的周围视野图像，该第一合成区域包括重叠区域，该第二合成区域不包括重叠区域，并且当预测在预定距离内第一对象由于第一对象的接近而通过第二边界线时，处理器可以生成调制的周围视野图像，在该调制的周围视野图像中第二合成区域被放大以包括重叠区域。重叠区域可以位于第一边界线和第二边界线之间，第一边界线可以位于第一合成区域中，第二边界线可以邻接第二合成区域。
根据本发明的又一方面，提供了一种配备有用于提供周围视野的装置的车辆。
根据本发明的又一方面，提供了一种用于提供周围视野的方法，该方法包括：基于从第一摄像头和第二摄像头获取的第一图像和第二图像，生成包括第一合成区域和第二合成区域的周围视野图像，该第一合成区域包括重叠区域，该第二合成区域不包括重叠区域，其中，重叠区域设置在第一边界线和第二边界线之间，第一边界线位于第一合成区域中，第二边界线邻接第二合成区域；并且当预测在预定距离内第一对象由于第一对象的接近而通过第二边界线时，生成调制的周围视野图像，在该调制的周围视野图像中第二合成区域被放大以包括重叠区域。
根据本发明的又一个方面，其上记录有计算机可读程序的记录介质可以用程序记录，该程序用于执行以下提供周围视野的方法。
提供周围视野的方法包括：基于从第一摄像头和第二摄像头获取的第一图像和第二图像，生成包括第一合成区域和第二合成区域的周围视野图像，该第一合成区域包括重叠区域，该第二合成区域不包括重叠区域；并且当预测在预定距离内第一对象由于第一对象的接近而通过第二边界线时，生成调制的周围视野图像，在该调制的周围视野图像中第二合成区域被放大以包括重叠区域。
重叠区域可以设置在第一边界线和第二边界线之间，第一边界线可以位于第一合成区域中，第二边界线可以邻接第二合成区域。
【有益效果】
根据本发明的用于提供周围视野的装置的效果如下。
根据本发明的至少一个实施例，当对象位于周围视野图像的特定边界线上时，与特定边界线相邻的合成区域被放大以包括重叠区域，使得特定的边界线被改变。因此，对象不处于边界线处，并且生成放大的合成区域作为由相同摄像头获取的图像以保持视点的连续性。因此，存在位于特定边界线上的对象不重叠或消失的优点。
根据本发明的至少一个实施例，当对象位于周围视野图像的特定边界线上时，重叠区域从第一合成区域的图像逐渐地或顺序地改变为第二合成区域的图像，使得图像平滑地改变，从而防止诸如由图像的突然改变引起的不自然的感觉的不便。
根据本发明的至少一个实施例，当一个或多个对象接近时，周围视野图像被调制以防止对象中的第一对象消失，并且当第二对象位于调制的周围视野图像的特定边界线上并且因此第二对象消失时，从拍摄第二对象所在部分的摄像头获取的图像显示在单独的屏幕上以补偿第二对象的消失，从而提高产品的可靠性。
根据本发明的至少一个实施例，当调制周围视野图像时，显示识别条以容易地识别调制的周围视野图像中的每个合成区域的变化。因此，可以引起驾驶员的注意，使得驾驶员可以更主动地采取必要的步骤来防止事故。
根据以下详细描述，本发明的其他适用范围将变得显而易见。然而，本领域技术人员可以理解，在本发明的概念和范围内可以进行各种修改和变化，并且将仅以说明的方式给出详细描述和具体示例，例如本发明的优选实施例。
附图说明
图1是示出根据本发明的实施例的用于提供周围视野的装置的配置的框图。
图2a是示出根据实施例的包括用于提供周围视野的装置的车辆的外部的视野。
图2b是示出包括在根据实施例的用于提供周围视野的装置中并安装在车辆中的传感器单元的视野。
图3是示出根据实施例的包括用于提供周围视野的装置的车辆的配置的框图。
图4是示出周围视野图像的视野。
图5a是示出分别从第一摄像头和第三摄像头获取的图像的视野。
图5b是示出分别基于从第一摄像头和第三摄像头获取的图像生成的第一合成区域和第三合成区域的视野。
图6a是示出分别从第二摄像头和第四摄像头获取的图像的视野。
图6b是示出分别基于从第二摄像头和第四摄像头获取的第二图像和第四图像生成的第二合成区域和第四合成区域的视野。
图7是示出根据本发明的实施例的用于提供周围视野的装置的处理器的配置的框图。
图8是用于说明根据实施例的周围视野调制方法的视野。
图9是示出根据另一实施例的处理器的配置的框图。
图10是示出与多个对象的接近有关的屏幕配置的示例的视野。
图11是示出根据又一实施例的处理器的配置的框图。
图12是示出当调制周围视野图像时用于识别每个合成区域中的变化的识别条的视野。
图13是示出当对象位于周围视野图像的每个合成区域的边界处时的处理过程的视野。
图14是示出与多个对象的接近有关的屏幕配置的另一示例的视野。
具体实施方式
在下文中，将参照附图详细描述本说明书的实施例，其中相同的附图标记用于表示相同或相似的元件，并且将省略其冗余描述。考虑到描述制备的容易性，仅给出或混合以下描述中使用的部件的后缀“模块”和“部分”，并且没有任何意义或作用彼此区分。另外，在本说明书的实施例的以下描述中，当确定可能模糊本文公开的实施例的要点时，将省略相关技术的详细描述。另外，附图被包括以提供对本说明书的进一步理解，且被并入本说明书中并构成本说明书的一部分，并且应当理解，本说明书旨在涵盖落入本发明的精神和范围内的所有修改、等同物或替代物。
包括诸如第一、第二等序数的术语可以用于描述各种部件，但是元件不限于这些术语。这些术语仅用于区分一个部件与另一个部件。
当一个部件被称为“连接”或“连结”到另一个部件时，它可以直接连接或连结到另一个部件，但是应该理解，其他部件可以存在于其间。当一个部件被称为“直接连接”或“直接连结”到另一个部件时，应该理解的是，其间可能不存在其他部件。
除非上下文另有明确暗示，否则单数表示包括多个表示。
在本申请中，诸如“包括”或“具有”等术语用于指定说明书中描述的特征、数字、步骤、操作、部件、组件或其组合的存在。但是，应理解，这些术语不排除一个或多个其他特征、数字、步骤、操作、部件、部件或其组合的存在或添加。
本说明书中描述的车辆可以包括诸如汽车和摩托车等各种车辆。在下文中，将以汽车为例描述车辆。
此外，车辆可以具有包括具有发动机作为功率来源的所有内燃机车辆、具有发动机和电马达作为功率来源的混合动力车辆、具有电马达作为功率来源的电动车辆等的概念。
在下文中，车辆的左侧是指基于车辆的行进方向的左侧，并且车辆的右侧是指基于车辆的行进方向的右侧。在以下描述中，除非另有说明，否则车辆指的是左手驾驶(LHD)车辆，其中方向盘(handle)位于左侧。
在本说明书中描述的用于提供周围视野的装置是设置在车辆中的单独装置，并且被限定为通过数据通信与车辆交换必要信息并且提供车辆周围对象的周围视野图像的装置。然而，根据实施例，用于提供周围视野的装置可以包括一组车辆的一些部件以构成车辆的一部分。
周围视野是示出车辆周围环境，并且可以被称为俯视野或鸟瞰图的图像。可以基于从相互不同的方向获取的图像来生成周围视野。
当周围视野提供装置是单独的装置时，周围视野提供装置的部件的至少一部分(参见图1)可以不包括在周围视野提供装置中，但是可以设置为包括在车辆或安装在车辆中的装置中的外部部件。可以理解，这些外部部件可以通过经由周围视野提供装置的接口单元发送和接收数据来构成周围视野提供装置。
为了便于解释，在本说明书中，用于提供周围视野的装置将被描述为直接包括图1中所示的部件。
在下文中，将参照附图详细描述根据实施例的用于提供周围视野的装置。
图1是示出根据实施例的用于提供周围视野的装置的配置的框图。
参照图1，周围视野提供装置100可以包括感测单元155和处理器170。根据实施例的周围视野提供装置100还可以包括以下中的至少一个：输入单元110、通信单元120、接口单元130、存储器140、监测单元165、显示单元180、音频输出单元185和电源单元190。但是，图1中所示的部件对于构成周围视野提供装置100不是必需的，使得根据实施例的周围视野提供装置100可以具有比上面列出的部件更多或更少的部件。
详细地，输入单元110可以感测用户的输入。例如，用户可以通过输入单元110输入对周围视野提供装置100提供的周围视野的设置，或者可以输入命令以打开/关闭周围视野提供装置100的电力。
输入单元110可以包括以下中的至少一个以便感测用户的输入：被配置为感测用户的手势的手势输入单元(例如，光学传感器等)、被配置为感测触摸的触摸输入单元(例如，触摸传感器、触摸键、机械键等)以及被配置为感测语音输入的麦克风。
通信单元120可以与另一车辆510、移动终端600、服务器500等通信。
在这种情况下，周围视野提供装置100可以通过通信单元120接收以下信息中的至少一个：导航信息、其他车辆驾驶信息和交通信息。此外，周围视野提供装置100可以通过通信单元120发送配备有周围视野提供装置100的对象车辆的信息。
具体地，通信单元120可以从移动终端600和/或服务器500接收位置信息、天气信息和道路交通状况信息(例如，TPEG(传输协议专家组)等)中的至少一个。
此外，通信单元120可以从配备有智能交通系统(ITS)的服务器500接收交通信息。交通信息可以包括交通信号信息、车道信息、车辆周边信息或位置信息。
通信单元120可以将导航信息发送到移动终端600或/和服务器500。导航信息可以包括以下中的至少一个：与车辆的行驶有关的地图信息、车道信息、车辆的位置信息、设置目的地信息和根据目的地的路线信息。
例如，通信单元120可以接收车辆的实时位置作为导航信息。具体地，通信单元120可以包括GPS(全球定位系统)模块或/和WiFi(无线保真)模块以获取车辆的位置。
另外，通信单元120可以从其他车辆510接收其他车辆510的行驶信息，并且将对象车辆的信息发送到其他车辆510，以共享车辆行驶信息。由车辆共享的车辆行驶信息可以包括以下中的至少一个：车辆的行驶方向信息、位置信息、车速信息、加速度信息、行驶路线信息、前进/后退行驶信息、相邻车辆信息和转弯信号信息。
此外，当用户坐在车辆中时，用户的移动终端600和周围视野提供装置100可以自动地或通过执行用户的应用程序来进行彼此配对。
通信单元120可以以无线方式与其他车辆510、移动终端600或服务器500交换数据。
详细地，通信单元120可以使用无线数据通信方案来执行无线通信。无线数据通信方案可以使用用于移动通信的技术标准或通信方案(例如，GSM(全球移动通信系统)、CDMA(码分多址)、CDMA 2000(码分多址2000)、EV-DO(增强语音数据优化或仅增强语音数据)、WCDMA(宽带CDMA)HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)、LTE(长期演进)、LTE-A(长期演进-高级)等)。
此外，通信单元120可以使用无线互联网技术，例如，WLAN(无线LAN)、Wi-Fi(无线保真)、Wi-Fi(无线保真)直连、DLNA(数字生活网络联盟)、WiBro(无线宽带)、WiMAX(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)、LTE(长期演进)、LTE-Av(长期演进-高级)等。
另外，通信单元120可以使用短程通信。例如，通信单元120可以通过使用蓝牙TM、RFID(射频识别)、红外数据协会(IrDA)、UWB(超宽带)、ZigBee、NFC(近场通信)、Wi-Fi(无线保真)、Wi-Fi直连和无线USB(无线通用串行总线)中的至少一个来支持短程通信。
此外，周围视野提供装置100可以被配置为使用短程通信方案执行与车辆中的移动终端600的配对，或者使用移动终端600的远程无线通信模块与其他车辆510或服务器500无线地交换数据。
接口单元130可以通过从控制车辆的整体运行的ECU(电子控制单元)770接收数据或者通过将在处理器170中处理的或生成的信号发送到外部，用作周围视野提供装置100的内部和外部之间的接口。
具体地，周围视野提供装置100可以通过接口单元130接收以下信息中的至少一个：车辆行驶信息、导航信息和感测信息。
另外，周围视野提供装置100可以通过接口单元130将用于执行周围视野的控制信号或从周围视野提供装置100生成的信息发送到车辆的ECU 770。
为此目的，接口单元130可以通过有线或无线通信方案与安装在车辆中的以下中的至少一个执行数据通信：ECU 770、AVN(音频视频导航)装置400和感测单元760。
具体地，接口单元130可以通过与ECU 770、AVN装置400或/和单独的导航装置(未示出)的数据通信来接收导航信息。
另外，接口单元130可以从ECU 770或感测单元760接收感测信息。
感测信息可以包括以下信息中的至少一个：车辆的方向信息、位置信息、车速信息、加速度信息、倾斜信息、前进/后退行驶信息、燃料信息、相对前后车辆的距离信息、车辆与车道之间的距离信息和转弯信号信息。
此外，可以从航向传感器、偏航传感器、陀螺仪传感器、位置模块、车辆前进/后退传感器、车轮传感器、车辆速度传感器、车身倾斜传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器、车辆内部湿度传感器、门传感器等获取感测信息。同时，位置模块可以包括被配置为接收GPS信息的GPS模块。
接口单元130可以接收通过车辆的用户输入单元724接收的用户输入。在这种情况下，接口单元130可以直接从车辆的输入单元724或通过车辆的ECU 770接收用户输入。
另外，接口单元130可以接收从服务器500获取的交通信息。服务器500可以是位于控制交通的交通控制站中的服务器。例如，当通过车辆的通信单元710从服务器500接收交通信息时，接口单元130可以从车辆的ECU 770接收交通信息。
存储器140可以存储用于周围视野提供装置100的整体运行的各种数据，例如，用于处理或控制处理器170的程序。
另外，存储器140可以存储在周围视野提供装置100中驱动的多个应用程序(或应用)以及用于周围视野提供装置100的运行的数据和指令。至少一部分应用程序可以通过无线通信从外部服务器下载。此外，在启动产品时，至少一部分应用程序可以存在于周围视野提供装置100中，以实现周围视野提供装置100的基本功能(例如，车辆周围的引导功能)。
这样的应用程序可以存储在存储器140中，并且可以由处理器170驱动以执行周围视野提供装置100的操作(或功能)。
同时，存储器140可以存储用于识别包括在图像中的对象的数据。例如，当在通过摄像头160获取的车辆周围的图像中检测到预定对象时，存储器140可以存储用于通过各种算法检查对象的对应物的数据。
例如，存储器140可以存储比较图像和比较数据，以确定通过摄像头160获取的图像中包括的对象是否对应于诸如车道、交通标志牌、两轮车辆或行人等对象。
另外，存储器140可以存储用于生成周围视野图像的预定合成信息或视点信息。
可以合成从相互不同的方向获取的图像以生成周围视野。在这种情况下，从每个图像生成的合成区域的范围信息和边界信息可以作为合成信息存储在存储器140中。
视点信息可以是关于从摄像头的视点观看的方向的信息，但不限于此。
这种存储器140可以包括具有硬件的存储介质，该硬件包括闪存类型、硬盘类型、SSD(固态盘)类型、SDD(硅盘驱动器)类型、多媒体微型卡、卡式存储器(例如，SD或XD存储器)、RAM(随机存取存储器)、SRAM(静态随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、PROM(可编程只读存储器)、磁存储器、磁盘和光盘中的至少一种。
另外，周围视野提供装置100可以与在互联网上执行存储器140的存储功能的网络存储相关联地运行。
监测单元165可以获取关于车辆内部状态的信息。
监测单元165检测到的信息可以包括以下信息中的至少一个：面部识别信息、指纹信息、虹膜扫描信息、视网膜扫描信息、手部几何信息和语音识别信息。此外，监测单元165可以包括感测这种生物信息的其他传感器。
周围视野提供装置100还可以包括感测单元155，被配置为感测车辆周围的对象。根据实施例，周围视野提供装置100可以通过接口单元130接收从车辆的感测单元760获取的感测信息。获取的感测信息可以包括在车辆周边信息中。
感测单元155可以包括距离传感器150和摄像头160中的至少一个，该距离传感器150感测车辆附近的对象的位置，该摄像头160拍摄车辆的周围环境以获取图像。
距离传感器150可以精确地检测与对象车辆相邻的对象的位置、对象的间隔方向、间隔距离或对象的移动方向。距离传感器150可以连续地测量检测到的对象的位置，以准确地检测相对于对象车辆的位置关系的变化。
距离传感器150可以感测位于车辆的前侧、后侧、左侧和右侧中的至少一个中的对象。为此目的，距离传感器150可以位于车辆中的各个位置。
距离传感器150可以包括能够测量距离的各种传感器中的至少一个，例如，激光雷达传感器、激光传感器、超声波传感器和立体摄像头。
例如，距离传感器150可以是根据激光信号调制方法使用飞行时间(TOF)方案或/和相移方案的激光传感器，以精确地测量对象车辆与对象之间的位置关系。
同时，可以通过使用处理器170分析由摄像头160拍摄的图像来获取关于对象的信息。具体地，周围视野提供装置100使用摄像头160拍摄车辆的周围环境，处理器170分析获取的车辆周围图像以检测车辆周围的对象，从而通过确定对象的属性来生成感测信息。
对象信息可以包括以下中的至少一个：对象类型、对象显示的交通信号信息、对象与车辆之间的距离以及对象的位置，并且对象信息可以包括在感测信息中。
具体地，处理器170可以通过执行对象分析来生成对象信息，对象分析例如是，通过处理图像、跟踪对象、测量相对于对象的距离以及确认对象，来从拍摄图像中检测对象。
虽然未在附图中示出，但是感测单元155还可以包括超声波传感器。超声波传感器可以包括但不限于多个超声波传感器。可以基于从每个超声波传感器发送的超声波与从对象反射时接收的超声波之间的差异来检测车辆周围的对象。
同时，处理器170可以合成从各个方向拍摄的图像，以提供从顶部观察的车辆的周围视野图像。
为了允许处理器170更容易地执行对象分析，根据实施例，摄像头160可以是立体摄像头，其在捕获图像的同时测量相对于对象的距离。
摄像头160可以直接包括图像传感器和图像处理模块。在这种情况下，摄像头160可以处理由图像传感器(例如，CMOS或CCD)获取的静止图像或移动图像。另外，图像处理模块可以处理通过图像传感器获取的静止图像或移动图像以提取必要的图像信息，并且可以将提取的图像信息发送到处理器170。
感测单元155可以是距离传感器150和摄像头160组合在一起的立体摄像头。也就是说，立体摄像头可以在获取图像的同时检测相对于对象的位置关系。
显示单元180可以显示周围视野图像。显示单元180可根据需要包括至少一个显示区域。可以在每个显示区域中显示相互不同的图像信息。
音频输出单元185可输出消息作为音频以解释周围视野并确认其是否被执行。因此，周围视野提供装置100可以通过显示单元180执行视觉显示，同时通过使用音频输出单元185输出声音来解释周围视野提供装置100的功能。
根据实施例，周围视野提供装置100还可以包括：触觉输出单元(未示出)，被配置为输出触觉信号。触觉输出单元(未示出)可以将周围视野的警报输出为触觉。例如，当对驾驶员的警告包括在导航信息、交通信息、通信信息、车辆状态信息、驾驶辅助功能(ADAS)信息和其他驾驶员便利信息中的至少一个中时，周围视野提供装置100可以通过震动通知驾驶员警告。
这种触觉输出单元(未示出)可以提供具有方向性的振动。例如，触觉输出单元(未示出)可以设置在方向盘中以控制方向盘输出振动。当提供振动时，触觉输出单元可以通过区分方向盘的左侧和右侧来输出振动，使得触觉输出可以具有方向性。
电源单元190可以在处理器170的控制下接收外部电力和内部电力，以提供每个部件的运行所需的电力。
处理器170可以控制周围视野提供装置100中的每个部件的整体运行。
另外，为了驱动应用程序，处理器170可以控制周围视野提供装置100中包括的部件的至少一部分，或者可以通过组合这些部件来运行至少两个部件。
这种处理器170可以以硬件形式的以下类型中的至少一种实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器170和用于执行其他功能的电气单元。
根据一个实施例，处理器170可以由车辆的ECU 770控制。
除了与存储在存储器140中的应用程序有关的操作之外，处理器170通常可以控制周围视野提供装置100的整体运行。处理器170可以处理通过上述部件输入或输出的信号、数据和信息，或者可以驱动存储在存储器140中的应用程序，以便处理或向用户提供适当的信息或功能。
图2a是示出根据实施例的包括用于提供周围视野的装置的车辆的外部的视野。
参照图2a，根据实施例的车辆700可以包括由电源旋转的车轮13FL和13RL，以及向用户提供车辆周围的对象信息的周围视野提供装置100。
周围视野提供装置100可以安装在车辆700内。在这种情况下，根据实施例可以不同地设置周围视野提供装置100的安装位置。参考图2a，周围视野提供装置100可以设置在车辆700的前窗的下端。
图2b是示出包括在根据实施例的用于提供周围视野的装置中并安装在车辆中的传感器单元的视野。
包括在感测单元155中的距离传感器150可以设置在车身的前、后、左、右和顶棚(ceiling)中的至少一个上。参考图2b，距离传感器150a和150b可以分别设置在车辆的左侧表面和右侧表面上。
包括在感测单元155中的摄像头160可以设置在各个位置处以监测行进方向上的前侧、后侧、左侧和右侧。参考图2b，摄像头160a、160b、160c和160d可以分别设置在车辆的前侧、后侧、左侧和右侧。
例如，安装在前侧的摄像头160a可以被称为第一摄像头，安装在右侧的摄像头160b可以被称为第二摄像头，安装在后侧的摄像头160c可以被称为第三摄像头，安装在左侧的摄像头160d可以被称为第四摄像头，但是实施例不限于此。在多个摄像头160a、160b、160c和160d中，首先提到的摄像头可以被称为第一摄像头，并且接下来提到的摄像头可以被称为第二摄像头。
第一摄像头160a可以通过拍摄行进方向上的前侧来获取前方图像。为此目的，第一摄像机160a可以设置在徽标或前面罩(radiator grille)附近。
第二摄像头160b可以设置在围绕右侧镜子的壳体中。根据实施例，第二摄像头160b可以设置在围绕右侧镜子的壳体外部，或者可以设置在右前门、右后门或右挡泥板外部的一个区域中。
第三摄像头160c可以通过拍摄行进方向上的后侧来获取后方图像。第三摄像头160c可以设置在后牌照或行李箱开关附近。
第四摄像头160d可以设置在围绕左侧镜子的壳体中。根据实施例，第四摄像头160d可以设置在围绕左侧镜子的壳体外部，或者可以设置在左前门、左后门或左挡泥板外部的一个区域中。
尽管未在附图中示出，但是附加的摄像头可以安装在车辆的顶棚上。顶棚摄像头可以拍摄车辆的前、后、左和右的所有方向。
此外，除了第一摄像头至第四摄像头160a、160b、160c和160d之外，还可以根据需要另外设置摄像头。
图3是示出根据实施例的包括用于提供周围视野的装置的车辆的配置的框图。
根据实施例的周围视野提供装置100可以安装在车辆700中。
参照图3，车辆700可以包括通信单元710、输入单元720、感测单元760、输出单元740、车辆驱动单元750、存储器730、接口单元780、ECU 770、电源单元790、周围视野提供装置100和AVN装置400。
通信单元710可以包括实现车辆700和移动终端600之间、车辆700和外部服务器500之间、或者车辆700和其他车辆510之间的无线通信的至少一个模块。此外，通信单元710可以包括将车辆700连接到至少一个网络的至少一个模块。
通信单元710可以包括广播接收模块711、无线互联网模块712、短程通信模块713、位置信息模块714和光通信模块715。
广播接收模块711可以通过广播信道从外部广播管理服务器接收广播信号或广播相关信息。广播可以包括无线电广播或TV广播。
无线互联网模块712指的是用于无线互联网接入的模块，并且可以内置在车辆700中或外部安装在车辆700上。无线互联网模块712可以被配置为根据无线互联网技术通过通信网络发送和接收无线信号。
无线互联网技术的示例可以包括WLAN(无线LAN)、Wi-Fi(无线保真)、Wi-Fi(无线保真)直连、DLNA(数字生活网络联盟)、WiBro(无线宽带)、WiMAX、(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)、LTE(长期演进)、LTE-A(长期演进-高级)等。无线互联网模块712可以根据包括甚至上面未列出的互联网技术的范围内的至少一种无线互联网技术来发送和接收数据。例如，无线互联网模块712可以以无线方式与外部服务器500交换数据。无线互联网模块712可以从外部服务器500接收天气信息和道路交通状况信息(例如，TPEG(传输协议专家组))。
短程通信模块713用于短程通信，并且可以通过使用蓝牙TM、RFID(射频识别)、红外数据协会(IrDA)、UWB(超宽带)、ZigBee、NFC(近场通信)、Wi-Fi(无线保真)、Wi-Fi直连和无线USB(无线通用串行总线)中的至少一个来支持短程通信。
短程通信模块713可以形成短程无线区域网络以执行车辆与至少一个外部装置之间的短程通信。例如，短程通信模块713可以无线地与移动终端600交换数据。短程通信模块713可以从移动终端600接收天气信息和道路的交通状况信息(例如，TPEG(传输协议专家组))。例如，当用户登上车辆时，用户的移动终端600和车辆可以自动地或通过执行用户的应用程序进行彼此配对。
位置信息模块714是用于获取车辆位置的模块，并且其代表性示例是全球定位系统(GPS)模块。例如，车辆700可以使用GPS模块以基于从GPS卫星发送的信号来获取车辆700的位置。
光通信模块715可以包括发光单元和光接收单元。
光接收单元可将光信号转换为电信号以接收信息。光接收单元可以包括被配置为接收光的光电二极管(PD)。光电二极管可以将光转换成电信号。例如，光接收单元可以通过从包括在前方车辆中的光源发出的光接收前方车辆的信息。
发光单元可以包括被配置为将电信号转换为光信号的至少一个发光装置。发光器件可以是LED(发光二极管)。发光单元可以将电信号转换为光信号并将光信号发送到外部。例如，发光单元可以通过对应于预定频率的发光装置的闪烁将光信号发射到外部。根据实施例，发光单元可以包括多个发光器件阵列。根据实施例，发光单元可以与设置在车辆中的灯集成。例如，发光单元可以是前灯、尾灯、刹车灯、转向信号灯和侧灯中的至少一种。
根据一个实施例，光通信模块715可以通过光通信与其他车辆510交换数据。
输入单元720可以包括驱动运行单元721、摄像头722、麦克风723、用户输入单元724和监测单元725。
驾驶运行单元721可以接收用于驾驶车辆的用户输入。驾驶运行单元721可以包括方向盘输入装置、换档输入装置、加速输入装置、制动输入装置等。
方向盘输入装置可以接收与车辆700的行驶方向有关的输入。方向盘输入装置可以以方向盘的形式准备，使得方向盘输入可以通过旋转来实现。根据一个实施例，方向盘输入装置可以以触摸屏、触摸板或按钮的形式制备。
换档输入装置可以接收与车辆的停车(P)、前进行驶(D)、空档(N)和倒车行驶(R)有关的输入。换档输入装置可以以杠杆的形式准备。根据实施例，换档输入装置可以由触摸屏、触摸板或按钮形成。
加速输入装置可以接收用于车辆加速的输入。制动输入装置可以接收用于车辆减速的输入。在这种情况下，加速输入装置和制动输入装置可以以踏板的形式准备。根据实施例，加速输入装置或制动输入装置可以以触摸屏、触摸板或按钮的形式准备。
摄像头722可以包括图像传感器和图像处理模块。摄像头722处理由图像传感器(例如，CMOS或CCD)获取的静止图像或移动图像。图像处理模块可以处理通过图像传感器获取的静止图像或移动图像以提取必要的图像信息，并且可以将提取的图像信息发送到处理器ECU 770。同时，车辆700可以包括用于捕获车辆的前方或周边的图像的摄像头722和用于捕获车辆内部图像的监测单元725。
监测单元725可以获取乘客的图像。监测单元725可以获取用于乘员的生物识别的图像。
同时，尽管监测单元725和摄像头722包括在图3中的输入单元720中，摄像头722可以包括在如上所述的周围视野提供装置100中。
麦克风723可以将外部声学信号处理成电数据。可以根据在车辆700中执行的功能来不同地利用处理的数据。麦克风723可以将用户的语音命令转换为电数据。转换的电数据可以被发送到ECU 770。
用户输入单元724可以从用户接收信息。当通过用户输入单元724输入信息时，ECU770可以控制与输入信息对应的车辆700的运行。用户输入单元724可以包括触摸输入装置或机械输入装置。根据实施例，用户输入单元724可以位于方向盘的一个区域处。在这种情况下，驾驶员可以在握住方向盘的同时使用手指操作用户输入单元724。
感测单元760可以感测与车辆行驶有关的信号。为此目的，感测单元760可以包括碰撞传感器、车轮传感器、速度传感器、倾斜传感器、重量传感器、航向传感器、偏航传感器、陀螺仪传感器、位置模块、车辆向前/向后行进传感器、电池传感器、燃料传感器、轮胎传感器、通过方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、雷达和激光雷达。
因此，感测单元760可以获取车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆向前/向后行进信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度等的感测信号。
同时，感测单元760还可以包括加速踏板传感器、压力传感器、发动机转速传感器、空气流量传感器(AFS)、空气温度传感器(ATS)、水温传感器(WTS)、节流阀(throttle)位置传感器(TPS)、TDC传感器、曲轴(crank)角度传感器(CAS)等。
感测单元760可以包括生物信息感测单元。生物信息感测单元可以感测并获取乘员的生物信息。生物信息可以包括指纹信息、虹膜扫描信息、视网膜扫描信息、手部几何信息、面部识别信息和语音识别信息。生物信息感测单元可以包括感测乘员的生物信息的传感器。这里，监测单元725和麦克风723可以作为传感器运行。生物信息感测单元可以通过监测单元725获取手形信息和面部识别信息。
输出单元740可以是用于输出由ECU 770处理的信息的部件，并且可以包括显示单元741、声学声音输出单元742和触觉输出单元743。
显示单元741可以显示由ECU 770处理的信息。例如，显示单元741可以显示与车辆有关的信息。与车辆有关的信息可以包括用于直接控制车辆的车辆控制信息，或用于将驾驶引导至驾驶员的车辆驾驶辅助信息。此外，与车辆相关的信息可以包括指示车辆的当前状态的车辆状态信息或者与车辆的驾驶相关的车辆驾驶信息。
显示单元741可以是周围视野提供装置100的显示单元180，或者可以单独设置。
显示单元741可以通过液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器和电子墨水显示器中的至少一种来实现。
显示单元741可以与触摸传感器一起形成层结构，或者可以与触摸传感器一体形成以实现触摸屏。该触摸屏可以用作提供车辆700和用户之间的输入接口的用户输入单元724，并且可以在车辆700和用户之间提供输出接口。在这种情况下，显示单元741可以包括触摸传感器，该触摸传感器感测相对于显示单元741的触摸，使得可以通过触摸方法接收控制命令。当使用该触摸方法在显示单元741上进行触摸时，触摸传感器可以感测到触摸，并且ECU 770可以生成与触摸相对应的控制命令。通过触摸方法输入的内容可以是字母或数字，或者可以是以各种模式指示或指定的菜单项。
同时，显示单元741可以包括聚类(cluster)，使得驾驶员可以在驾驶车辆的同时检查车辆状态信息或车辆驾驶信息。聚类可以位于仪表板上。在这种情况下，驾驶员可以在将他或她的视线保持在车辆前方的同时检查聚类上显示的信息。
另外，根据实施例，显示单元741可以实现为平视显示器(HUD)。当显示单元741被实现为HUD时，可以通过设置在挡风玻璃中的透明显示器输出信息。或者，显示单元741可以包括投影模块，以通过投影在挡风玻璃上的图像输出信息。
声学声音输出单元742可以将来自ECU 770的电信号转换为音频信号以输出音频信号。为此目的，声学声音输出单元742可以包括扬声器等。声学声音输出单元742可以输出与用户输入单元724的输入运行相对应的声音。
触觉输出单元743可以生成触觉输出。例如，触觉输出单元743可以使方向盘、安全带和座椅振动，使得用户可以识别输出。
车辆驱动单元750可以控制包括在车辆700中的各种装置和部件的运行。车辆驱动单元750可以包括电源驱动单元751、转向驱动单元752、制动驱动单元753、灯驱动单元754、空调驱动单元755、窗驱动单元756、气囊驱动单元757、天窗驱动单元758和悬架驱动单元759。
电源驱动单元751可以对车辆700中的电源执行电子控制。
例如，当基于化石燃料的发动机(未示出)是电源时，电源驱动单元751可以执行发动机的电子控制。因此，可以控制发动机等的输出转矩。当电源驱动单元751是发动机时，可以通过在ECU 770的控制下限制发动机输出转矩来限制车辆的速度。
在另一示例中，当电马达(未示出)是电源时，电源驱动单元751可以控制马达。因此，可以控制马达的转速、转矩等。
转向驱动单元752可以对车辆中的转向装置执行电子控制。因此，可以改变车辆的行驶方向。
制动驱动单元753可以对车辆中的制动装置(未示出)执行电子控制。例如，可以通过控制设置在车轮上的制动器的运行来降低车辆的速度。作为另一示例，可以通过分别运行设置在左轮和右轮上的制动器来向左或向右调整车辆的行驶方向。
灯驱动单元754可以控制布置在车辆内部和外部的灯的开启/关闭。此外，可以控制灯的光强度和方向。例如，可以控制转向信号灯、制动灯等。
空调驱动单元755可以对车辆中的空调(未示出)执行电子控制。例如，当车辆内的温度高时，可以控制空调运行，使得可以将冷空气供应到车辆700的内部。
窗口驱动单元756可以对车辆中的窗户装置执行电子控制。例如，可以控制车辆700的左侧窗和右侧窗的打开或关闭。
气囊驱动单元757可以对车辆中的气囊装置执行电子控制。例如，在发生事故的情况下，可以控制安全气囊展开。
天窗驱动单元758可以对车辆中的天窗装置(未示出)执行电子控制。例如，可以控制天窗的打开或关闭。
悬架驱动单元759可以对车辆700中的悬架装置(未示出)执行电子控制。例如，当在路面上存在弯曲时，可以控制悬架装置以减小车辆的振动。
存储器730可以电连接到ECU 770。存储器730可以存储针对单元的基本数据、用于控制单元运行的控制数据、以及输入/输出数据。存储器730可以包括具有诸如ROM、RAM、EPROM、闪存驱动器、硬盘驱动器等硬件的各种存储介质。存储器730可以存储控制车辆的整体运行所需的各种数据，例如用于处理或控制ECU 770的程序。
接口单元780可以用作连接连接到车辆700的各种类型的外部装置的信道。例如，接口单元780可以包括可以连接到移动终端600的端口，并且可以通过端口连接到移动终端600。在这种情况下，接口单元780可以与移动终端600交换数据。
同时，接口单元780可以用作用于向连接到接口单元780的移动终端600供应电能的信道。当移动终端600电连接到接口单元780时，接口单元780可以在ECU 770的控制下将从电源单元790供应的电能提供给移动终端600。
ECU 770可以控制车辆700中的每个部件的整体运行。ECU 770可以被称为ECU(电子控制单元)。
随着周围视野提供装置100的执行信号被传送到ECU 770，ECU 770可以执行与传送的信号对应的功能。
ECU 770可以以硬件形式的以下类型中的至少一种实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器170和用于执行其他功能的电气单元。
控制器或微处理器可以是与周围视野提供装置100中包括的处理器170不同的装置。
根据ECU 770的控制，电源单元790可以供应每个部件运行所需的电力。在这种情况下，电源单元790可以从安装在车辆中的电池(未示出)等接收电力。
AVN(音频视频导航)装置400可以与ECU 770交换数据。ECU 770可以从AVN装置400或单独的导航装置(未示出)接收导航信息。导航信息可以包括设置目的地信息、根据目的地的路线信息、与车辆行驶有关的地图信息或车辆位置信息。
图4示出了周围视野图像。
参见图4，周围视野图像可以包括第一合成区域至第四合成区域301、303、305和307。这种周围视野图像可以显示在显示单元180上。第一合成区域至第四合成区域301、303、305和307可以称为第一至第四区域。
可以基于安装在车辆700的前部的第一摄像头获取的前向图像来生成第一合成区域301。可以基于安装在车辆700的右侧的第二摄像头获取的向右图像来生成第二合成区域303。可以基于安装在车辆700的后侧的第三摄像头获取的后向图像来生成第三合成区域305。可以基于安装在车辆700的左侧的第四摄像头获取的左向图像来生成第四合成区域307。
各个合成区域301、303、305和307的图像可以与从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像不同。
也就是说，从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像可以是通过摄像头160a、160b、160c和160d的透镜输入的图像，使得对象的实际形状可以是在图像中表示。相反，合成区域301、303、305和307的图像可以是通过将从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像的视点从前视野改变为俯视野而获取的图像。
例如，当从第一摄像头至第四摄像头160a、160b、160c和160d中的特定摄像头获取的图像的对象是站立的人时，作为从获取的图像生成的合成区域中的对象的人可以被视为除站立的人之外的躺着的人。
第一合成区域至第四合成区域301、303、305和307可以关于边界线311、313、315和317彼此相邻地设置。例如，第一合成区域301和第二合成区域303可以关于第一边界线311彼此相邻地设置。第二合成区域303和第三合成区域305可以关于第二边界线313彼此相邻地设置。第三合成区域305和第四合成区域307可以关于第三边界线315彼此相邻地设置。第四合成区域307和第一合成区域301可以关于第四边界线317彼此相邻地设置。
可以基于存储在存储器140中的合成信息生成周围视野图像。如上所述，合成信息可以包括第一合成区域至第四合成区域的范围信息和关于边界线的边界线信息，该第一合成区域至第四合成区域是从第一摄像头至第四摄像头160a、160b、160c和160d获取的每个图像生成的，该边界线在第一合成信息至第四合成信息之间，并且合成信息可以存储在存储器140中。
边界线信息可以被设置为第一至第四边界线311、313、315和317的位置。合成区域的范围信息可以被设置为合成区域301、303、305和307中的每一个的范围。
因此，处理器170可以基于合成信息的范围信息和边界线信息，从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像生成合成区域301、303、305和307中的每一个。
如上所述生成的周围视野图像可以以正常模式显示在显示单元180上。
具体地，处理器170可以基于在边界线信息中设置的合成区域的范围信息和边界线信息从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像中提取与边界线311、313、315和317之间的间隔对应的图像，以便基于提取的图像生成包括第一合成区域至第四合成区域的周围视野图像。
如上所述，从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像可以与从获取的图像生成的第一合成区域至第四合成区域不同。
图5a是示出分别从第一摄像头和第三摄像头获取的图像的视野。图5B是示出分别基于从第一摄像头和第三摄像头获取的图像生成的第一和第三合成区域的视野。
分别从第一摄像头160a和第三摄像头160c获取的第一图像321和第三图像325(图5a)的尺寸可以分别等于第一合成区域301和第三合成区域305的尺寸(图5b)。
第一边界线311和第四边界线317可以设置在第一合成区域301的两端处。换句话说，第一合成区域301可以设置在第一边界线311和第四边界线317之间。
第二边界线313和第三边界线315可以设置在第三合成区域305的两端处。换句话说，第三合成区域305可以设置在第二边界线313和第三边界线315之间。
或者，可以分别基于与从第一摄像头160a和第三摄像头160c获取的图像的一部分相对应的第一图像和第三图像来生成第一合成区域301和第三合成区域305。在这种情况下，第一合成区域301和第三合成区域305的尺寸可以小于第一图像和第三图像的尺寸。
图6a是示出分别从第二摄像头和第四摄像头获取的图像的视野。图6b是示出分别基于从第二摄像头和第四摄像头获取的第二图像和第四图像生成的第二合成区域和第四合成区域的视野。
可以分别基于从第二摄像头160b和第四摄像头160d获取的第二图像323和第四图像327(图6a)的部分区域335和337来生成第二合成区域303和第四合成区域307(图6b)。在这种情况下，第二合成区域303和第四合成区域307的尺寸可以分别小于第二图像323和第四图像327的尺寸。
第一边界线311和第二边界线313可以设置在第二合成区域303的两端处。换句话说，第二合成区域303可以设置在第一边界线311和第二边界线313之间。
在这种情况下，第一边界线311可以具有与设置在第一合成区域301的一端处的第一边界线311相同的位置，并且第二边界线313可以具有与设置在第三合成区域305的一端处的第二边界线313相同的位置。
第三边界线315和第四边界线317可以设置在第四合成区域307的两端处。换句话说，第四合成区域307可以设置在第三边界线315和第四边界线317之间。
第三边界线315可以具有与设置在第三合成区域305的另一端处的第三边界线315相同的位置，并且第四边界线317可以具有与设置在第一合成区域301的另一端处的第四边界线317相同的位置。
因此，第一合成区域301和第二合成区域303可以关于第一边界线311彼此相邻地设置，并且第二合成区域303和第三合成区域305可以关于第二边界线313彼此相邻地设置。
另外，第三合成区域305和第四合成区域307可以关于第三边界线315彼此相邻地设置，并且第四合成区域307和第一合成区域301可以关于第四边界线317彼此相邻地设置。
同时，可以设置重叠区域331a、331b、333a和333b。重叠区域331a、331b、333a和333b可以包括在相邻合成区域之一中。重叠区域331a、331b、333a和333b可以是对象重叠区域，并且可以指从相邻摄像头的对象获取的相邻图像中的重叠区域。
例如，第一重叠区域331a可以包括在第一合成区域301中。当第二合成区域303被改变以便被放大时，第一重叠区域331a可以包括在第二合成区域303中。
以这种方式，第一重叠区域331a可以根据情况包括在第一合成区域301或第二合成区域303中。
例如，当第一重叠区域331a被包括在第二合成区域303中时，第二合成区域303可以被放大，并且位于第二合成区域303中的对象不会消失，使得驾驶员可以容易地识别对象的移动。
第一实施例
图7是示出根据实施例的用于提供周围视野的装置的处理器的配置的框图。
参照图7，根据实施例的周围视野提供装置100的处理器170可以包括图像获取单元350、对象跟踪单元355、周围视野生成单元360和周围视野调制单元365。
图像获取单元350可以从第一摄像头至第四摄像头160a、160b、160c和160d拍摄的第一至第四图像321、323、325和327获取数字图像。
如果第一摄像头至第四摄像头160a、160b、160c和160d设置有用于获取数字图像的装置，则可以省略图像获取单元350。
可以将从图像获取单元350获取的第一至第四图像321、323、325和327提供给对象跟踪单元355和周围视野生成单元360。
对象跟踪单元355可以从图像获取单元350获取的第一至第四图像321、323、325和327中提取对象。
对象可以是移动的生物或不移动的生物。
作为示例，可以如下提取对象，但是实施例不限于此。
首先，可以校正从图像获取单元350获取的第一至第四图像321、323、325和327中包括的失真，可以使用边缘检测算法从校正的第一至第四图像321、323、325和327获取对象特征，并且可以基于对象特征提取对象。
作为另一示例，可以基于视差信息在图像321、323、325和327中的每一个中执行分段处理，以生成分段信息，在分段信息中背景和前景彼此分离。然后，可以基于片段信息提取对象。
对象跟踪单元355不仅可以提取对象，还可以跟踪提取的对象的移动。实时拍摄的第一至第四图像321、323、325和327可以由多个帧组成。为了跟踪对象的移动，例如，当从每个帧提取对象时，可以跟踪帧之间的对象的改变，以便可以检测对象的移动。
可以通过跟踪对象的移动来识别对象的移动路线和移动方向。
因此，对象跟踪单元355可以生成与对象的移动有关的对象信息。对象信息可以包括对象位置、对象的移动方向、对象的移动路线等。
同时，周围视野生成单元360可以基于从图像获取单元350获取的第一至第四图像321、323、325和327生成包括第一合成区域至第四合成区域301、303、305和307的周围视野图像。第一至第四图像321、323、325和327可以是从第一摄像头至第四摄像头160a、160b、160c和160d获取的图像。
为此目的，周围视野生成单元360可以访问存储器140以读取存储在存储器140中的合成信息。
周围视野生成单元360可以基于合成信息从第一至第四图像321、323、325和327生成第一合成区域至第四合成区域301、303、305和307，并且可以通过合成第一合成区域至第四合成区域301、303、305和307生成周围视野，使得第一合成区域至第四合成区域301、303、305和307关于第一至第四边界线311、313、315和317彼此相邻。
周围视野调制单元365可以基于从对象跟踪单元355接收的对象信息和距离信息来调制由周围视野生成单元360生成的周围视野图像。
对象信息可以包括对象的位置、对象的移动方向、对象的移动路线等。
将参考图8详细描述调制周围视野的方法。
周围视野调制单元365可以基于从对象跟踪单元355生成的对象信息来识别对象的移动。
周围视野调制单元365可以基于对象信息预测对象将在车辆700的哪个方向上接近并通过。相反，当车辆700在运行中时，可以预测对象将沿车辆700的哪一侧通过。
基于上述预测，可以预测诸如摩托车等对象将沿车辆700的右侧通过，如图8a至图8d所示。
当预测对象将沿车辆700的右侧通过时，周围视野调制单元365可以确认对象接近车辆700的程度。
也就是说，例如，周围视野调制单元365可以基于从距离传感器150输入的距离信息来确认对象的接近程度。
代替使用距离传感器150，可以从从第一摄像头至第四摄像头160a、160b、160c和160d获取的第一至第四图像321、323、325和327直接计算对象与车辆700之间的距离，但实施例不限于此。
当对应对象在预定距离内接近时，周围视野调制单元365可以调制从周围视野生成单元360输入的周围视野图像。
当对应对象在预定距离内接近时，周围视野调制单元365可以以改变模式运行。
具体地，如图8a所示，当预测对象将在预定距离内接近并沿车辆700的左侧通过时，第一边界线311和第二边界线313的位置可以被改变为周围视野图像中的第一合成区域301和第三合成区域305中的位置。
因此，如图8b所示，另一条边界线，即第一改变的边界线341可以设置在第一合成区域301中的第一位置处而不是第一边界线311处，另一条边界线，即第二改变的边界线343可以设置在第二合成区域303中的第二位置处而不是第二边界线313处。由于新设置的第一边界线311和第二边界线13，可以扩大第二合成区域303的尺寸，并可以减小第一合成区域301和第三合成区域305的尺寸。
关于第一边界线311彼此相邻设置的第一合成区域301和第二合成区域303可以关于已经新改变的第一改变的边界线341彼此相邻地设置。
类似地，关于第二边界线313彼此相邻设置的第二合成区域303和第三合成区域305可以关于已经新改变的第二改变的边界线343彼此相邻地设置。
在这种情况下，第一边界线311和第一改变的边界线341之间的区域可以是第一重叠区域345，其可以是第一合成区域301或第二合成区域303的一部分。
另外，第二边界线313和第二改变的边界线343之间的区域可以是第二重叠区域347，其可以是第二合成区域303或第三合成区域305的一部分。
第一改变的边界线341和第二改变的边界线343可以与图像的两端重合，对应于第二摄像头160b的最大广角，但是实施例不限于此。
因此，即使第二合成区域303被放大到第一重叠区域345和第二重叠区域347，由于第二合成区域303以及第一重叠区域345和第二重叠区域347是从第二摄像头160b获取的第二图像323生成，可以保持视点的连续性，使得属于第二合成区域303以及第一重叠区域345和第二重叠区域347的对象可以连续保持优异的图像质量而不会重叠或消失。
特别地，由于第一边界线311和第二边界线313被改变为对象不通过的另一区域，因此可以解决当对象通过第一边界线和第二边界线时对象重叠或消失的传统问题。
尽管图8b示出了对周围视野图像进行调制，使得第二合成区域303同时扩展到第一重叠区域345和第二重叠区域347中，但是实施例不限于此。
例如，当摩托车在预定距离内接近车辆700时，第二合成区域303被放大以包括第一重叠区域345，并且当摩托车进入车辆700的左侧时，合成区域可以被放大以包括第二重叠区域347。第二合成区域303可以被放大以顺序地包括第一重叠区域345和第二重叠区域347。
当如图8b所示调制周围视野图像时，在如图8c所示的摩托车通过车辆700的右侧的同时，摩托车不会在周围视野图像中消失或重叠。
同时，如图8d所示，当摩托车已经从车辆700的右侧通过车辆700的后部时，周围视野调制单元365可以恢复原始的周围视野图像，但是实施例不限于此。
具体地，第一改变的边界线341和第二改变的边界线343可以被重置为第一边界线311和第二边界线313，并且可以关于已经重置的第一边界线311和第二边界线313生成第一至第三合成区域301、303和305，使得可以恢复原始的周围视野图像以及第四合成区域307。
第二实施例
根据第二实施例的处理器170的配置与图7中所示的配置相同。
然而，根据第二实施例的调制周围视野的方法与第一实施例的方法不同。
也就是说，根据第一实施例，当对象在预定距离内接近车辆700时，位于对象行进方向上的特定合成区域的尺寸可以被放大以包括位于特定合成区域上的重叠区域。因此，对象可以通过包括从相同摄像头获取的重叠区域的特定合成区域。
相反，根据第二实施例，当对象在距车辆的预定距离内接近时，位于对象行进方向上的特定合成区域的尺寸可以被放大以包括特定合成区域的两侧上的重叠区域，并且基于特定合成区域和相邻合成区域中的每一个的权重值，重叠区域可以从特定合成区域逐渐地或顺序地改变到相邻的合成区域。
换句话说，可以在重叠区域的整个区域单元中将图像从第一合成区域的图像改变为第二合成区域的图像预定时间段。例如，假设预定时间被分成第一时间到第三时间t1、t2和t3的单位。在这种情况下，整个重叠区域可以在预定时间内的第一时间t1期间从第一合成区域的图像改变为第二合成区域的图像，整个重叠区域可以在预定时间内的第二时间t2期间从第一合成区域的图像改变为第二合成区域的图像，并且整个重叠区域可以在预定时间内的第三时间t3期间从第一合成区域的图像改变为第二合成区域的图像。
在下文中，将详细描述第二实施例。
在权重图中可以根据合成区域301、303、305和307和重叠区域中的时间设置权重值。
基于权重值计算的调制的周围视野图像(Iout(x，y))可以表示为等式1。
[等式1]
Iout(x，y)＝Ifr(x，y)×α(x，y)+Irg(x，y)×(1-α(x，y))
在等式1中，x、y表示图像的坐标，Ifr和Irg分别表示第一合成区域301和第二合成区域303的图像，α(x，y)表示平均权重值。
这里，平均权重值可以表示为等式2。
[等式2]
α(x，y)＝α1(x，y)×(1-t)+α2(x，y)×t
在等式2中，α1(x，y)表示第一合成区域301的权重值，α2(x，y)表示第二合成区域303的权重值，t表示时间。
平均权重值可以是第一合成区域301的权重值与第二合成区域303的权重值之和，并且可以考虑时间。
例如，当假设t以0.1秒为单位变化时，每0.1秒计算根据等式2的权重值，并且将计算的权重值代入等式1以获取位于相邻的合成区域和它们之间的重叠区域中的调制的周围视野图像。
如图5a至图5e的下端部分所示，首先，可以生成重叠区域345作为第一摄像头160a生成的第一合成区域301的图像。然而，随着时间推移，可以生成重叠区域345作为第二摄像头160b生成的第二合成区域303的图像而不是第一合成区域301的图像。最终，可以生成重叠区域345完全作为第二合成区域303的图像。
第二实施例与第一实施例的不同之处在于，相邻合成区域之间的重叠区域345从第一合成区域301的图像顺序地改变到第二合成区域303的图像，使得图像可以平滑改变，从而防止了图像的突然变化引起的不自然感等不便。
第三实施例
与第一和第二实施例不同，第三实施例涉及当对象接近至少两条边界线时的屏幕(screen)配置。
图9是示出根据另一实施例的处理器的配置的框图。
图9中所示的图像获取单元350、对象跟踪单元355、周围视野生成单元360和周围视野调制单元365与图7中所示的那些相同，并且已经描述过，因此将省略对其的进一步说明。
屏幕生成单元370可以配置屏幕，使得从周围视野调制单元365输入的调制的周围视野图像可以显示在显示单元180上。
另外，当在调制的周围视野图像中放大特定合成区域，使得边界线被改变并且另一个对象位于改变的边界线上以使得另一个对象消失时，屏幕生成单元370可以基于从对象跟踪单元355输入的对象的移动信息，在单独的屏幕上显示从拍摄另一个对象所在的部分的摄像头获取的图像，以便清楚地检测另一个对象的移动。
如图10a所示，包括第一合成区域至第四合成区域301、303、305和307的周围视野图像可以显示在第一屏幕371上。周围视野图像可以显示在第一屏幕371的整个区域上，但是实施例不限于此。
当包括周围视野图像的第一屏幕371正在显示单元180上显示时，第一对象(例如，人)可能从车辆的前侧接近车辆并且沿车辆的右侧行走。第二对象(例如，自行车)可能从车辆的左前侧向右侧行进。
在这种情况下，如图10b所示，当预测第一对象将沿车辆的右侧通过时，处理器170可以生成被修正过的调制的周围视野图像，使得第二合成区域303可以包括包括在第一合成区域301中的第一重叠区域345和包括在第三合成区域305中的第二重叠区域347。调制的周围视野图像可以包括在第一屏幕371中。
因此，新改变的第二合成区域303可具有足以包括第一重叠区域345和第二重叠区域347以及第二合成区域303的尺寸，并且可以从第二摄像头160b获取的第二图像323生成第二合成区域303以及第一重叠区域345和第二重叠区域347。从第一实施例和第二实施例可以容易地理解细节。
因此，车辆的右侧可以被新改变的第二合成区域303完全覆盖，使得即使第一对象沿车辆的右侧通过也不会发生重叠或消失，如图10c所示。
然而，第二对象可以经由第一车辆的前侧通过新改变的第二合成区域303与第一合成区域301之间的边界线361，并且第二对象可以从边界线361消失。
当对象位于边界线361上并且边界线361不能被改变时，屏幕生成单元370可以将屏幕划分为至少一个或多个屏幕。
也就是说，如图10d所示，屏幕生成单元370可以将屏幕划分为第一屏幕371和第二屏幕373，使得第一屏幕371可以包括调制的周围视野图像，第二屏幕373可以包括从前向摄像头(也就是，第一摄像头160a)获取的第一图像321。
从第一摄像头160a获取的第一图像321可以覆盖调制的周围视野图像的第一重叠区域345以及第一合成区域301。
因此，当在第二屏幕373上显示从第一摄像头160a获取的第一图像321时，可以由从第一摄像头160a获取的第一图像321在第二屏幕上显示第二对象的移动，即使由于第二对象位于调制的周围视野图像的边界线361上而使得第二对象从调制的周围视野图像中消失。因此，驾驶员可以从第一屏幕371上显示的调制的周围视野图像识别第一对象的移动，并且可以从第一摄像头160a获取的并显示在第二屏幕373的第一图像321识别第二对象的移动。
如果另一个对象另外位于调制的周围视野图像的另一个边界线上，使得另一个对象消失，则可以进一步设置第三屏幕(未示出)以显示从拍摄另一个对象所在的部分的摄像头获取的图像。
同时，如图10d所示，可以显示覆盖区域375和377以强调特定部分。覆盖区域375和377可以覆盖在现有图像上，但是实施例不限于此。
例如，第一覆盖区域375可以显示在第一重叠区域345上，第一重叠区域345包括第一屏幕371中调制的周围视野图像的边界线361，并且第二覆盖区域377可以沿第二屏幕373的边缘显示，第二屏幕373包括从第一摄像头160a获取的第一图像321。
可以通过覆盖区域375和377引起驾驶员的注意，使得驾驶员可以更主动地采取必要的步骤来防止事故。
根据实施例，当至少两个对象接近车辆时，可以通过改变特定合成区域来完美地识别一个对象的移动，但是不可能改变其他对象的特定合成区域。因此，在对象位于边界线361上的情况下，可以显示从能够拍摄边界线361附近的部分的摄像头160a、160b、160c和160d获取的图像以特别地识别位于相应边界线361上的对象的移动，使得即使至少两个对象接近车辆，也可以容易地识别至少两个对象的移动。
第四实施例
根据第四实施例，当周围视野图像的合成区域改变时，驾驶员可以识别周围视野图像的合成区域的改变。
图11是示出根据又一实施例的处理器的配置的框图。
除了屏幕生成单元372之外，图11中所示的部件与图7中所示的那些相同。因此，在关注屏幕生成单元372的同时进行以下描述。
屏幕生成单元372可以生成包括识别条的屏幕，该识别条能够基于从周围视野调制单元365输入的调制的周围视野图像来识别调制的周围视野图像的合成区域的改变。
如图12a所示，包括第一合成区域至第四合成区域301、303、305和307的周围视野图像可以在正常模式下显示在屏幕上。在这种情况下，周围视野图像可以与识别条384、385、386和387以及车辆形状一起显示。识别条384、385、386和387可以围绕车辆形状设置，但是实施例不限于此。
识别条可以包括多个识别条384、385、386和387。可以设置与包括在调制的周围视野图像中的第一合成区域至第四合成区域301、303、305和307一样多的多个识别条384、385、386和387。
第一识别条384可以具有与周围视野图像的第一合成区域301的尺寸相对应的尺寸。第二识别条385可以具有与周围视野图像的第二合成区域303的尺寸相对应的尺寸。第三识别条386可以具有与周围视野图像的第三合成区域305的尺寸相对应的尺寸。第四识别条387可以具有与周围视野图像的第四合成区域307的尺寸相对应的尺寸。
如图12b所示，周围视野图像可以由于对象的接近而被调制，使得可以生成调制的周围视野图像。也就是说，如果预测对象将接近车辆并且沿车辆的右侧通过，则可以生成调制的周围视野图像，在该调制的周围视野图像中第二合成区域303被改变为包括周围视野图像中的第一重叠区域345和第二重叠区域347。
如图12c所示，由于调制的周围视野图像，即使对象沿车辆的右侧通过，也可以防止对象消失。
如图12b和图12c所示，第一合成区域301和第三合成区域305也可以对应于调制的周围视野图像中的第二合成区域303的改变而改变。
当第一至第三合成区域301、303和305被改变时，第一至第三识别条384、385和386也可以对应于第一至第三合成区域301、303和305的改变而改变。
也就是说，在第一识别条384和第三识别条386中的每一个的尺寸减小的同时第二识别条385的尺寸扩大。
如图12d所示，当对象已经完全通过车辆的右侧时，可以将调制的对象视野图像恢复为原始的对象视野图像。因此，第一至第三识别条384、385和386的尺寸也可以恢复到原始尺寸。
第五实施例
根据第五实施例的处理器170的配置与图9中所示的配置相同。
也就是说，与第一实施例和第二实施例不同，第五实施例涉及在周围视野图像的边界线不根据对象的接近而改变的情况下的屏幕配置，例如，当对象接近至少两条边界线。
如图13所示，当特定对象从车辆700的前侧进入周围视野图像的第一合成区域301和第二合成区域303之间的边界线361时，对象可能由于边界线361而重叠或消失。
在这种情况下，驾驶员可能无法识别对象，从而可能发生事故。
根据第五实施例，处理器170可以在特定对象进入特定边界线(即，第一合成区域301和第二合成区域303之间的边界线361)时控制输出警告声音。警告声音可以通过图1中所示的音频输出单元185输出。
作为另一示例，处理器170可以显示图像，在该图像中，当特定对象进入边界线361时，边界线361或与边界线361相邻的区域闪烁。
第六实施例
第六实施例类似于第三实施例(图10)。也就是说，第六实施例涉及的情况为：当至少两个对象接近车辆时，通过改变特定合成区域可以完美地识别一个对象的移动，但是不可能改变另一个对象的特定合成区域使得对象可以位于边界线上，而且，从第三摄像头160c获取的后向图像显示在屏幕上，因为车辆以向后行驶模式中向后行驶，使得可能不再生成另外的屏幕。
如图14a所示，第二合成区域303可以在第一对象(例如人)沿车辆的右侧通过之前通过调制的周围视野图像被放大。因此，即使第一对象通过车辆的右侧，也可以防止第一对象从调制的周围视野图像中消失。可以通过第一屏幕371显示调制的周围视野图像。
然而，当第二对象(例如，自行车)在朝向车辆的前方移动的同时位于调制的周围视野图像的边界线361上时，第二对象可能从调制的周围视野图像中消失。
根据第三实施例，可以直接显示从第一摄像头160a获取的第一图像321，使得可以清楚地识别可以如上所述可能消失的第二对象的移动。
根据第六实施例，如图14b所示，由第三摄像头160c获取的第三图像325在后向行驶模式下显示在第二屏幕385上，使得额外的屏幕可能不可用。也就是说，显示单元180的屏幕可能最多分成两个屏幕371和385。
在这种情况下，如图14b所示，当即使第二对象从调制的周围视野图像中消失，也不能在屏幕上另外显示与第二对象相关的图像时，处理器170可以在第二对象进入边界线361时控制输出警告声音。该警告声音可以通过图1中所示的音频输出单元185输出。
处理器170可以在对应边界线361和第一重叠区域345的一部分上显示第一覆盖区域381。此外，可以沿第二屏幕385的边缘显示第二覆盖区域383，该第二屏幕385包括从第三摄像头160c获取的第三图像325。
可以通过覆盖区域381和383引起驾驶员的注意，使得驾驶员可以更主动地采取必要的步骤来防止事故。
前面的详细描述在所有方面都被认为是说明性的而非限制性的。本发明的范围应通过对所附权利要求的合理解释来确定，并且在本发明的等同物的范围内的所有改变都将落入本发明的范围内。
【工业适用性】
实施例可适用于燃料车辆。
实施例可适用于诸如电动车辆或氢气车辆等环境友好型车辆。
实施例可适用于诸如智能汽车、联网汽车或自主驾驶车辆等未来的车辆。

Claims (10)

1.一种用于提供周围视野的装置，所述装置包括：
第一摄像头和第二摄像头，被配置为获取第一图像信息和第二图像信息；以及
处理器，
其中，所述处理器被配置为：
基于第一图像和第二图像生成包括第一区域和第二区域的周围视野图像，所述第一区域包括对象重叠区域，所述第二区域不包括对象重叠区域，其中，所述对象重叠区域设置在第一图像和第二图像中的第一边界线和第二边界线之间，所述第一边界线位于第一区域中，所述第二边界线邻接第二区域，以及
当预测在预定距离内第一对象由于第一对象的接近而通过第二边界线时，生成周围视野图像，在所述周围视野图像中第二区域被改变以包括对象重叠区域。
2.根据权利要求1所述的装置，其中，当所述第二区域被放大以包括与对象重叠区域对应的区域时，从第一区域排除与对象重叠区域对应的区域，使得第一区域减小。
3.根据权利要求1所述的装置，其中，所述处理器将第二边界线的位置改变到第一边界线的位置，以改变第二区域。
4.一种用于提供周围视野的装置，所述装置包括：
第一摄像头和第二摄像头，被配置为获取第一图像信息和第二图像信息；以及
处理器，
其中，所述处理器被配置为：
基于获取的第一图像和第二图像生成包括第一合成区域和第二合成区域的周围视野图像，所述第一合成区域包括重叠区域，所述第二合成区域不包括重叠区域，其中，所述重叠区域位于第一边界线和第二边界线之间，所述第一边界线位于第一合成区域中，所述第二边界线邻接第二合成区域，以及
当预测在预定距离内第一对象由于第一对象的接近而通过第二边界线时，生成调制的周围视野图像，在所述调制的周围视野图像中第二合成区域被放大以包括所述重叠区域，并且所述重叠区域被从第一合成区域排除使得第一合成区域减小。
5.根据权利要求4所述的装置，其中，所述处理器恢复周围视野图像，在所述周围视野图像中，当第一对象已经通过第二边界线时，第一合成区域被放大以包括重叠区域。
6.根据权利要求4所述的装置，其中，所述处理器包括：
对象跟踪单元，被配置为从获取的第一图像和第二图像中的至少一个提取至少一个对象，并跟踪提取的至少一个对象的移动；
周围视野生成单元，被配置为基于获取的第一图像和第二图像生成包括第一合成区域和第二合成区域的周围视野图像，所述第一合成区域包括重叠区域，所述第二合成区域不包括重叠区域；以及
周围视野调制单元，被配置为生成调制的周围视野图像，其中，基于跟踪的对象的移动和距离信息，第二合成区域被放大以包括重叠区域。
7.根据权利要求6所述的装置，其中，所述处理器还包括：
屏幕生成单元，被配置为当第二合成区域被放大到第一边界线并且第二对象通过调制的周围视野图像中的第一边界线时，生成用于显示从拍摄第二对象所在的部分的摄像头获取的图像的屏幕。
8.根据权利要求7所述的装置，其中，当即使第二合成区域被放大到第一边界线并且第二对象通过第一边界线，也没有用于显示从拍摄第二对象所在的部分的摄像头获取的图像的屏幕时，处理器输出警告声音并在调制的周围视野图像的第一边界线附近显示覆盖区域。
9.根据权利要求6所述的装置，其中，所述处理器还包括：
屏幕生成单元，被配置为生成包括多个识别条的屏幕，所述多个识别条被配置为基于生成的调制的周围视野图像来识别调制的周围视野图像的合成区域是否被放大；以及
显示单元，被配置为显示包括多个识别条的屏幕。
10.根据权利要求9所述的装置，其中，设置多个合成区域，并且识别条分别设置在多个合成区域中，以具有与合成区域的每个区域相对应的区域。
CN201880007031.6A 2017-01-13 2018-01-12 用于提供周围视野的装置 Active CN110177723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170006432A KR102551099B1 (ko) 2017-01-13 2017-01-13 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
KR10-2017-0006432 2017-01-13
PCT/KR2018/000643 WO2018131949A1 (ko) 2017-01-13 2018-01-12 어라운드뷰 제공장치

Publications (2)

Publication Number Publication Date
CN110177723A true CN110177723A (zh) 2019-08-27
CN110177723B CN110177723B (zh) 2022-11-04

Family

ID=62840617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880007031.6A Active CN110177723B (zh) 2017-01-13 2018-01-12 用于提供周围视野的装置

Country Status (6)

Country Link
US (2) US11084423B2 (zh)
EP (1) EP3569461B1 (zh)
JP (1) JP7242531B2 (zh)
KR (1) KR102551099B1 (zh)
CN (1) CN110177723B (zh)
WO (1) WO2018131949A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139897A (zh) * 2020-01-16 2021-07-20 现代摩比斯株式会社 全景视图合成系统和方法
CN116912517A (zh) * 2023-06-06 2023-10-20 阿里巴巴（中国）有限公司 相机视野边界的检测方法及装置
CN116916156A (zh) * 2023-08-16 2023-10-20 深圳金语科技有限公司 一种监视系统分视野显示方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
FR3079924B1 (fr) * 2018-04-10 2021-10-29 Genetec Inc Suivi par geolocalisation
US10586456B2 (en) * 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
CN108995592B (zh) * 2018-08-02 2021-06-15 张士文 汽车影像系统
KR102063957B1 (ko) * 2019-07-19 2020-01-08 주식회사 아이엔티코리아 지게차 작업사고를 방지하는 방법 및 시스템
WO2021054500A1 (ko) * 2019-09-20 2021-03-25 엘지전자 주식회사 이미지 생성 방법 및 이미지 생성 장치
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
US11161456B1 (en) * 2020-03-17 2021-11-02 Ambarella International Lp Using the image from a rear view camera in a three-camera electronic mirror system to provide early detection of on-coming cyclists in a bike lane
CN114516338A (zh) * 2020-11-17 2022-05-20 佳骏科技股份有限公司 行车监控系统
KR102327860B1 (ko) 2021-06-14 2021-11-17 주식회사 에이스뷰 차량용 다채널 어라운드뷰 모니터링 방법 및 시스템
CN113747119A (zh) * 2021-07-30 2021-12-03 的卢技术有限公司 一种远程查看车辆周围环境的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116801A1 (ja) * 2009-04-06 2010-10-14 三洋電機株式会社 画像処理装置
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
JP2015026989A (ja) * 2013-07-26 2015-02-05 株式会社デンソー 車両周辺監視装置およびプログラム
EP2921992A2 (en) * 2014-03-18 2015-09-23 Ricoh Company, Ltd. Image processing device, drive support system, image processing method, and program
KR101567405B1 (ko) * 2014-04-30 2015-11-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US20150350607A1 (en) * 2014-05-30 2015-12-03 Lg Electronics Inc. Around view provision apparatus and vehicle including the same
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51102376A (ja) 1975-01-31 1976-09-09 Tokyo Shibaura Electric Co Shomeisochi
JP4883977B2 (ja) 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
WO2009040872A1 (ja) * 2007-09-25 2009-04-02 Fujitsu Limited 画像合成装置及び方法
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5500877B2 (ja) 2009-06-15 2014-05-21 アルパイン株式会社 車載用画像表示装置および画像のトリミング方法
US8655019B2 (en) 2009-09-24 2014-02-18 Panasonic Corporation Driving support display device
JP5187292B2 (ja) 2009-09-28 2013-04-24 三菱自動車工業株式会社 車両周辺監視装置
KR20120130456A (ko) * 2011-05-23 2012-12-03 아진산업(주) 차량의 어라운드 뷰 제공 방법
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
CN107097721B (zh) * 2011-08-26 2020-03-06 松下知识产权经营株式会社 驾驶辅助装置
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
DE112013002636B4 (de) * 2012-05-22 2019-05-09 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung
KR101905872B1 (ko) * 2012-06-01 2018-10-08 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 표시 방법
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
JP6349637B2 (ja) * 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
CN106464847B (zh) * 2014-06-20 2019-06-25 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
KR102300652B1 (ko) * 2015-01-19 2021-09-10 현대모비스 주식회사 차량 및 그 제어 방법
CN109313018B (zh) * 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116801A1 (ja) * 2009-04-06 2010-10-14 三洋電機株式会社 画像処理装置
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
JP2015026989A (ja) * 2013-07-26 2015-02-05 株式会社デンソー 車両周辺監視装置およびプログラム
EP2921992A2 (en) * 2014-03-18 2015-09-23 Ricoh Company, Ltd. Image processing device, drive support system, image processing method, and program
KR101567405B1 (ko) * 2014-04-30 2015-11-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US20150350607A1 (en) * 2014-05-30 2015-12-03 Lg Electronics Inc. Around view provision apparatus and vehicle including the same
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139897A (zh) * 2020-01-16 2021-07-20 现代摩比斯株式会社 全景视图合成系统和方法
CN116912517A (zh) * 2023-06-06 2023-10-20 阿里巴巴（中国）有限公司 相机视野边界的检测方法及装置
CN116912517B (zh) * 2023-06-06 2024-04-02 阿里巴巴（中国）有限公司 相机视野边界的检测方法及装置
CN116916156A (zh) * 2023-08-16 2023-10-20 深圳金语科技有限公司 一种监视系统分视野显示方法及系统
CN116916156B (zh) * 2023-08-16 2023-12-05 深圳金语科技有限公司 一种监视系统分视野显示方法及系统

Also Published As

Publication number Publication date
US20210331623A1 (en) 2021-10-28
US20190351824A1 (en) 2019-11-21
EP3569461A4 (en) 2020-11-18
US11661005B2 (en) 2023-05-30
US11084423B2 (en) 2021-08-10
CN110177723B (zh) 2022-11-04
KR102551099B1 (ko) 2023-07-05
EP3569461B1 (en) 2023-12-27
JP2020516100A (ja) 2020-05-28
JP7242531B2 (ja) 2023-03-20
KR20180083762A (ko) 2018-07-23
WO2018131949A1 (ko) 2018-07-19
EP3569461A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
CN110177723A (zh) 用于提供周围视野的装置
CN109476315B (zh) 驾驶员辅助装置及具有该装置的车辆
EP3093192B1 (en) Rear combination lamp for vehicle comprising a display
CN107021017B (zh) 车辆用环视提供装置以及车辆
CN106467060B (zh) 显示装置及包括该显示装置的车辆
CN107226027B (zh) 显示装置及包括其的车辆
CN106240457B (zh) 车辆驾驶辅助装置及车辆
CN107914713A (zh) 车辆用显示装置及包括其的车辆
CN106956676B (zh) 转向装置以及车辆
CN108010053A (zh) 提供环视图像的装置和方法、车辆及计算机可读存储介质
CN106205175A (zh) 用于车辆的显示设备和车辆
CN107891809A (zh) 自动驻车辅助装置、提供自动驻车功能的方法以及车辆
CN107364390A (zh) 设于车辆的控制装置、车辆及其控制方法
KR101790426B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR102470298B1 (ko) 카메라 보정 방법 및 장치
US10703374B2 (en) Vehicle driving assisting apparatus and vehicle comprising same
KR101897350B1 (ko) 차량 운전 보조장치
US20210333869A1 (en) Vehicle control device and vehicle control method
KR20190033998A (ko) 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
KR101894636B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101737236B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101929288B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant