CN108216032A - 车辆用环视监控装置、车辆运行控制装置以及车辆 - Google Patents

车辆用环视监控装置、车辆运行控制装置以及车辆 Download PDF

Info

Publication number
CN108216032A
CN108216032A CN201710155255.9A CN201710155255A CN108216032A CN 108216032 A CN108216032 A CN 108216032A CN 201710155255 A CN201710155255 A CN 201710155255A CN 108216032 A CN108216032 A CN 108216032A
Authority
CN
China
Prior art keywords
processor
image
vehicle
camera
looking around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710155255.9A
Other languages
English (en)
Other versions
CN108216032B (zh
Inventor
韩基薰
尹相烈
朴重熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108216032A publication Critical patent/CN108216032A/zh
Application granted granted Critical
Publication of CN108216032B publication Critical patent/CN108216032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B60R1/074—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators for retracting the mirror arrangements to a non-use position alongside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06T3/047—
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

本发明提供一种车辆用环视监控装置、车辆运行控制装置以及车辆，本发明的实施例的车辆用环视监控装置，其中，包括：多个照相机，贴附在车体的移动部分以及固定部分中的一种以上的部分；显示部；以及处理器，获取所述移动部分的移动信息，所述处理器将所述多个照相机获取的多个影像进行整合而生成环视影像，所述处理器基于所述移动信息对所述环视影像进行校正，所述处理器以通过所述显示部输出校正的所述环视影像的方式进行控制。

Description

车辆用环视监控装置、车辆运行控制装置以及车辆
技术领域
本发明涉及车辆用环视监控装置、车辆运行控制装置以及车辆。
背景技术
车辆是用于将乘坐的用户朝所需的方向移动的装置。作为代表性的可举例有汽车。
另外，为了给利用车辆的用户提供便利，车辆中配备各种传感器和电子装置成为一种趋势。特别是，为了用户的驾驶便利而积极进行关于车辆驾驶辅助系统(ADAS：Advanced Driver Assistance System)研究。进一步，积极开展有关于自主行驶汽车(Autonomous Vehicle)的开发。
最近，车辆上使用有环视监控装置(AVM：Around view monitoring system)。在现有技术的环视监控装置中，对车辆上贴附的多个照相机获取的影像进行整合，从而将生成的环视图像提供给乘坐者。
如果照相机贴附在诸如侧镜、车门、背门的移动的部分上时，照相机将随着侧镜、车门、背门的移动而移动，从而生成不准确的环视图像。
发明内容
为了解决上述的问题，本发明的实施例的目的在于提供一种车辆用环视监控装置，在移动部分移动的状况下，也能够提供未被失真的环视影像。
并且，本发明的实施例的目的在于提供一种包括车辆用环视监控装置的车辆运行控制装置。
并且，本发明的实施例的目的在于提供一种包括车辆用环视监控装置的车辆。
本发明的目的并不限定于以上提及到的目的，本领域的技术人员能够通过以下的记载明确理解未被提及到的其他目的。
为了实现所述目的，本发明的实施例的车辆用环视监控装置，其中，包括：多个照相机，贴附在车体的移动部分以及固定部分中的一种以上的部分；显示部；以及处理器，获取所述移动部分的移动信息，所述处理器将所述多个照相机获取的多个影像进行整合而生成环视影像，所述处理器基于所述移动信息对所述环视影像进行校正，所述处理器控制通过所述显示部输出校正的所述环视影像。
为了实现所述目的，本发明的实施例的车辆运行控制装置，其中，包括：以上所述的车辆用环视监控装置；对象检测传感器，包括照相机、雷达、激光雷达、超声波传感器以及红外线传感器中的一种以上，所述对象检测传感器检测车辆周边的对象，生成与所述对象相关的信息；以及控制部，基于与所述对象相关的信息来生成用于控制车辆的移动的第二控制信号，所述控制部基于所述第一控制信号以及所述第二控制信号，控制车辆驱动装置以使所述车辆移动。
为了实现所述目的，本发明的实施例的车辆，其中，包括：以上所述的车辆用环视监控装置。
其他实施例的具体事项包括于详细的说明及附图中。
本发明的实施例具有如下效果的一种或其以上。
第一、根据移动部分的移动信息对环视影像进行校正，从而向乘坐者提供与车辆的状态相符合的环视影像。
第二、通过输出环视影像的校正与否，能够使乘坐者认知到车辆的状态。
第三、通过控制对与随着移动部分的移动而发生的死角区域对应的区域进行高亮处理，能够使乘坐者认知到死角区域。
第四、根据移动部分的移动信息而调节照相机的姿势，从而提供更加准确的环视影像。
第五、通过设置有辅助照相机，能够补充改善死角区域。
第六、通过输出移动部分的移动状态信息，能够使乘坐者认知到车辆的状态。
本发明的效果并不限定于以上提及到的效果，本领域的技术人员能够从权利要求书的记载明确理解未被提及到的其他效果。
附图说明
图1是示出本发明的实施例的车辆的外观的图。
图2是从外部的多种角度看去本发明的实施例的车辆的图。
图3至图4是示出本发明的实施例的车辆的内部的图。
图5至图6是在说明本发明的实施例的对象时作为参照的图。
图7是在说明本发明的实施例的车辆时作为参照的框图。
图8A是在说明本发明的实施例的车辆用环视监控装置中包括的多个照相机时作为参照的图。
图8B是本发明的实施例的车辆用环视监控装置生成的环视影像的一实施例。
图9是在说明本发明的实施例的车辆用环视监控装置时作为参照的框图。
图10A至图12是在说明本发明的实施例的在侧镜折叠的状况下车辆用环视监控装置的动作时作为参照的图。
图13A至图15是在说明本发明的实施例的在前门打开的状况下车辆用环视监控装置的动作时作为参照的图。
图16A至17是在说明本发明的实施例的在后门打开的状况下车辆用环视监控装置的动作时作为参照的图。
图18A至图20是在说明本发明的实施例的在背门打开的状况下车辆用环视监控装置的动作时作为参照的图。
图21A至图21D是在说明本发明的实施例的在移动部分的移动完毕的状态下基于校正的环视影像来检测对象的动作时作为参照的图。
图22A至图22B是在说明本发明的实施例的与对象检测对应的输出警报的动作时作为参照的图。
图23是在说明本发明的实施例的提供用于控制移动部分的信号的动作时作为参照的图。
图24A至图24B是在说明本发明的实施例的输出乘坐者的座位占用状况信息的动作时作为参照的图。
图25至图27B是在说明本发明的实施例的基于校正的环视影像来执行自主驻车的动作时作为参照的图。
图28至图29是在说明本发明的实施例的基于校正的环视影像来辅助行驶的动作时作为参照的图。
图30是在说明本发明的实施例的车辆运行控制装置时作为参照的框图。
附图标记的说明
100：车辆 800：车辆用环视监控装置
具体实施方式
以下参照附图对本说明书所揭示的实施例进行详细的说明，在此，与附图标记无关的对相同或类似的结构元件赋予相同的参照标记，并将省去对其重复的说明。在以下说明中使用的针对结构元件的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用，其自身并不带有相互区分的含义或作用。并且，在对本发明揭示的实施例进行说明的过程中，如果判断为对于相关的公知技术的具体说明会导致混淆本说明书所揭示的实施例的技术思想，则将省去对其详细的说明。并且，所附的附图仅是为了容易理解本说明书所揭示的实施例，不应由所附的附图来限定本发明所揭示的技术思想，而是应当涵盖了本发明的思想及技术范围中所包括的所有变更、均等物乃至替代物。
第一、第二等包含序数的术语可用于说明多种结构元件，但是所述结构元件并不由所述术语所限定。所述术语仅是用于将一个结构元件与其他结构元件区分的目的来使用。
如果提及到某个结构元件“连接”或“接触”于另一结构元件，其可能是直接连接于或接触于另一结构元件，但也可被理解为是他们中间存在有其他结构元件。反之，如果提及到某个结构元件“直接连接”或“直接接触”于另一结构元件，则应当被理解为是他们之间不存在有其他结构元件。
除非在上下文明确表示有另行的含义，单数的表达方式应包括复数的表达方式。
在本申请中，“包括”或“具有”等术语仅是为了指定说明书上记载的特征、数字、步骤、动作、结构元件、部件或其组合的存在，而并不意在排除一个或其以上的其他特征或数字、步骤、动作、结构元件、部件或其组合的存在或添加的可能性。
本说明书中说明的车辆可以是包括汽车、摩托车的概念。以下，对于车辆将以汽车为主进行说明。
本说明书中所述的车辆可以是将作为动力源具有引擎的内燃机车辆、作为动力源具有引擎和电动马达的混合动力车辆、作为动力源具有电动马达的电动汽车等均涵盖的概念。
在以下的说明中，车辆的左侧表示车辆的行驶方向的左侧，车辆的右侧表示车辆的行驶方向的右侧。
图1是示出本发明的实施例的车辆的外观的图。
图2是从外部的多种角度看去本发明的实施例的车辆的图。
图3至图4是示出本发明的实施例的车辆的内部的图。
图5至图6是在说明本发明的实施例的对象时作为参照的图。
图7是在说明本发明的实施例的车辆时作为参照的框图。
参照图1至图7，车辆100可包括：利用动力源进行旋转的车轮；转向输入装置510，用于调节车辆100的行驶方向。
车辆100可以是自主行驶车辆。
车辆100可基于用户输入而转换为自主行驶模式或手动模式(manual mode)。
例如，车辆100可基于通过用户接口装置200接收的用户输入，从手动模式转换为自主行驶模式，或者从自主行驶模式转换为手动模式。
车辆100可基于行驶状况信息转换为自主行驶模式或手动模式。
行驶状况信息可包含车辆外部的对象信息、导航信息以及车辆状态信息中的一种以上。
例如，车辆100可基于对象检测装置300生成的行驶状况信息，从手动模式转换为自主行驶模式，或者从自主行驶模式转换为手动模式。
例如，车辆100可基于通过通信装置400接收的行驶状况信息，从手动模式转换为自主行驶模式，或者从自主行驶模式转换为手动模式。
车辆100可基于外部设备提供的信息、数据、信号，从手动模式转换为自主行驶模式，或者从自主行驶模式转换为手动模式。
在车辆100以自主行驶模式运行的情况下，自主行驶车辆100可基于运行系统700来运行。
例如，自主行驶车辆100可基于行驶系统710、出车系统740、驻车系统750中生成的信息、数据或信号来运行。
在车辆100以手动模式运行的情况下，自主行驶车辆100可通过驾驶操作装置500接收用于驾驶的用户输入。车辆100可基于驾驶操作装置500接收的用户输入来运行。
总长度(overall length)表示从车辆100的前部分至后部分的长度，总宽度(width)表示车辆100的宽度，总高度(height)表示从车轮下部至车顶的长度。在以下的说明中，总长度方向L可表示作为车辆100的总长度测量的基准的方向，总宽度方向W可表示作为车辆100的总宽度测量的基准的方向，总高度方向H可表示作为车辆100的总高度测量的基准的方向。
如图7所示，车辆100可包括：用户接口装置200、对象检测装置300、通信装置400、驾驶操作装置500、车辆驱动装置600、运行系统700、导航系统770、检测部120、接口部130、存储器140、控制部170、供电部190以及环视监控装置800。
根据实施例，车辆100可还包括除了所描述的结构元件以外的其他结构元件，或者可不包括所描述的结构元件中的一部分。
用户接口装置200是用于车辆100和用户进行交流的装置。用户接口装置200可接收用户输入，并向用户提供车辆100生成的信息。车辆100可通过用户接口装置200实现用户接口(User Interfaces，UI)或用户体验(User Experience，UX)。
用户接口装置200可包括：输入部210、内部照相机220、身体特征检测部230、输出部250以及处理器270。
根据实施例，用户接口装置200可还包括除了所描述的结构元件以外的其他结构元件，或者可不包括所描述的结构元件中的一部分。
输入部210用于供用户输入信息，从输入部210收集的数据可被处理器270分析并处理为用户的控制指令。
输入部210可配置在车辆内部。例如，输入部210可配置在方向盘(steeringwheel)的一区域、仪表板(instrument panel)的一区域、座椅(seat)的一区域、各柱饰板(pillar)的一区域、车门(door)的一区域、中控台(center console)的一区域、顶板(headlining)的一区域、遮阳板(sun visor)的一区域、风挡(windshield)的一区域或车窗(window)的一区域等。
输入部210可包括：语音输入部211、举止输入部212、触摸输入部213以及机械式输入部214。
语音输入部211可将用户的语音输入转换为电信号。被转换的电信号可提供给处理器270或控制部170。
语音输入部211可包括一个以上的麦克风。
举止输入部212可将用户的举止输入转换为电信号。被转换的电信号可提供给处理器270或控制部170。
举止输入部212可包括用于检测用户的举止输入的红外线传感器以及图像传感器中的一种以上。
根据实施例，举止输入部212可检测用户的三维举止输入。为此，举止输入部212可包括用于输出多个红外线光的光输出部或多个图像传感器。
举止输入部212可通过TOF(Time of Flight)方式、结构光(Structured light)方式或视差(Disparity)方式来检测用户的三维举止输入。
触摸输入部213可将用户的触摸输入转换为电信号。被转换的电信号可提供给处理器270或控制部170。
触摸输入部213可包括用于检测用户的触摸输入的触摸传感器。
根据实施例，触摸输入部213可通过与显示部251形成一体来实现触摸屏。这样的触摸屏可一同提供车辆100和用户之间的输入接口以及输出接口。
机械式输入部214可包括按键、圆顶开关(dome switch)、操纵杆、调节旋钮(jogwheel)以及轻摇开关(jog switch)中的一种以上。由机械式输入部214生成的电信号可提供给处理器270或控制部170。
机械式输入部214可配置在方向盘、中控仪表盘(center fascia)、中控台(centerconsole)、驾驶舱模块(cockpit module)、车门等。
内部照相机220可获取车辆内部影像。处理器270可基于车辆内部影像检测用户的状态。处理器270可从车辆内部影像中获取用户的视线信息。处理器270可从车辆内部影像中检测用户的举止。
身体特征检测部230可获取用户的身体特征信息。身体特征检测部230包括可获取用户的身体特征信息的传感器，利用传感器获取用户的指纹信息、心率信息等。身体特征信息可被利用于用户认证。
输出部250用于发生与视觉、听觉或触觉等相关的输出。
输出部250可包括显示部251、音响输出部252以及触觉输出部253中的一种以上。
显示部251可显示与多种信息对应的图形对象。
显示部251可包括液晶显示器(liquid crystal display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT LCD)、有机发光二极管(organic light-emitting diode、OLED)、柔性显示器(flexible display)、3D显示器(3Ddisplay)、电子墨水显示器(e-ink display)中的一种以上。
显示部251可通过与触摸输入部213构成相互层次结构或一体地形成，从而能够实现触摸屏。
显示部251可由平视显示器(Head Up Display，HUD)来实现。在显示部251由HUD实现的情况下，显示部251可设置有投射模块，从而通过投射在风挡或车窗的图像来输出信息。
显示部251可包括透明显示器。透明显示器可贴附在风挡或车窗。
透明显示器可以具有规定的透明度的方式显示规定的画面。为使透明显示器具有透明度，透明显示器可包括透明薄膜电致发光(Thin Film Electroluminescent，TFEL)、透明有机发光二极管(Organic Light-Emitting Diode，OLED)，透明LCD(Liquid CrystalDisplay)、透射型透明显示器、透明LED(Light Emitting Diode)显示器中的一种以上。透明显示器的透明度可进行调节。
另外，用户接口装置200可包括多个显示部251a-251g。
显示部251可配置在方向盘的一区域、仪表板的一区域521a、251b、251e、座椅的一区域251d、各柱饰板的一区域251f、车门的一区域251g、中控台的一区域、顶板(headlining)的一区域，遮阳板(sunvisor)的一区域，或者可实现于风挡的一区域251c、车窗的一区域251h。
音响输出部252将处理器270或控制部170提供的电信号变换为音频信号并输出。为此，音响输出部252可包括一个以上的扬声器。
触觉输出部253用于发生触觉方式的输出。例如，触觉输出部253可通过振动方向盘、安全带、座椅110FL、110FR、110RL、110RR，来使用户能够认知输出。
处理器270可控制用户接口装置200的各单元的整体上的动作。
根据实施例，用户接口装置200可包括多个处理器270，或者可不包括处理器270。
在用户接口装置200不包括处理器270的情况下，用户接口装置200可根据车辆100内其他装置的处理器或控制部170的控制来进行动作。
另外，可将用户接口装置200称为车辆用显示装置。
用户接口装置200可根据控制部170的控制进行动作。
对象检测装置300是用于检测位于车辆100外部的对象的装置。对象检测装置300可基于检测数据来生成对象信息。
对象信息可包含：与对象的存在与否相关的信息、对象的位置信息、车辆100与对象的距离信息以及车辆100与对象的相对速度信息。
对象可以是与车辆100的运行相关的多种物体。
参照图5至图6，对象O可包含车线OB10、其他车辆OB11、行人OB12、二轮车OB13、交通信号OB14、OB15、光、道路、结构物、限速带、地形物、动物等。
车线OB10(Lane)可以是行驶车线、行驶车线的旁边车线、会车的车辆行驶的车线。车线OB10(Lane)可以是包含形成车线(Lane)的左右侧的线(Line)的概念。
其他车辆OB11可以是在车辆100的周边行驶中的车辆。其他车辆可以是距车辆100位于规定距离以内的车辆。例如，其他车辆OB11可以是比车辆100前行或后行的车辆。
行人OB12可以是位于车辆100的周边的人。行人OB12可以是距车辆100位于规定距离以内的人。例如，行人OB12可以是位于人行道或行车道上的人。
二轮车OB12可表示位于车辆100的周边并且可利用两个车轮移动的供乘坐的装置。二轮车OB12可以是距车辆100位于规定距离以内的具有两个车轮的供乘坐的装置。例如，二轮车OB13可以是位于人行道或行车道上的摩托车或自行车。
交通信号可包含：交通信号灯OB15、交通标识牌OB14、画在道路面的纹样或文本。
光可以是设置在其他车辆的车灯中生成的光。光可以是路灯中生成的光。光可以是太阳光。
道路可包括道路面、弯道(curve)、上坡、下坡等倾斜等。
结构物可以是位于道路周边并且固定在地面的物体。例如，结构物可包括路灯、行道树、建筑物、电线杆、信号灯、桥。
地形物可包括山、丘等。
另外，对象可被分类为移动对象和固定对象。例如，移动对象可以是包含其他车辆、行人的概念。例如，固定对象可以是包含交通信号、道路、结构物的概念。
对象检测装置300可包括：照相机310、雷达320、激光雷达330、超声波传感器340、红外线传感器350以及处理器370。
根据实施例，对象检测装置300可还包括除了所描述的结构元件以外的其他结构元件，或者可不包括所描述的结构元件中的一部分。
为了获取车辆外部影像，照相机310可位于车辆的外部的适当的位置。照相机310可以是单色照相机、立体照相机310a、环视监控(Around View Monitoring，AVM)照相机310b或360度照相机。
照相机310可利用多种影像处理算法获取对象的位置信息、与对象的距离信息或与对象的相对速度信息。
例如，照相机310可从获取的影像中基于与时间对应的对象大小的变化来获取与对象的距离信息以及相对速度信息。
例如，照相机310可通过小孔(pin hole)模型、路面轮廓绘制(road profiling)等来获取与对象的距离信息以及相对速度信息。
例如，照相机310可在从立体照相机310a获取的立体影像中，基于视差(disparity)信息获取与对象的距离信息以及相对速度信息。
例如，为了获取车辆前方的影像，照相机310可在车辆的室内与前风挡相靠近地配置。或者，照相机310可配置在前保险杠或散热器格栅周边。
例如，为了获取车辆后方的影像，照相机310可在车辆的室内与后窗玻璃相靠近地配置。或者，照相机310可配置在后保险杠、后备箱或背门周边。
例如，为了获取车辆侧方的影像，照相机310可在车辆的室内与侧窗中的至少一方相靠近地配置。或者，照相机310可配置在侧镜、挡泥板或车门周边。
照相机310可将获取的影像提供给处理器370。
雷达320可包括电磁波发送部、接收部。雷达320在电波发射原理上可实现为脉冲雷达(Pulse Radar)方式或连续波雷达(Continuous Wave Radar)方式。雷达320在连续波雷达方式中可根据信号波形而实现为调频连续波(Frequency Modulated ContinuousWave，FMCW)方式或频移监控(Frequency Shift Keying，FSK)方式。
雷达320可以电磁波作为媒介，基于飞行时间(Time of Flight，TOF)方式或相移(phase-shift)方式来检测对象，并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。
为了检测位于车辆的前方、后方或侧方的对象，雷达320可配置在车辆的外部的适当的位置。
激光雷达330可包括激光发送部、接收部。激光雷达330可实现为TOF(Time ofFlight)方式或相移(phase-shift)方式。
激光雷达330可由驱动式或非驱动式来实现。
在由驱动式来实现的情况下，激光雷达330可通过马达进行旋转，并检测车辆100周边的对象。
在由非驱动式来实现的情况下，激光雷达330可利用光偏转(light steering)来检测以车辆100为基准位于规定范围内的对象。车辆100可包括多个非驱动式激光雷达330。
激光雷达330可以激光作为媒介，基于TOF(Time of Flight)方式或相移(phase-shift)方式检测对象，并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。
为了检测位于车辆的前方、后方或侧方的对象，激光雷达330可配置在车辆的外部的适当的位置。
超声波传感器340可包括超声波发送部、接收部。超声波传感器340可基于超声波检测对象，并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。
为了检测位于车辆的前方、后方或侧方的对象，超声波传感器340可配置在车辆的外部的适当的位置。
红外线传感器350可包括红外线发送部、接收部。红外线传感器350可基于红外线光检测对象，并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。
为了检测位于车辆的前方、后方或侧方的对象，红外线传感器350可配置在车辆的外部的适当的位置。
处理器370可控制对象检测装置300的各单元的整体上的动作。
处理器370可将照相机310、雷达320、激光雷达330、超声波传感器340以及红外线传感器350检测出的数据和预先存储的数据进行比较，从而检测或分类对象。
处理器370可基于获取的影像检测对象并进行跟踪。处理器370可通过影像处理算法执行与对象的距离计算、与对象的相对速度计算等动作。
例如，处理器370可从获取的影像中基于与时间对应的对象大小的变化来获取与对象的距离信息以及相对速度信息。
例如，处理器370可通过小孔(pin hole)模型、路面轮廓绘制(road profiling)等来获取与对象的距离信息以及相对速度信息。
例如，处理器370可在从立体照相机310a获取的立体影像中，基于视差(disparity)信息获取与对象的距离信息以及相对速度信息。
处理器370可基于发送的电磁波被对象反射回的反射电磁波来检测对象并进行跟踪。处理器370可基于电磁波执行与对象的距离计算、与对象的相对速度计算等动作。
处理器370可基于发送的激光被对象反射回的反射激光来检测对象并进行跟踪。处理器370可基于激光执行与对象的距离计算、与对象的相对速度计算等动作。
处理器370可基于发送的超声波被对象反射回的反射超声波来检测对象并进行跟踪。处理器370可基于超声波执行与对象的距离计算、与对象的相对速度计算等动作。
处理器370可基于发送的红外线光被对象反射回的反射红外线光来检测对象并进行跟踪。处理器370可基于红外线光执行与对象的距离计算、与对象的相对速度计算等动作。
根据实施例，对象检测装置300可包括多个处理器370，或者可不包括处理器370。例如，照相机310、雷达320、激光雷达330、超声波传感器340以及红外线传感器350可分别单独地包括处理器。
在对象检测装置300中不包括处理器370的情况下，对象检测装置300可根据车辆100内装置的处理器或控制部170的控制来进行动作。
对象检测装置300可根据控制部170的控制进行动作。
通信装置400是用于与外部设备执行通信的装置。其中，外部设备可以是其他车辆、移动终端或服务器。
通信装置400为了执行通信，其可包括发送天线、接收天线、可实现各种通信协议的无线射频(Radio Frequency，RF)电路以及RF元件中的一种以上。
通信装置400可包括：近距离通信部410、位置信息部420、V2X通信部430、光通信部440、广播收发部450、智能交通系统(Intelligent Transport Systems，ITS)通信部460以及处理器470。
根据实施例，通信装置400可还包括除了所描述的结构元件以外的其他结构元件，或者可不包括所描述的结构元件中的一部分。
近距离通信部410是用于进行近距离通信(Short range communication)的单元。近距离通信部410可利用蓝牙(BluetoothTM)、无线射频(Radio FrequencyIdentification，RFID)、红外线通信(Infrared Data Association；IrDA)、超宽带(UltraWideband，UWB)、无线个域网(ZigBee)、近场通信(Near Field Communication，NFC)、无线高保真(Wireless-Fidelity，Wi-Fi)、无线高保真直连(Wi-Fi Direct)、无线通用串行总线(Wireless Universal Serial Bus，Wireless USB)技术中的一种以上来支持近距离通信。
近距离通信部410可利用形成近距离无线通信网(Wireless Area Networks)来执行车辆100和至少一个外部设备之间的近距离通信。
位置信息部420是用于获取车辆100的位置信息的单元。例如，位置信息部420可包括全球定位系统(Global Positioning System，GPS)模块或差分全球定位系统(Differential Global Positioning System，DGPS)模块。
V2X通信部430是用于执行与服务器(V2I：Vehicle to Infra)、其他车辆(V2V：Vehicle to Vehicle)或行人(V2P：Vehicle to Pedestrian)的无线通信的单元。V2X通信部430可包括能够实现与基础设施(infra)的通信(V2I)、车辆间通信(V2V)、与行人的通信(V2P)协议的RF电路。
光通信部440为以光作为媒介与外部设备执行通信的单元。光通信部440可包括：光发送部，将电信号转换为光信号并向外部发送；以及光接收部，将接收到的光信号转换为电信号。
根据实施例，光发送部可与车辆100中包括的车灯以整体的方式形成。
广播收发部450是通过广播频道从外部的广播管理服务器接收广播信号，或者向广播管理服务器发送广播信号的单元。广播频道可包括卫星频道、地面波频道。广播信号可包含TV广播信号、电台广播信号、数据广播信号。
ITS通信部460可与交通系统进行信息、数据或信号交换。ITS通信部460可向交通系统提供所获取的信息、数据。ITS通信部460可接收交通系统提供的信息、数据或信号。例如，ITS通信部460可从交通系统接收道路交通信息并提供给控制部170。例如，ITS通信部460可从交通系统接收控制信号，并提供给设置在控制部170或车辆100内部的处理器。
处理器470可控制通信装置400的各单元的整体上的动作。
根据实施例，通信装置400可包括多个处理器470，或者可不包括处理器470。
在通信装置400中不包括处理器470的情况下，通信装置400可根据车辆100内其他装置的处理器或控制部170的控制来进行动作。
另外，通信装置400可与用户接口装置200一同实现车辆用显示装置。在此情况下，可将车辆用显示装置称为车载信息系统(telematics)装置或影音导航(Audio VideoNavigation，AVN)装置。
通信装置400可根据控制部170的控制进行动作。
驾驶操作装置500是用于接收用于驾驶的用户输入的装置。
在手动模式的情况下，车辆100可基于驾驶操作装置500提供的信号来运行。
驾驶操作装置500可包括：转向输入装置510、加速输入装置530以及制动输入装置570。
转向输入装置510可接收来自用户的车辆100的行驶方向输入。转向输入装置510优选地形成为轮(wheel)形态，以能够通过旋转实现转向输入。根据实施例，转向输入装置可形成为触摸屏、触摸板或按键形态。
加速输入装置530可接收来自用户的用于车辆100的加速的输入。制动输入装置570可接收来自用户的用于车辆100的减速的输入。加速输入装置530和制动输入装置570优选地形成为踏板形态。根据实施例，加速输入装置或制动输入装置可形成为触摸屏、触摸板或按键形态。
驾驶操作装置500可根据控制部170的控制进行动作。
车辆驱动装置600是以电性方式控制车辆100内各种装置的驱动的装置。
车辆驱动装置600可包括：传动驱动部610(power train)、底盘驱动部620、车门/车窗驱动部630、安全装置驱动部640、车灯驱动部650以及空调驱动部660。
根据实施例，辆驱动装置600可还包括除了所描述的结构元件以外的其他结构元件，或者可不包括所描述的结构元件中的一部分。
另外，车辆驱动装置600可包括处理器。车辆驱动装置600的各单元可分别单独地包括处理器。
传动驱动部610可控制传动装置的动作。
传动驱动部610可包括动力源驱动部611以及变速器驱动部612。
动力源驱动部611可执行针对车辆100的动力源的控制。
例如，在以基于化石燃料的引擎作为动力源的情况下，动力源驱动部611可执行针对引擎的电子式控制。由此，能够控制引擎的输出扭矩等。
例如，在以基于电的马达作为动力源的情况下，动力源驱动部611可执行针对马达的控制。动力源驱动部611可根据控制部170的控制而控制马达的转速、扭矩等。
变速器驱动部612可执行针对变速器的控制。
变速器驱动部612可调节变速器的状态。变速器驱动部612可将变速器的状态调节为前进D、倒车R、空挡N或驻车P。
另外，在引擎为动力源的情况下，变速器驱动部612可在前进D状态下调节齿轮的啮合状态。
底盘驱动部620可控制底盘装置的动作。
底盘驱动部620可包括：转向驱动部621、制动驱动部622以及悬架驱动部623。
转向驱动部621可执行针对车辆100内的转向装置(steering apparatus)的电子式控制。转向驱动部621可变更车辆的行驶方向。
制动驱动部622可执行针对车辆100内的制动装置(brake apparatus)的电子式控制。例如，可通过控制配置在车轮的制动器的动作来减小车辆100的速度。
另外，制动驱动部622可对多个制动器分别单独地进行控制。制动驱动部622可对施加给多个车轮的制动力相互不同地进行控制。
悬架驱动部623可执行针对车辆100内的悬架装置(suspension apparatus)的电子式控制。例如，在道路面存在有曲折的情况下，悬架驱动部623可通过控制悬架装置来减小车辆100的振动。
另外，悬架驱动部623可对多个悬架分别单独地进行控制。
车门/车窗驱动部630可执行针对车辆100内的车门装置(door apparatus)或车窗装置(window apparatus)的电子式控制。
车门/车窗驱动部630可包括车门驱动部631以及车窗驱动部632。
车门驱动部631可执行针对车门装置的控制。车门驱动部631可控制车辆100中包括的多个车门的开放、关闭。车门驱动部631可控制后备箱(trunk)或背门(tail gate)的开放或关闭。车门驱动部631可控制天窗(sunroof)的开放或关闭。
车窗驱动部632可执行针对车窗装置(window apparatus)的电子式控制。车窗驱动部632可控制车辆100中包括的多个车窗的开放或关闭。
安全装置驱动部640可执行针对车辆100内的各种安全装置(safety apparatus)的电子式控制。
安全装置驱动部640可包括：气囊驱动部641、安全带驱动部642以及行人保护装置驱动部643。
气囊驱动部641可执行针对车辆100内的气囊装置(airbag apparatus)的电子式控制。例如，在检测出危险时，气囊驱动部641可控制气囊被展开。
安全带驱动部642可执行针对车辆100内的安全带装置(seatbelt apparatus)的电子式控制。例如，在检测出危险时，安全带驱动部642可利用安全带将乘坐者固定在座椅110FL、110FR、110RL、110RR。
行人保护装置驱动部643可执行针对发动机罩提升和行人气囊的电子式控制。例如，在检测出与行人的碰撞时，行人保护装置驱动部643可控制发动机罩被提升(hood liftup)以及行人气囊被展开。
车灯驱动部650可执行针对车辆100内的各种车灯装置(lamp apparatus)的电子式控制。
空调驱动部660可执行针对车辆100内的空调装置(air conditioner)的电子式控制。例如，在车辆内部的温度高的情况下，空调驱动部660可控制空调装置进行动作，从而向车辆内部供给冷气。
车辆驱动装置600可包括处理器。车辆驱动装置600的各单元可分别单独地包括处理器。
车辆驱动装置600可根据控制部170的控制进行动作。
运行系统700是控制车辆100的各种运行的系统。运行系统700可在自主行驶模式下进行动作。
运行系统700可包括：行驶系统710、出车系统740以及驻车系统750。
根据实施例，运行系统700可还包括除了所描述的结构元件以外的其他结构元件，或者可不包括所描述的结构元件中的一部分。
另外，运行系统700可包括处理器。运行系统700的各单元可分别单独地包括处理器。
另外，根据实施例，在运行系统700以软件方式实现的情况下，运行系统700可以是控制部170的下位概念。
另外，根据实施例，运行系统700可以是包括用户接口装置200、对象检测装置300、通信装置400、驾驶操作装置500、车辆驱动装置600、导航系统770、检测部120以及控制部170中的一种以上的概念。
行驶系统710可执行车辆100的行驶。
行驶系统710可接收导航系统770提供的导航信息，向车辆驱动装置600提供控制信号以执行车辆100的行驶。
行驶系统710可接收对象检测装置300提供的对象信息，向车辆驱动装置600提供控制信号来执行车辆100的行驶。
行驶系统710可通过通信装置400接收外部设备提供的信号，向车辆驱动装置600提供控制信号来执行车辆100的行驶。
行驶系统710可以是包括用户接口装置200、对象检测装置300、通信装置400、驾驶操作装置500、车辆驱动装置600、导航系统770、检测部120以及控制部170中的一种以上，并执行车辆100的行驶的系统概念。
这样的行驶系统710可称为车辆行驶控制装置。
出车系统740可执行车辆100的出车。
出车系统740可接收导航系统770提供的导航信息，向车辆驱动装置600提供控制信号来执行车辆100的出车。
出车系统740可接收对象检测装置300提供的对象信息，向车辆驱动装置600提供控制信号来执行车辆100的出车。
出车系统740可通过通信装置400接收外部设备提供的信号，向车辆驱动装置600提供控制信号来执行车辆100的出车。
出车系统740可以是包括用户接口装置200、对象检测装置300、通信装置400、驾驶操作装置500、车辆驱动装置600、导航系统770、检测部120以及控制部170中的一种以上，并执行车辆100的出车的系统概念。
这样的出车系统740可称为车辆出车控制装置。
驻车系统750可执行车辆100的驻车。
驻车系统750可接收导航系统770提供的导航信息，向车辆驱动装置600提供控制信号来执行车辆100的驻车。
驻车系统750可接收对象检测装置300提供的对象信息，向车辆驱动装置600提供控制信号来执行车辆100的驻车。
驻车系统750可通过通信装置400接收外部设备提供的信号，向车辆驱动装置600提供控制信号来执行车辆100的驻车。
驻车系统750可以是包括用户接口装置200、对象检测装置300、通信装置400、驾驶操作装置500、车辆驱动装置600、导航系统770、检测部120以及控制部170中的一种以上，并执行车辆100的驻车的系统概念。
这样的驻车系统750可称为车辆驻车控制装置。
导航系统770可提供导航信息。导航信息可包含地图(map)信息、所设定的目的地信息、与所述目的地设定对应的路径信息、关于路径上的多种对象的信息、车线信息以及车辆的当前位置信息中的一种以上。
导航系统770可包括存储器、处理器。存储器可存储导航信息。处理器可控制导航系统770的动作。
根据实施例，导航系统770可通过通信装置400从外部设备接收信息，并对预先存储的信息进行更新。
根据实施例，导航系统770可被分类为用户接口装置200的下位结构元件。
检测部120可检测车辆的状态。检测部120可包括姿势传感器(例如，横摆传感器(yaw sensor)、滚动传感器(roll sensor)、俯仰传感器(pitch sensor))、碰撞传感器、车轮传感器(wheel sensor)、速度传感器、倾斜传感器、重量检测传感器、航向传感器(heading sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/倒车传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、照度传感器、加速踏板位置传感器、制动踏板位置传感器等。
检测部120可获取车辆姿势信息、车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、关于方向盘旋转角度、车辆外部照度、施加给加速踏板的压力、施加给制动踏板的压力等的检测信号。
除此之外，检测部120可还包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、TDC传感器、曲轴转角传感器(CAS)等。
检测部120可基于检测数据生成车辆状态信息。车辆状态信息可以是基于设置在车辆内部的各种传感器中检测出的数据来生成的信息。
例如，车辆状态信息可包含车辆的姿势信息、车辆的速度信息、车辆的斜率信息、车辆的重量信息、车辆的方向信息、车辆的电池信息、车辆的燃料信息、车辆的胎压信息、车辆的转向信息、车辆室内温度信息、车辆室内湿度信息、踏板位置信息以及车辆引擎温度信息等。
接口部130可执行与和车辆100相连接的多种外部装置的通道作用。例如，接口部130可设置有可与移动终端相连接的端口，通过所述端口能够与移动终端进行连接。在此情况下，接口部130可与移动终端进行数据交换。
另外，接口部130可执行向连接的移动终端供给电能的通道作用。在移动终端与接口部130进行电连接的情况下，根据控制部170的控制，接口部130将供电部190供给的电能提供给移动终端。
存储器140与控制部170进行电连接。存储器140可存储关于单元的基本数据、用于单元的动作控制的控制数据、输入输出的数据。存储器140在硬件上可以是ROM、RAM、EPROM、闪存盘、硬盘等多种存储装置。存储器140可存储用于控制部170的处理或控制的程序等、用于车辆100整体上的动作的多种数据。
根据实施例，存储器140可与控制部170以整体的方式形成，或者作为控制部170的下位结构元件来实现。
控制部170可控制车辆100内的各单元的整体上的动作。可将控制部170称为电子控制单元(Electronic Control Unit，ECU)。
供电部190可根据控制部170的控制而供给各结构元件的动作所需的电源。特别是，供电部190可接收车辆内部的电池等供给的电源。
车辆100中包括的一个以上的处理器以及控制部170可利用专用集成电路(application specific integrated circuits，ASICs)、数字信号处理器(digitalsignal processors，DSPs)、数字信号处理设备(digital signal processing devices，DSPDs)、可编程逻辑设备(programmable logic devices，PLDs)、现场可编程门阵列(fieldprogrammable gate arrays，FPGAs)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(microprocessors)、用于执行其他功能的电性单元中的一种以上来实现。
车辆用环视监控装置800可将多个照相机中获取的影像进行整合，生成环视影像并提供给用户(例如，车辆的乘坐者)。
以下对本发明的实施例的车辆用环视监控装置800进行更加详细的说明。
图8A是在说明本发明的实施例的车辆用环视监控装置中包括的多个照相机时作为参照的图。
参照图8A，车辆用环视监控装置800可包括多个照相机810。
图8A例示出车辆用环视监控装置800包括四个照相机811、812、813、814。车辆用环视监控装置800可包括少于四个的照相机，或者包括多于四个的照相机。
多个照相机811、812、813、814可贴附在车体的移动部分以及固定部分中的一种以上部分。
车体的移动部分是指在形成车辆的外观以及架构的车体的部位中可进行移动的部位。例如，车体的移动部分可包括：侧镜、车门、天窗、雨刷器、发动机罩(bonnet或hood)、车轮以及车窗。
车体的固定部分是指在形成车辆的外观以及架构的车体的部位中无法移动的部位。例如，车体的固定部分可包括：保险杠、格栅、挡泥板、车轮罩(wheel house)，天花板、风挡。
第一照相机811可获取车辆100的左侧方影像。
第一照相机811可贴附在作为移动部分中的一个的左侧侧镜(left side mirror)上。其中，左侧侧镜可包括车镜、多种电气部件、围绕车镜和电气部件的壳体等。左侧侧镜可称为左侧侧镜模块。
第一照相机811可贴附在作为移动部分中的一个的左前门(left front door)上。左前门可以是包括左侧侧镜的概念。
第二照相机812可获取车辆100的右侧方影像。
第二照相机812可贴附在作为移动部分中的一个的右侧侧镜(right sidemirror)上。其中，右侧侧镜可包括车镜、多种电气部件、围绕车镜和电气部件的壳体等。右侧侧镜可称为右侧侧镜模块。
第二照相机812可贴附在作为移动部分中的一个的右前门(right front door)上。右前门可以是包括右侧侧镜的概念。
第三照相机813可获取车辆100的后方影像。
第三照相机813可贴附在作为移动部分中的一个的背门(back door)上。背门可包括后备箱(trunk)以及尾门(tail gate)。
第四照相机814可获取车辆100的前方影像。
第四照相机814可贴附在作为固定部分中的一个的保险杠上。第四照相机814可配置在格栅的内侧。
图8B是本发明的实施例的车辆用环视监控装置生成的环视影像的一实施例。
参照图8B，车辆用环视监控装置800可生成环视影像801。
车辆用环视监控装置800的处理器870可将多个照相机810中获取的多个影像进行整合，从而生成环视影像801。
例如，车辆用环视监控装置800的处理器870可将第一照相机811中获取的第一影像、第二照相机812中获取的第二影像、第三照相机813中获取的第三影像以及第四照相机814中获取的第四影像进行整合，从而生成环视影像801。其中，第一影像可以是车辆100的左侧方影像。第二影像可以是车辆100的右侧方影像。第三影像可以是车辆100的后方影像。第四影像可以是车辆100的前方影像。
另外，环视影像801可包含俯视影像、侧视影像、正视影像、后视影像中的一种以上。
另外，环视影像801可由2D影像或3D影像来实现。
环视影像801可包含边界线BL。边界线BL可以是在环视影像801中用于区分与多个照相机810中获取的多个影像分别相应的区域的线。
例如，环视影像801可包含：第一区域811i、第二区域812i、第三区域813i以及第四区域814i。
第一区域811i可以是与第一影像对应的区域。第二区域812i可以是与第二影像对应的区域。第三区域813i可以是与第三影像对应的区域。第四区域814i可以是与第四影像对应的区域。
环视影像801可包含与车辆100对应的车辆图像100i。
图9是在说明本发明的实施例的车辆用环视监控装置时作为参照的框图。
参照图9，车辆用环视监控装置800可包含：多个照相机810、存储器840、显示部851、处理器870以及供电部890。
根据实施例，车辆用环视监控装置800可以单独地或组合的方式还包括辅助照相机820、照相机姿势调节部830以及音响输出部852。
多个照相机810可分别贴附在车辆100的车体外部的一部分。
多个照相机810可贴附在车体的移动部分以及固定部分中的一种以上部分。
在检测出移动部分的移动时，辅助照相机820可获取辅助影像。
在随着移动部分的移动而发生死角区域(blind spot)时，辅助照相机820可拍摄死角区域。
辅助照相机820可配置在容易拍摄死角区域的部分。例如，辅助照相机820可配置在车门(door)的内侧或踏脚板(rocker pannel)的一区域。
另外，辅助照相机820可被配置为，与多个照相机810的FOV相比，辅助照相机820的视场(field of view，FOV)更朝向上侧。
例如，为了生成作为环视影像的俯视影像，多个照相机810可被配置为朝向路面。为了在移动部分的移动途中或完毕后执行对象检测的目的，与多个照相机810相比，辅助照相机820可被配置为更朝向车辆的后方。
照相机姿势调节部830可控制多个照相机810各自的姿势。照相机姿势调节部830可包括与多个照相机810数目对应的多个驱动部。其中，驱动部可包含诸如马达、致动器、或螺线管的驱动力生成单元。
例如，照相机姿势调节部830可包括：与第一照相机811对应的第一驱动部、与第二照相机812对应的第二驱动部、与第三照相机813对应的第三驱动部以及与第四照相机814对应的第四驱动部。
照相机姿势调节部830可根据处理器870的控制，基于移动部分的移动信息调节移动部分上贴附的照相机的姿势。
存储器840与处理器870进行电连接。存储器840可存储关于单元的基本数据、用于单元的动作控制的控制数据、输入输出的数据。存储器840在硬件上可以是ROM、RAM、EPROM、闪存盘、硬盘等多种存储装置。存储器840可存储用于处理器870的处理或控制的程序等、用于车辆用环视监控装置800整体上的动作的多种数据。
根据实施例，存储器840可与处理器870形成一体，或者实现为处理器870的下位结构元件。
显示部851可根据处理器870的控制而显示环视影像。
显示部851可与用户接口装置200的显示部251形成一体。
显示部851可称为音频-视频导航(Audio Video Navigation，AVN)装置、显示信息中心(Center Information Display，CID)、主机单元(Head Unit)等。
显示部851可与通信装置400相结合而实现为车载信息装置。
音响输出部852可根据处理器870的控制而输出音频信号。
音响输出部852可与用户接口装置200的音响输出部252形成一体。
显示部851和音响输出部852可被分类为车辆用环视监控装置输出部的下位结构。
处理器870可控制车辆用环视监控装置800的各单元的整体上的动作。
处理器870可获取移动部分的移动信息。
移动部分的移动信息可包含：移动部分的移动位移信息、移动部分的移动速度信息以及移动部分的移动轨迹信息。
处理器870可基于通过多个照相机810获取的影像来获取移动部分的移动信息。
处理器870可基于贴附在移动部分的照相机的影像中检测出的对象的移动矢量来获取移动部分的移动信息。例如，处理器870可基于影像中检测出的固定对象的移动矢量来获取移动部分的移动信息。
处理器870可将多个影像进行比较，从而获取移动部分的移动信息。例如，可将通过贴附在固定部分的照相机获取的影像和通过贴附在移动部分的照相机获取的影像进行比较，从而获取移动部分的移动信息。
处理器870可通过接口部880接收移动部分的移动信息。例如，处理器870可通过接口部880从车辆驱动装置600接收移动部分的移动信息。
处理器870可从多个照相机810接收多个影像数据。
例如，处理器870可从第一照相机811接收第一影像。其中，第一影像可以是车辆100的左侧方影像。处理器870可从第二照相机812接收第二影像。其中，第二影像可以是车辆100的右侧方影像。处理器870可从第三照相机813接收第三影像。其中，第三影像可以是车辆100的后方影像。处理器870可从第四照相机814接收第四影像。其中，第四影像可以是车辆100的前方影像。
处理器870可将多个照相机810中获取的多个影像进行整合，从而生成环视影像。
例如，处理器870可将第一影像、第二影像、第三影像以及第四影像进行整合，从而生成环视影像。其中，环视影像可以是俯视影像。
处理器870可基于移动部分的移动信息来校正环视影像。
随着车体的移动部分移动，贴附在移动部分的照相机也将移动。在此情况下，如果不在环视影像中反映照相机的移动，则会发生将被失真的环视影像提供给用户的问题。处理器870通过反映移动部分的移动信息并校正环视影像，能够解决这样的问题。
处理器870随着移动部分的移动，变更移动部分上贴附的照相机中获取的影像的整合区域，从而能够校正环视影像。
在移动部分移动时，贴附在移动部分的照相机也将移动。在此情况下，处理器870可基于移动部分的移动(即，照相机的移动)来变更整合区域。
在移动部分移动之前，处理器870可将获取的影像的第一区域设定为整合区域。在移动部分移动时，处理器870可将获取的影像的第二区域设定为整合区域。此时，第二区域可以是以第一区域为基准，沿着移动部分移动(即，照相机的移动)的相反方向相对地进行位置变更的区域。
处理器870可基于移动部分的移动信息来控制照相机姿势调节部830。
处理器870可基于姿势被调节的照相机中获取的影像来校正环视影像。
多个照相机810可包括第一照相机。第一照相机可贴附在移动部分上。
照相机姿势调节部830可包括第一驱动部。第一驱动部可与第一照相机对应。第一驱动部可调节第一照相机的姿势。
处理器870可获取移动部分沿着第一方向移动的第一移动信息。处理器870可基于第一移动信息控制第一驱动部，以使第一照相机沿着作为与第一方向相反的方向的第二方向移动。此时，处理器870可与移动部分沿着第一方向移动的速度对应地决定第一照相机沿着第二方向移动的速度。处理器870可控制第一驱动部，以使第一照相机按照决定的速度沿着第二方向移动。
处理器870可还整合辅助照相机820获取的辅助影像，从而对环视影像进行校正。其中，辅助影像可以是随着移动部分移动而发生的死角区域的影像。
处理器870可控制通过显示部851输出校正的环视影像。
处理器870可控制通过显示部851输出与环视影像的校正与否相关的信息。
处理器870可控制在环视影像中对校正的区域进行高亮(highlight)处理。例如，处理器870可使校正的区域的颜色与其他区域变得不同，从而对其进行高亮处理。例如，处理器870可在校正的区域显示规定的图形对象(例如，指示器)，从而对其进行高亮处理。例如，处理器870可使校正的区域的透明度变得不同，从而对其进行高亮处理。
处理器870可判断随着移动部分的移动，在环视影像中是否发生死角区域(blindspot)。其中，死角区域可表示因移动部分的移动而无法通过贴附在移动部分的照相机获取的区域。
处理器870可控制在校正的环视影像中使与死角区域对应的区域被高亮处理。例如，处理器870可使与死角区域对应的区域的颜色与其他区域变得不同，从而对其进行高亮处理。例如，处理器870可在与死角区域对应的区域显示规定的图形对象(例如，指示器)，从而对其进行高亮处理。例如，处理器870可使与死角区域对应的区域的透明度变得不同，从而对其进行高亮处理。
处理器870可控制显示部851输出移动部分的移动状态信息。
例如，处理器870可在包含于环视影像的车辆图像(图8B的100i)中的与车辆100的移动部分对应的区域中赋予动画效果，从而控制输出移动部分的移动状态信息。
例如，处理器870可通过转换环视影像的视点(view point)的方式来显示移动部分的移动状态信息。例如，处理器870可将环视影像转换为正视、后视、侧视等进行显示。
处理器870可基于校正的环视影像来检测车辆周边对象。
处理器870可生成与检测出的对象相关的信息。
处理器870可基于与车辆周边对象相关的信息，提供用于控制车辆100的移动的第一控制信号。处理器870可通过接口部880将第一控制信号提供给车辆驱动装置600。
处理器870可提供用于与移动部分打开(open)状态相适应地控制车辆的信号。
在移动部分打开的状态下车辆100移动时，处理器870可基于校正的环视影像来检测车辆周边对象。其中，移动部分可包括左前门、右前门、左后门、右后门以及背门中的一种以上。
在移动部分折叠的状态下车辆100移动时，处理器870可基于校正的环视影像来检测车辆周边对象。其中，移动部分可包括左侧侧镜以及右侧侧镜。
通过如上所述的控制，可实现与移动部分打开的状态或折叠的状态相适应的行驶。
处理器870可获取检测出的对象与车辆100的距离信息。处理器870可基于校正的环视影像来获取检测出的对象与车辆100的距离信息。例如，处理器870可通过基于影像的距离检测算法来获取对象与车辆100的距离信息。
在判断为检测出的对象与车辆的距离值为基准值以下时，处理器870可提供用于制动车辆100的控制信号。控制信号可通过接口部880提供给车辆驱动装置600。
在判断为随着移动部分移动而发生死角区域时，处理器870可提供用于制动车辆100的控制信号。
处理器870可获取乘坐者的上车或下车状况信息。
用户接口装置200可通过内部照相机220生成乘坐者的上车或下车状况信息。处理器870可通过接口部880从用户接口装置200接收乘坐者的上车或下车状况信息。
在车辆100停止且接收到乘坐者的上车信息或乘坐者的下车信息的状态下，判断为检测出的对象与车辆100的距离值为基准值以下时，处理器870可控制音响输出部852输出警告音。
在判断为检测出的对象与车辆100的距离值为基准值以下时，处理器870可提供用于限制移动部分的移动的信号。
在移动部分打开的过程中，因车辆100移动而预测出车辆100与对象相碰撞时，处理器870可提供用于限制移动部分的打开的信号。通过如上所述的控制，能够防止车辆100与对象相碰撞。
在判断为随着移动部分移动而发生死角区域时，处理器870可提供用于限制移动部分的移动的信号。
处理器870可获取乘坐者的座位占用状况信息。
用户接口装置200可通过内部照相机220生成乘坐者的座位占用状况信息。处理器870可通过接口部880从用户接口装置200接收乘坐者的座位占用状况信息。
处理器870可通过设置在各个座椅的重量传感器来接收乘坐者的座位占用状况信息。
处理器870可获取乘坐者的上车状况信息以及下车状况信息。
用户接口装置200可通过内部照相机220生成乘坐者的上车状况信息以及下车状况信息。处理器870可通过接口部880从用户接口装置200接收乘坐者的上车状况信息或下车状况信息。
处理器870可控制显示部851或音响输出部852输出座位占用状况信息。
处理器870可基于校正的环视影像来提供用于执行自主驻车的信号。处理器870可通过接口部880将控制信号提供给驻车系统750。
处理器870可基于校正的环视影像来提供用于以左侧侧镜的折叠状态以及右侧侧镜的折叠状态执行自主驻车的信号。其中，移动部分可包括左侧侧镜以及右侧侧镜。
通过如上所述的控制，在驻车空间较窄的区域中，能够以侧镜折叠的状态执行驻车，从而增大用户便利性，并预防刮蹭事故。
处理器870可提供用于以移动部分打开的状态执行自主驻车的信号。其中，移动部分可包括左前门、右前门、左后门、右后门以及背门中的一种以上。
通过如上所述的控制，在需要以移动部分打开的状态行驶的状况下也能够执行驻车，从而增大用户便利性，并预防刮蹭事故。
在基于校正的环视影像判断为在执行自主驻车中因移动部分的移动而发生死角区域时，处理器870可提供用于中断执行自主驻车的控制信号。处理器870可通过接口部880将控制信号提供给驻车系统750。
接口部880可与车辆100中包括的其他装置执行信息、信号或数据交换。接口部880可从车辆100中包括的其他装置接收信息、信号或数据。接口部880可将接收到的信息、信号或数据传送给处理器870。接口部880可将处理器870中生成或处理的信息、信号或数据传送给车辆100中包括的其他装置。
接口部880可将处理器870中生成的第一控制信号提供给车辆驱动装置600。
接口部880可将处理器870中生成的第一控制信号提供给运行系统700。
供电部890可根据处理器870的控制而供给各结构元件的动作所需的电源。特别是，供电部890可接收车辆内部的电池等供给的电源。
图10A至图12是在说明本发明的实施例的在侧镜折叠的状况下车辆用环视监控装置的动作时作为参照的图。
图10A至图12中以车辆100的左侧为中心进行例示并说明，但是，车辆100的右侧的情况下也将与左侧的情况类似地进行动作。
移动部分可包括左侧侧镜(left side mirror)以及右侧侧镜(right sidemirror)。
图10A例示出侧镜未折叠的状态的车辆100和显示部851。
显示部851可作为环视影像显示俯视影像。
第一照相机811可获取第一影像。第一照相机811可获取车辆100的左侧方区域的影像1010a。第一照相机811可根据规定的FOV(field of view)获取车辆100的左侧下方区域1010a的影像。
第一照相机811获取的影像中的一部分可在环视影像801整合时使用。处理器870在环视影像801整合时可使用第一照相机811获取的左侧方区域1010a的影像中的第一区域。处理器870可将第一区域作为环视影像801的左侧区域811i的影像来使用。其中，在环视影像801整合时使用的第一区域可称为第一影像的整合区域。
第一照相机811可贴附在左侧侧镜101L上。例如，第一照相机811可贴附在左侧侧镜101L的壳体上。
第二照相机812可获取第二影像。第二照相机812可获取车辆100的右侧方区域的影像。第二照相机812可根据规定的FOV获取车辆100的右侧下方区域的影像。
第二照相机812获取的影像中的一部分可在环视影像801整合时使用。处理器870在环视影像801整合时可使用第二照相机812获取的右侧方区域的影像中的第一区域。处理器870可将第一区域作为环视影像801的右侧区域812i的影像来使用。其中，在环视影像801整合时使用的第一区域可称为第二影像的整合区域。
第二照相机812可贴附在右侧侧镜上。例如，第二照相机812可贴附在右侧侧镜的壳体上。
图10B例示出侧镜101L折叠的状态的车辆100和显示部851。
显示部851可作为校正的环视影像显示俯视影像802。
在左侧侧镜101L折叠1003时，左侧侧镜101L上贴附的第一照相机811也将沿着折叠移动1003轨迹移动。在此情况下，随着第一照相机811的移动，第一照相机811获取的影像1010b的范围将变更。
具体而言，随着左侧侧镜101L的折叠移动1003，第一照相机811更朝向车辆100的后方移动。第一照相机811获取的影像的区域变更为，使车辆100的后方区域增多。
在右侧侧镜折叠时，右侧侧镜上贴附的第二照相机812也将沿着折叠移动轨迹移动。在此情况下，随着第二照相机812的移动，第二照相机812获取的影像1010b的范围将变更。
具体而言，随着右侧侧镜的折叠移动，第二照相机812更朝向车辆100的后方移动。第二照相机812获取的影像1010b的区域变更为，使车辆100的后方区域增多。
处理器870可基于左侧侧镜的移动信息以及右侧侧镜的移动信息对环视影像进行校正。
处理器870可随着左侧侧镜101L的折叠移动1003而变更第一照相机811获取的第一影像的整合区域。处理器870可基于变更的第一影像的整合区域对环视影像进行校正。
处理器870可将折叠移动1003之前第一影像的整合区域沿着左侧侧镜101L的折叠移动1003的相反方向、与折叠移动1003的位移对应地在影像坐标上移动的区域决定为折叠移动1003之后第一影像的整合区域。
处理器870可随着右侧侧镜的折叠移动而变更第二照相机812获取的第二影像的整合区域。处理器870可基于变更的第二影像的整合区域对环视影像进行校正。
处理器870可将折叠移动之前第二影像的整合区域沿着右侧侧镜的折叠移动的相反方向、与折叠移动的位移对应地在影像坐标上移动的区域决定为折叠移动之后第二影像的整合区域。
另外，照相机姿势调节部830可包括：调节第一照相机811的姿势的第一驱动部以及调节第二照相机812的姿势的第二驱动部。
处理器870可控制第一驱动部，以使第一照相机811随着左侧侧镜101L的折叠移动而移动。
例如，处理器870可控制第一驱动部，以使第一照相机811沿着与左侧侧镜101L的折叠移动方向相反的方向移动。
例如，处理器870可控制第一驱动部，以使第一照相机811与左侧侧镜101L的折叠移动速度对应地移动。例如，处理器870可控制第一驱动部，以使第一照相机811与左侧侧镜101L的折叠移动速度的绝对值成比例地移动。
例如，处理器870可控制第一驱动部，以使第一照相机811与左侧侧镜101L的折叠移动位移对应地移动。例如，处理器870可控制一驱动部以使第一照相机811与左侧侧镜101L的折叠移动位移成比例地移动。
处理器870可基于第一照相机811移动完毕后获取的影像来对环视影像进行校正。
处理器870可控制第二驱动部，以使第二照相机812随着右侧侧镜的折叠移动而移动。
例如，处理器870可控制第二驱动部，以使第二照相机812沿着与右侧侧镜的折叠移动方向相反的方向移动。
例如，处理器870可控制第二驱动部，以使第二照相机812与右侧侧镜的折叠移动速度对应地移动。例如，处理器870可控制第二驱动部，以使第二照相机812与右侧侧镜的折叠移动速度成比例地移动。
例如，处理器870可控制第二驱动部，以使第二照相机812与右侧侧镜的折叠移动位移对应地移动。例如，处理器870可控制第二驱动部，以使第二照相机812与右侧侧镜的折叠移动位移成比例地移动。
处理器870可基于在第二照相机812的移动完毕后获取的影像来对环视影像进行校正。
处理器870可判断是否随着左侧侧镜101L的折叠1003移动以及右侧侧镜的折叠移动而发生死角区域。
在判断为发生死角区域时，处理器870可控制在校正的环视影像802中，对与死角区域对应的区域1020进行高亮处理。
处理器870可在左侧侧镜101L折叠移动1003完毕后生成环视影像时，基于第一影像中是否有不足的部分来判断死角区域发生与否。
随着左侧侧镜101L的折叠移动1003，通过第一照相机811获取的影像的被摄体将变更。在此情况下，可能会无法获取为了生成环视影像而需要的区域的影像。
死角区域可表示在为了生成环视影像而需要的区域中，随着左侧侧镜101L的折叠移动1003而无法获取的区域。
处理器870可在校正的环视影像中，对与死角区域对应的区域1020进行空白(blank)处理。
处理器870可在校正的环视影像中，对与死角区域对应的区域1020进行高亮处理。
处理器870可在右侧侧镜折叠移动完毕后生成环视影像时，基于第二影像中是否有不足的部分来判断死角区域发生与否。
随着右侧侧镜的折叠移动，通过第二照相机812获取的影像的被摄体将变更。在此情况下，可能会无法获取为了生成环视影像而需要的区域的影像。
死角区域可表示在为了生成环视影像而需要的区域中，随着右侧侧镜的折叠移动而无法获取的区域。
处理器870可在校正的环视影像中，对与第二影像的死角区域对应的区域进行空白处理。
处理器870可在校正的环视影像中，对与第二影像的死角区域对应的区域进行高亮处理。
处理器870可控制显示部851输出左侧侧镜101L的折叠移动状态信息以及右侧侧镜的折叠移动状态信息。
处理器870可控制显示与左侧侧镜101L以及右侧侧镜的折叠移动分别对应的图形对象1030，从而显示折叠移动状态信息。例如，处理器870可控制显示部851显示与左侧侧镜101L以及右侧侧镜的折叠移动对应的箭头1030。
处理器870可在车辆图像100i中的与左侧侧镜101L以及右侧侧镜分别对应的区域1031中赋予动画效果，从而显示左侧侧镜101L以及右侧侧镜的折叠移动状态信息。例如，处理器870可控制显示部851显示车辆图像100i的左侧侧镜以及右侧侧镜图像折叠的动画。在此情况下，处理器870可控制以2D影像或3D影像方式显示动画。
另外，根据实施例，处理器870可以转换环视影像的视点的方式显示左侧侧镜101L以及右侧侧镜的折叠移动状态信息。例如，处理器870可将环视影像转换为正视、后视、侧视等进行显示。
处理器870可控制通过显示部851显示与左侧侧镜101L以及右侧侧镜的折叠移动对应的环视影像的校正与否相关的信息。
图11A至图11B是在说明本发明的实施例的对环视影像进行校正的动作时作为参照的图。
为了说明上的便利，将参照图11A至图11B以车辆100的俯视为基准进行说明。
如图11A所示，在左侧侧镜101L未折叠(unfolding)的状态下，第一照相机811可获取第一影像。其中，第一影像可以是以车辆100为中心，拍摄距车辆100沿着车辆100的左侧方规定距离以内的区域的影像。
第二照相机812可获取第二影像。其中，第二影像可以是以车辆100为中心，拍摄距车辆100沿着车辆100的右侧方规定距离以内的区域的影像。
第三照相机813可获取第三影像。其中，第三影像可以是以车辆100为中心，拍摄距车辆100沿着车辆100的后方规定距离以内的区域的影像。
第四照相机814可获取第四影像。其中，第四影像可以是以车辆100为中心，拍摄距车辆100沿着车辆100的前方规定距离以内的区域的影像。
处理器870可将第一影像的第一区域决定为整合区域。其中，第一区域可表示在第一影像全体中为了使用于环视影像而将不必要的区域进行裁剪(cropping)后剩余的区域。其中，第一区域可以是在第一影像中与沿着车辆100的左侧方形成在预设定距离以内的区域1111对应的区域。
处理器870可将第一影像的整合区域、第二影像的整合区域、第三影像的整合区域以及第四影像的整合区域进行整合，从而生成环视影像。
如图11B所示，在左侧侧镜101L折叠的状态下，第一照相机811可获取第一影像。此时，第一照相机811获取的第一影像的被摄体与在左侧侧镜101L未折叠的状态下获取的第一影像的被摄体不同。
随着左侧侧镜101L折叠移动，第一照相机811也将朝向车辆100沿着逆时针方向旋转。在此情况下，第一照相机811的FOV发生变更，从而获取与在左侧侧镜101L未折叠状态下获取的第一影像不同的第一影像。
处理器870可将第一影像的第二区域决定为第一影像的整合区域。第一影像的第二区域可与在左侧侧镜101L未折叠的状态下获取的第一影像的第一区域重叠一部分。其中，第二区域可表示在第一影像全体中为了使用于环视影像而将不必要的区域进行裁剪(cropping)后剩余的区域。其中，第二区域可以是在第一影像中与沿着车辆100的左侧方以及后侧方形成在预设定距离以内的区域1121对应的区域。
处理器870可基于第一影像的第二区域对环视影像进行校正。
处理器870可控制在校正的环视影像中对校正的区域进行高亮处理。
另外，随着左侧侧镜101L的折叠移动，可能会发生死角区域1131。在校正的环视影像中，与死角区域1131对应的区域可与在未折叠的状态下获取的第一影像的第一区域重叠一部分。
图12是在说明本发明的实施例的调节照相机姿势的动作时作为参照的图。
参照图12，在左侧侧镜101L折叠1003时，处理器870可控制照相机姿势调节部830中包括的第一驱动部，以使第一照相机811随着左侧侧镜101L的折叠移动1003而移动。
处理器870可控制第一驱动部，以使第一照相机811沿着与左侧侧镜101L的折叠移动方向1003相反的方向1203移动。
处理器870可控制第一驱动部，以使第一照相机811与左侧侧镜101L的折叠移动速度的绝对值成比例地移动。
图13A至图15是在说明本发明的实施例的在前门打开的状况下车辆用环视监控装置的动作时作为参照的图。
图13A至图15中以车辆100的左侧为中心进行例示并说明，但是，车辆100的右侧的情况下也将与左侧的情况类似地进行动作。
移动部分可包括左前门(left front door)以及右前门(right front door)。
图13A例示出左前门102L未打开的状态的车辆100和显示部851。
显示部851可作为环视影像显示俯视影像801。
第一照相机811可获取第一影像。第一照相机811可获取车辆100的左侧方区域1310a的影像。第一照相机811可根据规定的FOV获取车辆100的左侧下方区域1310a的影像。
第一照相机811获取的影像中的一部分可在环视影像801整合时使用。处理器870在环视影像801整合时可使用第一照相机811获取的左侧方区域1310a的影像中的第一区域。处理器870可将第一区域作为环视影像801的左侧区域811i的影像来使用。其中，在环视影像801整合时使用的第一区域可称为第一影像的整合区域。
第一照相机811可贴附在左前门102L上。例如，第一照相机811可贴附在左侧侧镜的壳体上。例如，第一照相机811可贴附在左前门102L把手附近。
第二照相机812可获取第二影像。第二照相机812可获取车辆100的右侧方区域的影像。第二照相机812可根据规定的FOV获取车辆100的右侧下方区域的影像。
第二照相机812获取的影像中的一部分可在环视影像801整合时使用。处理器870在环视影像801整合时可使用第二照相机812获取的右侧方区域的影像中的第一区域。处理器870可将第一区域作为环视影像801的右侧区域812i的影像来使用。其中，在环视影像801整合时使用的第一区域可称为第二影像的整合区域。
第二照相机812可贴附在右前门上。例如，第二照相机812可贴附在右侧侧镜的壳体上。例如，第二照相机812可贴附在右前门把手附近。
图13B例示出左前门102L打开的状态的车辆100和显示部851。
显示部851可作为校正的环视影像显示俯视影像802。
在左前门102L打开1303时，左前门102L上贴附的第一照相机811也将沿着打开移动1303轨迹移动。在此情况下，随着第一照相机811的移动，第一照相机811获取的影像的范围将变更。
具体而言，随着左前门102L的打开移动1303，第一照相机811更朝向车辆100的前方移动。第一照相机811获取的影像的区域变更为，使车辆100的前方区域增多。
在右前门打开时，右前门上贴附的第二照相机812也将沿着打开移动轨迹移动。在此情况下，随着第二照相机812的移动，第二照相机812获取的影像的范围将变更。
具体而言，随着右前门的打开移动，第二照相机812更朝向车辆100的前方移动。第二照相机812获取的影像的区域变更为，使车辆100的前方区域增多。
处理器870可基于左前门102L的移动信息以及右前门的移动信息对环视影像进行校正。
处理器870可随着左前门102L的打开移动1303而变更第一照相机811获取的第一影像的整合区域。处理器870可基于变更的第一影像的整合区域对环视影像进行校正。
处理器870可将打开移动1303之前第一影像的整合区域沿着左前门102L的打开移动1303的相反方向、与打开移动1303的位移对应地在影像坐标上移动的区域决定为打开移动1303之后第一影像的整合区域。
处理器870可随着右前门的打开移动而变更第二照相机812获取的第二影像的整合区域。处理器870可基于变更的第二影像的整合区域对环视影像进行校正。
处理器870可将打开移动之前第二影像的整合区域沿着右前门的打开移动的相反方向、与打开移动的位移对应地在影像坐标上移动的区域决定为打开移动之后第二影像的整合区域。
另外，辅助照相机820可包括第一辅助照相机以及第二辅助照相机。
在检测出左前门102L的打开移动1303时，第一辅助照相机可获取车辆100的左侧方影像。
在左前门102L打开时，将无法通过第一照相机811获取从左前门102L至背门为止形成的区域的影像。这是因为，第一照相机811的FOV被左前门102L遮挡。
在左前门102L打开时，第一辅助照相机可获取车辆100的左侧方区域中的从左前门102L内侧至背门为止形成的区域的影像。其中，通过第一辅助照相机获取的从左前门102L内侧至背门为止形成的区域的影像可称为第一辅助影像。
处理器870可还整合第一辅助影像，从而对环视影像进行校正。
在检测出右前门的打开移动时，第二辅助照相机可获取车辆100的右侧方影像。
在右前门打开时，将无法通过第二照相机812获取从右前门至背门为止形成的区域的影像。这是因为，第二照相机812的FOV被右前门遮挡。
在右前门打开时，第二辅助照相机可获取车辆100的右侧方区域中的从右前门内侧至背门为止形成的区域的影像。其中，通过第二辅助照相机获取的从右前门内侧至背门为止形成的区域的影像可称为第二辅助影像。
处理器870可还整合第二辅助影像，从而对环视影像进行校正。
处理器870可判断是否随着左前门102L的打开移动1303或右前门的打开移动而发生死角区域。
在判断为发生死角区域时，处理器870可控制在校正的环视影像802中，对与死角区域对应的区域1320进行高亮处理。
处理器870可在左前门102L打开移动1303完毕后生成环视影像时，基于第一影像中是否有不足的部分来判断死角区域发生与否。
随着左前门102L的打开移动1303，通过第一照相机811获取的影像的被摄体将变更。在此情况下，可能无法获取为了生成环视影像而需要的区域的影像。
死角区域可表示在为了生成环视影像而需要的区域中，随着左前门102L的打开移动1303而无法获取的区域。
处理器870可在校正的环视影像802中，对与死角区域对应的区域1320进行空白处理。
处理器870可在校正的环视影像802中，对与死角区域对应的区域1320进行高亮处理。
处理器870可在右前门打开移动完毕后生成环视影像时，基于第二影像中是否有不足的部分来判断死角区域发生与否。
随着右前门的打开移动，通过第二照相机812获取的影像的被摄体将变更。在此情况下，可能会无法获取为了生成环视影像而需要的区域的影像。
死角区域可表示在为了生成环视影像而需要的区域中，随着右前门的打开移动而无法获取的区域。
处理器870可在校正的环视影像中，对与死角区域对应的区域进行空白处理。
处理器870可在校正的环视影像中，对与死角区域对应的区域进行高亮处理。
处理器870可控制显示部851输出左前门102L的打开移动状态信息或右前门的打开移动状态信息。
处理器870可控制显示与左前门102L以及右前门的打开移动分别对应的图形对象，从而显示车门的打开移动状态信息。例如，处理器870可控制显示部851显示与左前门102L的打开移动对应的箭头1303。
处理器870可在车辆图像100i中与左前门102L或右前门分别对应的区域1331中赋予动画效果，从而显示左前门102L或右前门的打开移动状态信息。例如，处理器870可控制显示部851显示车辆图像100i的左前门或右前门图像打开的动画。在此情况下，处理器870可控制以2D影像或3D影像方式显示动画。
另外，根据实施例，处理器870可以转换环视影像的视点的方式显示左前门102L或右前门的打开移动状态信息。例如，处理器870可将环视影像转换为正视、后视、侧视等进行显示。
处理器870可控制通过显示部851显示与左前门102L以及右前门的打开移动对应的环视影像的校正与否相关的信息。
图14A至图14B是在说明本发明的实施例的对环视影像进行校正的动作时作为参照的图。
为了说明上的便利，将参照图14A至图14B以车辆100的俯视为基准进行说明。
如图14A所示，在左前门102L关闭(close)的状态下，第一照相机811可获取第一影像。
第二照相机812可获取第二影像。第三照相机813可获取第三影像。第四照相机814可获取第四影像。
处理器870可将第一影像的第一区域决定为整合区域。其中，第一区域可表示在第一影像全体中为了使用于环视影像而将不必要的区域进行裁剪后剩余的区域。其中，第一区域可以是在第一影像中与沿着车辆100的左侧方形成在预设定距离以内的区域1411对应的区域。
处理器870可将第一影像的整合区域、第二影像的整合区域、第三影像的整合区域以及第四影像的整合区域进行整合，从而生成环视影像。
如图14B所示，在左前门102L打开的状态下，第一照相机811可获取第一影像。此时，第一照相机811获取的第一影像的被摄体与在左前门102L关闭的状态下获取的第一影像的被摄体不同。
随着左前门102L打开移动，第一照相机811也将朝向车辆100的左侧方沿着逆时针方向旋转。在此情况下，第一照相机811的FOV发生变更，从而获取与在左前门102L关闭状态下获取的第一影像不同的第一影像。
处理器870可将第一影像的第二区域决定为第一影像的整合区域。第一影像的第二区域可与在左前门102L关闭的状态下获取的第一影像的第一区域重叠一部分。其中，第二区域可表示在第一影像全体中为了使用于环视影像而将不必要的区域进行裁剪后剩余的区域。其中，第二区域可以是在第一影像中与沿着车辆100的左侧方以及前方形成在预设定距离以内的区域1431对应的区域。
处理器870可基于第一影像的第二区域对环视影像进行校正。
另外，第一辅助照相机821可获取第一辅助影像。第一辅助影像可以是沿着长度方向从打开状态的左前门102L内侧至背门为止，沿着宽度方向从车辆100沿着左侧方在规定距离以内形成的区域的影像。
在检测出左前门102L的打开移动1303时，第一辅助照相机821可获取车辆100的左侧方影像。例如，第一辅助照相机821可获取从左前门102L的内侧至背门为止形成的区域的影像。
处理器870可基于第一辅助影像的第一区域对环视影像进行校正。第一辅助影像的第一区域可表示在第一辅助影像全体中为了使用于环视影像而将不必要的区域进行裁剪后剩余的区域。
另外，第二辅助照相机821可获取第二辅助影像。第二辅助影像可以是沿着长度方向从打开状态的右前门内侧至背门为止，沿着宽度方向从车辆100沿着右侧方形成在规定距离以内的区域的影像。
在检测出右前门的打开移动时，第二辅助照相机821可获取车辆100的右侧方影像。例如，第二辅助照相机821可获取从右前门的内侧至背门为止形成的区域的影像。
处理器870可基于第二辅助影像的第一区域对环视影像进行校正。
处理器870可控制在校正的环视影像中对校正的区域进行高亮处理。
图15是在说明本发明的实施例的辅助照相机的贴附位置时作为参照的图。
参照图15，辅助照相机820可包括第一辅助照相机821以及第二辅助照相机。
第一辅助照相机821可贴附在左前门102L的内侧。或者，第一辅助照相机821可贴附在左踏脚板(left rocker panel)的一区域。
第二辅助照相机可贴附在右前门的内侧。或者，第二辅助照相机可贴附在右踏脚板(right rocker panel)的一区域。
图16A至17是在说明本发明的实施例的在后门打开的状况下车辆用环视监控装置的动作时作为参照的图。
图16A至图17中以车辆100的左侧为中心进行例示并说明，但是，车辆100的右侧的情况下也将与左侧的情况类似地进行动作。
图16A例示出左后门104L未打开的状态的车辆100和显示部851。
显示部851可作为环视影像显示俯视影像801。
图16B例示出左后门104L打开的状态的车辆100和显示部851。
显示部851可作为校正的环视影像显示俯视影像802。
显示部851可作为环视影像显示俯视影像。
在第一照相机811贴附在左前门的状态下，左后门打开时，第一照相机811将无法获取打开的左后门后侧的影像。在此情况下，从打开的左后门内侧至背门为止将发生死角区域。
处理器870可获取左后门(left rear door)的打开移动1603信息。
处理器870可基于第一照相机811获取的第一影像来获取左后门的打开移动1603信息。
处理器870可通过接口部880从车辆驱动装置600接收左后门的打开移动1603信息。
处理器870可判断是否随着左后门的打开移动1603而发生死角区域。
在判断为发生死角区域时，处理器870可控制在校正的环视影像中，对与死角区域对应的区域进行高亮处理。
处理器870可在左后门104L打开移动1603完毕后生成环视影像时，基于第一影像中是否有不足的部分来判断死角区域发生与否。
死角区域可表示在为了生成环视影像而需要的区域中，随着左后门104L的打开移动1603而无法获取的区域。
在第二照相机812贴附在右前门的状态下，右后门打开时，第二照相机812将无法获取打开的右后门后侧的影像。在此情况下，从打开的左后门内侧至背门为止将发生死角区域。
处理器870可获取右后门(right rear door)的打开移动信息。
处理器870可基于第二照相机812获取的第二影像来获取右后门的打开移动信息。
处理器870可通过接口部880从车辆驱动装置600接收右后门的打开移动信息。
处理器870可判断是否随着右后门的打开移动而发生死角区域。
在判断为发生死角区域时，处理器870可控制在校正的环视影像中，对与死角区域对应的区域进行高亮处理。
处理器870可在右后门打开移动完毕后生成环视影像时，基于第二影像中是否有不足的部分来判断死角区域发生与否。
死角区域可表示在为了生成环视影像而需要的区域中，随着右后门的打开移动而无法获取的区域。
处理器870可在校正的环视影像中，对与死角区域对应的区域1620进行空白处理。
处理器870可在校正的环视影像中，对与死角区域对应的区域1620进行高亮处理。
处理器870可控制显示部851输出左后门104L的打开移动状态信息或右后门的打开移动状态信息。
处理器870可控制显示与左后门104L或右后门的打开移动分别对应的图形对象，从而显示车门的打开移动状态信息。例如，处理器870可控制显示部851显示与左后门104L的打开移动对应的箭头1630。
处理器870可在车辆图像100i中与左后门104L或右后门分别对应的区域1631中赋予动画效果，从而显示左后门104L或右后门的打开移动状态信息。例如，处理器870可控制显示车辆图像100i的左后门或右后门图像打开的动画。在此情况下，处理器870可控制以2D影像或3D影像方式显示动画。
另外，根据实施例，处理器870可以转换环视影像的视点的方式显示左后门104L或右后门的打开移动状态信息。例如，处理器870可将环视影像转换为正视、后视、侧视等进行显示。
图17是在说明本发明的实施例的辅助照相机时作为参照的图。
参照图17，辅助照相机820可包括第三辅助照相机823以及第四辅助照相机。
在检测出左后门104L的打开移动1603时，第三辅助照相机823可获取车辆100的左侧方影像。
在左后门104L打开时，将无法通过第一照相机811获取从左后门104L至背门为止形成的区域的影像。第一照相机811的FOV被左后门104L遮挡。
在左后门104L打开时，第三辅助照相机823可在车辆100的左侧方区域中获取从左后门104L内侧至背门为止形成的区域的影像。其中，通过第三辅助照相机获取的从左后门104L内侧至背门为止形成的区域的影像可称为第三辅助影像。
处理器870可还整合第三辅助影像，从而对环视影像进行校正。
第三辅助照相机823可贴附在左后门104L的内侧。或者，第三辅助照相机823可贴附在左踏脚板的一区域。
在检测出右后门的打开移动时，第四辅助照相机可获取车辆100的右侧方影像。
在右后门打开时，将无法通过第二照相机812获取从右后门至背门为止形成的区域的影像。这是因为，第二照相机812的FOV被右后门遮挡。
在右后门打开时，第四辅助照相机可在车辆100的右侧方区域中获取从右后门内侧至背门为止的区域的影像。其中，通过第四辅助照相机获取的从右后门内侧至背门为止的区域的影像可称为第四辅助影像。
处理器870可还整合第四辅助影像，从而对环视影像进行校正。
第四辅助照相机可贴附在右后门的内侧。或者，第四辅助照相机可贴附在右踏脚板的一区域。
图18A至图20是在说明本发明的实施例的在背门打开的状况下车辆用环视监控装置的动作时作为参照的图。
图18A例示出背门105未打开的状态的车辆100的一部分和显示部851。
显示部851可作为环视影像显示俯视影像801。
第三照相机813可获取第三影像。第三照相机813可获取车辆100的后方区域的影像。第三照相机813可根据规定的FOV获取车辆100的后侧下方区域的影像。
第三照相机813获取的影像中的一部分可在环视影像801整合时使用。处理器870在环视影像801整合时可使用第三照相机813获取的后方区域的影像中的第一区域。处理器870可将第一区域作为环视影像801的后侧区域813i的影像来使用。其中，在环视影像801整合时使用的第一区域可称为第三影像的整合区域。
第三照相机813可贴附在背门105上。
例如，第三照相机813可配置在背门105的一区域上形成的徽标(emblem)内部。在此情况下，第三照相机813可被徽标隐藏。第三照相机813可在平时被徽标隐藏，而在环视监控装置100进行动作时向外部露出。另外，徽标可在背门上可沿着左右方向或上下方向进行旋动的方式形成。处理器870可控制徽标的移动。
图18B例示出背门105打开的状态的车辆100的一部分和显示部851。
显示部851可作为校正的环视影像显示俯视影像802。
在背门105打开1803时，背门105上贴附的第三照相机813也将沿着打开移动1803的轨迹移动。在此情况下，随着第三照相机813的移动，第三照相机813获取的影像的范围将变更。
具体而言，随着背门105的打开移动1803，第三照相机813更向车辆100的上方(天空)移动。第三照相机813获取的影像的区域变更为，使车辆100的上方区域增多。
处理器870可基于背门105的移动信息对环视影像进行校正。
处理器870可随着背门105的打开移动1803而变更第三照相机813获取的第三影像的整合区域。处理器870可基于变更的第三影像的整合区域对环视影像进行校正。
处理器870可将打开移动1803之前第三影像的整合区域沿着背门105的打开移动1803的相反方向、与打开移动1803的位移对应地在影像坐标上移动的区域决定为打开移动1803之后第三影像的整合区域。
处理器870可随着背门105的打开移动1803而调节第三影像的比例(scale)来对环视影像进行校正。
在背门105打开时，以地面为基准，第三照相机813的位置将变高。在此情况下，可通过调节第三影像的比例来校准基于与第一照相机811、第二照相机812以及第四照相机814的高度差的等级差。
另外，照相机姿势调节部830可包括调节第三照相机813的姿势的第三驱动部。
处理器870可控制第三驱动部，以使第三照相机813随着背门105的打开移动而移动。
例如，处理器870可控制第三驱动部，以使第三照相机813沿着与背门105的打开移动方向相反的方向移动。
例如，处理器870可控制第三驱动部，以使第三照相机813与背门105的打开移动速度对应地移动。例如，处理器870可控制第三驱动部，以使第三照相机813与背门105的打开移动速度的绝对值成比例地移动。
例如，处理器870可控制第三驱动部，以使第三照相机813与背门105的打开移动位移对应地移动。例如，处理器870可控制第三驱动部，以使第三照相机813与背门105的打开移动位移成比例地移动。
例如，处理器870可控制第三驱动部，以使第三照相机813随着背门105的打开移动，从面对背门105的外侧的方向朝面对内侧的方向旋动。
处理器870可基于第三照相机813的移动完毕后获取的影像来对环视影像进行校正。
处理器870可判断是否随着背门105打开移动而发生死角区域。
在判断为发生死角区域时，处理器870可控制在校正的环视影像802中，对与死角区域对应的区域1820进行高亮处理。
处理器870可在背门105打开移动1803完毕后生成环视影像时，基于第三影像中是否有不足的部分来判断死角区域发生与否。
随着背门105的打开移动1803，通过第三照相机813获取的影像的被摄体将变更。在此情况下，可能无法获取为了生成环视影像而需要的区域的影像。
死角区域可表示在为了生成环视影像而需要的区域中，随着背门105的打开移动1803而无法获取的区域。
处理器870可在校正的环视影像802中，对与死角区域对应的区域1820进行空白处理。
处理器870可在校正的环视影像802中，对与死角区域对应的区域1820进行高亮处理。
处理器870可控制显示部851输出背门105的打开移动状态信息。
处理器870可控制显示与背门105的打开移动对应的图形对象，从而显示背门105的打开移动状态信息。例如，处理器870可控制显示部851显示与背门105的打开移动对应的箭头1830。
处理器870可在车辆图像100i中与背门105对应的区域1831中赋予动画效果，从而显示背门105的打开移动状态信息。例如，处理器870可控制显示部851显示车辆图像100i的背门打开的动画。在此情况下，处理器870可控制以2D影像或3D影像方式显示动画。
另外，根据实施例，处理器870可以转换环视影像的视点的方式显示背门105的打开移动状态信息。例如，处理器870可将环视影像转换为正视、后视、侧视等进行显示。
处理器870可控制通过显示部851显示与背门105的打开移动对应的环视影像的校正与否相关的信息。
图19A至图19B是在说明本发明的实施例的对环视影像进行校正的动作时作为参照的图。
为了说明上的便利，将参照图19A至图19B以车辆100的俯视为基准进行说明。
如图19A所示，在背门105关闭的状态下，第三照相机813可获取第三影像。
处理器870可将第三影像的第一区域决定为整合区域。其中，第一区域可表示在第三影像全体中为了使用于环视影像而将不必要的部分进行裁剪后剩余的区域。其中，第一区域可以是在第三影像中与沿着车辆100的后方形成在预设定距离以内的区域1911对应的区域。
处理器870可将第一影像的整合区域、第二影像的整合区域、第三影像的整合区域以及第四影像的整合区域进行整合，从而生成环视影像。
如图19B所示，在背门105打开的状态下，第三照相机813可获取第三影像。此时，第三照相机813获取的第三影像的被摄体与在背门105关闭的状态下获取的第三影像的被摄体不同。
随着背门105打开移动，第三照相机813也将朝向车辆100的上方沿着逆时针方向旋转。在此情况下，第三照相机813的FOV发生变更，从而获取与在背门105关闭状态下获取的第三影像不同的第三影像。
处理器870可将第三影像的第二区域决定为第三影像的整合区域。第三影像的第二区域可与在背门105关闭的状态下获取的第三影像的第一区域重叠一部分。其中，第二区域可表示在第三影像全体中为了使用于环视影像而将不必要的区域进行裁剪后剩余的区域。其中，第二区域可以是在第三影像中与沿着车辆100的后方形成在预设定距离以内的区域1931对应的区域。
处理器870可基于第三影像的第二区域对环视影像进行校正。
图20是在说明本发明的实施例的第三照相机的旋动时作为参照的图。
参照图20，照相机姿势调节部830的第三驱动部可调节第三照相机813的姿势。
处理器870可控制第三驱动部，以使第三照相机813随着背门105的打开移动而移动。
处理器870可设定虚拟的边界线2010。处理器870可控制第三驱动部，以使第三照相机813基于虚拟的边界线2010而移动。
例如，处理器870可控制第三照相机813的移动，以使在背门105打开移动时，第三影像中包含虚拟的边界线2010。处理器870可控制在背门105的关闭状态下获取的第三影像中包含虚拟的边界线2010。处理器870可控制在背门105的打开状态下获取的第三影像中包含虚拟的边界线2010。
虚拟的边界线2010可以是在车辆100的保险杠外侧沿着总宽度方向延长虚拟的面时，地面与虚拟的面相遇而形成的线。
虚拟的边界线2010可与在环视影像801或校正的环视影像802中第三影像的整合区域和车辆图像100i构成边界的线对应。
图21A至图21D是在说明本发明的实施例的在移动部分的移动完毕的状态下基于校正的环视影像来检测对象的动作时作为参照的图。
如图21A所示，处理器870可基于左侧侧镜以及右侧侧镜的折叠移动来对环视影像进行校正。
如图21B所示，处理器870可基于左前门或右前门的打开移动来对环视影像进行校正。
如图21C所示，处理器870可基于左后门或右后门的打开移动来对环视影像进行校正。
如图21D所示，处理器870可基于背门的打开移动来对环视影像进行校正。
处理器870可基于校正的环视影像来检测车辆周边对象。处理器870可生成对象检测信息。
处理器870可控制显示部851显示校正的环视影像。处理器870可控制显示部851在校正的环视影像中显示与对象对应的图形对象2120。
处理器870可将显示部851区分为多个区域。例如，处理器870可将显示部851区分为第一区域以及第二区域。
处理器870可控制显示部851在第一区域2101中输出校正的环视影像。
在基于校正的环视影像检测出对象时，处理器870可控制显示部851在第二区域2102中显示拍摄对象的照相机获取的影像。
处理器870可基于校正的环视影像来检测车辆周边对象。
图22A至图22B是在说明本发明的实施例的与对象检测对应的输出警报的动作时作为参照的图。
参照图22A至图22B，处理器870可基于对象检测信息输出警报。
车辆用环视监控装置800可还包括灯泡2210。
如图22A所示，灯泡2210可配置在左前门、右前门、左后门、右后门中的一个的内侧。
如图22B所示，灯泡2210可配置在背门内侧。
车辆用环视监控装置800可还包括音响输出部852。
处理器870可获取乘坐者的上车或下车状况信息。处理器870可获取车辆100与对象的距离信息。
在接收到乘坐者的上车信息或乘坐者的下车信息的状态下，判断为检测出的对象与车辆100的距离为基准值以下时，处理器870可控制灯泡2210输出视觉信号。
在接收到乘坐者的上车信息或乘坐者的下车信息的状态下，判断为检测出的对象与车辆100的距离为基准值以下时，处理器870可控制音响输出部852输出听觉信号2220。
图23是在说明本发明的实施例的提供用于控制移动部分的信号的动作时作为参照的图。
参照图23，处理器870可基于对象检测信息控制移动部分。
在判断为检测出的对象与车辆100的距离值为基准值以下时，处理器870可提供用于控制移动部分的信号。
例如，移动部分可包括：左前门、右前门、左后门、右后门以及背门。
如附图标记2310所示，在接收到移动部分2301打开移动信息且判断为检测出的对象2311与车辆100的距离值为第一基准值以下时，处理器870可提供用于控制关闭移动部分2301的信号。
如附图标记2320所示，在接收到移动部分2301打开移动信息且判断为检测出的对象2321与车辆100的距离值为第二基准值以下时，处理器870可提供用于控制移动部分2301不再进一步打开的信号。
在判断为检测出的对象与车辆100的碰撞时间(Time to collision，TTC)为基准值以下时，处理器870可提供用于控制移动部分的信号。其中，TTC可由车辆100与对象的相对距离以及车辆100与对象的相对速度来决定。
在移动部分打开的状态下车辆100移动时，处理器870可基于检测出的对象信息提供用于控制车辆的移动的信号。
例如，在移动部分打开的状态且车辆100进行前进或倒车的状态下，判断为检测出的对象2311与车辆100的距离值为基准值以下时，处理器870可提供用于停止车辆100的信号。在此情况下，处理器870可提供用于关闭移动部分2301或使其不再进一步打开的信号。
图24A至图24B是在说明本发明的实施例的输出乘坐者的座位占用状况信息的动作时作为参照的图。
处理器870可接收乘坐者的上车状况信息、下车状况信息以及座位占用状况信息。
处理器870可控制显示部851输出座位占用状况信息。
处理器870可控制显示部851在环视影像或校正的环视影像中显示与座位占用状况信息对应的图形对象。
如图24A所示，处理器870可获取左前座椅以及右后座椅被乘坐者占用的状况信息。处理器870可在环视影像的车辆图像100i上显示与车辆100的座位对应的多个座位图像。处理器870可在多个座位图像中的处于占用状态的座位图像上显示图形对象(指示器)。
处理器870可将占用座位的对象进行分类。处理器870可显示与被分类的对象对应的图形图像。
如图24B所示，处理器870可将占用座位的对象分类为一般G、行李L、幼童Y、动物A。处理器870可获取用于分类座位的对象信息。
用户接口装置200可通过内部照相机220判断占用座位的对象的种类。处理器870可通过接口部880接收对象种类的信息。
处理器870可在环视影像的车辆图像100i上显示与车辆100的座位对应的多个座位图像。处理器870可在多个座位图像中显示与占用座位的对象的分类对应的文本或图标。
图25至图27B是在说明本发明的实施例的基于校正的环视影像来执行自主驻车的动作时作为参照的图。
图25例示出本发明的实施例的在侧镜折叠的状态下执行自主驻车的动作。
如附图标记2510所示，处理器870可输出侧镜的折叠移动状态信息。在此情况下，处理器870可随着侧镜的折叠移动而输出侧镜上贴附的照相机811、812的移动信息。
处理器870可基于侧镜折叠移动信息对环视影像进行校正。处理器870可控制显示部851显示校正的环视影像。
随后，如附图标记2520所示，处理器870可基于校正的环视影像而提供用于执行自主驻车的信号。
具体而言，处理器870可基于校正的环视影像来检测周边对象并生成驻车路径。随后，处理器870可按照生成的驻车路径执行自主驻车。
如附图标记2530所示，如果判断为发生死角区域时，处理器870可提供用于中断执行自主驻车的控制信号。
图26A至图26B例示出本发明的实施例的在左前门、右前门、左后门以及右后门中的一个打开的状态下执行自主驻车的动作。
如附图标记2610所示，处理器870可输出车门打开移动状态信息。在此情况下，处理器870可随着车门的打开移动而输出车门上贴附的照相机811、812的移动信息。
处理器870可基于车门打开移动信息对环视影像进行校正。处理器870可控制显示部851显示校正的环视影像。
另外，车门可包括左前门、右前门、左后门以及右后门中的一种以上。
随后，如附图标记2620以及2630所示，处理器870可生成基于车门打开状态的驻车路径。
例如，在左后门打开的状态下执行驻车时，处理器870可反映出车辆的总宽度的长度增多并生成驻车路径。
随后，处理器870可按照生成的驻车路径来执行自主驻车。
另外，随着以车门的打开状态执行驻车，处理器870可控制显示部851输出与车门的关闭状态的驻车相比变化的信息。
例如，处理器870可控制显示部851，以使其输出随着以车门的打开状态执行驻车而变化的驻车方向信息、方向转换次数信息、驻车预计时间信息等。
另外，如附图标记2620所示，处理器870可控制显示部851，以使其将车门关闭状态下执行驻车时的信息以及车门打开状态下执行驻车时的信息进行比较并显示。
或者，如附图标记2630所示，处理器870可控制显示部851仅显示车门打开状态下执行驻车时的信息。
如附图标记2640所示，如果判断为随着车门打开移动而将与周边对象相碰撞时，处理器870可控制显示部851或音响输出部852输出用于提示碰撞危险的警报。
在此情况下，处理器870可通过多个照相机810或辅助照相机820获取的影像来判断是否可实现车门的关闭移动。
在判断为可实现车门的关闭移动时，处理器870可提供控制信号以关闭车门。随后，处理器870可提供控制信号以持续进行自主驻车。
如附图标记2650所示，处理器870可通过多个照相机810或辅助照相机820获取的影像来判断乘坐者的身体或行李是否通过打开的车门向车辆100外凸出。
在判断为向车辆100外凸出有乘坐者的身体或行李时，处理器870可提供用于中断执行自主驻车的控制信号。
随后，在判断为向车辆100外未凸出有乘坐者的身体或行李时，处理器870可提供控制信号以持续执行自主驻车。
图27A至图27B例示出本发明的实施例的在背门打开的状态下执行自主驻车的动作。
如附图标记2710所示，处理器870可输出背门打开移动状态信息。在此情况下，处理器870可随着背门的打开移动而输出背门上贴附的照相机813的移动信息。
处理器870可基于背门打开移动信息对环视影像进行校正。处理器870可控制显示部851显示校正的环视影像。
随后，如附图标记2720所示，处理器870可生成基于背门打开状态的驻车路径。
例如，在背门打开的状态下执行驻车时，在车辆100的后方将发生死角区域。在此情况下，处理器870可提供控制信号，从而在执行驻车时使车辆100的倒车行驶动作达到最小。
在仅由前进行驶动作即可驻车时，处理器870可生成仅由前进行驶动作构成的驻车路径。处理器870可提供控制信号以按照生成的驻车路径执行驻车。
如附图标记2730所示，如果在基于驻车执行的前进行驶动作中接收到背门打开移动信息时，处理器870可提供控制信号，从而在向倒车行驶转换的时点停止执行驻车。在此情况下，处理器870可控制显示部851输出背门关闭请求消息。根据实施例，处理器870可提供用于背门关闭移动的控制信号。在背门关闭时，处理器870可提供控制信号以持续执行驻车。
如附图标记2740所示，如果在基于驻车执行的倒车行驶动作中接收到背门打开移动信息时，处理器870可提供控制信号以停止执行驻车。在此情况下，处理器870可控制显示部851输出背门关闭请求消息。根据实施例，处理器870可提供用于背门关闭移动的控制信号。在背门关闭时，处理器870可提供控制信号以持续执行驻车。
如附图标记2750所示，如果随着照相机813移动而未发生死角区域时，处理器870在背门打开的状态下，也将提供控制信号以执行驻车。
如附图标记2760所示，处理器870可基于通过多个照相机810或辅助照相机820获取的影像来判断背门可关闭与否。
在判断为背门可关闭时，处理器870可提供用于背门关闭移动的控制信号。在背门关闭时，处理器870可提供控制信号以持续执行驻车。
如附图标记2770所示，处理器870可基于通过多个照相机810或辅助照相机820获取的影像来判断是否为在背门打开状态下的可驻车状况。
在因预计与对象相碰撞而判断为不可驻车状况时，处理器870可提供控制信号以停止执行驻车。
处理器870可控制显示部851或音响输出部852输出用于提示与对象的碰撞危险的警报。
随后，处理器870可基于通过多个照相机810或辅助照相机820获取的影像，判断是否为以背门关闭状态可驻车的状况。
在判断为可驻车的状况时，处理器870可控制显示部851输出背门关闭请求消息。根据实施例，处理器870可提供用于背门关闭移动的控制信号。在背门关闭时，处理器870可提供控制信号以持续执行驻车。
图28至图29是在说明本发明的实施例的基于校正的环视影像来辅助行驶的动作时作为参照的图。
参照图28，处理器870可输出侧镜的折叠移动状态信息。在此情况下，处理器870可随着侧镜的折叠移动而输出侧镜上贴附的照相机811、812的移动信息。
处理器870可基于侧镜折叠移动信息对环视影像进行校正。处理器870可控制显示部851显示校正的环视影像。
处理器870可基于校正的环视影像来检测车线。处理器870可基于检测出的车线点来实现辅助行驶的功能。
如附图标记2810所示，处理器870可基于校正的环视影像，提供控制信号以执行车道偏离警示系统(Lane Departure Warning System，LDWS)功能。
如附图标记2820所示，处理器870可基于校正的环视影像，提供控制信号以执行车道保持系统(Lane Keeping Assist System，LKAS)功能。
如附图标记2830所示，处理器870可基于校正的环视影像，提供控制信号以执行交通阻塞辅助系统(Traffic Jam Assistant，TJA)功能。
参照图29，处理器870可输出车门打开移动状态信息。在此情况下，处理器870可随着车门的打开移动而输出车门上贴附的照相机811、812的移动信息。
处理器870可基于车门打开移动信息对环视影像进行校正。处理器870可控制显示部851显示校正的环视影像。
另外，车门可包括左前门、右前门、左后门、右后门以及背门中的一种以上。
如附图标记2910所示，处理器870可通过多个照相机810或辅助照相机820获取的影像判断是否可实现车门的关闭移动。
在判断为可实现车门的关闭移动时，处理器870可提供控制信号以关闭车门。
如附图标记2920所示，处理器870可在车门打开的状态下，反映出车辆的总宽度的长度增多，并提供控制信号以执行LDWS功能。
如附图标记2930所示，处理器870在车门打开的状态下，反映出车辆的总宽度的长度增多，并提供控制信号以执行LKAS(Lane Keeping Assist System)功能。在此情况下，处理器870可提供控制信号，以使车门打开的状态的车辆100在车道的中心行驶。即，处理器870可以车门打开的状态决定车辆100的总宽度的中心。处理器870可提供控制信号，以使决定的总宽度的中心与车道的中心相匹配的方式行驶。
如附图标记2940所示，处理器870在车门打开的状态下，反映出车辆的体积增多，并提供控制信号以执行TJA(Traffic Jam Assistant)功能。
图30是在说明本发明的实施例的车辆运行控制装置时作为参照的框图。
车辆100可包括运行系统(图7的700)。运行系统700可称为运行控制装置。
可与图7所示不同地，运行系统包括：车辆用环视监控装置800、对象检测传感器301以及控制部170。
车辆用环视监控装置800可以是参照图1至图29所描述的环视监控装置800。
特别是，车辆用环视监控装置800可基于校正的环视影像来检测车辆周边对象。车辆用环视监控装置800可基于车辆周边对象的信息来提供用于控制车辆100的移动的第一控制信号。
对象检测传感器301可以是包括对象检测装置300中包括的照相机310、雷达320、激光雷达330、超声波传感器340以及红外线传感器350中的一种以上的概念。
对象检测传感器301可检测车辆周边对象并生成与对象相关的信息。
控制部170可基于与对象相关的信息来生成用于控制车辆100的移动的第二控制信号。控制部170可生成用于车辆100的行驶、出车或驻车的控制信号。
控制部170可基于第一控制信号以及第二控制信号，控制车辆驱动装置600以使车辆100移动。
前述的本发明可由在记录有程序的介质中计算机可读取的代码来实现。计算机可读取的介质包括存储有可由计算机系统读取的数据的所有种类的记录装置。计算机可读取的介质的例有硬盘驱动器(Hard Disk Drive，HDD)、固态盘(Solid State Disk，SSD)、硅盘驱动器(Silicon Disk Drive，SDD)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且也可以载波(例如，基于因特网的传输)的形态实现。并且，所述计算机也可包括处理器或控制部。因此，以上所述的详细的说明在所有方面上不应被理解为限制性的，而是应当被理解为时例示性的。本发明的范围应当由对所附的权利要求书的合理的解释而定，本发明的等价范围内的所有变更应当落入本发明的范围。

Claims (46)

1.一种车辆用环视监控装置，其中，
包括：
多个照相机，贴附在车体的移动部分以及固定部分中的一种以上的部分；
显示部；以及
处理器，获取所述移动部分的移动信息，
所述处理器将所述多个照相机获取的多个影像进行整合而生成环视影像，
所述处理器基于所述移动信息对所述环视影像进行校正，
所述处理器以通过所述显示部输出校正的所述环视影像的方式进行控制。
2.根据权利要求1所述的车辆用环视监控装置，其中，
所述处理器以通过所述显示部输出与所述环视影像的校正与否相关的信息的方式进行控制。
3.根据权利要求1所述的车辆用环视监控装置，其中，
所述处理器判断随着所述移动部分的移动而在所述环视影像中是否发生死角区域，
所述处理器以在校正的所述环视影像中对与所述死角区域对应的区域进行高亮处理的方式进行控制。
4.根据权利要求1所述的车辆用环视监控装置，其中，
所述处理器随着所述移动部分的移动而变更所述移动部分上贴附的照相机获取的影像的整合区域，从而对所述环视影像进行校正。
5.根据权利要求1所述的车辆用环视监控装置，其中，
还包括：
照相机姿势调节部，控制所述多个照相机各自的姿势；
所述处理器基于所述移动信息控制所述照相机姿势调节部。
6.根据权利要求5所述的车辆用环视监控装置，其中，
所述多个照相机包括贴附在所述移动部分的第一照相机，
所述照相机姿势调节部包括与所述第一照相机对应的第一驱动部，
所述处理器获取所述移动部分沿着第一方向移动的第一移动信息，
所述处理器基于所述第一移动信息控制所述第一驱动部，以使所述第一照相机沿着与所述第一方向相反的方向的第二方向移动。
7.根据权利要求6所述的车辆用环视监控装置，其中，
所述处理器与所述移动部分沿着第一方向移动的速度对应地决定所述第一照相机沿着第二方向移动的速度。
8.根据权利要求1所述的车辆用环视监控装置，其中，
还包括：
辅助照相机，在检测出所述移动部分的移动时，所述辅助照相机获取辅助影像；
所述处理器还整合所述辅助影像，从而对所述环视影像进行校正。
9.根据权利要求1所述的车辆用环视监控装置，其中，
所述处理器控制所述显示部输出所述移动部分的移动状态信息。
10.根据权利要求1所述的车辆用环视监控装置，其中，
所述移动部分包括左侧侧镜以及右侧侧镜；
所述多个照相机中的第一照相机贴附在所述左侧侧镜上，
所述多个照相机中的第二照相机贴附在所述右侧侧镜上，
所述处理器基于所述左侧侧镜的移动信息以及所述右侧侧镜的移动信息来对所述环视影像进行校正。
11.根据权利要求10所述的车辆用环视监控装置，其中，
在判断为随着所述左侧侧镜的折叠移动以及所述右侧侧镜的折叠移动而发生死角区域时，所述处理器以在校正的所述环视影像中与所述死角区域对应的区域进行高亮处理的方式进行控制。
12.根据权利要求10所述的车辆用环视监控装置，其中，
所述处理器随着所述左侧侧镜的折叠移动而变更所述第一照相机获取的第一影像的整合区域，
所述处理器随着所述右侧侧镜的折叠移动而变更所述第二照相机获取的第二影像的整合区域，
从而所述处理器对所述环视影像进行校正。
13.根据权利要求10所述的车辆用环视监控装置，其中，
还包括：
照相机姿势调节部，控制所述多个照相机各自的姿势；
所述照相机姿势调节部包括：
第一驱动部，调节所述第一照相机的姿势，以及
第二驱动部，调节所述第二照相机的姿势；
所述处理器控制所述第一驱动部，以使所述第一照相机随着所述左侧侧镜的折叠移动而移动，
所述处理器控制所述第二驱动部，以使所述第二照相机随着所述右侧侧镜的折叠移动而移动。
14.根据权利要求13所述的车辆用环视监控装置，其中，
所述处理器控制所述第一驱动部，以使所述第一照相机沿着与所述左侧侧镜的折叠移动方向相反的方向移动，
所述处理器控制所述第二驱动部以使所述第二照相机沿着与所述右侧侧镜的折叠移动方向相反的方向移动。
15.根据权利要求13所述的车辆用环视监控装置，其中，
所述处理器控制所述第一驱动部，以使所述第一照相机与所述左侧侧镜的折叠移动速度对应地移动，
所述处理器控制所述第二驱动部，以使所述第二照相机与所述右侧侧镜的折叠移动速度对应地移动。
16.根据权利要求10所述的车辆用环视监控装置，其中，
所述处理器控制所述显示部输出所述左侧侧镜的折叠移动状态信息以及所述右侧侧镜的折叠移动状态信息。
17.根据权利要求1所述的车辆用环视监控装置，其中，
所述移动部分包括左前门以及右前门，
所述多个照相机中的第一照相机贴附在所述左前门上，
所述多个照相机中的第二照相机贴附在所述右前门上，
所述处理器基于所述左前门的移动信息以及所述右前门的移动信息来对所述环视影像进行校正。
18.根据权利要求17所述的车辆用环视监控装置，其中，
在判断为随着所述左前门的打开移动或所述右前门的打开移动而发生死角区域时，
所述处理器以在校正的所述环视影像中对与所述死角区域对应的区域进行高亮处理的方式进行控制。
19.根据权利要求17所述的车辆用环视监控装置，其中，
所述处理器随着所述左前门的打开移动而变更所述第一照相机获取的第一影像的整合区域，或者
所述处理器随着所述右前门的打开移动而变更所述第二照相机获取的第二影像的整合区域，
从而所述处理器对所述环视影像进行校正。
20.根据权利要求17所述的车辆用环视监控装置，其中，
所述处理器控制所述显示部输出所述左前门的打开移动状态信息以及所述右前门的打开移动状态信息中的一种以上。
21.根据权利要求17所述的车辆用环视监控装置，其中，
还包括：
第一辅助照相机，在检测出所述左前门的打开移动时，所述第一辅助照相机获取所述车辆的左侧方影像，以及
第二辅助照相机，在检测出所述右前门的打开移动时，所述第二辅助照相机获取所述车辆的右侧方影像；
所述处理器还整合所述第一辅助照相机获取的第一辅助影像或所述第二辅助照相机获取的第二辅助影像，从而对所述环视影像进行校正。
22.根据权利要求21所述的车辆用环视监控装置，其中，
所述第一辅助照相机贴附在所述左前门的内侧或左踏脚板上，
所述第二辅助照相机贴附在所述右前门的内侧或右踏脚板上。
23.根据权利要求17所述的车辆用环视监控装置，其中，
所述处理器还获取左后门的打开移动信息以及右后门的打开移动信息，
所述处理器判断是否随着所述左后门的打开移动或右后门的打开移动而发生死角区域，
所述处理器以在校正的所述环视影像中对与所述死角区域对应的区域进行高亮处理的方式进行控制。
24.根据权利要求17所述的车辆用环视监控装置，其中，
所述处理器控制所述显示部输出所述左后门的打开移动状态信息以及所述右后门的打开移动状态信息中的一种以上。
25.根据权利要求17所述的车辆用环视监控装置，其中，
还包括：
第三辅助照相机，在检测出所述左后门的打开移动时，所述第三辅助照相机获取车辆的左侧方影像，以及
第四辅助照相机，在检测出所述右后门的打开移动时，所述第四辅助照相机获取车辆的右侧方影像；
所述处理器还整合所述第三辅助照相机获取的第三辅助影像或所述第四辅助照相机获取的第四辅助影像，从而对所述环视影像进行校正。
26.根据权利要求25所述的车辆用环视监控装置，其中，
所述第三辅助照相机贴附在所述左后门的内侧或左踏脚板上，
所述第四辅助照相机贴附在所述右后门的内侧或右踏脚板上。
27.根据权利要求1所述的车辆用环视监控装置，其中，
所述移动部分包括背门，
所述多个照相机中的第三照相机贴附在所述背门上，
所述处理器基于所述背门的移动信息来对所述环视影像进行校正。
28.根据权利要求27所述的车辆用环视监控装置，其中，
所述处理器判断是否随着所述背门的打开移动而在所述环视影像中发生死角区域，
所述处理器以在校正的所述环视影像中对与所述死角区域对应的区域进行高亮处理的方式进行控制。
29.根据权利要求27所述的车辆用环视监控装置，其中，
所述处理器随着所述背门的打开移动而变更所述第三照相机获取的第三影像的整合区域，从而对所述环视影像进行校正。
30.根据权利要求29所述的车辆用环视监控装置，其中，
所述处理器随着所述背门的打开移动而调节所述第三影像的比例，从而对所述环视影像进行校正。
31.根据权利要求27所述的车辆用环视监控装置，其中，
还包括：
照相机姿势调节部，控制所述多个照相机各自的姿势；
所述照相机姿势调节部包括：
第三驱动部，控制所述第三照相机的姿势；
所述处理器控制所述第三驱动部，以使所述第三照相机随着所述背门的打开移动而移动。
32.根据权利要求31所述的车辆用环视监控装置，其中，
所述处理器控制所述第三驱动部，以使所述第三照相机随着所述背门的打开移动而从面对所述背门的外侧的方向朝面对所述背门的内侧的方向旋动。
33.根据权利要求32所述的车辆用环视监控装置，其中，
所述处理器控制所述第三驱动部，以使所述第三照相机与所述背门的打开移动速度对应地旋动。
34.根据权利要求27所述的车辆用环视监控装置，其中，
所述处理器控制所述显示部输出所述背门移动状态信息。
35.根据权利要求1所述的车辆用环视监控装置，其中，
所述处理器基于校正的所述环视影像来检测车辆周边对象，
所述处理器基于所述车辆周边对象的信息来提供用于控制车辆的移动的第一控制信号。
36.根据权利要求35所述的车辆用环视监控装置，其中，
所述移动部分包括左前门、右前门、左后门、右后门以及背门中的一种以上，
在所述移动部分打开的状态下所述车辆移动时，所述处理器基于校正的所述环视影像来检测所述车辆周边对象。
37.根据权利要求36所述的车辆用环视监控装置，其中，
所述处理器获取检测出的对象与所述车辆的距离信息，
在判断为检测出的所述对象与所述车辆的距离值为基准值以下时，所述处理器提供用于制动所述车辆的控制信号。
38.根据权利要求37所述的车辆用环视监控装置，其中，
还包括音响输出部；
所述处理器获取乘坐者的上车或下车状况信息，
在车辆停止且接收到所述乘坐者的上车信息或所述乘坐者的下车信息的状态下，判断为检测出的所述对象与所述车辆的距离值为基准值以下时，
所述处理器控制所述音响输出部输出警告音。
39.根据权利要求37所述的车辆用环视监控装置，其中，
在判断为检测出的所述对象与所述车辆的距离值为基准值以下时，所述处理器提供用于限制所述移动部分的移动的信号。
40.根据权利要求35所述的车辆用环视监控装置，其中，
所述处理器获取乘坐者的座位占用状况信息，
所述处理器控制所述显示部或音响输出部输出所述座位占用状况信息。
41.根据权利要求35所述的车辆用环视监控装置，其中，
所述处理器基于校正的所述环视影像来提供用于执行自主驻车的控制信号。
42.根据权利要求41所述的车辆用环视监控装置，其中，
所述移动部分包括左侧侧镜以及右侧侧镜，
所述处理器基于校正的所述环视影像提供用于以所述左侧侧镜的折叠状态以及所述右侧侧镜的折叠状态执行自主驻车的信号。
43.根据权利要求41所述的车辆用环视监控装置，其中，
所述移动部分包括左前门、右前门、左后门、右后门以及背门中的一种以上，
所述处理器提供用于以所述移动部分打开的状态执行自主驻车的信号。
44.根据权利要求41所述的车辆用环视监控装置，其中，
在基于校正的所述环视影像执行自主驻车中判断为随着所述移动部分的移动而发生死角区域时，所述处理器提供用于中断执行自主驻车的控制信号。
45.一种车辆运行控制装置，其中，
包括：
根据权利要求35所述的车辆用环视监控装置；
对象检测传感器，包括照相机、雷达、激光雷达、超声波传感器以及红外线传感器中的一种以上，所述对象检测传感器检测车辆周边的对象，生成与所述对象相关的信息；以及
控制部，基于与所述对象相关的信息来生成用于控制车辆的移动的第二控制信号，
所述控制部基于所述第一控制信号以及所述第二控制信号，控制车辆驱动装置以使所述车辆移动。
46.一种车辆，其中，
包括：
根据权利要求1至权利要求44中任一项所述的车辆用环视监控装置。
CN201710155255.9A 2016-12-09 2017-03-16 车辆用环视监控装置、车辆运行控制装置以及车辆 Active CN108216032B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160167365A KR101954199B1 (ko) 2016-12-09 2016-12-09 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
KR10-2016-0167365 2016-12-09

Publications (2)

Publication Number Publication Date
CN108216032A true CN108216032A (zh) 2018-06-29
CN108216032B CN108216032B (zh) 2021-05-18

Family

ID=60162026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710155255.9A Active CN108216032B (zh) 2016-12-09 2017-03-16 车辆用环视监控装置、车辆运行控制装置以及车辆

Country Status (4)

Country Link
US (1) US10649461B2 (zh)
EP (1) EP3333018B1 (zh)
KR (1) KR101954199B1 (zh)
CN (1) CN108216032B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108995592A (zh) * 2018-08-02 2018-12-14 张士文 汽车影像系统
CN109094504A (zh) * 2018-09-28 2018-12-28 东南（福建）汽车工业有限公司 一种基于前置泊车雷达的车外后视镜避障系统及方法
CN111572471A (zh) * 2019-02-15 2020-08-25 丰田自动车株式会社 车辆驾驶辅助装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10060170B2 (en) * 2016-08-15 2018-08-28 Ford Global Technologies, Llc Vehicle with active door zone
US10780879B2 (en) * 2017-02-14 2020-09-22 Denso Ten Limited Parking controller, parking control system, and parking control method
JP6886106B2 (ja) * 2017-03-29 2021-06-16 テイ・エス テック株式会社 電子ミラーシステム、自動車用ドア及び自動車
KR101994698B1 (ko) * 2017-05-29 2019-07-01 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10286904B2 (en) * 2017-06-12 2019-05-14 GM Global Technology Operations LLC Autonomous vehicle parking methods and systems
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
US20190152387A1 (en) * 2017-11-21 2019-05-23 GM Global Technology Operations LLC Ajar tailgate detection system
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
US10567724B2 (en) * 2018-04-10 2020-02-18 GM Global Technology Operations LLC Dynamic demosaicing of camera pixels
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
CN111028534B (zh) * 2018-10-09 2022-04-26 杭州海康威视数字技术股份有限公司 一种泊车位检测方法及装置
KR102270799B1 (ko) * 2018-12-07 2021-06-29 아진산업(주) 카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템
JP7094929B2 (ja) * 2019-09-20 2022-07-04 本田技研工業株式会社 車両点検装置、及び車両点検システム
EP3822124A1 (en) * 2019-11-14 2021-05-19 Ningbo Geely Automobile Research & Development Co. Ltd. A control system, method and a computer program product at a vehicle for controlling the views of the surroundings of the vehicle by a vehicle occupant
KR102131717B1 (ko) 2020-02-26 2020-07-09 주식회사 아이오토 서라운드뷰 모니터링 시스템
KR102164842B1 (ko) 2020-03-31 2020-10-13 주식회사 아이오토 위험물 운송 특장차 주행안전 시스템
KR102366944B1 (ko) * 2020-06-17 2022-02-28 (주)베이다스 조감 시점 영상을 생성하는 방법 및 장치
US11901601B2 (en) 2020-12-18 2024-02-13 Aptiv Technologies Limited Waveguide with a zigzag for suppressing grating lobes
US11405559B1 (en) 2021-02-19 2022-08-02 Honda Motor Co., Ltd. Systems and methods for live signal adjustment of a movable camera
KR102513762B1 (ko) 2021-03-02 2023-03-27 주식회사 켐트로닉스 사이드미러 가상 영상 생성 장치 및 방법
US11616282B2 (en) 2021-08-03 2023-03-28 Aptiv Technologies Limited Transition between a single-ended port and differential ports having stubs that match with input impedances of the single-ended and differential ports
CN114007063A (zh) * 2021-10-29 2022-02-01 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的测试系统及方法
KR102580653B1 (ko) * 2023-05-22 2023-09-21 고려웍스(주) 차량어라운드뷰 자동전환장치 및 그의 방법
KR102643155B1 (ko) * 2023-08-16 2024-03-05 오토아이티(주) 다목적 영상 제공용 어라운드 뷰 모니터 영상 처리 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039136A1 (en) * 2000-05-26 2002-04-04 Shusaku Okamoto Image processor and monitoring system
CN103079903A (zh) * 2010-11-30 2013-05-01 爱信精机株式会社 停车位置调整装置
CN104648248A (zh) * 2013-11-22 2015-05-27 莫儒 环视汽车盲区安全影像头

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538636B2 (en) * 1995-06-07 2013-09-17 American Vehicular Sciences, LLC System and method for controlling vehicle headlights
JP4640238B2 (ja) * 2006-04-10 2011-03-02 日産自動車株式会社 車両周囲映像作成装置及び車両周囲映像作成方法
JP2010042727A (ja) * 2008-08-11 2010-02-25 Nissan Motor Co Ltd 車両用周囲状況提示装置
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
KR101565006B1 (ko) * 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
DE102014213413B4 (de) 2014-07-10 2018-12-20 Siemens Healthcare Gmbh Dynamische Felderfassung in einem MRT
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
KR102321522B1 (ko) * 2014-12-17 2021-11-04 엘지이노텍 주식회사 접이식 사이드 미러 어라운드 뷰 모니터링 시스템
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
DE102015117776A1 (de) * 2015-04-30 2016-11-03 Huf Hülsbeck & Fürst Gmbh & Co. Kg Kameraeinrichtung für ein Kraftfahrzeug
JP6816389B2 (ja) * 2016-06-30 2021-01-20 アイシン精機株式会社 周辺監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039136A1 (en) * 2000-05-26 2002-04-04 Shusaku Okamoto Image processor and monitoring system
CN103079903A (zh) * 2010-11-30 2013-05-01 爱信精机株式会社 停车位置调整装置
CN104648248A (zh) * 2013-11-22 2015-05-27 莫儒 环视汽车盲区安全影像头

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108995592A (zh) * 2018-08-02 2018-12-14 张士文 汽车影像系统
CN108995592B (zh) * 2018-08-02 2021-06-15 张士文 汽车影像系统
CN109094504A (zh) * 2018-09-28 2018-12-28 东南（福建）汽车工业有限公司 一种基于前置泊车雷达的车外后视镜避障系统及方法
CN111572471A (zh) * 2019-02-15 2020-08-25 丰田自动车株式会社 车辆驾驶辅助装置
CN111572471B (zh) * 2019-02-15 2023-04-28 丰田自动车株式会社 车辆驾驶辅助装置

Also Published As

Publication number Publication date
EP3333018A1 (en) 2018-06-13
US10649461B2 (en) 2020-05-12
KR20180066494A (ko) 2018-06-19
EP3333018B1 (en) 2019-04-03
CN108216032B (zh) 2021-05-18
US20180164831A1 (en) 2018-06-14
KR101954199B1 (ko) 2019-05-17

Similar Documents

Publication Publication Date Title
CN108216032A (zh) 车辆用环视监控装置、车辆运行控制装置以及车辆
EP3409525B1 (en) User interface apparatus for vehicle and vehicle
CN111225845B (zh) 驾驶辅助系统以及包括驾驶辅助系统的车辆
US11180135B2 (en) Autonomous parking system and vehicle
CN108974122A (zh) 停车辅助系统
CN109532837A (zh) 设置于车辆的电子装置、车辆以及计算机可读取的介质
CN107878362A (zh) 自主行驶车辆
KR102001917B1 (ko) 차량용 주차 시스템 및 차량
CN107867227A (zh) 车辆驾驶辅助装置
CN107776472A (zh) 灯泡以及自主驾驶车辆
CN108806033A (zh) 车辆的智能钥匙、控制系统及方法
CN109849906A (zh) 自主行驶车辆及其控制方法
CN108216217A (zh) 车辆用行驶控制装置以及车辆
CN109542096A (zh) 控制车辆的运行系统的方法及车辆的运行系统
CN109421600A (zh) 车辆用环视提供装置及车辆
CN109664887A (zh) 自主行驶车辆及其控制方法
US10803643B2 (en) Electronic device and user interface apparatus for vehicle
US20200070827A1 (en) Autonomous vehicle and operating method for autonomous vehicle
US20200202535A1 (en) Driver assistance apparatus and vehicle
CN109572708A (zh) 车辆行驶控制装置及车辆行驶方法
US11004245B2 (en) User interface apparatus for vehicle and vehicle
CN110226102A (zh) 车辆用雷达装置及车辆
CN109561379A (zh) 获取行人相关的信息的方法及车辆用通信装置
CN109484328A (zh) 车辆的用户接口装置
US20210362710A1 (en) Traveling system and vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant