CN105291981B - 车辆用全景式监控影像系统及其方法 - Google Patents

车辆用全景式监控影像系统及其方法 Download PDF

Info

Publication number
CN105291981B
CN105291981B CN201510382290.5A CN201510382290A CN105291981B CN 105291981 B CN105291981 B CN 105291981B CN 201510382290 A CN201510382290 A CN 201510382290A CN 105291981 B CN105291981 B CN 105291981B
Authority
CN
China
Prior art keywords
vehicle
image
panoramic view
view monitoring
monitoring image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510382290.5A
Other languages
English (en)
Other versions
CN105291981A (zh
Inventor
金钟涣
金尚局
金性完
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN105291981A publication Critical patent/CN105291981A/zh
Application granted granted Critical
Publication of CN105291981B publication Critical patent/CN105291981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种车辆用全景式监控影像(AVM)系统及其方法，所述车辆用AVM系统包括：工作开始判断部，其根据车辆的变速模式及车速模式判断AVM系统的工作开始条件；路径转换部，其在工作开始判断部的判断结果为变速模式与车速模式满足AVM系统的工作开始条件时，按照工作开始判断部的控制将立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从主动安全系统转换到AVM系统；以及AVM影像处理部，其合成AVM系统中的多个摄像头拍摄的车辆的周边影像与通过路径转换部从主动安全系统接收的任意一个影像构成表示车辆的周边状况的周边影像。本发明能够简化现有车辆用AVM系统、降低整个系统费用。

Description

车辆用全景式监控影像系统及其方法
技术领域
本发明涉及车辆用全景式监控影像系统及其方法，尤其涉及利用摄像头监控车辆周边状况的全景式监控影像系统及其方法。
背景技术
车辆用全景式监控影像(Around View Monitoring；以下简称AVM)系统是指以本车辆为中心感测360度周边的事物的系统。
图1为显示一般的车辆用AVM系统的构成的框图，图2为立体显示图1所示四个摄像头在车辆内的配置位置及这些摄像头拍摄的四个区域的示意图，图3为一般的车辆用AVM系统显示的AVM影像的示意图。
参照图1及图2，一般的车辆用AVM系统由四个摄像头单元11-1、11-2、11-3、11-4、AVM单元13及显示单元15构成。
四个摄像头单元11-1、11-2、11-3、11-4拍摄由车辆前方、后方、左侧方及右侧方区域构成的四个区域R1、R2、R3、R4生成四信道影像。
AVM单元13将所述四信道影像合成为一个影像(以下称为AVM影像)，并通过显示单元15提供给驾驶员。
通过显示单元15提供给驾驶员的AVM影像如图3所示。
参照图3，关于前方区域的前方影像31位于AVM影像39的上侧，关于后方区域的后方影像37位于AVM影像39的下侧，关于左侧区域及右侧区域的左侧方影像33及右侧方影像35分别位于AVM影像39的左侧及右侧。
如上所述，驾驶员通过一个AVM影像即可识别一个以本车辆为中心的360度周边的事物。
另外，现在车辆用电装系统领域在积极开发主动安全系统(Active SafetySystem)。主动安全系统是被动安全系统(Passive Safety System)的反概念。
被动安全系统是在事故发生后启动特定装置确保驾驶员安全的系统的总称，例如感测到车辆追尾时启动气囊的气囊系统等。
相反，主动安全系统是预测事故可能性并将预测结果警报给驾驶员的系统的总称，例如车道偏离警报(Lane Departure Warning；LDW)系统、前方碰撞预警(ForwardCollision Warning；FCW)系统、远光灯辅助(High Beam Assistant；HBA)系统等。
大多数车辆制造厂家利用立体摄像头的影像处理过程实现上述主动安全系统。
如上所述，AVM系统与主动安全系统均为以车辆安全行驶为目的的系统，在车辆适用这些系统的情况下车辆电装系统复杂度上升。
尤其，在一个车辆上同时设置AVM系统与主动安全系统的情况下，会浪费摄像头传感器资源。即，所述主动安全系统中使用的立体摄像头拍摄前方区域的情况下，所述立体摄像头与所述AVM系统中使用的四个摄像头中拍摄前方区域的摄像头重复拍摄相同的区域，这是摄像头传感器资源浪费。
发明内容
技术问题
本发明的目的为提供一种减少车辆内两种电子系统之间使用的摄像头传感器的资源浪费，以达到降低费用的目的的车辆用AVM系统及其方法。
技术方案
为达成上述目的，根据本发明一个方面的车辆用全景式监控影像系统，包括：工作开始判断部，其根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件；路径转换部，其在所述工作开始判断部的判断结果为所述变速模式与所述车速模式满足所述全景式监控影像系统的工作开始条件时，按照所述工作开始判断部的控制将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统；以及全景式监控影像处理部，其合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与通过所述路径转换部从所述主动安全系统接收的所述任意一个影像构成表示所述车辆的周边状况的周边影像。
根据本发明另一方面的利用车辆用全景式监控影像系统监控车辆的周边的方法，包括：根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件的步骤；在所述车辆的变速模式与所述车速模式满足所述全景式监控影像系统的工作开始条件时，将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统的步骤；以及合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与从所述主动安全系统接收的所述任意一个影像构成用于监控所述车辆的周边的周边影像的步骤。
根据本发明又一方面的车辆用全景式监控影像系统，是与利用平行配置的两个摄像头构成的立体摄像头控制车辆的主动安全的车辆用主动安全系统联动的车辆用全景式监控影像系统,包括：工作开始判断部，其根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件；路径转换部，其在所述车辆的变速模式及车速模式满足所述工作开始条件时，按照所述工作开始判断部的控制将所述摄像头中具有液体透镜的摄像头拍摄的广角影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统；以及全景式监控影像处理部，其合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与通过所述路径转换部接收的所述广角影像构成用于监控所述车辆的周边状况的四信道影像。
技术效果
根据本发明，AVM系统与主动安全系统共享用于拍摄特定区域的摄像头传感器。因此能够降低摄像头传感器的整体数量，达到轻量化及降低费用的目的。
附图说明
图1为显示一般的车辆用AVM系统的构成的框图；
图2为立体显示图1所示四个摄像头在车辆内的配置位置及这些摄像头拍摄的四个区域的示意图；
图3为显示一般的车辆用AVM系统构成的四个信道影像的示意图；
图4为显示根据本发明一个实施例的车辆电子控制系统的整体构成的框图；
图5为显示根据本发明一个实施例的车辆电子控制系统中摄像头的种类及配置结构的示意图；
图6为显示根据本发明一个实施例的利用AVM系统监控车辆周边的方法的流程图；
图7为显示根据本发明一个实施例的四信道影像的示意图；
图8至图10为说明根据本发明一个实施例的适用于立体摄像头的液体透镜的示意图；
图11为显示根据本发明另一实施例的车辆电子控制系统的示意图。
具体实施方式
本发明利用主动安全(Active Safety；AS)系统的立体摄像头替代车辆用AVM系统的前方摄像头，AVM系统与AS系统共享所述立体摄像头。因此，能够去除不必要的摄像头，达到简化整个系统、降低费用的效果。
参照附图及以下说明的实施例便可明确本发明的优点、特征及达成方法。但是，本发明并非限定于以下公开的实施例，而是以不同的多种形态实现，本实施例仅仅使得本发明的公开更加完整，使本发明所属技术领域的普通技术人员容易理解本发明的范畴，本发明由技术方案的范畴定义。另外，本说明书中使用的术语用于说明实施例，而并非限定本发明。本说明书中在无特殊记载的情况下单数型还包括复数型。
以下参照附图详细说明本发明的实施例。假设以下实施例为监控车辆的360度周边的全景式监控影像系统，但本发明并不限定于此。即，本发明可适用于能够根据行驶状态实现多种视图模式的任意种类的系统中，在此所述视图模式包括高速直行情况下监控前方及两侧方或监控一侧方的全景视图(panorama view)、低速直行情况下监控前方及后方的前后方视图，高速及低速转弯或变更车道的情况下监控前方、后方及两侧方或监控一侧方的全景视图等。
图4为显示根据本发明一个实施例的车辆电子控制系统的整体构成的框图。
参照图4，根据本发明一个实施例的车辆电子控制系统包括主动安全(ActiveSafety；AS)系统100及与所述AS系统100内的立体摄像头110联动的全景式监控影像(Around View Monitoring；AVM)系统200。
AS系统100包括立体摄像头110、立体影像处理部130及主动安全控制逻辑140。
立体摄像头110如图5所示，包括设置于车辆前面拍摄车辆前方区域的左侧摄像头112及右侧摄像头114。左侧摄像头112拍摄车辆前方获取左视点前方影像，右侧摄像头114获取右视点前方影像。
左视点前方影像或右视点前方影像被AVM系统用作四信道影像中的前方影像，以下将对此进行说明。本实施例假设将右视点前方影像用作AVM系统的前方影像。
立体影像处理部130通过第一传递路径(PathWay1；PW1)从立体摄像头110接收左视点前方影像，通过AVM系统200的路径转换部220形成的第二传递路径(PathWay2；PW2)从立体摄像头110接收右视点前方影像。
立体影像处理部130立体整合左视点前方影像与右视点前方影像，根据整合的立体影像生成具有距离信息(从立体摄像头110到客体的距离信息)的深度影像(depthimage)。
主动安全控制逻辑140利用从立体影像处理部130接收的深度影像执行车道偏离警报(Lane Departure Warning；LDW)控制、追尾警报(Forward Collision Warning；FCW)控制、远光灯辅助(High Beam Assistant；HBA)控制等关于主动安全的逻辑运算。
运算结果发送到车辆内的制动电子控制单元70、转向电子控制单元80等，制动电子控制单元70、转向电子控制单元80为了车辆的主动安全而控制车辆制动及转向。
与控制车辆的主动安全的上述AS系统100联动的AVM系统200包括工作开始判断部210、路径转换部220、AVM用摄像头230及AVM影像处理部240。
工作开始判断部210根据车辆的变速模式及车速模式判断是否使AVM系统或AS系统开始工作。车辆的变速模式包括驻车模式、倒车模式及行驶模式。驻车模式与倒车模式可通过从变速器电子控制单元(Electronic Control Unit；ECU)30接收的变速杆的位置值进行判断。车速模式包括低速模式与行驶模式。低速模式是从车速传感器40接收的车速值低于预先设定的速度值(例如，20km/h)的情况。行驶模式是所述车速值大于所述预先设定的速度值的情况。
通过工作开始判断部210判断的AVM系统200或AS系统的工作开始条件如下表所示。
路径转换部220在判断结果为使AVM系统200开始工作时，将通过AS系统100内的立体摄像头110的右侧摄像头114获取的右侧前方影像分路(bypassing)到AVM影像处理部240。
例如，路径转换部220在从工作开始判断部210接收表示AVM工作模式的转换信号时，将第二传递路径PW2转换为连接右侧摄像头与AVM影像处理部的第三传递路径PW3。在转换成第三传递路径PW3的状态下，当路径转换部220接收到表示AS工作模式的转换信号时，从第三传递路径PW3重新转换到第二传递路径PW2。
AVM用摄像头230包括拍摄车辆的左侧方周边、右侧方周边及后方周边的左侧方摄像头、右侧方摄像头及后方摄像头。其中，根据本发明一个实施例的AVM用摄像头230不包括拍摄车辆的前方周边的前方摄像头，这一点不同于现有AVM系统。
AVM影像处理部240通过执行影像处理生成表示车辆的360度周边状况的四信道影像，合成从AVM用摄像头230接收的左侧方影像、右侧方影像、后方影像及通过所述路径转换部220接收的右视点前方影像以构成如图3所示的四信道影像39。
通过AVM影像处理部240构成的四信道影像39传输到显示单元90，显示单元90显示四信道影像39。
驾驶员在驻车或倒车时可通过显示单元90显示的四信道影像39监控本车辆的360度周边状况。
如上所述，根据本发明一个实施例的系统，AVM系统的前方摄像头被AS系统的立体摄像头替代。即，能够简化整个系统、降低费用。
图6为显示根据本发明一个实施例的利用AVM系统监控车辆周边的方法的流程图。
参照图6，首先在步骤S610中，车辆启动(ON)时设置于车辆前侧的立体摄像头的电源开启(ON)，立体摄像头进入能够运行的待工作状态。
在步骤S612中，在立体摄像头处于待工作的状况下从变速器ECU接收到驻车模式(P)或倒车模式(R)时，向AVM影像处理部输入立体摄像头的一侧摄像头获取的前方影像。
在步骤S614中，AVM影像处理部执行影像处理，即结合立体摄像头的一侧摄像头获取的前方影像与AVM用摄像头获取的左侧方影像、右侧方影像及后方影像构成四信道影像。
在步骤S616中，通过车辆内的各种多媒体设备显示构成的四信道影像。
另外，步骤S612中，未从变速器ECU接收到驻车模式(P)或倒车模式(R)时转到步骤S618。
在步骤S618中，判断是否从变速器ECU接收到行驶模式(D)，在接收到行驶模式(D)时执行步骤S620。
在步骤620中，判断从车速传感器接收的车速是不是低于预先设定的车速(例如，20km/h)的低速模式，在判断结果为低速模式时执行上述步骤S614及S616。
在步骤S620的判断结果为从车速传感器接收的车速为预先设定的车速(例如，20km/h)以上的行驶模式时，在步骤S622中AS系统工作，在步骤S624中通过AS系统执行车辆主动控制。
以上图4至图6的实施例说明了用车辆用主动安全系统用立体摄像头替代AVM系统的四信道摄像头中的前方摄像头的方法。
为了利用AVM系统中使用的AVM用摄像头拍摄360度周边，需要搭载具有广角特性的广角透镜。然而，AS系统中使用的立体摄像头的用途非拍摄本车辆的360度周边，因此搭载的是具有窄角特性的窄角透镜。通过这种窄角透镜拍摄的影像的拍摄范围小于通过广角透镜拍摄的周边影像的拍摄范围，因此AVM系统可能无法实现完整的四信道影像。
即，AVM系统利用立体摄像头内具有窄角特性的一侧摄像头获取的前方影像构成四信道影像的情况下如图7所示，无法显示区域P1、P2，因此无法显示用于监控本车辆的360度周边的完整四信道影像。
对此，本发明另一实施的立体摄像头内的一个摄像头包括同时具有窄角特性及广角特性的液体透镜(Liquid lens)。并且，在具有液体透镜的所述一个摄像头与AVM系统之间形成信息传递路径，在AVM系统工作的情况下控制使得所述液体透镜具有广角特性，在AS系统工作的情况下控制使得所述液体透镜具有窄角特性。
液体透镜
图8至图10为说明根据本发明一个实施例的适用于立体摄像头的液体透镜的原理的示意图。
参照图8至图10，液体透镜具有折射率互异且通过弯月面(meniscus)14接触的非混合性的第一流体A及第二流体B。
并且，液体透镜包括具有圆筒壁的圆筒形状的流体腔5、配置于所述圆筒的内侧壁的流体接触层(contact layer)10、通过所述流体接触层10与所述第一流体A及第二流体B分离的第一电极2及激活所述第二流体B的第二电极12。
所述第一电极2是圆筒形状，由金属性物质形成且涂布有绝缘层(insulatinglayer)8，所述第二电极12配置于流体腔5的一侧。并且，透明的前方要素4与透明的后方要素6形成容纳所述两种流体的所述流体腔5的外壳。
液体透镜的工作如下所述。
未向所述第一电极2与第二电极12之间施加电压的情况下，所述流体接触层对第一流体A的湿润性(wettability)大于对第二流体B的湿润性。
向所述第一电极与第二电极之间施加电压V1、V2、V3的情况下发生电润湿(electrowetting)，因此所述第二流体B的湿润性发生改变，因此图8至图10所示弯月面14的接触角Q1、Q2、Q3发生改变。因此，利用施加电压时弯月面的形状发生改变的原理调节所述液体透镜的焦点。
即，根据图8至图10中施加的电压的大小，在第二流体B测定的所述弯月面14与流体接触层10之间的角度分别从钝角向锐角变化，例如变成约140°、100°、60°等。
如上，通过施加的电压调节液体透镜的焦点，因此液体透能够兼具广角特性及窄角特性。
以下说明利用具有上述说明的液体透镜的立体摄像头生成AVM影像的电子控制系统。
图11为显示根据本发明另一实施例的车辆电子控制系统的示意图。
参照图11，根据本发明另一实施例的车辆电子控制系统的AS系统用具有液体透镜的摄像头114'替代构成立体摄像头110'的一个摄像头。并且，还包括向所述液体透镜114-1施加电压使得在AS系统工作的情况下所述摄像头114'按照窄角特性工作，在AVM系统工作的情况下按照广角特性工作的电压施加部260。
图11中的其他构件220、232、234、236、240的功能与图4中构件220、232、234、236、240的功能相同，因此省略以上构件的说明。
但是，与图4的工作开始判断部210相比，图11中的工作开始判断部210'将图4所示实施例的判断结果发送给所述电压施加部260，这一点区别于图4中的工作开始判断部210。
即，根据本发明另一实施例的工作开始判断部210'根据车辆的变速模式及车速模式判断使AS系统100或AVM系统200工作开始条件，并根据该判断结果向电压施加部260发送指示AS系统100的工作模式的AS工作模式信号与指示AVM系统的工作模式的AVM工作模式信号。
电压施加部260在接收到AS工作模式信号的情况下，向所述液体透镜114-1施加第一电压使得构成立体摄像头的任意一个摄像头114'的液体透镜114-1按照窄角特性工作。
相反，电压施加部260接收到AVM工作模式信号的情况下，向所述液体透镜114-1施加第二电压使得所述液体透镜114-1按照广角特性工作。
如上所述，本发明另一实施例用具有在AVM工作模式按照广角特定性工作的液体透镜的立体摄像头替代AVM系统中四信道摄像头中的前方摄像头。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种车辆用全景式监控影像系统，是与利用立体摄像头控制车辆的主动安全的车辆用主动安全系统联动的车辆用全景式监控影像系统,其特征在于，包括：
工作开始判断部，其根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件；
路径转换部，其在所述工作开始判断部的判断结果为所述变速模式与所述车速模式满足所述全景式监控影像系统的工作开始条件时，按照所述工作开始判断部的控制将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统；以及
全景式监控影像处理部，其合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与通过所述路径转换部从所述主动安全系统接收的所述任意一个影像构成表示所述车辆的周边状况的周边影像。
2.根据权利要求1所述的车辆用全景式监控影像系统，其特征在于：
所述工作开始判断部在所述变速模式为驻车模式或倒车模式的情况下，判断为所述全景式监控影像系统开始工作。
3.根据权利要求1所述的车辆用全景式监控影像系统，其特征在于：
所述工作开始判断部在所述变速模式为行驶模式并且所述车速模式为所述车速低于预先设定的车速的低速模式的情况下，判断为所述全景式监控影像系统开始工作。
4.根据权利要求1所述的车辆用全景式监控影像系统，其特征在于：
所述立体摄像头拍摄的所述任意一个影像是所述车辆的前方影像,所述多个摄像头拍摄的所述车辆的周边影像是所述车辆的左侧方影像、右侧方影像及所述车辆的后方影像。
5.根据权利要求1所述的车辆用全景式监控影像系统，其特征在于：
所述工作开始判断部在所述变速模式为行驶模式并且所述车速模式为所述车速大于预先设定的车速的行驶模式的情况下，判断为所述主动安全系统开始工作，所述路径转换部根据所述主动安全系统工作的开始，将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述全景式监控影像系统转换到所述主动安全系统。
6.一种利用车辆用全景式监控影像系统监控车辆的周边的方法，是利用与适用立体摄像头的车辆用主动安全系统联动的车辆用全景式监控影像系统监控车辆的周边的方法,其特征在于，包括：
根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件的步骤；
在所述车辆的变速模式与所述车速模式满足所述全景式监控影像系统的工作开始条件时，将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统的步骤；以及
合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与从所述主动安全系统接收的所述任意一个影像构成用于监控所述车辆的周边的周边影像的步骤。
7.根据权利要求6所述的利用车辆用全景式监控影像系统监控车辆的周边的方法，其特征在于：
判断所述全景式监控影像系统的工作开始条件的步骤具体是,
在所述变速模式为驻车模式或倒车模式的情况下，判断为所述全景式监控影像系统开始工作。
8.根据权利要求6所述的利用车辆用全景式监控影像系统监控车辆的周边的方法，其特征在于：
判断所述全景式监控影像系统的工作开始条件的步骤具体是,
在所述变速模式为行驶模式并且所述车速模式为所述车速低于预先设定的车速的低速模式的情况下，判断为所述全景式监控影像系统开始工作。
9.根据权利要求6所述的利用车辆用全景式监控影像系统监控车辆的周边的方法，其特征在于：
所述立体摄像头拍摄的所述任意一个影像是所述车辆的前方影像,所述多个摄像头拍摄的所述车辆的周边影像是所述车辆的左侧方影像、右侧方影像及所述车辆的后方影像。
10.根据权利要求6所述的利用车辆用全景式监控影像系统监控车辆 的周边的方法，其特征在于，还包括：
在所述变速模式为行驶模式并且所述车速模式为所述车速大于预先设定的车速的行驶模式的情况下，判断为所述主动安全系统开始工作的步骤；以及
根据所述主动安全系统工作的开始，将所述立体摄像头拍摄的左侧影像及右侧影像中任意一个影像的传递路径从所述全景式监控影像系统转换到所述主动安全系统的步骤。
11.一种车辆用全景式监控影像系统，是与利用平行配置的两个摄像头构成的立体摄像头控制车辆的主动安全的车辆用主动安全系统联动的车辆用全景式监控影像系统,其特征在于，包括：
工作开始判断部，其根据所述车辆的变速模式及车速模式判断所述全景式监控影像系统的工作开始条件；
路径转换部，其在所述车辆的变速模式及车速模式满足所述工作开始条件时，按照所述工作开始判断部的控制将所述摄像头中具有液体透镜的摄像头拍摄的广角影像的传递路径从所述主动安全系统转换到所述全景式监控影像系统；以及
全景式监控影像处理部，其合成所述全景式监控影像系统中的多个摄像头拍摄的所述车辆的周边影像与通过所述路径转换部接收的所述广角影像构成用于监控所述车辆的周边状况的周边影像。
12.根据权利要求11所述的车辆用全景式监控影像系统，其特征在于：
所述工作开始判断部在所述车辆的变速模式及车速模式满足所述全景式监控影像系统的工作开始条件的情况下，输出使所述液体透镜按照广角特性工作的全景式监控影像工作模式信号，在所述车辆的变速模式及车速模式满足所述主动安全系统的工作开始条件的情况下，输出使所述液体透镜按照窄角特性工作的主动安全工作模式信号。
13.根据权利要求12所述的车辆用全景式监控影像系统，其特征在于，还包括：
电压施加部，其在接收到所述主动安全工作模式信号的情况下输出使所述液体透镜按照窄角特性工作的第一电压，在接收到所述全景式监控影像工作模式信号的情况下，输出使所述液体透镜按照广角特性工作的第二电压。
14.根据权利要求11所述的车辆用全景式监控影像系统，其特征在于：
所述广角影像是所述车辆的前方影像,所述多个摄像头拍摄的所述车辆的周边影像是所述车辆的左侧方影像、右侧方影像及所述车辆的后方影像。
15.根据权利要求11所述的车辆用全景式监控影像系统，其特征在于：
所述工作开始判断部在所述变速模式为驻车模式或倒车模式的情况下，判断为所述全景式监控影像系统开始工作。
CN201510382290.5A 2014-07-15 2015-07-02 车辆用全景式监控影像系统及其方法 Active CN105291981B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140089074A KR101603609B1 (ko) 2014-07-15 2014-07-15 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
KR10-2014-0089074 2014-07-15

Publications (2)

Publication Number Publication Date
CN105291981A CN105291981A (zh) 2016-02-03
CN105291981B true CN105291981B (zh) 2017-10-20

Family

ID=55075659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510382290.5A Active CN105291981B (zh) 2014-07-15 2015-07-02 车辆用全景式监控影像系统及其方法

Country Status (3)

Country Link
US (1) US10261104B2 (zh)
KR (1) KR101603609B1 (zh)
CN (1) CN105291981B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9656621B2 (en) * 2015-09-14 2017-05-23 Pearl Automation Inc. System and method for sensor module power management
CN107776489B (zh) * 2016-08-26 2020-07-10 比亚迪股份有限公司 车辆及其全景影像的显示方法和显示系统
US10165256B2 (en) 2016-09-14 2018-12-25 Amazon Technologies, Inc. Aerial vehicle optical sensor configuration
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
TWI686747B (zh) 2018-11-29 2020-03-01 財團法人金屬工業研究發展中心 移動載具全周障礙迴避之方法
JP7213158B2 (ja) * 2019-07-09 2023-01-26 株式会社小野測器 状態計測装置及び状態計測方法
KR20210111600A (ko) 2020-03-03 2021-09-13 박현주 다중 화각 카메라를 활용한 전방위 뎁스 영상 생성 기반 이동수단 모니터링 시스템 및 방법
KR20210120384A (ko) * 2020-03-26 2021-10-07 현대모비스 주식회사 충돌 거리 추정 장치 및 이를 이용한 주행 보조 시스템
DE102022116331A1 (de) 2022-06-30 2024-01-04 Connaught Electronics Ltd. Kamera für ein Fahrzeug, Verfahren zum Betreiben einer Kamera und System mit einer Kamera, z.B. zur Verwendung als Kamera-Monitor-System oder Rundumsicht-System

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2233359A1 (en) * 2009-03-25 2010-09-29 Aisin Seiki Kabushiki Kaisha Surroundings monitoring device for a vehicle
CN202806557U (zh) * 2012-06-14 2013-03-20 北京万得嘉瑞汽车技术有限公司 一种集成全景泊车和车道偏离报警功能的驾驶辅助系统
CN203063814U (zh) * 2012-11-30 2013-07-17 东风悦达起亚汽车有限公司 一种电动汽车后视镜影像系统
CN103763470A (zh) * 2014-01-10 2014-04-30 重庆路威科技发展有限公司 一种便携式场景拍照装置
KR20140080872A (ko) * 2012-12-20 2014-07-01 현대오트론 주식회사 3차원 avm이 탑재된 차량의 주차시 후사경 디스플레이의 뷰모드 전환 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100498987B1 (ko) * 2002-10-11 2005-07-01 엘지전자 주식회사 Ｇｐｓ 위치 데이터 수신 불량 지역에서의 이동체 위치예측 방법
JP4626400B2 (ja) * 2005-05-25 2011-02-09 日産自動車株式会社 俯瞰画像表示装置及び俯瞰画像表示方法
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
WO2011070851A1 (ja) * 2009-12-11 2011-06-16 シャープ株式会社 画像表示装置、視覚補助器具およびそれらを用いた立体画像表示システム
JP5979812B2 (ja) * 2010-07-27 2016-08-31 キヤノン株式会社 画像処理装置および画像処理方法
KR101267885B1 (ko) * 2011-04-07 2013-05-27 (주)지오크로스 차량용 영상 스위칭 장치 및 이를 이용한 영상 처리 제어 방법
WO2012169355A1 (ja) * 2011-06-09 2012-12-13 アイシン精機株式会社 画像生成装置
GB201203159D0 (en) * 2012-02-23 2012-04-11 Smartkem Ltd Organic semiconductor compositions
TW201344648A (zh) * 2012-04-30 2013-11-01 Tung Thih Electronic Co Ltd 行車監控系統與行車監控方法
JP6429452B2 (ja) * 2013-11-22 2018-11-28 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2233359A1 (en) * 2009-03-25 2010-09-29 Aisin Seiki Kabushiki Kaisha Surroundings monitoring device for a vehicle
CN202806557U (zh) * 2012-06-14 2013-03-20 北京万得嘉瑞汽车技术有限公司 一种集成全景泊车和车道偏离报警功能的驾驶辅助系统
CN203063814U (zh) * 2012-11-30 2013-07-17 东风悦达起亚汽车有限公司 一种电动汽车后视镜影像系统
KR20140080872A (ko) * 2012-12-20 2014-07-01 현대오트론 주식회사 3차원 avm이 탑재된 차량의 주차시 후사경 디스플레이의 뷰모드 전환 장치 및 방법
CN103763470A (zh) * 2014-01-10 2014-04-30 重庆路威科技发展有限公司 一种便携式场景拍照装置

Also Published As

Publication number Publication date
US20160021312A1 (en) 2016-01-21
KR101603609B1 (ko) 2016-03-28
CN105291981A (zh) 2016-02-03
US10261104B2 (en) 2019-04-16
KR20160009157A (ko) 2016-01-26

Similar Documents

Publication Publication Date Title
CN105291981B (zh) 车辆用全景式监控影像系统及其方法
CN109691079A (zh) 成像装置和电子设备
US10875452B2 (en) Driving assistance device and driving assistance method
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
CN104417553A (zh) 使用相机的汽车安全控制装置及方法
CN113093591A (zh) 高集成度辅助驾驶控制方法、多核微处理器及系统
JP2016131367A (ja) 移動体システム
US9868422B2 (en) Control apparatus of brake system and method of controlling the same
CN112822348B (zh) 交通工具机载成像系统
JPWO2020045598A1 (ja) 電子機器及び固体撮像装置
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
WO2014103272A1 (ja) カメラシステム、カメラモジュールおよびカメラ制御方法
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2021029269A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR102094405B1 (ko) 영상을 이용한 사고 유무 판단 방법 및 장치
US20210377485A1 (en) Imaging device
JP2018116579A (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
WO2016059765A1 (ja) 映像処理装置、及び車載映像処理システム
GB2605636A (en) A method for predicting at least one motion of at least one object in the surroundings of a motor vehicle as well as a corresponding detection system
KR20170094592A (ko) 차량 번호판 인식을 이용한 차량 제어 시스템 및 차량 제어방법
TW202103055A (zh) 攝像裝置及攝像方法
WO2024004624A1 (ja) 撮影装置、撮影方法、プログラム
WO2024005074A1 (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
CN103974035B (zh) 一种宽视野前视系统及其使用方法
CN113454985B (zh) 固态成像设备与成像设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant