CN108781275B - 电子镜控制装置 - Google Patents

电子镜控制装置 Download PDF

Info

Publication number
CN108781275B
CN108781275B CN201780003222.0A CN201780003222A CN108781275B CN 108781275 B CN108781275 B CN 108781275B CN 201780003222 A CN201780003222 A CN 201780003222A CN 108781275 B CN108781275 B CN 108781275B
Authority
CN
China
Prior art keywords
straight line
display
background image
region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780003222.0A
Other languages
English (en)
Other versions
CN108781275A (zh
Inventor
贝野彰
藤原由贵
星野阳子
吉田诚
竹之内久美子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN108781275A publication Critical patent/CN108781275A/zh
Application granted granted Critical
Publication of CN108781275B publication Critical patent/CN108781275B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

电子镜控制装置包括：被搭载于车辆，用于摄像包含行驶中的车辆的后侧面的背景图像的摄像部；显示由摄像部摄像的背景图像的显示部；根据背景图像计算出消失点的位置的运算部；在背景图像中提取显示有车辆的后侧面的后侧面区域的提取部；将被第一直线、第二直线以及显示部的外缘包围的背景图像的下方区域以高于下方区域以外的区域的亮度进行显示的显示控制部，其中，第一直线是以消失点为起点并通过后侧面区域且相对于水平方向向下方延伸的直线，第二直线是以消失点为起点且相对于通过消失点的垂直线在第一直线的相反侧相对于水平方向向下方延伸的直线。

Description

电子镜控制装置
技术领域
在此公开的技术涉及控制由摄像部摄像的包含车辆的后侧面的背景图像的显示的电子镜控制装置。
背景技术
以往，提出有将用车载摄像机拍摄的车辆的后侧面及后侧方的图像显示于设置在车辆内部的显示器的装置(参照专利文献1)。在专利文献1记载的技术中，通过将显示于显示器的图像局部地压缩而显示，从而能够提高驾驶者的视觉辨认性。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2012-170127号
发明内容
在车辆行驶过程中，驾驶者需要在任何环境下也能准确安全地掌握行驶空间。在没有能够视觉辨认车辆的后侧方的门镜或显示用摄像机摄像的车辆的后侧方的显示器中没有可看见的间接视野的情况下，驾驶者转动身体或脖子而将脸朝向后方而看后侧方。此时，驾驶者能够直观地掌握所看见的后侧方的环境在行驶环境中处于哪个位置。但是，由于转动脖子或移动视线，因此，看旁边的时间变长。
相对于此，利用所述门镜或显示器中可看见的间接视野的情况下，无需转动身体或脖子就能确认到车辆的后侧方，因此，可缩短看旁边的时间。但是，由于不是直接用眼睛看，因此，由间接视野掌握行驶环境需要时间。
因此，要求即使在利用间接视野的情况下，也能在短时间内由间接视野掌握自己车的位置关系等行驶环境。但是，在所述专利文献1中，并未对该点进行充分研究。
在此公开的技术以能够在短时间内由间接视野掌握行驶环境为目的。
为了解决所述问题，在此公开的技术的一方式的电子镜控制装置包括：摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；显示部，显示由所述摄像部摄像的所述背景图像；运算部，根据所述背景图像计算出消失点的位置；提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及显示控制部，将被第一直线、第二直线以及所述显示部的外缘包围的所述背景图像的下方区域以高于所述下方区域以外的区域的亮度进行显示，其中，所述第一直线是以所述消失点为起点并通过所述后侧面区域且相对于水平方向向下方延伸的直线，所述第二直线是以所述消失点为起点且相对于通过所述消失点的垂直线在所述第一直线的相反侧相对于水平方向向下方延伸的直线。
根据该电子镜控制装置，通过将被第一直线、第二直线以及显示部的外缘包围的背景图像的下方区域以高于下方区域以外的区域的亮度进行显示，从而驾驶者根据在显示部看到的间接视野，能够在短时间内掌握行驶环境，其中，第一直线是以消失点为起点并通过后侧面区域且相对于水平方向向下方延伸的直线，第二直线是以消失点为起点且相对于通过消失点的垂直线在第一直线的相反侧相对于水平方向向下方延伸的直线。
附图说明
图1是概略地表示本实施方式的车辆的结构的框图。
图2是概略地表示车辆的动作的一例的流程图。
图3是表示图2的动作中显示在显示器上的背景图像的图。
图4是概略地表示车辆的动作的不同的例子的流程图。
图5是表示图4的动作中显示在显示器上的背景图像的图。
图6是概略地表示车辆的动作的另一不同的例子的流程图。
图7是表示图6的动作中显示在显示器上的背景图像的图。
图8是概略地表示车辆的动作的又一不同的例子的流程图。
图9是表示图8的动作中显示在显示器上的背景图像的图。
具体实施方式
下面，参照附图说明本发明的实施方式。另外，在各图中，对同样的要素附上同样的符号并适当省略说明。
图1是概略地表示本实施方式的车辆的结构的框图。车辆100例如为四轮汽车。车辆100如图1所示包括摄像机210、220(摄像部的一例)、显示器310、320(显示部的一例)以及电子控制单元(ECU)400。
摄像机210例如被安装在车辆100的右侧的门镜上，摄像机210的光轴朝向车辆100的后方。摄像机210在每规定时间(例如1/60秒)连续摄像包含车辆100的右侧的后侧面的车辆100的右后方的背景图像。另外，虽然摄像机210安装在右侧的门镜上，但取而代之，摄像机210也可以在安装了右侧的门镜的位置以摄像机210的光轴朝向车辆100的后方的方式被安装。
摄像机220例如被安装在车辆100的左侧的门镜上，摄像机220的光轴朝向车辆100的后方。摄像机220在每规定时间(例如1/60秒)连续摄像包含车辆100的左侧的后侧面的车辆100的左后方的背景图像。另外，虽然摄像机220安装在左侧的门镜上，但取而代之，摄像机220也可以在安装了左侧的门镜的位置以摄像机220的光轴朝向车辆100的后方的方式被安装。
显示器310配置在驾驶座的前方的靠右的部分。显示器310显示由摄像机210在每规定时间(例如1/60秒)连续摄像的车辆100的右后方的背景图像中最新的背景图像。显示器320配置在驾驶座的前方的靠左的部分。显示器320显示由摄像机220在每规定时间(例如1/60秒)连续摄像的车辆100的左后方的背景图像中最新的背景图像。
显示器310、320呈矩形形状。显示器310、320包含例如液晶显示面板。显示器310、320并不限定于液晶显示面板，可包含有机EL(Electro Luminescence)面板等其它显示装置。
ECU400控制车辆100整体的动作。ECU400包含中央运算处理装置(CPU)410、存储器420以及其它周边电路。存储器420由例如闪存等半导体存储器、硬盘或其它存储元件形成。存储器420包含暂时保存由摄像机210、220摄像的各背景图像的帧存储器、保存程序的存储器、暂时保存数据的存储器等。另外，存储器420可由具备暂时保存由摄像机210、220摄像的各背景图像的区域、保存程序的区域、暂时保存数据的区域的单一的存储器形成。
CPU410按照保存在存储器420的程序动作，从而作为运算部411、提取部412以及显示控制部413而发挥作用。运算部411根据摄像机210、220摄像的各背景图像分别计算出显示器310、320上的消失点的位置。
提取部412从摄像机210摄像的背景图像提取显示有车辆100的右侧的后侧面的后侧面区域502(参照图3)。提取部412从摄像机220摄像的背景图像提取显示有车辆100的左侧的后侧面的后侧面区域。
显示控制部413在显示器310、320分别显示保存在存储器420的各帧存储器的由摄像机210、220摄像的最新的各背景图像。显示控制部413在将由摄像机210、220摄像的各背景图像显示在显示器310、320时，是左右反转地进行显示。据此，在显示器310显示映射到右侧的门镜的图像，在显示器320显示映射到左侧的门镜的图像。运算部411、提取部412及显示控制部413的功能将在后面详述。
图2是概略地表示车辆100的动作的一例的流程图。图3是表示在图2的动作中显示在显示器310的背景图像311的图。另外，以下说明摄像机210摄像的背景图像，对于摄像机220摄像的背景图像也同样。
例如，如果发动机启动，摄像机210开始摄像，开始图2的动作。在步骤S201，显示控制部413在显示器310显示由摄像机210摄像并保存在存储器420的帧存储器的最新的背景图像。
接着，在步骤S202，车辆100开始行驶。接着，在步骤S203，运算部411根据摄像机210摄像的背景图像计算出第一光流，并在步骤S204，计算出不同于第一光流的第二光流。
光流将图像中的物体的动作用矢量来表示。运算部411可从多个背景图像提取在彼此之间互相对应的特征点，将连接提取的对应特征点的线作为第一、第二光流而计算出。运算部411可使用卢卡斯-金出方法、霍恩-舒恩克方法等公知的方法来计算出第一、第二光流。
接着，在步骤S205，运算部411将第一光流与第二光流的交点作为消失点501(图3)而计算出。消失点是指在透视画法中，将实际上是平行线的部分画成不平行时，其线相交的点。
接着，在步骤S206，提取部412在显示器310中提取显示有车辆100的后侧面的后侧面区域502。提取部412可利用模板匹配法来提取后侧面区域502。或者，提取部412可比较摄像机210在每规定时间摄像的多个背景图像的各像素值，提取像素值没有变化的区域来作为后侧面区域502。
另外，ECU400可具备根据驾驶者的操作变更摄像机210的光轴的角度的摄像机控制部，以便能够变更摄像机210的摄像范围。存储器420可存储使摄像机210的光轴的角度与后侧面区域502相对应的数据。此时，提取部412可从摄像机控制部取得当前的摄像机210的光轴的角度，从存储器420提取与所取得的光轴的角度相对应的后侧面区域502。
接着，在步骤S207，提取部412提取表示画在道路上的行车线的边界的边界线503。提取部412可比较在步骤S206提取的后侧面区域502以外的区域的各像素的亮度，提取从显示器310的下缘312斜向延伸的亮度比较高且细长的矩形图像来作为边界线503。
接着，在步骤S208，显示控制部413计算出以消失点501为起点并通过后侧面区域502，且延伸至显示器310的下方的角落504(第一角落的一例)的第一直线511。接着，在步骤S209，显示控制部413计算出以消失点501为起点并平行于边界线503，且延伸至显示器310的下缘312的第二直线512。第一直线511及第二直线512通过消失点501，因此，分别表示光流。
接着，在步骤S210，显示控制部413使被第一直线511、第二直线512以及显示器310的下缘312(外缘的一例)包围的背景图像311的下方区域513的亮度增大从而比下方区域513以外的区域514的亮度亮。具体而言，显示控制部413可对下方区域513的各像素的亮度值乘以系数K1(K1为大于1的数)。另外，在乘积结果超过上限值(例如8比特时为255)的情况下，显示控制部413将亮度值设为上限值。或者，显示控制部413可对下方区域513以外的区域514的各像素的亮度值乘以系数K2(K2为小于1的正数)。
然后，处理返回到步骤S203，反复进行以上的步骤。另外，图2的动作可在车辆100停止时结束。
如以上说明，根据本实施方式，显示控制部413使被第一直线511、第二直线512以及显示器310的下缘312包围的背景图像311的下方区域513的亮度增大从而比下方区域513以外的区域514的亮度亮。基于该亮度的差异，驾驶者在背景图像311中能够视觉辨认表示光流的第一直线511和第二直线512。因此，驾驶者在不存在光流的后侧面区域502，能够视觉辨认表示光流的第一直线511。其结果，驾驶者根据在显示器310看到的间接视野，能够在短时间内掌握自己车的位置等行驶环境。
而且，第二直线512平行于边界线503。一般而言，背景图像311中的边界线503通过消失点501附近。因此，第二直线512与边界线503大致一致。因此，能够使表示光流的第二直线512更显眼。
此外，在天空亮的情况下，显示在显示器310的背景图像311通常基于摄像机210的自动曝光功能而较多地显示道路的背景图像311的下方区域513会变暗。但是，根据本实施方式，下方区域513的亮度大于下方区域513以外的区域514的亮度，因此，能够使道路变亮。其结果，能够使道路容易看见。
图4是概略地表示车辆100的动作的不同的例子的流程图。图5是表示在图4的动作中显示于显示器310上的背景图像311的图。图4的步骤S201～S206、S208与图2的步骤S201～S206、S208相同。
在接着步骤S208的步骤S401，显示控制部413计算出以消失点501为起点且延伸至后侧面区域502的相反侧的显示器310的下方的角落505(第二角落的一例)的第二直线515。
接着，在步骤S402，显示控制部413使被第一直线511、第二直线515以及显示器310的下缘312包围的背景图像311的下方区域516的亮度增大从而比下方区域516以外的区域517的亮度亮。具体而言，显示控制部413可将对下方区域516的各像素的亮度值乘以系数K3(K3为大于1的数)的乘积结果作为各像素的亮度值。另外，在乘积结果超过上限值(例如8比特时为255)的情况下，显示控制部413将亮度值设为上限值。或者，显示控制部413可将对下方区域516以外的区域517的各像素的亮度值乘以系数K4(K4为小于1的正数)的乘积结果作为各像素的亮度值。
然后，处理返回到步骤S203，反复进行以上的步骤。另外，图4的动作可在车辆100停止时结束。
在图4、图5所示的实施方式中，显示控制部413使被第一直线511、第二直线515以及显示器310的下缘312包围的背景图像311的下方区域516的亮度增大从而比下方区域516以外的区域517的亮度亮。基于该亮度的差异，驾驶者在背景图像311中能够视觉辨认表示光流的第一直线511和第二直线515。因此，与所述实施方式同样，驾驶者根据在显示器310看到的间接视野，能够在短时间内掌握自己车的位置等行驶环境。
而且，由于下方区域516的亮度大于下方区域516以外的区域517的亮度，因此，能够使道路变亮。其结果，与所述实施方式同样，能够使道路容易看见。
图6是概略地表示车辆100的动作的又一不同的例子的流程图。图7是表示在图6的动作中显示于显示器310上的背景图像311的图。图6的步骤S201～S209与图2的步骤S201～S209相同。
在接着步骤S209的步骤S601，显示控制部413计算出以消失点501为起点且延伸至显示器310的后侧面区域502侧的上方的角落506(第三角落的一例)的第三直线521。
在接着的步骤S602，显示控制部413计算出以消失点501为起点且延伸至显示器310的后侧面区域502的相反侧的上方的角落507(第四角落的一例)的第四直线522。第三直线521及第四直线522通过消失点501，因此，与第一直线511及第二直线512一样分别表示光流。
在步骤S603，显示控制部413增大被第一直线511、第二直线512以及显示器310的下缘312包围的背景图像311的下方区域513的亮度。具体而言，显示控制部413可将对下方区域513的各像素的亮度值乘以系数K5(K5为大于1的数)的乘积结果作为各像素的亮度值。另外，在乘积结果超过上限值(例如8比特时为255)的情况下，显示控制部413将亮度值设为上限值。
在步骤S604，显示控制部413降低被第三直线521、第四直线522以及显示器310的上缘313包围的背景图像311的上方区域523的亮度。具体而言，显示控制部413可将对上方区域523的各像素的亮度值乘以系数K6(K6为小于1的正数)的乘积结果作为各像素的亮度值。然后，处理返回到步骤S203，反复进行以上的步骤。另外，图6的动作可在车辆100停止时结束。
通过步骤S603、S604，被第一直线511、第三直线521和显示器310的左缘314包围的左方区域524的亮度以及被第二直线512、第四直线522和显示器310的右缘315包围的右方区域525的亮度低于下方区域513的亮度且高于上方区域523的亮度。即，在背景图像311中，下方区域513的亮度最高，上方区域523的亮度最低。
在图6、图7所示的实施方式中，显示控制部413增大被第一直线511、第二直线512以及显示器310的下缘312包围的背景图像311的下方区域513的亮度，并降低被第三直线521、第四直线522以及显示器310的上缘313包围的背景图像311的上方区域523的亮度。基于该亮度的差异，驾驶者在背景图像311中不仅能够视觉辨认表示光流的第一直线511及第二直线512，而且还能够视觉辨认表示光流的第三直线521及第四直线522。其结果，驾驶者根据在显示器310看到的间接视野，能够在短时间内掌握自己车的位置等行驶环境。
而且，由于下方区域513的亮度最高而上方区域523的亮度最低，因此，能够使道路更容易看到。
图8是概略地表示车辆100的动作的又一不同的例子的流程图。图9是表示在图8的动作中显示于显示器310上的背景图像311的图。
图8的步骤S201～S206、S208与图2的步骤S201～S206、S208相同。图8的步骤S401与图4的步骤S401相同。图8的步骤S601、S602与图6的步骤S601、S602相同。
在接着步骤S602的步骤S801，显示控制部413增大被第一直线511、第二直线515以及显示器310的下缘312包围的背景图像311的下方区域516的亮度。显示控制部413可将对下方区域516的各像素的亮度值乘以系数K7(K7为大于1的数)的乘积结果作为各像素的亮度值。接着的步骤S604与图6的步骤S604相同。然后，处理返回到步骤S203，反复进行以上的步骤。另外，图8的动作可在车辆100停止时结束。
通过步骤S801、S604，被第一直线511、第三直线521和显示器310的左缘314包围的左方区域524的亮度以及被第二直线515、第四直线522和显示器310的右缘315包围的右方区域526的亮度低于下方区域516的亮度且高于上方区域523的亮度。即，在背景图像311中，下方区域516的亮度最高，上方区域523的亮度最低。
在图8、图9所示的实施方式中，显示控制部413增大被第一直线511、第二直线515以及显示器310的下缘312包围的背景图像311的下方区域516的亮度，并降低被第三直线521、第四直线522以及显示器310的上缘313包围的背景图像311的上方区域523的亮度。基于该亮度的差异，驾驶者在背景图像311中不仅能够视觉辨认表示光流的第一直线511及第二直线515，而且还能够视觉辨认表示光流的第三直线521及第四直线522。其结果，驾驶者根据在显示器310看到的间接视野，能够在短时间内掌握自己车的位置等行驶环境。
而且，由于下方区域516的亮度最高而上方区域523的亮度最低，因此，能够使道路更容易看到。
另外，在所述图3、图5、图7、图9中，第一直线511延伸至显示器310的下方的角落504，但并不限定于此，可延伸至角落504以外的下缘312或左缘314。换言之，第一直线511以消失点501为起点，通过后侧面区域502并相对于水平方向向下方延伸即可。但是，在第一直线511延伸至显示器310的下方的角落504的情况下，第一直线511最长而驾驶者容易视觉辨认第一直线511，因此优选。
此外，在所述图5、图9中，第二直线515延伸至显示器310的下方的角落505，但并不限定于此，可延伸至角落505以外的下缘312或右缘315。换言之，第二直线515以消失点501为起点，相对于通过消失点501的垂直线500(图5)在第一直线511的相反侧，相对于水平方向向下方延伸即可。但是，在第二直线515延伸至显示器310的下方的角落505的情况下，第二直线515最长而驾驶者容易视觉辨认第二直线515，因此优选。
另外，在所述各实施方式中，运算部411将光流的交点作为消失点501而计算，但是，消失点501的位置的计算方法并不限定于此。取而代之，运算部411可从一张背景图像311检测出表示例如路边或隔离带等道路的端的直线、表示行车线的边界的边界线503等中的两条直线，将检测出的两条直线的交点作为消失点而计算。
另外，所述的具体实施方式主要包含具有以下结构的发明。
此处公开的技术的一方式的电子镜控制装置包括：摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；显示部，显示由所述摄像部摄像的所述背景图像；运算部，根据所述背景图像计算出消失点的位置；提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及显示控制部，将被第一直线、第二直线以及所述显示部的外缘包围的所述背景图像的下方区域以高于所述下方区域以外的区域的亮度进行显示，其中，所述第一直线是以所述消失点为起点并通过所述后侧面区域且相对于水平方向向下方延伸的直线，所述第二直线是以所述消失点为起点且相对于通过所述消失点的垂直线在所述第一直线的相反侧相对于水平方向向下方延伸的直线。
在该方式中，被第一直线、第二直线以及显示部的外缘包围的背景图像的下方区域以高于下方区域以外的区域的亮度被显示，其中，第一直线是以消失点为起点并通过后侧面区域，且相对于水平方向向下方延伸的直线，第二直线是以消失点为起点，且相对于通过消失点的垂直线在第一直线的相反侧相对于水平方向向下方延伸的直线。
由于第一直线及第二直线以消失点为起点，所以成为表示光流的直线。由于背景图像的下方区域以高于下方区域以外的区域的亮度被显示，因此，基于该亮度的差异，驾驶者能够视觉辨认表示光流的第一直线及第二直线。因此，驾驶者在不存在光流的后侧面区域，能够视觉辨认表示光流的第一直线。其结果，驾驶者根据在显示部看到的间接视野，能够在短时间内掌握行驶环境。此外，由于背景图像的下方区域与下方区域以外的区域相比以高亮度被显示，因此，能够使道路容易看到。
在所述方式中，例如，所述摄像部可摄像表示画在道路上的行车线的边界的边界线。所述提取部可从所述背景图像提取所述边界线。所述显示控制部可将平行于所述提取部提取的所述边界线的直线作为所述第二直线而计算出。
在该方式中，将与画在道路上的表示行车线的边界的边界线平行的直线作为第二直线而计算出。一般来讲，背景图像中的边界线通过消失点附近，因此，第二直线与边界线大致一致。因此，能够容易看到表示光流的第二直线。
在所述方式中，例如，所述显示部可呈矩形形状。所述显示控制部可将延伸至所述显示部的所述后侧面区域侧的下方的第一角落的直线作为所述第一直线而计算出，并将延伸至所述显示部的所述第一角落的相反侧的下方的第二角落的直线作为所述第二直线而计算出。
在该方式中，将延伸至显示部的后侧面区域侧的下方的第一角落的直线作为第一直线而计算出，并将延伸至显示部的第一角落的相反侧的下方的第二角落的直线作为第二直线而计算出。因此，在有限的显示部的显示范围内，能够将表示光流的第一直线及第二直线设为最长。据此，能够使表示光流的第一直线及第二直线容易看到。
在所述方式中，例如，所述显示部可呈矩形形状。所述显示控制部可将被第三直线、第四直线以及所述显示部的上缘包围的所述背景图像的上方区域以低于所述上方区域以外的区域的亮度进行显示，其中，所述第三直线是以所述消失点为起点并延伸至所述显示部的所述后侧面区域侧的上方的第三角落的直线，所述第四直线是以所述消失点为起点并延伸至所述显示部的所述第三角落的相反侧的上方的第四角落的直线。
在该方式中，被第三直线、第四直线以及显示部的上缘包围的背景图像的上方区域以低于上方区域以外的区域的亮度被显示，其中，第三直线是以消失点为起点并延伸至显示部的后侧面区域侧的上方的第三角落的直线，第四直线是以消失点为起点并延伸至显示部的第三角落的相反侧的上方的第四角落的直线。
由于第三直线及第四直线以消失点为起点，所以成为表示光流的直线。由于背景图像的上方区域以低于上方区域以外的区域的亮度被显示，因此，基于该亮度的差异，驾驶者不仅能够视觉辨认第一直线及第二直线，而且还能够视觉辨认表示光流的第三直线及第四直线。其结果，驾驶者根据在显示部看到的间接视野，能够在短时间内掌握行驶环境。此外，由于较多地摄像天空或景色的背景图像的上方区域与上方区域以外的区域相比以低亮度被显示，因此，能够使道路容易看到。

Claims (4)

1.一种电子镜控制装置，其特征在于包括：
摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；
显示部，显示由所述摄像部摄像的所述背景图像；
运算部，根据所述背景图像计算出消失点的位置；
提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及
显示控制部，将被第一直线、第二直线以及所述显示部的外缘包围的所述背景图像的下方区域以高于所述下方区域以外的区域的亮度进行显示，其中，所述第一直线是以所述消失点为起点并通过所述后侧面区域且相对于水平方向向下方延伸的直线，所述第二直线是以所述消失点为起点且相对于通过所述消失点的垂直线在所述第一直线的相反侧相对于水平方向向下方延伸的直线。
2.根据权利要求1所述的电子镜控制装置，其特征在于，
所述摄像部摄像表示画在道路上的行车线的边界的边界线，
所述提取部从所述背景图像提取所述边界线，
所述显示控制部将平行于所述提取部提取的所述边界线的直线作为所述第二直线而计算出。
3.根据权利要求1所述的电子镜控制装置，其特征在于，
所述显示部呈矩形形状，
所述显示控制部将延伸至所述显示部的所述后侧面区域侧的下方的第一角落的直线作为所述第一直线而计算出，并将延伸至所述显示部的所述第一角落的相反侧的下方的第二角落的直线作为所述第二直线而计算出。
4.根据权利要求2或3所述的电子镜控制装置，其特征在于，
所述显示部呈矩形形状，
所述显示控制部将被第三直线、第四直线以及所述显示部的上缘包围的所述背景图像的上方区域以低于所述上方区域以外的区域的亮度进行显示，其中，所述第三直线是以所述消失点为起点并延伸至所述显示部的所述后侧面区域侧的上方的第三角落的直线，所述第四直线是以所述消失点为起点并延伸至所述显示部的所述第三角落的相反侧的上方的第四角落的直线。
CN201780003222.0A 2016-03-30 2017-03-14 电子镜控制装置 Expired - Fee Related CN108781275B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016067459A JP6256508B2 (ja) 2016-03-30 2016-03-30 電子ミラー制御装置
JP2016-067459 2016-03-30
PCT/JP2017/010061 WO2017169705A1 (ja) 2016-03-30 2017-03-14 電子ミラー制御装置

Publications (2)

Publication Number Publication Date
CN108781275A CN108781275A (zh) 2018-11-09
CN108781275B true CN108781275B (zh) 2020-03-27

Family

ID=59964267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003222.0A Expired - Fee Related CN108781275B (zh) 2016-03-30 2017-03-14 电子镜控制装置

Country Status (5)

Country Link
US (1) US10336258B2 (zh)
JP (1) JP6256508B2 (zh)
CN (1) CN108781275B (zh)
DE (1) DE112017001816T5 (zh)
WO (1) WO2017169705A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186446A1 (en) * 2021-12-15 2023-06-15 7 Sensing Software Image processing methods and systems for low-light image enhancement using machine learning models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010047253A (ja) * 2008-05-08 2010-03-04 Aisin Seiki Co Ltd 車両周辺表示装置
JP2015177371A (ja) * 2014-03-14 2015-10-05 株式会社東芝 監視装置
CN105261020A (zh) * 2015-10-16 2016-01-20 桂林电子科技大学 一种快速车道线检测方法
CN105282498A (zh) * 2014-06-18 2016-01-27 富士重工业株式会社 图像处理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5521217B2 (ja) * 2010-02-17 2014-06-11 富士通テン株式会社 障害物検出装置、及び障害物検出方法
JP5953824B2 (ja) * 2012-03-02 2016-07-20 日産自動車株式会社 車両用後方視界支援装置及び車両用後方視界支援方法
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP5321711B2 (ja) 2012-04-23 2013-10-23 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
CN106687332A (zh) * 2014-09-17 2017-05-17 松下知识产权经营株式会社 电子后视镜装置
JP6401733B2 (ja) * 2016-04-15 2018-10-10 本田技研工業株式会社 画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010047253A (ja) * 2008-05-08 2010-03-04 Aisin Seiki Co Ltd 車両周辺表示装置
JP2015177371A (ja) * 2014-03-14 2015-10-05 株式会社東芝 監視装置
CN105282498A (zh) * 2014-06-18 2016-01-27 富士重工业株式会社 图像处理装置
CN105261020A (zh) * 2015-10-16 2016-01-20 桂林电子科技大学 一种快速车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于垂线包络和平行线对的城市道路图像消失点检测算法;丁伟利等;《光学学报》;20141031;第34卷(第10期);1-7 *

Also Published As

Publication number Publication date
US10336258B2 (en) 2019-07-02
US20180257570A1 (en) 2018-09-13
CN108781275A (zh) 2018-11-09
JP2017183971A (ja) 2017-10-05
JP6256508B2 (ja) 2018-01-10
DE112017001816T5 (de) 2018-12-13
WO2017169705A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
US11607995B2 (en) Vehicular display system with multi-paned image display
US9589194B2 (en) Driving assistance device and image processing program
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US20160005316A1 (en) Around view system and operating method thereof
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
CN105787917B (zh) 用于在夜间驾驶时由车辆检测行人的方法和装置
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템
US8855365B2 (en) Image processing determining apparatus
JP6152261B2 (ja) 車載用駐車枠認識装置
CN108781275B (zh) 电子镜控制装置
US20190122058A1 (en) Vehicle display controller, vehicle display system, vehicle display control method, and non-transitory storage medium
JP6424449B2 (ja) 後方状況表示装置、後方状況表示方法
JP2018012483A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP4615536B2 (ja) 表示装置
CN109155839B (zh) 电子镜控制装置
JP2017200035A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6658329B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2014010179A1 (ja) 車両用視界支援装置
KR101806465B1 (ko) 헤드업 디스플레이의 정보 표시 장치 및 방법
JP2014226966A (ja) 車両の駐車操作支援用映像表示装置
JPWO2020183652A1 (ja) 運転支援装置
JP5098982B2 (ja) 顔部位検出装置
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200327