CN109155839B - 电子镜控制装置 - Google Patents

电子镜控制装置 Download PDF

Info

Publication number
CN109155839B
CN109155839B CN201780003229.2A CN201780003229A CN109155839B CN 109155839 B CN109155839 B CN 109155839B CN 201780003229 A CN201780003229 A CN 201780003229A CN 109155839 B CN109155839 B CN 109155839B
Authority
CN
China
Prior art keywords
vehicle
line
rear side
vanishing point
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780003229.2A
Other languages
English (en)
Other versions
CN109155839A (zh
Inventor
贝野彰
藤原由贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN109155839A publication Critical patent/CN109155839A/zh
Application granted granted Critical
Publication of CN109155839B publication Critical patent/CN109155839B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

电子镜控制装置包括：被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像的摄像部；显示由摄像部摄像的背景图像的显示部；根据背景图像计算出消失点的位置的运算部；在背景图像中提取显示有车辆的后侧面的后侧面区域的提取部；以及在后侧面区域显示与通过消失点的直线一致的消失点线的显示控制部。

Description

电子镜控制装置
技术领域
在此公开的技术涉及控制由摄像部摄像的包含车辆的后侧面的背景图像的显示的电子镜控制装置。
背景技术
以往，提出有将用车载摄像机拍摄的车辆的后侧面及后侧方的图像显示于设置在车辆内部的显示器的装置(参照专利文献1)。在专利文献1记载的技术中，通过将显示于显示器的图像局部地压缩而显示，从而能够提高驾驶者的视觉辨认性。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2012-170127号
发明内容
在车辆行驶过程中，驾驶者需要在任何环境下也能准确安全地掌握行驶空间。在没有能够视觉辨认车辆的后侧方的门镜或显示用摄像机摄像的车辆的后侧方的显示器中没有可看见的间接视野的情况下，驾驶者转动身体或脖子而将脸朝向后方而看后侧方。此时，驾驶者能够直观地掌握所看见的后侧方的环境在行驶环境中处于哪个位置。但是，由于转动脖子或移动视线，因此，看旁边的时间变长。
相对于此，利用所述门镜或显示器中可看见的间接视野的情况下，无需转动身体或脖子就能确认到车辆的后侧方，因此，可缩短看旁边的时间。但是，由于不是直接用眼睛看，因此，由间接视野掌握行驶环境需要时间。
因此，要求即使在利用间接视野的情况下，也能在短时间内由间接视野掌握自己车的位置关系等行驶环境。但是，在所述专利文献1中，并未对该点进行充分研究。
在此公开的技术以能够在短时间内由间接视野掌握行驶环境为目的。
为了解决所述问题，在此公开的技术的一方式的电子镜控制装置包括：摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；显示部，显示由所述摄像部摄像的所述背景图像；运算部，根据所述背景图像计算出消失点的位置；提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及显示控制部，在所述后侧面区域显示与通过所述消失点的直线一致的消失点线。
根据该电子镜控制装置，通过在不存在光流的后侧面区域显示发挥光流的作用的消失点线，从而驾驶者能够在短时间内由显示在显示部的间接视野掌握行驶环境。
附图说明
图1是概略地表示本实施方式的车辆的结构的框图。
图2是概略地表示车辆的动作的一例的流程图。
图3是表示在车辆停止过程中显示在显示器上的背景图像的一例的图。
图4是说明背景图像的变形的图。
图5是表示在车辆行驶过程中显示在显示器上的背景图像的一例的图。
图6是表示显示在显示器上的背景图像的不同的例子的图。
图7是表示显示在显示器上的背景图像的另一不同的例子的图。
图8是概略地表示车辆的动作的不同的例子的流程图。
图9是表示在图8的动作中显示在显示器上的背景图像的图。
图10是概略地表示车辆的动作的另一不同的例子的流程图。
图11是表示在图10的动作中显示在显示器上的背景图像的图。
图12是表示设置在车辆的室内的显示器的图。
图13是说明在实验中设定的有效条件的图。
图14是说明在实验中设定的无效条件的图。
图15是表示第一被实验者的实验结果的图。
图16是表示第二被实验者的实验结果的图。
具体实施方式
下面，参照附图说明本发明的实施方式。另外，在各图中，对同样的要素附上同样的符号并适当省略说明。
图1是概略地表示本实施方式的车辆的结构的框图。车辆100例如为四轮汽车。车辆100如图1所示包括摄像机210、220(摄像部的一例)、显示器310、320(显示部的一例)以及电子控制单元(ECU)400。
摄像机210例如被安装在车辆100的右侧的门镜215上，摄像机210的光轴朝向车辆100的后方。摄像机210在每规定时间(例如1/60秒)连续摄像包含车辆100的右侧的后侧面的车辆100的右后方的背景图像。另外，虽然摄像机210安装在右侧的门镜215上，但取而代之，摄像机210也可以在安装了右侧的门镜215的位置以摄像机210的光轴朝向车辆100的后方的方式被安装。
摄像机220例如被安装在车辆100的左侧的门镜225上，摄像机220的光轴朝向车辆100的后方。摄像机220在每规定时间(例如1/60秒)连续摄像包含车辆100的左侧的后侧面的车辆100的左后方的背景图像。另外，虽然摄像机220安装在左侧的门镜225上，但取而代之，摄像机220也可以在安装了左侧的门镜225的位置以摄像机220的光轴朝向车辆100的后方的方式被安装。
显示器310配置在驾驶座的前方的靠右的部分。显示器310显示由摄像机210在每规定时间(例如1/60秒)连续摄像的车辆100的右后方的背景图像中最新的背景图像。显示器320配置在驾驶座的前方的靠左的部分。显示器320显示由摄像机220在每规定时间(例如1/60秒)连续摄像的车辆100的左后方的背景图像中最新的背景图像。
显示器310、320包含例如液晶显示面板。显示器310、320并不限定于液晶显示面板，可包含有机EL(Electro Luminescence)面板等其它显示装置。
ECU400控制车辆100整体的动作。ECU400包含中央运算处理装置(CPU)410、存储器420以及其它周边电路。存储器420由例如闪存等半导体存储器、硬盘或其它存储元件形成。存储器420包含暂时保存由摄像机210、220摄像的各背景图像的帧存储器、保存程序的存储器、暂时保存数据的存储器等。另外，存储器420可由具备暂时保存由摄像机210、220摄像的各背景图像的区域、保存程序的区域、暂时保存数据的区域的单一的存储器形成。
CPU410按照保存在存储器420的程序动作，从而作为运算部411、提取部412以及显示控制部413而发挥作用。运算部411根据摄像机210、220摄像的各背景图像分别计算出显示器310、320上的消失点的位置。
提取部412从摄像机210摄像的背景图像提取显示有车辆100的右侧的后侧面的后侧面区域316(后述的图3至图5)。提取部412从摄像机220摄像的背景图像提取显示有车辆100的左侧的后侧面的后侧面区域。
显示控制部413在显示器310、320分别显示保存在存储器420的各帧存储器的由摄像机210、220摄像的最新的各背景图像。显示控制部413在将由摄像机210、220摄像的各背景图像显示在显示器310、320时，是左右反转地进行显示。据此，在显示器310显示映射到右侧的门镜215的图像，在显示器320显示映射到左侧的门镜225的图像。运算部411、提取部412及显示控制部413的功能将在后面详述。
图2是概略地表示车辆100的动作的一例的流程图。图3是表示车辆100的停止过程中显示在显示器310的背景图像309的一例的图。图4是说明背景图像309的变形的图。图5是表示车辆100的行驶过程中显示在显示器310的背景图像309的一例的图。另外，以下说明摄像机210摄像的背景图像，对于摄像机220摄像的背景图像也同样。
例如，如果发动机启动，摄像机210开始摄像，开始图2的动作。在步骤S201，显示控制部413在显示器310显示由摄像机210摄像并保存在存储器420的帧存储器的最新的背景图像309。在图3中，车辆100停止，显示控制部413在显示器310显示由摄像机210摄像的包含车辆100的右侧的后侧面311的背景图像309。
接着，在步骤S202，车辆100开始行驶。接着，在步骤S203，运算部411根据摄像机210摄像的背景图像计算出第一光流，并在步骤S204，计算出不同于第一光流的第二光流。
光流将图像中的物体的动作用矢量来表示。运算部411可从多个背景图像提取在彼此之间互相对应的特征点，将连接提取的对应特征点的线作为第一、第二光流而计算出。运算部411可使用卢卡斯-金出方法、霍恩-舒恩克方法等公知的方法来计算出第一、第二光流。图5中示出了实际上不显示在显示器310的第一光流312和第二光流313。
接着，在步骤S205，运算部411将第一光流312与第二光流313的交点作为消失点314而计算出。消失点是指在透视画法中，将实际上是平行线的部分画成不平行时，其线相交的点。
另外，在图2中，将两个光流312、313的交点作为消失点314而计算，但是运算部411也可如图5所示那样还计算出第三光流315。此时，运算部411可将第一光流312、第二光流313、第三光流315这三个的交点的中心作为消失点而计算。
接着，在步骤S206，提取部412在显示器310中提取显示有车辆100的后侧面311的后侧面区域316。提取部412可利用模板匹配法来提取后侧面区域316。或者，提取部412可比较摄像机210在每规定时间摄像的多个背景图像的各像素值，提取像素值没有变化的区域来作为后侧面区域316。
另外，ECU400可具备根据驾驶者的操作变更摄像机210的光轴的角度的摄像机控制部，以便能够变更摄像机210的摄像范围。存储器420可存储使摄像机210的光轴的角度与后侧面区域316相对应的数据。此时，提取部412可从摄像机控制部取得当前的摄像机210的光轴的角度，从存储器420提取与所取得的光轴的角度相对应的后侧面区域316。
接着，在步骤S207，显示控制部413在步骤S206被提取的后侧面区域316中提取带线317。带线317是在车身的侧窗的下端沿水平方向延伸的线，是在窗户位置分隔车身的上部和下部的线，是沿门在水平方向上延伸的下部车身的上端线。
存储器420中可预先保存有带线317的图像数据。显示控制部413可将保存在存储器420的带线317的图像数据作为模板并利用模板匹配法来提取带线317。
如上所述，在具备根据驾驶者的操作来变更摄像机210的光轴的角度的摄像机控制部的情况下，存储器420可存储将摄像机210的光轴的角度和带线317相对应的数据。此时，显示控制部413从摄像机控制部取得当前的摄像机210的光轴的角度，从存储器420提取与所取得的光轴的角度相对应的带线317。
接着，在步骤S208，显示控制部413以使带线317与通过消失点314的直线一致的方式让后侧面区域316的图像变形。显示控制部413例如首先固定带线317的后端317a，以使带线317与通过后端317a和消失点314的直线一致的方式使带线317旋转，进一步，拉伸带线317，使前端317b与显示器310的外缘一致。据此，如图4所示，获得具有后端317a和前端317Xb的、与通过消失点314的直线一致的变换后的带线317X(消失点线的一例)。
接着，显示控制部413在固定边界线316a的状态下，让后侧面区域316旋转及缩小、或旋转及扩大，以维持后侧面区域316内的各像素的线形性，且使带线317与带线317X一致。
具体来讲，显示控制部413例如根据带线317及带线317X中的多个点的变换前后的对应关系，求出用于将带线317变换为带线317X的仿射变换的变换行列。而且，显示控制部413在固定后侧面区域316的边界线316a的状态下，使用所求出的变换行列，对显示在后侧面区域316的后侧面311整体进行坐标变换。进一步，显示控制部413对通过坐标变换而出现间隙的像素，使用周边的像素的数据来进行补间。
通过包含以上的顺序的步骤S208，如图5所示，在后侧面区域316显示出包含与通过消失点314的直线一致的带线317X的、坐标变换后的后侧面311X。
然后，处理返回到步骤S203，反复进行以上的步骤。另外，图2的动作可在车辆100停止时结束。
如以上说明，根据本实施方式，以使带线317X与通过消失点314的直线一致的方式，后侧面区域316被进行坐标变换。据此，在不存在光流的后侧面区域316显示发挥与光流相同的作用的、与通过消失点314的直线一致的带线317X。其结果，驾驶者在看到显示器310时，在短时间内掌握自己车的位置等形式环境。
另外，在图5中，显示控制部413以使带线317与通过消失点314的直线一致的方式对后侧面区域316进行坐标变换，但是，可代替带线317，显示控制部413以使车辆100的特征线311Y(图3)与通过消失点314的直线一致的方式对后侧面区域316进行坐标变换。特征线311Y是由作为车辆的外形而构成的面交叉而形成的线或在平滑的车身的表面作为车辆的外形而附加的线。
此外，在图5中，显示控制部413以获得带线317X的方式对后侧面区域316进行坐标变换，但并不限定于此。
图6是表示在车辆100的行驶过程中显示在显示器310上的背景图像309的不同的例子的图。在图6中，显示控制部413以获得与通过消失点314的直线一致的带线317X的方式对后侧面区域316进行坐标变换后，在带线317X上显示与通过消失点314的直线一致的箭头317Y。据此，强调带线317X，能够进一步增大朝向消失点314的流动感。另外，显示控制部413可代替箭头而显示后述的图8所示的线段图像318。
另外，在图5中，通过使用仿射变换的变换行列进行坐标变换，从而在后侧面区域316显示没有不调和感的后侧面311X，但并不限定于此。
图7是表示在车辆100的行驶过程中显示在显示器310上的背景图像309的又一不同的例子的图。在图7中，显示控制部413如果使用图4说明的方法获得带线317X，则在带线317X的位置剪切带线317(图3)上方的窗等。据此，带线317(图3)上方的窗等维持图3所示的状态，从带线317X的位置起下方的部分被去除。此外，显示控制部413将带线317X的下方的与特征线311Y之间的区域，用带线317(图3)与特征线311Y之间的像素数据补间。
此时，由于带线317X与特征线311Y之间的面积变大而产生一点不调和感，但是，能够显示与通过消失点314的直线一致的带线317X。
图8是概略地表示车辆100的动作的不同的例子的流程图。图9是表示在图8的动作中显示于显示器310上的背景图像309的图。图8的步骤S201～S206与图2的步骤S201～S206相同。
接着步骤S206的步骤S501，显示控制部413与在步骤S206提取的后侧面区域316重叠地显示与通过消失点314的直线一致的线段图像318(消失点线的一例)。
如图9所示，显示控制部413将线段图像318的后端318a配置在后侧面区域316的边界线316a上的任意的位置。在图9的例子中，显示控制部413以与通过带线317的后方侧的末端且通过消失点314的直线一致的方式将线段图像318的后端318a配置在边界线316a上。此外，显示控制部413将线段图像318的前端318b配置在显示器310的外缘。而且，显示控制部413以表现远近感的方式使线段图像318的宽度从后端318a向前端318b逐渐变粗。
显示控制部413在图9中与图3同样地将车辆100的后侧面311以用摄像机210摄像的状态显示于显示器310上。在步骤S501后，处理返回到步骤S203，反复进行以上的步骤。另外，图8的动作可在车辆100停止时结束。
在图8、图9所示的实施方式中，在不存在光流的后侧面区域316显示发挥与光流相同的作用的与通过消失点314的直线一致的线段图像318。其结果，驾驶者当看到显示器310时，能够在短时间内掌握自己车的位置等行驶环境。
图10是概略地表示车辆100的动作的又一不同的例子的流程图。图11是表示在图10的动作中显示于显示器310上的背景图像309的图。图10的步骤S201～S206与图2的步骤S201～S206相同。
接着步骤S206的步骤S701，显示控制部413如图11所示地在步骤S206提取的后侧面区域316显示车辆的轮廓319来代替车辆100的后侧面。显示控制部413可将例如用单色涂抹后侧面区域316的图像作为轮廓(silhouette)319来显示。接着的步骤S501与图8的步骤S501相同。然后，处理返回到步骤S203，反复进行以上的步骤。另外，图10的动作可在车辆100停止时结束。
在图10、图11所示的实施方式中，在不存在光流的后侧面区域316显示发挥与光流相同的作用的与通过消失点314的直线一致的线段图像318。其结果，驾驶者当看到显示器310时，能够在短时间内掌握自己车的位置等行驶环境。
此外，在图10、图11所示的实施方式中，在后侧面区域316显示车辆的轮廓319来代替车辆100的后侧面。因此，线段图像318的对比度增大，能够使线段图像318显眼。
另外，在图9、图11中，线段图像318从后侧面区域316的边界线316a延伸至显示器310的外缘，但并不限定于此。线段图像318可显示在后侧面区域316的一部分。即，与后侧面区域316重叠地显示的线段图像可短于图9、图11所示的线段图像318。线段图像318的长度例如为可引起驾驶者的注意的程度即可。
下面，说明为了确认本实施方式的效果而实施的“先行线索法”的实验结果。在“先行线索法”中，测定紧接线索刺激而在注视点的左右提示的光点(目标刺激)的检测时间。实验根据线索而操作，设定线索表示目标空间位置的有效(valid)条件和线索不表示目标空间位置的无效(invalid)条件。
图12是表示设置在车辆100的室内的显示器310的图。图13是说明实验中设定的有效条件的图。图14是说明实验中设定的无效条件的图。
实验以100km/h的速度在直线道路中行驶的车辆中实施。如图12所示，显示器310配置在仪表板500上，且配置在方向盘501的偏右侧的部分。在该实验中，与图10、图11的实施方式同样，在后侧面区域316显示车辆的轮廓来代替车辆的后侧面。此外，如图12至图14所示，在后侧面区域316点亮表示注视点510的发光二极管(LED)，并显示有线段图像550。
在实验中，首先，作为线索刺激，向被实验者提示了预定点亮的LED。在此，注视点510前方的LED530点亮。其结果，如图13、图14所示，被实验者的注意指向注视点510的前方的区域520。接着，被实验者将视线移动到注视点510。接着，显示目标刺激。然后，被实验者回答被显示的目标刺激的位置。
此时，在有效条件下，如图13所示，注视点510的前方的LED530作为目标刺激而点亮。即，在有效条件下，线索刺激和目标刺激一致，因此，被实验者能够立即回答目标刺激的位置。
相对于此，在无效条件下，如图14所示，注视点510的后方的LED540作为目标刺激而点亮。即，在无效条件下，被实验者将注意力从区域520移动到LED540后回答目标刺激的位置。
因此，设有效条件下的反应时间为T1、无效条件下的反应时间为T2时，(T2－T1)是注意力移动所需的时间。也就是说，该(T2－T1)越短则能够顺利地移动注意力。在实验中，改变线段图像550的方向而比较了(T2－T1)。
图15是表示第一被实验者A的实验结果的图。图16是表示第二被实验者B的实验结果的图。在图15、图16中，分别示出了进行3次实验的平均值。
作为线段图像550的方向，在垂直的状态(0度)、相对于垂直为45度的状态、与线段图像318(图9)一致的状态(OF)、相对于垂直为90度的状态、未显示线段图像550的状态(无)的5种状态下进行了实验。
如图15所示，第一被实验者A在显示有与线段图像318(图9)一致的线段图像550时(T2－T1)最短。如图16所示，第二被实验者B也在显示有与线段图像318(图9)一致的线段图像550时(T2－T1)最短。
根据图15、图16的实验结果可知，通过在后侧面区域316显示线段图像318(图9)，从而驾驶者在看到显示器310时，能够在短时间内掌握自己车的位置等行驶环境。
另外，在所述各实施方式中，运算部411将光流312、313的交点作为消失点314而计算，但是，消失点314的位置的计算方法并不限定于此。取而代之，运算部411可从一张背景图像309检测出表示例如路边或隔离带等道路的端的直线、表示行车线的边界的边界线等中的两条直线，将检测出的两条直线的交点作为消失点而计算。
另外，所述的具体实施方式主要包含具有以下结构的发明。
此处公开的技术的一方式的电子镜控制装置包括：摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；显示部，显示由所述摄像部摄像的所述背景图像；运算部，根据所述背景图像计算出消失点的位置；提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及显示控制部，在所述后侧面区域显示与通过所述消失点的直线一致的消失点线。
在该方式中，根据摄像部摄像的背景图像计算消失点的位置。在背景图像中提取显示有车辆的后侧面的后侧面区域。与通过消失点的直线一致的消失点线被显示在后侧面区域。因此，在不存在光流的后侧面区域显示发挥光流的作用的消失点线。其结果，驾驶者能够根据显示在显示部的间接视野，在短时间内掌握行驶环境。
在所述方式中，例如，可以为：在由所述摄像部摄像的所述车辆的后侧面设有带线或特征线，所述显示控制部，当在所述显示部的所述后侧面区域显示所述摄像部摄像的所述车辆的后侧面时，以使所述带线或特征线与通过所述消失点的直线一致的方式让所述带线或特征线变形，将变形的所述带线或特征线作为所述消失点线而显示。
在该方式中，在显示部的后侧面区域显示摄像部摄像的车辆的后侧面时，带线或特征线被变形为与通过消失点的直线一致，被变形的带线或特征线作为消失点线而被显示。因此，设置在车辆的后侧面的带线或特征线发挥光流的作用。其结果，驾驶者可利用看惯了的带线或特征线，以自然的形式掌握行驶环境。
在所述方式中，例如，可以为：所述显示控制部将与通过所述消失点的直线一致的线段图像作为所述消失点线而显示在所述后侧面区域。
在该方式中，与通过消失点的直线一致的线段图像作为消失点线而显示在后侧面区域。因此，在不存在光流的后侧面区域，发挥光流的作用的线段图像作为消失点线而被显示。其结果，驾驶者可根据显示在显示部的间接视野，在短时间内掌握行驶环境。
在所述方式中，例如，可以为：所述显示控制部以所述车辆的轮廓代替所述车辆的后侧面而显示在所述后侧面区域。在该方式中，代替车辆的后侧面而在后侧面区域显示车辆的轮廓。因此，能够使作为消失点线而显示在后侧面区域的线段图像显眼。

Claims (3)

1.一种电子镜控制装置，其特征在于包括：
摄像部，以该摄像部的光轴朝向车辆的后方的方式被安装在所述车辆的门镜上，或在安装了所述门镜的位置以该摄像部的光轴朝向所述车辆的后方的方式被安装，用于摄像包含行驶中的所述车辆的后侧面的背景图像；
显示部，显示由所述摄像部摄像的所述背景图像；
运算部，根据所述背景图像计算出消失点的位置；
提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及
显示控制部，在所述后侧面区域显示与通过所述消失点的直线一致的消失点线，
所述摄像部对设于所述车辆的后侧面的带线或特征线进行摄像，
所述带线是在所述车辆的车身的侧窗的下端沿水平方向延伸的线，是在窗户位置分隔所述车身的上部和下部的线，是沿门在水平方向上延伸的所述车身的所述下部的上端线，
所述特征线是由作为车辆的外形而构成的面交叉而形成的线或在所述车辆的平滑的表面作为车辆的外形而附加的线，
所述显示控制部，当在所述显示部的所述后侧面区域显示所述摄像部摄像的所述车辆的后侧面时，以使所述带线或特征线与通过所述消失点的直线一致的方式让所述带线或特征线变形，将变形的所述带线或特征线作为所述消失点线而显示。
2.根据权利要求1所述的电子镜控制装置，其特征在于，
所述显示控制部将与通过所述消失点的直线一致的线段图像作为所述消失点线而追加显示在所述后侧面区域。
3.根据权利要求2所述的电子镜控制装置，其特征在于，
所述显示控制部以所述车辆的轮廓代替所述车辆的后侧面而显示在所述后侧面区域。
CN201780003229.2A 2016-03-30 2017-03-14 电子镜控制装置 Expired - Fee Related CN109155839B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-067530 2016-03-30
JP2016067530A JP6256509B2 (ja) 2016-03-30 2016-03-30 電子ミラー制御装置
PCT/JP2017/010062 WO2017169706A1 (ja) 2016-03-30 2017-03-14 電子ミラー制御装置

Publications (2)

Publication Number Publication Date
CN109155839A CN109155839A (zh) 2019-01-04
CN109155839B true CN109155839B (zh) 2020-12-11

Family

ID=59964264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003229.2A Expired - Fee Related CN109155839B (zh) 2016-03-30 2017-03-14 电子镜控制装置

Country Status (5)

Country Link
US (1) US10596969B2 (zh)
JP (1) JP6256509B2 (zh)
CN (1) CN109155839B (zh)
DE (1) DE112017001744T5 (zh)
WO (1) WO2017169706A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019177036A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 車両用映像システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023235A (ja) * 2004-07-09 2006-01-26 Honda Motor Co Ltd 接近車両認識システム
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618672B2 (en) * 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
JP3424808B2 (ja) * 1998-10-21 2003-07-07 矢崎総業株式会社 車両用後側方監視装置
JP3911983B2 (ja) * 2000-09-28 2007-05-09 日産自動車株式会社 後方監視装置
US20080018668A1 (en) * 2004-07-23 2008-01-24 Masaki Yamauchi Image Processing Device and Image Processing Method
JP2007026321A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方接近検出システム
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
CN101488222B (zh) * 2008-01-16 2011-02-09 中国科学院自动化研究所 一种基于运动目标表象和运动信息的摄像机自标定方法
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5414588B2 (ja) * 2010-03-24 2014-02-12 株式会社東芝 車両運転支援用処理装置及び車両運転支援装置
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
JP5562311B2 (ja) * 2011-10-11 2014-07-30 本田技研工業株式会社 車両の運転支援装置
CN104081763B (zh) * 2012-01-17 2018-09-14 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
JP5953824B2 (ja) * 2012-03-02 2016-07-20 日産自動車株式会社 車両用後方視界支援装置及び車両用後方視界支援方法
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2013196387A (ja) * 2012-03-19 2013-09-30 Pioneer Electronic Corp 画像処理装置、及び画像処理方法
JP5321711B2 (ja) * 2012-04-23 2013-10-23 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JPWO2013161028A1 (ja) * 2012-04-26 2015-12-21 パイオニア株式会社 画像表示装置、画像表示方法、画像表示プログラム、及び記録媒体
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
JP6194713B2 (ja) * 2013-09-13 2017-09-13 富士通株式会社 画像処理装置、システムおよび表示プログラム
JP2015144406A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム
JP2015144407A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム
JP6233599B2 (ja) 2014-02-25 2017-11-22 マツダ株式会社 車両用表示制御装置
JPWO2015162910A1 (ja) * 2014-04-24 2017-04-13 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
KR102227843B1 (ko) * 2014-08-22 2021-03-15 현대모비스 주식회사 차선 이탈 경보 시스템의 동작방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023235A (ja) * 2004-07-09 2006-01-26 Honda Motor Co Ltd 接近車両認識システム
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉的单目摄影纵向车距测量系统研究;刘燕;《公路交通科技》;20040915;第21卷(第9期);全文 *

Also Published As

Publication number Publication date
JP6256509B2 (ja) 2018-01-10
JP2017183974A (ja) 2017-10-05
DE112017001744T5 (de) 2018-12-13
US10596969B2 (en) 2020-03-24
US20180257569A1 (en) 2018-09-13
CN109155839A (zh) 2019-01-04
WO2017169706A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
US9902323B2 (en) Periphery surveillance apparatus and program
US8441536B2 (en) Vehicle periphery displaying apparatus
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP4872245B2 (ja) 歩行者認識装置
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
JP6488989B2 (ja) 車両用表示装置
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
JP6197814B2 (ja) 車両用表示装置
US9744968B2 (en) Image processing apparatus and image processing method
US20150319370A1 (en) Onboard image generator
US10366541B2 (en) Vehicle backup safety mapping
CN111052735B (zh) 图像处理装置、图像处理方法以及图像显示系统
US10266114B2 (en) Image generating device and image generating method
KR102223852B1 (ko) 영상 디스플레이 시스템 및 방법
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2017056909A (ja) 車両用画像表示装置
CN109155839B (zh) 电子镜控制装置
CN107534757B (zh) 车辆用显示装置以及车辆用显示方法
JP5541099B2 (ja) 道路区画線認識装置
JP5831331B2 (ja) 車両の後側方撮影装置
JP6649063B2 (ja) 車両後方表示装置及び表示制御装置
JP6405930B2 (ja) 車載用表示装置
CN108781275B (zh) 电子镜控制装置
JP7342635B2 (ja) 運転者状態推定装置および運転者状態推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201211