CN107925747B - 车辆用图像处理装置 - Google Patents

车辆用图像处理装置 Download PDF

Info

Publication number
CN107925747B
CN107925747B CN201680050326.2A CN201680050326A CN107925747B CN 107925747 B CN107925747 B CN 107925747B CN 201680050326 A CN201680050326 A CN 201680050326A CN 107925747 B CN107925747 B CN 107925747B
Authority
CN
China
Prior art keywords
image
vehicle
vehicle width
width direction
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680050326.2A
Other languages
English (en)
Other versions
CN107925747A (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN107925747A publication Critical patent/CN107925747A/zh
Application granted granted Critical
Publication of CN107925747B publication Critical patent/CN107925747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明实施方式的车辆用图像处理装置，例如具备：附加图像生成部，其用于生成附加于拍摄图像的附加图像；以及输出图像生成部，其用于生成包含有拍摄图像和附加图像的输出图像，其中，附加图像包含表示第一线的第一标示图像，该第一线与车辆的车宽方向的端部相距该车辆的车宽以上、沿着车辆前后方向。

Description

车辆用图像处理装置
技术领域
本发明的实施方式涉及车辆用图像处理装置。
背景技术
以往已知这样一种图像处理装置，该装置控制显示装置，以将摄像头图像如同在车门后视镜中映出的图像一样进行显示。
专利文献1：日本专利第5562311号公报
发明内容
对于这种图像处理装置，例如在降雨、积雪等视野较差的情况、或者交通标线部分脱落的情况等时，道路的交通标线有时会难以辨识。为此，本发明实施方式的课题之一在于，即使在例如道路的交通标线难以辨识的情况下，也要获得能容易地掌握本车辆与周边的相对位置、距离的输出图像。
本发明实施方式的车辆用图像处理装置，例如具备：附加图像生成部，其用于生成附加于拍摄图像的附加图像；以及输出图像生成部，其用于生成包含有上述拍摄图像和上述附加图像的输出图像，其中，上述附加图像包含表示第一线的第一标示图像，该第一线与车辆的车宽方向的端部相距该车辆的车宽以上、沿着车辆前后方向。因此，根据本实施方式，例如使用者通过将其他车辆或物体与第一线进行比较，能容易地掌握本车辆与其他车辆或物体在车宽方向上的距离。
此外，在上述车辆用图像处理装置中，例如具备：交通标线检测部，其用于检测道路的交通标线，其中，当上述交通标线检测部未检测到上述交通标线时，上述附加图像生成部生成上述第一标示图像，来作为上述附加图像。因此，例如使用者在较难目视确认交通标线的情况下，通过将其他车辆或物体与第一线进行比较，能容易地掌握本车辆与其他车辆或物体在车宽方向上的距离。
此外，在上述车辆用图像处理装置中，例如上述附加图像包含表示第二线的第二标示图像，该第二线在车辆的车宽方向的端部与上述第一线之间且沿着车辆前后方向。因此，例如，使用者通过将其他车辆或物体与第一线以及第二线进行比较，能更加容易地掌握本车辆与其他车辆或物体在车宽方向的距离。
此外，在上述车辆用图像处理装置中，例如上述附加图像包含表示带状区域的第三标示图像，该带状区域位于车辆的车宽方向上且在车辆前后方向上延伸。因此，例如使用者通过将其他车辆或物体与带状区域进行比较，能容易地掌握本车辆与其他车辆或物体在车宽方向上的距离。
此外，在上述车辆用图像处理装置中，例如上述附加图像包含第一附加图像，该第一附加图像表示位于与车辆相距指定距离以内的物体。因此，例如使用者根据第一附加图像，能容易地掌握是否存在靠近本车辆的物体。
附图说明
图1是实施方式的图像显示系统的例示性概略结构图。
图2是表示实施方式的图像显示系统的拍摄部的拍摄范围的一个示例的俯视图。
图3是实施方式的图像显示系统中所包含的图像处理装置的例示性且示意性框图。
图4是表示实施方式的图像显示系统的输出图像的一个示例的图。
图5是表示实施方式的图像显示系统的输出图像的一个示例的图。
图6是表示实施方式的图像显示系统的输出图像的一个示例的图。
图7是表示实施方式的图像显示系统的输出图像的一个示例的图。
图8是表示实施方式的图像显示系统的输出图像的一个示例的图。
图9是表示实施方式的图像显示系统的输出图像的一个示例的图。
具体实施方式
下面，公开本发明的例示性实施方式以及变形例。下面所示出的实施方式以及变形例的结构以及由该结构所带来的作用、结果及效果仅是一个示例。本发明通过以下实施方式以及变形例所公开的结构以外的结构也能够得以实现。此外，根据本发明，能够得到基于结构所能获得的各种效果和衍生效果中的至少一种。
此外，下面所公开的实施方式和示例中包含相同的结构要素。因此，下文中对相同的结构要素赋予共同的符号，并且省略重复说明。
图1是图像显示系统的例示性概略结构图。如图1所示，车辆1上所装备的图像显示系统10具备ECU11(Electronic Control Unit，电子控制单元)。ECU11对由拍摄部12得到的拍摄图像进行图像处理，来生成输出图像。ECU11控制显示部24a以显示输出图像。ECU11为图像处理装置或显示控制部的一个示例。
图像显示系统
首先，对生成如图4及其之后的图所示的输出图像Io的图像显示系统10进行说明。图像显示系统10能够显示与车辆1的状况对应的输出图像Io。图像显示系统10可以整合到将输出图像Io用于车辆1的控制的系统，例如行驶辅助系统、停车辅助系统中。
如图1所示，图像显示系统10中所包含的装置、电气部件例如经由车内网络23而电气连接，或者以能够通信的方式相连接。装置、电气部件例如为非接触测量装置13、转向角传感器14、转向角传感器15a、GPS16、车轮速度传感器17、制动传感器18a、油门传感器19、转矩传感器20a、档位传感器21、方向指示器22、输入部24b等。车内网络23例如为CAN(Controller Area Network，控制器局域网)。需要说明的是，各电气部件也可以通过CAN以外的手段而电气连接或者以能够通信的方式相连接。
拍摄部12例如为内置有CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOSImage Sensor，CMOS图像传感器)等拍摄元件的数码摄像头。拍摄部12能够以指定帧率输出图像数据，即动态图像数据。
图2是示出拍摄部12的拍摄范围的一个示例的俯视图。如图2所示，在车体2中，拍摄车辆外面的拍摄部12分别设置于车体2的前部、右侧的侧部、左侧的侧部以及后部。设置于车体2的前部的拍摄部12例如可被设置于前格栅。设置于车体2的左右侧部的拍摄部12例如可被设置于车门后视镜。设置于车体2的后部的拍摄部12例如可被设置于后尾门。需要说明的是，虽然图中未示出，但拍摄部12例如也可以分别设置于车体2的后端部的左右的角部。拍摄部12例如为广角透镜或鱼眼透镜。拍摄部12获取车体2(车辆1)周边的拍摄图像的数据。需要说明的是，拍摄部12可以是三个以下，也可以是五个以上。此外，多个拍摄部12各自的拍摄范围可以互不相同。
非接触测量装置13例如为发射出超音波或电波并捕捉其反射波的声纳或雷达等。ECU11能够根据非接触测量装置13的检测结果，来测量是否存在位于车辆1周围的障碍物、与障碍物的距离。即，非接触测量装置13也可称为物体检测部或测距部。
转向角传感器14是用于检测作为转向部的未图示的方向盘的转向量的传感器，例如用霍尔元件等构成。此外，转向角传感器15a是用于检测后轮的转向量的传感器，例如用霍尔元件等构成。需要说明的是，转向量例如作为旋转角度而检测到。
GPS16(Global Positioning System，全球定位系统)能够基于从人造卫星接收到的电波来获取当前位置。
车轮速度传感器17是用于检测车轮的旋转量、每单位时间的转数的传感器，例如用霍尔元件等来构成。ECU11能够基于从车轮速度传感器17获得的数据来运算车辆1的移动量等。也存在车轮速度传感器17设置于制动系统18的情况。
制动系统18是用于抑制制动抱死的ABS(Anti-lock Brake System，防抱死系统)、用于抑制转弯时车辆1侧滑的侧滑防止装置(ESC：Electronic Stability Control，电子稳定性控制)、用于增强制动力的电动制动系统、BBW(Brake By Wire，线控制动)等。制动系统18经由未图示的致动器，对车轮施加制动力，使车辆1减速。制动传感器18a例如是用于检测刹车踏板的操作量的传感器。
油门传感器19是用于检测油门踏板的操作量的传感器。转矩传感器20a检测驾驶员对转向部施加的转矩。档位传感器21例如是用于检测变速操作部的可动部的位置的传感器，用位移传感器等构成。可动部例如为操作杆、操作臂、操作按钮等。需要说明的是，上述的各种传感器和致动器的结构、配置以及电气连接方式等仅仅是一个示例，可以进行各种设定或变更。方向指示器22输出用于对方向指示用灯的点亮、熄灭、闪烁等进行指示的信号。
图像显示系统10中还可设置输入部10a。在这种情况下，输入部10a例如构成为按钮、开关、旋钮等。
监控装置24具有显示部24a、输入部24b和音频输出装置24c。显示部24a例如为LCD(Liquid Crystal Display，液晶显示器)。音频输出装置24c例如为扬声器。输入部24b是透明的，覆盖着显示部24a。输入部24b例如为触摸面板等。使用者能够经由输入部24b目视确认在显示部24a的显示画面上显示的图像。此外，使用者还能够在与显示在显示部24a的显示画面上的图像对应的位置，用手指等触摸或按压或移动输入部24b进行操作，来执行输入。而且，这些显示部24a、输入部24b、音频输出装置24c等例如可设置于位于仪表台的车宽方向即左右方向的中央部的监控装置24。监控装置24例如可具有开关、旋钮盘、控制杆、按钮等未图示的输入部。监控装置24可与导航系统或音响系统兼用。
ECU11例如具有CPU11a(Central Processing Unit，中央处理单元)、ROM11b(ReadOnly Memory，只读存储器)、RAM11c(Random Access Memory，随机存取存储器)、闪存11d、显示控制部11e、音频控制部11f等。闪存11d可以是SSD(Solid State Drive，固态硬盘)。CPU11a能够执行各种运算。CPU11a能够读取在ROM11b或闪存11d等非易失性存储装置中安装并存储的程序，并且根据该程序执行运算处理。RAM11c临时存储CPU11a上的运算所使用的各种数据。此外，闪存11d是能够改写的非易失性存储部，在ECU11的电源断开的情况下也能够存储数据。此外，显示控制部11e主要能够执行使用由拍摄部12获得的图像数据的一般的图像处理、由显示部24a显示的图像数据的一般的图像处理。此外，音频控制部11f主要能够执行对由音频输出装置24c输出的音频数据的处理。需要说明的是，CPU11a、ROM11b、RAM11c等能够集成在同一封装内。此外，ECU11也可以替代CPU11a而使用DSP(DigitalSignal Processor，数字信号处理器)等其他的逻辑运算处理器或逻辑电路等的结构。此外，也可以替代闪存11d而设置HDD(Hard Disk Drive，硬盘驱动器)，闪存11d、HDD可以与ECU11分开设置。
图3是ECU11的例示性且示意性框图。ECU11通过与硬件和软件(程序)协作，能够作为图像处理装置而发挥功能。ECU11除如图1所示包含显示控制部11e、音频控制部11f之外，还可以如图3所示那样包含图像处理部30和存储部40。图像处理部30例如可由CPU11a构成。在这种情况下，CPU11a作为图像处理部30的各部而发挥功能，即作为图像数据获取部31、数据获取部32、交通标线检测部33、标示图像生成部34、输出图像生成部35、物体检测部36、注意图像生成部37、以及可变设定部38等而发挥功能。存储部40包含ROM11b、RAM11c和闪存11d。需要说明的是，在图像处理部30执行的图像处理中的至少一部分也可以由显示控制部11e来执行。图像处理部30可以是其各部对应于程序模块，也可以是其至少一部分构成为硬件。
图像数据获取部31获取由多个拍摄部12拍摄的多个拍摄图像的数据。
数据获取部32获取除拍摄图像以外的数据，例如由输入部24b、10a输入的数据，或者传感器等的检测结果的数据。
交通标线检测部33从由拍摄部12得到的拍摄图像的数据中，通过图像处理来检测交通标线。交通标线可通过对拍摄图像的数据进行图像处理，例如根据分组(grouping)并分类(labeling)后的图像是否满足位置、大小、形状、倾斜度、颜色等条件，而被检测到。
标示图像生成部34生成要与拍摄图像一同包含于输出图像中的标示图像。标示图像是供使用者在输出图像中掌握本车辆相对于周边的位置、距离时作为参考而附加的。
输出图像生成部35生成包含有拍摄图像和标示图像的输出图像。图4是表示输出图像Io的一个示例的图。该输出图像Io中包含有拍摄图像Ic和标示图像Ii(Ii0)。
拍摄图像Ic是基于由设置于车门后视镜上的拍摄部12得到的拍摄图像的图像，被绘制成如同在车门后视镜中映出的影像一样。在图4的示例中，拍摄图像Ic的无限收敛点设定在显示区域的左上方，车辆前后方向上的前方从该收敛点沿放射方向延伸。拍摄图像Ic中包含有车辆1(本车辆)的图像Iv、其他车辆3(物体)的图像Ib、交通标线的图像Id等，其中，车辆1的图像Iv包含车体2的车宽方向的端部2a。需要说明的是，拍摄图像Ic可以是通过坐标变换、视点转换或投影变换等变换后的图像，也可以是经过对亮度、清晰度、大小的调整等图像处理的图像。
标示图像Ii0是在车宽方向上延伸的线(线段)。多个标示图像Ii0隔开间隔地、例如等间隔地配置在车辆前后方向上。需要说明的是，标示图像Ii可以是透过拍摄图像Ic的透明的图像。
在图4的输出图像Io中，使用者根据标示图像Ii0，能容易地掌握其他车辆3相对于车辆1(本车辆)的距离、位置。此外，使用者根据交通标线的图像Id，能容易地掌握车辆1与其他车辆3在车宽方向上的距离。
在如图4那样，能够目视确认交通标线的图像Id的情况下，使用者基于交通标线的图像Id，能容易地掌握车辆1与其他车辆3在车宽方向上的距离。而在因天气等的影响视野较差而难以辨识交通标线的图像Id的情况下，使用者较难掌握车辆1与其他车辆3在车宽方向上的距离。
为此，在本实施方式中，当交通标线检测部33未检测到交通标线时，标示图像生成部34生成位于车辆1的车宽方向上且沿着车辆前后方向的标示图像Ii1。图5中表示这样的情况下的输出图像Io的一个示例。
在该输出图像Io中，与拍摄图像Ic一同包含有沿着车宽方向的标示图像Ii0、以及沿着车辆前后方向的标示图像Ii1。由此，即使在交通标线的图像难以辨识的情况下，使用者参照标示图像Ii1也能容易地掌握车辆1与其他车辆3在车宽方向上的距离。
标示图像Ii1例如表示线L1(第一线)，该线L1在车辆1所处的平坦地面Gr上与车体2的车宽方向的端部2a相距车辆1的车宽W以上的距离D、沿着车辆前后方向。在图5的示例中，标示图像Ii1是沿着该线L1且以该线L1为中心的带状区域。在这种情况下，使用者能够区分与标示图像Ii1相比离得较远的、影响较小的其他车辆3、和与标示图像Ii1相比离得较近的、影响较大的其他车辆3。标示图像生成部34是附加图像生成部的一个示例。标示图像Ii是附加于拍摄图像Ic上的附加图像的一个示例。标示图像Ii1是第一标示图像的一个示例。
物体检测部36从拍摄图像Ic中检测位于与车辆1(本车辆)相距指定距离以内的其他车辆3等物体。物体可通过对拍摄图像Ic的数据进行图像处理，例如根据分组并分类后的图像是否满足位置、大小、形状、倾斜度、颜色等条件，而被检测到。需要说明的是，物体检测部36也可以基于非接触测量装置13的检测结果，来检测位于与车辆1相距指定距离以内的物体。此外，可任意设定通过物体检测部36要检测的物体的距离。
当物体检测部36检测到的物体位于与车辆1相距指定距离以内时，注意图像生成部37生成表示物体的注意图像。在这种情况下，输出图像生成部35也将注意图像包含于输出图像Io中。
图6是表示图像显示系统10的输出图像Io的一个示例的图。在该输出图像Io中，与图5的示例相同，与拍摄图像Ic一同包含有沿着车宽方向的标示图像Ii0、以及沿着车辆前后方向的标示图像Ii1。并且，在图6的输出图像Io中，还包含有与其他车辆3对应的注意图像Ie。注意图像Ie是与通过图像处理从拍摄图像Ic中提取出的指定大小以上的物体对应地生成的。在图6的示例中，注意图像Ie是重叠于作为物体的其他车辆3的边缘上的指定宽度的线。此外，注意图像Ie的线条种类、形状、亮度等规格与标示图像Ii0、Ii1的规格不同。由此，使用者能容易地掌握与指定距离相比离得较近的其他车辆3等物体。需要说明的是，当在输出图像Io中包含有表示第一线的标示图像Ii1时，注意图像生成部37可以根据从物体到该第一线在车宽方向上的距离的大小，来对是否包含注意图像进行切换。在这种情况下，当与物体的距离在指定距离以内时，也可以不管在输出图像Io中是否包含有标示图像Ii1，注意图像生成部37都生成注意图像Ie，且输出图像生成部35将该注意图像Ie包含于输出图像Io中。注意图像生成部37是附加图像生成部的一个示例。注意图像Ie是第一附加图像的一个示例。
图7至图9分别是表示图像显示系统10的输出图像Io的一个示例的图。图7的示例中所表示的标示图像Ii2表示第二线L2，该第二线L2在车体2(车辆1)的车宽方向的端部2a与对应于标示图像Ii1(图5、图6)的第一线L1之间，且沿着车辆前后方向。标示图像Ii2是第二标示图像的一个示例。在图8的输出图像Io的示例中，包含有与图5、图6所示的相同的标示图像Ii1、以及与图7所示的相同的标示图像Ii2。此外，在图9的输出图像Io的示例中，包含有较宽的带状的标示图像Ii3。标示图像Ii3的远离车辆1的一侧端部与对应于标示图像Ii1(图5、图6)的第一线L1重叠，而标示图像Ii3的靠近车辆1的一侧端部与对应于标示图像Ii2(图7、图8)的第二线L2重叠。标示图像Ii3是第三标示图像的一个示例。这样，标示图像Ii可以各种方式显示。需要说明的是，标示图像Ii1、Ii2、Ii3可以是在通过交通标线检测部33未检测到交通标线时才被包含于输出图像Io中，而在检测到交通标线时不被包含于输出图像Io中，也可以是不管交通标线检测部33对交通标线的检测结果如何，都被包含于输出图像Io中。
可变设定部38能够变更要包含于输出图像Io中的标示图像Ii。由可变设定部38对标示图像Ii进行的变更，可基于使用者操作输入部24b、10a输入的数据来进行。由此，可设定根据使用者的喜好而选择出的标示图像Ii。此外，可变设定部38能够根据例如车辆1的传感器或装置的检测结果、信号、数据等，来变更标示图像Ii。传感器或装置例如是非接触测量装置13、转向角传感器14、15a、GPS16、制动传感器18a、油门传感器19、转矩传感器20a、档位传感器21、方向指示器22等。
如以上说明的，在本实施方式中，例如标示图像生成部34(附加图像生成部)生成标示图像Ii1、Ii2、Ii3(附加图像)，该标示图像Ii1、Ii2、Ii3位于车辆1的车宽方向上且沿着车辆前后方向。输出图像生成部35将标示图像Ii1、Ii2、Ii3包含于输出图像Io中。因此，根据本实施方式，例如使用者通过参照标示图像Ii1、Ii2、Ii3，能容易地掌握车辆1与周边的相对位置、间隔。
此外，在本实施方式中，例如当交通标线检测部未检测到交通标线时，输出图像生成部35将标示图像Ii1、Ii2、Ii3包含于输出图像Io中。因此，根据本实施方式，例如使用者在拍摄图像Ic中较难目视确认交通标线时，通过参照标示图像Ii1、Ii2、Ii3，能容易地掌握车辆1与周边的相对位置、间隔。
此外，在本实施方式中，例如，输出图像Io中所包含的标示图像Ii包含表示第一线L1的标示图像Ii1(第一标示图像)，该第一线L1与车体2(车辆1)的车宽方向的端部2a相距该车辆1的车宽W以上的距离D、沿着车辆前后方向。因此，例如，使用者通过将其他车辆3或物体与第一线L1进行比较，能容易地掌握车辆1(本车辆)与其他车辆3或物体在车宽方向上的距离。
此外，在本实施方式中，例如输出图像Io中所包含的标示图像Ii包含表示第二线L2的标示图像Ii2(第二标示图像)，该第二线L2在车体2(车辆1)的车宽方向的端部2a与第一线L1之间且沿着车辆前后方向。因此，例如使用者通过将其他车辆3或物体与第一线L1以及第二线L2进行比较，能更加容易地掌握车辆1(本车辆)与其他车辆3或物体在车宽方向上的距离。
此外，在本实施方式中，例如输出图像Io中所包含的标示图像Ii包含表示带状区域的标示图像Ii3(第三标示图像)，该带状区域位于车辆1的车宽方向上且在车辆前后方向上延伸。因此，例如使用者通过将其他车辆3或物体与第一线L1和第二线L2之间的带状区域进行比较，能更加容易地掌握车辆1(本车辆)与其他车辆3或物体在车宽方向上的距离。
此外，在本实施方式中，例如输出图像Io包含注意图像Ie(第一附加图像)，该注意图像Ie表示位于与车辆1相距指定距离(例如W)以内的物体。因此，例如使用者根据注意图像Ie，能容易地掌握存在靠近车辆1(本车辆)的物体。
上面例示了本发明的实施方式，但上述实施方式仅是一个示例，并非意图限定发明的范围。上述实施方式可以通过其他各种方式来实施，在不脱离发明主旨的范围内，能够对其进行各种省略、替换、组合、变更。此外，也可以对各示例的结构、形状进行部分替换来加以实施。此外，还可以适当地变更各个结构和形状等的规格(构造、种类、方向、形状、大小、长度、宽度、厚度、高度、数量、配置、位置、颜色、式样等)来加以实施。
此外，输出图像(显示图像)可以是用多个显示装置来显示，也可以是用与导航装置等不同的显示装置来显示。显示装置可以是在前窗或车内的屏幕等上映出图像的装置，也可以是设置于车内仪表台或中央控制台等的显示面板。需要说明的是，显示面板也可以设置于驾驶舱模块、仪表板(instrument panel、fascia)等。
符号说明
1…车辆，2…车体，2a…端部，11…ECU(图像处理装置)，33…交通标线检测部，34…标示图像生成部(附加图像生成部)，35…输出图像生成部，Io…输出图像，Ic…拍摄图像，Id…交通标线(的图像)，Ii…标示图像(附加图像)，Ii1…标示图像(第一标示图像)，Ii2…标示图像(第二标示图像)，Ii3…标示图像(第三标示图像)，Ie…注意图像(第一附加图像、附加图像)，L1…第一线，L2…第二线，W…车宽。

Claims (4)

1.一种车辆用图像处理装置，其特征在于，具备：
附加图像生成部，其用于生成附加于拍摄图像的附加图像；以及
输出图像生成部，其用于生成包含有所述拍摄图像和所述附加图像的输出图像，
其中，所述附加图像包含：表示第一线的第一标示图像，该第一线与车辆的车宽方向的端部在车宽方向上相距该车辆的车宽以上的第一距离、沿着车辆前后方向；表示物体的第一附加图像；以及表示沿着车宽方向的线的车宽标示图像，该车宽标示图像等间隔地配置在车辆前后方向上，
所述附加图像生成部在判定为从所述拍摄图像提取出的物体与所述车辆在车宽方向上相距规定距离以内的情况下，生成基于从该拍摄图像提取出的物体的所述第一附加图像。
2.根据权利要求1所述的车辆用图像处理装置，其特征在于，具备：
交通标线检测部，其用于检测道路的交通标线，
其中，当所述交通标线检测部未检测到所述交通标线时，所述附加图像生成部生成所述第一标示图像，来作为所述附加图像。
3.根据权利要求2所述的车辆用图像处理装置，其特征在于：
所述附加图像包含表示第二线的第二标示图像，该第二线在车辆的车宽方向的端部与所述第一线之间且沿着车辆前后方向。
4.根据权利要求1至3中任一项所述的车辆用图像处理装置，其特征在于：
所述附加图像包含表示带状区域的第三标示图像，该带状区域位于车辆的车宽方向上且在车辆前后方向上延伸。
CN201680050326.2A 2015-09-30 2016-09-14 车辆用图像处理装置 Active CN107925747B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-192827 2015-09-30
JP2015192827A JP6555058B2 (ja) 2015-09-30 2015-09-30 車両用画像処理装置
PCT/JP2016/077188 WO2017057007A1 (ja) 2015-09-30 2016-09-14 車両用画像処理装置

Publications (2)

Publication Number Publication Date
CN107925747A CN107925747A (zh) 2018-04-17
CN107925747B true CN107925747B (zh) 2020-08-25

Family

ID=58423545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050326.2A Active CN107925747B (zh) 2015-09-30 2016-09-14 车辆用图像处理装置

Country Status (5)

Country Link
US (1) US10807529B2 (zh)
EP (1) EP3358841B1 (zh)
JP (1) JP6555058B2 (zh)
CN (1) CN107925747B (zh)
WO (1) WO2017057007A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016101A (ja) * 2019-07-12 2021-02-12 トヨタ自動車株式会社 車両用周辺監視装置
EP3785994A1 (en) * 2019-08-29 2021-03-03 Ningbo Geely Automobile Research & Development Co. Ltd. A system and method for highlighting of an object to a vehicle occupant

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283386A (zh) * 2005-10-10 2008-10-08 罗伯特·博世有限公司 用于支持机动车驾驶员识别机动车周围环境的方法及系统
JP2009029203A (ja) * 2007-07-25 2009-02-12 Honda Motor Co Ltd 運転支援装置
CN103241174A (zh) * 2012-02-04 2013-08-14 奥迪股份公司 用于使机动车环境可视化的方法
WO2015079623A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4733545B2 (ja) * 2006-03-27 2011-07-27 富士重工業株式会社 車線認識装置
JP4791262B2 (ja) 2006-06-14 2011-10-12 本田技研工業株式会社 運転支援装置
JP2009116723A (ja) * 2007-11-08 2009-05-28 Denso Corp 車線変更支援装置
EP2380348A4 (en) 2008-12-19 2012-06-13 Delphi Tech Inc ELECTRONIC SIDE VIEW INDICATOR SYSTEM
JP5523448B2 (ja) * 2009-04-23 2014-06-18 パナソニック株式会社 運転支援システム、情報表示装置、及び情報表示プログラム
JP5562311B2 (ja) 2011-10-11 2014-07-30 本田技研工業株式会社 車両の運転支援装置
DE102012022486A1 (de) * 2012-11-19 2013-08-01 Daimler Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftwagens
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
US10331956B2 (en) * 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283386A (zh) * 2005-10-10 2008-10-08 罗伯特·博世有限公司 用于支持机动车驾驶员识别机动车周围环境的方法及系统
JP2009029203A (ja) * 2007-07-25 2009-02-12 Honda Motor Co Ltd 運転支援装置
CN103241174A (zh) * 2012-02-04 2013-08-14 奥迪股份公司 用于使机动车环境可视化的方法
WO2015079623A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置

Also Published As

Publication number Publication date
CN107925747A (zh) 2018-04-17
EP3358841A4 (en) 2018-08-08
US10807529B2 (en) 2020-10-20
EP3358841A1 (en) 2018-08-08
WO2017057007A1 (ja) 2017-04-06
JP6555058B2 (ja) 2019-08-07
JP2017069749A (ja) 2017-04-06
EP3358841B1 (en) 2020-06-10
US20190023181A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
JP6575445B2 (ja) 車両用画像処理装置
JP6056612B2 (ja) 画像表示制御装置および画像表示システム
US11151881B2 (en) Parking assist device
US11040739B2 (en) Parking assist device, parking assist method, and driving assist device
US11472339B2 (en) Vehicle periphery display device
US11787335B2 (en) Periphery monitoring device
CN107791951B (zh) 显示控制装置
US20170305345A1 (en) Image display control apparatus and image display system
US20170259812A1 (en) Parking assistance device and parking assistance method
JP2016097896A (ja) 画像表示制御装置
US20170259831A1 (en) Driving assistance device and driving assistance system
JP2016060239A (ja) 駐車支援装置
JP6554866B2 (ja) 画像表示制御装置
JP2017220760A (ja) 車両用画像処理装置
US11475676B2 (en) Periphery monitoring device
CN110884426B (zh) 显示控制装置
US10977506B2 (en) Apparatus for determining visual confirmation target
CN107925747B (zh) 车辆用图像处理装置
WO2017056989A1 (ja) 車両用画像処理装置
US10922977B2 (en) Display control device
EP4434822A1 (en) Parking assistance device
JP6601097B2 (ja) 表示制御装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム
CN112758083A (zh) 停车辅助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant