CN109120888A - 显示控制装置、显示控制方法以及摄影机监视系统 - Google Patents

显示控制装置、显示控制方法以及摄影机监视系统 Download PDF

Info

Publication number
CN109120888A
CN109120888A CN201810498254.9A CN201810498254A CN109120888A CN 109120888 A CN109120888 A CN 109120888A CN 201810498254 A CN201810498254 A CN 201810498254A CN 109120888 A CN109120888 A CN 109120888A
Authority
CN
China
Prior art keywords
mentioned
image data
display control
display
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810498254.9A
Other languages
English (en)
Other versions
CN109120888B (zh
Inventor
胜山佳洋
谷口敬大
大森太辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Publication of CN109120888A publication Critical patent/CN109120888A/zh
Application granted granted Critical
Publication of CN109120888B publication Critical patent/CN109120888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明降低经由电子镜视觉辨认的图像中的不适感。一种显示控制装置,与搭载于车辆的拍摄装置连接,该显示控制装置具备:取得部,取得上述拍摄装置通过对上述车辆的后方摄影而获得的图像数据;确定部,将上述图像数据的下方的像素区域中的、不包括对沿着上述车辆的行驶方向的直线状的被拍摄体进行表示的图像要素的像素区域,确定为压缩区域;生成部,对于上述图像数据,将所确定的上述压缩区域压缩,从而生成规定的显示尺寸的显示图像数据;以及控制部,进行控制,以经由作为上述车辆的后视镜而配置的电子镜来视觉辨认所生成的上述显示图像数据。

Description

显示控制装置、显示控制方法以及摄影机监视系统
技术领域
本发明涉及显示控制装置、显示控制方法以及摄影机监视系统。
背景技术
以往,公知有通过在车辆中搭载摄影机监视系统并将车辆后方的摄影图像显示于车内的显示装置等,从而使显示装置等作为电子镜发挥功能的显示控制技术。
一般来说,在作为电子镜发挥功能的显示装置等的情况下,显示尺寸比摄影图像的图像尺寸小。因此,在摄影机监视系统中,例如进行将摄影图像的一部分的像素区域删除或者将摄影图像的下方的像素区域压缩等、将摄影图像变换为适于显示尺寸的尺寸的处理。
在此,摄影图像的下方的像素区域是与车辆后方的空间中距本车辆比较近的位置相当的区域。因此,在采用将下方的像素区域压缩的构成的情况下,会产生如下效果,即能够将驾驶员更想确认的区域较多地包含在变换后的图像中,能够减少驾驶员的死角区域。
专利文献1:日本特开2013-85142号公报
另一方面,在采用了将下方的像素区域压缩的构成的情况下,例如在不存在后方车辆的场景、后方车辆存在于远离本车辆的位置的场景等,有时会给驾驶员带来不适感。这是因为,在摄影图像中,被压缩的像素区域与未被压缩的像素区域的边界不连续,从而如例如车道边界线等那样、沿着车辆的行驶方向的直线状的被拍摄体在该边界会被视觉辨认为弯折。
发明内容
本发明是鉴于上述课题而做出的,目的在于,降低经由电子镜视觉辨认的图像中的不适感。
根据一个方式,显示控制装置具有如以下那样的构成。即,
一种与搭载于车辆的拍摄装置连接的显示控制装置,具有:
取得部,取得上述拍摄装置通过对上述车辆的后方摄影而获得的图像数据;
确定部,将上述图像数据的下方的像素区域中的、不包括对沿着上述车辆的行驶方向的直线状的被拍摄体进行表示的图像要素的像素区域,确定为压缩区域;
生成部,对于上述图像数据,将所确定的上述压缩区域压缩,从而生成规定的显示尺寸的显示图像数据;以及
控制部,进行控制,以经由作为上述车辆的后视镜而配置的电子镜来视觉辨认所生成的上述显示图像数据。
发明的效果
能够降低经由电子镜视觉辨认的图像中的不适感。
附图说明
图1是表示第1实施方式中的摄影机监视系统的系统构成的一例的图。
图2是表示显示装置的配置例的图。
图3是表示图像数据的图像尺寸与显示装置的显示尺寸的关系的图。
图4是表示将图像数据的下方的像素区域作为压缩区域压缩,并将图像数据变更为适于显示尺寸的尺寸的样子的图。
图5是表示第1实施方式中的显示图像数据的生成方法的概要的图。
图6是表示显示控制装置的硬件构成的一例的图。
图7是表示第1实施方式中的显示控制装置的功能构成的一例的图。
图8是表示显示控制处理的流程的流程图。
图9是表示通过第1实施方式中的显示控制装置生成的显示图像数据的具体例的第1图。
图10是表示通过第1实施方式中的显示控制装置生成的显示图像数据的具体例的第2图。
图11是表示第2实施方式中的显示控制装置的功能构成的一例的图。
图12是表示车道边界线检测处理以及压缩区域提取处理的具体例的第1图。
图13是表示车道边界线检测处理以及压缩区域提取处理的具体例的第2图。
图14是表示第3实施方式中的摄影机监视系统的系统构成的一例的图。
符号说明
100:摄影机监视系统
110:拍摄装置
120:显示控制装置
130:显示装置
300:图像数据
301:下限位置
400:图像数据
401:第1基准位置
402:第2基准位置
411、412:表示车道边界线的图像要素
510:像素区域
521、522:删除区域
530:压缩像素区域
710:图像数据取得部
720:压缩区域提取部
730:压缩部
740:生成部
750:控制部
1001:表示路面标识物的图像要素
900、1010:显示图像数据
1110:车道边界线检测部
1120:压缩区域提取部
1201,1202:区域
1210:像素区域
1311、1312:像素区域
具体实施方式
以下,参照附图对各实施方式进行说明。另外,在本说明书以及附图中,对于具有实质上相同的功能构成的构成要素,通过附以相同的符号来省略重复的说明。
[第1实施方式]
<摄影机监视系统的系统构成>
首先,对搭载于车辆的摄影机监视系统的系统构成进行说明。图1是表示第1实施方式中的摄影机监视系统的系统构成的一例的图。如图1所示,摄影机监视系统100具有拍摄装置110、显示控制装置120及显示装置130。另外,在本实施方式中,摄影机监视系统100设为,通过车辆的点火开关成为开启(ON)状态而启动,通过车辆的点火开关成为关闭(OFF)状态而停止。但是,摄影机监视系统100也可以构成为,基于车辆的驾驶员的指示而启动、停止。
拍摄装置110对车辆后方进行摄影。拍摄装置110将使通过摄影而获得的摄影图像左右反转而获得的图像数据,发送到显示控制装置120。显示控制装置120在图像数据内确定压缩区域,该压缩区域是通过将拍摄装置110发送的图像数据的下方的像素区域中的、图像数据变换(压缩)为适于显示装置130的显示尺寸的图像尺寸的区域。另外,压缩区域是为了避免在所生成的显示图像数据被显示于显示装置130时给驾驶员带来不适感而确定的(详细后述)。显示控制装置120从图像数据提取所确定的压缩区域,并将所提取到的压缩区域压缩,从而生成形成显示图像数据的一部分的压缩像素区域。
另外,显示控制装置120确定删除区域,该删除区域是将从拍摄装置110发送的图像数据的下方的像素区域中的、图像数据变换(删除)为适于显示装置130的显示尺寸的图像尺寸的区域。另外,显示控制装置120将所确定的删除区域删除。进而,显示控制装置120通过对删除后的图像数据插入压缩像素区域,生成显示图像数据。并且,显示控制装置120将所生成的显示图像数据发送到显示装置130。
显示装置130是输出装置的一例,在本实施方式中,显示装置130通过液晶显示装置构成。显示装置130显示从显示控制装置120发送的显示图像数据。
<显示装置的配置例>
接下来,对显示装置130的配置例进行说明。图2是表示显示装置的配置例的图。如图2所示,显示装置130例如配置于车辆的车厢内后视镜的位置(前窗的跟前侧的中央位置),并作为代替车厢内后视镜的电子镜发挥功能。
<图像数据的图像尺寸与显示装置的显示尺寸的关系>
接下来,对从拍摄装置110发送的图像数据的图像尺寸与显示装置130的显示尺寸的关系进行说明。图3是表示图像数据的图像尺寸与显示装置的显示尺寸的关系的图。
其中的、图3(a)表示图像数据300的图像尺寸。另外,在图3(a)中重叠于图像数据300而记载的横线表示显示装置130的显示尺寸的下限位置301。
在此,设为,通过将图像数据300中的、显示尺寸的下限位置301的下侧的像素区域删除,进行了将图像数据300的图像尺寸变换为适于显示尺寸的尺寸的处理。在此情况下,删除后的图像数据如图3(b)所示那样。如图3(b)所示,在为相应于显示装置130的显示尺寸而将下限位置301的下侧的像素区域删除了的图像数据310的情况下,无法将与车辆后方的空间中距本车辆比较近的位置相当的区域显示于显示装置130。
因此,在以往的摄影机监视系统中,进行了如下的处理:通过将图像数据300中的预定决定的下方的像素区域作为压缩区域压缩,从而将图像数据变换为适于显示尺寸的尺寸。
图4是表示将图像数据的下方的像素区域作为压缩区域压缩并将图像数据变换为适于显示尺寸的尺寸的样子的图。在图4(a)中,第1基准位置401表示图像数据400中被进行压缩的下方的像素区域(压缩区域)的上限位置。另外,第2基准位置402表示图像数据400中被进行压缩的下方的像素区域(压缩区域)的下限位置。
另外,如图4(a)那样、后方车辆存在于远离本车辆的位置的场景的情况下,图像数据400中包含很多表示沿着车辆的行驶方向的(大致平行的)直线状的被拍摄体的图像要素。例如,图像数据400中包含表示车道边界线的图像要素411、412、表示车道与人行道的台阶面的图像要素413、414等。
图4(b)表示通过将图像数据400中的、通过第1基准位置401和第2基准位置402规定的下方的像素区域作为压缩区域压缩从而生成的显示图像数据的一例。如图4(b)所示,所生成的显示图像数据420,压缩区域与非压缩区域的边界不连续,从而表示车道边界线的图像要素411、412在该边界处弯折。同样地,表示车道与人行道的台阶面的图像要素413、414在该边界处弯折。因此,在经由显示装置130来视觉辨认所生成的显示图像数据420的情况下,会给车辆的驾驶员带来不适感。
因此,在显示控制装置120中,确定压缩区域,以避免表示位于车辆后方的车线边界线的图像要素411、412、及表示车道与人行道的台阶面的图像要素413、414在该边界处弯折。具体而言,仅将图像数据400的下方的像素区域中的一部分的像素区域确定为压缩区域,并进行压缩。据此,通过显示控制装置120,能够降低在经由显示装置130来视觉辨认生成的显示图像数据的情况下对车辆的驾驶员带来的不适感。以下,对显示控制装置120的详细进行说明。
<显示图像数据的生成方法的概要>
首先,对第1实施方式中的显示图像数据的生成方法的概要进行说明。图5是表示第1实施方式中的显示图像数据的生成方法的概要的图。
在图5(a)中,图像数据400内的像素区域510表示压缩区域。像素区域510是通过第1基准位置401和第2基准位置402规定的下方的像素区域(与以往的压缩区域相当的区域)中的一部分的区域。具体而言,是以不包括对位于车辆后方的车线边界线进行表示的图像要素411、412的方式确定的像素区域。
如图5(a)所示,像素区域510通过图像数据400内的4个顶点的位置坐标(x1,y1)~(x4,y4)来确定。图像数据400内的4个顶点的位置坐标(x1,y1)~(x4,y4),根据拍摄装置110的安装位置来预先决定。具体而言,4个顶点的位置坐标(x1,y1)~(x4,y4)被决定在不包括对位于本车辆的后方的车道边界线进行表示的图像要素411、412的位置(与车辆的宽度方向上的中心位置周边相当的位置)。
另外,在图5(a)中,删除区域521、522表示在生成显示图像数据时被删除的图像数据400内的区域。在图像数据400中,删除区域521、522是基于图像数据400与显示图像数据的尺寸的差异而预定决定的区域,且是位于比下限位置301更靠下侧的区域中的、除了像素区域510以外的区域。
图5(b)表示在图像数据400中将像素区域510压缩并将删除区域521、522删除的样子。如图5(b)所示,像素区域510被压缩从而生成压缩像素区域530,并且,删除区域521、522被删除,从而能够将图像数据400的图像尺寸变换为适于显示尺寸的尺寸。
另外,如图5(b)所示,在图像数据400中,表示车道边界线的图像要素411、412未被压缩,因此表示车道边界线的图像要素411、412也不会弯折。因此,能够避免经由电子镜来视觉辨认的显示图像数据给驾驶员带来不适感。
并且,如图5(b)所示,车辆后方的空间中与距本车辆比较近的位置相当的区域被压缩(参照压缩像素区域530),因此能够将车辆的驾驶员更想确认的区域较多地包含在变换后的图像中。
<显示控制装置的硬件构成>
接下来,对显示控制装置120的硬件构成进行说明。图6是表示显示控制装置的硬件构成的一例的图。如图6所示,显示控制装置120具有CPU(Central Processing Unit)601、ROM(Read Only Memory)602、RAM(Random Access Memory)603。另外,显示控制装置120具有GPU(Graphic Processing Unit)604、I/F(Interface)装置605。另外,显示控制装置120的各部经由总线606相互连接。
CPU601是执行安装在ROM602中的各种程序(例如,显示控制程序等)的器件。ROM602是非易失性存储器,作为存储通过CPU601执行的各种程序的主存储器件发挥功能。RAM603是DRAM(DynamicRandom Access Memory)、SRAM(Static Random Access Memory)等的易失性存储器。RAM603作为提供安装在ROM602中的各种程序通过CPU601来执行时被展开的作业区域的主存储器件而发挥功能。
GPU604是进行图像处理的专用的集成电路,在本实施方式中,基于来自执行显示控制程序的CPU601的指示,进行在显示装置130上显示的显示图像数据的生成等。I/F装置605是用于将拍摄装置110以及显示装置130与显示控制装置120连接的连接器件。
<显示控制装置的功能构成>
接下来,对显示控制装置120的功能构成进行说明。图7是表示第1实施方式中的显示控制装置的功能构成的一例的图。如上所述,显示控制装置120中安装显示控制程序,摄影机监视系统100启动,从而显示控制装置120执行该显示控制程序。据此,显示控制装置120作为图像数据取得部710、压缩区域提取部720、压缩部730、生成部740、控制部750发挥功能。
图像数据取得部710是取得部的一例,取得从拍摄装置110发送的图像数据。图像数据取得部710将所取得的图像数据以帧单位发送到压缩区域提取部720以及生成部740。
压缩区域提取部720是确定部的一例,使用根据拍摄装置110的安装位置而预定决定的图像数据400内的位置坐标((x1,y1)~(x4,y4)),确定图像数据400内的像素区域510。另外,压缩区域提取部720将所确定的像素区域510作为压缩区域提取,并发送到压缩部730。
压缩部730将从压缩区域提取部720发送的压缩区域压缩,并生成压缩像素区域530。压缩部730以压缩区域的下限位置与图像数据400的下限位置301一致的方式将压缩区域压缩,生成压缩像素区域530。另外,压缩部730将所生成的压缩像素区域530发送到生成部740。
生成部740将位于比从图像数据取得部710发送的图像数据400的下限位置301更靠下侧的区域删除,并且将从压缩部730发送的压缩像素区域530插入到对应的位置,从而生成显示图像数据。另外,生成部740将所生成的显示图像数据发送到控制部750。
控制部750进行控制,以将从生成部740发送的显示图像数据显示于显示装置130。据此,车辆的驾驶员能够经由显示装置130视觉辨认显示图像数据。
<显示控制处理的流程>
接下来,对通过显示控制装置120执行的显示控制处理的流程进行说明。图8是表示显示控制处理的流程的流程图。摄影机监视系统100启动后,显示控制装置120执行图7所示的显示控制处理。
在步骤S801中,图像数据取得部710取得从拍摄装置110发送的图像数据,并以帧单位发送到压缩区域提取部720以及生成部740。
在步骤S802中,压缩区域提取部720从图像数据提取压缩区域,并发送到压缩部730。在步骤S803中,压缩部730将从压缩区域提取部720发送的压缩区域压缩,生成压缩像素区域。
在步骤S804中,生成部740将从图像数据取得部710发送的图像数据的比下限位置301更靠下侧的区域删除,并且将从压缩部730发送的压缩像素区域插入到对应的位置,从而生成显示图像数据。
在步骤S805中,控制部750进行控制,以将显示图像数据发送到显示装置130,并在显示装置130上显示显示图像数据。在步骤S805中,图像数据取得部710判定是否结束显示控制处理。在摄影机监视系统100未停止的情况下,在步骤S806中,图像数据取得部710判定为未结束显示控制处理(步骤S806中未否),并返回到步骤S801。
另一方面,在摄影机监视系统100停止的情况下,在步骤S806中,图像数据取得部710判定为结束了显示控制处理(步骤S806中为是),并结束显示控制处理。
<显示图像数据的具体例>
接下来,对通过显示控制装置120生成的显示图像数据的具体例进行说明。图9是表示通过第1实施方式中的显示控制装置生成的显示图像数据的具体例的第1图。其中的图9(a),将从拍摄装置110发送的图像数据400对比显示。图9(b)表示基于图9(a)的图像数据400通过显示控制装置120所生成的显示图像数据900。
如图9(b)的显示图像数据900所示,通过显示控制装置120,能够将图像数据400的图像尺寸变换为适于显示尺寸的尺寸。另外,如图9(b)的显示图像数据900所示,通过显示控制装置120,表示车道边界线的图像要素411、412以及表示车道与人行道的台阶面的图像要素413、414也不会弯折。
图10是表示通过第1实施方式中的显示控制装置生成的显示图像数据的具体例的第2图。另外,显示图像数据的生成所用的图像数据与图9不同。如图10(a)所示,在为图像数据1000的情况下,在表示车道边界线的图像要素411、412之间,包括表示路面标识物的图像要素1001。
在这种情况下,显示控制装置120也对于图像数据1000执行同样的生成处理,生成显示图像数据1010。如图10(b)的显示图像数据1010所示,表示路面标识物的图像要素1001通过显示控制装置120在上下方向上被压缩。因此,与压缩前(图10(a)的图像数据1000中的表示路面标识物的图像要素1001)相比较,长度变短,但能够使路面标识物整体包含于变换后的显示图像数据1010。并且,通过显示控制装置120压缩的压缩区域限于图像数据1000的中央位置,因此即使压缩区域与非压缩区域的边界不连续,也不受其影响,或者即使受其影响也不易显眼。因此,表示路面标识物的图像要素1001也不会弯折(或者,至少不会弯折到驾驶员能够视觉辨认到的程度)。
<总结>
根据以上的说明可知,本实施方式中的显示控制装置120,
·在拍摄装置对车辆后方摄影而获得的图像数据中,基于拍摄装置的安装位置,预先决定不包括对如车道边界线等那样沿着车辆的行驶方向的直线状的被拍摄体进行表示的图像要素的像素区域的位置坐标。
·通过将基于所决定的位置坐标确定的图像数据内的像素区域作为压缩区域压缩,生成压缩像素区域。
·在将比显示尺寸的下限位置更靠下侧的区域删除后的图像数据的对应的位置,插入所生成的压缩像素区域,从而生成显示图像数据。
据此,在通过显示控制装置120生成的显示图像数据中,表示如车道边界线等那样沿着车辆的行驶方向的直线状的被拍摄体的图像要素不会弯折。即,通过本实施方式中的显示控制装置120,能够降低经由电子镜视觉辨认的显示图像数据中的不适感。
[第2实施方式]
在上述第1实施方式中,采用如下构成,即,以不包括表示车道边界线的图像要素的方式,根据拍摄装置的安装位置,预先决定作为压缩区域提取的像素区域的位置坐标的构成。
与此相对,在第2实施方式中,采用如下构成,即,根据图像数据,检测表示车道边界线的图像要素,并基于检测到的图像要素,决定作为压缩区域提取的像素区域的位置坐标。以下,对于第2实施方式,以与上述第1实施方式的不同点为中心进行说明。
<显示控制装置的功能构成>
首先,对第2实施方式中的显示控制装置的功能构成进行说明。图11是表示第2实施方式中的显示控制装置的功能构成的一例的图。与图7所示的第1实施方式中的显示控制装置的功能构成的不同点在于,具有车道边界线检测部1110和压缩区域提取部1120。
车道边界线检测部1110,根据从图像数据取得部710发送的图像数据,检测表示车道边界线的图像要素。车道边界线检测部1110将对表示检测到的车道边界线的图像要素在图像数据内的位置进行表示的位置坐标,作为车道边界线位置信息,发送到压缩区域提取部1120。
压缩区域提取部1120,基于从车道边界线检测部1110发送到的车道边界线位置信息,决定用于确定作为压缩区域而提取的像素区域的位置坐标。具体而言,压缩区域提取部1120以不包括图像数据的下方的像素区域中的、通过车道边界线位置信息确定的区域的方式,决定作为压缩区域提取的像素区域的位置坐标。另外,压缩区域提取部1120提取基于所决定的位置坐标而确定的像素区域。并且,压缩区域提取部1120将所提取到的像素区域作为压缩区域发送到压缩部730。
<车道边界线检测处理以及压缩区域提取处理的具体例>
接下来,对基于车道边界线检测部1110的车道边界线检测处理以及基于压缩区域提取部1120的压缩区域提取处理的具体例进行说明。图12是表示车道边界线检测处理以及压缩区域提取处理的具体例的第1图。
如图12(a)所示,车道边界线检测部1110从图像数据400检测表示车道边界线的图像要素411以及412。另外,车道边界线检测部1110确定包括表示车道边界线的图像要素411的区域1201及包括表示车道边界线的图像要素412的区域1202。并且,车道边界线检测部1110将图像数据400内的区域1201的位置坐标即车道边界线位置信息及图像数据400内的区域1202的位置坐标即车道边界线位置信息,发送到压缩区域提取部1120。
图12(b)表示基于从车道边界线检测部1110发送的车道边界线位置信息,压缩区域提取部1120决定用于确定作为压缩区域而提取的像素区域1210的位置坐标的样子。如图12(b)所示,压缩区域提取部1120例如通过以下的处理决定用于确定像素区域1210的4个顶点的位置坐标。
·将第1基准位置401上的点,且是距区域1201的向左方向的距离为L1的位置的点,作为像素区域1210的右上的顶点的位置坐标(x1,y1)。
·将第2基准位置402上的点,且是距区域1201的向左方向的距离为L2的位置的点,作为像素区域1210的右下的顶点的位置坐标(x2,y2)。
·将第1基准位置401上的点,且是距区域1202的向右方向的距离为L3的位置的点,作为像素区域1210的左上的顶点的位置坐标(x3,y3)。
·将第2基准位置402上的点,且是距区域1202的向右方向的距离为L4的位置的点,作为像素区域1210的左下的顶点的位置坐标(x4,y4)。
压缩区域提取部1120将通过所决定的4个顶点的位置坐标来确定的、图像数据400内的像素区域1210(下方区域中的、被区域1201和区域1202所夹着的区域)作为压缩区域提取。
图13是表示车道边界线检测处理以及压缩区域提取处理的概要的第2图。其中的、图13(a)所示的基于车道边界线检测部1110的车道边界线检测处理的具体例,与图12(a)相同,因此在此省略说明。
图13(b)表示,压缩区域提取部1120基于从车道边界线检测部1110发送的车道边界线位置坐标,决定用于确定作为压缩区域提取的像素区域1210、1311、1312的位置坐标的样子。如图13(b)所示,压缩区域提取部1120例如通过如以下那样的处理来决定用于分别确定像素区域1210、1311、1312的4个顶点的位置坐标。
(1)像素区域1210
·使用图12(b)说明过,在此省略说明。
(2)像素区域1311
·将第1基准位置401上的点,且是距区域1201的向右方向的距离为L5的位置的点,作为像素区域1311的左上的顶点的位置坐标(x5,y5)。
·将第1基准位置401上的点,且是距像素区域1311的左上的顶点的向右方向的距离为L6的位置的点,作为像素区域1311的右上的顶点的位置坐标(x6,y6)。
·将第2基准位置402上的点,且是距区域1201的向右方向的距离为L7的位置的点,作为像素区域1311的左下的顶点的位置坐标(x7,y7)。
·将第2基准位置402上的点,且是距像素区域1311的左下的顶点的向右方向的距离为L8的位置的点,作为像素区域1311的右下的虚拟顶点的位置坐标(x8,y8)。
压缩区域提取部1120,将通过所决定的4个顶点的位置坐标确定的、图像数据400内的像素区域1311作为压缩区域提取。
(3)像素区域1312
·将第1基准位置401上的点,且是距区域1202的向左方向的距离为L9的位置的点,作为像素区域1312的右上的顶点的位置坐标(x9,y9)。
·将第1基准位置401上的点,且是距像素区域1312的右上的顶点的向左方向的距离为L10的位置的点,作为像素区域1312的左上的顶点的位置坐标(x10,y10)。
·将第2基准位置402上的点,且是距区域1202的向左方向的距离为L11的位置的点,作为像素区域1312的右下的顶点的位置坐标(x11,y11)。
·将第2基准位置402上的点,且是距像素区域1312的右下的顶点的向左方向的距离为L12的位置的点,作为像素区域1312的左下的虚拟顶点的位置坐标(x12,y12)。
压缩区域提取部1120将通过所决定的4个顶点的位置坐标来确定的、图像数据400内的像素区域1312,作为压缩区域而提取。
<总结>
根据以上的说明可知,本实施方式中的显示控制装置120,
·在拍摄装置对车辆后方进行摄影而得到的图像数据中,检测表示车道边界线的图像要素,决定不包括所检测到的图像要素的像素区域的位置坐标。
·将基于所决定的位置坐标确定的图像数据内的像素区域,作为压缩区域压缩,从而生成压缩像素区域。
·在将比显示尺寸的下限位置更靠下侧的区域删除后的图像数据的对应的位置,插入所生成的压缩像素区域,从而生成显示图像数据。
据此,在通过显示控制装置120生成的显示图像数据中,表示车道边界线的图像要素不会弯折。即,通过本实施方式中的显示控制装置120,能够降低经由电子镜视觉辨认的显示图像数据中的不适感。另外,通过本实施方式,进一步按每个图像数据检测表示车道边界线的图像要素,因此能够使压缩区域中包含表示车道边界线的图像要素的可能性进一步降低。
[第3实施方式]
在上述第1以及第2实施方式中,对在车厢内后视镜的位置配置显示装置130,并将显示装置130作为电子镜发挥功能的摄影机监视系统100进行了说明。但是,摄影机监视系统的构成不限定于此。例如,也可以构成为,在车厢内后视镜的位置配置投影用的反射镜,并经由投影仪将显示图像数据投影于该投影用的反射镜,从而使该投影用的反射镜作为电子镜发挥功能。
图14是表示第3实施方式中的摄影机监视系统的系统构成的一例的图。图14(a)所示的摄影机监视系统1400的与图1的不同点在于,作为输出装置,代替显示装置130,而配置投影仪(图像投影装置)1410。另外,在为摄影机监视系统1400的情况下,显示图像数据被投影于投影用的反射镜,并在投影用的反射镜上在光学上被左右反转,因此在拍摄装置110中不需要使摄影图像左右反转。因此,从显示控制装置120向投影仪1410发送的显示图像数据,为基于摄影图像不被左右反转而发送的图像数据生成的数据。
图14(b)是表示投影仪1410与投影用的反射镜1420的关系的图。在本实施方式中设为,投影仪1410配置在车内的顶棚部分。如图14(b)所示,从配置在顶棚部分的投影仪1410出射的显示图像数据,被投影于在车厢内后视镜的位置所配置的投影用的反射镜1420。据此,驾驶员能够经由投影用的反射镜1420视觉辨认上述显示图像数据。
[其他的实施方式]
在上述第1以及第2实施方式中,对将作为压缩区域提取的像素区域的上限位置固定于第1基准位置401的情况进行了说明,但作为压缩区域提取的像素区域的上限位置可以是可变的。具体而言,可以设置后方车辆检测部,从图像数据检测后方车辆,并将后方车辆的下端位置设为作为压缩区域提取的像素区域的上限位置。或者,也可以设置路面标识物检测部,从图像数据检测路面标识物,并将路面标识物的下端位置设为作为压缩区域提取的像素区域的上限位置。另外,在上述第1以及第2实施方式中,将作为压缩区域提取的像素区域的形状作为梯形,但作为压缩区域提取的像素区域的形状不限定于梯形。
另外,在上述第2实施方式中,关于表示车道边界线的图像要素411、412的检测方法,并未提及,但表示车道边界线的图像要素411、412的检测方法是任意的。另外,在上述第2实施方式中,对按每个图像数据来检测表示车道边界线的图像要素411、412的情况进行了说明,但也可能存在根据图像数据无法检测表示车道边界线的图像要素411、412的情况。在这种情况下,车道边界线检测部1110也可以基于规定帧前的图像数据,推断当前帧的图像数据中的车道边界线。即,设为,有在从车道边界线检测部1110发送的车道边界线位置信息中包含基于当前帧的图像数据的位置坐标的情况、及包含基于规定帧前的图像数据的推定的位置坐标的情况。
另外,在上述第1至第3实施方式中,关于像素区域的压缩方法,并未提及,但像素区域的压缩方法是任意的。例如,既可以通过抽取作为压缩区域而提取的像素区域的规定线来压缩,也可以通过在作为压缩区域而提取的像素区域中计算相邻的多个像素的平均值来压缩。
另外,在上述第1至第3实施方式中,作为表示沿着车辆的行驶方向的直线状的被拍摄体的图像要素,列举出表示车道边界线的图像要素以及表示车道与人行道的台阶面的图像要素。但是,表示沿着车辆的行驶方向的直线状的被拍摄体的图像要素不限定于此。例如包含表示人行横道等的路面标识物的图像要素、表示护栏的图像要素及表示中央分离带的图像要素等任意的图像要素。
另外,在上述第1至第3实施方式中,对经由代替车厢内后视镜的电子镜来视觉辨认的显示图像数据进行了说明,但不言而喻,也可以应用于经由对车厢内后视镜以外的后视镜予以替代的电子镜来视觉辨认的显示图像数据。
另外,在上述第1以及第2实施方式中,对将在拍摄装置110中将摄影图像左右反转后的图像数据发送到显示控制装置120的情况进行了说明,但也可以构成为,在显示控制装置120中执行将摄影图像左右反转的处理。
另外,在上述第1实施方式中,对在车厢内后视镜的位置配置显示装置130的情况进行了说明。但是,摄影机监视系统的构成不限定于此,例如,也可以构成为,在车厢内后视镜的位置配置前面安装有可动式的半透半反镜的显示装置。在此情况下,在将进行显示图像数据的显示的模式设为开启(ON)时,基于显示装置的显示图像数据的显示开始,在设为关闭(OFF)时,基于显示装置的显示图像数据的显示结束。这期间,驾驶员通过视觉辨认经由显示装置显示的显示图像数据,来确认车辆后方。
另一方面,在将进行显示图像数据的显示的模式设为关闭(OFF)时,半透半反镜作为车厢内后视镜发挥功能的模式变为开启(ON),半透半反镜向规定的位置移动。在此情况下,驾驶员经由半透半反镜确认车辆后方。
另外,本发明不限于上述实施方式所列举的构成等、与其他的要素的组合等在此示出的构成。关于这些点,在不脱离本发明的主旨的范围内能够变更,并能够根据其应用形态适当确定。

Claims (9)

1.一种显示控制装置,是与搭载于车辆的拍摄装置连接的显示控制装置,具有:
取得部,取得上述拍摄装置通过对上述车辆的后方摄影而获得的图像数据;
确定部,将上述图像数据的下方的像素区域中的、不包括对沿着上述车辆的行驶方向的直线状的被拍摄体进行表示的图像要素的像素区域,确定为压缩区域;
生成部,对于上述图像数据,将所确定的上述压缩区域压缩,从而生成规定的显示尺寸的显示图像数据;以及
控制部,进行控制,以经由作为上述车辆的后视镜而配置的电子镜来视觉辨认所生成的上述显示图像数据。
2.如权利要求1所记载的显示控制装置,其特征在于,
上述生成部从上述图像数据中删除基于上述图像数据与上述显示图像数据的尺寸的差异而预定决定的区域,并在进行了删除之后的该图像数据的一部分中插入将上述压缩区域压缩后的压缩像素区域,从而生成上述显示图像数据。
3.如权利要求1或2所记载的显示控制装置,其特征在于,
上述确定部使用基于上述拍摄装置的安装位置而预先决定的位置坐标,确定上述压缩区域。
4.如权利要求3所记载的显示控制装置,其特征在于,
上述确定部将与上述车辆的宽度方向的中心位置周边对应的像素区域,确定为上述压缩区域。
5.如权利要求1或2所记载的显示控制装置,其特征在于,
上述确定部从上述图像数据中检测图像要素,并决定不包括所检测到的上述图像要素的上述像素区域的位置坐标,从而确定上述压缩区域。
6.如权利要求5所记载的显示控制装置,其特征在于,
沿着上述车辆的行驶方向的直线状的被拍摄体是车道边界线,
上述确定部将被多个表示上述车道边界线的图像要素所夹着的像素区域,确定为上述压缩区域。
7.如权利要求1至6中任一项所记载的显示控制装置,其特征在于,
上述图像数据的下方的像素区域的上限位置,是表示后方车辆的图像要素或表示路面标识物的图像要素的下端位置。
8.一种显示控制方法,是与搭载于车辆的拍摄装置连接的显示控制装置的显示控制方法,该显示控制方法的特征在于,具有:
取得步骤,取得上述拍摄装置对上述车辆的后方摄影而得到的图像数据;
确定步骤,将上述图像数据的下方的像素区域中的、不包括对沿着上述车辆的行驶方向的直线状的被拍摄体进行表示的图像要素的像素区域确定为压缩区域;
生成步骤,对于上述图像数据,将所确定的上述压缩区域压缩,从而生成规定的显示尺寸的显示图像数据;以及
控制步骤,进行控制,以经由作为上述车辆的后视镜而配置的电子镜来视觉辨认所生成的上述显示图像数据。
9.一种摄影机监视系统,具有:
拍摄装置,对车辆的后方进行摄影;
显示控制装置,对通过上述拍摄装置摄影到的图像数据进行处理;以及
输出装置,与上述显示控制装置连接,
上述摄影机监视系统的特征在于,
上述显示控制装置具有:
取得部,取得通过上述拍摄装置摄影到的图像数据;
确定部,将上述图像数据的下方的像素区域中的、不包括对沿着上述车辆的行驶方向的直线状的被拍摄体进行表示的图像要素的像素区域,确定为压缩区域;
生成部,对于上述图像数据,将所确定的上述压缩区域压缩,从而生成规定的显示尺寸的显示图像数据;以及
控制部,进行控制,以经由作为上述车辆的后视镜而配置的电子镜来视觉辨认所生成的上述显示图像数据。
CN201810498254.9A 2017-06-26 2018-05-23 显示控制装置、显示控制方法以及摄影机监视系统 Active CN109120888B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-124635 2017-06-26
JP2017124635A JP6837931B2 (ja) 2017-06-26 2017-06-26 表示制御装置、表示制御方法及びカメラモニタリングシステム

Publications (2)

Publication Number Publication Date
CN109120888A true CN109120888A (zh) 2019-01-01
CN109120888B CN109120888B (zh) 2021-05-18

Family

ID=62909329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810498254.9A Active CN109120888B (zh) 2017-06-26 2018-05-23 显示控制装置、显示控制方法以及摄影机监视系统

Country Status (4)

Country Link
US (1) US10464490B2 (zh)
EP (1) EP3421295B1 (zh)
JP (1) JP6837931B2 (zh)
CN (1) CN109120888B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590670A (zh) * 2020-12-07 2021-04-02 安徽江淮汽车集团股份有限公司 三车道环境显示方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051634A1 (en) * 1993-02-26 2004-03-18 Kenneth Schofield Vision system for a vehicle including image processor
US20050206780A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Camera
US20090079585A1 (en) * 2007-09-26 2009-03-26 Nissan Motor Co., Ltd. Vehicle periphery monitoring apparatus and image displaying method
US20120300021A1 (en) * 2011-04-11 2012-11-29 Honda Elesys Co., Ltd. On-board camera system
CN102823240A (zh) * 2010-03-26 2012-12-12 本田技研工业株式会社 车辆驾驶辅助装置
CN102951077A (zh) * 2011-08-23 2013-03-06 富士通将军股份有限公司 驾驶辅助设备
US20140118551A1 (en) * 2011-06-16 2014-05-01 Keigo IKEDA Vehicle surrounding-area monitoring apparatus
CN103946066A (zh) * 2011-11-24 2014-07-23 丰田自动车株式会社 车辆周边监视装置和车辆周边监视方法
CN106537905A (zh) * 2014-08-12 2017-03-22 索尼公司 信号处理设备、信号处理方法和监视系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3084208B2 (ja) * 1995-05-18 2000-09-04 株式会社日立製作所 画像処理装置
US7574069B2 (en) 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
JP4762698B2 (ja) * 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5562311B2 (ja) * 2011-10-11 2014-07-30 本田技研工業株式会社 車両の運転支援装置
JP6081247B2 (ja) * 2013-03-19 2017-02-15 アルパイン株式会社 車両後方画像の表示切替装置および表示切替方法
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
KR101646340B1 (ko) * 2014-08-27 2016-08-05 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
CN106464843B (zh) * 2014-09-05 2019-05-14 堺显示器制品株式会社 图像生成装置、图像生成方法及计算机可读存储介质
JP2018043643A (ja) * 2016-09-14 2018-03-22 株式会社東海理化電機製作所 車両用視認装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051634A1 (en) * 1993-02-26 2004-03-18 Kenneth Schofield Vision system for a vehicle including image processor
US20050206780A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Camera
US20090079585A1 (en) * 2007-09-26 2009-03-26 Nissan Motor Co., Ltd. Vehicle periphery monitoring apparatus and image displaying method
CN102823240A (zh) * 2010-03-26 2012-12-12 本田技研工业株式会社 车辆驾驶辅助装置
US20130038735A1 (en) * 2010-03-26 2013-02-14 Honda Motor Co., Ltd System for assisting driving of vehicle
US20120300021A1 (en) * 2011-04-11 2012-11-29 Honda Elesys Co., Ltd. On-board camera system
US20140118551A1 (en) * 2011-06-16 2014-05-01 Keigo IKEDA Vehicle surrounding-area monitoring apparatus
CN102951077A (zh) * 2011-08-23 2013-03-06 富士通将军股份有限公司 驾驶辅助设备
CN103946066A (zh) * 2011-11-24 2014-07-23 丰田自动车株式会社 车辆周边监视装置和车辆周边监视方法
CN106537905A (zh) * 2014-08-12 2017-03-22 索尼公司 信号处理设备、信号处理方法和监视系统

Also Published As

Publication number Publication date
JP2019006282A (ja) 2019-01-17
CN109120888B (zh) 2021-05-18
EP3421295A1 (en) 2019-01-02
US10464490B2 (en) 2019-11-05
US20180370439A1 (en) 2018-12-27
JP6837931B2 (ja) 2021-03-03
EP3421295B1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
JP5267660B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
KR102580476B1 (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
JP7052632B2 (ja) 車両用周辺表示装置
JP2005311868A (ja) 車両周辺視認装置
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
JP4626400B2 (ja) 俯瞰画像表示装置及び俯瞰画像表示方法
US20150116494A1 (en) Overhead view image display device
JPWO2004106858A1 (ja) ステレオカメラシステム及びステレオ光学モジュール
EP3503531B1 (en) Image display apparatus
JP2012040883A (ja) 車両周囲画像生成装置
JP2002354467A (ja) 車両周囲情報表示装置
JP6152261B2 (ja) 車載用駐車枠認識装置
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
CN109120888A (zh) 显示控制装置、显示控制方法以及摄影机监视系统
WO2022190166A1 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
JP4799236B2 (ja) 車載表示システム
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
JP2002087191A (ja) 運転支援システム
JP6970035B2 (ja) 車両用視認装置の撮影部の画角設定方法
JP2008011187A (ja) 表示制御装置
JP2018148484A (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP2020155792A (ja) 画像表示装置
WO2019092771A1 (ja) 表示制御装置および表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant