CN101635838A - 图像处理系统、成像装置、图像处理方法和计算机程序 - Google Patents

图像处理系统、成像装置、图像处理方法和计算机程序 Download PDF

Info

Publication number
CN101635838A
CN101635838A CN200910161223A CN200910161223A CN101635838A CN 101635838 A CN101635838 A CN 101635838A CN 200910161223 A CN200910161223 A CN 200910161223A CN 200910161223 A CN200910161223 A CN 200910161223A CN 101635838 A CN101635838 A CN 101635838A
Authority
CN
China
Prior art keywords
image
unit
picked
imaging device
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910161223A
Other languages
English (en)
Inventor
东原清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101635838A publication Critical patent/CN101635838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理系统、成像装置、图像处理方法和计算机程序。提供了一种图像处理系统,包括成像装置、用于执行图像处理的控制装置以及用于显示图像的显示装置;图像处理系统还包括用于摄取车辆外围的图像的成像单元,用于将成像单元摄取的车辆外围的图像从第一图像转换为对应于第一图像的部分区域的第二图像的转换单元,用于在显示装置上执行操作的操作单元,以及用于控制转换单元和显示装置的控制单元,从而当显示装置显示不是被成像单元摄取的图像的第三图像时,根据对操作单元的操作,在将显示图像从第三图像转变为第一图像后显示第二图像。

Description

图像处理系统、成像装置、图像处理方法和计算机程序
技术领
本发明涉及图像处理系统、成像装置、图像处理方法和计算机程序;并且更具体地,涉及用于显示安装在车辆中的成像装置摄取的图像的图像处理系统、图像处理方法和计算机程序,以及成像装置。
背景技术
当驱动车辆时,存在从驾驶者的座位很难看到或一点也看不到的区域,或存在盲角。为了从驾驶者的座位看到这些区域,存在车载摄像机系统,其中小型摄像机(车载摄像机)被安装在车辆的前部或后部,并且该摄像机拍摄的图像被显示在安装在车辆的从驾驶者的座位可视的位置处的图像显示装置上(例如,参见日本专利申请早期公开No.2002-19556)。
通过在控制操纵杆的同时观察相关的车载摄像机系统所显示的图像,可以在驶过窄巷时检查出是否有行人靠近车辆,或容易地实现平行停车到狭窄的区域或边倒车边停车。
在现有技术中,通过棱镜将左右图像获取到车载摄像机装置、以拍摄车辆左右的前方的图像的方法是已知的(例如,参见日本专利申请早期公开No.2001-219783)。通过棱镜摄取图像,在视觉上可以立即检查出左右两侧的图像。
发明内容
然而,日本专利申请早期公开No.2001-219783中公开的方法具有如下问题:该申请被局限为通过棱镜来成像的摄像机装置,并且摄像机装置的外形尺寸较大。由于成像是通过棱镜来执行的,可能不能获得前方的图像,并且驾驶者在观察安装在驾驶者的座位处的显示装置上显示的图像时很难立即识别哪个部分被显示。
在现有技术的车载摄像机系统中,一度将车载摄像机拍摄的图像转换为NTSC((美国)国家电视标准委员会)制式,继而对转换为NTSC制式的图像执行图像处理。然而,由于NTSC制式的带宽限制,被转换为NTSC制式的图像的质量较转换前的图像有所下降,因此显示在图像显示装置上的图像也变得粗糙。
本发明解决现有技术中与方法和设备相关的上述及其它问题,并且希望提供一种能使驾驶者立即并容易地识别哪个部分被显示的新型的、改进的图像处理系统、成像装置、图像处理方法以及计算机程序。
本发明还希望提供一种其中图像显示装置上显示的转换后的图像的质量不会变得粗糙的新型的、改进的图像处理系统、成像装置、图像处理方法以及计算机程序。
根据本发明的一个实施例,提供了一种图像处理系统,其包括:用于摄取图像的成像装置,用于对成像装置摄取的图像执行图像处理的控制装置,以及用于显示被控制装置进行图像处理的图像的显示装置;图像处理系统包括:成像单元,用于摄取车辆外围的图像;转换单元,用于将成像单元摄取的车辆外围的图像从第一图像转换为对应于第一图像的部分区域的第二图像;操作单元,用于在显示装置上执行操作;以及控制单元,用于控制转换单元和显示装置,从而当显示装置显示不是被成像单元摄取的图像的第三图像时,根据对操作单元的操作,将显示图像从第三图像转变为第一图像后再显示第二图像。
根据这样的结构,成像装置摄取图像,控制装置对成像装置摄取的图像执行图像处理,并且显示装置显示控制装置中处理的图像。在具有该结构的图像处理系统中,成像单元摄取车辆外围的图像,转换单元将成像单元摄取的车辆外围的图像从第一图像转换为对应于第一图像的部分区域的第二图像。操作单元在显示装置上执行操作,并且控制单元控制转换单元和显示装置,从而当显示装置显示不是被成像单元摄取的图像的第三图像时,根据对操作单元的操作,将显示图像从第三图像转变为第一图像后再显示第二图像。因此,根据按照本发明一个方面提供的图像处理系统,转换后的图像的图像质量没有降低,并且驾驶者可以立即并容易地识别哪个部分被显示。
对操作单元的操作可以是按下按钮一次。第一图像可以是车辆前方的图像,第二图像可以是与前方的图像的部分区域对应的左右两边的前方的图像,并且第三图像可以是地图信息。
转换单元可以执行转换,从而从第一图像到第二图像的转换经历被知晓。
图像处理系统包括:用于摄取图像的成像装置,用于控制对成像装置摄取的图像的图像处理的控制装置,并且转换单元可以被包含在成像装置中。
图像处理系统可以包括:用于摄取图像的成像装置,用于控制对成像装置摄取的图像的图像处理的控制装置,并且转换单元可以被包含在控制装置中。
转换单元可以根据作为成像单元的成像结果而获得的原始数据执行转换,并且转换单元可以根据对作为成像单元的成像结果而获得的原始数据编码后的图像执行转换。
根据本发明的另一个实施例,提供了一种成像装置,其包括:成像单元,用于摄取车辆外围的图像;以及转换单元,用于基于来自外界的转换指令将成像单元摄取的图像从第一图像转换为对应于第一图像的部分区域的第二图像。
根据这样的结构,成像装置摄取图像,并且转换单元基于从外界做出的转换指令将成像单元摄取的图像从第一图像转换为对应于第一图像的部分区域的第二图像。因此,根据按照本发明另一个方面提供的图像处理系统,转换后的图像的图像质量没有降低,并且驾驶者可以立即并容易地识别哪个部分被显示。
根据本发明的另一个实施例,提供了一种图像处理方法,其包括步骤:摄取车辆外围的图像,显示摄取步骤中摄取的车辆外围的图像,将摄取步骤中摄取的车辆外围的图像从第一图像转换为对应于第一图像的部分区域的第二图像,并且执行控制,从而当显示装置显示不是被成像单元摄取的图像的第三图像时,根据对用于显示在显示步骤中显示的图像的显示装置的操作,将显示图像从第三图像转变为第一图像后再显示第二图像。
根据本发明的另一个实施例,提供了一种计算机程序,其使计算机执行以下步骤:摄取车辆外围的图像,显示摄取步骤中摄取的车辆外围的图像,将摄取步骤中摄取的车辆外围的图像从第一图像转换为对应于第一图像的部分区域的第二图像,并且执行控制,从而当显示装置显示不是被成像单元摄取的图像的第三图像时,根据对用于显示在显示步骤中显示的图像的显示装置的操作,将显示图像从第三图像转变为第一图像后再显示第二图像。
根据以上所述的本发明,通过根据操作而在显示第一图像后显示对应于第一图像的部分区域的第二图像,提供了一种使驾驶者可以容易地识别哪个部分被显示的图像处理系统。因为第二图像在通过按下按钮一次而使显示从第三图像转变为第一图像后再被显示,驾驶者可以不用多次执行操作而容易地识别哪个部分被显示,从而提供了具有改善的使用性的图像处理系统。
附图说明
图1是示出装有根据本发明第一实施例的图像处理系统的车辆被从上方向下看的状态的示意图;
图2是描述根据本发明第一实施例的图像处理系统100的构造的示意图;
图3是描述根据本发明第一实施例的成像装置110的构造的示意图;
图4是描述根据本发明第一实施例的130的构造的示意图;
图5是示出显示在显示装置160上的车辆导航系统的屏幕的一个示例的示意图;
图6是示出即时预览地显示在显示装置160上的图像的一个示例的示意图;
图7是示出显示在显示装置160上的图像的示意图;
图8是示出显示在显示装置160上的图像的示意图;
图9是描述根据本发明第一实施例的图像处理系统100的图像处理方法的流程图;并且
图10是描述根据本发明第二实施例的成像装置210的构造的示意图。
具体实施方式
接下来,将参照附图详细描述本发明的优选实施例。应注意,在本说明书和附图中,具有基本相同的功能的结构元件和结构以相同的参考标记表示,并且省去对这些结构元件的重复说明。
(第一实施例)
首先,将描述根据本发明第一实施例的图像处理系统和图像处理方法。图1是示意图,示出装有根据本发明第一实施例的图像处理系统的车辆被从上方向下看的状态。
如图1所示,装有根据本发明第一实施例的图像处理系统的车辆10安装有成像装置110,用于摄取前方中部的图像。根据本实施例的成像装置110是具有透镜的成像装置,该透镜中视角是超过180度的宽视角。
根据本实施例的图像处理系统将图像显示在被安装在车辆10的驾驶者的座位处的显示装置上,所述图像是采用具有宽视角透镜的成像装置110摄取的。驾驶车辆10的驾驶者通过显示装置来检查成像装置110摄取的图像,以在视觉上检查从驾驶者的座位因为成为盲角而很难看到或看不到的区域。
尽管本实施例中成像装置110被安装在车辆10前方的中部,应理解安装成像装置的区域不限于本发明中的该示例。安装在车辆10中的成像装置的数量可以是两个或更多。
以下将具体描述根据本发明第一实施例的图像处理系统和图像处理方法。
图2是描述根据本发明第一实施例的图像处理系统100的构造的示意图。以下将利用图2描述根据本发明第一实施例的图像处理系统100的构造。
如图2所示,根据本发明第一实施例的图像处理系统100被构造为包括成像装置110、操作单元120、ECU(电子控制单元)130和显示装置160。
如上所述,成像装置110被安装在车辆10前方的中部和后方的中部,并且摄取车辆10的前方、后方以及左右两侧的图像。成像装置110被构造为包括成像元件等,如视角是超过180度的宽视角的透镜、CCD(电荷耦合器件)图像传感器和CMOS(互补金属氧化物半导体)图像传感器。被成像装置110摄取的图像被传送到ECU 130。
操作单元120接受对图像处理系统100的操作输入。例如,输出到显示装置160的图像可以通过操作单元120的操作而被开始或停止。此外,如以下所述,要被显示在显示装置160上的图像的转化过程可以通过操作单元120的操作而被开始。尽管在图中没有具体示出,操作单元120上设置了各种按钮,用于接受对图像处理系统100的操作输入。
ECU 130是用于控制车辆10的各单元的部分,并且执行对发动机转数的控制、对空调的控制等等。在本实施例中,ECU 130根据预定的指示对成像装置110摄取的图像执行信号处理。以下将详细描述ECU 130执行的对成像装置110摄取的图像的信号处理以及导致ECU 130执行信号处理的预定的指示的细节。成像装置110摄取的图像或ECU 130中被执行信号处理的图像被传送到显示装置160。
显示装置160被安装在从车辆10的驾驶者的座位处可视的位置,并且执行对成像装置110摄取的图像的所谓的即时预览地显示。显示装置160可以安装LCD(液晶显示器),或者可以安装有机电致发光显示器。车辆导航系统被构建在根据本实施例的显示装置160中。通过激活车辆导航系统,当前位置的地图信息和到目的地的路径信息等被显示在显示装置160上。因此,尽管图1和图2中没有示出,车辆10还可以配备有用于车辆导航系统的如GPS(全球定位系统)之类的当前位置获取装置以及如陀螺仪之类的自主导航设备等。
车辆10的驾驶者通过观察显示在显示装置160上的图像,能可视地检查从驾驶者的座位因为成为盲角而很难看到或看不到的位置的状态。在根据本实施例的图像处理系统100中,可以通过在显示装置160上显示ECU 130中处理过的视频信号来进一步提高驾驶者的能视度。
以上利用图2描述了根据本发明第一实施例的图像处理系统100的构造。在图2以及以上的描述中,描述了用于接受对图像处理系统100的操作输入的各种类型的按钮被设置在操作单元120上,但是本发明不限于这样的示例。显示装置160可以是触板式,从而驾驶者等可以触摸显示在显示装置160上的按钮来接受对图像处理系统100的操作输入。现在将描述根据本发明第一实施例的成像装置110的构造。
图3是描述根据本发明第一实施例的成像装置110的构造的示意图。以下将利用图3描述根据本发明第一实施例的成像装置110的构造。
如图3所示,根据本发明第一实施例的成像装置110被构造为包括透镜112、成像元件114、数据转换单元116以及D/A转换器118。
透镜112将物体(未图示)的图像投影到成像元件114的成像平面上。如上所述,根据第一实施例的透镜112的视角超过180度。通过示例的方式,视角约为186度的透镜被用作为图3中的透镜112。
成像元件114是将从透镜112进入的光转换为电信号的元件。如上所述,CCD图像传感器或CMOS图像传感器可以被用于成像元件114。在成像元件114处转换光所获得的电信号被传送到数据转换单元116。
数据转换单元116将成像元件114中产生的电信号转换为数字信号。数据转换单元116可以包括CDS(相关双采样)电路,用于移除包含在成像元件114产生的电信号中的噪声成分。
数据转换单元116还可以包括用于放大电信号的放大电路。由于数据转换单元116中的转换,产生了包含亮度信号数字数据和颜色信号数字数据的图像的原始数据(RAW数据)。数据转换单元116中产生的数字信号被传送到D/A转换器118。
D/A转换器118将数据转换单元116中产生的包含图像的原始数据(RAW数据)的数字信号转换为模拟信号,用于传递到ECU 130。在D/A转换器118中转换的信号作为具有编码的图像原始数据的图像数据被传递到ECU 130。
在本实施例中,成像装置110被构造为包括D/A转换器118,但是本发明不限于这样的示例。换言之,如果图像数据可以以数字信号的形式被从成像装置110传递到ECU 130,可以不使用D/A转换器118。
以上利用图3描述了根据本发明第一实施例的成像装置110的构造。现在将描述根据本发明第一实施例的ECU 130的构造。
图4是描述根据本发明第一实施例的ECU 130的构造的示意图。以下将利用图4描述根据本发明第一实施例的ECU 130的构造。
如图4所示,根据本发明第一实施例的ECU 130被构造为包括A/D转换器132、图像缓冲器134、图像转换单元136、转换控制单元138和D/A转换器140。
A/D转换器132将从成像装置110传递的图像数据转换为数字信号。在本实施例中,ECU 130被构造为包括A/D转换器132,但是本发明不限于这样的示例。换言之,如果ECU 130可以从成像装置110接收数字信号形式的图像数据,可以不使用A/D转换器132。在A/D转换器132中被转换成数字信号的图像数据被暂时存储在图像缓冲器134中。
图像缓冲器134以FIFO(先进先出)形式暂时存储A/D转换器132中产生的图像数据。存储在图像缓冲器134中的图像数据被传送到图像转换单元136,并且执行预定的转换过程。
当对从图像缓冲器134输出的图像数据做出来自转换控制单元138的转换指令时,图像转换单元136根据转换指令执行预定的转换过程。在图像转换单元136中转换的图像数据被输出到D/A转换器140。以下将描述在图像转换单元136中执行的图像数据的转换过程。
当从外部收到指示图像的转换的转换指令信号的输入时,转换控制单元138将与相关的转换指令信号对应的图像数据的转换指令传送到图像转换单元136。当从转换控制单元138收到转换指令时,图像转换单元136在成像装置110摄取的图像上执行转换过程。当在车辆导航系统的画面在显示器160上显示的情况下、从车辆导航系统的图像到成像装置110拍摄的图像的显示的切换被指示时(反之亦然),转换控制单元138还控制显示装置160、ECU 130和成像装置110。
转换指令信号被传送到转换控制单元138的时刻是驾驶者操作操作单元120且图像转换被明确地指示的时间点(例如,驾驶者按下显示在车辆导航系统上的按钮的时间点),或是行驶过程中速度变得低于或等于预定速度的时间点。车辆10的减速可以被ECU 130检测,以便以行驶过程中的速度变得低于或等于预定速度为触发将转换指令信号传送到转换控制单元138。除这样的时刻外,成像装置可以被安装在车辆10的后部,从而当希望可视地检查车辆10后方的图像时,转换指令信号在车辆10向后倒的时间点被传送到转换控制单元138。
如果转换指令没有从转换控制单元138中发出,则图像转换单元136不会转换图像而是将图像数据输出到D/A转换器140。
D/A转换器140将从图像转换单元136输出的图像数据例如转换为NTFC制式,以传送到显示装置160。D/A转换器140中转换的信号作为视频信号被传送到显示装置160。尽管在本实施例中ECU 130包括D/A转换器140,但是本发明不限于这样的示例。换言之,如果图像数据可以以数字信号的形式被从ECU 130传递到显示装置160,则ECU 130可以被构造为不包括D/A转换器140。
已利用图4描述了根据本发明第一实施例的ECU 130的构造。现在将参照附图描述根据本发明第一实施例的ECU 130中的图像转换过程。
图5是示出显示在显示装置160上的车辆导航系统的屏幕的一个示例的示意图。在本实施例中,俯视图像按钮16a、盲角视野按钮16b、后方视野按钮16c以及侧后方图像按钮16d被显示在地图图像的右侧,其中指示当前位置的地图被显示在显示装置160上显示的车辆导航系统的屏幕中。在本实施例中,显示在显示装置160上的每个按钮通过用手指触摸屏幕而起作用,并且分配给每个按钮的操作被执行。
俯视图像按钮16a是用于在显示装置160上显示从成像装置110摄取的图像转换而来的、好比是从车辆10的上部摄取的图像的按钮。这样的转换过程可以在ECU 130中执行。
盲角视野按钮16b是用于在显示装置160上显示被安装在车辆10前方的成像装置110摄取的车辆左右两边前方的图像的按钮。在本实施例中,当通过用手指触摸盲角视野按钮16b在显示装置160上显示车辆10左右两边前方的图像时,成像装置110摄取的图像被转换,以便在一度显示车辆10前方的图像之后显示车辆10左右两边前方的图像。转换过程将在以下被详细描述。
后方视野按钮16c是用于在显示装置160上显示被安装在车辆10后方的成像装置110摄取的车辆10后方的图像的按钮。侧后方图像按钮16d是用于在显示装置160上显示被安装在车辆10后方的成像装置110摄取的车辆10侧向的后方(侧后方)的图像的按钮。
图5所示的状态是这样的状态,其中车辆试图到达T形交叉口,然而由于存在建筑物,左右方向是驾驶者的盲角。同样在该状态中,可以通过检查利用被安装在车辆前方的成像装置110拍摄的左右两边前方的图像来识别出现在盲角中的车辆和人。因此,通过如下述的图8所示显示左右两边前方的图像,可以充分地检查出现在盲角中的车辆和人。然而,对于驾驭者来说,当图5的图像被突然切化成图8的图像时,很难识别车身21和杆子22所在之处,即,很难识别车身21和杆子22存在于前方的哪个部分。当在图5的状态按下盲角视野按钮16b时,执行控制使下述的图6所示的前方的图像被显示,之后图8所示的图像,即对应于前方的图像的局部区域的图像,被显示。车身21和杆子22在前方所在的大致位置可以被容易地识别,并且不适感可以被减小。通过仅按压盲角视野按钮16b一次,执行控制来在将显示从图5的图像改变为图6的图像后显示图8的图像。没必要多次操作,对于驾驶者来说是方便的。
图6是示出当图5所示的盲角视野按钮16b被手指触摸时显示在显示装置160上的屏幕的一个示例的示意图,并且示出了根据本发明第一实施例的成像装置110摄取的、并且即时预览地显示在显示装置160上的图像的一个示例。如上所述,安装在根据本发明第一实施例的成像装置110上的透镜112是视角为超过180度的宽视角的透镜。因此,如图6所示,成像装置110摄取的图像是在宽视角上显示的图像,但是是向外围边缘产生变形的图像。
在本发明的第一实施例中,转换过程在图像转换单元136中执行,从而位于从车辆10的驾驶者的座位很难可视地检查的区域处的物体可以通过图像被容易地可视地检查。当执行转换过程时,通过平滑地从转换前的图像向转换后的图像过渡(执行变形过程),哪个部分被显示可以以容易理解的方式被通知。
根据本发明第一实施例的图像的转换型式的一个示例被示出。应理解,以下描述的图像的转换型式不限于本发明中的该示例。
在图6中,示出了这样的情况,其中图5所示的按钮的盲角视野按钮16b处于非显示状态,并且用于在显示装置160上显示图5所示的地图图像的地图显示按钮16e被显示,但是应理解,按钮的显示形式不限于该情况。图6中显示的图像产生了变形,但不限于此,并且应该理解,可以显示变形被校正的图像。
当在显示装置160上显示图5所示的图像的情况下盲角视野按钮16b被按下时,显示装置160、ECU 130和成像装置110首先被控制为显示图6所示的图像。该控制由设置在ECU 130内部的转换控制单元138执行。用于实施本发明中相关控制的部件不限于转换控制单元138,并且用于执行相关的控制的控制装置(未示出)可以被设置在显示装置160内并控制可以通过控制装置来执行。响应于盲角视野按钮16b的按压操作,转换指令信号被传送到转换控制单元138,从而转换控制单元138指示图像转换单元136来执行图像的转换过程。收到执行图像转换过程的指令的图像转换单元136对成像装置110摄取的图像执行转换过程,并将转换后的图像输出。
图7和图8是示出作为图像转换单元136中的转换过程的结果从图像转换单元136中输出并显示在显示装置160上的图像的示意图。图7示出在到达图8所示的状态的过程中的一个状态。
在本实施例中,特征在于当图像转换单元136中转换过程开始时,图6所示的状态通过图7所示的状态平滑地过渡到图8所示的状态。在图像转换单元136中,执行对图6所示的图像的外围边缘的变形的校正过程,以实现图8所示的图像。
本发明的申请人先前递交的日本专利申请早期公开No.2007-67714和日本专利申请早期公开No.2007-329548等中公开的技术可以被用作为校正图像的外围边缘的变形的技术。
将描述校正图像的外围边缘的变形的技术的一个示例。例如,当在转换之前和之后校正图像水平方向的变形时,原始图像水平方向的变形通过采用水平校正参数对原始图像执行一维插值计算而被校正,该水平校正参数表明在构成原始图像的像素点处水平方向的校正量。当校正竖直方向的变形时,原始图像竖直方向的变形通过使用作为水平方向变形的校正结果而获得的图像、采用竖直校正参数执行一维插值计算而被校正,该竖直校正参数表明在构成原始图像的像素点处的竖直方向校正量。
图7和图8所示的屏幕中的图像的竖直方向示出了分界线,但是给出分界线是为了方便解释,因此在本发明中,可以对转换中的图像或转换后的图像给出分界线,或者可以不给出分界线。
接下来,以下将描述根据本发明第一实施例的图像处理系统100的图像处理方法。
图9是描述根据本发明第一实施例的图像处理系统100的图像处理方法的流程图。以下将利用图9描述根据本发明第一实施例的图像处理系统100的图像处理方法。
首先,在显示装置160上显示车辆导航系统的地图屏幕(步骤S102)的情况下,判定盲角视野按钮16b是否被驾驶者按下(是否用手指触摸)(步骤S104)。盲角视野按钮16b是否被按下(是否用手指触摸)的判定可以由ECU 130的转换控制单元138做出。
如果作为步骤S104的判定结果、盲角视野按钮16b的按钮操作没有被驾驶者执行,则过程回到步骤S102,并且显示装置160上继续显示车辆导航系统的屏幕。
如果作为步骤S104的判定结果、盲角视野按钮16b的按钮操作被驾驶者执行,则使用安装在车辆10前方中部的成像装置110开始拍摄车辆10前方的图像。成像装置110的摄像过程可以从盲角视野按钮16b的按钮操作被执行之前被实施。成像装置110拍摄的图像被传送到ECU 130。当收到传送的成像装置110拍摄的图像时,ECU 130在显示装置160上即时预览地显示相关的拍摄的图像(步骤S106)。该时间点在显示装置160上显示的图像是图6所示的没有在图像转换单元136中执行转换过程的图像。
接着,成像装置110拍摄的图像在ECU 130的图像转换单元136中被平滑地转换为图8所示的图像,使图像显示在显示装置160上(步骤S108)。
具体地,如上所述,进行转换以从图6所示的图像、经过图7所示的图像的状态、最终在显示装置160上显示图8所示的图像。转换过程在图像转换单元136中被执行,从而显示在显示装置160上的图像平滑地从图6所示的状态经过图7所示的状态变化到图8所示的状态。
当转换过程在ECU 130的图像转换单元136中被执行时,在图像转换单元136中执行了转换过程后的图像即时预览地显示在显示装置160上(步骤S110)。
已利用图9描述了根据本发明第一实施例的图像处理系统100的图像处理方法。图9所示的根据本发明第一实施例的图像处理系统100的图像处理方法以驾驶者对操作单元120的按钮操作为触发执行图像的转换过程,但是应理解,本发明不限于这样的示例。
例如,当车辆10在行驶并且成像装置110拍摄的图像被显示在显示装置160上时,行驶过程中车辆10的速度是否变得低于或等于预定速度可以被判定。速度是否低于或等于预定速度是判定的标准,这是因为假设有必要在车辆10前进到交叉口时检查来自左边和右边的车辆、行人等的到达。在这样的情况下,当判定车辆10的速度低于或等于预定速度时可以执行步骤S108的转换过程。
当成像装置被安装在车辆10的后部并且希望可视地检查车辆10后方的图像时,车辆10是否向后移动可以被判定。当判定车辆10向后移动时可以执行步骤S108的转换过程。
如上所述,根据本发明的第一实施例,安装在车辆10前方中部的具有宽视角特性的成像装置110拍摄的图像在ECU 130中经历转换过程并被显示在显示装置160上。当执行转换过程时,转换过程被执行以使得在显示装置160上显示的图像在转换前后平滑地变化。
通过平滑地变化显示装置160上显示的图像,驾驶者可以容易地检查哪个部分被放大并显示。通过转换过程可以获得与使用棱镜的图像类似的图像,即使对现有技术中只有使用棱镜才可能获得的图像也是如此。此外,如果利用棱镜则可能不能被拍摄的前部的图像也可以被拍摄,导致系统的成本的降低。
现有技术中,对转换为NTSC制式后的图像执行图像处理,但是在本发明的第一实施例中,因为对转换为NTSC制式前的图像执行图像处理,所以在转换后的图像中维持了较高的图像质量。结果,可以进一步提高当驾驶者观察转换后的图像时图像的可见度。
图像转换单元136中的图像处理可以通过在ECU 130中存储计算机程序并随后读出并运行存储的计算机程序来执行。
(第二实施例)
在本发明的第一实施例中,图像转换单元136被设置在ECU 130中,并且成像装置110拍摄的图像的转换过程在ECU 130中被执行。在本发明的第二实施例中,将描述图像转换单元被设置在成像装置内的情况。
图10是描述根据本发明第二实施例的成像装置210的构造的示意图。以下将利用图10描述根据本发明第二实施例的成像装置210的构造。
成像装置210代替了在本发明的第一实施例中描述的成像装置110。换言之,成像装置210被安装在车辆10前方的中部,并且拍摄车辆10的前方部分的图像。如图10所示,根据本发明第二实施例的成像装置210被构造为包括透镜212、成像元件214、数据转换单元216、图像缓冲器218、图像转换单元236、转换控制单元238以及D/A转换器240。
在图10所示的成像装置210的结构中,透镜212、成像元件214和数据转换单元216各自具有与图3所示的透镜112、成像元件114和数据转换单元116类似的功能,因此将省略具体描述。
此外,在图10所示的成像装置210的结构中,图像缓冲器218、图像转换单元236和转换控制单元238各自具有与图4所示的ECU 130的图像缓冲器134、图像转换单元136、转换控制单元138类似的功能。因此,在本发明的第二实施例中,使用透镜212和成像元件214摄取的图像在成像装置210内被转换。
以上采用图10描述了根据本发明第二实施例的成像装置210的构造。
如上所述,根据本发明的第二实施例,安装在车辆10前方中部的具有宽视角特性的成像装置210拍摄的图像在成像装置210中经历转换过程并被显示在显示装置160上。当执行转换过程时,转换过程被执行以使得在显示装置160上显示的图像在转换前后平滑地变化。
通过在成像装置210内部平滑地变化显示装置160上显示的图像,驾驶者可以容易地检查哪个部分被放大并显示。通过在仅有成像装置210的情况下的转换过程可以获得与使用棱镜的图像类似的图像,即使对现有技术中只有使用棱镜才可能获得的图像也是如此。此外,如果利用棱镜则可能不能被拍摄的前部的图像也可以被拍摄,导致系统的成本的降低。
现有技术中,对转换为NTSC制式后的图像执行图像处理,但是在本发明的第二实施例中,因为对转换为NTSC制式前的图像执行图像处理,所以在转换后的图像中维持了较高的图像质量。此外,由于在本发明的第二实施例中,转换过程在成像装置210内部被执行,因此转换过程可以直接在成像元件214获取的图像的原始数据(RAW数据)上执行。结果,可以进一步提高当驾驶者观察转换后的图像时图像的可见度。
本发明包含了与2008年7月24日向日本专利局递交的日本优先权专利申请JP2008-191488中公开的主题相关的主题,这里通过引用引入其全部内容。
本领域技术人员应理解,只要在所附权利要求或其等同物的范围内,可以按照设计要求和其他因素进行各种修改、组合、子组合和变更。
例如,在上述实施例中,图像是基于任何给定时间的原始图像产生的,因此图6所示的总体图像和图8所示的分为两半的图像基于不同的原始图像来创建图像,但是本发明不限于该示例。换言之,图6所示的总体图像和图8所示的分为两半的图像可以基于相同的原始图像来创建图像。
即使成像装置110相对于车辆10被倾斜地安装,图像的倾斜角例如也可以在图像转换单元136中被检测。成像装置110摄取的图像可以基于在图像转换单元136中检测的倾斜角来在图像转换单元136中被转换。
在上述实施例中,当图像转换单元136中转换过程开始时,图6所示的状态通过图7所示的状态平滑地过渡到图8所示的状态,但是本发明不限于该示例。例如,当图像转换单元136中转换过程开始时,图6所示的状态可以立即过渡到图8所示的状态。

Claims (11)

1.一种图像处理系统,其包括:
成像装置,用于摄取图像;
控制装置,用于对所述成像装置摄取的图像执行图像处理;以及
显示装置,用于显示被所述控制装置进行图像处理的图像;所述图像处理系统包括:
成像单元,用于摄取车辆外围的图像;
转换单元,用于将所述成像单元摄取的车辆外围的图像从第一图像转换为对应于所述第一图像的部分区域的第二图像;
操作单元,用于在所述显示装置上执行操作;以及
控制单元,用于控制所述转换单元和所述显示装置,从而当所述显示装置显示不是所述成像单元摄取的图像的第三图像时,根据对所述操作单元的操作,将显示的图像从所述第三图像转变为所述第一图像后再显示所述第二图像。
2.根据权利要求1所述的图像处理系统,其中所述操作单元的操作是按下按钮一次。
3.根据权利要求2所述的图像处理系统,其中所述第一图像是车辆的前方图像,所述第二图像是与所述前方图像的部分区域对应的左右两边的前方图像,并且所述第三图像是地图信息。
4.根据权利要求3所述的图像处理系统,其中所述转换单元执行转换,从而从所述第一图像到所述第二图像的转换经历被知晓。
5.根据权利要求1所述的图像处理系统,其中所述转换单元被包含在所述成像装置中。
6.根据权利要求1所述的图像处理系统,其中所述转换单元被包含在所述控制装置中。
7.根据权利要求1所述的图像处理系统,其中所述转换单元对作为所述成像单元的成像结果而获得的原始数据执行转换。
8.根据权利要求1所述的图像处理系统,其中所述转换单元根据对作为所述成像单元的成像结果而获得的原始数据编码后的图像执行转换。
9.一种成像装置,其包括:
成像单元,用于摄取车辆外围的图像;以及
转换单元,用于基于来自外界的转换指令将所述成像单元摄取的图像从第一图像转换为对应于所述第一图像的部分区域的第二图像。
10.一种图像处理方法,其包括步骤:
摄取车辆外围的图像;
显示所述摄取步骤中摄取的车辆外围的图像;
将所述摄取步骤中摄取的车辆外围的图像从第一图像转换为对应于所述第一图像的部分区域的第二图像;并且
执行控制,从而当显示装置显示不是成像单元摄取的图像的第三图像时,根据用于显示在所述显示步骤中显示的图像的所述显示装置上的操作,将显示的图像从所述第三图像转变为所述第一图像后再显示所述第二图像。
11.一种计算机程序,其使计算机执行以下步骤:
摄取车辆外围的图像;
显示所述摄取步骤中摄取的车辆外围的图像;
将所述摄取步骤中摄取的车辆外围的图像从第一图像转换为对应于所述第一图像的部分区域的第二图像;并且
执行控制,从而当显示装置显示不是成像单元摄取的图像的第三图像时,根据用于显示在所述显示步骤中显示的图像的所述显示装置上的操作,将显示的图像从所述第三图像转变为所述第一图像后再显示所述第二图像。
CN200910161223A 2008-07-24 2009-07-24 图像处理系统、成像装置、图像处理方法和计算机程序 Pending CN101635838A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008191488 2008-07-24
JP2008191488A JP2010033108A (ja) 2008-07-24 2008-07-24 画像処理システム、撮像装置、画像処理方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN101635838A true CN101635838A (zh) 2010-01-27

Family

ID=41568277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910161223A Pending CN101635838A (zh) 2008-07-24 2009-07-24 图像处理系统、成像装置、图像处理方法和计算机程序

Country Status (3)

Country Link
US (1) US20100020176A1 (zh)
JP (1) JP2010033108A (zh)
CN (1) CN101635838A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387344A (zh) * 2010-08-27 2012-03-21 索尼公司 成像装置、成像系统和成像方法
CN102804239A (zh) * 2010-03-24 2012-11-28 株式会社东芝 车辆驾驶辅助用处理装置、车辆驾驶辅助装置及车辆装置
CN104704817A (zh) * 2012-12-06 2015-06-10 日本电气株式会社 视场显示系统、视场显示方法及视场显示程序
CN112550152A (zh) * 2020-12-18 2021-03-26 雄狮汽车科技(南京)有限公司 一种汽车盲区监控系统及其监控方法
WO2021146875A1 (zh) * 2020-01-20 2021-07-29 深圳市大疆创新科技有限公司 设备控制方法、图像显示方法、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442550B1 (en) 2010-10-14 2015-06-17 Sony Corporation Image capturing device, system and method
DE102011077398B4 (de) 2011-06-10 2021-11-04 Robert Bosch Gmbh Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
JP2016046747A (ja) 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
JP6919211B2 (ja) * 2017-02-03 2021-08-18 セイコーエプソン株式会社 印刷装置および印刷装置における入力電圧の較正方法
CN111683840B (zh) * 2019-06-26 2024-04-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3468620B2 (ja) * 1995-08-24 2003-11-17 三菱自動車工業株式会社 車両のノーズビュー装置
JP2002135758A (ja) * 2000-10-20 2002-05-10 Yazaki Corp 車載用映像データ伝送システム、車載用映像データ受信装置、車載用映像データ送信装置
JP2003143596A (ja) * 2001-10-30 2003-05-16 Fujitsu Ten Ltd 車両用モニタ装置
JP4606336B2 (ja) * 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804239A (zh) * 2010-03-24 2012-11-28 株式会社东芝 车辆驾驶辅助用处理装置、车辆驾驶辅助装置及车辆装置
CN102387344A (zh) * 2010-08-27 2012-03-21 索尼公司 成像装置、成像系统和成像方法
CN102387344B (zh) * 2010-08-27 2016-06-22 索尼公司 成像装置、成像系统和成像方法
CN104704817A (zh) * 2012-12-06 2015-06-10 日本电气株式会社 视场显示系统、视场显示方法及视场显示程序
US9807310B2 (en) 2012-12-06 2017-10-31 Nec Corporation Field display system, field display method, and field display program
CN104704817B (zh) * 2012-12-06 2017-12-26 日本电气株式会社 视场显示系统、视场显示方法及视场显示程序
WO2021146875A1 (zh) * 2020-01-20 2021-07-29 深圳市大疆创新科技有限公司 设备控制方法、图像显示方法、设备及存储介质
CN112550152A (zh) * 2020-12-18 2021-03-26 雄狮汽车科技(南京)有限公司 一种汽车盲区监控系统及其监控方法

Also Published As

Publication number Publication date
US20100020176A1 (en) 2010-01-28
JP2010033108A (ja) 2010-02-12

Similar Documents

Publication Publication Date Title
CN101635838A (zh) 图像处理系统、成像装置、图像处理方法和计算机程序
KR102374013B1 (ko) 촬상 장치 및 전자 기기
US10462372B2 (en) Imaging device, imaging system, and imaging method
KR101376210B1 (ko) 어라운드 뷰 모니터 시스템 및 모니터링 방법
EP2012271A2 (en) Image processing system and method
JP4622740B2 (ja) 車両用表示制御装置
CN108886602B (zh) 信息处理装置
JP2006311272A (ja) 車両用映像表示装置
CN110877572A (zh) 周边监视装置
JP2014089513A (ja) 画像生成装置、および画像生成プログラム
US10855954B2 (en) Periphery monitoring device
JP2008013022A (ja) 車両の運転支援装置
JP4579132B2 (ja) 車両/周囲画像提供装置
JP2011049735A (ja) 車両周辺画像提供装置
JP2005184395A (ja) 画像処理方法、画像処理システム、画像処理装置および撮影装置
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JPH1047978A (ja) 車両用前方モニタ装置
JP4611898B2 (ja) 画像表示システム
CN111741258B (zh) 一种驾驶辅助装置实现方法
JP4407246B2 (ja) 車両周辺モニタシステムおよび車両周辺モニタ方法
JP4417749B2 (ja) 車両前方画像表示装置
JP2008306496A (ja) 車載撮像システム及び撮像装置
JP5952138B2 (ja) 撮像装置および領域決定方法
CN113965686A (zh) 驾驶员视觉系统和采集显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100127