CN108886603A - 车载用显示装置 - Google Patents

车载用显示装置 Download PDF

Info

Publication number
CN108886603A
CN108886603A CN201780019668.2A CN201780019668A CN108886603A CN 108886603 A CN108886603 A CN 108886603A CN 201780019668 A CN201780019668 A CN 201780019668A CN 108886603 A CN108886603 A CN 108886603A
Authority
CN
China
Prior art keywords
tone
chromatic aberration
aberration correction
tunnel
correction data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780019668.2A
Other languages
English (en)
Other versions
CN108886603B (zh
Inventor
桑原崇
金谷昌宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108886603A publication Critical patent/CN108886603A/zh
Application granted granted Critical
Publication of CN108886603B publication Critical patent/CN108886603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

车载用显示装置具有摄像部、行驶状态判定部、色调判别部、色差校正部以及显示部。摄像部拍摄车辆周围的图像。行驶状态判定部判定车辆是否正在隧道内行驶。在由行驶状态判定部判定为该车辆正在隧道内行驶的情况下，色调判别部判别图像的色调。色差校正部根据色调判别部的判别结果，来对图像的色差信息进行校正。显示部显示由色差校正部校正后的图像。

Description

车载用显示装置
技术领域
本发明涉及一种电子镜装置等车载用显示装置。
背景技术
近年来，一种将车载摄像机和显示器组合而成的电子镜装置逐渐被实用化。将来，期望电子镜装置取代后视镜(包括室内镜等室内后视镜以及侧视镜(车门后视镜)等车外后视镜)。电子镜装置等车载用显示装置在显示器中显示由车载摄像机拍摄到的车辆周围的图像。
在摄像图像中，由于光源的影响等而产生所谓的颜色模糊。为了对该颜色模糊进行校正，进行白平衡调整。通常，假设在屋外行驶，为了消除太阳光下的颜色模糊而进行白平衡调整。通过白平衡调整，在屋外行驶时，能够获得自然的色调的摄像图像。
另外，在利用将车辆周围的多个摄像图像进行合成得到的俯瞰图像来进行停车辅助的情况下，当刹车灯、信号灯点亮时，导致一部分的摄像图像的色调不同。因此，提出一种通过进行摄像图像的亮度校正来使色调稳定化的技术(例如专利文献1、2)。
专利文献1：日本特开2007-243464号公报
专利文献2：日本特开2011-008459号公报
发明内容
本发明提供一种能够使在隧道行驶时拍摄到的图像整体上以自然的色调呈现的车载用显示装置。
反映出本发明的一个方面的车载用显示装置具有摄像部、行驶状态判定部、色调判别部、色差校正部以及显示部。摄像部拍摄车辆周围的图像。行驶状态判定部判定车辆是否正在隧道内行驶。在由行驶状态判定部判定为该车辆正在隧道内行驶的情况下，色调判别部判别图像的色调。色差校正部根据色调判别部的判别结果，来对图像的色差信息进行校正。显示部显示由色差校正部校正后的图像。
附图说明
图1是示出隧道行驶时的摄像图像的一例的图。
图2是示出第一实施方式所涉及的车载用显示装置的图。
图3是示出显示部和摄像部的设置状态的图。
图4是示出第一实施方式中的图像处理的一例的流程图。
图5是示出蓝色差数据的生成方法的一例的图。
图6是示出红色差数据的生成方法的一例的图。
图7是示出第二实施方式所涉及的车载用显示装置的图。
图8A是示出能够在第二实施方式中应用的色差校正数据的一例的图。
图8B是示出能够在第二实施方式中应用的色差校正数据的一例的图。
图8C是示出能够在第二实施方式中应用的色差校正数据的一例的图。
图8D是示出能够在第二实施方式中应用的色差校正数据的一例的图。
图8E是示出能够在第二实施方式中应用的色差校正数据的一例的图。
图9是示出第二实施方式中的图像处理的一例的流程图。
图10是示出第三实施方式所涉及的车载用显示装置的图。
图11是示出第三实施方式中的图像处理的一例的流程图。
图12A是示出在第三实施方式中生成的色差校正数据的一例的图。
图12B是示出在第三实施方式中生成的色差校正数据的一例的图。
图12C是示出在第三实施方式中生成的色差校正数据的一例的图。
图13是示出第四实施方式所涉及的车载用显示装置的图。
图14是示出第四实施方式中的图像处理的一例的流程图。
具体实施方式
在说明本发明的实施方式之前，简单地说明现有技术中的问题点。在隧道行驶时，特别是在进入隧道时，如图1所示，光源暗的隧道内图像IMG1与光源明亮的隧道外图像IMG2(图1的虚线内)混在一起。因此，通过白平衡调整来自然地显示隧道外图像IMG2的色调，另一方面，隧道内图像IMG1的色调与实际看到的色调不同，有可能使驾驶员产生不适感。
当想要应用以往的亮度校正来使隧道内图像IMG1的色调匹配时，隧道外图像IMG2的色调发生变化，与实际的色调不同。例如，在隧道内图像IMG1看起来偏黄色的情况下，能够通过进行提高蓝色成分的亮度的校正来抑制黄色强的感觉，但导致原本看起来发白的隧道外图像IMG2被显示为蓝色强的感觉。像这样，在特定的颜色成分的亮度校正中，难以以自然的色调呈现隧道图像。
下面，参照附图来详细地说明本发明的实施方式。
[第一实施方式]
图2是示出第一实施方式所涉及的车载用显示装置1A的图。车载用显示装置1A是使显示部18显示由摄像部13拍摄到的图像的电子镜装置，例如被用作室内镜、侧视镜的替代品。
如图2所示，车载用显示装置1A具有控制部11、存储部12、摄像部13、图像输入部14、图像处理部15、图像输出部17、显示部18以及GPS(Global Positioning System：全球定位系统)单元19等。
控制部11具有CPU(Central Processing Unit：中央处理单元)、ROM(Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等(均省略图示)。CPU例如从ROM读出与处理内容相应的程序并在RAM中展开该程序，与所展开的程序协同动作，来集中控制车载用显示装置1A的各块的动作。控制部11作为行驶状态判定部111、色调判别部112以及色差校正部113发挥功能。按照图4的流程图来详细说明这些功能。
存储部12例如是HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等辅助存储装置。存储部12存储地图信息121等。
摄像部13例如被配置于车辆V的后挡风玻璃(参照图3)。摄像部13具有透镜等光学元件以及CCD(charge-coupled device：电荷耦合器件)型图像传感器或CMOS(complementary metal oxide semiconductor：互补金属氧化物半导体)型图像传感器等摄像元件。光学元件使接收到的光在摄像元件中成像。摄像元件将通过光学元件形成的光像转换为电信号(RGB信号)。摄像部13将基于由摄像元件生成的RGB信号的输入图像信号Vin通过无线通信或有线通信发送到图像输入部14。输入图像信号Vin例如是将RGB信号转换为亮度信号Y和两个色差信号Cb、Cr得到的YCbCr信号。
图像输入部14提取来自摄像部13的输入图像信号Vin中包含的图像信息(输入图像信息)，将该图像信息输出到图像处理部15和控制部11。图像输出部17将来自图像处理部15的图像信息转换为RGB形式后将其作为输出图像信号Vout输出。
图像处理部15对输入图像信息进行亮度调整、白平衡调整、锐度调整以及对比度调整等各种校正处理。并且，在本实施方式中，图像处理部15对输入图像进行校正，使得隧道行驶中的摄像图像的色调自然地呈现。此外，与在隧道外行驶的情况相匹配地进行白平衡调整的设定。
显示部18是例如具有显示面板和背光灯(省略图示)的液晶显示器，例如被安装于车室内的前挡风玻璃的上部中央处(参照图3)。显示部18基于来自图像输出部17的输出图像信号Vout来进行图像显示。此外，显示部18也可以应用有机EL(Electroluminescence：电致发光)显示器。
GPS单元19包括基于来自人工卫星的发送电波对本车辆的位置进行检测(测位)的GPS接收机、对本车辆的旋转角速度进行检测的陀螺仪传感器、以及加速度传感器等。
在这种车载用显示装置1A中，在隧道中行驶时，特别是在进入隧道时，光源暗的隧道内图像IMG1与光源明亮的隧道外图像IMG2混在一起(参照图1)。通过白平衡调整，隧道外图像IMG2的色调自然地显示，但是隧道内图像IMG1的色调成为与实际看到的色调不同的显示。在本实施方式中，在隧道行驶中，通过进行与隧道外行驶中的图像处理不同的图像处理(隧道内图像处理)，来使在隧道行驶时拍摄到的图像整体上以自然的色调呈现。此外，隧道内的色调由隧道的光源决定，因此也可以认为是偏橙色、偏黄色或偏绿色中的某一颜色。
图4是示出第一实施方式中的隧道内图像处理的一例的流程图。例如，随着车载用显示装置1A被启动，CPU调用并执行ROM中存储的图像处理程序，由此实现该处理。
在步骤S101中，控制部11判定是否正在隧道内行驶(作为行驶状态判定部111的处理)。当判定为正在隧道内行驶时(在步骤S101中为“是”)，转移到步骤S102的处理。重复进行步骤S101的处理(在步骤S101中为“否”)，直到判定为正在隧道内行驶为止。
具体地说，控制部11在输入图像内的特征量提取区域(例如全部像素)中提取各颜色成分的颜色信息R、G、B(值域：0～255)、亮度Y、色差信息Cb、Cr的平均值、最大值或最小值等特征量。然后，控制部11基于该特征量来判别当前行驶中的场所是隧道内还是隧道外。
在此，使用颜色信息R、G、B通过下面的式(1)来表示亮度Y。蓝色差信息Cb是将根据式(1)导出的B-Y值标准化使得值域收敛在-128～+127的范围内所得到的信息。红色差信息Cr是将根据式(1)导出的R-Y值标准化使得值域收敛在-128～+127的范围内所得到的信息。
Y＝0.2126×R+0.7152×G+0.0722×B···(1)
例如，在隧道外，亮度Y与蓝色成分的颜色信息B(以下称为“蓝色信息B”)相同，在隧道内，蓝色信息B比亮度Y弱，利用这一特点，在特征量提取区域内的蓝色信息B的平均值小于30的情况下，判定为正在隧道内行驶。另外，例如，在特征量提取区域内蓝色信息B小于30的像素为规定数量以上的情况下，判定为正在隧道内行驶。
此外，控制部11也可以基于设置于车辆的照度传感器的检测值、前照灯开关(装饰灯信号)的接通/断开，来判定是否正在隧道内行驶。另外，例如也可以通过将从GPS单元19获取的本车位置信息与地图信息121进行比较，来判定是否正在隧道内行驶。
在步骤S102中，控制部11判别隧道内的光源(照明)偏哪种颜色，即判别摄像图像的色调(作为色调判别部112的处理)。控制部11在输入图像内的特征量提取区域(例如全部像素)中提取各颜色成分的颜色信息R、G、G、亮度Y、色差信息Cb、Cr的平均值、最大值或最小值等特征量，基于该特征量来判别摄像图像的色调。
例如，控制部11针对特征量提取区域内的各像素计算R/G，在其平均值R1/G1满足1.3<R1/G1的情况下，判定为色调偏橙色。在其平均值R1/G1满足1.1<R1/G1≤1.3的情况下，控制部11判定为色调偏黄色，在满足R1/G1≤1.1的情况下，控制部11判定为偏绿色。
另外，例如，控制部11针对特征量提取区域内的各像素计算R/G，在满足1.3<R/G的像素为规定数量以上的情况下，判定为色调偏橙色。在R/G满足1.1<R/G≤1.3的像素为规定数量以上的情况下，控制部11判定为色调偏黄色，在满足R/G≤1.1的像素为规定数量以上的情况下，控制部11判定为色调偏绿色。
并且，控制部11计算特征量提取区域内的红色信息R的平均值R2和绿色信息G的平均值G2，在这些平均值之比R2/G2满足1.3<R2/G2的情况下，控制部11判定为偏橙色。在比R2/G2满足1.1<R2/G2≤1.3的情况下，控制部11判定为色调偏黄色，在满足R2/G2≤1.1的情况下，控制部11判定为偏绿色。
在设置于隧道的照明为低压/高压钠灯的情况下，色调为偏橙色或偏黄色，在设置于隧道的照明为荧光灯、荧光水银灯的情况下，色调为偏绿色。另外，在照明为金属卤化物灯、陶瓷金属卤化物灯的情况下，色调为偏白色。在摄像图像的色调为偏白色的情况下，不需要对色调进行校正。
此时，也可以将摄像图像中的特征量的提取区域设定为除图像中央以外的左右两个区域。由此，可能存在于图像中央的隧道外或后续车辆的图像被从判别对象中排除，主要是隧道内壁成为判别对象，因此能够适当地判别摄像图像的色调。
在步骤S101中判定为正在隧道内行驶之后立即实施步骤S102的处理，但优选的是，以固定周期(例如0.5sec周期)进行色调判别，在连续固定次数得到相同的判别结果的情况下确定色调。由此，能够抑制判别结果的波动。
此外，控制部11也可以直接获取摄像部13的检测信号(受光强度)，并根据该检测信号的平均值来判别摄像图像的色调。另外，例如也可以预先使地图信息121与隧道的照明信息(例如钠灯、荧光灯、荧光水银灯等)相关联。在该情况下，控制部11也可以将从GPS单元19获取的本车位置信息与地图信息121进行比较，来确定行驶中的隧道，基于与确定出的隧道相关联的照明信息来判别摄像图像的色调。
在步骤S103中，控制部11基于在步骤S102中判别出的摄像图像的色调，生成Cb校正曲线和Cr校正曲线来作为用于对色差信息Cb、Cr进行校正的色差校正数据(作为色差校正部113的处理)。
例如，通过使Cb校正曲线的负区域以与特征量提取区域内的各像素的Cb值的绝对值的总和成比例的方式向上凸，来生成用于对蓝色差信息Cb进行校正的蓝色差校正数据(Cb校正曲线)。即，如图5所示，使与Cb校正曲线的负区域的中点(输入Cb值＝-64)对应的输出Cb值以增大(Cb值的绝对值的总和)×α的方式升高，并将其它点平滑地连结，由此生成Cb校正曲线。即，关于Cb校正曲线，不对输入Cb值大于第一阈值(在此为0)的Cb信息进行变换，而对输入Cb值为第一阈值以下的Cb信息以使输出值大于输入值的方式进行变换。
同样地，通过使Cr校正曲线的正区域以与特征量提取区域内的各像素的Cr值的绝对值的总和成比例的方式向下凸，来生成用于对红色差信息Cr进行校正的红色差校正数据(Cr校正曲线)。即，如图6所示，使与Cr校正曲线的正区域的中点(输入Cr值＝+64)对应的输出Cr值以减小(Cr值的绝对值的总和)×β的方式降低，并将其它点平滑地连结，由此生成Cr校正曲线。即，关于Cr校正曲线，不对输入Cr值小于第二阈值(在此为0)的Cr信息进行变换，而对输入Cr值为第二阈值以上的Cr信息以使输出值小于输入值的方式进行变换。
此外，也可以通过使Cb校正曲线的负区域以与特征量提取区域内的各像素的Cb/Y的平均值的绝对值成比例的方式向上凸，来生成Cb校正曲线。同样地，也可以通过使Cr校正曲线的正区域以与特征量提取区域内的各像素的Cr/Y的平均值的绝对值成比例的方式向下凸来生成Cr校正曲线。另外，生成Cb校正曲线时的第一阈值和生成Cr校正曲线时的第二阈值也可以根据判别出的色调而向正方向或负方向变动(参照图12A～图12C)。
在步骤S104中，控制部11对图像处理部15进行控制，来按照在步骤S103中得到的色差校正数据(Cb校正曲线和Cr校正曲线)对输入图像的蓝色差信息Cb和红色差信息Cr进行校正(作为色差校正部113的处理)。在显示部18中显示被施加色差校正而改善了色调的图像。
在步骤S105中，控制部11与步骤S101同样地判定是否正在隧道内行驶(作为行驶状态判定部111的处理)。在判定为没有在隧道内行驶、即已离开隧道的情况下(在步骤S105中为“否”)，一系列的隧道内图像处理结束，转移到步骤S101的处理。在判定为正在隧道内行驶的情况下(在步骤S105中为“是”)，转移到步骤S104的处理。即，按照所生成的色差校正数据来进行色差信息的校正，直到开到隧道外为止。
此外，也可以如图4中用虚线表示的那样，在步骤S105中判定为正在隧道内行驶的情况下，转移到步骤S102的处理，从而能够应对色调的变化。在该情况下，进行色调判别，当色调发生变化时，根据变化后的色调重新生成色差校正数据。例如，能够应对隧道入口附近的色调与隧道内部的色调不同的情况。
在黄色强的表示隧道内的区域中，蓝色差信息Cb为负，红色差信息Cr为正。与此相对，在表示隧道外的区域中，蓝色差信息Cb为0或稍大于0，红色差信息Cr为0或稍小于0。因而，当按照Cb校正曲线和Cr校正曲线对正在隧道内行驶时的摄像图像进行校正时，与表示隧道内的区域对应的像素的蓝色增强，并且红色被抑制，其结果，黄色被抑制。另一方面，不对与表示隧道外的区域对应的像素的色调进行校正。也就是说，只对与表示隧道内的区域对应的像素进行色调的校正。
像这样，第一实施方式所涉及的车载用显示装置1A具有摄像部13、行驶状态判定部111、色调判别部112、色差校正部113以及显示部18。摄像部13拍摄车辆周围的图像。行驶状态判定部111判定车辆是否正在隧道内行驶。在由行驶状态判定部111判定为该车辆正在隧道内行驶的情况下，色调判别部112判别摄像图像的色调。色差校正部113根据色调判别部112的判别结果，来对摄像图像的色差信息进行校正。显示部18显示由色差校正部113校正后的摄像图像。
根据车载用显示装置1A，隧道外图像的色调保持原样，只对隧道内图像的色调进行校正，因此能够使隧道行驶时拍摄到的图像整体上以自然的色调呈现。
[第二实施方式]
图7是示出第二实施方式所涉及的车载用显示装置1B的图。车载用显示装置1B在存储部12预先存储有色差校正数据122这方面与第一实施方式所涉及的车载用显示装置1A(参照图2)不同。其它结构与第一实施方式相同，因此省略说明。
图8A～图8E是示出预先存储于存储部12中的色差校正数据122的一例的图。图8A、图8B是在摄像图像的色调偏橙色的情况下使用的第一色差校正数据(色差校正曲线)。图8C、图8D是在摄像图像的色调偏黄色的情况下使用的第二色差校正数据。图8E是在摄像图像的色调偏绿色的情况下使用的第三色差校正数据。这些色差校正曲线例如预先通过实验来生成。
图9是示出车载用显示装置1B中的隧道内图像处理2的一例的流程图。只对与第一实施方式的流程图(参照图4)不同的处理进行说明。
在步骤S202中，控制部11判别隧道内的光源(照明)偏何种颜色，即判别摄像图像的色调(作为色调判别部112的处理)。关于色调的判别，以与第一实施方式同样的方式进行，被分类为偏橙色、偏黄色、偏绿色以及偏白色中的某一颜色。
在摄像图像偏橙色的情况下，在步骤S203中，控制部11选择第一色差校正数据(参照图8A、图8B，作为色差校正部113的处理)。在摄像图像偏黄色的情况下，在步骤S204中，控制部11选择第二色差校正数据(参照图8C、图8D，作为色差校正部113的处理)。在摄像图像偏绿色的情况下，在步骤S205中，控制部11选择第三色差校正数据(参照图8E，作为色差校正部113的处理)。即，控制部11根据色调判别部112的判别结果来从多个色差校正数据122中选择所应用的色差校正数据122。此外，在摄像图像偏白色的情况下，认为不需要对色差信息进行校正，因此转移到步骤S207的处理。
在步骤S206中，控制部11基于所选择的色差校正数据122来对摄像图像的色差信息进行校正。在判定为没有在隧道内行驶、即已离开隧道的情况下(在步骤S207中为“否”)，一系列的隧道内图像处理结束，转移到步骤S201的处理。在判定为正在隧道内行驶的情况下(在步骤S207中为“是”)，转移到步骤S206的处理。即，按照所选择的色差校正数据122来进行对色差信息的校正，直到开到隧道外为止。
此外，也可以如图9中用虚线表示的那样，在步骤S207中判定为正在隧道内行驶的情况下，转移到步骤S202的处理，从而能够应对色调的变化。
像这样，第二实施方式所涉及的车载用显示装置1B除了具有第一实施方式所涉及的车载用显示装置1A的结构以外，还具有存储部12，该存储部12存储用于对摄像图像的色差信息进行校正的多个色差校正数据122。色差校正部113根据色调判别部112的判别结果来从多个色差校正数据122中选择所应用的色差校正数据122，基于所选择的色差校正数据122来对摄像图像的色差信息进行校正。由此，能够减轻控制部11的处理负担。
[第三实施方式]
图10是示出第三实施方式所涉及的车载用显示装置1C的图。车载用显示装置1C在控制部11作为边界检测部114发挥功能这方面与第一实施方式所涉及的车载用显示装置1A(参照图2)不同。其它结构与第一实施方式相同，因此省略说明。
图11是示出车载用显示装置1C中的隧道内图像处理3的一例的流程图。只对与第一实施方式的流程图(参照图4)不同的处理进行说明。
在步骤S302中，控制部11检测摄像图像中的隧道内外的边界(作为边界检测部114的处理)。应用公知的方法，例如基于亮度信息、边缘信息或色度信息来检测隧道内外的边界。
在步骤S303中，控制部11判别隧道内外的边界附近的固定区域的色调偏何种颜色，即判别摄像图像的色调(作为色调判别部112的处理)。色调的判别以与第一实施方式同样的方式进行。
在步骤S304中，控制部11生成色差校正数据。在生成蓝色差校正数据的情况下，将边界线附近的固定区域内的蓝色差信息Cb设为Cb校正曲线的拐点。边界线附近的蓝色差信息Cb可以是固定区域内的蓝色差信息Cb的平均值，也可以是最大值。
例如，在边界线附近的固定区域内的蓝色差信息Cb为-30的情况下，生成如图12A所示那样的Cb校正曲线。在边界线附近的固定区域内的蓝色差信息Cb为0的情况下，生成如图12B所示那样的Cb校正曲线。在边界线附近的固定区域内的蓝色差信息Cb为+30的情况下，生成如图12C所示那样的Cb校正曲线。红色差校正数据(Cr校正曲线)的生成也以同样的方式进行。
在步骤S305中，控制部11对图像处理部15进行控制，来按照在步骤S304中得到的蓝色差校正数据(Cb校正曲线)和红色差校正数据(Cr校正曲线)对输入图像的蓝色差信息Cb和红色差信息Cr进行校正(作为色差校正部113的处理)。在显示部18中显示被施加色差校正后的图像。
在判定为没有在隧道内行驶、即已离开隧道的情况下(在步骤S306中为“否”)，一系列的隧道内图像处理结束，转移到步骤S301的处理。在判定为正在隧道内行驶的情况下(在步骤S306中为“是”)，转移到步骤S305的处理。即，按照生成的色差校正数据来进行对色差信息的校正，直到开到隧道外为止。
此外，也可以是，在步骤S306中判定为正在隧道内行驶的情况下，预先监视色调的变化，在色调发生了变化时，执行步骤S304以后的处理，从而能够应对色调的变化。例如，在行驶场所移动到隧道内部且在摄像图像中不包含隧道内图像的情况下，认为色调发生变化。在该情况下，由于检测不到隧道内外的边界，因此与第一实施方式同样地进行色调的判别。
像这样，第三实施方式所涉及的车载用显示装置1C除了具有第一实施方式所涉及的车载用显示装置1A的结构以外，还具有用于确定摄像图像中的隧道内外的边界区域的边界检测部114。色调判别部112判别由边界检测部114确定的边界区域的色调。由此，能够对需要进行色调校正的隧道内图像进行更适当的校正。
[第四实施方式]
图13是示出第四实施方式所涉及的车载用显示装置1D的图。车载用显示装置1D在存储部12预先存储有色差校正数据122这方面、以及控制部11作为基准颜色比较部115发挥功能这方面与第一实施方式所涉及的车载用显示装置1A(参照图2)不同。在第四实施方式中，基准颜色比较部115进行相当于色调判别部112的处理。其它结构与第一实施方式相同，因此省略说明。
在第四实施方式中，预先在存储部12中存储有N组色差校正数据122(Cb校正曲线和Cr校正曲线)。另外，预先获取表示太阳光下的白线的颜色信息(红色信息R、蓝色信息B、绿色信息G)来作为基准颜色信息。关于基准颜色信息，可以以规定的时间间隔被更新，也可以设定多次的平均值。另外，基准颜色信息也可以按不同时间段获取，与当前时刻相应地变更成为目标的基准颜色信息。
图14是示出车载用显示装置1D中的隧道内图像处理4的一例的流程图。只对与第一实施方式的流程图(参照图4)不同的处理进行说明。
在步骤S402～S407中，控制部11作为基准颜色比较部115发挥功能。即，在步骤S402中，控制部11对自变量n设定“1”。在步骤S403中，控制部11判别n是否为色差校正数据的总数N以下。在n为N以下的情况下(在步骤S403中为“是”)，转移到步骤S404的处理。在步骤S404中，控制部11应用第n个色差校正数据来对输入图像的色调进行校正。在步骤S405中，控制部11获取色差校正后的白线的颜色信息，将该颜色信息与基准颜色信息进行比较，并将比较结果存储到RAM中。在步骤S406中，控制部将自变量n的值加1。重复进行步骤S403～S406的处理，直到n＝N为止。当在步骤S403中判定为n>N时(在步骤S403中为“否”)，转移到步骤S407的处理。
在步骤S407中，控制部11基于步骤S405的比较结果来决定色差校正数据。具体地说，采用白线的颜色信息最接近基准颜色信息时的色差校正数据，按照该色差校正数据进行色差校正，直到离开隧道为止。基准颜色比较部115并非直接判别摄像图像的色调，但可以说通过与基准颜色信息的比较来判别色调。
在步骤S408中，控制部11基于所决定的色差校正数据122来对摄像图像的色差信息进行校正。在显示部18中显示被施加色差校正后的图像。
当离开隧道时(在步骤S409中为“否”)，一系列的隧道内图像处理结束，转移到步骤S401的处理。按照所生成的色差校正数据进行对色差信息的校正，直到开到隧道外为止。此外，也可以是，在步骤S409中判定为正在隧道内行驶的情况下，预先监视色调的变化，在色调发生了变化时，执行步骤S402以后的处理，从而能够应对色调的变化。
此外，在第四实施方式中，准备了N个色差校正数据，但也可以通过使Cb校正曲线和Cr校正曲线一点点地变化直到白线的颜色信息与成为目标的基准颜色信息一致为止，来决定色差校正中应用的色差校正数据。
以上，基于实施方式来具体地说明了由本发明的发明人完成的发明，但本发明不限定于上述实施方式，能够在不脱离其主旨的范围内进行变更。
例如，在上述实施方式中，也可以是，预先将色差校正中应用的色差校正数据存储到存储部12中，在下一次在同一隧道中行驶时，应用该存储的色差校正数据。另外，当在不同的隧道中行驶时，还能够作为候选之一来使用。
另外，例如，关于色差校正中应用的色差校正数据，也可以使使用者的喜好优先，使用者能够从多个色差校正数据中预先选定。并且，也可以根据隧道内的行驶场所(隧道出入口附近、隧道中央附近等)来切换在色差校正中应用的色差校正数据。
另外，也可以在实施色差校正之后，通过进行伽玛校正来进行微调整。并且，也可以在进行色差校正和伽玛校正的同时，调整颜色增益。
应当认为，此次公开的实施方式在所有方面都是例示，而并非限制性的。本发明的范围并不是通过上述的说明来表示，而是通过权利要求书来表示，意图包括与权利要求等同的意思和范围内的所有变更。
产业上的可利用性
本发明适用于电子镜装置等车载用显示装置。
附图标记说明
1A～1D：车载用显示装置；11：控制部；111：行驶状态判定部；112：色调判别部；113：色差校正部；114：边界检测部；115：基准颜色比较部；12：存储部；121：地图信息；122：色差校正数据；13：摄像部；14：图像输入部；15：图像处理部；17：图像输出部；18：显示部；19：GPS单元；IMG1：隧道内图像；IMG2：隧道外图像；V：车辆；Vin：输入图像信号；Vout：输出图像信号。

Claims (6)

1.一种车载用显示装置，具备：
摄像部，其拍摄车辆周围的图像；
行驶状态判定部，其判定车辆是否正在隧道内行驶；
色调判别部，在由所述行驶状态判定部判定为该车辆正在隧道内行驶的情况下，所述色调判别部判别所述图像的色调；
色差校正部，其根据所述色调判别部的判别结果，来对所述图像的色差信息进行校正；以及
显示部，其显示由所述色差校正部校正后的所述图像。
2.根据权利要求1所述的车载用显示装置，其特征在于，
还具备边界检测部，该边界检测部确定所述图像中的隧道内外的边界区域，
所述色调判别部判别由所述边界检测部确定的所述边界区域的色调。
3.根据权利要求1或2所述的车载用显示装置，其特征在于，
所述色差校正部生成用于根据所述色调判别部的判别结果来对所述图像的色差信息进行校正的至少一个色差校正数据，基于生成的所述至少一个色差校正数据来对所述图像的色差信息进行校正。
4.根据权利要求1或2所述的车载用显示装置，其特征在于，
还具备存储部，所述存储部存储用于对所述图像的色差信息进行校正的至少一个色差校正数据，
所述色差校正部根据所述色调判别部的判别结果，来从所述至少一个色差校正数据中选择所应用的色差校正数据，基于所述所应用的色差校正数据来对所述图像的色差信息进行校正。
5.根据权利要求3或4所述的车载用显示装置，其特征在于，
所述至少一个色差校正数据包含用于对蓝色差信息进行校正的蓝色差校正数据，
所述蓝色差校正数据是用于以以下方式进行校正的数据：不对输入蓝色差值大于第一阈值的所述蓝色差信息进行变换，而对所述输入蓝色差值为所述第一阈值以下的所述蓝色差信息以使输出值大于输入值的方式进行变换。
6.根据权利要求3至5中的任一项所述的车载用显示装置，其特征在于，
所述至少一个色差校正数据包含用于对红色差信息进行校正的红色差校正数据，
所述红色差校正数据是用于以以下方式进行校正的数据：不对输入红色差值小于第二阈值的所述红色差信息进行变换，而对所述输入红色差值为所述第二阈值以上的所述红色差信息以使输出值小于输入值的方式进行变换。
CN201780019668.2A 2016-03-31 2017-01-25 车载用显示装置 Active CN108886603B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-072297 2016-03-31
JP2016072297A JP6706792B2 (ja) 2016-03-31 2016-03-31 車載用表示装置
PCT/JP2017/002437 WO2017169024A1 (ja) 2016-03-31 2017-01-25 車載用表示装置

Publications (2)

Publication Number Publication Date
CN108886603A true CN108886603A (zh) 2018-11-23
CN108886603B CN108886603B (zh) 2020-09-15

Family

ID=59962997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019668.2A Active CN108886603B (zh) 2016-03-31 2017-01-25 车载用显示装置

Country Status (5)

Country Link
US (1) US10531057B2 (zh)
JP (1) JP6706792B2 (zh)
CN (1) CN108886603B (zh)
DE (1) DE112017001789T5 (zh)
WO (1) WO2017169024A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449153A (zh) * 2019-09-04 2021-03-05 通用汽车环球科技运作有限责任公司 用于视觉传感器检测的系统和方法
CN114074613A (zh) * 2020-08-20 2022-02-22 丰田自动车株式会社 驾驶员辅助系统、驾驶员辅助方法以及非瞬时性存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620698B1 (ko) * 2018-12-21 2024-01-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP7361482B2 (ja) * 2019-03-27 2023-10-16 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法
JP7427423B2 (ja) * 2019-10-30 2024-02-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7408408B2 (ja) * 2020-01-22 2024-01-05 アルパイン株式会社 表示システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101385333A (zh) * 2005-12-27 2009-03-11 京瓷株式会社 图像信号处理方法以及图像信号处理设备
DE102006005443B4 (de) * 2005-07-28 2011-07-28 Fujitsu Ltd., Kanagawa Verfahren und Vorrichtung zur Beurteilung von Streckentypen
JP2011254311A (ja) * 2010-06-02 2011-12-15 Aisin Seiki Co Ltd 車両周辺画像処理装置
CN104038702A (zh) * 2013-03-06 2014-09-10 佳能株式会社 摄像设备及其控制方法
CN104780322A (zh) * 2014-01-14 2015-07-15 株式会社理光 摄像装置、摄像方法、图像处理装置
JP2015177371A (ja) * 2014-03-14 2015-10-05 株式会社東芝 監視装置
US20150326840A1 (en) * 2012-08-31 2015-11-12 Clarion Co., Ltd. On-Vehicle Image Capture Device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2003223636A (ja) * 2002-01-30 2003-08-08 Fuji Photo Film Co Ltd 画像処理装置
JP2005341243A (ja) * 2004-05-27 2005-12-08 Olympus Corp 撮像装置
JP4802769B2 (ja) 2006-03-07 2011-10-26 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4847184B2 (ja) * 2006-04-06 2011-12-28 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP5716944B2 (ja) 2009-06-25 2015-05-13 アイシン精機株式会社 車載カメラ装置
JP5272041B2 (ja) * 2011-05-12 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法
DE102011113077A1 (de) * 2011-09-07 2013-03-07 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer 3D-Kamera
JP6354578B2 (ja) * 2014-12-26 2018-07-11 株式会社Ｊｖｃケンウッド 撮像システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006005443B4 (de) * 2005-07-28 2011-07-28 Fujitsu Ltd., Kanagawa Verfahren und Vorrichtung zur Beurteilung von Streckentypen
CN101385333A (zh) * 2005-12-27 2009-03-11 京瓷株式会社 图像信号处理方法以及图像信号处理设备
JP2011254311A (ja) * 2010-06-02 2011-12-15 Aisin Seiki Co Ltd 車両周辺画像処理装置
US20150326840A1 (en) * 2012-08-31 2015-11-12 Clarion Co., Ltd. On-Vehicle Image Capture Device
CN104038702A (zh) * 2013-03-06 2014-09-10 佳能株式会社 摄像设备及其控制方法
CN104780322A (zh) * 2014-01-14 2015-07-15 株式会社理光 摄像装置、摄像方法、图像处理装置
JP2015177371A (ja) * 2014-03-14 2015-10-05 株式会社東芝 監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449153A (zh) * 2019-09-04 2021-03-05 通用汽车环球科技运作有限责任公司 用于视觉传感器检测的系统和方法
CN114074613A (zh) * 2020-08-20 2022-02-22 丰田自动车株式会社 驾驶员辅助系统、驾驶员辅助方法以及非瞬时性存储介质
CN114074613B (zh) * 2020-08-20 2024-03-12 丰田自动车株式会社 驾驶员辅助系统、驾驶员辅助方法以及非瞬时性存储介质

Also Published As

Publication number Publication date
JP6706792B2 (ja) 2020-06-10
CN108886603B (zh) 2020-09-15
WO2017169024A1 (ja) 2017-10-05
US20190110035A1 (en) 2019-04-11
JP2017184152A (ja) 2017-10-05
US10531057B2 (en) 2020-01-07
DE112017001789T5 (de) 2018-12-13

Similar Documents

Publication Publication Date Title
CN108886603A (zh) 车载用显示装置
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
US20140085473A1 (en) In-vehicle camera apparatus
US11386867B2 (en) In-vehicle display control device
JP2009177250A (ja) 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
CN102341273A (zh) 障碍检测装置、具有该障碍检测装置的障碍检测系统、以及障碍检测方法
CN101151886A (zh) 图像显示装置及图像显示方法
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
JP4399174B2 (ja) 自動車のディスプレイユニット、自動車の夜間視認装置および自動車の赤外線夜間視認装置を備えた車両
JP2003032669A (ja) 車載用画像処理カメラ装置
CN108650495A (zh) 一种车用全景环视系统及其自适应补光方法
JP2016196233A (ja) 車両用道路標識認識装置
KR20180001869A (ko) Avm 시스템의 영상 개선 장치 및 그 방법
JP2014015127A (ja) 情報表示装置、情報表示方法およびプログラム
KR102333707B1 (ko) 저조도 이미징 시스템
US10769762B2 (en) Motor vehicle camera device with histogram spreading
CN104780322B (zh) 摄像装置、摄像方法、图像处理装置
US20210065604A1 (en) Information display method and information display system
CN113421195B (zh) 一种图像处理方法、装置及设备
WO2017203794A1 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
CN114208161B (zh) 图像处理装置和图像处理方法
CN113574851B (zh) 摄像装置以及图像处理方法
WO2022215234A1 (ja) 画像処理装置および画像処理方法
CN103873783B (zh) 用于在车辆屏幕上输出至少两个图像的方法和控制设备
CN108492757B (zh) 投射显示装置的驱动方法、驱动单元及投射显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240401

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan