CN111355880B - 半导体器件、图像处理系统和方法及计算机可读存储介质 - Google Patents

半导体器件、图像处理系统和方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111355880B
CN111355880B CN201911147552.4A CN201911147552A CN111355880B CN 111355880 B CN111355880 B CN 111355880B CN 201911147552 A CN201911147552 A CN 201911147552A CN 111355880 B CN111355880 B CN 111355880B
Authority
CN
China
Prior art keywords
image data
captured image
time
region
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911147552.4A
Other languages
English (en)
Other versions
CN111355880A (zh
Inventor
川口裕史
高桥明秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN111355880A publication Critical patent/CN111355880A/zh
Application granted granted Critical
Publication of CN111355880B publication Critical patent/CN111355880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及半导体器件、图像处理系统和方法及计算机可读存储介质。一种半导体器件包括：图像数据获取电路，图像数据获取电路在第一时间和第二时间获取多个第一捕获图像数据和多个第二捕获图像数据；调节区域确定电路，调节区域确定电路从多个第一捕获图像数据中检测目标对象，并且通过估计第二时间的目标对象的位置来确定调节区域；颜色调节电路，被配置为基于调节区域，确定颜色调节增益，并且基于颜色调节增益，对多个第二捕获图像数据执行颜色平衡调节处理；以及图像合成电路，被配置为合成多个第二捕获图像数据，使得多个第二捕获图像数据的多个图像中包括的重叠区域彼此重叠。

Description

半导体器件、图像处理系统和方法及计算机可读存储介质
相关申请的交叉引用
于2018年12月21日提交的日本专利申请No.2018-239592的公开内容(包括说明书、附图和摘要)通过引用整体合并于此。
技术领域
本公开涉及一种半导体器件、一种图像处理方法和一种计算机可读存储介质。
背景技术
用于通过多个相机同时捕获单个场景的图像、并且通过执行合成或几何变换来显示捕获图像的图像处理技术已经普及。在汽车中，使驾驶员通过使用这种技术容易地识别汽车周围的系统正在普及。这种图像处理技术的一个示例是环绕视图系统。环绕视图系统显示例如作为从正上方观看的由驾驶员操作的汽车周围的360度风景的二维图像的环绕视图。查看环绕视图可以使驾驶员直观地识别存在于汽车周围的对象。因此，环绕视图系统作为有助于改善汽车安全性的技术而迅速普及。
顺便提及，在多个相机同时捕获周围场景的图像的情况下，对于由相机捕获的图像的每个图像捕获区域，照明的颜色可以不同。此外，每个相机具有对捕获图像执行颜色平衡处理的功能。也就是说，每个相机可以使用与另一相机不同的颜色平衡来处理捕获图像。因此，当合成由多个相机捕获的图像时，需要一种用于合成经过不同颜色平衡处理的多个图像而没有不适感的技术。
例如，日本未审查专利申请公开No.2008-079248中的合成视频显示设备，其通过对合成视频中的重叠的拍摄像素的像素值进行统计，计算第一统计值和第二统计值，并且通过将第一统计值和第二统计值的平均值除以第一统计值来计算目标增益。然后，合成视频显示设备将用于从图像调节处理的调节增益从1改变为目标增益，该调节增益从拍摄像素到重叠拍摄像素被执行，该拍摄像素与已经拍摄作为图像调节目标的视频的拍摄设备的光轴相对应。
发明内容
然而，在日本未审查专利申请公开No.2008-079248中描述的技术中，基于与拍摄设备的光轴相对应的拍摄像素来执行颜色平衡处理。为此，随着距拍摄设备的光轴的距离的增加，在日本未审查专利申请公开No.2008-079248中描述的技术可能不能执行适当的颜色平衡处理。因此，例如，当驾驶员要注意的对象在汽车周围相对移动时，在日本未审查专利申请公开No.2008-079248中描述的技术不能动态地执行适合于该对象的图像的颜色平衡处理。
根据本说明书的描述和附图，其他目的和新特征将变得很清楚。
根据一个实施例的一种半导体器件包括图像数据获取电路，图像数据获取电路分别在第一时间和第二时间获取多个捕获图像数据，多个捕获图像数据通过捕获多个图像而获取，第二时间是在第一时间之后的时间。在第一时间获取的多个捕获图像数据是多个第一捕获图像数据。在第二时间获取的多个捕获图像数据是多个第二捕获图像数据。每个图像在自身图像的图像捕获区域中包括重叠区域。重叠区域是图像的图像捕获区域彼此重叠的区域。半导体器件还包括：调节区域确定电路，调节区域确定电路从多个第一捕获图像数据中检测作为预先被设置为要识别的对象的目标对象，并且基于从第一时间之前的时间到第一时间的目标对象的位置的变化，通过估计第二时间的目标对象的位置来确定调节区域；颜色调节电路，颜色调节电路基于多个第一捕获图像数据的调节区域确定颜色调节增益，并且基于颜色调节增益，对多个第二捕获图像数据执行颜色平衡调节处理；以及图像合成电路，图像合成电路合成多个第二捕获图像数据，使得多个第二捕获图像数据中的多个图像中包括的重叠区域彼此重叠，以生成合成图像的图像数据。
根据另一实施例的一种图像处理方法包括：分别在第一时间和第二时间获取通过捕获多个图像而获取的多个捕获图像数据，第二时间是在第一时间之后的时间。在第一时间获取的多个捕获图像数据是多个第一捕获图像数据。在第二时间获取的多个捕获图像数据是多个第二捕获图像数据。每个图像在自身图像的图像捕获区域中包括重叠区域。重叠区域是图像的图像捕获区域彼此重叠的区域。该图像处理方法还包括：从多个第一捕获图像数据中检测作为预先被设置为要识别的对象的目标对象，基于从第一时间之前的时间到第一时间的目标对象的位置的变化，通过估计第二时间的目标对象的位置来确定调节区域，基于多个第一捕获图像数据的调节区域确定颜色调节增益，基于颜色调节增益对多个第二捕获图像数据执行颜色平衡调节处理，以及合成多个第二捕获图像数据，使得多个第二捕获图像数据中的多个图像中包括的重叠区域彼此重叠，以生成合成图像的图像数据。
根据一个实施例，可以提供一种抑制对象的可视性的劣化的半导体器件等。
附图说明
图1是根据第一实施例的配备有图像处理系统的汽车的概述；
图2是根据第一实施例的图像处理系统的示意性配置图；
图3是根据第一实施例的半导体器件的功能框图；
图4是示出根据第一实施例的半导体器件的处理的流程图；
图5是示出由图像处理系统的相机捕获的图像捕获区域的示例的图；
图6是示出由前部相机生成的图像数据的示例的图；
图7是示出由左侧相机生成的图像数据的示例的图；
图8是示出在由半导体器件执行的匹配增益的计算时的一系列处理的流程图；
图9是示出其中重叠区域中的处理区域不完全重叠的示例的图；
图10是示出半导体器件的处理时间的示例的图；
图11是其中另一汽车在其上安装有图像处理系统的汽车附近行驶的图；
图12是其中另一汽车在其上安装有图像处理系统的汽车附近行驶的图；
图13是其中另一汽车在其上安装有图像处理系统的汽车附近行驶的图；
图14是示出确定调节区域的处理的流程图；
图15是示出目标对象的优先级的示例的图；
图16是示出根据第一实施例的对图像执行几何变换处理的示例的图；
图17是示意性地示出根据第一实施例的执行用于合成图像的处理的示例的图；
图18是示出目标对象的优先级改变的情况的示例的图；
图19是用于说明由重新调节单元计算的重新调节增益的示例的图；
图20是根据第一实施例的修改的汽车的概述；
图21是根据第一实施例的第二修改的图像处理系统的示意性配置图；
图22是根据第二实施例的图像处理系统的示意性配置图；
图23是根据第二实施例的半导体器件的功能框图；以及
图24是示出根据第二实施例的半导体器件中的对象选择处理的示例的流程图。
具体实施方式
为了描述的清楚，适当地省略和简化了以下描述和附图。另外，在附图中被示出为用于执行各种类型的处理的功能块的每个元件能够由在硬件中的中央处理单元(CPU)、存储器和其他电路来配置，并且由加载到存储器等软件中的程序等来实现。因此，本领域技术人员将理解，这些功能块能够通过仅硬件，仅软件或硬件和软件的组合以各种形式来实现/实施，并且不限于它们中的任何一个。因此，在下面的描述中，示出为电路的配置可以由硬件或软件或两者来实现，并且示出为用于实现某种功能的电路的配置也可以示出为用于实现类似功能的软件的一部分。例如，描述为控制电路的配置可以描述为控制单元。顺便提及，在相应附图中，相同的标号被分配给相同的元素，并且根据需要省略其重复描述。
第一实施例
参考图1和2，将描述第一实施例的配置的概述。图1是根据第一实施例的配备有图像处理系统的汽车的概述。图像处理系统10安装在图中所示的汽车1上。该图是汽车1的俯视图。图的上侧是汽车1的前侧。图的左侧是汽车1的左侧。图的下侧是汽车1的后侧。图的右侧是汽车1的右侧。
图2是根据第一实施例的图像处理系统的示意性配置图。图2示意性地示出了安装在汽车1上的图像处理系统10的主要硬件配置。在下文中，将参考图1和2描述图像处理系统10的每种配置。
图像处理系统10是用于以下操作的系统：捕获汽车1的周围的图像，对捕获图像数据执行预定处理，并且将处理后的图像显示给驾驶员等。图像处理系统10包括相机11F、相机11L、相机11B、相机11R、显示设备12和半导体器件100，作为图像处理系统10的主要部件。
相机11F、相机11L、相机11B和相机11R分别是用于捕获汽车1周围的风景的成像设备。这四个相机中的每个包括透镜、用于将图像转换为电信号的图像元件、用于从由图像元件生成的电信号生成图像数据的图像信号处理器(ISP)等。ISP是用于相对于由图像元件生成的电信号适当地调节针对每个像素的图像质量的图像信号处理设备。利用这种配置，每个相机根据预设算法自动调节颜色平衡等，并且输出调节后的图像数据。也就是说，难以识别在室内特殊照明环境下或在日落时拍摄的对象。另一方面，ISP具有通过执行算法来改变针对每个像素的R(红)、G(绿)和B(蓝)中的每个的信号电平的功能，因此可以像由自然光(白光)拍摄的对象一样轻松地识别对象。
此外，四个相机处理图像数据以符合预定文件格式。预定文件格式是例如可交换图像文件格式(Exif)。被处理以符合Exif的图像数据包括诸如捕获日期和时间、相机型号、光圈值、像素数以及颜色调节增益等信息、以及捕获图像数据。由ISP执行的颜色调节处理也称为初始颜色调节处理、自动白平衡(AWB)处理或颜色平衡处理。符合Exif的图像数据被配置为使得能够基于这样的信息来执行数据管理、设备之间的数据交换、以最佳设置进行的数据输出等。此外，这四个相机中的每个连接到半导体器件100，并且将所生成的图像数据提供给半导体器件100。
在四个相机中，相机11F安装在汽车1的前侧以便捕获汽车1的前部的图像。类似地，相机11L安装在汽车1的左侧以便捕获汽车1的左侧的图像。类似地，相机11B安装在汽车1的后侧以便捕获汽车1的后部的图像，并且相机11R安装在汽车1的右侧以便捕获汽车1的右侧的图像。
注意，四个相机中的每个包括重叠图像捕获区域。由于捕获汽车1的前部的图像的相机11F和捕获汽车1的左侧的图像的相机11L均捕获汽车1的左前部的图像，因此，在汽车1的左前部中，相机11F和相机11L的图像捕获区域彼此重叠。类似地，在汽车1的左后部中，相机11L的图像捕获区域和相机11B的图像捕获区域彼此重叠。类似地，在汽车1的右后部中，相机11B的图像捕获区域和相机11R的图像捕获区域彼此重叠，并且在汽车1的右前部中，相机11R的图像捕获区域和相机11F的图像捕获区域彼此重叠。如上所述，由于四个相机每个包括重叠区域，因此图像处理触发系统10不间断地捕获汽车1的前部、后部、左侧和右侧的图像。
半导体器件100从四个相机获取图像数据，对所获取的图像数据执行预定处理，并且将处理后的图像数据输出到显示设备12。半导体器件100由包括CPU、存储器等在内的电组件配置，并且安装在汽车1的任何位置。半导体器件100包括图像数据获取接口(IF)110、处理器120、内部存储器130和图像数据输出IF 140，作为半导体器件100的主要部件。半导体器件100的每个组件通过内部总线彼此连接。
图像数据获取IF 110是用于从上述四个相机获取图像数据的接口。当图像数据获取IF 110从相机获取图像数据时，图像数据获取IF 110将获取的图像数据提供给处理器120或内部存储器130。
处理器120是用于与内部存储器130协作对从相机获取的图像数据执行预定处理的算术单元。作为主要功能，处理器120基于在预定时间获取的图像数据，指定作为预先被设置为要识别的对象的目标对象，并且基于目标对象的位置变化，通过估计目标对象的位置来确定调节区域。另外，处理器120基于图像数据中的调节区域来确定用于调节颜色平衡的颜色调节增益，并且基于颜色调节增益对图像数据执行颜色调节处理。此外，处理器120合成由四个相机捕获的图像的图像数据，使得重叠部分彼此重叠以生成合成图像。
内部存储器130是用于与处理器120协作来临时存储图像数据、并且存储用于预先指定对象的目标对象信息的存储单元。内部存储器130由易失性存储器(诸如动态随机存取存储器(DRAM)或同步动态随机存取存储器(SDRAM))、非易失性存储器(诸如闪存)或其组合来配置。图像数据输出IF 140是用于将由处理器生成的处理后的图像数据输出到显示设备的接口。
显示设备12是用于显示从半导体器件100接收的图像数据的设备，并且包括图像数据输入电路、显示单元、显示驱动器等。显示单元由例如液晶面板、有机电致发光(EL)面板、平视显示器(HUD)等配置。例如，显示设备12安装在例如驾驶员容易看到的仪表板、中央仪表盘等上。
接下来，将描述半导体器件100的功能和由半导体器件100执行的处理。图3是根据第一实施例的半导体器件的功能框图。半导体器件100包括图像数据获取单元101、估计源图像生成单元102、调节区域确定单元103、重新调节单元104、几何变换单元105、图像合成单元106、输出单元107和存储单元108，作为半导体器件100的主要功能块。
图4是示出根据第一实施例的半导体器件的处理的流程图。半导体器件100通过图3所示的功能块来实现图4的处理。下面将参考图3的功能块来描述图4的处理。
首先，图像数据获取单元101从上述四个相机获取图像数据(步骤S10)。由图像数据获取单元101获取的图像数据具有符合Exif的文件格式。图像数据包括例如由联合图像专家组(JPEG)格式的多个像素组成的图像。多个像素中的每个像素具有R、G和B的三个信号电平。此外，图像数据包括诸如AWB增益的信息。图像数据获取单元101将获取的图像数据提供给估计源图像生成单元102。
图像数据获取单元101在每个预设时段连续地从四个相机获取图像数据。预设时段例如是1/30秒(换言之，频率为30Hz)或1/60秒(换言之，频率为60Hz)。在以这种方式从相机获取图像数据的情况下，将图像数据的一次获取也称为一帧。例如，当每1/30秒获取图像数据时，图像数据获取单元101以30Hz的帧频获取图像数据。图像数据获取单元101从全部四个相机获取由每个相机每一帧一次捕获的图像数据。
在此，将描述用于导出图像数据中包括的AWB增益的示例。相机的ISP从图像元素接收由多个像素组成的图像。图像中包括的多个像素中的每个像素具有R、G和B的三个信号电平。每个信号电平由8位灰度(0-255)表示。在此，图像的R的一组信号电平由R0表示。类似地，图像的G的一组信号电平由G0表示，并且图像的信号B的一组信号电平由B0表示。当相机的ISP从图像拾取设备接收图像时，ISP从图像的中央部分提取无彩色区域。在本公开中，术语“无彩色”是指其中RGB的每个信号电平的最大值与最小值之间的差值小于预设值的颜色。例如，本公开中的无彩色可以是其中RGB的每个信号电平的最大值与最小值之间的差值小于10的颜色。在此，由ISP提取的无彩色区域中的R的一组信号电平定义为C_R0。类似地，无彩色区域中的G的一组信号电平定义为C_G0，并且无彩色区域中的B的一组信号电平定义为C_B0。自然地，所提取的无彩色区域的多个像素被包括在构成图像的多个像素中。相机的ISP确定AWB增益以调节颜色平衡，使得该无彩色区域接近白色。在本公开中，“白色”表示其中R、G和B的信号电平之间的差值基本上为0的颜色。具体地，ISP确定将AWB增益(参数)α、γ和β乘以C_R0、C_G0和C_B0的积分值，使得以下等式中的相应积分值相等。
[等式1]
∝∫图像的中央C_R0＝Y∫图像的中央C_G0＝β∫图像的中央C_B0
ISP将以这种方式确定的每个AWB增益(参数)α、γ和β乘以整个图像的像素的信号电平R、G和B中的每个。结果，将图像的R的一组信号电平改变为R1，将图像的G的一组信号电平改变为G1，并且将图像的B的一组信号电平改变为B1。并且，生成包括R1、G1和B1的图像。该图像是被包括在上述图像数据中的图像。
[等式2]
Figure BDA0002282635540000091
应当注意，最后，通常由诸如显示器或打印机等输出设备的颜色设置来确定要显示的颜色。以这种方式，ISP生成像素信号，其中从图像元素接收的像素信号的颜色平衡被调节。然后，ISP输出通过向所生成的像素信号添加与Exif相对应的各种类型的信息而获取的图像数据。
以上处理是普通相机中的AWB处理的示例。在本公开的四个相机中，执行相同的处理。也就是说，四个相机中的每个执行AWB处理。因此，由四个相机确定的AWB增益的值不必相同。
接下来，将参考图5描述图像的图像捕获区域。图5是示出由图像处理系统中包括的相机成像的成像区域的示例的图。安装在汽车1的前侧中的相机11F被设置为在图像捕获区域300F中捕获图像。类似地，安装在汽车1的左侧的相机11L被设置为在图像捕获区域300L中捕获图像，安装在后侧的相机11B被设置为在图像捕获区域300B中捕获图像，并且安装在右侧的相机11R被设置为在图像捕获区域300R中捕获图像。
此外，重叠区域300FL是相机11F的图像捕获区域300F和相机11L的图像捕获区域300L重叠的区域。类似地，重叠区域300LB是相机11L的图像捕获区域300L和相机11B的图像捕获区域300B重叠的区域。类似地，重叠区域300BR是相机11B的图像捕获区域300B和相机11R的图像捕获区域300R重叠的区域。重叠区域300RF是相机11R的图像捕获区域300R和相机11F的图像捕获区域300F重叠的区域。
如上所述，由四个相机捕获的图像可以包括重叠区域，而四个相机可以确定不同的AWB增益。因此，例如，当由用于捕获正面图像的相机11F和用于捕获左侧图像的相机11L确定的AWB增益彼此不同时，图像捕获区域300F中包括的重叠区域300FL的颜色平衡和图像捕获区域300L中包括的重叠区域300FL的颜色平衡彼此不同。
接下来，半导体器件100获取每个图像数据的区域信息(步骤S11)。区域信息是用于定义从具有预先设置的多个像素的区域中的每个相机获取的图像数据中包括的像素信号的信息。例如，区域信息包括例如关于要获取的图像数据的视角和重叠区域的信息，并且被预先存储在内部存储器130中。因此，例如，半导体器件100将预先存储的区域信息与从相机11F获取的图像数据进行比较，从而在预设区域中定义图像数据中包括的像素信号。
将参考图6和7描述区域信息。图6是示出由前部相机(相机11F)生成的图像数据的示例的图。图中所示的图像数据301F是由相机11F捕获图像捕获区域300F的图像而生成的。在图像数据301F中，由于相机11F的广角镜头的像差的影响而产生桶形失真。在本实施例中，图像数据以桶形失真的形式示出，但是从相机提供的图像数据通常是矩形的。在此，为了容易理解，提取和描述了矩形图像数据中在稍后描述的显示区域中使用的部分的图像数据。
图像数据301F沿着桶形失真被分成格子形区域。在本实施例中，从图像的左上方开始将图像数据301F在水平方向上划分为32块并且在竖直方向上划分为12块。下文中将每个划分得到的区域称为处理区域。也就是说，图像数据301F划分为384(＝32×12)个处理区域。在此，为了便于说明，图像数据301F在水平方向上被赋予从FC1至FC32的编号，并且在竖直方向上被赋予从FR1至FR12的编号。例如，图像数据301F的左上部被指示为处理区域(FC1，FR1)。
在图中用粗框表示的重叠区域301FL是与图5所示的重叠区域300FL相对应的区域。重叠区域301FL占据从处理区域(FC1，FR1)到处理区域(FC12，FR12)的范围。类似地，在图中用粗框表示的重叠区域301RF是与图5所示的重叠区域300RF相对应的区域。重叠区域301RF占据从处理区域(FC21，FR1)到处理区域(FC32，FR12)的范围。
图7是示出由左侧相机(相机11L)生成的图像数据的示例的图。图中所示的图像数据301L是由相机11L捕获图像捕获区域300L的图像而生成的。注意，图7所示的图像数据也被划分为具有多个像素的处理区域，如在图6的描述中，并且在水平方向和竖直方向上的相应区域被赋予编号以便能够指示相应区域。也就是说，图像数据301L在水平方向上划分为12个，并且在竖直方向上划分为48个，并且划分为576(＝12×48)个处理区域。图像数据301L的左上部表示为处理区域(LC1，LR1)，并且图像数据301L的右下部表示为处理区域(LC12，LR48)。
在图中用粗框表示的重叠区域301LF是与图5所示的重叠区域300FL相对应的区域。重叠区域301LF占据从处理区域(LC1，LR1)到处理区域(LC12，LR12)的范围。类似地，在图中用粗框表示的重叠区域301LB是与图5所示的重叠区域300LB相对应的区域。重叠区域301LB占据从处理区域(LC1，LR37)到处理区域(LC12，LR48)的范围。
接下来，将描述重叠区域之间的对应关系。图6所示的图像数据301F的重叠区域301FL与图7所示的图像数据301L的重叠区域301LF具有对应关系。更具体地，图像数据301F的处理区域(FC1，FR1)对应于图像数据301L的处理区域(LC1，LR1)，并且是通过捕获共享区域的图像而获取的图像数据。类似地，图像数据301F的处理区域(FC12，FR1)对应于图像数据301L的处理区域(LC12，LR1)。类似地，图像数据301F的处理区域(FC1，FR12)对应于图像数据301L的处理区域(LC1，LR12)。图像数据301F的处理区域(FC12，FR12)对应于图像数据301L的处理区域(LC12，LR12)。
区域信息包括能够定义上述每个图像数据的处理区域和重叠区域的信息。因此，半导体器件100获取区域信息，定义每个图像数据的处理区域和重叠区域，并且确定重叠区域之间的对应关系。
接下来，估计源图像生成单元102根据以下步骤执行针对每个接收的图像数据生成估计源图像数据的处理。估计源图像生成单元102确定所接收的图像数据中是否包括AWB增益值(步骤S12)。在此，术语“AWB增益值”表示AWB增益的特定值，并且不包括诸如“自动”等信息。
当关于AWB增益的信息未包括在图像数据中时(步骤S12中为“否”)，估计源图像生成单元102计算匹配增益(步骤S13)。通过计算匹配增益并且使用所计算的匹配增益，半导体器件100可以消除由ISP对图像数据执行的初始颜色调节处理的影响。
将参考图8描述步骤S13中的处理的细节。图8是示出在由半导体器件执行的匹配增益的计算时的一系列处理的流程图。下面以任意图像的图像数据为例来说明计算匹配增益时的一系列处理。在此处描述的示例中，在进行处理的同时，图像数据的水平方向上的处理区域的坐标从0到Hmax依次递增，并且图像数据的竖直方向上的处理区域的坐标从0到Vmax依次递增。
首先，估计源图像生成单元102确定给定处理区域的水平方向上的坐标是否小于Hmax+1(步骤S130)。当确定处理区域的水平方向上的坐标小于Hmax+1时(步骤S130中为“是”)，估计源图像生成单元102确定竖直方向上的坐标是否小于Vmax+1(步骤S131)。当竖直方向上的坐标小于Vmax+1时(步骤S131中为“是”)，估计源图像生成单元102确定处理区域是否被包括在重叠区域中(步骤S132)。当确定处理区域被包括在重叠区域中时(步骤S132中为“是”)，估计源图像生成单元102获取与处理区域(m，n)相对应的另一图像数据中的与处理区域(s，t)的R、G和B中的每个的信号电平相关的数据(步骤S133)。例如，此处处理的与处理区域(m，n)中的R、G和B中的每个的信号电平以及处理区域(s，t)中的R、G和B中的每个的信号电平相关的数据，是通过对具有用于R、G和B中的每个的多个像素的处理区域中的特定像素的信号电平求平均而获取的值。特定像素是具有无彩色并且亮度值高于预设值的像素。此外，预设值是例如256个灰度中的200个或更多个。另外，当在每个处理区域中没有足够的特定像素时(例如，5％或更多)，则认为没有充分获取用于估计原始光源的信息，并且在该处理区域中没有计算出稍后将描述的匹配增益。
接下来，估计源图像生成单元102从与用于上述处理区域(m，n)的R、G和B中的每个的信号电平相关的数据、以及与用于处理区域(s，t)的R、G和B中的每个的信号电平相关的数据来计算匹配增益(步骤S134)。在此，例如，图像数据301F中包括的处理区域(m，n)中的每种颜色的信号电平和图像数据301L中包括的处理区域(s，t)中的每种颜色的信号电平可以由以下等式定义。
[等式3]
Figure BDA0002282635540000141
在此，α是针对图像数据301F的R信号的AWB增益(参数)，γ是针对图像数据301F的G信号的AWB增益(参数)，并且β是针对图像数据301F的B信号的AWB增益(参数)。F(m,n)_R是通过对区域(m，n)中的无彩色并且具有亮度值高于预设值的像素的R的信号电平求平均而获取的值。F(m,n)_G是通过对区域(m，n)中的无彩色并且具有亮度值高于预设值的像素的G的信号电平求平均而获取的值，并且F(m,n)_B是通过对区域(m，n)中的无彩色并且具有亮度值高于预设值的像素的B的信号电平求平均而获取的值。α'是针对图像数据301L的R信号的AWB增益(参数)，γ'是针对图像数据301L的G信号的AWB增益(参数)，并且β'是针对图像数据301L的B信号的AWB增益(参数)。L(s,t)_R是通过对区域(s，t)中的无彩色并且亮度值高于预设值的像素的R的信号电平求平均而获取的值。L(s,t)_G是通过对区域(s，t)中的无彩色并且具有亮度值高于预设值的像素的G的信号电平求平均而获取的值，并且L(s,t)_B是通过对区域(s，t)中的无彩色并且具有亮度值高于预设值的像素的B的信号电平求平均而获取的值。如等式3所示，与重叠区域相对应的区域的像素信号分别乘以由相机的ISP所施加的AWB增益的倒数，并且成为在调节颜色平衡之前的像素信号。结果，对应区域之间的每种颜色的信号电平彼此相等。
使用上述原理，根据以下等式计算用于使与重叠区域相对应的区域的每种颜色的信号电平与不包括关于AWB增益的信息的图像数据相匹配的增益。
[等式4]
Figure BDA0002282635540000151
在此，αFe是针对图像数据301F的处理区域(m，n)中的R信号的匹配增益(参数)。类似地，γFe是图像数据301F的处理区域(m，n)中的G信号的匹配增益(参数)，并且βFe是图像数据301F的处理区域(m，n)中的B信号的匹配增益(参数)。此外，αLe是图像数据301L的处理区域(s，t)中的R信号的匹配增益(参数)。类似地，γLe是图像数据301L的处理区域(s，t)中的G信号的匹配增益(参数)，并且βLe是图像数据301L的处理区域(s，t)中的B信号的匹配增益(参数)。
如上所述，估计源图像生成单元102针对每个接收的图像数据计算匹配增益。然而，以上示例基于以下假定：重叠区域中具有对应关系的处理区域完全重叠。在具有对应关系的处理区域没有完全重叠并且位置被移位的情况下，如下所述通过加权来计算匹配增益。
图9是示出其中重叠区域中的处理区域不完全重叠的示例的图。如图所示，图像数据301F的处理区域(m，n)不与图像数据301L的对应处理区域(s，t)完全重叠，并且处理区域(m，n)相对于处理区域(s，t)被移位到右下方。在这种情况下，如以下等式所示，通过加权来计算匹配增益。
[等式5]
Figure BDA0002282635540000152
在此，W1、W2、W3和W4是加权因子，并且W1+W2+W3+W4＝4。
返回图8，在步骤S134中计算匹配增益之后，估计源图像生成单元102使n递增，以移动其中计算了匹配增益的区域(步骤S135)。在使n递增之后，估计源图像生成单元102返回到步骤S131并且继续处理。
当在步骤S132中确定处理区域没有被包括在重叠区域中(步骤S132中为“否”)时，估计源图像生成单元102进行到步骤S135，并且执行用于使n递增的处理(步骤S135)。
在步骤S131中，当n超过作为竖直方向上的坐标的最大值的Vmax值时，估计源图像生成单元102确定n不小于Vmax+1(步骤S131中为“否”)。在这种情况下，估计源图像生成单元102将n设置为零并且使m递增(在步骤S136中)。然后，估计源图像生成单元102返回到步骤S130并且继续处理。在步骤S130中，当m超过作为水平方向上的坐标的最大值的Hmax值时，估计源图像生成单元102确定m不小于Hmax+1(步骤S130中为“否”)。在这种情况下，估计源图像生成单元102结束这一系列处理。
在本实施例中描述的匹配增益计算的示例中，针对每个处理区域计算匹配增益。半导体器件100还可以计算以这种方式计算的多个匹配增益的平均值。代替平均值，可以计算基于标准偏差的值，或者可以选择代表值。备选地，可以在排除异常值之后执行这些计算。此外，从计算多个匹配增益的平均值的观点出发，可以将多个区域分组为一个处理区域，并且可以针对图像数据的多个处理区域中的每个计算匹配增益。
此外，例如，估计源图像生成单元102对与具有与图像数据301F的重叠区域相对应的重叠区域的图像数据301L有关的图像数据301F执行上述计算处理，并且类似地对与具有与图像数据301F的重叠区域相对应的重叠区域的图像数据301R有关的对图像数据301F执行上述计算处理。因此，估计源图像生成单元102从所有匹配增益中确定用于图像数据301F的一个匹配增益。
返回图4，估计源图像生成单元102使用如上所述计算的匹配增益来生成估计源图像(步骤S14)。通过使用匹配增益，例如，针对图像数据301F的R、G和B中的每个的信号电平以及针对图像数据301L的R、G和B中的每个的信号电平具有以下关系。
[等式6]
Figure BDA0002282635540000171
在此，αFE、γFE和βFE是针对图像数据301F的匹配增益(参数)，并且αLE、γLE和βLE是针对图像数据301L的匹配增益(参数)。估计源图像生成单元102针对每个图像数据计算用于匹配在重叠区域中彼此相对应的处理区域中的每种颜色的信号电平的匹配增益，并且将匹配增益乘以对应图像数据中包括的像素的每种颜色的信号电平。因此，估计源图像生成单元102生成估计源图像数据。如上所述，通过计算匹配增益并且使用计算的匹配增益，半导体器件100可以消除由ISP对图像数据执行的初始颜色调节处理的影响。
返回步骤12，当关于AWB增益的信息被包括在图像数据中时(步骤S12中为“是”)，估计源图像生成单元102使用AWB增益来生成估计源图像(步骤S21)。在这种情况下，估计源图像生成单元102可以通过将每个区域的像素信号乘以AWB增益的值的倒数，来消除由ISP对图像数据执行的初始颜色调节处理的影响。
接下来，如图3所示，估计源图像生成单元102使用如上所述的步骤S14或步骤S21的处理，来消除由ISP执行的初始颜色调节处理的影响，并且然后将所生成的估计源图像的图像数据提供给调节区域确定单元103。
调节区域确定单元103确定用于对估计源图像执行颜色平衡调节处理的调节区域。调节区域确定单元103包括对象检测单元103A和位置估计单元103B，作为调节区域确定单元103的主要功能块。
对象检测单元103A参考存储在存储单元108中的目标对象信息，来检测图像数据中存在的目标对象的属性和大小。目标对象信息包括图像数据中的对象的特征量、属性信息等。
图像数据中的对象的特征量是用于基于图像数据中包括的像素值的变化(诸如例如定向梯度直方图(HOG)特征量)来估计对象的存在的信息。对象的属性信息是用于从安全驾驶的角度对检测到的对象进行分类的信息。根据属性信息将检测到的对象分类为人类、汽车、自行车、交通标志等。
位置估计单元103B通过检测由对象检测单元103A检测到的对象的位置随时间的变化，计算对象的移动方向和移动速度。位置估计单元103B通过计算对象的移动方向和移动速度，估计在经过预定时间之后对象的位置。通过使用上述功能，调节区域确定单元103估计例如由对象检测单元103A检测到的对象在经过预定时间之后的位置，并且确定包括估计位置的区域作为调节区域。
当在图像数据中检测到多个目标对象时，调节区域确定单元103通过根据预先设置的确定标准指定具有最高优先级的第一目标对象、并且估计在经过预定时间之后图像数据中的第一目标对象的位置，来确定调节区域。
在预先设置的确定标准的示例中，使用预定时间的汽车1的位置和多个目标对象中的每个目标对象的位置作为确定标准。据此，调节区域确定单元103估计在经过预定时间之后目标对象的位置，并且基于汽车1的位置与目标对象的估计位置之间的距离来指定第一目标对象。
在预先设置的确定标准的另一示例中，调节区域确定单元103基于目标对象的属性来指定第一目标对象。目标对象的属性作为优先级信息存储在存储单元108中。存储单元108存储优先级信息，在优先级信息中，目标对象的属性和优先级彼此相关联。
当在图像数据中检测到多个目标对象时，调节区域确定单元103指定具有紧接在第一目标对象之后的具有第二最高优先级的第二目标对象。然后，调节区域确定单元103估计在经过预定时间之后图像数据中的第一目标对象的位置以确定第一调节区域，并且估计第二目标对象的位置以确定第二调节区域。通过以这种方式根据第二目标对象确定第二调节区域，可以在图像数据中不再存在第一目标对象时，平滑地执行切换处理。
具有上述功能的调节区域确定单元103从所生成的估计源图像数据确定调节区域(步骤S15)。下面将描述由调节区域确定单元103执行的确定调节区域的处理的示例。
图10是示出半导体器件的处理时间的示例的图。在半导体器件100从相机获取图像数据之后，当半导体器件100对所获取的图像数据执行各种处理时，半导体器件100需要预定处理时间来执行处理。如图所示，例如，半导体器件100在时间t＝N-1时从相机获取图像数据。半导体器件100对所获取的图像数据执行各种处理。半导体器件100在时间t＝N将处理后的图像数据输出到显示设备。类似地，半导体器件100在时间t＝N从相机获取图像数据，对所获取的图像数据执行各种处理，并且在时间t＝N+1将处理后的图像数据输出到显示设备。如上所述，当半导体器件100对所获取的图像数据执行预定处理时，产生了延迟时间。因此，半导体器件100执行预先考虑了延迟时间的处理。
接下来，将参考图11至图13描述确定调节区域的处理的具体示例。图11至图13示出了其中随着时间的流逝，另一汽车9在其上安装有图像处理系统10的汽车1周围行驶的情况。在图11至图13中，通过虚线以格子形状示出了汽车1正在其上行驶的道路400。为了易于理解，将道路400划分为格子形状。通过在竖直方向上划分为七个并且在水平方向上划分为七个，将道路400划分为多个区域。道路400的划分的区域在水平方向上从左侧起被给予坐标X1至X7，并且在竖直方向上从顶部起被给予坐标Y1至Y7。道路400的左上划分得到的区域由坐标(X1，Y1)表示。
道路400中用粗虚线表示的矩形的区域是汽车1可以检测目标对象的区域，即检测区域401。检测区域401内用实线表示的矩形区域是由显示设备12显示的区域，即显示区域402。检测区域401和显示区域402被形成为包围汽车1的周围。检测区域401和显示区域402相对于汽车1具有固定的相对位置。汽车1沿着道路400在箭头方向(图的上部方向)上行驶。另一汽车9从汽车1的右后侧靠近。
图11是示出在时间t＝N-1的汽车1及其周围的情况的图。在时间t＝N-1，汽车1沿着坐标(X4，Y5)行驶。此外，另一汽车9沿着坐标(X5，Y7)行驶。汽车1的半导体器件100检测检测区域401中包括的另一汽车9。
接下来，图12是示出在时间t＝N的汽车1及其周围的情况的图。在时间t＝N，汽车1沿着坐标(X4，Y4)行驶。此外，另一汽车9沿着坐标(X5，Y5)行驶。半导体器件100中包括的调节区域确定单元103检测另一汽车9的位置，并且估计在经过预定时间之后(时间t＝N+1)另一汽车9的移动速度和移动方向。此处，调节区域确定单元103基于汽车1与另一汽车9之间的相对位置的变化，计算出另一汽车9在时间t＝N+1接近汽车1的右侧。此外，调节区域确定单元103计算出汽车1在时间t＝N+1位于坐标(X4，Y3)。
图13是示出在由调节区域确定单元103估计的时间t＝N+1的汽车1及其周围的情况的图。如图所示，调节区域确定单元103估计出在时间t＝N+1，汽车1位于坐标(X4，Y3)并且另一汽车9位于坐标(X5，Y3)。
返回图12，如上所述，在时间t＝N，调节区域确定单元103将要在时间t＝N+1显示的图像的调节区域确定为由阴影表示的坐标(X5，Y3)。当以这种方式确定调节区域时，调节区域确定单元103将关于所确定的调节区域的信息提供给重新调节单元104。因此，调节区域确定单元103检测目标对象并且估计在经过预定时间之后目标对象的位置，从而确定调节区域。
接下来，参考图14，将进一步描述调节区域确定单元103的处理的细节。图14是示出在图4的步骤S15中由调节区域确定单元103执行的用于确定调节区域的处理的细节的流程图。
首先，调节区域确定单元103确定是否在图像数据中检测到目标对象(步骤S150)。当确定未在图像数据中检测到目标对象时(步骤S150中为“否”)，调节区域确定单元103检测汽车1的移动方向(步骤S151)。汽车1的移动方向可以基于多个帧的图像来计算，或者可以基于全球定位系统(GPS)信号来计算。
当检测到汽车1的移动方向之后，调节区域确定单元103将与移动方向相对应的区域确定为调节区域(步骤S152)。在确定调节区域之后，调节区域确定单元103结束这一系列处理。
当确定检测到目标对象时(步骤S150中为“是”)，调节区域确定单元103确定是否检测到多个目标对象(步骤S153)。
当确定未检测到多个目标对象时(步骤S153中为“否”)，这表示在图像数据中检测到一个目标对象。在这种情况下，调节区域确定单元103检测关于目标对象的移动信息(步骤S154)。也就是说，调节区域确定单元103如在图11至图13所示的示例中那样估计目标对象的位置。然后，调节区域确定单元103将包括目标对象的估计位置的区域确定为调节区域(步骤S152)。
当确定检测到多个目标对象时(步骤S153中为“是”)，这表示在图像数据中检测到两个或更多个目标对象。在这种情况下，调节区域确定单元103检测汽车1与多个目标对象中的每个目标对象之间的距离(步骤S155)。
接下来，调节区域确定单元103确定汽车1与多个目标对象中的每个目标对象之间的检测到的距离是否相同(步骤S156)。在此，“距离相同”是指该距离大致相同，例如，如果两个检测到的距离之差为10％或更少，则将该距离视为相同。
当确定汽车1与多个目标对象中的每个目标对象之间的检测到的距离不相同时(步骤S156中为“否”)，调节区域确定单元103根据这些距离确定具有第一优先级的第一目标对象和具有第二优先级的第二目标对象(步骤S157)。然后，调节区域确定单元103分别根据第一目标对象确定第一调节区域并且根据第二目标对象确定第二调节区域(步骤S152)，并且结束这一系列处理。
当确定汽车1与多个目标对象中的每个目标对象之间的检测到的距离相同时(步骤S156为“是”)，调节区域确定单元103获取存储在存储单元108中的优先级信息(步骤S158)。
图15是示出目标对象的优先级的示例的图。如图所示，优先级信息根据每个属性的两种类别对目标对象分类。首先根据主要分类将目标对象分类为“人类”、“车辆”、“动物”、“标志”和“障碍物”。分类为主要分类的每个目标对象进一步分类为次要分类。例如，分类为主要分类“人类”的目标对象被分类为“儿童”、“老人”和“成人”中的任一个作为次要分类。为如上所述分类的每个目标对象定义优先级。在图中所示的示例中，次要类别的底部示出的“树”具有最低优先级，“树”上方示出的“交通标志”和“野生动物”具有较高优先级，“儿童”具有最高优先级。在存储单元108中存储的优先级信息中，目标对象的属性和优先级以这种方式彼此关联。
顺便提及，例如，可以想到，存在距汽车1相同距离且具有相同属性的多个目标对象。例如，其他两个四轮车辆在汽车1的后方平行行驶就是这种情况。在这种情况下，调节区域确定单元103可以将从检测到目标对象的时间到经过预定时间的时间以较高移动速度移动的更接近于汽车1的目标对象指定为第一目标对象。
调节区域确定单元103参考检测到的多个目标对象中的每个目标对象的优先级信息，并且分别确定第一目标对象和第二目标对象(步骤S159)。然后，调节区域确定单元103分别根据第一目标对象确定第一调节区域并且根据第二目标对象确定第二调节区域(步骤S152)，并且结束这一系列处理。
通过上述处理，调节区域确定单元103确定调节区域。然后，调节区域确定单元103将关于所确定的调节区域的信息和图像数据提供给重新调节单元104。
接下来，重新调节单元104使用关于调节区域的信息，对所接收的图像数据执行重新调节处理(步骤S16)。重新调节处理是重新调节估计源图像数据的颜色平衡的处理。在计算重新调节增益时，首先，重新调节单元104从调节区域中提取无彩色并且每个具有高于预设值的R、G和B的信号电平的像素，作为参考像素。例如，预设值是256个灰度中的200个或更多个。当参考像素占据重新调节区域中的像素的5％或更多时，重新调节单元104使用参考像素计算重新调节增益。重新调节单元104也被称为颜色调节单元。
下面将描述计算重新调节增益的方法的示例。重新调节增益例如通过以下等式来计算。
[等式7]
Figure BDA0002282635540000231
在此，αwb、γwb和βwb是重新调节增益(参数)。AVR(R)、AVR(G)和AVR(B)是参考像素的相应颜色的平均信号电平。此外，MIN(R，G，B)是每种颜色的平均信号电平(AVR(R)，AVR(G)，AVR(B))的最小值。
将使用具体示例描述重新调节增益的计算。例如，假定调节区域中的多个参考像素的平均信号电平为(R，G，B)＝(200，210，205)。在这种情况下，平均信号电平的最小值为200。因此，重新调节增益为(αwb，γwb，βwb)＝(200/200，200/210，200/205)＝(1，0.95，0.98)。等式7是示例，并且例如，可以将分母从参考像素的每种颜色的平均信号电平改变为最大值(在上述具体示例的情况下为210)，并且可以将分子从参考像素的每种颜色的平均信号电平改变为最小值。
在计算重新调节增益之后，重新调节单元104使用计算的重新调节增益对图像数据执行重新调节处理。如果参考像素未占据调节区域中的像素的5％或更多，则使用周围的重新调节增益来执行处理。
当存在多个相邻增益作为相邻调节区域的重新调节增益时，重新调节单元104可以计算多个相邻增益的平均值，并且将该平均值用作用于待处理的调节区域的颜色平衡的重新调节增益。
如果参考像素在调节区域中占据不超过预设数目的像素，则重新调节单元104将调节区域的尺寸扩大百分之几(例如，百分之三、百分之十、百分之三十等)，并且使用扩大后的调节区域计算重新调节增益。如果参考像素在扩大后的调节区域中不存在超过预设数目的像素，则重复将调节区域扩大百分之几的处理。
在以这种方式对图像数据执行重新调节处理之后，重新调节单元104将经过重新调节处理的图像数据提供给几何变换单元105。然后，几何变换单元105对所接收的图像数据执行几何变换处理(步骤S17)。
图16是示出根据第一实施例的对图像执行几何变换处理的示例的图。图的上侧所示的桶形图像是经过重新调节处理的图像数据301F。几何变换单元105对图像数据301F执行几何变换处理。结果，通过消除由广角透镜的像差的影响引起的桶形失真，将图像数据301F变换为矩形图像数据302F。几何变换单元105对从安装在汽车1上的四个相机获取的、并且经过上述处理的图像数据301F、301L、301B和301R中的每个执行这样的处理。结果，从四个相机获取的图像数据被转换为矩形图像。
在本实施例的描述中，已经示出了通过对桶形图像数据执行几何变换处理来校正桶形失真的示例，但是除了校正桶形失真的处理之外，可以对图像数据进行诸如梯形校正的线性变换处理。当从安装在汽车1上的相机捕获汽车1周围的图像、并且从所捕获的图像生成要进行被称为环绕视图的视点转换处理的图像时，半导体器件100执行这种视点转换处理，并且与该处理一起执行上述线性变换。
接下来，几何变换单元105执行上述几何变换处理，并且然后将图像数据提供给图像合成单元106。然后，图像合成单元106执行用于合成所接收的图像数据的处理(步骤S18)。图13是示意性示出根据第一实施例的执行用于合成图像的处理的示例的图。在图的上侧，示出了由几何变换单元105变换为矩形图像的图像数据302F。类似地，图像数据302L、图像数据302B和图像数据302R分别在图的左侧、下侧和右侧示出。在由这四个图像数据围绕的部分中示出了合成图像数据303。
合成图像数据303被配置为叠加图像数据302F、302L、302B和302R的重叠区域。例如，图像数据302F的处理区域(FC1，FR1)对应于图像数据302L的处理区域(LC1，LR1)。因此，在合成图像数据303中，图像数据302F的处理区域(FC1，FR1)和图像数据302L的处理区域(LC1，LR1)重叠。
此外，合成图像数据303在水平方向上的大小被配置为与图像数据302F在水平方向上的大小和图像数据302B在水平方向上的大小相一致。合成图像数据303在竖直方向上的大小被配置为与图像数据302L在竖直方向上的大小和图像数据302R在竖直方向上的大小相一致。因此，在合成图像数据303中，在水平方向上示出了C1至C32，并且在竖直方向上示出了R1至R48。
此外，在从这四个图像数据生成的合成图像数据303中，图像数据不存在于中央部分。因此，半导体器件100将预先存储的虚拟汽车的图像数据1D叠加在合成图像数据303上。结果，合成图像数据303生成其中驾驶员从汽车上方观看他/她驾驶的汽车的图像。在这样的系统中，显示具有合适的颜色平衡的图像以使得驾驶员可以容易地识别对象可以有助于提高汽车和汽车周围的环境的安全性。
在由图像合成单元106接收图像数据302F、302L、302B和3021R之前，由ISP对图像数据302F、302L、302B和3021R执行的初始颜色调节处理的影响被消除，并且图像数据的颜色平衡通过重新调节增益进行重新调节。因此，即使叠加具有这种对应关系的处理区域，合成图像数据303整体上也可以维持适当的颜色平衡。
另外，当具有这种对应关系的处理区域被叠加时，存在具有对应关系的两个处理区域中包括的像素的R、G和B中的每个的信号电平彼此完全不一致并且不同的情况。在这种情况下，采用两个处理区域中包括的像素的R、G和B中的每个的信号电平的平均值。根据本实施例，即使以这种方式采用平均值，由于通过上述处理减小了两个处理区域中包括的像素的R、G和B中的每个的信号电平之间的差异，可以生成经过适合于驾驶员等的颜色平衡处理的合成图像数据。
图像合成单元106将以这种方式生成的合成图像数据303提供给输出单元107。然后，输出单元107将所接收的合成图像数据303输出到外部(显示设备12)(步骤S19)。
接下来，半导体器件100确定是否终止处理(步骤S20)。如果确定不需要终止处理(步骤S20中为“否”)，则半导体器件100返回步骤S10并且重复该处理。另一方面，如果确定要终止处理(步骤S20中为“是”)，则半导体器件100终止处理。
半导体器件100通过上述一系列处理来调节图像数据的颜色平衡。当相机11F、相机11L、相机11B和相机11R不执行AWB处理时，可以省略上述从步骤S12至S14的处理以及步骤S21的处理。在这种情况下，图3所示的估计源图像生成单元102可以不被包括在半导体器件100中。
在上述一系列处理中，可以在执行步骤S11之后执行对图像数据执行几何变换处理的步骤(步骤S17)。在这种情况下，可以在执行调节区域确定处理(步骤S15)之前执行合成图像数据的步骤(步骤S18)。
接下来，将参考图18描述当目标对象的优先级改变时执行的处理。图18是示出其中目标对象的优先级发生改变的情况的示例的图。在该图中，作为目标对象的另一汽车9和摩托车7存在于汽车1的显示区域402中。此外，该图示出了在时间t＝N+2的情况。在时间t＝N+2，另一汽车9位于区域9a，而摩托车7位于区域7a。也就是说，在时间t＝N+2，由于汽车1与另一汽车9之间的距离比汽车1与摩托车7之间的距离短，所以第一目标对象是另一汽车9，而第二个目标对象是摩托车7。
在这种情况下，调节区域确定单元103通过执行图14所示的处理来确定在时间t＝N+3(即，时间t＝N+2之后的时间)的目标对象的优先级。由调节区域确定单元103估计的在时间t＝N+3的另一汽车9的位置是区域9b。类似地，由调节区域确定单元103估计的摩托车7的位置是区域7b。汽车1与区域7b之间的距离比汽车1与区域9b之间的距离短。因此，调节区域确定单元103将在时间t＝N+3的第一目标对象确定为摩托车7，并且将在时间t＝N+3的第二目标对象确定为另一汽车9。也就是说，目标对象的优先级从时间t＝N+2到时间t＝N+3发生改变。因此，调节区域确定单元103将第一调节区域从区域9b改变为区域7b。
接下来，将参考图19描述在上述情况下由重新调节单元104计算的重新调节增益的示例。图19是用于说明由重新调节单元104计算的重新调节增益的示例的图。在该图中所示的图中，横轴表示时间，纵轴表示重新调节增益的大小。在图上绘制的粗折线Gwb表示重新调节增益的值。尽管在此以一个增益为例进行说明，但是实际上对于R、G和B中的每个，分别存在图像数据的增益。
在时间t＝N+1和时间t＝N+2，重新调节单元104基于从作为第一目标对象的另一汽车9的估计位置而确定的第一调节区域来计算重新调节增益G1。然后，在时间t＝N+3，通过将第一目标对象从另一汽车9改变为摩托车7，第一调节区域的位置发生了较大变化。重新调节单元104基于该较大变化后的第一调节区域来计算重新调节G3。在这种情况下，当重新调节增益G1与重新调节增益G3之间的差值较大时，图像数据的颜色平衡突然改变，并且驾驶员可能会发现难以看到图像数据。在本实施例中，为了在这种情况下抑制图像的颜色平衡的突然变化，重新调节单元104使用预设的时间常数TC来调节重新调节增益。在图中，由虚线表示的直线是通过绘制时间常数TC而绘制的线。在时间t＝N+3，重新调节单元104计算作为不超过时间常数TC的值的重新调节增益G2，并且使用重新调节增益G2对图像数据执行重新调节处理。然后，在时间t＝N+4，重新调节单元104使用不超过时间常数TC的重新调节增益G3对图像数据执行重新调节处理。
以这种方式，当在预定时间确定重新调节增益时，重新调节单元104确定重新调节增益，以使得从过去确定的重新调节增益(称为过去增益)的变化率不超过预设值。通过这样的配置，半导体器件100可以抑制图像的颜色平衡的突然改变，并且可以防止由于图像的颜色平衡的突然改变引起的可视性的劣化。
尽管上面已经描述了第一实施例，但是根据第一实施例的配置不限于上述配置。例如，图1所示的四个相机可以安装在汽车1的左前部、左后部、右前部和右后部。备选地，这四个相机可以安装在汽车1的车顶，以使得汽车1的周围在成像范围内。相机的数目不限于四个。此外，相机可以是可移动的，并且可以被配置为在移动的同时顺序地捕获汽车周围的图像。
重新调节单元104可以被配置为：使用通过对从第一调节区域计算的重新调节增益和从第二调节区域计算的重新调节增益求平均而获取的平均值作为重新调节区域。在这种情况下，重新调节单元104可以对平均值进行加权。利用这种配置，图像处理系统10可以抑制多个目标对象的图像的颜色平衡的恶化。
根据上述配置，半导体器件100或图像处理系统10执行适合于汽车1周围的对象的图像的颜色平衡处理。结果，汽车1的驾驶员等可以容易地识别汽车1周围的对象。也就是说，根据第一实施例，可以提供一种用于提高对象的可视性的半导体器件等。
第一实施例的第一修改
接下来，将描述第一实施例的第一修改。图14是根据第一实施例的第一修改的汽车的概述。根据第一实施例的第一修改的图像处理系统20与根据第一实施例的图像处理系统10的不同之处在于相机的数目和相机的布置。
根据第一实施例的第一修改的图像处理系统20是用于进行以下操作的系统：捕获汽车1的后侧的图像，对捕获的图像的图像数据执行预定处理，并且将处理后的图像数据显示给驾驶员等。图像处理系统20可以被安装以代替汽车的侧镜和后视镜。图像处理系统20包括相机21L、相机11B、相机21R、显示设备12和半导体器件100，作为图像处理系统20的主要配置。
相机21L捕获在汽车1的左后侧的图像捕获区域210L的图像，相机11B捕获在汽车1的后侧的中央的图像捕获区域210B的图像，并且相机21R捕获在汽车1的右后侧的图像捕获区域210R的图像。在这些图像捕获区域中，彼此相邻的图像捕获区域包括作为其中图像捕获区域重叠的区域的重叠区域。也就是说，图像捕获区域210L和图像捕获区域210B每个具有其中图像捕获区域210L和图像捕获区域210B重叠的重叠区域210LB。类似地，图像捕获区域210B和图像捕获区域210R具有其中图像捕获区域210B和图像捕获区域210R重叠的重叠区域210BR。
在这样的配置中，半导体器件100通过消除由ISP对图像数据执行的初始颜色调节处理的影响来生成估计源图像数据。然后，半导体器件100从估计源图像数据中检测目标对象，估计在经过预定时间之后目标对象的位置，确定调节区域，并且使用所确定的调节区域对图像数据执行颜色平衡重新调节处理。此外，半导体器件100合成图像数据，使得重叠区域彼此重叠以生成合成图像。此外，半导体器件100将重新调节后的合成图像数据输出到显示设备12。
利用上述配置，驾驶员可以通过经过适当的颜色平衡处理的图像来识别汽车1的后侧。因此，第一实施例的第一修改可以提供一种用于执行适合于图像的颜色平衡处理的半导体器件等。
第一实施例的第二修改
接下来，将描述第一实施例的第二修改。图21是根据第一实施例的第二修改的图像处理系统20a的示意性配置图。根据第一实施例的第二修改的图像处理系统20a与根据第一实施例的图像处理系统10的不同之处在于，图像处理系统20包括半导体器件200而不是半导体器件100。此外，根据第一实施例的第二修改的图像处理系统20a与根据第一实施例的图像处理系统10的不同之处在于，图像处理系统20包括距离测量传感器13和电子控制单元(ECU)14。下文中，将描述第一实施例的第二修改与第一实施例之间的差异。
距离测量传感器13是用于检测汽车1周围存在的对象的位置、形状和尺寸的传感器设备。例如，距离测量传感器13是使用被称为激光成像检测和测距(LIDAR)的激光束的距离测量传感器，或者是使用红外光生成热图像的传感器设备。距离测量传感器13以这种方式使用不同于可见光的光生成用于检测对象的图像数据，并且将所生成的图像数据提供给半导体器件200。
ECU 14从并入汽车1中的驱动设备、转向设备等获取与汽车1的驾驶相关的信息。由ECU 14获取的信息例如是汽车的速度、转向设备的转向角、GPS位置信息等。ECU 14将所获取的信息提供给半导体器件200。
除了由与第一实施例相关的相机11F、相机11L、相机11B和相机11R提供的图像数据之外，半导体器件200的图像数据获取IF 110还接收由距离测量传感器13提供的图像数据。
半导体器件200具有总线通信IF210。总线通信IF 210是用于与外部设备执行通信的通信接口，并且可以是有线接口或无线接口。通信接口符合诸如通用串行总线(USB)、高清多媒体接口(HDMI)或控制器局域网(CAN)等标准。总线通信IF 210连接到ECU 14，并且接收从ECU 14提供的信息。从ECU 14提供的信息被提供给处理器120。处理器120对该信息执行处理。
利用这种配置，图像处理系统20a可以通过距离测量传感器13来识别在与相机11F、相机11L、相机11B和相机11R的图像捕获区域的范围不同的范围内的目标对象。优选地，距离测量传感器13检测位于合成图像中包括的区域之外的区域中的目标对象。结果，可以预先检测被估计为进入合成图像的显示区域的目标对象，并且执行适合于进入显示区域的目标对象的颜色平衡调节处理。另外，图像处理系统20a可以通过获取与汽车1的驾驶相关的信息来更准确地估计目标对象的位置。
第二实施例
接下来，将描述第二实施例。根据第二实施例的图像处理系统30与根据第一实施例的图像处理系统10的不同之处在于，可以选择第一对象。为了实现这种功能，根据第二实施例的图像处理系统30被配置为将显示在显示设备12上的图像叠加在触摸传感器上。下文中，将描述第二实施例与第一实施例之间的差异。
图22是根据第二实施例的图像处理系统30的示意性配置图。图像处理系统30包括半导体器件200a而不是半导体器件100。此外，图像处理系统30包括连接到半导体器件200a的触摸传感器21。
半导体器件200a包括总线通信IF 210。总线通信IF 210连接到触摸传感器21，并且接收从触摸传感器21提供的信号。由总线通信IF 210接收的信号被提供给处理器120。处理器120执行信号的处理。
触摸传感器21是用于当驾驶员等触摸显示设备12的显示部分中的预定位置时检测触摸位置的传感器设备，并且例如是压力式、电容式或光学式的位置检测传感器。触摸传感器21设置在显示设备12的显示部分上，以便检测与显示在显示部分上的图像数据的坐标相关联的位置。
图23是根据第二实施例的半导体器件200a的功能框图。根据第二实施例的半导体器件200a的功能块与根据第一实施例的半导体器件100的功能块的不同之处在于，半导体器件200a包括对象选择单元109。
对象选择单元109基于从触摸传感器21提供的信号进行操作。对象选择单元109从触摸传感器21接收信号，并且基于所接收的信号检测图像数据的坐标信息。然后，对象选择单元109将检测到的图像数据的坐标信息提供给调节区域确定单元103。
调节区域确定单元103确定从对象选择单元109接收的图像数据的坐标信息是否与目标对象所在的位置相一致。然后，当确定坐标信息与目标对象所在的位置相一致时，调节区域确定单元103将相一致的目标对象的优先级视为第一优先级。
将参考图24描述对象选择单元109的功能。图24是示出根据第二实施例的半导体器件200a中的对象选择处理的示例的流程图。图中所示的流程图与图14所示的处理并行执行。
首先，对象选择单元109确定是否检测到触摸信号(步骤S250)。当没有确定检测到触摸信号时(步骤S250中为“否”)，对象选择单元109执行轮询操作以重复确定是否检测到触摸信号。
当确定检测到触摸信号时(步骤S250中为“是”)，对象选择单元109将触摸信号中包括的坐标信息提供给调节区域确定单元103。调节区域确定单元103确定所接收的坐标信息是否与目标对象所在的位置相一致(步骤S251)。
当确定坐标信息与目标对象所在的位置不一致时(步骤S251中为“否”)，调节区域确定单元103将与坐标信息相关的区域确定为调节区域(步骤S256)。在这种情况下，调节区域确定单元103将从对象选择单元109接收的坐标视为由驾驶员等指定的区域。因此，将包括所选择的坐标的区域(而与检测到的目标对象的位置无关)确定为调节区域。
当确定坐标信息与目标对象所存的位置相一致时(步骤S251中为“是”)，调节区域确定单元103将相一致的目标对象视为驾驶员等选择的对象。也就是说，调节区域确定单元103将所选择的目标对象确定为第一目标对象(步骤S252)。与图14所示的处理相比，这种处理以更高的优先级执行。因此，调节区域确定单元103确定是否要改变第一目标对象(步骤S253)。
在此，当由驾驶员等触摸的坐标与由调节区域确定单元103确定的第一目标对象的位置相一致时，调节区域确定单元103确定不需要改变第一目标对象(步骤S253中为“否”)。在这种情况下，调节区域确定单元103根据到目前为止执行的处理来确定调节区域(步骤S255)，并且结束这一系列处理。
另一方面，当由驾驶员等触摸的坐标与由调节区域确定单元103确定的第一目标对象的位置不一致时，调节区域确定单元103确定需要改变第一目标对象(步骤S253中为“是”)。在这种情况下，调节区域确定单元103将所选择的目标对象视为第一目标对象，并且将直到此时已经被视为第一目标对象的目标对象确定为第二目标对象(步骤S254)。也就是说，调节区域确定单元103将已经被视为第一优先级的目标对象的优先级改变为第二优先级。然后，调节区域确定单元103基于以这种方式确定的第一目标对象和第二目标对象来确定调节区域(步骤S255)，并且结束这一系列处理。
尽管上面已经描述了第二实施例，但是第二实施例的配置不限于上述配置。例如，图像处理系统30可以包括用于发出指示进行以下操作的命令的操作装置：在上下左右方向上移动要选择的区域、并且选择所移动的区域而非触摸传感器21以选择区域。另外，可以省略步骤S256，并且当选择不包括目标对象的区域时，来自对象选择单元109的指令可能不会反映在由调节区域确定单元103执行的处理中。
利用上述配置，图像处理系统30执行适合于驾驶员期望注视的对象的颜色平衡调节处理。结果，汽车1的驾驶员等可以容易地识别汽车1周围的对象。也就是说，根据第二实施例，可以提供一种用于提高对象的可视性的半导体器件等。
而且，上述程序可以使用各种类型的非暂态计算机可读介质来存储和提供给计算机。非暂态计算机可读介质包括各种类型的有形存储介质。非暂态计算机可读介质的示例包括磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁光记录介质(例如，磁光盘)、光盘只读存储器(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-R/W)和半导体存储器(例如，带掩码的只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、闪存ROM、随机存取存储器(RAM))。另外，程序也可以通过各种类型的暂态计算机可读介质提供给计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由诸如电线和光纤的有线通信路径或无线通信路径将程序提供给计算机。
尽管已经基于实施例具体描述了本发明人做出的发明，但是不用说，本发明不限于上述实施例，并且可以在不脱离本发明的范围的情况下进行各种改变。

Claims (20)

1.一种半导体器件，包括：
图像数据获取电路，被配置为分别在第一时间和第二时间获取多个捕获图像数据，所述多个捕获图像数据通过捕获多个图像而被获取，所述第二时间是在所述第一时间之后的时间，在所述第一时间获取的所述多个捕获图像数据是多个第一捕获图像数据，在所述第二时间获取的所述多个捕获图像数据是多个第二捕获图像数据，每个捕获图像数据是已经被执行了初始颜色调节处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
估计源图像生成电路，所述估计源图像生成电路被配置为消除所述多个第一捕获图像数据和所述多个第二捕获图像数据的所述初始颜色调节处理的影响，以生成多个第一估计源图像数据和多个第二估计源图像数据；
调节区域确定电路，被配置为从所述多个第一捕获图像数据中检测作为预先被设置为要被识别的对象的目标对象，并且基于从所述第一时间之前的时间到所述第一时间的所述目标对象的位置的变化，通过估计所述目标对象在所述第二时间的位置来确定调节区域；
颜色调节电路，被配置为基于所述多个第一捕获图像数据的所述调节区域来确定颜色调节增益，并且基于所述颜色调节增益，对所述多个第二捕获图像数据执行颜色平衡调节处理；以及
图像合成电路，被配置为合成所述多个第二捕获图像数据，使得所述多个第二捕获图像数据中的所述多个图像中包括的所述重叠区域彼此重叠，以生成合成图像的图像数据。
2.根据权利要求1所述的半导体器件，还包括输出电路，被配置为输出所述合成图像的所述图像数据。
3.根据权利要求1所述的半导体器件，
其中所述颜色调节电路被配置为使用所述多个第一估计源图像数据作为所述多个第一捕获图像数据来确定所述颜色调节增益。
4.根据权利要求3所述的半导体器件，其中所述估计源图像生成电路被配置为：
对于每个第一捕获图像数据，计算第一匹配增益，所述第一匹配增益用于匹配所述第一捕获图像数据的所述图像的所述重叠区域中彼此具有对应关系的区域中的像素的信号电平；
通过将所述第一匹配增益乘以对应的所述第一捕获图像数据中包括的像素的信号电平，生成所述第一估计源图像数据；
对于每个第二捕获图像数据，计算第二匹配增益，所述第二匹配增益用于匹配所述第二捕获图像数据的所述图像的所述重叠区域中彼此具有对应关系的区域中的像素的信号电平；以及
通过将所述第二匹配增益乘以对应的所述第二捕获图像数据中包括的像素的信号电平，生成所述第二估计源图像数据。
5.根据权利要求4所述的半导体器件，其中所述估计源图像生成电路被配置为基于具有所述对应关系的所述区域中的所述像素的所述信号电平的平均值，计算所述第一匹配增益和所述第二匹配增益。
6.根据权利要求3所述的半导体器件，其中所述估计源图像生成电路被配置为：
基于每个第一捕获图像数据中包括的关于所述初始颜色调节处理的信息，生成所述第一估计源图像数据；以及
基于每个第二捕获图像数据中包括的关于所述初始颜色调节处理的信息，生成所述第二估计源图像数据。
7.根据权利要求1所述的半导体器件，其中所述调节区域确定电路被配置为：当所述调节区域确定电路不能从所述多个第一捕获图像数据中检测到所述目标对象时，将预设区域确定为所述调节区域。
8.根据权利要求1所述的半导体器件，其中所述颜色调节电路被配置为确定所述颜色调节增益，使得从过去确定的所述调节增益的变化率不超过预设值。
9.根据权利要求1所述的半导体器件，其中当所述调节区域确定电路在所述第一捕获图像数据中检测到多个目标对象时，所述调节区域确定电路被配置为基于预设确定标准来检测具有最高优先级的第一目标对象，并且通过估计所述第一目标对象在所述第二时间的所述位置来确定所述调节区域。
10.根据权利要求9所述的半导体器件，其中所述调节区域确定电路被配置为估计所述多个目标对象中的每个目标对象在所述第二时间的位置，并且基于所述多个目标对象中的每个目标对象在所述第二时间的估计的所述位置来确定所述第一目标对象。
11.根据权利要求9所述的半导体器件，还包括被配置为存储优先级信息的存储单元，在所述优先级信息中，所述目标对象的属性和优先级被彼此关联；以及
其中所述调节区域确定电路被配置为基于所述优先级信息来检测所述第一目标对象。
12.根据权利要求9所述的半导体器件，其中所述调节区域确定电路被配置为：
检测具有第二高优先级的第二目标对象；
通过估计所述第一目标对象在所述第二时间的所述位置来确定第一调节区域；以及
通过估计所述第二目标对象在所述第二时间的位置来确定第二调节区域。
13.根据权利要求1所述的半导体器件，还包括对象选择电路，所述对象选择电路被配置为接收用于选择所述目标对象的信号，并且基于所述信号，检测关于要被选择的目标对象的坐标信息；以及
其中所述调节区域确定电路被配置为基于由所述对象选择电路检测到的坐标来确定所述调节区域。
14.根据权利要求1所述的半导体器件，其中所述调节区域确定电路被配置为检测位于所述合成图像中包括的区域之外的区域中的所述目标对象。
15.一种图像处理系统，包括：
根据权利要求3所述的半导体器件；
多个相机，被配置为输出所述多个捕获图像数据；以及
显示设备，被配置为接收所述合成图像的所述图像数据。
16.根据权利要求15所述的图像处理系统，
其中每个相机包括图像信号处理器，以及
其中所述图像信号处理器被配置为对所述捕获图像数据执行所述初始颜色调节处理。
17.根据权利要求15所述的图像处理系统，
其中所述多个相机被配置为捕获移动对象周围的风景的图像，以生成所述多个捕获图像数据，以及
其中所述合成图像是所述移动对象周围的360度风景的二维图像。
18.一种图像处理系统，包括：
根据权利要求13所述的半导体器件；
显示设备，被配置为接收所述合成图像的所述图像数据；以及
触摸传感器，被配置为与所述显示设备的显示部分相对应地被提供，并且向所述对象选择电路输出所述信号。
19.一种图像处理方法，包括：
分别在第一时间和第二时间获取多个捕获图像数据，所述多个捕获图像数据通过捕获多个图像而被获取，所述第二时间是在所述第一时间之后的时间，在所述第一时间获取的所述多个捕获图像数据是多个第一捕获图像数据，在所述第二时间获取的所述多个捕获图像数据是多个第二捕获图像数据，每个捕获图像数据是已经被执行了初始颜色调节处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
消除所述多个第一捕获图像数据和所述多个第二捕获图像数据的所述初始颜色调节处理的影响，以生成多个第一估计源图像数据和多个第二估计源图像数据；
从所述多个第一捕获图像数据中检测作为预先被设置为要被识别的对象的目标对象；
基于从所述第一时间之前的时间到所述第一时间的所述目标对象的位置的变化，通过估计所述目标对象在所述第二时间的位置来确定调节区域；
基于所述多个第一捕获图像数据的所述调节区域，确定颜色调节增益；
基于所述颜色调节增益，对所述多个第二捕获图像数据执行颜色平衡调节处理；以及
合成所述多个第二捕获图像数据，使得所述多个第二捕获图像数据中的所述多个图像中包括的所述重叠区域彼此重叠，以生成合成图像的图像数据。
20.一种计算机可读存储介质，其存储用于引起计算机执行方法的程序，所述方法包括：
分别在第一时间和第二时间获取多个捕获图像数据，所述多个捕获图像数据通过捕获多个图像而被获取，所述第二时间是在所述第一时间之后的时间，在所述第一时间获取的所述多个捕获图像数据是多个第一捕获图像数据，在所述第二时间获取的所述多个捕获图像数据是多个第二捕获图像数据，每个捕获图像数据是已经被执行了初始颜色调节处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
消除所述多个第一捕获图像数据和所述多个第二捕获图像数据的所述初始颜色调节处理的影响，以生成多个第一估计源图像数据和多个第二估计源图像数据；
从所述多个第一捕获图像数据中检测作为预先被设置为要被识别的对象的目标对象；
基于从所述第一时间之前的时间到所述第一时间的所述目标对象的位置的变化，通过估计所述目标对象在所述第二时间的位置来确定调节区域；
基于所述多个第一捕获图像数据的所述调节区域，确定颜色调节增益；
基于所述颜色调节增益，对所述多个第二捕获图像数据执行颜色平衡调节处理；以及
合成所述多个第二捕获图像数据，使得所述多个第二捕获图像数据中的所述多个图像中包括的所述重叠区域彼此重叠，以生成合成图像的图像数据。
CN201911147552.4A 2018-12-21 2019-11-21 半导体器件、图像处理系统和方法及计算机可读存储介质 Active CN111355880B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-239592 2018-12-21
JP2018239592A JP7148384B2 (ja) 2018-12-21 2018-12-21 半導体装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111355880A CN111355880A (zh) 2020-06-30
CN111355880B true CN111355880B (zh) 2023-02-28

Family

ID=68655393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911147552.4A Active CN111355880B (zh) 2018-12-21 2019-11-21 半导体器件、图像处理系统和方法及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11094037B2 (zh)
EP (1) EP3671629B1 (zh)
JP (1) JP7148384B2 (zh)
CN (1) CN111355880B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113246862A (zh) * 2021-06-25 2021-08-13 上海昶音通讯科技有限公司 用于大型汽车的数据处理系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283718A (ja) * 2009-06-08 2010-12-16 Alpine Electronics Inc 車両周辺画像提供装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP4818862B2 (ja) 2006-09-25 2011-11-16 パナソニック株式会社 合成映像表示装置
JP2008109336A (ja) 2006-10-25 2008-05-08 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
JP5390707B2 (ja) * 2010-06-24 2014-01-15 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JP2014115978A (ja) * 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
US9509909B2 (en) 2013-11-18 2016-11-29 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
JP6354578B2 (ja) 2014-12-26 2018-07-11 株式会社Ｊｖｃケンウッド 撮像システム
JP2018164199A (ja) 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
US20200020117A1 (en) * 2018-07-16 2020-01-16 Ford Global Technologies, Llc Pose estimation
US10853670B2 (en) * 2018-11-21 2020-12-01 Ford Global Technologies, Llc Road surface characterization using pose observations of adjacent vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283718A (ja) * 2009-06-08 2010-12-16 Alpine Electronics Inc 車両周辺画像提供装置

Also Published As

Publication number Publication date
JP7148384B2 (ja) 2022-10-05
CN111355880A (zh) 2020-06-30
EP3671629A1 (en) 2020-06-24
US11094037B2 (en) 2021-08-17
JP2020102756A (ja) 2020-07-02
US20200202488A1 (en) 2020-06-25
EP3671629B1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
JP6084434B2 (ja) 画像処理システム及び画像処理方法
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
US11477372B2 (en) Image processing method and device supporting multiple modes and improved brightness uniformity, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
CN110463194B (zh) 图像处理装置和图像处理方法以及图像捕获装置
JP6289681B2 (ja) 撮像装置及び方法、並びにプログラム及び記録媒体
US11082631B2 (en) Image processing device
US20200154083A1 (en) Image processing device, image processing method, program, and imaging device
WO2018221209A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20210075959A1 (en) Sensor fusion based perceptually enhanced surround view
JP5262515B2 (ja) 車両用表示装置および表示方法
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
CN111355942B (zh) 半导体设备、图像处理系统、方法和计算机可读存储介质
KR101628931B1 (ko) 차량용 블랙박스의 화각 제어 장치 및 방법
JPH08315116A (ja) 画像処理装置
JP7183562B2 (ja) 画像処理装置
US20240007595A1 (en) Camera monitoring system, control method for camera monitoring system, and storage medium
KR20180067046A (ko) 영상시스템 및 그 작동방법
WO2022215234A1 (ja) 画像処理装置および画像処理方法
KR20180028354A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법
JP2024056563A (ja) 表示処理装置、表示処理方法、及び表示処理装置の作動プログラム
JP2022083001A (ja) 表示制御装置、表示制御方法およびプログラム
KR20180028353A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant