CN103379344B - 半导体设备、电子装置和图像处理方法 - Google Patents

半导体设备、电子装置和图像处理方法 Download PDF

Info

Publication number
CN103379344B
CN103379344B CN201310163462.0A CN201310163462A CN103379344B CN 103379344 B CN103379344 B CN 103379344B CN 201310163462 A CN201310163462 A CN 201310163462A CN 103379344 B CN103379344 B CN 103379344B
Authority
CN
China
Prior art keywords
view data
image
unit
data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310163462.0A
Other languages
English (en)
Other versions
CN103379344A (zh
Inventor
山本哲弘
浜崎博幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN103379344A publication Critical patent/CN103379344A/zh
Application granted granted Critical
Publication of CN103379344B publication Critical patent/CN103379344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种半导体设备1，包括图像输入单元11和图像输出单元12。图像输入单元11从相机91接收第一图像数据并且通过共享总线130向存储器单元93输出第二图像数据。图像输出单元12通过共享总线130接收在存储器单元93中存储的第二图像数据并且向监视器92输出第三图像数据。通过对第一图像数据执行仿射转换来生成第三图像数据。在图像输入单元11中不执行仿射转换中的放大处理。以这一方式，有可能提供一种适合于图像处理等的优良半导体设备。

Description

半导体设备、电子装置和图像处理方法
有关申请的交叉引用
本申请基于通过引用将公开内容完全结合于此、于2012年4月25日提交的第2012-100282号日本专利申请并且要求对该日本专利申请的优先权。
技术领域
本发明涉及一种半导体设备、电子装置和图像处理方法，并且可以适合用于例如一种执行图像处理的半导体设备、电子电路和图像处理方法。
背景技术
近年来，一种用于通过使用车载相机来向驾驶员提供信息的技术已经普及。作为一种典型技术，已经知道如下背部引导监视器和全景监视器，该背部引导监视器使用在车辆的后部中设置的相机，该全景监视器组合来自在车辆的四个拐角处装配的相机的图像。
一般而言，使用可以用来拍摄宽范围图像的透镜作为用于此类车载相机的透镜。因此如果使用具有不良性能的透镜，则使拍摄的图像失真。因而有必要对车载相机拍摄的图像校正失真。
例如公开号为10-271490的日本待审专利申请公开一种用于校正在车辆的后部中设置的CCD相机拍摄的图像的技术。
发明内容
本申请的发明人已经发现各种问题在半导体设备的开发中有待解决。在本申请中公开的每个实施例例如提供一种适合于图像处理等的半导体设备。本发明的具体特征将从本说明书的下文描述以及附图中变得清楚。
本发明的第一方面是一种半导体设备，该半导体设备包括：图像输入单元，其从图像拍摄设备接收第一图像数据并且通过数据总线向存储单元输出第二图像数据；以及图像输出单元，其通过数据总线接收在存储单元中存储的第二图像数据并且向图像显示设备输出第三图像数据。通过对第一图像数据执行仿射转换来生成第三图像数据。另外，在图像输入单元中不执行仿射转换中的放大处理。
根据本发明的一个实施例，有可能例如提供一种适合于图像处理等的优良半导体设备。
附图说明
上述和其它方面、优点和特征将从结合以下附图进行的对某些实施例的下文描述中变得更清楚，其中：
图1是根据比较示例的半导体设备的具体框图；
图2A是用于说明仿射转换中的变换矩阵的参数的附图；
图2B是用于说明仿射转换中的变换矩阵的参数的附图；
图2C是用于说明仿射转换中的变换矩阵的参数的附图；
图2D是用于说明仿射转换中的变换矩阵的参数的附图；
图2E是用于说明仿射转换中的变换矩阵的参数的附图；
图2F是用于说明仿射转换中的变换矩阵的参数的附图；
图3是用于说明仿射转换中的变换矩阵的组合过程的附图；
图4是用于说明仿射转换中的变换矩阵的组合过程的附图；
图5是根据比较示例的半导体设备的框图；
图6是示出根据比较示例的半导体设备的操作示例的流程图；
图7是用于说明根据比较示例的失真校正处理的过程的附图；
图8是用于说明输入单元中的放大处理的处理负荷的框图；
图9是用于说明输入单元中的放大处理的处理负荷的时序图；
图10是用于说明输入单元中的缩减处理的处理负荷的框图；
图11是用于说明输入单元中的缩减处理的处理负荷的时序图；
图12是用于说明输出单元中的放大处理的处理负荷的框图；
图13是用于说明输出单元中的放大处理的处理负荷的时序图；
图14是用于说明输出单元中的放大处理的处理负荷的框图；
图15是用于说明输出单元中的放大处理的处理负荷的时序图；
图16是根据第一实施例的半导体设备的框图；
图17是根据第一实施例的半导体设备的具体框图；
图18是示出根据第一实施例的半导体设备的操作示例的流程图；
图19是用于说明根据第一实施例的失真校正处理的过程的附图；
图20在根据第一实施例的半导体设备的框图中示出图像数据的状态；
图21是根据第一实施例的修改示例1的半导体设备的框图；
图22是用于说明根据第一实施例的修改示例2的放大区域和非放大区域的附图；
图23是根据第一实施例的修改示例3的半导体设备的框图；
图24是根据第一实施例的修改示例4的半导体设备的框图；
图25是根据第二实施例的半导体设备的框图；以及
图26是根据第三实施例的半导体设备的框图。
具体实施方式
下文参照附图具体说明其中应用本发明的具体实施例。贯穿附图向相同或者对应部件分配相同符号，并且如对于澄清说明而言适合的那样省略它们的重复说明。
<失真校正处理的概况>
图1示出了根据本申请的发明人已经考察的比较示例的半导体设备9的框图。半导体设备9对从外部相机91取得的图像数据校正失真并且在外部监视器92上显示经校正的图像。
半导体设备9包括视频输入单元110、失真校正单元900、共享总线130、视频输出单元150、控制单元160、存储器控制器170和内部存储器180。
<视频输入单元110的配置>
视频输入单元110包括输入时序控制单元111和噪声缩减/颜色转换单元112。输入时序控制单元111获得相机91生成的图像数据并且控制向位于后续级的处理单元输出获得的图像数据的时序。也就是说，输入时序控制单元111在根据失真校正单元900的操作时钟确定的时序处输出获得的图像数据。
噪声缩减/颜色转换单元112从输入时序控制单元111输出的图像数据去除噪声。作为在噪声缩减/颜色转换单元112中执行的噪声缩减处理，可以使用诸如滤波处理和平滑的公知技术。另外，噪声缩减/颜色转换单元112例如执行用于将用YUV表达的颜色信息转换成用RGB表达的颜色信息的过程等。
注意在图1中所示具体示例中，示出其中半导体设备9针对四个相机91拍摄的四个图像数据中的每个图像数据执行失真校正处理的情况。相机91例如是在车辆的四个拐角处设置的相机。在全景监视器的情况下，有必要通过使用四个相机来拍摄在车辆周围(360°)的整个周边的图像。因此每个相机91配备有广角透镜。另外鉴于减少相机91的成本，难以使用具有很少失真的高性能透镜。因此，相机91的图像拍摄过程生成的图像数据变成其中使对象失真的图像数据。
<失真校正单元900的配置>
失真校正单元900包括行存储器121、命令解译单元122、转换处理单元129和滤波单元124。在行存储器121中，在逐行基础上存储从噪声缩减/颜色转换单元112供应的图像数据的像素。
命令解译单元122通过共享总线130读取在存储器单元93中预先存储的失真校正信息。然后，命令解译单元122解译读取的失真校正信息并且通知转换处理单元129针对在行存储器121中存储的图像数据执行校正处理。注意失真校正信息是用来针对在行存储器121中存储的图像数据执行失真校正的信息。失真校正信息例如是如下信息，包括：在图像数据中包括的像素的放大比和缩减比、应当针对其执行放大/缩减处理的像素的地址、当将要移动图像数据的像素时在移动像素之前和之后的像素的地址、等等。
响应于来自命令解译单元122的指令，转换处理单元129针对在行存储器121中存储的图像数据执行校正处理。在这一实施例中，转换处理单元129通过使用仿射转换针对在行存储器121中存储的图像数据执行失真校正处理。更具体而言，转换处理单元129基于失真校正信息在逐个像素的基础上指定在行存储器121中存储的图像数据的地址并且由此移动像素(平移处理、旋转处理和/或错切处理)、删除像素(缩减处理)和/或添加像素(放大处理)。
滤波单元124对在经转换处理单元129校正的图像数据中包括的多个像素一次执行滤波(诸如阴影化过程和线性插值过程)。通过共享总线130向存储器单元93中存储已经对其执行滤波的多个像素。也就是说，失真校正单元900以一次输出多个像素这样的方式通过共享总线130向存储器单元93输出经校正的图像数据。注意针对存储器单元93中的图像数据的操作(诸如读取、写入和刷新)由存储器控制器170控制。无需赘言，例如DRAM(动态随机存取存储器)可以用于其中存储图像数据的存储器单元93。无需赘言，存储器单元93不限于DRAM。也就是说，诸如SRAM(静态随机存取存储器)的其它存储器设备也可以用于存储器单元93。另外，可以在半导体设备1内部设置存储器单元93。
注意共享总线130是连接失真校正单元900、视频输出单元150、控制单元160、内部存储器180和存储器控制器170的总线。共享总线130是如下总线，通过该总线传输图像数据、失真校正信息、来自控制单元160的指令信息等。
<控制单元160的配置>
控制单元160包括CPU(中央处理单元)161、中断控制器162和外围IP163。
CPU161使半导体设备1的每个单元基于在内部存储器180中预先存储的控制程序执行各种操作。注意内部存储器180也用作CPU161的工作区域。例如SRAM等用于内部存储器180。
向中断控制器162输入响应于完成失真校正单元900执行的图像数据写入、完成视频输出单元150执行的显示等而输出的中断请求。中断控制器162基于输入的中断请求向CPU161输出中断信号并且控制CPU161的处理序列。
外围IP163例如是用于执行在半导体设备1与外部设备之间的通信的通信电路等。
<视频输出单元150的配置>
视频输出单元150包括调整单元151和输出时序控制单元152。调整单元151调整通过共享总线130从存储器单元93读取的图像数据的颜色等。具体而言，调整单元151针对输入的图像数据执行亮度校正过程、伽马校正过程、抖动过程等并且由此调整将在监视器92上显示的图像的颜色。
输出时序控制单元152控制向监视器92输出经失真校正的图像数据的时序。也就是说，输出时序控制单元152在根据监视器92的操作时钟确定的时序处输出经失真校正的图像数据并且由此在监视器92上显示经失真校正的图像。
<仿射转换的说明>
下文具体说明在失真校正单元900中执行的图像数据仿射转换。通过对图像数据执行五个过程(即放大处理、缩减处理、平移处理、旋转处理和错切处理)来执行失真校正处理。仿射转换是通过使用矩阵计算执行这些校正过程来执行的图像数据几何转换。
一般而言，通过如表示为以下表达式(1)的矩阵计算来执行仿射转换。注意将像素在仿射转换之前的坐标表示为“(x，y)”，并且将像素在仿射转换之后的坐标表示为“(x’，y’)”。通过将在转换之前的坐标(x，y)乘以变换矩阵来计算在转换之后的坐标(x’，y’)。通过设置变换矩阵中的a至f(参数)的值，有可能实施上文描述的放大处理、缩减处理、平移处理、旋转处理和错切处理。
[表达式1]
在图2A至图2F中示出每个校正处理中的用于a至f的具体值。图2A至图2F示出校正处理所必需的变换矩阵以及图像数据在校正处理之前和之后的状态。
另外，在仿射转换中，一个矩阵运算可以执行放大处理、缩减处理、平移处理、旋转处理和错切处理。具体而言，一个矩阵运算可以通过组合图2A至图2F中所示变换矩阵生成一个变换矩阵、并且然后通过使用生成的变换矩阵执行表达式(1)的运算来执行多个类型的校正过程。
作为示例，参照图3说明其中通过使用仿射转换来执行旋转处理和平移处理的情况。如图3(a)中所示，先将尚未对其执行转换的图像数据乘以用于执行旋转处理的变换矩阵。此后，将已经对其执行旋转处理的图像数据乘以用于执行平移处理的变换矩阵。以这一方式，可以执行旋转处理和平移处理。在这一情况下，执行两个矩阵运算(即用于旋转处理的矩阵运算和用于平移处理的矩阵运算)。
与这一点对照，如图3(b)中所示，通过组合用于执行旋转处理的变换矩阵与用于执行平移处理的变换矩阵来预先生成一个变换矩阵。然后可以将尚未对其执行转换的图像数据乘以组合变换矩阵。以这一方式，一个矩阵运算可以执行多个类型的校正过程。
也就是说，图3(a)中所示校正处理需要用于旋转处理的仿射转换硬件和参数(变换矩阵)以及用于平移处理的仿射转换硬件和参数(变换矩阵)(见图4(a))。与这一点对照，图3(a)中所示校正处理仅需一个仿射转换硬件和仅一组参数(组合变换矩阵)(见图4(b))。因此，使用组合变换矩阵的仿射转换与其中单独执行每个校正处理的仿射转换比较可以减少必需硬件设备数目和参数数目并且减少用于矩阵运算的处理负荷。出于这些原因，一般而言，一个矩阵运算通过使用通过组合多个校正过程而获得的变换矩阵在一个位置执行用于失真校正处理的仿射转换。
相似地，上文描述的半导体设备9预先组合用于执行放大处理、缩减处理、平移处理、旋转处理和错切处理的变换矩阵，并且由此通过使用组合变换矩阵在一个位置(失真校正单元900)执行仿射转换。
<半导体设备9的操作示例>
接着说明半导体设备9的操作。注意为了说明，图5示出图1中所示框图的简化框图。图5中所示框图也示出从每个块输出的图像数据的状态。注意如图5中所示，在仿射转换中包括的校正过程之中，平移处理、旋转处理和错切处理在下文说明中也可以统称为“移动处理”。
另外，图6示出半导体设备9的操作示例的流程图。图6示出针对从相机91输入的与一个屏幕(一帧)对应的图像数据执行的处理。因此，为了通过使用与多个帧对应的图像数据在监视器92上显示移动图像，需要重复图6中所示流程。
注意在对象是如下物体这样的假设下进行下文说明，在该物体中，在格图案中排列正方形。图7示出通过失真校正处理而改变的图像数据。图7(a)示出尚未对其执行失真校正的图像数据。图7(b)示出失真校正单元900已经对其执行失真校正处理的图像数据。
另外假设相机91的透镜是鱼眼透镜。因此，相机91拍摄的图像数据(在失真校正之前的图像数据)是如图7(a)中所示失真的图像数据。注意在图7(a)中所示图像数据中，应当针对其执行放大处理以便校正失真的区域(图7(a)中的影线区域)和非放大区域(应当针对其执行缩减处理的区域)被不均匀地定位。具体而言，图7(a)中的影线区域(图像数据的外围区域)是放大区域(第一区域)，并且其它区域(图像数据的中心区域)是非放大区域(第二区域)。矩形非放大区域由放大区域包围。
先向视频输入单元110输入相机91的图像拍摄过程生成的图像数据。在这一点，图像数据是如图7(a)中所示失真的图像数据(见图5)。
视频输入单元110针对输入的图像数据执行噪声缩减处理、颜色转换处理等并且向失真校正单元900输出经处理的图像数据。由于在视频输入单元110中不执行失真校正处理，所以图像数据在这一点仍然是失真的图像数据(见图5)。
失真校正单元900针对与一个屏幕对应的输入图像数据执行视频输入循环(步骤S901)。在视频输入循环中，失真校正单元900执行针对输入的图像数据的仿射转换(步骤S9011)。更具体而言，失真校正单元900基于在存储器单元93中预先存储的失真校正信息针对从视频输入单元110输入的图像数据执行缩减处理、放大处理和移动处理(平移处理、旋转处理和错切处理)。结果，生成了经失真校正的图像数据(图7(b))。失真校正单元900通过共享总线130向存储器单元93中存储经失真校正的图像数据(见图5)。
接着说明视频输出单元150的操作。视频输出单元150检测是否已经输入用于视频输出的同步信号(步骤S902)。在视频输出单元150检测到已经输入用于视频输出的同步信号时(步骤S902：是)，视频输出单元150执行与一个屏幕对应的视频输出循环(步骤S903)。在步骤S903中的视频输出循环中，视频输出单元150以一次读取多个像素这样的方式通过共享总线130读取在存储器单元93中存储的经失真校正的图像数据，并且使监视器92基于读取的图像数据显示经失真校正的图像数据(步骤S9031)。也就是说，在监视器92上显示从失真校正单元900输出的图像数据(图7(b)中所示经失真校正的图像数据)而在从共享总线130输出之后未经历任何仿射转换(失真校正处理)。通过上文描述的过程，已经完成与一个屏幕对应的失真校正处理。
如上文描述的那样，在半导体设备9的配置中，在其中通过共享总线130传输图像数据的预备阶段中，针对从相机91输入的图像数据执行包括缩减处理和放大处理的仿射转换。
<用于缩减处理/放大处理的处理负荷的说明>
下文示出四个示例情况用于说明用于在失真校正处理中包括的缩减处理和放大处理的处理负荷。
先如图8中所示框图中所示，说明其中紧接于视频输入单元110之后对图像数据执行放大处理并且向共享总线130输出经处理的图像数据的情况。在图8中所示情况下，在失真校正单元900中将从视频输入单元110输出的图像数据(像素1至4)放大成与原有数据量的两倍一样大的数据量。图9示出用于图8中所示情况的时序图。图9(a)是用于如下情况的时序图，在该情况下，视频输入时钟(视频输入单元110的操作时钟)的频率等于失真校正时钟(失真校正单元900的操作时钟)的频率。图9(b)是用于如下情况的时序图，在该情况下，失真校正时钟的频率与视频输入时钟的频率的两倍一样高。注意在下文说明中，术语“视频输入数据”意味着从相机91向视频输入单元110输入的像素。另外，术语“失真校正输出”意味着从失真校正单元900输出的并且已经对其执行放大处理的像素。
先参照图9(a)说明如下情况，在该情况下，视频输入时钟的频率等于失真校正时钟的频率。与视频输入时钟同步向视频输入单元110输入在相机91生成的图像数据中包括的像素1至4。具体而言，在时间t1处输入像素1并且在时间t2处输入像素2。另外，在时间t3处输入像素3并且在时间t4处输入像素4。注意由于连续执行相机91的图像拍摄过程(拍摄移动图像)，所以从相机91向视频输入单元110连续输入图像数据。
同时，失真校正单元900与失真校正时钟同步执行放大处理。假设失真校正单元900可以在每个时钟处处理(执行放大处理)一个像素。因此，失真校正单元900针对用于将一个像素1放大成两个像素1的过程需要两个时钟。也就是说，失真校正单元900在时间t2和t3处处理像素1。
接着，失真校正单元900需要针对像素2执行放大处理。在时间t3处向失真校正单元900输入像素2。然而由于失真校正单元900在时间t3处仍然在处理像素1，所以失真校正单元900不能处理像素2。
另外，失真校正单元900在时间t4处针对输入的像素3执行放大处理。由于针对像素3的放大处理也需要两个时钟，所以失真校正单元900不能处理在时间t5处输入的像素4。也就是说，在视频输入时钟的频率等于失真校正时钟的频率时，失真校正单元900不能处理像素2和4。
与这一点对照，参照图9(b)说明如下情况，在该情况下，失真校正时钟的频率与视频输入时钟的频率的两倍一样高。在时间t2与t3之间的时段中，失真校正时钟推进两个时钟，而视频输入时钟推进一个时钟。因此，失真校正单元900可以在时间t2与t3之间的时段中完成针对像素1的放大处理。结果，失真校正单元900也可以在时间t3与t4之间的时段中针对像素2执行放大处理。此后，失真校正单元900也可以用相似方式在其中视频输入时钟推进一个时钟的时段中将一个像素放大成两个像素。因此，在失真校正时钟的频率与视频输入时钟的频率的两倍一样高时，失真校正单元900可以针对所有像素1至4执行放大处理。
如上文描述的那样，在其中紧接于视频输入单元110之后(在紧接于共享总线130之前)对图像数据执行放大处理并且向共享总线130输出经处理的图像数据的情况下，为了实施放大处理，失真校正时钟的频率高于视频输入时钟的频率是必要的或者可以针对每个输入像素在一个周期(时钟)中同时输出多个像素是必要的。因此，失真校正单元900需要具有高性能。
接着如图10中所示框图中所示，说明如下情况，在该情况下，紧接于视频输入单元110之后对图像数据执行缩减处理并且向共享总线130输出经处理的图像数据。在图10中所示情况下，在失真校正单元900中将从视频输入单元110输出的图像数据(像素1至4)缩减成一半数据量(像素1和3)。图11示出用于图10中所示情况的时序图。图11(a)是用于如下情况的时序图，在该情况下，视频输入时钟的频率等于失真校正时钟的频率。图11(b)是用于如下情况的时序图，在该情况下，失真校正时钟的频率是视频输入时钟的频率的一半。
先参照图11(a)说明如下情况，在该情况下，视频输入时钟的频率等于失真校正时钟的频率。与图9(a)相似，与视频输入时钟同步向视频输入单元110输入在相机91生成的图像数据中包括的像素1至4。
失真校正单元900应当在其中从视频输入单元110输入两个像素(像素1和2)的时段中仅处理一个像素(像素1)。由于在时间t3处完成针对在时间t2处向失真校正单元900输入的像素1的处理，所以空余时间出现于时间t3与t4之间。然后，失真校正单元900在时间t4与t5之间处理像素3。也就是说，在视频输入时钟的频率等于失真校正时钟的频率时，失真校正单元900可以执行用于将像素1至4缩减成像素1和3的过程。
与这一点对照，参照图11(b)说明如下情况，在该情况下，失真校正时钟的频率是视频输入时钟的频率的一半。在这一情况下，失真校正时钟在其中视频输入时钟推进两个时钟的时段中推进仅一个时钟。因此，失真校正单元900可以在其中输入像素1和2的时段(时间t2到t4)中仅处理像素1。相似地，失真校正单元900可以在其中输入像素3和4的时段(时间t4到t6)中仅处理像素3。然而像素2和4是缩减处理应当先删除的像素。也就是说，即使在失真校正时钟的频率是视频输入时钟的频率的一半时，失真校正单元900仍然可以执行用于将像素1至4缩减成像素1和3的过程。
如上文描述的那样，在其中紧接于图10中所示视频输入单元110之后(紧接于共享总线130之前)对图像数据执行缩减处理并且向共享总线130输出经处理的图像数据的情况下，即使在失真校正时钟的频率低于视频输入时钟的频率时或者在针对每个输入像素需要多个周期(时钟)时仍然可以实施缩减处理。因此，失真校正单元900无需具有高性能。也就是说，失真校正单元900可以用低处理系统执行处理。
接着如图12中所示框图中所示，说明如下情况，在该情况下，紧接于视频输出单元150之前对图像数据执行放大处理并且在监视器92上显示经处理的图像数据。在图12中所示情况下，说明用于在失真校正单元900中将通过共享总线130读取的图像数据(像素1至4)放大成与原有数据量的两倍一样大的数据量并且用于显示放大的图像数据的过程。图13示出用于图12中所示情况的时序图。图13(a)是用于如下情况的时序图，在该情况下，总线时钟(共享总线130的操作时钟)的频率等于显示时钟的频率。图13b是用于如下情况的时序图，在该情况下，总线时钟的频率是显示时钟的频率的一半。
在图13中，总线输入数据意味着通过共享总线130读取的数据。在与总线时钟同步的时间处向共享总线130读取多个像素。在图13中所示示例中，一次读取由两个像素构成的数据。具体而言，在时间t1处向共享总线130读取像素1和2。另外，在时间t5处读取像素3和4。
参照图13(a)说明其中总线时钟的频率等于显示时钟的频率的情况。在时间t1处向共享总线130读取像素1和2。然后，失真校正单元900使监视器92与显示时钟同步显示通过共享总线130读取的像素。假设失真校正单元900可以在每个时钟处显示一个像素。失真校正单元900在时间t1处在存储器(未示出)中保持通过共享总线130读取的像素1和2、在时间t2和t3处显示像素1并且在时间t4和t5处显示像素2。相似地，失真校正单元900在时间t5处保持通过共享总线130读取的像素3和4、在时间t6和t7处显示像素3并且在时间t8和t9处显示像素4。以这一方式，执行像素1至4的放大处理。
与这一点对照，参照图13(b)说明如下情况，在该情况下，总线时钟的频率是显示时钟的一半。总线时钟在其中显示时钟推进两个时钟的时段中推进仅一个时钟。因此，失真校正单元900可以在其中总线时钟推进两个时钟的时段中执行与显示时钟的四个时钟(四个像素)对应的处理。也就是说，失真校正单元900可以在从输入像素1和2时到输入像素3和4时的时段(时间t3至t6)中显示两个像素1和两个像素2。然后，失真校正单元900可以在时间t7至t10之间显示两个像素3和两个像素4。也就是说，即使在总线时钟的频率是显示时钟的频率的一半时，失真校正单元900可以执行其中放大像素1至4并且显示放大的像素的过程。
接着如图14中所示框图中所示，说明如下情况，在该情况下，紧接于视频输出单元150之前对图像数据执行缩减处理并且向监视器92输出经处理的图像数据。在图14中所示情况下，说明用于在失真校正单元900中将通过共享总线130读取的图像数据(像素1至4)缩减成一半数据量并且用于显示缩减的图像数据的过程。图15示出用于图14中所示情况的时序图。图15(a)是用于如下情况的时序图，在该情况下，总线时钟的频率等于显示时钟的频率。图15(b)是用于如下情况的时序图，在该情况下，总线时钟的频率是显示时钟的频率的一半。
参照图15(a)说明如下情况，在该情况下，总线时钟的频率等于显示时钟的频率。失真校正单元900使监视器92与显示时钟同步显示通过共享总线130读取的像素。假设失真校正单元900可以在每个时钟处显示一个像素。失真校正单元900使监视器92在时间t2处显示在时间t1处读取的像素1和2之中的像素1。另外，失真校正单元900使监视器92在时间t3处显示在时间t2处读取的像素3和4之中的像素3。以这一方式，执行用于将像素1至4缩减成像素1和3的过程。
与这一点对照，参照图15(b)说明如下情况，在该情况下，总线时钟的频率是显示时钟的频率的一半。在这一情况下，失真校正单元900也可以在时间t2处显示在时间t1共享总线130读取的像素1和2之中的像素1。然而失真校正单元900不能在时间t3处显示共享总线130在相同时间t3处读取的像素3和4。
如上文描述的那样，在其中紧接于视频输出单元150之前对图像数据执行缩减处理并且向监视器92输出经处理的图像数据的情况下，为了实施缩减处理，从共享总线130获得数据的输入数据速率需要高于显示器所需要的输出数据速率。因此，共享总线130需要具有宽总线频带。
如上文描述的那样，在向共享总线130输出之前按照因子n放大图像数据时，失真校正单元900需要针对从相机91取得的每个像素生成n个像素并且向共享总线130输出生成的像素。因此需要高处理性能和高存储器频带以便应对高放大比。因此，为了应对高放大比，有必要增加半导体设备1的逻辑并且加宽共享总线130的频带，因此造成产品成本的增加。与这一点对照，在向共享总线130输出之前按照因子n缩减图像数据时，失真校正单元900仅需针对从相机91取得的每n个像素生成一个像素。因此，必需的处理性能小，并且共享总线130所需要的总线频带也窄。
另外，在显示之前按照因子n放大从共享总线130输出的图像数据时，失真校正单元900可以针对通过共享总线130获得的每个像素输出(显示)n个像素。与这一点对照，在显示之前按照因子n缩减从共享总线130输出的图像数据时，失真校正单元900可以针对通过共享总线130获得的每n个像素输出(显示)仅一个像素。因此，在其中在显示之前放大或者缩减从共享总线130输出的图像数据的情况下，缩减处理需要比放大处理更宽的总线频带。
在根据图1中所示比较示例的半导体设备9中，在向共享总线130输出图像数据之前在失真校正单元900中执行包括放大处理的图像数据失真校正处理(见图5)。因此，在通过共享总线130传输图像数据之前，图像数据的数据量增加。因而有必要保证用于共享总线130的宽总线频带。另外，失真校正单元900的失真校正时钟的频率需要与视频输入时钟的频率的至少两倍一样高。因此，失真校正单元900需要具有高性能。结果，存在产品成本增加的问题。根据下文说明的本发明的一个实施例的半导体设备，有可能解决比如在半导体设备9中出现的诸如此类的问题。
<第一实施例>
下文参照附图说明根据本发明的一个实施例的概况。先参照图16说明根据本发明的这一实施例的半导体设备1。图16是根据这一实施例的半导体设备1的框图(对应于图5中所示半导体设备9的框图)。图16中所示半导体设备1的配置与图1中所示半导体设备9的配置不同在于提供输入侧图像校正单元120取代失真校正单元900并且在共享总线130与视频输出单元150之间添加输出侧图像校正单元140。
<半导体设备1的配置的概况>
半导体设备1包括图像输入单元11、图像输出单元12、共享总线130和控制单元160。半导体设备1对从外部相机91取得的图像数据校正失真并且在外部监视器92上显示经校正的图像。
图像输入单元11获得相机91的图像拍摄过程生成的图像数据(第一图像数据)。另外，图像输入单元11通过共享总线130向存储器单元93中存储已经在输入侧图像校正单元120中校正的图像数据(第二图像数据)。图像输入单元11包括视频输入单元110和输入侧图像校正单元120。
图像输出单元12通过共享总线130读取在存储器单元93中存储的图像数据。然后，图像输出单元120基于已经在输入侧图像校正单元120和输出侧图像校正单元140中校正的图像数据(第三图像数据)在监视器92上显示经失真校正的图像。图像输出单元12包括输出侧图像校正单元140和视频输出单元150。
共享总线130(数据总线)是用于相互连接图像输入单元11、图像输出单元12和存储器单元93的总线。
输入侧图像校正单元120和输出侧图像校正单元140中的每个通过使用仿射转换对图像输入单元11获得的图像数据校正失真。在图像输入单元11中设置输入侧图像校正单元120。输入侧图像校正单元120至少执行在图像输入单元11中的仿射转换中包括的校正过程之中的缩减处理。如图16中所示，输入侧图像校正单元120除了在这一实施例中的缩减处理之外也执行移动处理(平移处理、旋转处理和错切处理)。
同时，在图像输出单元12中设置输出侧图像校正单元140。如图16中所示，输出侧图像校正单元140至少执行在图像输出单元12中的仿射转换中包括的图像转换过程之中的放大处理。
图17是图16中所示框图的具体框图(对应于图1中所示半导体设备9的框图)。注意除了输入侧图像校正单元120和输出侧图像校正单元140之外的配置与图1中所示半导体设备的配置相似，因此如适合的那样省略它的说明。
<输入侧图像校正单元120的配置>
输入侧图像校正单元120针对从视频输入单元110输入的未校正的图像数据(第一图像数据)至少执行在仿射转换中包括的校正过程之中的缩减处理。在这一实施例中，输入侧图像校正单元120针对输入的图像数据除了缩减处理之外也执行移动处理(旋转处理、平移处理和错切处理)。然而输入侧图像校正单元120不执行放大处理。
也就是说，输入侧图像校正单元120预先生成用于执行缩减处理、平移处理、旋转处理和错切处理的组合变换矩阵。然后，输入侧图像校正单元120通过使用组合变换矩阵来执行仿射转换(第一仿射转换)。换而言之，在输入侧图像校正单元120中，一个矩阵运算执行在仿射转换中包括的除了放大处理之外的校正过程。注意在输入侧图像校正单元120中的第一仿射转换包括缩减处理、平移处理、旋转处理和错切处理、但是不包括放大处理。
输入侧图像校正单元120通过针对从相机91获得的图像数据(第一图像数据)执行缩减处理和移动处理来生成已经对其执行校正处理的图像数据(第二图像数据)。输入侧图像校正单元120通过共享总线130向在半导体设备1外部设置的存储器单元93中存储生成的图像数据。一般而言，相机91的操作时钟不与监视器92的操作时钟同步。因此，通过在存储器单元93中暂时存储图像数据来调整图像数据的输出时序。
输入侧图像校正单元120包括行存储器121、命令解译单元122、转换处理单元123和滤波单元124。注意除了转换处理单元123之外的这些单元以与在半导体设备9的失真校正单元900中的单元相似的方式操作，因此省略它们的说明。
转换处理单元123响应于来自命令解译单元122的指令针对在行存储器121中存储的图像数据执行校正处理。在这一实施例中，转换处理单元123针对在行存储器121中存储的图像数据执行缩减处理、平移处理、旋转处理和错切处理。更具体而言，转换处理单元123基于失真校正信息在逐个像素的基础上指定在行存储器121中存储的图像数据的地址并且由此移动像素(平移处理、旋转处理和/或错切处理)和/或删除像素(缩减处理)。也就是说，转换处理单元123不针对图像数据执行放大处理。
<输出侧图像校正单元140的配置>
输出侧图像校正单元140通过共享总线130读取已经经历输入侧图像校正单元120执行的校正处理并且已经在存储器单元93中存储的图像数据(第二图像数据)。然后，输出侧图像校正单元140针对读取的数据执行在仿射转换中包括的校正过程之中的放大处理(第二仿射转换)并且由此生成经失真校正的图像数据(第三图像数据)。然而输出侧图像校正单元140不执行缩减处理。换而言之，在输出侧图像校正单元140中的第二仿射转换包括放大处理，但是不包括缩减处理。
也就是说，半导体设备1通过输入侧校正单元120执行的校正处理和输出侧图像校正单元140执行的校正处理针对向视频输入单元110输入的图像数据使用仿射转换来执行失真校正处理。换而言之，通过对从相机91输入的未校正的图像数据(第一图像数据)执行仿射转换来生成经失真校正的图像数据(第三图像数据)。输出侧图像校正单元140通过针对在存储器单元93中存储的图像数据(第二图像数据)执行放大处理来生成经失真校正的图像数据(第三图像数据)。输出侧图像校正单元140向视频输出单元150输出生成的图像数据。
<半导体设备1的操作示例>
接着参照图18中所示流程图说明根据本发明的这一实施例的半导体设备1的操作示例。注意图18示出针对从相机91输入的与一个屏幕(一帧)对应的图像数据执行的处理。因此，为了通过使用与多帧对应的图像数据在监视器92上显示移动图像，需要重复图18中所示流程。
注意在对象是如下物体这样的假设下进行下文说明，在该物体中与在图7中所示对象的情况下那样在格图案中排列正方形。图19示出通过失真校正处理的过程来改变的图像数据。图19(a)示出尚未对其进行失真校正的图像数据(第一图像数据)，图19(b)示出输入侧图像校正单元120已经对其执行除了在水平方向上的放大处理之外的校正处理的图像数据(第二图像数据)。图19(c)示出输出侧图像校正单元140已经对其执行在水平方向上的放大处理的图像数据，即已经针对其完成失真校正处理的图像数据(第三图像数据)。
另外假设相机91的透镜是鱼眼透镜。因此，如上文参照图7说明的那样，相机91拍摄的图像数据(在失真校正之前的图像数据)是如图19(a)中所示失真的图像数据。另外，放大区域(第一区域)和非放大区域(第二区域)被不均匀地定位。具体而言，图19(a)中的影线区域是放大区域，并且其它区域为非放大区域。矩形非放大区域由放大区域包围。
下文说明失真校正处理的细节。图20示出通过添加从图16中所示框图中的相应块输出的图像数据的状态来获得的框图。也通过参照图20中所示框图来进行下文说明。
<图像输入单元11的操作>
先向视频输入单元110输入相机91的图像拍摄过程生成的图像数据。在这一点，图像数据是如图19(a)中所示失真的图像数据(见图20)。
视频输入单元110针对输入的图像数据执行噪声缩减处理、颜色转换处理等并且向输入侧图像校正单元120输出经处理的图像数据。在视频输入单元110中不执行失真校正处理。因此如图20中所示，向输入侧图像校正单元120输入的图像数据仍然是失真的图像数据(第一图像数据)。
接着，输入侧图像校正单元120针对从视频输入单元110输入的与一个屏幕对应的图像数据执行视频输入循环(步骤S101)。在步骤S101中的视频输入循环中，输入侧图像校正单元120针对输入的图像数据执行在仿射转换的校正过程之中的除了放大处理之外的处理(第一仿射转换)(步骤S1011)。
具体而言，输入侧图像校正单元120基于在存储器单元93中预先存储的失真校正信息针对在输入图像数据中包括的多个像素一次执行缩减处理、旋转处理、平移处理和错切处理。注意在输入侧图像校正单元120中，未必必须执行缩减处理、旋转处理、平移处理和错切处理中的所有处理。在输入侧图像校正单元120中，需要执行缩减处理和至少另一校正处理(旋转处理、平移处理和错切处理中的至少一个处理)。根据图像数据的失真状态如适合的那样确定应当执行哪个校正处理。
更具体而言，命令解译单元122读取在存储器单元93中存储的失真校正信息并且向转换处理单元123输出读取的失真校正信息。假设这一失真校正信息是用户预先定义的信息并且是用于指定具有高放大比的位置和用于降低指定的位置的放大比的信息。
鉴于显示模块一般在逐行基础上读取数据这样的事实，希望在x方向上降低放大比(缩减)。在这一示例中，放大比例如在x方向上是1/2。通过以这一方式使用均匀缩放因子作为放大区域的放大比，应当放大的整个区域的放大比在(随后描述的)放大处理中变成均匀缩放因子。结果，可以减少在放大处理中使用的参数数目。
注意可设想使用如下方法，在该方法中，在输入侧图像校正单元120中按照均匀缩放因子缩减整个图像数据(放大区域和非放大区域)，并且在输出侧图像校正单元140中按照均匀缩放因子放大整个图像。然而如果也缩减无需放大的非放大区域(即使在尚未针对从相机91输入的图像数据执行处理时仍然具有用于显示的足够量值的区域)，则也缩减非放大区域中的像素。结果，在监视器92上显示的图像的图像质量下降。与这一点对照，在这一实施例中，输入侧图像校正单元120按照均匀缩放因子仅缩减如下放大区域，该放大区域是在图像数据中包括的区域的一部分。因此有可能减少其中缩减像素的区域并且由此防止图像质量的下降。
转换处理单元123基于映射信息指定在行存储器121中存储的像素的地址并且执行像素的移动和/或像素的删除。以这一方式，针对从视频输入单元110输入的图像数据执行包括缩减处理、旋转处理、平移处理和/或错切处理的校正处理。
注意在输入侧图像校正单元120中执行的针对图像数据的缩减处理是用于缩减像素的过程。因此，转换处理单元123已经对其执行校正处理的图像数据是包含比从相机91输入的图像数据(见图19(a))的像素数目更少数目的像素的图像数据(见图19(b))。结果，减少了从输入侧图像校正单元120向存储器单元93输出的图像数据的数量。结果，有可能减少如下共享总线130的总线频带，通过该共享总线传输已经对其执行缩减处理的图像数据。注意在图19(a)中所示图像数据中，以用于每个正方形的缩放因子变成均匀这样的方式生成用于非放大区域的映射信息。然后，转换处理单元123如适合的那样执行缩减处理。
输入侧图像校正单元120针对每个像素重复上文描述的转换处理(执行循环处理)。此后，滤波单元124对在转换处理单元123已经对其执行校正处理的图像数据中包括的多个像素一次执行阴影化过程和/或线性插值过程。然后，滤波单元124以一次存储多个像素这样的方式通过共享总线130向存储器单元93中存储经校正处理的图像数据。结果，向存储器单元93中存储了通过针对在行存储器121中存储的与一个屏幕对应的图像数据执行包括缩减处理、旋转处理、平移处理和错切处理的校正处理来获得的图像数据(第二图像数据)(见图20)。
<图像输出单元12的操作>
接着说明输出侧图像校正单元140和视频输出单元150的操作。输出侧图像校正单元140和视频输出单元150检测是否已经输入用于视频输出的同步信号(步骤S102)。在输出侧图像校正单元140和视频输出单元150检测到已经输入用于视频输出的同步信号时(步骤S102：是)，它们执行与一个屏幕对应的视频输出循环(步骤S103)。在步骤S102中的视频输出循环中，输出侧图像校正单元140针对在存储器单元93中存储的图像数据(第二图像数据)执行在仿射转换中包括的校正过程之中的放大处理(第二仿射转换)(步骤S1031)。
具体而言，输出侧图像校正单元140以一次获得多个像素这样的方式通过共享总线130从存储器单元93获得图像数据。在这一点，输出侧图像校正单元140获得的图像数据是输入侧图像校正单元120已经对其执行除了放大处理之外的校正处理的图像数据(第二图像数据)。也就是说，输出侧图像校正单元140通过共享总线130获得的图像数据是已经对其执行缩减处理的图像数据(见图20)。因此，输出侧图像校正单元140获得的图像数据是包含比从相机91输入的图像数据的像素数目更少数目的像素的图像数据。结果，减少了从存储器单元93向输出侧图像校正单元140输出的图像数据的数量并且由此使得有可能减少总线频带。
然后，输出侧图像校正单元140基于在输出侧图像校正单元140中预先设置的寄存器1401中存储的放大信息对获得的像素执行放大处理。然后，输出侧图像校正单元140向视频输出单元150输出已经对其放大处理的像素。也就是说，向视频输出单元150输出输入侧图像校正单元120和输出侧图像校正单元140已经校正其失真的图像数据(第三图像数据)。通过在寄存器1401中预先存储放大信息，有可能省略用于通过共享总线130从其它存储器(例如存储器单元93)读取放大信息的过程。注意放大信息是如下信息，该信息指示在存储器单元93中存储的图像数据之中的应当对其执行放大处理的像素。例如放大信息是包括待放大的像素的地址信息、放大比等的信息。
视频输出单元150针对从输出侧图像校正单元140输入的像素执行颜色调整并且在监视器92上显示经调整的像素(步骤S1032)。输出侧图像校正单元140和视频输出单元150针对每个像素重复上文描述的放大处理和显示处理(执行循环处理)。结果，在监视器92上显示了与一个屏幕对应的经失真校正的图像数据(见图19(c))。通过上文描述的过程，已经完成与一个屏幕对应的失真校正处理。
如上文描述的那样，根据本发明的这一实施例的半导体设备1的配置，输入侧图像校正单元120针对从相机91输入的图像数据(第一图像数据)执行除了放大处理之外的仿射转换(例如缩减处理、平移处理、旋转处理和错切处理)。也就是说，在输入侧图像校正单元120中不执行放大处理。然后，输入侧图像校正单元120通过共享总线130向存储器单元93中存储经校正的图像数据(第二图像数据)。另外，输出侧图像校正单元140通过共享总线130从存储器单元93读取经输入侧图像校正单元120校正的图像数据。输出侧图像校正单元140针对读取的图像数据(第二图像数据)执行放大处理并且向视频输出单元150输出经失真校正的图像数据(第三图像数据)。然后，视频输出单元150使监视器92显示经失真校正的图像。因此尚未对通过共享总线130传输的图像数据执行放大处理。也就是说，通过共享总线130传输的图像数据是输入侧图像校正单元120已经对其执行缩减处理的数据。也就是说，通过共享总线130传输的图像数据具有比已经对其执行放大处理的图像数据的数据量更少的数据量。换而言之，在经历缩减处理之后通过共享总线130传输图像数据。因此无需保证用于共享总线130的宽总线频带并且由此使得与图2中所示半导体设备9的配置比较有可能减少总线频带。结果，设计总线变得更容易并且因此使得有可能减少半导体设备1的逻辑。
另外，输出侧图像校正单元140仅执行在仿射转换中包括的放大处理。换而言之，在输出侧图像校正单元140中执行一个矩阵运算，即用于放大处理的矩阵运算。也就是说，在根据这一实施例的半导体设备1中，虽然通过使用仿射转换来执行失真校正，但是与用于执行放大处理的矩阵运算分离地计算用于执行缩减处理、平移处理、旋转处理和错切处理的矩阵运算。因此针对与一个屏幕对应的失真的图像数据执行两个矩阵运算。也就是说，在输入侧图像校正单元120中执行一个矩阵运算(第一仿射转换)，并且在输出侧图像校正单元140中执行另一矩阵运算(第二仿射转换)。如上文描述的那样，在根据这一实施例的半导体设备1的配置中，在仿射转换中包括的校正过程之中，有意地单独计算用于缩减处理的矩阵运算和用于放大处理的矩阵运算。以这一方式，有可能在通过共享总线130传输图像数据之前缩减图像数据并且在通过共享总线传输图像数据之后放大图像数据。结果，有可能减少共享总线130的总线带宽。
另外，在根据这一实施例的半导体设备1中，输入侧图像校正单元120紧接于视频输入单元110之后(紧接于共享总线130之前)对图像数据执行缩减处理。因此如上文参照图10和11说明的那样，有可能使用比用于视频时钟的频率更低的用于输入侧图像校正单元120的失真校正时钟的频率。
此外，输出侧图像校正单元140紧接于视频输出单元150之前(紧接于共享总线130之后)对图像数据执行放大处理。因此与其中不执行放大处理的情况比较有可能降低共享总线130所需要的输入数据速率。结果，有可能减少在输入侧图像校正单元120和共享总线130上的处理负荷。
与这一点对照，在半导体设备9中执行的处理中，如从图5清楚的那样未生成已经对其执行除了放大处理之外的所有过程的图像数据(见图19(b))。因此通过共享总线130向存储器单元93中存储已经对其执行放大处理的图像数据。然后通过共享总线130向视频输出单元150输出已经经历放大处理并且已经在存储器单元93中存储的图像数据。也就是说，必须通过共享总线130传输已经经历放大处理并且因此具有大数据量的图像数据。因此必须保证宽总线频带用于共享总线130。
<修改示例1>
说明根据本发明的这一实施例的半导体设备1的修改示例1。图21示出根据这一实施例的修改示例1的半导体设备2的配置。图21中所示半导体设备2与图16中所示半导体设备1不同在于在外部存储器单元93中存储输出侧图像校正单元140参考的放大信息。注意其它配置与半导体设备1的其它配置相似，因此如适合的那样省略它的说明。
在输出侧图像校正单元140读取在存储器单元93中存储的图像数据(第二图像数据)时，输出侧图像校正单元140将放大信息与图像数据一起读取。然后，输出侧图像校正单元140基于从存储器单元93读取的放大信息针对从存储器单元93读取的图像数据执行放大处理。
如上文描述的那样，根据修改示例1的半导体设备2的配置，在存储器单元93中预先存储放大信息。以这一方式，无需在半导体设备2的输出侧图像校正单元140中存储放大信息。结果，有可能减少半导体设备2的存储器成本。
<修改示例2>
说明根据本发明的这一实施例的修改示例2。在上文描述的第一实施例中，转换处理单元123生成的映射信息可以用具体方式指定放大区域和非放大区域。然而由于这一特征而使映射信息变复杂。
在修改示例2中，沿着Y轴方向将图像数据划分成三段。另外指定每段为放大区域或者非放大区域。具体而言，如图22中所示，指定图像数据中的如下区域为放大区域(第一区域)，该区域在y轴上的坐标等于或者大于y1。另外指定如下区域为非放大区域(第二区域)，该区域在y轴上的坐标等于或者大于y2并且小于y1。另外指定如下区域为放大区域(第一区域)，该区域在y轴上的坐标小于y2。也就是说，仅基于y轴坐标确定在尚未对其进行校正的图像数据(第一图像数据)和尚未对其进行放大处理的图像数据(第二图像数据)中的放大区域和非放大区域。
如上文描述的那样，根据修改示例2的半导体设备的配置，可以仅基于y轴确定放大区域和非放大区域。通过以这一方式定义区域，定义区域变得更容易。具体而言，在上述第一实施例中有必要定义放大区域为矩形区域。然而在修改示例2中，可以通过在y轴上确定仅两点来定义放大区域。因此有可能减少必需设置参数并且由此使转换处理单元123中的映射分析更容易。
另外有可能容易确定它是否为放大区域。具体而言，转换处理单元123可以仅通过比较当前处理的y坐标与预定义的两点的y坐标来确定是否应当基于失真校正信息放大当前处理的区域(像素)。无需赘言，可以仅基于在x轴上的两点而不是在y轴上的两点确定放大区域和非放大区域。
<修改示例3>
下文参照附图说明修改示例3。图23示出根据本发明的修改示例3的半导体设备3的框图。在上文描述的第一实施例中，用户定义放大信息并且在输出侧图像校正单元140的寄存器1401或者存储器单元93中预先存储定义的放大信息。根据修改示例3的半导体设备3的特征在于输入侧图像校正单元220生成放大处理。注意其它配置与半导体设备1的其它配置相似，因此如适合的那样省略它的说明。
输入侧图像校正单元220的转换处理单元123基于在存储器单元93中存储的失真校正信息生成映射信息并且用来对未校正的图像数据(第一图像数据)校正失真。然后，转换处理单元123基于映射信息执行除了放大处理之外的校正处理。
注意转换处理单元123基于失真校正信息生成放大信息。具体而言，转换处理单元123基于失真校正信息提取放大比。转换处理单元13确定提取的放大比是否超过预定放大比(例如二)。另外，转换处理单元123不放大其放大比大于预定放大比的像素，但是通过使用像素的放大比和地址来生成放大信息。转换处理单元123通过共享总线130向存储器单元93中存储生成的放大信息。
然后，输出侧图像校正单元140也读取在存储器单元93中存储的放大信息。输出侧图像校正单元140基于从存储器单元93读取的放大信息针对从存储器单元93读取的图像数据执行放大处理。
如上文描述的那样，根据修改示例3的半导体设备3的配置，输入侧图像校正单元220基于失真校正信息自动生成放大信息。因此，用户无需针对输出侧图像校正单元140执行的放大处理预先单独定义放大信息。也就是说，用户需要针对失真校正处理而定义的所有信息仅为失真校正信息。结果，用户可以省掉他的/她的麻烦。
注意生成放大信息的处理单元不限于转换处理单元123。在输入侧图像校正单元220中设置的其它处理单元可以生成放大信息。备选地，可以在输入侧图像校正单元220以外单独提供用于生成放大信息的处理单元。
<修改示例4>
说明根据本发明的这一实施例的修改示例4。图24示出根据本发明的修改示例4的半导体设备4的框图。半导体设备4的特征在于输入侧图像校正单元220向输出侧图像校正单元140直接输出生成的放大信息。注意其它配置与根据修改示例3的半导体设备3的其它配置相似，因此如适合的那样省略它的说明。
具体而言，输入侧图像校正单元220向输出侧图像校正单元140的寄存器1401中存储生成的放大信息而未向存储器单元93中暂时存储放大信息。然后，输出侧图像校正单元140基于在寄存器1401中存储的放大信息针对通过共享总线130从存储器单元130读取的图像数据(第二图像数据)执行放大处理。
如上文描述的那样，根据修改示例4的半导体设备4的配置，由于无需向存储器单元93中存储修改信息，所以可以减少用于存储器单元93的存储器成本。另外由于输入侧图像校正单元220向寄存器1401中存储放大信息，所以也可以省略输出侧图像校正单元140执行的用于从存储器单元93读取放大信息的过程。结果，有可能减少输出侧图像校正单元140上的处理负荷。无需赘言，与上文描述的修改示例3相似，由于输入侧图像校正单元220自动生成放大信息，所以用户可以省掉他的/她的麻烦。
<第二实施例>
下文参照附图说明根据本发明的第二实施例。图25示出根据本发明的这一实施例的半导体设备5的框图。在半导体设备5中，视频输入单元110未直接连接到输入侧图像校正单元120。注意其它配置与半导体设备1的其它配置相似，因此如适合的那样省略它的说明。
视频输入单元110未向输入侧图像校正单元120直接输出从相机91输入的图像数据，而是通过共享总线130向存储器单元93暂时输出图像数据。也就是说，向存储器单元93中存储相机91生成的图像数据(第一图像数据)而未未针对其失真进行校正。
输入侧图像校正单元120通过共享总线130读取视频输入单元110已经在存储器单元93中存储的图像数据。另外，输入侧图像校正单元120通过共享总线130读取在存储器单元93中预先存储的失真校正信息。然后，输入侧图像校正单元120基于失真校正信息执行缩减处理和移动处理(平移处理、旋转处理和错切处理)。输入侧图像校正单元120通过共享总线130向存储器单元93中存储已经对其执行校正处理的图像数据(第二图像数据)。后续处理(输出图像校正单元140和视频输出单元150)与第一实施例的后续处理相似，因此省略它的说明。
如上文描述的那样，根据这一实施例的半导体设备5的配置，输入侧图像校正单元120未直接连接到视频输入单元110。因此无需构造输入侧图像校正单元120和视频输入单元110为集成硬件。换而言之，输入侧图像校正单元120可以是在CPU的控制之下运行的软件。通过构造输入侧图像校正单元120为软件，有可能简化包括视频输入单元110的图像输入单元11的硬件配置(见图16)。另外由于对输入侧图像校正单元120的位置无特定限制，所以可以提高设计灵活性。
无需赘言，在这一实施例中，在通过共享总线130传输在存储器单元93中存储的图像数据(第二图像数据)之后，在输出侧图像校正单元140中执行针对图像数据的放大处理。因此未通过共享总线130传输已经对其执行放大处理的图像数据。结果，有可能减少共享总线130的总线频带。
<第三实施例>
下文参照附图说明根据本发明的第三实施例。图26示出根据本发明的这一实施例的半导体设备6的框图。半导体设备6的配置与图16中所示半导体设备的配置相似。然而半导体设备6的特征在于输出侧图像校正单元240除了放大处理之外也执行其它校正处理。具体而言，输出侧图像校正单元240使放大处理已经校正其失真的图像再次失真。注意其它配置与半导体设备1的其它配置相似，因此如适合的那样省略它的说明。
注意根据这一实施例的半导体设备6不是用于在用户直接查看的监视器92上显示图像的设备，而是用于例如在投影机(诸如投影仪)的液晶面板94上显示图像的设备。放大并且向屏幕、墙壁等上投影在液晶面板94上显示的图像。也就是说，用户查看的图像是投影仪放大并且向屏幕上投影的图像。
注意待放大和投影的图像失真。因此在向平面屏幕上投影图像时使在屏幕上投影的图像失真。然而在向其上投影图像的表面失真时，在弯曲的屏幕上投影的图像变成未失真的图像。因此例如在向汽车的挡风玻璃等上投影图像时，可以适当应用根据这一实施例的半导体设备6的配置。
与上文描述的第一和第二实施例相似，输出侧图像校正单元240通过共享总线130从存储器单元93读取图像数据。然后，输出侧图像校正单元240基于放大信息针对读取的图像数据执行放大处理。以这一方式，图像数据变成经失真校正的图像数据(第三图像数据)。
此外，输出侧图像校正单元240使经失真校正的图像数据(第三图像数据)再次失真。具体而言，输出侧图像校正单元240基于在存储器单元93中预先存储的失真信息针对经失真校正的图像数据执行缩减处理、放大处理、平移处理、旋转处理和错切处理。以这一方式，输出侧图像校正单元240使图像数据再次失真。注意失真信息是用来使未失真的图像失真的参数。例如失真信息是用于根据向其上投影图像的弯曲屏幕的形状和/或曲率预先定义的仿射转换的变换矩阵等。注意针对用于向弯曲表面上投影图像的具体原理，可以使用公知技术。因此省略它的具体说明。
然后，视频输出单元150基于从输出侧图像校正单元240输出的失真的图像数据在液晶面板94上显示失真的图像。然后，投影仪(未示出)放大和投影在液晶面板94上显示的图像。
如上文描述的那样，根据这一实施例的半导体设备6的配置，输出侧图像校正单元240基于失真信息使经失真校正的图像数据(第三图像数据)再次失真。然后，视频输出单元150在液晶面板94上显示失真的图像。因此即使在弯曲屏幕上投影从半导体设备6输出的图像数据时，用户仍然看见未失真的图像，因此使得有可能提高图像的可视性。
上文已经基于实施例以具体方式说明本申请的发明人实现的本发明。然而本发明不限于上文描述的实施例，并且无需赘言，可以进行各种修改和组合而未脱离本发明的精神实质和范围。
例如可以在输入侧图像校正单元120中对图像数据仅执行缩减处理，并且可以在输出侧图像校正单元140中针对已经对其执行缩减处理的图像数据执行放大处理、旋转处理、平移处理和错切处理。另外，可以在输入侧图像校正单元120中执行缩减处理以及在旋转处理、平移处理和错切处理中的部分处理，并且可以在输出侧图像校正单元140中执行放大处理以及在旋转处理、平移处理和错切处理中的其余部分处理。另外，可以在输入侧图像校正单元120中执行放大处理的部分。例如输入侧图像校正单元120可以针对图像数据的区域的一部分执行放大处理，并且输出侧图像校正单元140可以针对图像数据的其它区域执行放大处理。另外，例如在需要执行因子为四的放大处理时，可以在输入侧图像校正单元120中执行因子为二的放大处理，并且可以在输出侧图像校正单元140中执行因子为二的另一放大处理。
另外，虽然在上文描述的实施例中说明其中半导体设备连接到外部相机91和外部监视器92的示例，但是可以实施本发明为包括图像拍摄单元(对应于相机91)、显示单元(对应于监视器92)和半导体设备的一个电子装置。包括图像拍摄单元和显示单元的电子装置可以例如用作汽车导航装置。
本领域普通技术人员可以如希望的那样组合第一至第三实施例。
尽管已经在若干实施例方面描述本发明，但是本领域技术人员将认识到可以在所附权利要求的精神实质和范围内用各种修改实现本发明并且本发明不限于上文描述的示例。
另外，权利要求的范围不受上文描述的实施例限制。
另外注意，即使以后在实施期间有修改，申请人的意图仍然是涵盖所有权利要求要素的等效要素。

Claims (13)

1.一种半导体设备，包括：
数据总线；
图像输入单元，其从图像拍摄设备接收第一图像数据并且通过所述数据总线向存储单元输出第二图像数据；以及
图像输出单元，其通过所述数据总线接收在所述存储单元中存储的所述第二图像数据并且向图像显示设备输出第三图像数据，其中
通过经由所述图像输入单元和所述图像输出单元对所述第一图像数据执行仿射转换来生成所述第三图像数据；并且
在所述图像输入单元中执行所述仿射转换中的缩减处理而不执行所述仿射转换中的放大处理，并且在所述图像输出单元中执行所述仿射转换中的放大处理而不执行所述仿射转换中的缩减处理。
2.根据权利要求1所述的半导体设备，其中：
所述图像输入单元针对所述第一图像数据执行缩减处理、移动处理、旋转处理和错切处理，并且
所述图像输出单元针对所述第二图像数据执行所述放大处理。
3.根据权利要求1所述的半导体设备，其中所述图像输入单元针对所述第一图像数据的第一区域执行所述缩减处理，并且
所述图像输出单元针对所述第二图像数据的第二区域执行所述放大处理，所述第二区域不同于所述第一区域。
4.根据权利要求3所述的半导体设备，其中仅基于所述第一图像数据和所述第二图像数据的X轴坐标或者y轴坐标确定所述第一区域和所述第二区域的位置。
5.根据权利要求1所述的半导体设备，其中所述图像输入单元包括：
视频输入单元，其从所述图像拍摄设备获得所述第一图像数据；以及
图像校正单元，其对所述第一图像数据执行仿射转换。
6.根据权利要求1所述的半导体设备，其中所述图像输出单元包括：
图像校正单元，其对所述第二图像数据执行仿射转换；以及
视频输出单元，其向所述图像显示单元输出所述第三图像数据。
7.根据权利要求1所述的半导体设备，其中所述图像输出单元通过使用仿射转换基于失真信息使已经校正其失真的所述第三图像数据再次失真，并且向所述图像显示设备输出所述失真的图像数据，所述失真信息根据向其上投影在所述图像显示设备上显示的所述图像的投影表面的形状来预先定义。
8.根据权利要求1所述的半导体设备，其中所述图像输出单元基于用于执行所述放大处理预定义的放大信息执行所述放大处理。
9.根据权利要求8所述的半导体设备，其中在所述图像输出单元中存储所述放大信息。
10.根据权利要求8所述的半导体设备，其中在所述存储单元中存储所述放大信息。
11.根据权利要求8所述的半导体设备，其中所述图像输入单元基于用于校正所述第一图像数据的失真的失真校正信息生成所述放大信息。
12.一种电子装置，包括：
图像拍摄单元；
图像输入单元，其接收从所述图像拍摄单元输出的第一图像数据；
数据总线；
存储单元，其通过所述数据总线存储从所述图像输入单元输出的第二图像数据；
图像输出单元，其通过所述数据总线接收在所述存储单元中存储的所述第二图像数据；以及
图像显示设备，其接收从所述图像输出单元输出的第三图像数据，其中
通过经由所述图像输入单元和所述图像输出单元对所述第一图像数据执行仿射转换来生成所述第三图像数据，并且
在所述图像输入单元中执行所述仿射转换中的缩减处理而不执行所述仿射转换中的放大处理，并且在所述图像输出单元中执行所述仿射转换中的放大处理而不执行所述仿射转换中的缩减处理。
13.一种图像处理方法，包括：
(a)从图像拍摄设备获得第一图像数据的步骤；
(b)针对所述第一图像数据执行第一仿射转换并且由此生成第二图像数据的步骤；
(c)通过数据总线向存储单元中存储所述第二图像数据的步骤；
(d)通过所述数据总线向图像输出单元输入在所述存储单元中存储的所述第二图像数据的步骤；
(e)针对所述第二图像数据执行第二仿射转换并且由此生成第三图像数据的步骤；以及
(f)向图像显示设备输出所述第三图像数据的步骤，其中
所述第一仿射转换包括缩减处理而不包括放大处理；并且
所述第二仿射转换包括放大处理而不包括缩减处理。
CN201310163462.0A 2012-04-25 2013-04-24 半导体设备、电子装置和图像处理方法 Active CN103379344B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-100282 2012-04-25
JP2012100282A JP5925579B2 (ja) 2012-04-25 2012-04-25 半導体装置、電子装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
CN103379344A CN103379344A (zh) 2013-10-30
CN103379344B true CN103379344B (zh) 2017-03-01

Family

ID=49463831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310163462.0A Active CN103379344B (zh) 2012-04-25 2013-04-24 半导体设备、电子装置和图像处理方法

Country Status (3)

Country Link
US (4) US9245313B2 (zh)
JP (1) JP5925579B2 (zh)
CN (1) CN103379344B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429452B2 (ja) * 2013-11-22 2018-11-28 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置
KR101583155B1 (ko) * 2014-09-24 2016-01-07 중앙대학교 산학협력단 어안렌즈 영상 보정 방법 및 그 장치
CN106034203B (zh) * 2015-03-11 2020-07-28 维科技术有限公司 拍摄终端的图像处理方法及其装置
JP6143199B2 (ja) * 2015-03-18 2017-06-07 カシオ計算機株式会社 画像補正装置、画像補正方法、及びプログラム
CN106993133B (zh) * 2015-06-30 2019-08-30 Oppo广东移动通信有限公司 一种畸变校正方法及终端
JP6672873B2 (ja) * 2016-02-22 2020-03-25 セイコーエプソン株式会社 画像処理装置、表示装置、及び、表示装置の制御方法
JP7164289B2 (ja) * 2016-09-05 2022-11-01 東京エレクトロン株式会社 半導体プロセッシング中のオーバレイを制御するための湾曲を制御する応力の位置特定チューニング
CN108174100A (zh) * 2017-12-29 2018-06-15 努比亚技术有限公司 拍照方法及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4837844A (en) * 1986-04-30 1989-06-06 Kabushiki Kaisha Toshiba Image processing apparatus
CN101729720A (zh) * 2008-10-29 2010-06-09 佳能株式会社 处理经过网屏处理的图像的图像处理装置和图像处理方法
CN101815163A (zh) * 2009-02-19 2010-08-25 索尼公司 图像处理设备及程序和焦平面失真分量计算方法
JP2012023666A (ja) * 2010-07-16 2012-02-02 Renesas Electronics Corp 画像変換装置及び画像変換システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2685548B2 (ja) * 1988-11-28 1997-12-03 株式会社日立製作所 ディジタル画像データの回転方法およびその装置
US5161013A (en) * 1991-04-08 1992-11-03 Honeywell Inc. Data projection system with compensation for nonplanar screen
JPH10271490A (ja) 1997-03-24 1998-10-09 Yazaki Corp 車両後方監視装置
JP3104868B2 (ja) * 1997-11-25 2000-10-30 富士ゼロックス株式会社 画像処理装置
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP2004088510A (ja) * 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd ズーム処理装置およびズーム処理方法
DE602006021225D1 (de) * 2005-11-11 2011-05-19 Sony Corp Bildverarbeitungseinrichtung, bildverarbeitungsverfahren, programm dafür und das programm enthaltendes aufzeichnungsmedium
JP2011118553A (ja) * 2009-12-01 2011-06-16 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4837844A (en) * 1986-04-30 1989-06-06 Kabushiki Kaisha Toshiba Image processing apparatus
CN101729720A (zh) * 2008-10-29 2010-06-09 佳能株式会社 处理经过网屏处理的图像的图像处理装置和图像处理方法
CN101815163A (zh) * 2009-02-19 2010-08-25 索尼公司 图像处理设备及程序和焦平面失真分量计算方法
JP2012023666A (ja) * 2010-07-16 2012-02-02 Renesas Electronics Corp 画像変換装置及び画像変換システム

Also Published As

Publication number Publication date
JP2013228866A (ja) 2013-11-07
US10387995B2 (en) 2019-08-20
US9245313B2 (en) 2016-01-26
JP5925579B2 (ja) 2016-05-25
US20130287319A1 (en) 2013-10-31
US20160110842A1 (en) 2016-04-21
US20170308991A1 (en) 2017-10-26
CN103379344A (zh) 2013-10-30
US9721323B2 (en) 2017-08-01
US20170039677A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN103379344B (zh) 半导体设备、电子装置和图像处理方法
CN105120247B (zh) 一种白平衡调整方法及电子设备
CN110225232B (zh) 图像处理装置
CN101090457A (zh) 产生图像的设备和方法
JP2016208307A (ja) 画像処理装置、その制御方法及びプログラム
US9071750B2 (en) Semiconductor integrated circuit and multi-angle video system
US8724923B2 (en) Image processing apparatus and image processing method for correcting distorted image data
CN106791367B (zh) 一种拍摄装置及方法、移动终端
JP6263025B2 (ja) 画像処理装置及びその制御方法
CN106161987A (zh) 一种多图像同屏显示方法及多图像同屏显示系统
CN113660425A (zh) 图像处理方法、装置、电子设备及可读存储介质
US20140300935A1 (en) Image processing apparatus and control method thereof
CN102065253B (zh) 一种软硬件协同的图像水平缩放方法及装置
JP2956527B2 (ja) 画像メモリ機能付き映像装置
CN111105356B (zh) 图像处理方法、装置及计算机可读存储介质
KR20150019192A (ko) Avm 시스템을 위한 영상 합성 장치 및 그 방법
CN106488163A (zh) 调整数据阵列的方法和装置
US20130021371A1 (en) Image display apparatus and image display method
JP4882954B2 (ja) 撮像装置、情報合成装置及びプログラム
US20150229876A1 (en) Image processor, image-processing method and program
CN115866318A (zh) 多路视频数据处理方法、装置、设备及可读存储介质
JPH04349496A (ja) 画像処理装置及びその方式
JP5224492B2 (ja) 画像データ転送制御装置及び画像データ転送方法並びに該画像データ転送装置を有するカメラ
JP2007243819A (ja) 画像処理装置
CN105657306B (zh) 梯形校正方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: RENESAS ELECTRONICS CORPORATION

Free format text: FORMER OWNER: RENESAS MOBILE CORP.

Effective date: 20150309

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150309

Address after: Kanagawa

Applicant after: Renesas Electronics Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Renesas Mobile Corp.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan, Japan

Applicant after: Renesas Electronics Corporation

Address before: Kanagawa

Applicant before: Renesas Electronics Corporation

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant