CN101188774B

CN101188774B - 图像处理设备和图像处理方法

Info

Publication number: CN101188774B
Application number: CN2007101693182A
Authority: CN
Inventors: 神谷了; 伊藤政幸
Original assignee: Sony Corp; OPT Corp
Current assignee: OPT Corp; Sony Group Corp
Priority date: 2006-11-22
Filing date: 2007-11-22
Publication date: 2012-07-18
Anticipated expiration: 2027-11-22
Also published as: JP4931055B2; JP2008129903A; US20080118180A1; US8189953B2; CN101188774A

Abstract

公开了一种图像处理设备。该图像处理设备包括：缩小部分，用于生成由多个缩小线数据构成的缩小数据的缩小线数据，并每隔预定定时顺序输出该缩小线数据，该缩小数据是通过缩小利用广角镜头捕获的具有失真的宽视野图像而获得的；切换部分，用于响应于该预定定时而执行从宽视野图像数据的输出到缩小线数据的输出的切换；和缓冲器，用于暂时存储宽视野图像数据和由在该切换之后输出的多个缩小数据构成的缩小数据。

Description

图像处理设备和图像处理方法

相关申请的交叉引用

本发明包括与2006年11月22日向日本专利局提交的日本专利申请JP2006-315164相关的主题，通过引用在这里合并其全部内容。

技术领域

本发明涉及用于处理利用广角镜头捕获的图像的图像处理设备和图像处理方法。

背景技术

过去，已提出了这样的技术，其中用户指定例如利用鱼眼镜头捕获的图像中的必要区域，校正所指定的区域中的鱼眼图像数据的失真变形，并在监视器上显示所校正的图像。所捕获的图像不仅是静止图像而且是运动图像(例如，见专利文献1)。

在该专利文献1中，在监视器(28)的一部分上显示鱼眼图像数据(24)，并通过利用控制杆(27)指定所显示的数据的一部分而指定显示区域(25)。在监视器(28)上显示通过校正所指定的鱼眼图像数据(24)的失真变形而获得的平面再现图像(29)。当试图将鱼眼图像数据(24)添加到刚刚描述的平面再现图像(29)的一部分上时，必须读取平面再现图像(29)的像素数据并重构该图像。

专利文献1：日本专利申请公开No.2000-324386(段落[0010]、图1、图2)

发明内容

当在将例如鱼眼图像数据的数据添加到上述整个屏幕的一部分上时、将高像素传感器用作图像捕获传感器时，读取以上像素数据花费时间。

考虑到以上情况，期望提供一种当将利用广角镜头捕获的宽视野图像添加到整个屏幕的一部分上时能够有效执行处理的技术。

根据本发明的实施例，提供了一种图像处理设备。该图像处理设备包括：缩小(thinning-out)部分，用于生成由多个缩小线数据构成的缩小数据的缩小线数据，并每隔预定定时顺序输出该缩小线数据，该缩小数据是通过缩小利用广角镜头捕获的具有失真的宽视野图像而获得的；切换部分，用于响应于该预定定时而执行从宽视野图像数据的输出到缩小线数据的输出的切换；和缓冲器，用于暂时存储宽视野图像数据和由在该切换之后输出的多个缩小线数据构成的缩小数据。

在本发明的实施例中，在从宽视野图像数据切换到缩小线数据之后，将该缩小部分生成的缩小线数据输出到缓冲器。由此，有效生成了与该宽视野图像数据对应的缩小数据。

根据本发明的实施例，该缩小部分包括：第一相加部分，用于沿线方向以预定数目像素为单位将构成该宽视野图像数据的各像素的像素数据相加，并输出通过相加获得的相加后的像素数据；和第二相加部分，用于沿列方向以预定数目线为单位将由顺序输出的预定数目的相加后的像素数据构成的线数据相加，并输出通过相加获得的缩小线数据。在本发明的实施例中，线方向和列方向之间的分离使得可能进行有效缩小处理。

根据本发明的实施例，该图像处理设备还包括变换部分，用于将宽视野图像的RGB数据变换为包括亮度数据和色差数据的亮度/色差数据，并且该缩小部分生成通过变换部分的变换获得的亮度/色差数据的缩小线数据。在本发明的实施例中，在变换为比RGB数据具有更小数据量的亮度/色差数据之后，生成缩小数据，这使得可能降低计算量并实现有效处理。

根据本发明的实施例，该缩小部分以与通过变换部分的变换获得的亮度/色差数据相同的格式生成该缩小线数据。结果，可将经过缩小处理的亮度/色差数据如实再现为缩小线数据。

根据本发明的实施例，该图像处理设备还包括：校正部分，用于校正从该宽视野图像中选择出的选定区域的图像的失真；和合成部分，用于合成该校正部分获得的失真校正后的图像和包括通过加亮该选定区域获得的加亮区域的缩小数据，作为一个屏幕的图像数据。在本发明的实施例中，在缩小数据中包括该加亮区域，使得用户可识别出加亮了宽视野整体图像中的哪部分(缩小数据的图像)。另外，合成通过校正该选定区域图像的失真而获得的图像和该缩小图像，使得用户可在看见缩小图像的同时看见失真校正后的图像。

根据本发明实施例的图像处理方法包括：生成由多个缩小线数据构成的缩小数据的缩小线数据，该缩小数据是通过缩小利用广角镜头捕获的具有失真的宽视野图像而获得的；每隔预定定时顺序输出该缩小线数据；响应于该预定定时而执行从宽视野图像数据的输出到缩小线数据的输出的切换；和暂时存储宽视野图像数据和由在该切换之后输出的多个缩小线数据构成的缩小数据。

如上所述，根据本发明的实施例，在其中向宽视野图像的一部分添加缩小数据的处理中，可执行有效处理。

附图说明

图1是示出了根据本发明实施例的图像处理系统的配置的方框图；

图2A到2C是示出了由图像处理设备进行图像处理并在显示单元中显示的各种图像的示例的图；

图3是示出了由球代表的视野的图；

图4A到4C是各自示出当相机利用广角镜头捕获图像时的视野(捕获范围)的图；

图5是示出了该图像处理设备的操作的流程图；

图6A和6B是解释座标变换的原理的示例的图；

图7A到7D是解释座标变换的原理的示例的图；

图8是解释座标变换的原理的示例的图；

图9是解释座标变换的原理的示例的图；

图10是示出了响应于来自输入装置的输入信号更新所选择的区域图像的操作的流程图；

图11是示出了缩小处理电路的硬件配置的方框图；

图12是示出了缩小电路的硬件配置的方框图；

图13A是示出了像素数据相加电路的配置的图，而图13B是示出了线数据相加电路的配置的图；

图14是示出了第一计数器(第二计数器)的配置的图；

图15是示出了第一指示器(pointer)(第二指示器)的配置的图；

图16是示出了当缩小电路生成缩小线数据时的操作的流程图；

图17是示出了相加像素数据的方式的图；

图18是示出了相加线数据的方式的图；

图19是示出了在帧缓冲器和帧存储器中存储的图像的图；

图20是示出了相加YCrCb像素数据的方式的图；

图21是示出了4:2:0 YCrCb像素数据的图；和

图22是示出了在维持图21中的像素数据的格式的同时生成缩小数据的方式的图。

具体实施方式

下面将参考附图来描述本发明的实施例。

图1是示出了根据本发明实施例的图像处理系统的配置的方框图。图像处理系统包括广角镜头1、图像处理设备10、和显示单元12，另外还包括外部装置13、输入装置14等。图像处理设备10包括图像传感器2、颜色处理电路3、失真校正处理电路4、缩小处理电路15、控制器5、存储器6、图像压缩电路7、显示接口8、USB(通用串行总线)接口9、和输入装置接口11。

图像传感器2是将通过广角镜头1接受的光变换为电信号的传感器。例如，使用CMOS(互补金属氧化物半导体)传感器、CCD(电荷耦合器件)等。作为广角镜头1，使用具有宽视角或宽场角(field angle)的镜头，并例如使用具有45度或更大场角的镜头，但是广角镜头1不限于此。作为广角镜头1的示例，列出鱼眼镜头、可获得环形图像的PAL(全景环形镜头)(环形镜头)等。作为选择，通过使用具有大约180°场角的两个鱼眼镜头，可捕获具有全面(all-round)(球面空间(360°))视野的图像。

颜色处理电路3包括YCrCb变换电路(未示出)，用于将从图像传感器2输出的RGB数据变换为包括亮度数据和色差数据的YCrCb数据(YUV数据)。颜色处理电路3另外包括(尽管未示出)：用于控制光强的AE(自动曝光)操作电路、用于控制白平衡的AWB(自动白平衡)操作电路、和用于对通过非线性表过滤的每一RGrGbB像素执行增益调节的增益调节电路。

如图2C所示，缩小处理电路15是生成通过缩小宽视野图像25所获得的宽视野图像(其后称为缩小图像)45的电路。

失真校正处理电路4主要对颜色处理电路3处理的具有失真的图像执行失真校正处理。此外，失真校正处理电路4在失真校正处理中对包括亮度数据和色差数据的像素数据(以上YCrCb数据)执行座标内插处理，这将稍后进行描述。存储器6在失真校正处理电路4的处理中起到缓冲器的作用。具体来说，存储器6具有存储稍后描述的选定区域图像的像素数据(RGB数据或YCrCb数据)的功能。未示出的DMA(直接存储器存取)电路可与存储器6相连。在该情况下，独立于控制器5的控制，向存储器6输入数据并从存储器6输出数据。

控制器5对整体图像处理设备10执行总体控制，并且其由例如CPU(中央处理单元)构成。

图像压缩电路7按照预定格式对失真校正处理电路4所处理的图像进行压缩。作为压缩格式，使用例如JPEG(联合摄影专家组)。然而，可适当地使用任何其他公知格式。

显示接口8是将失真校正处理电路4所处理的图像输出到显示单元12的接口。显示接口8按照例如NTSC(国家电视系统委员会)格式、PAL(逐行倒相制式)格式等生成输出数据。

USB接口9控制将图像压缩电路7所处理的图像输出到例如外部计算机的外部装置13。顺便提及，以上显示接口8也可输出图像压缩电路7所压缩的图像。

输入装置接口11例如接收用户输入的操作的信号。作为输入装置14，例如列出了鼠标、键盘、开关装置、触摸传感器、游戏装置的控制器、用户可握住的棒形操作装置、或其他装置。

顺便提及，该实施例中的“图像”包括静止图像，但实际上，其在许多情况下被处理为活动图像。

颜色处理电路3、失真校正处理电路4、缩小处理电路15、控制器5等的每一个可例如通过至少FPGA(现场可编程门阵列)或DSP(数字信号处理器)而实现处理。

图2A到2C示出了由图像处理设备10进行图像处理并在显示单元12中显示的各种图像的示例。图2A示出了整体图像，其包括通过加亮广角镜头1获得的宽视野图像25中的选定区域而获得的加亮区域16。加亮区域16是例如框架形状光标。然而，加亮区域16不限于这样的光标，并可采用以下这样的形式，以便以与整体图像25中除了加亮区域16之外的部分不同的颜色显示。即，加亮区域16仅可采用这样的形式，当观看宽视野图像25时，用户可区分该加亮区域和其他区域。利用输入装置14，用户通过加亮区域16选择整体图像25中的期望区域(由加亮区域16环绕的范围)，并且控制器5将该范围作为选定区域来执行各种处理。

其后，将不包括加亮区域16的图2A的图像称为“宽视野图像”。此外，如图2A所示，宽视野图像中包括加亮区域16的图像被称为“整体图像25”，并由此进行“宽视野图像25”和“整体图像25”之间的区分。此外，由加亮区域16环绕的范围的图像被称为“选定区域图像”。

整体图像25中的选定区域不限于采取用户选择的形式。例如，可以想到其中选择整体图像25中的预置区域的形式。在该情况下，仅必须将指示该区域的信息(位置信息等)预先存储在未示出的ROM、外部存储器等之中。还可以想到这样的形式，其中除了预置选定区域的以上情况之外，在自动识别到整体图像25中的某一特定区域的情况下，将自动识别的“特定区域”处理为“选定区域”。作为选择，还可想到其中将由未示出的各种传感器中的每一个在整体图像25中检测出的部分图像区域处理为“选定区域”的形式。在该情况下，传感器的示例包括光传感器、温度传感器、压力传感器、声音传感器、湿度传感器、振动传感器、气体传感器、和其他各种传感器。

图2B是示出了通过校正选定区域的失真获得的失真校正后的图像的图。图2C示出了通过将缩小以上整体图像25所获得的缩小图像45和校正失真所获得的失真校正后的图像35合成为一个屏幕的图像数据、而获得的合成图像36。失真校正处理电路4还生成这样的合成图像，并将其输出到显示单元12等。在图2C所示缩小图像45中也合成并显示加亮区域16，使得用户可识别出加亮了宽视野缩小图像45中的哪个部分。另外，合成通过校正选定区域图像的失真所获得的图像和缩小图像45，使得用户可在看见缩小图像45的同时看见失真校正后的图像35。在生成合成图像36的过程中，例如仅必须使用OSD(在屏显示)技术等。

控制器5可例如响应于来自输入装置接口11的输入信息，而执行图2A、2B和2C所示的整体图像25、失真校正后的图像35、和合成图像36的输出之间的切换。换言之，控制器5主要具有三个显示模式，并适当地执行这些模式之间的切换。

顺便提及，显示图2A的整体图像25的模式可以是显示宽视野图像25的模式，在该宽视野图像25中，不显示加亮区域16。图2C所示缩小数据的显示位置在选定区域图像35的左上角，但是可以任意设置。

接下来，将描述装备有广角镜头1的相机的安装状态的形式。

当参考图3视点处于球31的中心O时，可捕获该视点O的视野变为由球31代表的三维空间。例如，当将具有大约180°视野的鱼眼镜头用作广角镜头时，该鱼眼镜头所捕获的视野是球31的半球部分。例如，图4A示出了球31的上半部分的视野(沿实际三维空间的向上方向)(其后称为上半球视野)。图4B示出了球31的下半部分的视野(沿实际三维空间的向下方向)(其后称为下半球视野)。图4C示出了球31的侧半部分的视野(其后称为侧半球视野)。具体来说，在图4A的示例中，假设从地、地板、和桌子向上观看的情况。在图4B的示例中，假设从天花板和从上向下观看的情况。在图4C的示例中，假设从与地垂直的墙壁等水平或侧向观看的情况。

除此之外，也可想到斜向上一半和斜向下一半视野。如所描述的，当安装鱼眼镜头时，通过以各种方式设置鱼眼镜头的方向或倾角，可获得各种半球视野。

顺便提及，在图4A到4C中，描述了使用鱼眼镜头的情况。除了该情况之外，当使用各种类型广角镜头1时，视野当然也根据每一镜头的方向或倾角改变。

接下来，将描述由此构成的图像处理设备10的操作。图5是示出该操作的流程图。

该控制器5通过图像传感器2将通过鱼眼镜头1接受的光变换为电信号(步骤S501)。控制器5通过颜色处理电路3执行颜色处理(步骤502)。在该颜色处理中，特别将RGB数据变换为YCrCb数据。在该变换处理中，仅必须采用4:4:4格式。作为选择，也可执行按照4:2:2格式、4:1:1格式、或4:2:0格式的缩小。将YCrCb数据存储在存储器6中(步骤503)。

顺便提及，从RGB到YCrCb的变换等式由以下等式(1)到(3)表达。然而，在这些等式中，每一项的数值可轻微改变。

Y＝0.299R+0.587G+0.114B ...(1)

Cr＝0.500R-0.419G-0.081B ...(2)

Cb＝-0.169R-0.33 1G+0.500B ...(3)

控制器5通过失真校正处理电路4响应于来自输入装置接口11的输入信息对整体图像25中的选定区域图像执行失真校正处理并生成失真校正后的图像35，并存储该图像(步骤504)。特别是，失真校正处理电路4通过稍后将描述的座标计算处理而得到与显示单元12显示的显示平面的像素座标对应的存储器6的地址。即，执行座标变换处理。存储器6的地址对应于选定区域图像的校正座标。该计算所得到的校正座标(即存储地址)在许多情况下包括小数点。因此，失真校正处理电路4通过根据座标内插处理生成像素数据来生成失真校正后的图像35。

其间，缩小处理电路15根据在步骤503中存储在存储器6中的YCrCb数据(宽视野图像25的数据)生成缩小图像45，并将该缩小图像45和宽视野图像25存储在帧缓冲器27中(见图11)(步骤505)。

控制器5响应于来自输入装置14的输入信号经由各种接口8、9和11将图2A到2C所示所生成的整体图像25(失真校正后的图像35、或合成图像36)输出到显示单元12(步骤506)。

顺便提及，步骤504和步骤505的顺序无关紧要，或者可同时执行这些步骤。

接下来，将详细描述以上步骤504。首先，将描述失真校正处理电路4进行的失真校正。

在图6A中，从侧面看以视点o(0，0，0)为中心的上半球视野的上半球。在图中，点P(u，v，w)代表周围激发点(shot point)，点Q代表作为鱼眼图像的整体图像25的成像点，角θ代表从点P到视点的入射角，而距离h代表图像高度。点P和点Q通过图像高度特性彼此关联。图6B是示出了图像高度特性的图表。横轴代表角(入射角)θ，而纵轴代表高度h。该数据仅必须作为变换表而先前存储在存储器6或未示出的另一存储器中。

这里，图7A示出了作为在显示单元12中显示的范围内的平面的显示平面。图7B是利用三维示出图7A所示上球的图。将图7B所示球表面33投射在x-y平面上获得的图像成为图7C所示宽视野图像25。该宽视野图像25是在图像传感器2获得的失真校正之前的图像。以上显示平面32的中心O接触到由上球视野形成的球表面33，而显示平面32成为其上显示以上宽视野图像25中的选定区域的屏幕。

接下来，将描述用于失真校正的座标变换处理。

首先，参考图8得到P(u，v，w)的入射角(仰角)θ。如果座标中心是图8中的o(0，0，0)，则获得以下等式。

OP＝(u²+v²+w²)^1/2...(4)

θ由以下等式表达。

θ＝arccos(w/OP)...(5)

根据等式(5)得到的θ得到图像高度h(见图6A)。如上所述，根据图6B的图像高度特性得到图像高度h。

当得到图像高度h时，垂直位于点P之下的点P’(u，v，0)按比例放大或减小到作为图像高度h的位置处的点Q(x，y)(见图6A)。更具体地，从以下等式得到点Q的座标。

OP’＝OPsin θ ...(6)

x＝uh/OP’ ...(7)

y＝vh/OP’ ...(8)

当如上所述计算点Q的座标(校正座标)时，使得图7所示点Q的座标与图7D所示点P(u，v，w)一致。即，当计算点Q的座标时，从存储器6中读取与该点Q对应的存储地址的像素数据(以上步骤503中存储的像素数据之中的与点Q对应的座标的像素数据)。通过对显示平面32上的所有点执行点Q的座标计算，生成与该显示平面32对应的选定区域的失真校正后的图像35(见图7D)。

这里，如上所述，在许多情况下，用于失真校正的由操作得到的点Q的座标(由操作得到的存储地址)不与显示平面32的构成失真校正后的图像35的每一像素一一对应。因此，失真校正处理电路4利用该操作得到的座标来执行内插。如图9所示，例如，假设点Q的座标(x，y)中的每一个是包括小数点的实数(256.7，678.9)。从存储器6中读取包括该点Q的周围四个像素数据。即，读取通过对小数点之后的数字进行舍或入获得的四个像素的像素数据。这四个像素的座标如下。

左上(256，678)

右上(256，679)

左下(257，678)

右下(257，679)

然后，通过基于这四个点的像素数据(相应四个点的亮度数据(Y数据)和色差数据(CrCb数据))对点Q执行以上座标内插处理，而获取在点Q的座标变换之后的像素数据。存在各种用于内插处理的方法。例如，存在根据四个点的像素数据计算均值和计算中值的方法。当四个点的像素数据是YCrCb数据而它们的格式是4:2:0时，关于点Q，仅必须线性内插亮度数据(Y)，并将这四个点自己的色差数据用作色差数据(Cr，Cb)。

图10是示出了例如响应于来自输入装置14的输入信号而更新选定区域图像的操作的流程图。当来自输入装置14的信息从图像处理设备10的待令状态改变时(步骤1001中的是)，控制器5经由输入装置接口11获取该输入信息(步骤1002)。控制器5执行整体图像25中的加亮区域16的位置信息的计算、用于失真校正处理的操作处理、用于在以上显示模式之间切换的操作处理等(步骤1003)。

图11是示出了以上缩小处理电路15的硬件配置的方框图。

该缩小处理电路15包括线FIFO(先入先出)21、缩小电路22、数据选择器23、线缓冲器24、DMA电路26、和帧缓冲器27。

线FIFO 21逐条线地顺序输入宽视野图像25的像素数据作为实际图像(其后称为宽视野图像数据)。线指的是沿图像的侧向方向的每条线，而线数据指的是构成图像数据的每条线的数据。

数据选择器23响应于预定定时执行从宽视野图像数据的输出到缩小电路22生成的缩小线数据的输出的切换。数据选择器23执行从宽视野图像数据到缩小电路22生成的缩小线数据的切换，并将该缩小线数据输出到该缓冲器。由此，有效生成了与该宽视野图像数据对应的缩小数据。

线缓冲器24输入该数据选择器23所选择和输出的宽视野图像数据和缩小线数据，并将它们逐条线地顺序输出到DMA电路26。线缓冲器24是例如具有FIFO功能的缓冲器。

DMA电路26根据按照从缩小电路22输出的线总计(count-up)信号Cu₂的定时进行的地址控制，将宽视野图像数据和缩小线数据传递到帧缓冲器27。结果，将用于显示的宽视野图像数据和缩小图像45的数据(其后称为缩小数据)暂时存储在帧缓冲器27中。例如，DRAM用作帧缓冲器27等，但是帧缓冲器27等不限于此。

图12是示出了缩小电路22的硬件配置的方框图。缩小电路22包括像素数据相加电路(第一相加部分)37、线数据相加电路(第二相加部分)47、像素数据的计数器(第一计数器)38、线数据的计数器(第二计数器)48、暂时缓冲器40、数据更新的指示器(第一指示器)39、和数据读取的指示器(第二指示器)49。

图13A是示出了像素数据相加电路37的配置的图。像素数据相加电路37顺序接受像素数据，沿线方向以预定数目像素为单位将它们相加，并输出通过相加获得的相加后的像素数据。通常，像素数据相加电路37包括存储输入的像素数据的第一寄存器51、存储选择器71输出的像素数据的第二寄存器52、将寄存器51和52两者输出的像素数据相加的加法器61、和用于在预定条件下选择加法器61相加的像素数据或“0”的选择器71。

图13B是示出了线数据相加电路47的配置的图。线数据相加电路47沿列方向以预定数目线为单位将由像素数据相加电路37输出的相加后的像素数据构成的线数据相加，并输出通相加获得的缩小线数据。典型地，线数据相加电路47包括存储以上输入线数据的第三寄存器53、存储由从暂时缓冲器40输出的相加后的多个线数据构成的相加后的线数据的第四寄存器54、在预定条件下选择从第四寄存器54输出的线数据或“0”的选择器72、和将来自第三寄存器53的线数据和来自选择器72的线数据相加的加法器62。

图14是示出了第一计数器38和第二计数器48的配置的图。第一计数器38和第二计数器48具有相同配置。第一计数器38(第二计数器48)将顺序总计信号Cu₁(Cu₂)输出到像素数据相加电路37(线数据相加电路47)。将该总计信号Cu₁(Cu₂)输入到选择器73。典型地，第一计数器38(第二计数器48)包括存储预定目标值(缩小值)(自然数)的第五寄存器55(第七寄存器57)、存储从选择器73输出的计数值的第六寄存器56(第八寄存器58)、将来自第六寄存器56(第八寄存器58)的计数值和“-1”值相加的第一加法器63、将来自第五寄存器55(第七寄存器57)的缩小值和通过第一加法器63相加获得的值相加的第二加法器64、选择来自第一加法器63的计数值或“0”值的选择器73、和接收稍后描述的线同步信号Sy₁(合成线同步信号Sy₂)作为复位信号的复位信号接收单元75。

图15是示出了第一指示器39和第二指示器49的配置的图。第一指示器39和第二指示器49具有相同配置。第一指示器39(第二指示器49)指向暂时缓冲器40中的地址。典型地，第一指示器39(第二指示器49)包括存储总计信号Cu₁(读时钟φ’)的值的寄存器59、将来自寄存器59的输出值和“1”值相加的加法器65、和在预定条件下选择通过加法器65相加获得的值或“0”值的选择器74。

接下来，将描述在步骤505中该缩小处理电路15的操作。

参考图11，将在存储器6中存储的宽视野图像数据顺序输入到线FIFO 21和缩小电路22。线FIFO 21在数据选择器23的请求下将该宽视野数据顺序输出到线缓冲器24。经由线缓冲器24和DMA电路26将宽视野图像数据存储在帧缓冲器27中。顺便提及，可以不经由线缓冲器24而将宽视野图像数据直接输入到DMA电路26。

在从缩小电路22输出的线总计信号Cu₂(稍后描述的用于缩小线数据的线总计信号)的计数值变为预定计数值的定时处，数据选择器23执行从来自线FIFO 21的宽视野图像数据的输出到缩小电路22所生成的缩小线数据的输出的切换。

这里，将参考图12到图15来描述缩小电路22生成缩小线数据的操作。图16是示出该操作的流程图。在图13A和13B中，φ是逐像素处理时钟并其后被称为像素时钟。此外，Sy₁是逐线同步信号并其后被称为线同步信号。此外，Sy₂是针对通过将预定数目线的线数据相加生成的每一缩小线数据的同步信号，并其后被称为合成线同步信号。

在第一计数器38中，在第五寄存器55中设置预定目标值。该目标值是缩小值，即，代表缩小比率的值。该目标值是指明在像素数据相加电路37中的线方向的缩小比率的缩小值，并例如在缩小到线方向的1/8的情况下，该目标值被设置为“8”。响应于从控制器5等发送的线同步信号Sy₁，复位信号接收单元75接收其作为复位信号。当接收到复位信号时，选择器73选择“0”，并在第六寄存器56中设置“0”。第一加法器63将“0”和“-1”相加，并将“-1”输出到选择器73和第二加法器64。选择器73在第六寄存器56中设置“-1”。第二加法器64通过将目标值“8”和“-1”相加而输出“7”。重复这样的操作(步骤1 601)，并由第二加法器64执行从“8” 到“0”的向下计数。在第二加法器64输出“0”的定时处，输出总计信号Cu₁。由此，当目标值为“8”时，第一计数器38输出关于8个像素时钟的一个总计信号Cu₁(步骤1602)。将该总计信号Cu₁输入到像素数据相加电路37。

在像素数据相加电路37中，将来自第一计数器38的总计信号Cu₁作为复位信号输入到选择器71。选择器71响应于该复位信号选择“0”，并在第二寄存器52中设置“0”。在构成存储器6中存储的宽视野数据的像素数据中，首先，将例如最上线的第一像素数据存储在第一寄存器51中。加法器61将“0”和该第一像素数据相加，并且该第一像素数据由选择器71选择并被存储在第二寄存器52中。然后，将第二像素数据存储在第一寄存器51中。加法器61将第二寄存器52中存储的第一像素数据和第一寄存器51中存储的第二像素数据相加。重复这样的操作，并且加法器61以预定数目的像素为单位将像素数据相加。通常如图17和图20所示，将8个像素数据p相加以生成相加后的像素数据P8。换言之，每次将8个像素数据p相加时，通过以上总计信号Cu₁执行复位，选择器71选择“0”，并结果像素数据相加电路37输出与8个像素数据对应的相加后的像素数据P8(步骤1603)。图20是示出了当将宽视野图像25的数据和缩小数据45相加并存储在帧缓冲器27中(以上步骤505)(见图19)时的数据的概念图。

顺便提及，通常每8根线就突然(burst)读取存储器6中存储的像素数据。结果，降低了存取存储器6的次数。一个像素数据是例如8到10比特，而8个像素数据的相加导致仅增加了3比特。

像素数据相加电路37重复以上操作，并如图17所示，生成与1根线L对应的多个相加后的像素数据P8。不得不仅将与1根线(线数据L)对应的相加后的像素数据存储在未示出的帧缓冲器中。

作为选择，也适于提供多个(与1根线对应的像素数目的1/8)这样的像素数据相加电路37并执行并行处理。在该情况下提供的线数据相加电路47、计数器38等的数目仅必须对应于像素数据相加电路37的数目。

线数据相加电路47以与像素数据相加电路37相同的方式工作。线数据相加电路47接受以上线数据L，并利用暂时缓冲器40响应于每一线同步信号Sy₁而沿列方向将线数据L相加(步骤1604)。

第二计数器48以与第一计数器38相同的方式工作。在第二计数器48中，在第七寄存器57中设置预定缩小值(例如，“8”)。第二计数器48利用合成线同步信号Sy₂作为复位信号，而对于每8个线同步信号Sy₁输出一个总计信号Cu₂(步骤1605)。如图11所示，合成线同步信号Sy₂作为线总计信号被输出到数据选择器，并作为DMA电路26的地址控制的定时信号而输出。

在线数据相加电路47中，每当输入合成线同步信号Sy₂时，选择器72选择0。其间，第一指示器39响应于每一线同步信号Sy₁而将指示值递增“1”。响应于每一合成线同步信号Sy₂，选择器72选择0并将指示值“8”输出到暂时缓冲器40，以更新地址。由此，如图18所示，线数据相加电路47响应于每一合成线同步信号Sy₂生成8个相加后的线数据(缩小线数据L8)(步骤1606)，将其存储在暂时缓冲器40中，并进行更新。一帧缩小图像F(缩小数据)是通过收集预定数目线的缩小线数据L8而生成的。该缩小图像F成为以上缩小图像45(见图2C)。

第二指示器49接受预定读时钟φ’，并在该定时处，从暂时缓冲器40中读取1根线的缩小线数据L8。然后，缩小电路22响应于线总计信号(在合成线同步信号Sy₂的定时处)将读取的缩小线数据L8输出到线缓冲器24。

当输出来自线缓冲器24的1根线的缩小线数据L8时，数据选择器23执行到上述来自线FIFO 21的宽视野图像数据的输出的切换，并经由线缓冲器24和DMA电路26将该宽视野图像数据输出到帧缓冲器27。

这里，像素时钟φ的速率、帧缓冲器27的读时钟、和线缓冲器24的时钟之间的关系如下。“像素时钟φ＜＜帧缓冲器27的读时钟＜＜线缓冲器24的时钟”。换言之，线缓冲器24几乎总是处于空状态。由此，如图19所示，在帧缓冲器27中，存储宽视野图像25和缩小图像45(步骤1 607)。如上所述，通过帧缓冲器27中特定地址的数据的失真校正、座标变换处理、和合成处理，而在用于输出的帧存储器28中存储合成图像36，即所选择的区域图像(在图2C所示模式的情况下，例如，从图2A到图2C所示哪些之中)。可将同一个存储器用作帧缓冲器27和用于输出的帧存储器28。

顺便提及，通常将帧缓冲器27中存储的宽视野图像数据和缩小数据存储为同步数据。这时因为由于各时钟之间的以上差别使得逐线同步是可能的。然而，使得宽视野图像数据和缩小数据的速率不同也是没有问题的。

如上所述，根据该实施例的缩小电路22通过像素数据相加电路37和线数据相加电路47而沿线方向和列方向单独生成缩小线数据，这使得能够进行有效的缩小处理。

此外，在该实施例中，在变换为比RGB数据具有更小数据量的YCrCb数据之后，生成该缩小数据。这使得可能降低计算量并实现有效处理。图21是解释该情况的像素数据的概念图。例如，当在颜色处理电路3中执行从RGB数据到4:1:1YCrCb数据的变换并然后执行4:2:0处理时，将例如图21所示图像数据50发送到缩小处理电路15。换言之，在2×2＝4个像素中，四个像素中的每一个包括一个Y数据(亮度数据)，并且8个像素共用的一个数据被用作Cr数据(Cb数据)的色差数据。

在该情况下，在缩小电路22中，如图22A和22B所示，执行像素数据的相加处理和线数据的相加处理，使得可获得与发送的图像数据50相同的4:2:0格式。结果，经过缩小处理的YCrCb数据可如实再现为缩小线数据L。图22A和22B示出了沿线方向和列方向缩小到1/8的处理。图22C示出了最后显示的缩小图像的像素数据。如所描述的，在YCrCb变换和4:2:0处理之后由缩小电路22执行该处理，并因此仅必须进行关于图22A所示像素的计算。其计算量成为大约RGB的(9/8)/3＝3/8。这是因为如果Y的计算量为1，RGB为3，则Cr和Cb为1/8。在每一RGB数据为3的情况下，根据3×3假设9。

根据本发明的实施例不限于上述实施例，并且可想到其他各种实施例。

例如，在以上实施例中，将RGB数据变换为YCrCb数据，并生成关于变换之后的像素数据的缩小数据。然而，可生成关于RGB像素数据的缩小数据。

在以上实施例中，将缩小比率设置为的1/8，但是该设置可适当地改变。然而，应注意两者的幂(power)促进控制。

Claims

1.一种图像处理设备，包括：

缩小部分，用于生成由多个缩小线数据构成的缩小数据的缩小线数据，并每隔预定定时顺序输出该缩小线数据，该缩小数据是通过缩小利用广角镜头捕获的具有失真的宽视野图像而获得的；

切换部分，用于响应于该预定定时而执行从宽视野图像数据的输出到缩小线数据的输出的切换；

缓冲器，用于暂时存储宽视野图像数据和由在该切换之后输出的多个缩小线数据构成的缩小数据；

校正部分，用于校正从该宽视野图像中选择出的选定区域的图像的失真；和

合成部分，用于合成该校正部分获得的失真校正后的图像和包括通过加亮该选定区域获得的加亮区域的缩小数据，作为一个屏幕的图像数据。

2.根据权利要求1的图像处理设备，

其中该缩小部分包括：

第一相加部分，用于沿线方向以预定数目像素为单位将构成该宽视野图像数据的各像素的像素数据相加，并输出通过相加获得的相加后的像素数据；和

第二相加部分，用于沿列方向以预定数目线为单位将由顺序输出的预定数目的相加后的像素数据构成的线数据相加，并输出通过相加获得的缩小线数据。

3.根据权利要求1的图像处理设备，还包括：

变换部分，用于将宽视野图像的RGB数据变换为包括亮度数据和色差数据的亮度/色差数据，

其中该缩小部分生成通过变换部分的变换获得的亮度/色差数据的缩小线数据。

4.根据权利要求3的图像处理设备，

其中该缩小部分以与通过变换部分的变换获得的亮度/色差数据相同的格式生成该缩小线数据。

5.一种图像处理方法，包括：

生成由多个缩小线数据构成的缩小数据的缩小线数据，该缩小数据是通过缩小利用广角镜头捕获的具有失真的宽视野图像而获得的；

每隔预定定时顺序输出该缩小线数据；

响应于该预定定时而执行从宽视野图像数据的输出到缩小线数据的输出的切换；

暂时存储宽视野图像数据和由在该切换之后输出的多个缩小线数据构成的缩小数据；

校正从该宽视野图像中选择出的选定区域的图像的失真；和

合成通过该校正步骤获得的失真校正后的图像和包括通过加亮该选定区域获得的加亮区域的缩小数据，作为一个屏幕的图像数据。