CN101860673B - 图像处理装置和图像处理方法 - Google Patents
图像处理装置和图像处理方法 Download PDFInfo
- Publication number
- CN101860673B CN101860673B CN201010158555.0A CN201010158555A CN101860673B CN 101860673 B CN101860673 B CN 101860673B CN 201010158555 A CN201010158555 A CN 201010158555A CN 101860673 B CN101860673 B CN 101860673B
- Authority
- CN
- China
- Prior art keywords
- rate
- formula
- ratio
- data
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 241000251468 Actinopterygii Species 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 20
- 238000004040 coloring Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 9
- 238000013501 data transformation Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 abstract description 16
- 238000000926 separation method Methods 0.000 description 128
- 238000012937 correction Methods 0.000 description 111
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 28
- 230000014509 gene expression Effects 0.000 description 28
- 239000013598 vector Substances 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 10
- 238000003702 image correction Methods 0.000 description 7
- 102100037060 Forkhead box protein D3 Human genes 0.000 description 3
- 101001029308 Homo sapiens Forkhead box protein D3 Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010018265 Gigantism Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
-
- G06T3/047—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Abstract
本发明提供一种能够通过更简便的结构进行高画质的图像变换的图像处理装置以及图像处理方法等。插补运算单元(12)基于表示由鱼眼透镜拍摄的鱼眼图像的输入数据，生成表示平面图像的输出数据，并将所述平面图像显示在显示监视器(5)。
Description
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
为了将利用广角透镜(例如，鱼眼透镜等)拍摄的图像(例如，鱼眼图像)变换为二维的平面图像并进行显示，对拍摄的图像实施基于RGB变换电路的RGB颜色变换，此后，实施失真校正电路的失真校正，变换为平面图像。
为了实现该变换，例如应用利用了FPGA(Field Programmable Gate Array)等半导体芯片的电路。
在专利文献1中，公开了对经由广角透镜获取的包括失真的数据进行失真校正后，通过RGB插补电路插补RGB数据，并生成输出数据的发明。
专利文献1：(日本)特开2008-061172号公报
但是由于上述插补对输入数据插补R(红)、G(绿)、B(蓝)各颜色数据，因此该变换后的输入数据的数据量与输入前相比，具有3倍的数据量。从而对用于实现上述功能的装置的存储区域施加压力，成为成本增加的主要原因。
此外，由于对(欠缺的)输入数据通过RGB变换电路进行校正后，进一步通过失真校正电路进行校正，因此与根据输入数据(例如，作为特有的图像排列的一例的拜耳图形(Bayer Pattern)排列的图像数据)直接进行校正(变换为平面图像)相比，画质变差。
此外，近年来，超过一千万像素的数字照相机成为主流，通过该照相机拍摄的图像的RGB数据具有极其庞大的数据大小。因此，为了将该数据存储在存储器中，需要应用具有更大的存储区域的存储器等，导致进一步的成本增加，此外，由于随着存储器增设的电路的复杂化/巨大化，成为产品整体的功耗增大的原因。
发明内容
因此，本发明鉴于上述各问题点而完成，其目的之一在于提供能够通过更加简便的结构进行高画质的图像变换的图像处理装置以及图像处理方法等。
为了解决上述的课题，本发明的第1技术方案是一种图像处理装置，将表示通过鱼眼透镜拍摄的鱼眼图像的输入数据变换为表示可二维地视觉确认的平面图像的输出数据，其特征在于，所述图像处理装置包括：输入数据变换部件，将所述鱼眼图像变换为所述输入数据，所述输入数据由表示构成所述鱼眼图像的像素的输入数据像素信息、以及表示与所述像素对应的颜色信息的输入数据颜色信息构成；鱼眼图像校正地址生成部件，根据所述输入数据像素信息，生成表示构成所述平面图像的像素的输出数据像素信息；输入数据颜色信息取得部件，根据拜耳排列的滤色片阵列的排列图形，取得所述输入数据颜色信息；输出数据颜色信息计算部件，根据所述输入数据颜色信息，计算表示与构成所述平面图像的像素对应的颜色信息的输出数据颜色信息；输出数据生成部件，生成由所述输出数据像素信息和所述输出数据颜色信息构成的所述输出数据；以及存储部件，存储所述输入数据和所述输出数据。
根据本发明，基于由输入数据像素信息和输入数据颜色信息构成的输入数据，生成表示可二维地视觉确认的平面图像的输出数据，所述输入数据像素信息表示构成由鱼眼透镜拍摄的鱼眼图像的像素，所述输入数据颜色信息表示与所述像素对应的颜色信息，所述输出数据由输出数据像素信息和输出数据颜色信息构成，所述输出数据像素信息表示构成所述平面图像的像素，所述输出数据颜色信息表示与所述像素对应的颜色信息。
从而，无需利用专用的处理电路(RGB变换电路)就能够根据输入数据得到RGB数据(颜色信息)，因此可通过更简便的结构廉价地进行高画质的图像变换。
第2技术方案的图像处理装置是如第1技术方案所述的图像处理装置中，所述输出数据颜色信息计算部件通过线性运算来计算所述输出数据颜色信息。
第3技术方案是一种图像处理方法，将表示通过鱼眼透镜拍摄的鱼眼图像的输入数据变换为表示可二维地视觉确认的平面图像的输出数据，其特征在于，所述图像处理方法包括：输入数据变换步骤，将所述鱼眼图像变换为 所述输入数据，所述输入数据由表示构成所述鱼眼图像的像素的输入数据像素信息、以及表示与所述像素对应的颜色信息的输入数据颜色信息构成；鱼眼图像校正地址生成步骤，根据所述输入数据像素信息，生成表示构成所述平面图像的像素的输出数据像素信息；输入数据颜色信息取得步骤，根据拜耳排列的滤色片阵列的排列图形，取得所述输入数据颜色信息；输出数据颜色信息计算步骤，根据所述输入数据颜色信息，计算表示与构成所述平面图像的像素对应的颜色信息的输出数据颜色信息；输出数据生成步骤，生成由所述输出数据像素信息和所述输出数据颜色信息构成的所述输出数据；以及存储步骤，存储所述输入数据和所述输出数据。
第4技术方案是一种存储介质，其特征在于计算机可读取地记录有图像处理程序，图像处理装置包括计算机，该图像处理装置将表示通过鱼眼透镜拍摄的鱼眼图像的输入数据变换为表示可二维地视觉确认的平面图像的输出数据，图像处理程序使计算机起到以下功能：输入数据变换部件，将所述鱼眼图像变换为所述输入数据，所述输入数据由表示构成所述鱼眼图像的像素的输入数据像素信息、以及表示与所述像素对应的颜色信息的输入数据颜色信息构成；鱼眼图像校正地址生成部件，根据所述输入数据像素信息，生成表示构成所述平面图像的像素的输出数据像素信息；输入数据颜色信息取得部件，根据拜耳排列的滤色片阵列的排列图形，取得所述输入数据颜色信息；输出数据颜色信息计算部件，根据所述输入数据颜色信息，计算表示与构成所述平面图像的像素对应的颜色信息的输出数据颜色信息；输出数据生成部件，生成由所述输出数据像素信息和所述输出数据颜色信息构成的所述输出数据；以及存储部件，存储所述输入数据和所述输出数据。
如上所述，根据本发明，基于由输入数据像素信息和输入数据颜色信息构成的输入数据，生成表示可二维地视觉确认的平面图像的输出数据，所述输入数据像素信息表示构成由鱼眼透镜拍摄的鱼眼图像的像素，所述输入数据颜色信息表示与所述像素对应的颜色信息，所述输出数据由输出数据像素信息和输出数据颜色信息构成，所述输出数据像素信息表示构成所述平面图像的像素，所述输出数据颜色信息表示与所述像素对应的颜色信息，因此无需利用专用的处理电路就能够根据输入数据得到RGB数据，因此可通过更简便的结构廉价地进行高画质的图像变换。
附图说明
图1是表示本实施方式的图像处理装置的结构的方框图。
图2A是表示拜耳排列的滤色片阵列的一例的概念图。
图2B是表示拜耳排列(拜耳图形：Bayer Pattern)的组合的概念图。
图3是表示从鱼眼图像到平面图像的变换的概要的概念图。
图4是表示从鱼眼图像到平面图像的变换的基本原理的概念图。
图5是表示输出数据像素信息的生成顺序的概念图。
图6是表示鱼眼图像校正地址生成单元8以及插补运算单元12的动作的流程图。
图7是表示输出数据颜色信息的计算的流程图。
图8A是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图8B是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图9A是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图9B是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图10A是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图10B是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图11A是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图11B是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图12A是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图12B是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图13A是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，奇数) 的情况下的地址以及比例的计算的概念图。
图13B是表示在(a)RGGB型25中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图14A是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图14B是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图15A是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图15B是表示在(a)RGGB型25中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图16A是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图16B是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图17A是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图17B是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图18A是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图18B是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图19A是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图19B是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图20A是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图20B是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图21A是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图21B是表示在(b)GRBG型26中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图22A是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图22B是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图23A是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图23B是表示在(b)GRBG型26中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图24A是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图24B是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图25A是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图25B是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图26A是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图26B是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图27A是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图27B是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图28A是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图28B是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，奇数) 的情况下的地址以及比例的计算的概念图。
图29A是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图29B是表示在(c)GBRG型27中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图30A是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图30B是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图31A是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图31B是表示在(c)GBRG型27中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图32A是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图32B是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图33A是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图33B是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算的概念图。
图34A是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图34B是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图35A是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图35B是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，偶数)的情况下的地址以及比例的计算的概念图。
图36A是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图36B是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图37A是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图37B是表示在(d)BGGR型28中，在地址：(x，y)＝(偶数，奇数)的情况下的地址以及比例的计算的概念图。
图38A是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图38B是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图39A是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
图39B是表示在(d)BGGR型28中，在地址：(x，y)＝(奇数，奇数)的情况下的地址以及比例的计算的概念图。
标号说明
1 光学系统
1a 鱼眼透镜
1b 图像传感器
2 照相机I/F
3 图像校正信号处理电路单元
4 校正坐标输入单元
5 显示监视器
6 输入帧存储器
7 UART或USB通信单元
8 鱼眼图像校正地址生成单元
9 拜耳图形数据校正运算单元
10 输出帧存储器
11 数据获取控制单元
12 插补运算单元
13 数据写入控制单元
S 图像处理装置
具体实施方式
首先，根据附图说明本申请的优选实施方式。另外，以下说明的实施方式是对图像处理系统应用了本申请的情况下的实施方式。
首先，利用图1说明本实施方式的图像处理装置的结构以及功能概要。
图1是表示本实施方式的图像处理装置的结构的方框图。
图像处理装置S包括具有鱼眼透镜的光学系统1、照相机I/F(接口)2(输入数据变换部件的一例)、图像校正信号处理电路单元3(输出数据生成部件的一例)、输入鱼眼图像的期望校正的校正坐标的校正坐标输入单元4、以及显示作为输出数据的平面图像的作为本申请的显示单元的显示监视器5等。
在光学系统1中，从鱼眼透镜1a获取的光通过未图示的光圈机构等而被调节，并作为光学图像成像在图像传感器1b上。该光学图像通过图像传感器1b而变换为电信号，并输出到照相机I/F2。
鱼眼透镜1a是光学透镜的一种，表示具有接近180度的视场角(angle of field)的透镜。鱼眼透镜1a具有正投影、等距离投影、立体投影、以及等立体角投影4种方式。在本实施方式中，关于该方式可任意选择，并不限定于此。
图像传感器1b将上述成像的光学图像通过例如利用了矩阵排列的光电二极管等的光电交换功能，变换为与光学像的亮度成比例的电信号，并输出到照相机I/F2。
作为图像传感器1b的一例，例如应用CCD(Charge Couple Device)图像传感器和CMOS(Complementary Metal-Oxide Semiconductor)图像传感器等。
对本实施方式的图像传感器1b例如应用具有公知的拜耳排列(拜耳图形)的滤色片阵列的作为单板彩色图像元件的CCD，通过该图像传感器1b，以由鱼眼透镜1a拍摄的颜色作为结构要素的对象物作为彩色图像而被输入。
为了作为上述彩色图像来输入，需要得到与颜色的三原色分量即R(红)G(绿)B(蓝)对应的上述电信号。上述拜耳排列的滤色片阵列是用于得到与RGB对应的电信号而使用的滤波器。
利用图2说明上述拜耳排列的滤色片阵列的细节。
图2是表示拜耳排列的滤色片阵列的基本结构的概念图。
图2A是表示拜耳排列的滤色片阵列的一例的概念图。
如图2A所示，在拜耳排列的滤色片阵列21中，作为作用于上述电信号的各个滤波器的绿(Green)滤波器22以及红(Red)滤波器23交互配置的列、以及绿(Green)滤波器22和蓝(Blue)滤波器24交互配置的列构成条(stripe)排列。
图2B是表示各拜耳排列(拜耳图形)的组合的概念图。
由于拜耳排列的滤色片阵列21具有上述的特征性的排列，因此以任意的像素为基准来提取4个像素，则能够分为(a)RGGB型25、(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的4个种类(排列图形)。
这样构成的拜耳排列的滤色片阵列21与上述矩阵配置的光电二极管(各像素)对应，各个像素中积累了与R、G、B的任意原色分量对应的电荷。
此外，由于在拜耳排列的滤色片阵列21的上述彩色图像化中，从各像素输出对于任意的原色分量的上述电信号，因此对于各像素需要插补欠缺的颜色的信息。
例如，在与红滤波器23对应的像素中，由于只有R信息，因此需要进行以周边的像素值为基准计算G和B的插补处理。
回到图1的说明，光学系统1中还包括用于限制输入到照相机I/F2的空间频率的未图示的光学性低通滤波器、以及用于阻止输入到照相机I/F2的可见光区域以外的长波长分量的未图示的红外截止滤波器等。
照相机I/F2是用于将拍摄的鱼眼图像以与RGB对应的电信号的状态直接(拜耳图形(拜耳排列)数据的状态直接)输出到后述的输入帧存储器6的接口。
具体来说，照相机I/F2，将拍摄的鱼眼图像作为由输入数据像素信息与输入数据颜色信息构成的输入数据，输出到输入帧存储器6，其中输入数据像素信息是表示构成所述鱼眼图像的上述像素的信息(与上述各像素对应的电信号等)，输入数据颜色信息表示与所述像素对应的颜色信息(与所述R、G、B的任意的颜色分量对应的电荷等)。
作为照相机I/F2的一例，例如应用应对作为连接工业用数字照相机和图像输入板(board)的标准规格的已知的连接照相机(Camera Link)的接口。
图像校正信号处理电路单元3是用于根据所述输入数据，生成表示可二 维地视觉确认的平面图像的输出数据(换言之，从上述鱼眼图像变换为上述平面图像)的处理电路，所述输出数据由表示构成所述平面图像的像素的输出数据像素信息以及表示与所述像素对应的颜色信息的输出数据颜色信息构成，具体来说，图像校正信号处理电路单元3构成为，包括：作为本申请的存储部件的输入帧存储器6、UART或USB通信单元7、作为本申请的鱼眼图像校正地址生成部件的鱼眼图像校正地址生成单元8、拜耳图形(拜耳图形)数据校正运算单元9、作为本申请的存储部件的输出帧存储器10等。
另外，在本实施方式中，输入帧存储器6以及帧存储器10设置在图像校正信号处理电路单元3内部，但并不限定于此，例如也可以设置在图像校正信号处理电路单元3的外部。
对图像校正信号处理电路单元3，作为一例可应用ASIC(ApplicationSpecific Integrated Circuit)，但由于能够组入FPGA(Field Programmable GateArray)的CPU(MicroBlaze(注册商标)或Nios(注册商标)▲II 等)的出现而还应用于FPGA等能够容易构成的设备。
输入帧存储器6是用于存储上述输入数据的存储区域，例如应用易失性或非易失性存储器或硬盘等。
UART或USB通信单元7是将从校正坐标输入单元4输入的校正坐标输入到鱼眼图像校正地址生成单元8的接口，作为一例应用UART(UniversalAsynchronous Receiver Transmitter)或USB(Universal Serial Bus)等。
作为鱼眼图像校正地址生成部件的鱼眼图像校正地址生成单元8根据所述输入数据像素信息，生成所述输出数据像素信息。
拜耳图形数据校正运算单元9包括获取输入数据的数据获取控制单元11、作为本申请的输入数据颜色信息取得部件以及输出数据颜色信息取得部件的插补运算单元12、以及进行用于写入输出数据的控制的数据写入控制单元13等。
作为输入数据颜色信息取得部件的插补运算单元12取得上述输入数据颜色信息。
作为输出数据颜色信息计算部件的插补运算单元12根据上述输入数据颜色信息，计算上述输出数据颜色信息。
接着，利用图3～图5详细说明本申请的从鱼眼图像至平面图像的变换的概要。
图3是表示从鱼眼图像至平面图像的变换的概要的概念图。
如图3所示，在本实施方式中，鱼眼图像校正地址生成单元8以及插补运算单元12将被拍摄的鱼眼图像31变换为平面图像32。
鱼眼图像31表示通过鱼眼透镜拍摄的鱼眼图像。鱼眼图像31拍摄从视点起约180度范围内存在的对象物，且能够显示成一个图像。但是，由于作为球面来捕捉对象物而进行拍摄，因此看起来不协调，且产生从失真的图像难以识别拍摄的对象物(被摄体)的形状和大小、人物的表情等的问题。因此，鱼眼图像校正地址生成单元8和插补运算单元12将鱼眼图像31变换为接近于通过人眼得到的图像的图像即平面图像32。
接着，利用图4说明从鱼眼图像至平面图像的变换的基本原理。
图4是表示从鱼眼图像至平面图像的变换的基本原理的概念图。
如图4所示，从鱼眼图像至平面图像的变换是公知的技术，但一般，利用在鱼眼图像41上设置的虚拟球面模型进行模型化。具体来说，将与作为虚拟球面42上的任意的点的L’(x1，y1，z1)相切的平面看做上述变换的平面图像43。在图4中，从容易视觉确认的观点出发，将平面移动到与虚拟球面42不重叠的位置。
此外，图4所示的坐标系空间表示以鱼眼图像作为XY平面，以鱼眼透镜的中心轴作为Z轴，以光线进入的方向作为正的XYZ正交坐标系。此外，以XYZ坐标系的原点0作为视点中心，视线的中心设为L’(x1，y1，z1)。此外，将平面43的中心点设为L’(x1，y1，z1)，将平面43设为UV平面。此外，将从原点0通过L’(x1，y1，z1)的法线矢量设为W。
在上述坐标系空间中，形成平面图像43的任意的像素的坐标S’(u1，v1)对应于坐标S(x2，y2)，所述坐标S(x2，y2)表示与Z轴平行地从连接原点0和所述坐标的法线矢量和虚拟球面42的交点下来的虚拟线和鱼眼图像41的交点。
同理，平面图像43的中心点L’(x1，y1，z1)对应于鱼眼图像41上的坐标L(x1，y1)。
鱼眼图像校正地址生成单元8为了从上述鱼眼图像变换为平面图像，根据上述对应，求出与坐标S’(u1，v1)对于对应的坐标S(x2，y2)。
在本实施方式中，将与该坐标S’的坐标有关的信息设为输出数据像素信息，将与该坐标S有关的信息设为输入数据像素信息，通过鱼眼图像校正地 址生成单元8来生成。
这里，利用图5来更具体地说明输出数据像素信息的生成顺序。
图5是表示输出数据像素信息的生成顺序的概念图。
在图5中，作为上述输出的平面图像43，以应用具有640×480个点的像素的VGA(Video Graphic Array)的情况为例进行说明。
如上所述，该平面图像43的输出，求出与形成平面图像43的像素的坐标S’(u1，v1)对应的坐标S(x2，y2)。此外，在应用VGA的平面图像43中，针对640×480个点的所有像素(换言之，从平面图像43的坐标(0，0)至(639，479))，求出并显示与坐标S’(u1，v1)对应的坐标S(x2，y2)。
具体来说，在坐标S’(u1，v1)为(0，0)的情况下求出对应的坐标S(x2，y2)后，在坐标S’(u1，v1)为(0，1)的情况下求出对应的坐标S(x2，y2)。即，向U轴正方向以及V轴正方向依次扫描坐标S’(u1，v1)，并求出对应的坐标S(x2，y2)。
接着，利用图6～图15详细说明鱼眼图像校正地址生成单元8以及插补运算单元12的动作。
图6是表示鱼眼图像校正地址射程单元8以及插补运算单元12的动作的流程图。
以下适当利用在图4和图5中记载的坐标系来说明该动作。鱼眼图像校正地址生成单元8首先为以鱼眼图像41上的坐标L(x1，y1)为中心校正(变换)为平面图像43(步骤S1)，而根据坐标L(x1，y1)求出法线矢量W(步骤S2)。
然后，根据上述基本原理，从以与法线矢量W相交的点L’(x1，y1，z1)为中心的平面43的开始坐标S’(u1，v1)(＝(0，0))起依次运算对应的坐标S(x2，y2)(校正点S)(步骤S3)。
接着，鱼眼图像校正地址生成单元8运算由整数部分和小数部分构成的值作为上述坐标S，插补运算单元12根据上述整数部分和小数部分的值，计算RGB数据(输入数据颜色信息以及输出数据颜色信息)(步骤S4)。
即，进行不使用电路而通过运算生成RGB数据的处理。
以下，详细说明该处理。
首先，作为前提，在本实施方式中将上述整数部分设为地址(address)，将上述小数部分设为比例(rate)。
据此，作为上述校正点，在计算了校正点S(x2，y2)＝(111.265，200.135)的情况下，表示x2的地址是111，比例是0.265，y2的地址是200，比例是0.135。
此外，插补运算单元12根据上述地址，取得输入数据颜色信息。
输入数据颜色信息是指与上述地址对应的颜色信息，具体来说，表示与该地址对应的拜耳排列的滤色片阵列21所表示的原色分量、以及该地址所属的上述排列图形。
如上所述，拜耳排列的滤色片阵列21与上述矩阵配置的光电二极管(各像素)对应，因此能够确定R、G、B的任一个原色分量是否对应于校正点S(x2，y2)。
接着，插补运算单元12确定以坐标S’(u1，v1)所表示的上述原色分量为基准的情况下的上述排列图形。
具体来说，当将坐标S’(u1，v1)所表示的上述原色分量为基准的情况下，确定属于上述的(a)RGGB型25、(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的四个类型中的哪一个。
接着，插补运算单元12根据上述输入数据颜色信息，计算输出数据颜色数据。
输出数据颜色信息是指关于根据输入数据颜色信息计算出的校正点S(x2，y2)的原色分量的信息。此外，输出数据颜色信息是通过根据来自鱼眼图像校正地址生成单元8的输出地址和比例来计算校正数据(address)和校正比例(rate)而求出的。
如上所述，在基于拜耳排列的滤色片阵列21的上述彩色图像化中，由于根据各像素输出对于任意原色分量的上述电信号，因此，需要对各像素插补缺损的颜色的信息。
在本申请中，通过计算输出数据颜色信息，进行上述插补。
以下，利用图7～图15详细说明输出数据颜色信息的计算。
图7是表示输出数据颜色信息的计算的流程图。
首先，从鱼眼图像校正地址生成单元8输入校正点S(x2，y2)(步骤S11)。之后，为了便于说明，将被输入的校正点的坐标设为输入坐标(X，Y)。这里，设为作为输入坐标输入
输入坐标：(X，Y)＝(111.625，200.250) ...式(1)。
此外，插补运算单元12将输入坐标分割为地址和比例(步骤S12)。关于这些关系式，代入式(1)的值，将地址设为式(2)，将比例设为(3)。
地址：(x，y)＝(111，200) ...式(2)
比例：(rate_x，rate_y)＝(0.625，0.250)...式(3)
接着，插补运算单元12根据地址(式(2))的各x以及y的值是奇数还是偶数，分为以下4种模型(步骤S13)。这些关系式表示为式(4)～式(7)。
地址：(x，y)＝(偶数，偶数)...式(4)
地址：(x，y)＝(奇数，偶数)...式(5)
地址：(x，y)＝(偶数，奇数)...式(6)
地址：(x，y)＝(奇数，奇数)...式(7)
接着，插补运算单元12根据被分类的4个模型，求出各颜色的4点的数据和各颜色的比例(步骤S14以后)。
以下，按照上述模型详细说明。
如上所述，由于拜耳排列的滤色片阵列21具有其特征性的排列，因此被分类为(a)RGGB型25、(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的四个类型。
此外，按照该4个类型进行上述的处理。
(A)(a)RGGB型25下的地址以及比例的计算
一)在(a)RGGB型25中，在地址：(x，y)＝(偶数，偶数)的情况下(步骤S14：是)
首先，最初，在(a)RGGB型25中，利用图8以及图9说明在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算(步骤S15)。此时，地址(x，y)表示的颜色是红色。
如图8以及图9所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(8)～式(11)表示红色的校正数据，通过式(12)和式(13)表示红色的比例。
R_d1＝(x，y)...式(8)
R_d2＝(x+2，y)...式(9)
R_d3＝(x，y+2)...式(10)
R_d4＝(x+2，y+2)...式(11)
R_rate_x＝rate_x/2...式(12)
R_rate_y＝rate_y/2...式(13)
如图8A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(14)～式(17)表示蓝色的校正数据，通过式(18)和式(19)表示比例。
B_d1＝(x-1，y-1)...式(14)
B_d2＝(x+1，y-1)...式(15)
B_d3＝(x-1，y+1)...式(16)
B_d4＝(x+1，y+1)...式(17)
B_rate_x＝rate_x/2+0.5...式(18)
B_rate_y＝rate_y/2+0.5...式(19)
如图8B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在一-1)rate_x+rate_y＜1.0的情况下，通过式(20)～式(23)表示绿色的校正数据，通过式(24)和式(25)表示比例。此外，通过式(26)～式(29)表示在一-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(30)和式(31)表示比例。
一-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(20)
G_d2＝(x+1，y)...式(21)
G_d3＝(x-1，y)...式(22)
G_d4＝(x，y+1)...式(23)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(24)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(25)
一-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(26)
G_d2＝(x+2，y+1)...式(27)
G_d3＝(x，y+1)...式(28)
G_d4＝(x+1，y+2)...式(29)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(30)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(31)
如图9所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图9A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图9B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据(步骤S16)。
具体来说，利用之前求出的各颜色的校正数据的R_d1、2、3、4、B_d1、2、3、4、G_d1、2、3、4以及各颜色的比例，通过以下的校正方法来计算。这里-是反转(not)。
红色的校正点数据通过式(32)～式(34)来表示。
R_data1＝R_d1*(-R_rate_x+1)+R_d2*R_rate_x...式(32)
R_data2＝R_d3*(-R_rate_x+1)+R_d4*R_rate_x...式(33)
R_data＝R_data1*(-R_rate_y+1)+R_data2*R_rate_y...式(34)
此外，蓝色的校正点数据通过式(35)～式(37)来表示。
B_data1＝B_d1*(-B_rate_x+1)+B_d2*B_rate_x...式(35)
B_data2＝B_d3*(-B_rate_x+1)+B_d4*B_rate_x...式(36)
B_data＝B_data1*(-B_rate_y+1)+B_data2*B_rate_y...式(37)
此外，绿色的校正点数据通过式(38)～式(40)来表示。
G_data1＝G_d1*(-G_rate_x+1)+G_d2*G_rate_x...式(38)
G_data2＝G_d3*(-G_rate_x+1)+G_d4*G_rate_x...式(39)
G_data＝G_data1*(-G_rate_y+1)+G_data2*G_rate_y...式(40)
通过将上述红色、蓝色以及绿色的各数据用作鱼眼图像的校正RGB数据，从而能够从拜耳图形直接求出鱼眼图像的校正RGB数据。
二)在(a)RGGB型25中，地址：(x，y)＝(奇数、偶数)的情况(步骤S17：是)
接着，利用图10和图11说明在(a)RGGB型25中，地址：(x，y)＝ (奇数、偶数)情况下的地址以及比例的计算(步骤S18)。此时，地址(x，y)表示的颜色是绿色。
如图10和图11所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(41)～式(44)表示红色的校正数据，通过式(45)和式(46)表示红色的比例。
R_d1＝(x-1，y)...式(41)
R_d2＝(x+1，y)...式(42)
R_d3＝(x-1，y+2)...式(43)
R_d4＝(x+1，y+2)...式(44)
R_rate_x＝rate_x/2+0.5...式(45)
R_rate_y＝rate_y/2...式(46)
如图10A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(47)～式(50)表示蓝色的校正数据，通过式(51)和式(52)表示比例。
B_d1＝(x，y-1)...式(47)
B_d2＝(x+2，y-1)...式(48)
B_d3＝(x，y+1)...式(49)
B_d4＝(x+2，y+1)...式(50)
B_rate_x＝rate_x/2...式(51)
B_rate_y＝rate_y/2+0.5...式(52)
如图10B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在二-1)rate_y＞rate_x的情况下，通过式(53)～式(56)表示绿色的校正数据，通过式(57)和式(58)表示比例。此外，通过式(59)～式(62)表示在二-2)rate_y≤rate_x的情况下的校正数据，通过式(63)和式(64)表示比例。
二-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(53)
G_d2＝(x+1，y+1)...式(54)
G_d3＝(x-1，y+1)...式(55)
G_d4＝(x，y+2)...式(56)
G_rate_x＝(rate_x+rate_y)/2...式(57)
G_rate_y＝(rate_y-rate_x)/2...式(58)
二-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(59)
G_d2＝(x+1，y+1)...式(60)
G_d3＝(x+1，y-1)...式(61)
G_d4＝(x+2，y)...式(62)
G_rate_x＝(rate_x+rate_y)/2...式(63)
G_rate_y＝(rate_y-rate_x)/2...式(64)
如图11所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图11A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图11B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据(步骤S19)。校正运算的方法与步骤S16相同。
三)(a)在RGGB型25中，地址：(x，y)＝(偶数、奇数)的情况(步骤S20：是)
接着，利用图12和图13说明在(a)RGGB型25中，地址：(x，y)＝(偶数、奇数)情况下的地址以及比例的计算(步骤S21)。此时，地址(x，y)表示的颜色是绿色。
如图12和图13所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(65)～式(68)表示红色的校正数据，通过式(69)和式 (70)表示红色的比例。
R_d1＝(x，y-1)...式(65)
R_d2＝(x+2，y-1)...式(66)
R_d3＝(x，y+1)...式(67)
R_d4＝(x+2，y21)...式(68)
R_rate_x＝rate_x/2...式(69)
R_rate_y＝rate_y/2+0.5...式(70)
如图12A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(71)～式(74)表示蓝色的校正数据，通过式(75)和式(76)表示比例。
B_d1＝(x-1，y)...式(71)
B_d2＝(x+1，y)...式(72)
B_d3＝(x-1，y+2)...式(73)
B_d4＝(x+1，y+2)...式(74)
B_rate_x＝rate_x/2+0.5...式(75)
B_rate_y＝rate_y/2...式(76)
如图12B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在三-1)rate_y＞rate_x的情况下，通过式(77)～式(80)表示绿色的校正数据，通过式(81)和式(82)表示比例。此外，通过式(83)～式(86)表示在三-2)rate_y≤rate_x的情况下的校正数据，通过式(87)和式(88)表示比例。
三-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(77)
G_d2＝(x+1，y+1)...式(78)
G_d3＝(x-1，y+1)...式(79)
G_d4＝(x，y+2)...式(80)
G_rate_x＝(rate_x+rate_y)/2...式(81)
G_rate_y＝(rate_y-rate_x)/2...式(82)
三-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(83)
G_d2＝(x+1，y+1)...式(84)
G_d3＝(x+1，y-1)...式(85)
G_d4＝(x+2，y)...式(86)
G_rate_x＝(rate_x+rate_y)/2...式(87)
G_rate_y＝(rate_y-rate_x)/2...式(88)
如图13所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图13A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图13B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据(步骤S22)。校正运算的方法与步骤S16相同。
四)a)RGGB型25中，地址：(x，y)＝(奇数、奇数)的情况(步骤S23：是)
接着，利用图14和图15说明在(a)RGGB型25中，地址：(x，y)＝(奇数、奇数)情况下的地址以及比例的计算(步骤S24)。此时，地址(x，y)表示的颜色是蓝色。
如图14和图15所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(89)～式(92)表示红色的校正数据，通过式(93)和式(94)表示红色的比例。
R_d1＝(x-1，y-1)...式(89)
R_d2＝(x+1，y-1)...式(90)
R_d3＝(x-1，y+1)...式(91)
R_d4＝(x+1，y+1)...式(92)
R_rate_x＝rate_x/2+0.5...式(93)
R_rate_y＝rate_y/2+0.5...式(94)
如图14A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为 2.此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(95)～式(98)表示蓝色的校正数据，通过式(99)和式(100)表示比例。
B_d1＝(x，y)...式(95)
B_d2＝(x+2，y)...式(96)
B_d3＝(x，y+2)...式(97)
B_d4＝(x+2，y+2)...式(98)
B_rate_x＝rate_x/2...式(99)
B_rate_y＝rate_y/2...式(100)
如图14B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在四-1)rate_x+rate_y＜1.0的情况下，通过式(101)～式(104)表示绿色的校正数据，通过式(105)和式(106)表示比例。此外，通过式(107)～式(110)表示在四-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(111)和式(112)表示比例。
四-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(101)
G_d2＝(x+1，y)...式(102)
G_d3＝(x-1，y)...式(103)
G_d4＝(x，y+1)...式(104)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(105)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(106)
四-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(107)
G_d2＝(x+2，y+1)...式(108)
G_d3＝(x，y+1)...式(109)
G_d4＝(x+1，y+2)...式(110)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(111)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(112)
如图15所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为 1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图15A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图15B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据(步骤S25)。校正运算的方法与步骤S16相同。
通过与上述(A)相同的原理，根据(b)GRBG型26、(c)GBRG型27、(d)BGGR型28的各类型下的来自鱼眼图像校正地址生成单元的输出地址和比例，能够计算各颜色的校正数据和校正比例。
以下，说明根据上述3个类型下的输出地址和比例来计算各颜色的校正数据和校正比例。
(B)(b)GRBG型26下的地址以及比例的计算
一)在(b)GRBG型26中，在地址：(x，y)＝(偶数，偶数)的情况
首先，在(b)GRBG型26中，利用图16以及图17说明在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是绿色。
如图16以及图17所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(113)～式(116)表示红色的校正数据，通过式(117)和式(118)表示红色的比例。
R_d1＝(x-1，y)...式(113)
R_d2＝(x+1，y)...式(114)
R_d3＝(x-1，y+2)...式(115)
R_d4＝(x+1，y+2)...式(116)
R_rate_x＝rate_x/2+0.5...式(117)
R_rate_y＝rate_y/2...式(118)
如图16A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(119)～式(122)表示蓝色的校正数据，通过式(123) 和式(124)表示比例。
B_d1＝(x，y-1)...式(119)
B_d2＝(x+2，y-1)...式(120)
B_d3＝(x，y+1)...式(121)
B_d4＝(x+2，y+1)...式(122)
B_rate_x＝rate_x/2...式(123)
B_rate_y＝rate_y/2+0.5...式(124)
如图16B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在一-1)rate_y＞rate_x的情况下，通过式(125)～式(128)表示绿色的校正数据，通过式(129)和式(130)表示比例。此外，通过式(131)～式(134)表示在一-2)rate_y≤rate_x的情况下的校正数据，通过式(135)和式(136)表示比例。
一-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(125)
G_d2＝(x+1，y+1)...式(126)
G_d3＝(x-1，y+1)...式(127)
G_d4＝(x，y+2)...式(128)
G_rate_x＝(rate_x+rate_y)/2...式(129)
G_rate_y＝(rate_y-rate_x)/2...式(130)
一-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(131)
G_d2＝(x+1，y+1)...式(132)
G_d3＝(x+1，y-1)...式(133)
G_d4＝(x+2，y)...式(134)
G_rate_x＝(rate_x+rate_y)/2...式(135)
G_rate_y＝(rate_y-rate_x)/2...式(136)
如图17所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图17A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图17B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
二)在(b)GRBG型26中，地址：(x，y)＝(奇数、偶数)的情况
接着，利用图18和图19说明在(b)GRBG型26中，地址：(x，y)＝(奇数、偶数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是红色。
如图18和图19所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(137)～式(140)表示红色的校正数据，通过式(141)和式(142)表示红色的比例。
R_d1＝(x，y)...式(137)
R_d2＝(x+2，y)...式(138)
R_d3＝(x，y+2)...式(139)
R_d4＝(x+2，y+2)...式(140)
R_rate_x＝rate_x/2...式(141)
R_rate_y＝rate_y/2...式(142)
如图18A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(143)～式(146)表示蓝色的校正数据，通过式(147)和式(148)表示比例。
B_d1＝(x-1，y-1)...式(143)
B_d2＝(x+1，y-1)...式(144)
B_d3＝(x-1，y+1)...式(145)
B_d4＝(x+1，y+1)...式(146)
B_rate_x＝rate_x/2+0.5...式(147)
B_rate_y＝rate_y/2+0.5...式(148)
如图18B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在二-1)rate_x+rate_y＜1.0的情况下，通过式(149)～式(152)表示绿色的校正数据，通过式(153)和式(154)表示比例。此外，通过式(155)～式(158)表示在二-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(159)和式(160)表示比例。
二-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(149)
G_d2＝(x+1，y)...式(150)
G_d3＝(x-1，y)...式(151)
G_d4＝(x，y+1)...式(152)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(153)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(154)
二-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(155)
G_d2＝(x+2，y+1)...式(156)
G_d3＝(x，y+1)...式(157)
G_d4＝(x+1，y+2)...式(158)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(159)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(160)
如图19所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图19A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图19B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
三)在(b)GRBG型26中，地址(x，y)：＝(偶数、奇数)的情况
接着，利用图28和图29说明在(b)GRBG型26中，地址：(x，y)＝(偶数、奇数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是蓝色。
如图20和图21所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的 取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(161)～式(164)表示红色的校正数据，通过式(165)和式(166)表示红色的比例。
R_d1＝(x-1，y-1)...式(161)
R_d2＝(x+1，y-1)...式(162)
R_d3＝(x-1，y+1)...式(163)
R_d4＝(x+1，y+1)...式(164)
R_rate_x＝rate_x/2+0.5...式(165)
R_rate_y＝rate_y/2+0.5...式(166)
如图20A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(167)～式(170)表示蓝色的校正数据，通过式(171)和式(172)表示比例。
B_d1＝(x，y)...式(167)
B_d2＝(x+2，y)...式(168)
B_d3＝(x，y+2)...式(169)
B_d4＝(x+2，y+2)...式(170)
B_rate_x＝rate_x/2...式(171)
B_rate_y＝rate_y/2...式(172)
如图20B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在三-1)rate_x+rate_y＜1.0的情况下，通过式(173)～式(176)表示绿色的校正数据，通过式(177)和式(178)表示比例。此外，通过式(179)～式(182)表示在三-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(183)和式(184)表示比例。
三-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(173)
G_d2＝(x+1，y)...式(174)
G_d3＝(x-1，y)...式(175)
G_d4＝(x，y+1)...式(176)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(177)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(178)
三-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(179)
G_d2＝(x+2，y+1)...式(180)
G_d3＝(x，y+1)...式(181)
G_d4＝(x+1，y+2)...式(182)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(183)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(184)
如图21所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图21A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图22B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
四)在(b)GRBG型26中，地址：(x，y)＝(奇数、奇数)的情况
接着，利用图22和图23说明在(d)GBRG型26中，地址：(x，y)＝(奇数、奇数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是绿色。
如图22和图23所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(185)～式(188)表示红色的校正数据，通过式(189)和式(190)表示红色的比例。
R_d1＝(x，y-1)...式(185)
R_d2＝(x+2，y-1)...式(186)
R_d3＝(x，y+1)...式(187)
R_d4＝(x+2，y+1)...式(188)
R_rate_x＝rate_x/2...式(189)
R_rate_y＝rate_y/2+0.5...式(190)
如图22A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(191)～式(194)表示蓝色的校正数据，通过式(195)和式(196)表示比例。
B_d1＝(x-1，y)...式(191)
B_d2＝(x+1，y)...式(192)
B_d3＝(x，-1y+2)...式(193)
B_d4＝(x+1，y+2)...式(194)
B_rate_x＝rate_x/2+0.5...式(195)
B_rate_y＝rate_y/2...式(196)
如图22B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在四-1)rate_y＞rate_x的情况下，通过式(197)～式(200)表示绿色的校正数据，通过式(201)和式(202)表示比例。此外，通过式(203)～式(206)表示在四-2)rate_y≤rate_x的情况下的校正数据，通过式(207)和式(208)表示比例。
四-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(197)
G_d2＝(x+1，y+1)...式(198)
G_d3＝(x-1，y+1)...式(199)
G_d4＝(x，y+2)...式(200)
G_rate_x＝(rate_y+rate_x)/2...式(201)
G_rate_y＝(rate_y-rate_x)/2...式(202)
四-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(203)
G_d2＝(x+1，y+1)...式(204)
G_d3＝(x+1，y-1)...式(205)
G_d4＝(x+2，y)...式(206)
G_rate_x＝(rate_y+rate_x)/2...式(207)
G_rate_y＝(rate_y-rate_x)/2...式(208)
如图23所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图23A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图23B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
(C)(c)GBRG型27下的地址以及比例的计算
一)在(c)GBRG型27中，在地址：(x，y)＝(偶数，偶数)的情况
首先，在(c)GBRG型27中，利用图24以及图25说明在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是绿色。
如图24以及图25所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(209)～式(212)表示红色的校正数据，通过式(213)和式(214)表示红色的比例。
R_d1＝(x，y-1)...式(209)
R_d2＝(x+2，y-1)...式(210)
R_d3＝(x，y+1)...式(21R)
R_d4＝(x+2，y+1)...式(212)
R_rate_x＝rate_x/2...式(213)
R_rate_y＝rate_y/2+0.5...式(214)
如图24A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(215)～式(218)表示蓝色的校正数据，通过式(219)和式(220)表示比例。
B_d1＝(x-1，y)...式(215)
B_d2＝(x+1，y)...式(216)
B_d3＝(x-1，y+2)...式(217)
B_d4＝(x21，y+2)...式(218)
B_rate_x＝rate_x/2+0.5...式(219)
B_rate_y＝rate_y/2...式(220)
如图24B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在一-1)rate_y＞rate_x的情况下，通过式(221)～式(224)表示绿色的校正数据，通过式(225)和式(226)表示比例。此外，通过式(227)～式(230)表示在一-2)rate_y≤rate_x的情况下的校正数据，通过式(231)和式(232)表示比例。
一-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(221)
G_d2＝(x+1，y+1)...式(222)
G_d3＝(x-1，y+1)...式(223)
G_d4＝(x，y+2)...式(224)
G_rate_x＝(rate_y+rate_x)/2...式(225)
G_rate_y＝(rate_y-rate_x)/2...式(226)
一-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(227)
G_d2＝(x+1，y+1)...式(228)
G_d3＝(x+1，y-1)...式(229)
G_d4＝(x+2，y)...式(230)
G_rate_x＝(rate_y+rate_x)/2...式(231)
G_rate_y＝(rate_x-rate_y)/2...式(232)
如图25所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图25A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图25B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
二)在(c)GBRG型27中，地址：(x，y)＝(奇数、偶数)的情况
接着，利用图26和图27说明在(c)GBRG型27中，地址：(x，y)＝(奇数、偶数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是蓝色。
如图26和图27所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(233)～式(236)表示红色的校正数据，通过式(237)和式(238)表示红色的比例。
R_d1＝(x-1，y-1)...式(233)
R_d2＝(x+1，y-1)...式(234)
R_d3＝(x-1，y+1)...式(235)
R_d4＝(x+1，y+1)...式(236)
R_rate_x＝rate_x/2+0.5...式(237)
R_rate_y＝rate_y/2+0.5...式(238)
如图26A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(239)～式(242)表示蓝色的校正数据，通过式(243)和式(244)表示比例。
B_d1＝(x，y)...式(239)
B_d2＝(x+2，y)...式(240)
B_d3＝(x，y+2)...式(241)
B_d4＝(x+2，y+2)...式(242)
B_rate_x＝rate_x/2...式(243)
B_rate_y＝rate_y/2...式(244)
如图26B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在二-1)rate_x+rate_y＜1.0的情况下，通过式(245)～式(248)表示绿色的校正数据，通过式(249)和式(250)表示比例。此外，通过式 (251)～式(254)表示在二-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(255)和式(256)表示比例。
二-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(245)
G_d2＝(x+1，y)...式(246)
G_d3＝(x-1，y)...式(247)
G_d4＝(x，y+1)...式(248)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(249)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(250)
二-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(251)
G_d2＝(x+2，y+1)...式(252)
G_d3＝(x，y+1)...式(253)
G_d4＝(x+1，y+2)...式(254)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(255)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(256)
如图27所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图27A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图27B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
三)在(c)GBRG型27中，地址：(x，y)＝(偶数、奇数)的情况
接着，利用图28和图29说明在(c)GBRG型27中，地址：(x，y)＝(偶数、奇数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是红色。
如图28和图29所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_ y(绿色的比例)设为各颜色的比例。
首先，通过式(257)～式(260)表示红色的校正数据，通过式(261)和式(262)表示比例。
R_d1＝(x，y)...式(257)
R_d2＝(x+2，y)...式(258)
R_d3＝(x，y+2)...式(259)
R_d4＝(x+2，y+2)...式(260)
R_rate_x＝rate_x/2...式(261)
R_rate_y＝rate_y/2...式(262)
如图28A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(263)～式(266)表示蓝色的校正数据，通过式(267)和式(268)表示比例。
B_d1＝(x-1，y-1)...式(263)
B_d2＝(x+1，y-1)...式(264)
B_d3＝(x-1，y+1)...式(265)
B_d4＝(x+1，y+1)...式(266)
B_rate_x＝rate_x/2+0.5...式(267)
B_rate_y＝rate_y/2+0.5...式(268)
如图28B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在三-1)rate_x+rate_y＜1.0的情况下，通过式(269)～式(272)表示绿色的校正数据，通过式(273)和式(274)表示比例。此外，通过式(275)～式(278)表示在三-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(279)和式(280)表示比例。
三-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(269)
G_d2＝(x+1，y)...式(270)
G_d3＝(x-1，y)...式(271)
G_d4＝(x，y+1)...式(272)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(273)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(274)
三-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(275)
G_d2＝(x+2，y+1)...式(276)
G_d3＝(x，y+1)...式(277)
G_d4＝(x+1，y+2)...式(278)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(279)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(280)
如图29所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图29A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图29B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
四)在(c)GBRG型27中，地址：(x，y)＝(奇数、奇数)的情况
接着，利用图30和图31说明在(d)GBRG型27中，地址：(x，y)＝(奇数、奇数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是绿色。
如图30和图31所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(281)～式(284)表示红色的校正数据，通过式(285)和式(286)表示比例。
R_d1＝(x-1，y)...式(281)
R_d2＝(x+1，y)...式(282)
R_d3＝(x-1，y+2)...式(283)
R_d4＝(x+1，y+2)...式(284)
R_rate_x＝rate_x/2+0.5...式(285)
R_rate_y＝rate_y/2...式(286)
如图30A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(287)～式(290)表示蓝色的校正数据，通过式(291)和式(292)表示比例。
B_d1＝(x，y-1)...式(287)
B_d2＝(x+2，y-1)...式(288)
B_d3＝(x，y+1)...式(289)
B_d4＝(x+2，y+1)...式(290)
B_rate_x＝rate_x/2...式(291)
B_rate_y＝rate_y/2+0.5...式(292)
如图30B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在四-1)rate_y＞rate_x的情况下，通过式(293)～式(296)表示绿色的校正数据，通过式(297)和式(298)表示比例。此外，通过式(299)～式(302)表示在四-2)rate_y≤rate_x的情况下的校正数据，通过式(303)和式(304)表示比例。
四-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(293)
G_d2＝(x+1，y+1)...式(294)
G_d3＝(x-1，y+1)...式(295)
G_d4＝(x，y+2)...式(296)
G_rate_x＝(rate_x+rate_y)/2...式(297)
G_rate_y＝(rate_y-rate_x)/2...式(298)
四-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(299)
G_d2＝(x+1，y+1)...式(300)
G_d3＝(x+1，y-1)...式(301)
G_d4＝(x+2，y)...式(302)
G_rate_x＝(rate_y+rate_x)/2...式(303)
G_rate_y＝(rate_x-rate_y)/2...式(304)
如图31所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图31A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图31B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
(D)(d)BGGR型28下的地址以及比例的计算
一)在(d)BGGR型28中，在地址：(x，y)＝(偶数，偶数)的情况
首先，在(d)BGGR型28中，利用图32以及图33说明在地址：(x，y)＝(偶数，偶数)的情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是蓝色。
如图32以及图33所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(305)～式(308)表示红色的校正数据，通过式(309)和式(310)表示比例。
R_d1＝(x-1，y-1)...式(305)
R_d2＝(x+1，y-1)...式(306)
R_d3＝(x-1，y+1)...式(307)
R_d4＝(x+1，y+1)...式(308)
R_rate_x＝rate_x/2+0.5...式(309)
R_rate_y＝rate_y/2+0.5...式(310)
如图32A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(311)～式(314)表示蓝色的校正数据，通过式(315)和式(316)表示比例。
B_d1＝(x，y)...式(311)
B_d2＝(x+2，y)...式(312)
B_d3＝(x，y+2)...式(313)
B_d4＝(x+2，y+2)...式(314)
B_rate_x＝rate_x/2...式(315)
B_rate_y＝rate_y/2...式(316)
如图32B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在一-1)rate_x+rate_y＜1.0的情况下，通过式(317)～式(320)表示绿色的校正数据，通过式(321)和式(322)表示比例。此外，通过式(323)～式(326)表示在一-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(327)和式(328)表示比例。
一-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(317)
G_d2＝(x+1，y)...式(318)
G_d3＝(x-1，y)...式(319)
G_d4＝(x，y+1)...式(320)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(321)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(322)
一-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(323)
G_d2＝(x+2，y+1)...式(324)
G_d3＝(x，y+1)...式(325)
G_d4＝(x+1，y+2)...式(326)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(327)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(328)
如图33所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图33A实线部分的范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图33B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
二)在(d)BGGR型28中，地址：(x，y)＝(奇数、偶数)的情况
接着，利用图34和图35说明在(d)BGGR型28中，地址：(x，y)＝(奇数、偶数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是绿色。
如图34和图35所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(329)～式(332)表示红色的校正数据，通过式(333)和式(334)表示比例。
R_d1＝(x，y-1)...式(329)
R_d2＝(x+2，y-1)...式(330)
R_d3＝(x，y+1)...式(331)
R_d4＝(x+2，y+1)...式(332)
R_rate_x＝rate_x/2...式(333)
R_rate_y＝rate_y/2+0.5...式(334)
如图34A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(335)～式(338)表示蓝色的校正数据，通过式(339)和式(340)表示比例。
B_d1＝(x-1，y)...式(335)
B_d2＝(x+1，y)...式(336)
B_d3＝(x-1，y+2)...式(337)
B_d4＝(x+1，y+2)...式(338)
B_rate_x＝rate_x/2+0.5...式(339)
B_rate_y＝rate_y/2...式(340)
如图34B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在二-1)rate_y＞rate_x的情况下，通过式(341)～式(344)表示绿色的校正数据，通过式(345)和式(346)表示比例。此外，通过式(347)～式(350)表示在二-2)rate_y≤rate_x的情况下的校正数据，通过式(351) 和式(352)表示比例。
二-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(341)
G_d2＝(x+1，y+1)...式(342)
G_d3＝(x-1，y+1)...式(343)
G_d4＝(x，y+2)...式(344)
G_rate_x＝(rate_y+rate_x)/2...式(345)
G_rate_y＝(rate_y-rate_x)/2...式(346)
二-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(347)
G_d2＝(x+1，y+1)...式(348)
G_d3＝(x+1，y-1)...式(349)
G_d4＝(x+2，y)...式(350)
G_rate_x＝(rate_y+rate_x)/2...式(351)
G_rate_y＝(rate_x-rate_y)/2...式(352)
如图35所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图35A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图35B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
三)在(d)BGGR型28中，地址：(x，y)＝(偶数、奇数)的情况
接着，利用图36和图37说明在(b)GRBG型28中，地址：(x，y)＝(偶数、奇数)情况下的地址以及比例的计算(步骤S21)。此时，地址(x，y)表示的颜色是绿色。
如图36和图37所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(353)～式(356)表示红色的校正数据，通过式(357) 和式(358)表示比例。
R_d1＝(x-1，y)...式(353)
R_d2＝(x+1，y)...式(354)
R_d3＝(x-1，y+2)...式(355)
R_d4＝(x+1，y+2)...式(356)
R_rate_x＝rate_x/2+0.5...式(357)
R_rate_y＝rate_y/2...式(358)
如图36A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(359)～式(362)表示蓝色的校正数据，通过式(363)和式(364)表示比例。
B_d1＝(x，y-1)...式(359)
B_d2＝(x+2，y-1)...式(360)
B_d3＝(x，y+1)...式(361)
B_d4＝(x+2，y+1)...式(362)
B_rate_x＝rate_x/2...式(363)
B_rate_y＝rate_y/2+0.5...式(364)
如图36B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在三-1)rate_y＞rate_x的情况下，通过式(365)～式(368)表示绿色的校正数据，通过式(369)和式(370)表示比例。此外，通过式(371)～式(374)表示在三-2)rate_y≤rate_x的情况下的校正数据，通过式(375)和式(376)表示比例。
三-1)rate_y＞rate_x情况
G_d1＝(x，y)...式(365)
G_d2＝(x+1，y+1)...式(366)
G_d3＝(x-1，y+1)...式(367)
G_d4＝(x，y+2)...式(368)
G_rate_x＝(rate_y+rate_x)/2...式(369)
G_rate_y＝(rate_y-rate_x)/2...式(370)
三-2)rate_y≤rate_x的情况
G_d1＝(x，y)...式(371)
G_d2＝(x+1，y+1)...式(372)
G_d3＝(x+1，y-1)...式(373)
G_d4＝(x+2，y)...式(374)
G_rate_x＝(rate_y+rate_x)/2...式(375)
G_rate_y＝(rate_x-rate_y)/2...式(376)
如图37所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_y＞rate_x情况下，比例位于与图37A实线部分的范围内。此外在rate_y≤rate_x的情况下，比例位于图37B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
四)(d)BGGR型28中，地址：(x，y)＝(奇数、奇数)的情况
接着，利用图38和图39说明在(d)BGGR型28中，地址：(x，y)＝(奇数、奇数)情况下的地址以及比例的计算。此时，地址(x，y)表示的颜色是红色。
如图38和图39所示，将R_d1、2、3、4(红色的取得数据)、B_d1、2、3、4(蓝色的取得数据)、G_d1、2、3、4(绿色的取得数据)设为各颜色的取得数据，将R_rate_x(红色的比例)、R_rate_y(红色的比例)、B_rate_x(蓝色的比例)、B_rate_y(蓝色的比例)、G_rate_x(绿色的比例)、G_rate_y(绿色的比例)设为各颜色的比例。
首先，通过式(377)～式(380)表示红色的校正数据，通过式(381)和式(382)表示红色的比例。
R_d1＝(x，y)...式(377)
R_d2＝(x+2，y)...式(378)
R_d3＝(x，y+2)...式(379)
R_d4＝(x+2，y+2)...式(380)
R_rate_x＝rate_x/2...式(381)
R_rate_y＝rate_y/2...式(382)
如图38A所示，由于各像素间隔是1，因此相邻的红色的像素间隔成为2。此外，由于将相邻的红色的像素的间隔标准化为1，因此比例成为1/2。
接着，通过式(383)～式(386)表示蓝色的校正数据，通过式(387)和式(388)表示比例。
B_d1＝(x-1，y-1)...式(383)
B_d2＝(x+1，y-1)...式(384)
B_d3＝(x-1，y+1)...式(385)
B_d4＝(x+1，y+1)...式(386)
B_rate_x＝rate_x/2+0.5...式(387)
B_rate_y＝rate_y/2+0.5...式(388)
如图38B所示，由于各像素间隔是1，因此相邻的蓝色的像素间隔成为2。此外，由于将相邻的蓝色的像素的间隔标准化为1，因此比例成为1/2。
接着，在四-1)rate_x+rate_y＜1.0的情况下，通过式(389)～式(392)表示绿色的校正数据，通过式(393)和式(394)表示比例。此外，通过式(395)～式(398)表示在四-2)rate_x+rate_y≥1.0的情况下的校正数据，通过式(399)和式(400)表示比例。
四-1)rate_x+rate_y＜1.0情况
G_d1＝(x，y-1)...式(389)
G_d2＝(x+1，y)...式(390)
G_d3＝(x-1，y)...式(391)
G_d4＝(x，y+1)...式(392)
G_rate_x＝(rate_x+rate_y)/2+0.5...式(393)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(394)
四-2)rate_x+rate_y≥1.0的情况
G_d1＝(x+1，y)...式(395)
G_d2＝(x+2，y+1)...式(396)
G_d3＝(x，y+1)...式(397)
G_d4＝(x+1，y+2)...式(398)
G_rate_x＝(rate_x+rate_y)/2-0.5...式(399)
G_rate_y＝(rate_y-rate_x)/2+0.5...式(400)
如图39所示，由于各像素间隔是1，因此相邻的绿色的像素间隔成为root2。此外，由于相邻的绿色的像素的间隔被标准化为1，因此比例成为1/root2。此外，在rate_x+rate_y＜1.0情况下，比例位于与图39A实线部分的 范围内。此外在rate_x+rate_y≥1.0的情况下，比例位于图39B实线部分的范围内。
此外，通过线性运算等的校正运算来求出各颜色的校正点数据。校正运算的方法与步骤S16相同。
如以上说明那样，在本实施方式中，鱼眼图像校正地址生成单元8生成所述输出数据像素信息，插补运算单元12基于根据拜耳排列的滤色片阵列计算的所述输入数据像素信息，取得所述输入数据颜色信息，并基于所述输入数据颜色信息，通过线性运算来计算所述输出数据颜色信息。
从而，无需使用专用的处理电路而能够根据输入数据来取得RGB数据，因此能够通过更简便的结构廉价地进行高画质的图像变换。
Claims (3)
1.一种图像处理装置，将输入数据变换为输出数据，所述输入数据表示通过鱼眼透镜拍摄的鱼眼图像，所述输出数据表示可二维地视觉确认的平面图像，其特征在于，所述图像处理装置包括：
输入数据变换部件，将所述鱼眼图像变换为所述输入数据，所述输入数据由输入数据像素信息以及输入数据颜色信息构成，所述输入数据像素信息表示构成所述鱼眼图像的像素，所述输入数据颜色信息表示与所述像素对应的颜色信息；
鱼眼图像校正地址生成部件，根据所述输入数据像素信息，生成输出数据像素信息，所述输出数据像素信息表示构成所述平面图像的像素；
输入数据颜色信息取得部件，根据拜耳排列的滤色片阵列的排列图形，取得所述输入数据颜色信息；
输出数据颜色信息计算部件，根据所述输入数据颜色信息，计算输出数据颜色信息，所述输出数据颜色信息表示与构成所述平面图像的像素对应的颜色信息；
输出数据生成部件，生成由所述输出数据像素信息和所述输出数据颜色信息构成的所述输出数据；以及
存储部件，存储所述输入数据和所述输出数据。
2.如权利要求1所述的图像处理装置，其特征在于，
所述输出数据颜色信息计算部件通过线性运算来计算所述输出数据颜色信息。
3.一种图像处理方法，将输入数据变换为输出数据，所述输入数据表示通过鱼眼透镜拍摄的鱼眼图像，所述输出数据表示可二维地视觉确认的平面图像，其特征在于，所述图像处理方法包括：
输入数据变换步骤，将所述鱼眼图像变换为所述输入数据，所述输入数据由输入数据像素信息以及输入数据颜色信息构成，所述输入数据像素信息表示构成所述鱼眼图像的像素，所述输入数据颜色信息表示与所述像素对应的颜色信息；
鱼眼图像校正地址生成步骤，根据所述输入数据像素信息，生成输出数据像素信息，所述输出数据像素信息表示构成所述平面图像的像素；
输入数据颜色信息取得步骤，根据拜耳排列的滤色片阵列的排列图形，取得所述输入数据颜色信息；
输出数据颜色信息计算步骤，根据所述输入数据颜色信息，计算输出数据颜色信息，所述输出数据颜色信息表示与构成所述平面图像的像素对应的颜色信息；
输出数据生成步骤，生成由所述输出数据像素信息和所述输出数据颜色信息构成的所述输出数据；以及
存储步骤，存储所述输入数据和所述输出数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009093384A JP5353393B2 (ja) | 2009-04-07 | 2009-04-07 | 画像処理装置及び画像処理方法等 |
| JP093384/09 | 2009-04-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101860673A CN101860673A (zh) | 2010-10-13 |
| CN101860673B true CN101860673B (zh) | 2015-04-15 |
Family
ID=42826222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010158555.0A Expired - Fee Related CN101860673B (zh) | 2009-04-07 | 2010-04-07 | 图像处理装置和图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8379976B2 (zh) |
| JP (1) | JP5353393B2 (zh) |
| KR (1) | KR20100111614A (zh) |
| CN (1) | CN101860673B (zh) |
| TW (1) | TWI513297B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101356698B1 (ko) * | 2007-10-01 | 2014-01-29 | 삼성전자주식회사 | 화소 간 크로스토크의 영향을 저감하는 이미지 센서, 컬러필터 어레이, 및 촬상 장치 |
| KR101521691B1 (ko) | 2010-05-28 | 2015-05-19 | 애플 인크. | 플러그 커넥터, 전기 커넥터를 위한 전도성 프레임, 및 전자 장치 |
| US8931962B2 (en) | 2010-06-18 | 2015-01-13 | Apple Inc. | Dual orientation connector with side contacts |
| WO2011163260A1 (en) | 2010-06-21 | 2011-12-29 | Zenith Investments Llc | External contact plug connector |
| EP2583361B1 (en) | 2010-06-21 | 2017-11-15 | Apple Inc. | External contact plug connector |
| TWI423659B (zh) * | 2010-11-09 | 2014-01-11 | Avisonic Technology Corp | 影像校正方法與相關影像校正系統 |
| TWI448976B (zh) * | 2011-08-05 | 2014-08-11 | Shinsoft Co Ltd | 超廣角影像處理方法與其系統 |
| JP5711638B2 (ja) * | 2011-09-27 | 2015-05-07 | 富士重工業株式会社 | 画像処理装置 |
| US8708745B2 (en) | 2011-11-07 | 2014-04-29 | Apple Inc. | Dual orientation electronic connector |
| CN103108154A (zh) * | 2011-11-14 | 2013-05-15 | 辉达公司 | 一种汽车导航设备 |
| US20140254939A1 (en) * | 2011-11-24 | 2014-09-11 | Ntt Docomo, Inc. | Apparatus and method for outputting information on facial expression |
| US9112327B2 (en) | 2011-11-30 | 2015-08-18 | Apple Inc. | Audio/video connector for an electronic device |
| JP5966341B2 (ja) * | 2011-12-19 | 2016-08-10 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置 |
| KR101966976B1 (ko) | 2012-09-03 | 2019-04-08 | 엘지이노텍 주식회사 | 3차원 영상처리 시스템 |
| US9093803B2 (en) | 2012-09-07 | 2015-07-28 | Apple Inc. | Plug connector |
| US8777666B2 (en) | 2012-09-07 | 2014-07-15 | Apple Inc. | Plug connector modules |
| US9160129B2 (en) * | 2012-09-11 | 2015-10-13 | Apple Inc. | Connectors and methods for manufacturing connectors |
| US9059531B2 (en) | 2012-09-11 | 2015-06-16 | Apple Inc. | Connectors and methods for manufacturing connectors |
| US9054477B2 (en) | 2012-09-11 | 2015-06-09 | Apple Inc. | Connectors and methods for manufacturing connectors |
| US9325097B2 (en) | 2012-11-16 | 2016-04-26 | Apple Inc. | Connector contacts with thermally conductive polymer |
| US20140206209A1 (en) | 2013-01-24 | 2014-07-24 | Apple Inc. | Reversible usb connector |
| JP6299133B2 (ja) * | 2013-09-30 | 2018-03-28 | 大日本印刷株式会社 | 位置検出装置、撮像装置、位置検出方法及び位置検出プログラム |
| CN104581096B (zh) * | 2014-12-26 | 2017-11-07 | 北京航天控制仪器研究所 | 一种复用视频传输光端机 |
| EP3624432A4 (en) * | 2017-05-10 | 2021-04-21 | Mitsui Chemicals, Inc. | COLOR PROGRAM PROGRAM, COLOR PROCESSING METHOD, SYSTEM FOR EXAMINATION OF COLOR SENSITIVITY, OUTPUT SYSTEM, PROCESSING SYSTEM FOR COLOR VISION CORRECTION IMAGE AND PROCESSING SYSTEM FOR COLOR VISION SIMULATION IMAGE |
| KR102594038B1 (ko) * | 2018-01-15 | 2023-10-26 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6754400B2 (en) * | 2001-02-06 | 2004-06-22 | Richard Wilson, Jr. | System and method for creation, processing and visualization of omni-directional images |
| CN1685272A (zh) * | 2002-09-24 | 2005-10-19 | 西健尔 | 图像显示装置和投影光学系统 |
| CN1702693A (zh) * | 2004-05-28 | 2005-11-30 | 株式会社东芝 | 图像提供方法和设备 |
| CN101115154A (zh) * | 2006-07-26 | 2008-01-30 | 船井电机株式会社 | 运动检测成像设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4104571B2 (ja) * | 2004-03-29 | 2008-06-18 | 三洋電機株式会社 | 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 |
| JP4596988B2 (ja) * | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP2008061172A (ja) * | 2006-09-04 | 2008-03-13 | Sony Corp | 画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体 |
-
2009
- 2009-04-07 JP JP2009093384A patent/JP5353393B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-29 TW TW099109427A patent/TWI513297B/zh not_active IP Right Cessation
- 2010-03-30 KR KR1020100028410A patent/KR20100111614A/ko active IP Right Grant
- 2010-04-06 US US12/754,787 patent/US8379976B2/en not_active Expired - Fee Related
- 2010-04-07 CN CN201010158555.0A patent/CN101860673B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6754400B2 (en) * | 2001-02-06 | 2004-06-22 | Richard Wilson, Jr. | System and method for creation, processing and visualization of omni-directional images |
| CN1685272A (zh) * | 2002-09-24 | 2005-10-19 | 西健尔 | 图像显示装置和投影光学系统 |
| CN1702693A (zh) * | 2004-05-28 | 2005-11-30 | 株式会社东芝 | 图像提供方法和设备 |
| CN101115154A (zh) * | 2006-07-26 | 2008-01-30 | 船井电机株式会社 | 运动检测成像设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100254602A1 (en) | 2010-10-07 |
| CN101860673A (zh) | 2010-10-13 |
| TW201044863A (en) | 2010-12-16 |
| TWI513297B (zh) | 2015-12-11 |
| KR20100111614A (ko) | 2010-10-15 |
| JP5353393B2 (ja) | 2013-11-27 |
| JP2010245901A (ja) | 2010-10-28 |
| US8379976B2 (en) | 2013-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101860673B (zh) | 图像处理装置和图像处理方法 | |
| US10572982B2 (en) | Method and system of image distortion correction for images captured by using a wide-angle lens | |
| CN106575433B (zh) | 一种畸变减小系统及装置 | |
| US11115636B2 (en) | Image processing apparatus for around view monitoring | |
| CN101572828B (zh) | 基于gpu的相机/摄像机实时畸变校正方法 | |
| CN101527858B (zh) | 图像处理方法、图像处理设备以及图像摄像设备 | |
| CN101500077B (zh) | 图像处理方法、图像处理装置、以及成像装置 | |
| CN101500088B (zh) | 图像处理方法、图像处理设备和成像设备 | |
| CN103416067B (zh) | 摄像装置 | |
| AU2013346603B2 (en) | Method and device for capturing and constructing a stream of panoramic or stereoscopic images | |
| CN103270756B (zh) | 图像传感设备、控制其操作的方法和图像感测系统 | |
| US10440267B2 (en) | System and method for image stitching | |
| CN109417613A (zh) | 具有多个连续红外滤波单元的图像传感器方法和装置 | |
| CN113170061B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
| JP2010193037A (ja) | 擬似カラー画像生成装置、及びプログラム | |
| CN106127681B (zh) | 一种图像采集方法、虚拟现实图像传输方法及显示方法 | |
| JP6565326B2 (ja) | 撮像表示装置及びその制御方法 | |
| US20110170776A1 (en) | Image distortion correcting method and image processing apparatus | |
| WO2014091706A1 (ja) | 撮像装置 | |
| KR101230909B1 (ko) | 차량용 광각 영상 처리장치 및 그 방법 | |
| DE102021121674A1 (de) | Verfahren und system zur bildverarbeitung von omnidirektionalen bildern mit viewpoint-verschiebung | |
| Blasinski et al. | Real-time, color image barrel distortion removal | |
| WO2012060271A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
| WO2021241011A1 (ja) | 映像作成方法 | |
| CN117931120A (zh) | 一种基于gpu的摄像头图像视角调整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150415 Termination date: 20170407 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |