CN1671176A - 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置 - Google Patents
修正图像变形的图像处理装置、修正摄影图像变形的摄影装置 Download PDFInfo
- Publication number
- CN1671176A CN1671176A CNA2005100557158A CN200510055715A CN1671176A CN 1671176 A CN1671176 A CN 1671176A CN A2005100557158 A CNA2005100557158 A CN A2005100557158A CN 200510055715 A CN200510055715 A CN 200510055715A CN 1671176 A CN1671176 A CN 1671176A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- photography target
- photographs
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 137
- 230000009466 transformation Effects 0.000 claims abstract description 96
- 230000014509 gene expression Effects 0.000 claims abstract description 66
- 238000012937 correction Methods 0.000 claims abstract description 56
- 238000003860 storage Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010008 shearing Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 abstract description 18
- 239000000284 extract Substances 0.000 abstract description 8
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 25
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B1/00—Nozzles, spray heads or other outlets, with or without auxiliary devices such as valves, heating means
- B05B1/22—Spouts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B17/00—Apparatus for spraying or atomising liquids or other fluent materials, not covered by the preceding groups
- B05B17/08—Fountains
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
- F21W2121/00—Use or application of lighting devices or systems for decorative purposes, not provided for in codes F21W2102/00 – F21W2107/00
- F21W2121/02—Use or application of lighting devices or systems for decorative purposes, not provided for in codes F21W2102/00 – F21W2107/00 for fountains
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/10—Light-emitting diodes [LED]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
数码相机(1)从拍摄得到的摄影图像中获得包含有原稿(2)的原稿图像。数码相机(1)将该原稿图像缩小,对缩小了的图像进行由镜头特性所引起的扭曲变形的修正。数码相机(1)通过对缩小图像进行扭曲修正,来降低扭曲修正时的运算量,简化扭曲修正。另外,数码相机(1)从修正后的缩小图像中获得边缘2值图像以及根据原稿(2)的轮廓的四角形,剪切原稿,获得缩小前的源图像,获得通过仿射变换而相关联的投影变换图像。数码相机(1)根据投影变换图像的像素位置,通过仿射参数求取源图像的像素位置,而且,使用对缩小图像进行了扭曲修正的关系式,求取扭曲修正前的图像的像素位置。
Description
技术领域
本发明涉及一种修正图像变形的图像处理装置和一种修正摄影图像变形的摄影装置。
背景技术
伴随着数码相机的发展以及存储型存储器的低价格化,数码相机已经不仅仅用于风景或人物的摄影,人们还正在考虑使用数码相机拍摄纸面文件或名片等资料,或者拍摄会议中记录的在黑板等中显示的内容,将这些图像在个人计算机等中进行数字存储并进行管理的应用。
使用这样的数码相机斜着拍摄纸张时,纸张的四角形完全变形成梯形。因此,存在一种摄影系统修正该梯形变形。此外,在使用镜头中的宏观照相镜头、广角镜头时,由于这些镜头的特性,纸张的形状完全变形成为如图13所示的桶形。为了获得品质良好的图像,需要对上述扭曲变形进行修正。
人们想到了各种各样作为修正由这样的镜头特性所引起的扭曲变形的扭曲修正方法。例如,通常该变形是在镜头设计时所决定的扭曲变形,因此,有一种方法为:预先,根据无扭曲变形的理想图像的像素坐标与具有扭曲变形的图像的像素坐标之间的关系,求取对应于理想图像的像素坐标点的具有扭曲变形的图像的像素坐标的对应点,根据周边像素的值进行插补等处理来求取该像素数据。
但是,该方法即使在图像的切割以及投影修正中,也进行像素插补等处理,因而必须第2次进行插补运算。因此,图像的恶化变大。此外,在由镜头特性而引起的扭曲变形的情况,因为必须对每个像素进行修正,所以用于修正的运算数增多,处理需要时间。
发明内容
本发明鉴于上述现有的课题,在修正图像的变形的图像处理装置中,其特征在于,具有:摄影图像获得部,获得包含摄影对象图像的摄影图像,上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像;缩小图像获得部,获得将上述摄影图像的分辨率降低了的缩小图像;变形信息获得部,根据上述缩小图像,获得表示上述摄影对象图像的变形的变形信息;投影参数获得部,根据上述变形信息,获得用于将上述摄影对象图像变换为无变形的理想图像的投影参数;和投影变换部,使用上述投影参数,通过进行上述摄影图像的投影变换,来生成投影变换图像。根据本发明,能够简单地进行梯形变形或扭曲变形等图像变形的修正。此外,在具备摄影功能的摄影装置中,通过对拍摄摄影对象物所得到的摄影图像进行上述的处理,能够得到没有由摄影角度引起的线性变形和由镜头特性引起的扭曲变形等变形的摄影对象图像。
附图说明
图1为表示涉及本发明本实施方式的数码相机的结构的说明图。
图2为用于说明图1中所示的数码相机的功能的图,(a)为表示扭曲了的摄影图像的图,(b)表示恰似从正面所拍摄的修正后的理想图像。
图3为表示图1中所示的数码相机的结构的方框图。
图4为表示图1中所示的数码相机的摄影处理的流程图。
图5为图2中所示的图像处理装置执行的摄影对象的轮廓获得处理的说明图,(a)表示由于摄影镜头的扭曲像差而变形为桶形的原稿图像,(b)表示进行了扭曲修正的缩小图像,(c)表示边缘2值图像。
图6为霍夫变换的说明图。
图7为对扭曲的直线的霍夫变换的说明图,(a)表示对扭曲的直线的霍夫变换,(b)~(d)分别表示向(a)中所示的s1、s2、s3轴的投影直方图。
图8为在霍夫变换中降低调查角度的方法的说明图。
图9为表示图3中所示的图像处理装置所执行的摄影对象的轮廓获得处理的内容的流程图。
图10为表示图3中所示的图像处理装置所执行的四角形候补选择处理的内容的流程图。
图11为仿射变换的说明图。
图12是表示图3中所示的图像处理装置所执行的根据仿射变换的投影变换处理的内容的流程图。
图13为表示变形的图像的说明图。
具体实施方式
下面对照附图,对涉及本发明的实施方式的摄影装置进行说明。
此外,在实施方式中将摄影装置作为数码相机进行说明。
涉及本实施方式的数码相机1的结构如图1所示。
涉及本实施方式的数码相机1,将原稿2中所记录的原稿内容作为摄影对象物进行拍摄,根据拍摄得到的如图2(a)所示的拍摄图像,修正作为摄影对象图像的包含原稿2的原稿图像的梯形变形,生成恰似从正面拍摄的如图2(b)所示的理想图像。数码相机1具备摄影镜头部11和液晶监视器12以及快门按钮13。
摄影镜头部11具备对光进行聚光的镜头等,对来自原稿2等的光进行聚光。
液晶监视器12用于显示经摄影镜头部11取入到内部的图像。快门按钮13,在拍摄原稿2时按下。此外,数码相机1除此之外,还具备电源开关、模式开关、图像调整按键等(图中未表示)。
电源开关用于接通、断开电源。模式开关用于设定用于进行拍摄的拍摄模式、用于再生拍摄的图像的再生模式。图像调整按键是在进行图像处理时所操作的按键。
该数码相机1如图3所示,具备光学镜头装置21、图像传感器22、存储器23、显示装置24、图像处理装置25、操作部26、计算机接口部27、外部存储IO装置28以及程序码存储装置29。
光学镜头装置21具备摄影镜头部11及其驱动部,在图像传感器22上使来自原稿2的光聚光进行成像。
图像传感器22是将形成的图像作为数字化图像数据取入的单元,由CCD等构成。图像传感器22由CPU30控制,如果没有按下快门按钮13,生成用于预览的分辨率低的数字图像数据,将该图像数据以每秒30张左右的间隔定期地发送给存储器23。此外,按下快门按钮13时,生成分辨率高的图像数据,将生成的图像数据发送给存储器23。
存储器23暂时存储来自图像传感器22的低分辨率的预览图像、高分辨率的图像数据或图像处理装置25进行图像处理的源图像的数据、处理之后的图像数据。存储器23将暂时存储的图像数据发送给显示装置24或图像处理装置25。
显示装置24具备液晶监视器12,用于在液晶监视器12中显示图像。显示装置24将存储器23暂时存储的低分辨率的预览图像或分辨率高的图像在液晶监视器12中显示。
图像处理装置25用于对暂时存储在存储器23中的图像数据进行图像数据的压缩,图像的梯形变形、扭曲变形的修正,和图像变换等图像处理。
图像处理装置25通过对图2(a)中所示的具有梯形变形的图像实施图像处理,生成如图2(b)所示的让该图像像是从正面拍摄的图像。
图像处理装置25为了修正原稿图像的梯形变形,从变形了的原稿图像中剪切形成原稿图像的轮廓的四角形,进行原稿图像的投影变换。图像处理装置25通过进行这样的图像处理,获取原稿2的所设想的正面图像。
更为具体地,图像处理装置25由CPU30控制,主要进行以下图像处理等。
(1)从摄影图像获得轮廓的处理
从摄影图像获得轮廓的处理是指从拍摄所得到的摄影图像中,获得对应原稿2的纸张轮廓的原稿图像的轮廓的处理。
使用光学镜头装置21中的宏观照相镜头或广角镜头等镜头,临近拍摄原稿2时,由于摄影镜头部11的扭曲像差原稿图像完全扭曲为桶形。即使是具有这样的扭曲变形的图像,图像处理装置25也进行扭曲修正,获得正确的原稿图像轮廓。关于从该原稿图像中取得轮廓的处理的详细内容,将在后面进行说明。
(2)图像变换处理(剪切、投影修正)
该图像变换处理包括图像的切除、投影修正等。剪切处理是从摄影图像中剪切将作为摄影对象的原稿图像的轮廓(四角形)的处理。
投影修正处理是为了修正原稿图像的梯形变形,使用仿射变换对剪切后的原稿图像进行映射变换的处理。仿射变换广泛地应用于图像的空间变换。此外,图像变换装置25在该投影修正时,进行根据扭曲修正的修正,求取具有扭曲变形的原稿图像的对应点。
(3)图像的鲜明化处理
图像的鲜明化处理是对进行了图像变换处理的图像进行亮度放大、色彩修正等,获得视觉辨认度优秀的图像的处理。图像处理装置25为了进行图像的鲜明化处理,从进行了图像变换处理的图像中提取图像效果修正用参数。该图像效果修正用参数是称为亮度直方图的最大值、最小值、峰值、色差直方图的峰值、平均值的在图像效果处理中所必须的变量。图像处理装置25通过将提取的图像效果修正用参数变换为使图像鲜明化的值,来进行图像的鲜明化处理。
(4)图像的压缩
图像的压缩处理是压缩进行了鲜明化处理的图像数据的处理。
操作部26为获得电源开关的开、关、快门按钮13的按下等用户的操作信息的部分。操作部26将获得的操作信息发送给CPU30。
计算机接口部27在数码相机1与计算机(图中未显示)连接时,作为USB的存储器寄存器类驱动器进行动作。因此,在计算机与数码相机1相连接时,将存储卡31作为计算机的外部存储装置使用。
外部存储IO装置28在与存储卡31之间进行图像数据等的输入输出。存储卡31存储由外部存储IO装置28提供的图像数据等。
程序码存储装置29用于存储CPU30所执行的程序,由ROM等构成。
CPU30根据存储在程序码存储装置29中的程序控制整个系统。此外,存储器23还被用作CPU30的作业存储器。
在通过按下操作部26的开关、按键,由操作部26发送操作信息时,CPU30根据该操作信息对图像传感器22、存储器23、显示装置24和图像处理装置25等进行控制。
具体的,CPU30根据来自操作部26的操作信息,通过模式开关设定为摄影模式,在半按快门按钮13时,将图像传感器22、存储器23、显示装置24、图像处理装置25等各个部分设定为摄影模式。在该状态下,CPU30将图像传感器22设定为预览模式,如果再按下快门按钮13,则将该图像传感器22设定为读入分辨率高的摄影对象图像的高分辨率模式。此外,CPU30在通过模式开关将模式设定为再生模式时,将上述各个部分设定为再生模式。
另外,在操作部26发送了表示图像调整按键被按下的消息的操作信息之后,CPU30控制图像处理装置25等进行图像调整。
此外,CPU30经由外部存储IO装置28,在存储卡31中存储预览图像、高分辨率的图像的数据,或者从存储卡31读取已存储的图像数据。CPU30在存储卡31中存储例如以JPEG格式压缩的图像数据。
CPU30在存储器23中暂时存储图像数据时,将预览图像、高分辨率的图像数据存储在不同的存储区域中。此外,CPU30在存储卡31中将图像数据分为图像文件进行存储。在将图像数据存储在存储卡31时,也将涉及图像数据的标题信息存储到图像文件的标题信息存储区域中。
然后,对涉及实施方式的数码相机1的动作进行说明。
在用户将数码相机1的电源接通(接入)时,CPU30获得存储在程序码存储装置29中的程序数据。在用户通过模式开关将模式设为摄影模式,按下快门按钮13时,操作部26将该操作信息发送给CPU30。CPU30接收该操作信息,CPU30、图像处理装置25等,根据图4所示的流程图执行摄影处理。
CPU30将图像传感器22设定为预览模式(步骤S11)。
CPU30根据由操作部26发送的操作信息,判断快门按钮13是否已被按下(步骤S12)。
在判断为快门按钮13已被按下时(在步骤S12中是),CPU30控制图像传感器22从预览模式切换为高分辨率模式(步骤S13)。
CPU30将图像传感器22所生成的高分辨率的摄影对象图像的数据存储在存储器23中的与存储预览图像的存储区域不同的存储区域中(步骤S14)。
CPU30判断图像数据的读入是否已结束(步骤S15)。
在判断为读入还没有结束时(在步骤S15中否),CPU30继续控制图像传感器22进行图像数据的读入。
在判断为图像数据已经被全部读入,图像发送也已结束时,(在步骤S15中是),CPU30由该摄影图像(高分辨率图像)生成低分辨率的预览图像,在存储器23的预览图像用存储区域中写入预览图像的数据(步骤S16)。
CPU30控制图像处理装置25,生成摄影图像的压缩数据(步骤S17)。
CPU30将该压缩数据经由外部存储IO装置28存储在存储卡31中(步骤S18)。
然后,图像处理装置25在CPU30的控制之下,根据后述的如图9所示的流程图,从摄影图像获得作为摄影对象的原稿图像的轮廓(步骤S19)。
CPU30判断图像处理装置25是否已获得摄影对象的轮廓(步骤S20)。
在判断为已经取得时(在步骤S20中是),图像处理装置25根据已获得的摄影对象的轮廓生成投影变换图像(步骤S21)。
在按下操作部26的图像调整按键时,操作部26将该操作信息发送给CPU30。CPU30将来自操作部26的操作信息发送给图像处理装置25,图像处理装置25根据发送的操作信息,进行图像变换的调整处理(步骤S22)。
图像处理装置25提取用于鲜明化处理的图像效果修正用参数(步骤S23),进行变换图像的鲜明化处理(步骤S24)。
图像处理装置25对进行了鲜明化处理的图像数据进行压缩处理,生成变换图像的压缩数据(步骤S25)。
图像处理装置25将生成的变换图像的压缩数据存储在存储卡31中(步骤S26)。
另一方面,在判断为未能提取摄影对象的轮廓时(在步骤S20中否),CPU30进行警告处理(步骤S27)。
CPU30等这样来结束摄影处理。此外,只要用户没有进行表示结束摄影处理的按键操作,CPU30等就反复执行该摄影处理。
然后,对图像处理装置25进行的图像处理进行说明。
(1)从摄影图像提取轮廓的处理(图4的步骤S19的处理)
图像处理装置25为了从摄影图像中获得摄影对象的轮廓,首先,由拍摄得到的摄影图像生成缩小图像,从生成的缩小图像中获得边缘2值图像。之所以像这样,并不使用摄影对象的图像本身,而是使用将其缩小的缩小图像来获得摄影对象的轮廓,是因为该轮廓的获得精度可以不特别高,但使用缩小图像的方法能够减轻处理复杂度。
摄影图像成为如图5(a)所示,一般因摄影镜头部11的镜头特性而扭曲的图像。图像处理装置25为了提高轮廓提取的检测精度,一边进行如该图5(a)所示的扭曲了的摄影图像的扭曲修正,一边进行摄影图像的缩小,获得如图5(b)所示的进行了扭曲修正的缩小图像。
然后,图像处理装置25根据如图5(b)所示的缩小图像,获得如图5(c)所示的表示摄影对象的轮廓的边缘2值图像。图像处理装置25在像这样进行缩小图像的取得时,还一并进行输入图像的扭曲修正。下面对一边进行该扭曲修正一边取得缩小图像的方法进行说明。
设经由摄影镜头部11输入给图像传感器22的输入图像为P(x,y),该图像尺寸在x方向为xmax,在y方向为ymax,生成输入图像的1/K的缩小图像Q(m,n)。
设对应输入图像P(x,y)的无扭曲变形的坐标系为(x’,y’),坐标系(x’,y’)与缩小图像Q(m,n)之间的关系如下面的数学式1所示。
【数学式1】
x’=m×K
y’=n×K
且,
x’:对应于缩小亮度图像的坐标Q(x,y)的无扭曲变形时的坐标系的x坐标。
y’:对应于缩小亮度图像的坐标Q(x,y)的无扭曲变形时的坐标系的Y坐标
在本实施方式中,输入图像P(x,y)与坐标系(x’,y’)通过下面的数学式2表示。
【数学式2】
r=(x′-xc)2+(y′-yc)2
且,xc:图像中心的x坐标
yc:图像中心的y坐标
k:由镜头所决定的扭曲变形系数
通过将m=0~xmax/K,n=0~ymax/K依次代入到该数学式1、数学式2中,获得缩小图像Q。此外,关于缩小图像运算的运算量对于源图像为1/(K^2)。
在获得如图5(c)所示的边缘2值图像的过程中,对图5(b)所示的扭曲修正后的缩小图像,可使用例如称作Roberts滤波器的边缘检测用滤波器。该Roberts滤波器为进行2个4邻域像素的加权,获得2个滤波器Δ1、Δ2,通过进行平均化,检测图像的边缘的滤波器。使用该Roberts滤波器的变换,如下面的数学式3所示。
【数学式3】
Λ1=1·f(x,y)+0·f(x+1,y)+0·f(x,y-1)-1·f(x+1,y-1)
=f(x,y)-f(x+1,y-1)
Λ2=0·f(x,y)+1·f(x+1,y)-1·f(x,y-1)+0·f(x+1,y-1)
=f(x+1,y)-f(x,y-1)
且,
Pe(x,y):坐标(x,y)的像素值(变换后)
f(x,y):坐标(x,y)的像素值(变换前)
将根据该数学式3变换的图像,根据下面的数学式4进行2值化。
【数学式4】
BW(x,y)=1(Pe(x,y)≥V_thresh)
BW(x,y)=0(Pe(x,y)<V_thresh)
且,
BW(x,y):2值边缘图像
V_thresh:预先设定的阈值
此外,阈值V_thresh是预先设定的值,图像处理装置25将该阈值V_thresh存储。
而且,为了从摄影图像中获得摄影对象的轮廓,从所取得的边缘2值图像中,获取形成摄影对象的轮廓的直线。图像处理装置25使用霍夫变换获得该直线。
霍夫变换是将表示如图6(a)所示的直线L的(X,Y)坐标的数据图像,投影到通过图像的中心且倾角为θ的投影面上,在该投影面的ρ轴上生成投影直方图的变换方法。换言之,霍夫变换是将构成如图6(a)所示的X-Y平面上的直线的点,投票到由下面的数学式5所表示的如图6(b)所示的ρ-θ平面上,变换成ρ-θ坐标系的投票数的变换方法。
【数学式5】
ρ=xcosθ+ysinθ
在该直线L如图7(a)所示发生扭曲时,如果在s1轴、s2轴、s3轴上投影,其投影直方图表示如图7(b)~(d)所示的分布。此外,s1、s3轴是以s2轴的角度θ1为基准,以(X,Y)坐标系的原点为中心,分别只倾斜+δ、-δ角度的轴。
如图7(b)~(d)所示,根据原来的直线L,s2轴上的投票数应当达到峰值,但s2轴上的峰值,比s1轴、s3轴上的峰值低。图像处理装置25检测θ+δ或θ-δ的峰值,完全选择了表示错误原稿图像的轮廓的四角形候补。本实施方式中,如前所述,因为在生成缩小图像时进行了扭曲修正,所以不会像图7(a)那样发生扭曲,从而不会提取错误的原稿轮廓。
下面对该原稿图像的四角形候补选择处理的内容进行说明。
在选择原稿图像的四角形候补中,根据通过上述的霍夫变换检测的峰值求取直线,将求出的直线进行组合生成四角形候补。
通过上述的霍夫变换,在各个点的坐标(x,y)中将角度θ从0变换到360°时,同一直线在ρ-θ平面由1个点来表示。因此,能够将投票数多的ρ-θ坐标判断为直线。此时,由于投票数变为直线上的象素数,因此可以将其看成直线的长度。因此,投票数极其少的ρ-θ坐标表示短直线,可以从直线的候补中去除。
进行霍夫变换时,降低调查对象的点、角度θ的个数能够提高处理速度。在使用霍夫变换的方法中,随着调查对象的点、角度θ增多,处理速度就会下降。为了避免该处理速度的下降,在边缘检测时,通过将调查对象的坐标在X、Y轴两个方向上以一定间隔地间隔删除和以一定的间隔地间隔删除数据,来缩小边缘图像。因此,能够减少调查对象。
此外,通过下面的方法能够减小调查角度。
在作为调查对象的边缘图像中,在以图像中心为原点的坐标系中考虑时,由于ρ也变成了负值,因此如果在0°≤θ≤180°的范围内测定角度θ,则ρ就在剩余的180°≤θ≤0°的范围内变为负值。
但是,在摄影对象的中心位于图像中心附近时,实际上所拍摄的摄影对象(四角形)的各个边成为存在于上下左右的情况。此时,相比在0°≤θ≤180°的范围内调查ρ-θ平面上的投票数,如图8(a)以及图8(b)所示,在由下面的数学式6所表示的范围内进行测定的方法更加有效率。
【数学式6】
上下的边
45°≤θ<135°(或225°≤θ<315°)
此时,sinθ:0.707→1→0.707,cosθ:0.707→0→-0.707
左右的边
135°≤θ<225°(或315°≤θ<45°)
此时,sinθ:0.707→1→-0.707,cosθ:-0.707→-1→-0.707
此外,根据ρ值的正负,能够确定边的上下或边的左右。如此,在摄影对象的中心位于图像中心附近时,能够更加高效地选择构成轮廓的边。
如此从通过霍夫变换所检测的直线中,确定形成摄影对象的图像轮廓的四角形的直线。
一般来说,可以将摄影图像中最外边轮廓的四角形确定为摄影对象的轮廓。因此,通过将上下左右边确定为ρ的绝对值|ρ|中最大的|ρ|,能够确定上述的最大的区域。此外,通过按大小顺序来排列|ρ|,该顺序由直线候补的优先顺序决定。
如果选择了四角形的4条直线,然后就能够求取其交点。通过将在ρ-θ系表示的直线变换为(x,y)坐标系的直线,计算出四角形的4条直线垂直相交的xy坐标。
而且,由于得到的坐标为缩小图像的坐标(m,n),所以如果将该坐标值放大K倍,就与源图像的坐标(x,y)相对应。将这样得到的四角形的4个顶点坐标设为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)。
根据上述的方法,图像处理装置25根据图9所示的流程图执行摄影对象的轮廓获得处理。
图像处理装置25通过将m=0~xmax/K,n=0~ymax/K依次代入到上述数学式1、数学式2中,从摄影图像中获得缩小图像Q(步骤S31)。
图像处理装置25使用由数学式3表示的Roberts滤波器进行运算,而且根据数学式4进行缩小图像的2值化获得边缘2值图像(步骤S32)。
图像处理装置25根据数学式5进行已获得的边缘2值图像的霍夫变换,检测形成边缘2值图像的直线(步骤S33)。
图像处理装置25组合已检测的直线,选择四角形候补(步骤S34)。图像处理装置25根据图10所示的流程图执行该四角形候补选择处理。
即,图像处理装置25获得多个在45°≤θ<135°中的投票多的坐标,作为形成上下边的直线的候补(步骤S41)。
同样,图像处理装置25,获得多个在135°≤θ<225°中的投票多的坐标,作为形成左右边的直线的候补(步骤S42)。
X轴方向的候补、Y轴方向的候补中ρ值的正负不同,图像处理装置25从大的开始按顺序设置优先级(步骤S43)。
图像处理装置25选择ρ最大的上下左右边作为最优先候补(步骤S44)。
图像处理装置25存储如此选择的四角形候补的顶点坐标(图9的步骤S35)。像这样来选择四角形候补。
(2)图像变换处理(图4的步骤S21的处理)
首先,对投影变换进行说明。
如图11所示,在将p(x,y)、P(u,v)分别作为进行剪切和投影修正的投影变换前的源图像和投影变换后的投影变换图像时,通过仿射变换式将源图像p(x,y)与投影变换图像P(u,v)联系起来。此外,图11中,(x,y)表示源图像p(x,y)的像素位置,(u,v)表示投影变换图像P(u,v)的像素位置。
图像处理装置25使通过原稿图像的四角形候补选择处理获取得的原稿图像的四角形候补的顶点坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3),与仿射变换的一般式的行列元素相对应,获得仿射参数。
通过下面的数学式7进行从要求取的投影变换图像P(u,v)向源图像p(x,y)的仿射变换。
【数学式7】
数学式7中,仿射参数由下面的数学式8来表示。
【数学式8】
a11=x1-x0+α·x1 a21=x3-x0+β·x3 a31=x0
a12=y1-y0+α·y1 a22=y3-y0+β·x3 a32=y0
a13=α a23=β
其中,α、β由下面的数学式9来表示。
【数学式9】
根据该数学式7~数学式9,能够根据源图像p(x,y)求取投影变换图像P(u,v)。而且,图像处理装置25除了进行剪切以及投影变换处理之外,还进行扭曲修正。下面对该方法进行说明。
在进行扭曲修正时,首先,求取对应于投影变换图像P(u,v)的像素位置的源图像p(x,y)的像素位置。这里,在求取投影变换图像P(u,v)的象素位置时,如图11所示,不采取使用仿射变换Af求取对应于源图像p(x,y)的像素位置(x,y)的投影变换图像P(u,v)的像素位置(u,v)的方法,使用仿射变换Af的逆变换A,求取对应于投影变换图像P(u,v)的像素位置(u,v)的源图像p(x,y)的像素位置(x,y)的方法更方便。
在求取对应于投影变换图像P(u,v)的像素位置(u,v)的源图像p(x,y)的像素位置(x,y)时,使用由数学式8表示的仿射参数。但是,由于该像素位置(x,y)是无扭曲变形的图像的像素位置,换而言之,是已进行了扭曲修正的图像的象素位置,因此,通过计算将源图像p(x,y)置换为图像p1(x’,y’),将扭曲修正前的图像作为p(x,y)。根据该置换,将数学式7改写为下面的数学式10所示的公式。
【数学式10】
且(x”,y”,z”):无扭曲变形时的图像P的坐标点
(x’,y’):无扭曲变形时的图像p的坐标点
图像p1(x’,y’)与扭曲修正前的图像p(x,y)通过数学式2的关系式联系起来。因此,能够使用数学式2的关系式,进行对应于在生成缩小图像时已进行的扭曲修正的修正,同时根据图像p1(x’,y’)的各个坐标位置(x’,y’),求取对应的扭曲修正前的图像p(x,y)的各个坐标位置(x,y)。
此外,如此取得的对应于投影变换图像P(u,v)的各个像素的源图像的对应点p(x,y)的像素值x,y不仅限于整数。因此,作为插补法可以使用双线性法。使用双线性法的插补方法,如下面的数学式11所示,求取与一方图像(图像P)的坐标点(u,v)相对应的源图像的另一方的图像(投影变换图像p)的坐标点(x,y)的像素值以及根据周边4点p(X,Y)、p(X+1,Y)、p(X,Y+1)、p(X+1,Y+1)的像素值,求取另一方图像的坐标点(u,v)的像素值。
【数学式11】
P(u,v)=(1-kx)*(1-ky)*p(X,Y)+kx*(1-ky)*p(X+1,Y)
+(1-kx)*ky*p(X,Y+1)+kx*ky*p(X+1,Y+1)
且,将一方的图像的点p的坐标作为p(x,y)
kx:x的小数点以下的值
ky:y的小数点以下的值
X:整数部(x)
Y:整数部(y)
根据上述方法,图像处理装置25根据图12所示的流程图,执行通过仿射变换的投影变换处理。另外,使表示投影变换图像P(u,v)的像素位置(u,v)的坐标u、v,分别为0≤u≤umax,0≤v≤vmax。
图像处理装置25将投影变换图像P(u,v)的坐标u初始化为0(步骤S51)。
图像处理装置25将投影变换图像P(u,v)的坐标v初始化为0(步骤S52)。
图像处理装置25将投影变换图像P(u,v)的像素位置(u,v)代入数学式10,求取图像p1(x’,y’)的像素位置(x’,y’)(步骤S53)。
图像处理装置25根据数学式2对求得的图像p1的像素位置(x’,y’)进行修正,求取扭曲修正前的图像p(x,y)的像素位置(x,y)(步骤S54)。
图像处理装置25根据投影变换图像P(u,v)与图像p(x,y),按照数学式11,进行双线性法的插补,求取投影变换图像P(u,v)的像素值(步骤S55)。
图像处理装置25将图像P(u,v)的坐标v加1(步骤S56)。
图像处理装置25将图像P(u,v)的坐标v与最大值vmax进行比较,判断投影变换图像P(u,v)的坐标v是否在最大值vmax以上(步骤S57)。
在判断为坐标v不满最大值vmax时(在步骤S57中否),图像处理装置25再次执行步骤S53~S56。
通过反复进行步骤S53~S56的处理,在判断为坐标v到达最大值vmax时(在步骤S57中是),图像处理装置25将投影变换图像P(u,v)的坐标u加1(步骤S58)。
图像处理装置25将坐标u与最大值umax进行比较,判断坐标u是否在最大值umax以上(步骤S59)。
在判断为坐标u不满最大值umax时(在步骤S59中否),图像处理装置25再次执行步骤S52~S58。
通过反复进行步骤S52~S58的处理,在判断为坐标u到达最大值umax时(在步骤S59中是),图像处理装置25结束该图像变换处理。
如此,如果能够求取投影变换图像P(u,v)的像素值,则能够根据扭曲修正前的图像p(x,y)求取投影变换图像P(u,v)。
如上所述,根据本实施方式,并不对源图像全体进行扭曲修正,而是在生成用于获得原稿图像的轮廓的缩小图像时,进行扭曲修正。因此,扭曲修正的运算量减少,从而能够缩短运算时间。
例如,在将输入给数码相机1的图像缩小为1/K,生成缩小图像时,其扭曲修正的运算量变为1/(K^2),变得非常之少。
此外,在执行根据仿射变换的投影变换处理时,通过对应于扭曲修正的修正,求取扭曲修正前的图像p(x,y)与投影变换图像P(u,v)之间的对应关系,所以,能够根据扭曲修正前的图像p(x,y),正确地求取投影变换图像P(u,v)。
此外,在实施本发明时,考虑了其他各种的方式,并不仅限于上述实施方式。
例如,图像处理装置25可以不缩小数码相机1的输入图像,而是对照显示图像来缩小图像。例如,即使数码相机1的输入图像为400万象素的图像大小,如果用于计算机的显示图像为(1024×768=80万象素),则图像处理装置25能够对照用于计算机的显示图像的图像大小,将80万象素的图像缩小为1/K。通过这样,由于扭曲修正是对缩小图像进行的,所以与将400万象素的图像缩小为1/K的情况相比,扭曲修正的运算量,能够进一步降低到约1/5。另外,在拍摄A4(297×210mm)纸时,通常,如果轮廓提取精度为1、2mm的分辨率就足够了。因此,缩小图像即使使用320×240的图像,也足以达到该精度。这种情况下,还能够将运算量降低到1/52。
在本实施方式中,数码相机1中具有图像处理装置25。但是,作为摄影装置,除了数码相机1之外还有计算机,在计算机中具备具有上述功能的图像处理装置25,构成该图像处理装置25使计算机与数码相机相连接。因此,可以在数码相机1中使用通用的装置。
而且,本实施方式的图像处理装置25并不仅限用于摄影装置,也可构成图像处理装置25使在计算机中具备本实施方式的图像处理装置25的功能,即使没有数码相机1,也能够在计算机中存储应当进行扭曲修正、梯形修正的图像,对计算机存储的这些图像进行上述的图像处理。
此外,将用于执行上述处理的程序,存储在软盘、CD-ROM(CompactDick Read-Only Memory)、DVD(Digital Versatile Disk)等计算机可读的存储媒体中进行发布,将其安装在计算机中作为上述单元进行工作,或者执行上述工序。而且,还可以在互联网上的服务器装置所具有的磁盘装置等中存储程序,例如将其加载在载波上,由计算机进行下载。
此外,在本实施方式中,通过仿射变换来修正因拍摄摄影对象物时的拍摄角度而引起的梯形变形或旋转变形等线性变形,但还可以使用仿射变换之外的投影变换,只要是能够修正上述线性变形的投影变换就可以。此外,还可以使用不能够准确地对线性变形进行修正但能够进行近似修正的投影变换。此外,摄影对象物也可以是记录原稿的纸张之外的建筑物,如果是事先知道其实际形状的摄影对象物体,可以适用于即使不是长方形的任意的形状,即使在此时,也可通过比较摄影对象物的实际形状与根据摄影对象图像获得的形状,运算投影参数。另外,即使没有取得摄影对象物的整体形状,也可以根据摄影对象物上的几个点的变形来运算投影参数。
此外,本实施方式中,在缩小摄影图像获得缩小图像时,进行由镜头引起的图像扭曲的修正,但还可以将由镜头特性之外的原因所引起的在拍摄前就事先知道会产生的变形的修正,与缩小处理同时进行。
Claims (19)
1.一种修正图像的变形的图像处理装置(25),其特征在于,具有:
摄影图像获得部(32)(S13~S15),获得包含摄影对象图像的摄影图像,上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像;以及
缩小图像获得部(33)(S19、S31),获得降低了上述摄影图像的分辨率的缩小图像;以及
变形信息取得部(34)(S19、S3~S35),根据上述缩小图像,获得表示上述摄影对象图像的变形的变形信息;以及
投影参数获得部(35)(S21),根据上述变形信息,获得用于将上述摄影对象图像变换为无变形的理想图像的投影参数;以及
投影变换部(36)(S51~S59),使用上述投影参数,通过进行上述摄影图像的投影变换,生成投影变换图像。
2.根据在权利要求1中记述的图像处理装置,其特征在于:
上述摄影对象图像的变形包括根据拍摄上述摄影对象物时的拍摄角度所产生的线性变形;
上述投影变换是修正上述线性变形的变换。
3.根据在权利要求2中记述的图像处理装置,其特征在于:
上述摄影对象图像的变形包含根据拍摄上述摄影对象物时使用的镜头的特性而产生的变形;
上述变形信息获得部通过对上述缩小图像进行根据上述镜头特性的扭曲修正,获得修正缩小图像,根据该修正缩小图像,获得表示上述摄影对象图像的线性变形的变形信息(S31~S35)。
4.根据在权利要求3中记述的图像处理装置,其特征在于:
上述变形信息获得部根据上述修正缩小图像获得上述摄影对象图像的形状,根据该摄影对象图像的形状,以及上述摄影对象物的实际形状,获得表示上述摄影对象图像的线性变形的变形信息(S31~S35)。
5.根据在利要求3中记述的图像处理装置,其特征在于:
上述变形信息获得部在减小上述摄影图像的分辨率取得缩小图像时,与该缩小处理的同时地进行上述扭曲修正,获得上述修正缩小图像(S31)。
6.根据在权利要求4中记述的图像处理装置,其特征在于:
上述摄影对象物的实际形状为长方形,
上述变形信息获得部根据上述修正缩小图像,取得上述摄影对象图像的轮廓,确定该轮廓中的4条直线部分,将由这4条直线部分构成的梯形的形状作为上述变形信息获取(S32~S35,S41~S44)。
7.根据在权利要求6中记述的图像处理装置,其特征在于:
上述直线部分的确定根据霍夫变换来进行,根据由该霍夫变换所求出的各个直线部分的角度对于上述修正缩小图像的中心对应在哪个方向,来确定分别对应于上述梯形中的上边、下边、左边、右边的直线(S33,S41~S44)。
8.根据在权利要求1中记述的图像处理装置,其特征在于:
上述投影变换部在从上述摄影图像中剪切上述摄影对象图像的同时,进行上投影射变换(S51~S59)。
9.根据在权利要求1中记述的图像处理装置,其特征在于:
上述投影变换部对应构成上述投影变换图像的各个像素位置进行上述投影变换,根据上述投影参数,来确定对应于上述投影变换图像上的各个像素位置的上述摄影图像上的位置,将对应于该确定的位置的上述摄影图像上的像素值作为对应于上述投影变换图像上的各个像素位置的像素值采用(S51~S59)。
10.根据在权利要求9中记述的图像处理装置,其特征在于:
上述投影变换部通过基于多个像素的像素插补,运算对应于上述投影变换图像上的各个像素位置的像素值,上述多个像素接近根据上述投影参数确定的上述摄影图像上的位置(S21)。
11.根据在权利要求9中记述的图像处理装置,其特征在于:
上述投影变换图像的分辨率比上述摄影图像的分辨率低。
12.根据在权利要求3中记述的图像处理装置,其特征在于:
上述投影变换部在进行上述投影变换的同时,进行根据上述镜头特性的扭曲修正,生成上述投影变换图像(S54)。
13.根据在权利要求1中记述的图像处理装置,其特征在于:
上述摄影对象物为纸张,
上述摄影对象图像是拍摄上述纸张的记录内容的原稿图像。
14.根据在权利要求1中记述的图像处理装置,其特征在于:
上述图像处理装置是具备具有规定特性的镜头和通过该镜头拍摄摄影对象物,获得摄影图像的摄像部的摄影装置(1),
将由上述摄像部所拍摄的摄影图像作为上述摄影图像获得部获得的上述摄影图像(S11~S13),
存储上述投影变换部所取得的上述投影变换图像(S26)(31)。
15.一种修正摄影图像的变形的摄影装置(1),其特征在于,
具备:
具有规定特性的镜头(21);以及
摄像部(22),通过该镜头拍摄摄影对象物,获得摄影图像;
修正缩小图像获得部(33)(S19、S31),与降低上述摄影图像的分辨率一起,进行根据上述镜头特性的扭曲修正,获得修正缩小图像;以及
变形信息获得部(34)(S19、S31~S35),根据上述修正缩小图像,获得表示拍摄上述摄影对象物时的变形的变形信息;以及
变换部(35、36)(S21、S51~S59),根据上述变形信息将上述摄影图像变换为无变形的理想图像。
16.根据在权利要求15中记述的图像处理装置,其特征在于:
具备显示上述摄影图像的显示部(24);
上述缩小图像获得部根据上述显示部显示的图像的显示尺寸,缩小上述摄影图像(33)(S19,S21)。
17.根据在权利要求15中记述的图像处理装置,其特征在于:
具备存储上述投影变换部生成的投影变换图像的存储部(21)(S26)。
18.一种图像处理方法,其特征在于,具有:
获得包含摄影对象图像的摄影图像的步骤,上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像(S13~S15);以及
获得将上述摄影图像的分辨率降低了的缩小图像的步骤(S19、S31);以及
根据上述缩小图像,获得表示上述摄影对象图像的变形的变形信息的步骤(S19、S3~S35);以及
根据上述变形信息,取得用于将上述摄影对象图像变换为无变形的理想图像的投影参数的步骤(S21);以及
使用上述投影参数,通过进行上述摄影图像的投影变换,来生成投影变换图像的步骤(S51~S59)。
19.一种程序,其特征在于,用于在计算机中执行下述工序:
获得包含摄影对象图像的摄影图像的工序,上述摄影对象图像是作为摄影对象物被拍摄的摄影图像的、作为对应该摄影对象物的图像部分的摄影对象图像(S13~S15);以及
获得将上述摄影图像的分辨率降低了的缩小图像的工序(S19、S31);以及
根据上述缩小图像,获得表示上述摄影对象图像的变形的变形信息的工序(S19、S3~S35);以及
根据上述变形信息,取得用于将上述摄影对象图像变换为无变形的理想图像的投影参数的工序(S21);以及
使用上述投影参数,通过进行上述摄影图像的投影变换,来生成投影变换图像的工序(S51~S59)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004081553A JP2005267457A (ja) | 2004-03-19 | 2004-03-19 | 画像処理装置、撮影装置、画像処理方法及びプログラム |
JP2004081553 | 2004-03-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1671176A true CN1671176A (zh) | 2005-09-21 |
CN100356767C CN100356767C (zh) | 2007-12-19 |
Family
ID=34836610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100557158A Expired - Fee Related CN100356767C (zh) | 2004-03-19 | 2005-03-18 | 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7619663B2 (zh) |
EP (1) | EP1577832A3 (zh) |
JP (1) | JP2005267457A (zh) |
KR (1) | KR100723653B1 (zh) |
CN (1) | CN100356767C (zh) |
TW (1) | TWI268096B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101546423B (zh) * | 2008-03-24 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 影像截取装置及其影像截取方法 |
CN102096899A (zh) * | 2010-12-15 | 2011-06-15 | 中钞长城金融设备控股有限公司 | 一种线阵相机图像的校正方法 |
CN102737405A (zh) * | 2011-03-31 | 2012-10-17 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102915534A (zh) * | 2011-08-04 | 2013-02-06 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
CN105141866A (zh) * | 2015-09-06 | 2015-12-09 | 青岛海信信芯科技有限公司 | 一种投影图像校正方法和装置 |
CN105444888A (zh) * | 2015-11-16 | 2016-03-30 | 青岛市光电工程技术研究院 | 一种高光谱成像系统的色差补偿方法 |
CN105444752A (zh) * | 2014-09-02 | 2016-03-30 | 深圳市芯通信息科技有限公司 | 基于光源亮度的室内定位方法、装置及系统 |
CN105959542A (zh) * | 2016-05-17 | 2016-09-21 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
CN106034203A (zh) * | 2015-03-11 | 2016-10-19 | 维科技术有限公司 | 拍摄终端的图像处理方法及其装置 |
CN106388418A (zh) * | 2015-07-28 | 2017-02-15 | 由田新技股份有限公司 | 防止跌落装置与其操作方法 |
CN106530212A (zh) * | 2015-09-09 | 2017-03-22 | 奥特润株式会社 | 镜头影像变形校正装置 |
CN107924558A (zh) * | 2016-03-14 | 2018-04-17 | Realop株式会社 | 图像处理装置、图像处理方法、记录介质、程序以及拍摄装置 |
CN111965630A (zh) * | 2020-08-17 | 2020-11-20 | 南京先能光电科技有限公司 | 一种空间定位系统 |
CN114331814A (zh) * | 2021-12-24 | 2022-04-12 | 合肥视涯技术有限公司 | 一种畸变画面校正方法及显示设备 |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9769354B2 (en) | 2005-03-24 | 2017-09-19 | Kofax, Inc. | Systems and methods of processing scanned data |
US7580070B2 (en) * | 2005-03-31 | 2009-08-25 | Freescale Semiconductor, Inc. | System and method for roll-off correction in image processing |
US7912317B2 (en) * | 2005-10-29 | 2011-03-22 | Apple Inc. | Estimating and removing lens distortion from scenes |
US7918614B2 (en) * | 2006-01-20 | 2011-04-05 | Sony Ericsson Mobile Communications Ab | Camera for electronic device |
US8194074B2 (en) | 2006-05-04 | 2012-06-05 | Brown Battle M | Systems and methods for photogrammetric rendering |
US7612805B2 (en) | 2006-07-11 | 2009-11-03 | Neal Solomon | Digital imaging system and methods for selective image filtration |
JP4588000B2 (ja) * | 2006-09-04 | 2010-11-24 | 三星デジタルイメージング株式会社 | 撮像装置および撮像方法 |
JP4807583B2 (ja) * | 2007-03-29 | 2011-11-02 | 本田技研工業株式会社 | 射影変換収束演算処理方法 |
JP2008259070A (ja) * | 2007-04-06 | 2008-10-23 | Canon Inc | 画像形成装置及びその制御方法、プログラム、記憶媒体 |
CN101287066A (zh) * | 2007-04-12 | 2008-10-15 | Hoya株式会社 | 摄像装置 |
KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
JP4941332B2 (ja) * | 2008-01-28 | 2012-05-30 | ソニー株式会社 | 撮像装置 |
JP4975679B2 (ja) * | 2008-04-18 | 2012-07-11 | 株式会社Pfu | ノート型情報処理装置、および、射影変換パラメータ算出方法 |
US8125544B2 (en) | 2008-09-02 | 2012-02-28 | Casio Computer Co., Ltd. | Image processing apparatus for extracting quadrangle area in image |
US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
US8958605B2 (en) | 2009-02-10 | 2015-02-17 | Kofax, Inc. | Systems, methods and computer program products for determining document validity |
US9576272B2 (en) | 2009-02-10 | 2017-02-21 | Kofax, Inc. | Systems, methods and computer program products for determining document validity |
JP5381603B2 (ja) * | 2009-10-15 | 2014-01-08 | 株式会社リコー | 画像投影装置 |
US8687070B2 (en) * | 2009-12-22 | 2014-04-01 | Apple Inc. | Image capture device having tilt and/or perspective correction |
KR101626447B1 (ko) * | 2009-12-29 | 2016-06-01 | 삼성전자주식회사 | 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체 |
JP5471704B2 (ja) * | 2010-03-29 | 2014-04-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR101053464B1 (ko) * | 2010-05-27 | 2011-08-03 | (주) 에투시스템 | 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법 |
JP5041050B2 (ja) * | 2010-11-15 | 2012-10-03 | 株式会社ニコン | 撮像装置および画像処理プログラム |
JP5742399B2 (ja) * | 2011-04-06 | 2015-07-01 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
US9495735B2 (en) | 2011-05-31 | 2016-11-15 | Steelcase Inc. | Document unbending systems and methods |
DE102011051934A1 (de) * | 2011-07-19 | 2013-01-24 | Wincor Nixdorf International Gmbh | Verfahren und Vorrichtung zur OCR-Erfassung von Wertdokumenten mittels einer Matrixkamera |
US9058515B1 (en) | 2012-01-12 | 2015-06-16 | Kofax, Inc. | Systems and methods for identification document processing and business workflow integration |
US8989515B2 (en) | 2012-01-12 | 2015-03-24 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
JP5914045B2 (ja) | 2012-02-28 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR101694969B1 (ko) * | 2012-10-29 | 2017-01-10 | 한국전자통신연구원 | 카메라 캘리브레이션 방법 및 장치 |
US10932871B2 (en) * | 2012-12-25 | 2021-03-02 | Kawasaki Jukogyo Kabushiki Kaisha | Surgical robot |
US9311531B2 (en) | 2013-03-13 | 2016-04-12 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
US9208536B2 (en) | 2013-09-27 | 2015-12-08 | Kofax, Inc. | Systems and methods for three dimensional geometric reconstruction of captured image data |
US9355312B2 (en) | 2013-03-13 | 2016-05-31 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
US20140316841A1 (en) | 2013-04-23 | 2014-10-23 | Kofax, Inc. | Location-based workflows and services |
JP2016518790A (ja) | 2013-05-03 | 2016-06-23 | コファックス, インコーポレイテッド | モバイル装置を用いて取込まれたビデオにおけるオブジェクトを検出および分類するためのシステムおよび方法 |
JP2016538783A (ja) | 2013-11-15 | 2016-12-08 | コファックス, インコーポレイテッド | モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法 |
KR102173109B1 (ko) | 2014-09-05 | 2020-11-02 | 삼성전자주식회사 | 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치 |
US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
US10242285B2 (en) | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
US9779296B1 (en) | 2016-04-01 | 2017-10-03 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
JP6789720B2 (ja) | 2016-08-10 | 2020-11-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10154238B2 (en) * | 2016-11-11 | 2018-12-11 | Roland Dg Corporation | Projection system and modeling machine |
WO2018231246A1 (en) | 2017-06-16 | 2018-12-20 | Hewlett-Packard Development Company, L.P. | Keystone corrections with quadrilateral objects |
US11062176B2 (en) | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
JP6688277B2 (ja) * | 2017-12-27 | 2020-04-28 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
CN110390642B (zh) * | 2018-04-20 | 2023-12-08 | 西南民族大学 | 一种对木刻版藏文图像几何校正的方法 |
WO2020079567A1 (en) | 2018-10-15 | 2020-04-23 | 3M Innovative Properties Company | Automated inspection for sheet parts of arbitrary shape from manufactured film |
US11265446B2 (en) * | 2018-10-18 | 2022-03-01 | Sony Corporation | Frame handling for ML-based upscaling |
CN110766604B (zh) * | 2019-09-04 | 2023-06-06 | 国网浙江省电力有限公司湖州供电公司 | 一种双柱水平旋转式隔离开关图像数据的扩充方法 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101221A (ja) | 1991-10-04 | 1993-04-23 | Mitsubishi Heavy Ind Ltd | 画像歪補正装置 |
JPH05266161A (ja) | 1992-03-18 | 1993-10-15 | Meidensha Corp | ベクトル型データの補正装置 |
JP3093869B2 (ja) * | 1992-04-28 | 2000-10-03 | オリンパス光学工業株式会社 | 画像取り込み装置 |
JPH06274649A (ja) | 1993-03-23 | 1994-09-30 | Dainippon Printing Co Ltd | 画像合成装置 |
JP3631333B2 (ja) * | 1996-08-23 | 2005-03-23 | シャープ株式会社 | 画像処理装置 |
US6137893A (en) * | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
DE19700318A1 (de) * | 1997-01-08 | 1998-07-09 | Heidelberger Druckmasch Ag | Verfahren zur Bestimmung der Geometriedaten von Abtastvorlagen |
JPH11355584A (ja) * | 1998-06-11 | 1999-12-24 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP4138145B2 (ja) * | 1999-04-07 | 2008-08-20 | 株式会社トプコン | 画像形成装置 |
JP3425366B2 (ja) * | 1998-06-30 | 2003-07-14 | シャープ株式会社 | 画像補正装置 |
JP3608715B2 (ja) * | 1998-08-31 | 2005-01-12 | 日立ソフトウエアエンジニアリング株式会社 | 画像合成装置および画像合成方法 |
JP2000083157A (ja) * | 1998-09-07 | 2000-03-21 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
US6373590B1 (en) * | 1999-02-04 | 2002-04-16 | Seiko Epson Corporation | Method and apparatus for slant adjustment and photo layout |
US6400848B1 (en) * | 1999-03-30 | 2002-06-04 | Eastman Kodak Company | Method for modifying the perspective of a digital image |
JP4453119B2 (ja) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
JP2001145012A (ja) * | 1999-11-12 | 2001-05-25 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
JP3405302B2 (ja) * | 1999-12-24 | 2003-05-12 | 株式会社豊田自動織機 | 画像歪補正装置 |
JP2001223891A (ja) * | 2000-02-09 | 2001-08-17 | Fuji Photo Film Co Ltd | 画像処理方法 |
US6687421B1 (en) * | 2000-03-17 | 2004-02-03 | International Business Machines Corporation | Skew detection of text in a noisy digitized image |
FR2810765B1 (fr) * | 2000-06-27 | 2002-08-23 | Mannesmann Dematic Postal Automation Sa | Segmentation d'une image numerique d'un objet postal par la transformation de hough |
US6970592B2 (en) * | 2000-09-04 | 2005-11-29 | Fujitsu Limited | Apparatus and method for correcting distortion of input image |
JP3429280B2 (ja) * | 2000-09-05 | 2003-07-22 | 理化学研究所 | 画像のレンズ歪みの補正方法 |
JP3878401B2 (ja) * | 2000-09-14 | 2007-02-07 | シャープ株式会社 | 画像処理装置、画像処理方法およびそれを記録した記録媒体 |
US7035434B2 (en) * | 2000-12-11 | 2006-04-25 | Texas Instruments Incorporated | Hough transform based motion detection image recording system and method |
JP4513205B2 (ja) * | 2000-12-20 | 2010-07-28 | 株式会社ニコン | 電子カメラ、および画像処理プログラムの記録媒体 |
JP4012710B2 (ja) * | 2001-02-14 | 2007-11-21 | 株式会社リコー | 画像入力装置 |
KR100424330B1 (ko) * | 2001-03-20 | 2004-03-24 | 한국전력공사 | 원자로용 크립 시험장치 |
US6901167B2 (en) * | 2001-04-04 | 2005-05-31 | Microsoft Corporation | Detecting multiple objects in digital image data |
JP2003141520A (ja) * | 2001-10-31 | 2003-05-16 | Fuji Xerox Co Ltd | 画像読取装置、画像検査装置、およびプログラム |
JP2003283916A (ja) | 2002-03-20 | 2003-10-03 | Seiko Epson Corp | デジタルカメラ |
JP3866600B2 (ja) | 2002-03-27 | 2007-01-10 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
JP2004040395A (ja) * | 2002-07-02 | 2004-02-05 | Fujitsu Ltd | 画像歪み補正装置、方法及びプログラム |
US7301564B2 (en) * | 2002-07-17 | 2007-11-27 | Hewlett-Packard Development Company, L.P. | Systems and methods for processing a digital captured image |
US7227573B2 (en) * | 2002-07-29 | 2007-06-05 | Hewlett-Packard Development Company, L.P. | Apparatus and method for improved-resolution digital zoom in an electronic imaging device |
KR100513789B1 (ko) * | 2002-12-16 | 2005-09-09 | 한국전자통신연구원 | 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라 |
US7171056B2 (en) * | 2003-02-22 | 2007-01-30 | Microsoft Corp. | System and method for converting whiteboard content into an electronic document |
-
2004
- 2004-03-19 JP JP2004081553A patent/JP2005267457A/ja not_active Abandoned
-
2005
- 2005-03-17 US US11/082,742 patent/US7619663B2/en active Active
- 2005-03-18 KR KR1020050022461A patent/KR100723653B1/ko active IP Right Grant
- 2005-03-18 EP EP05006043A patent/EP1577832A3/en not_active Withdrawn
- 2005-03-18 CN CNB2005100557158A patent/CN100356767C/zh not_active Expired - Fee Related
- 2005-03-18 TW TW094108285A patent/TWI268096B/zh not_active IP Right Cessation
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101546423B (zh) * | 2008-03-24 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 影像截取装置及其影像截取方法 |
CN102096899A (zh) * | 2010-12-15 | 2011-06-15 | 中钞长城金融设备控股有限公司 | 一种线阵相机图像的校正方法 |
CN102096899B (zh) * | 2010-12-15 | 2014-08-06 | 中钞长城金融设备控股有限公司 | 一种线阵相机图像的校正方法 |
US9715743B2 (en) | 2011-03-31 | 2017-07-25 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN102737405A (zh) * | 2011-03-31 | 2012-10-17 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
US11195307B2 (en) | 2011-03-31 | 2021-12-07 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10360696B2 (en) | 2011-03-31 | 2019-07-23 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9443348B2 (en) | 2011-03-31 | 2016-09-13 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN102915534A (zh) * | 2011-08-04 | 2013-02-06 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
CN102915534B (zh) * | 2011-08-04 | 2015-03-25 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
CN105444752A (zh) * | 2014-09-02 | 2016-03-30 | 深圳市芯通信息科技有限公司 | 基于光源亮度的室内定位方法、装置及系统 |
CN106034203A (zh) * | 2015-03-11 | 2016-10-19 | 维科技术有限公司 | 拍摄终端的图像处理方法及其装置 |
CN106034203B (zh) * | 2015-03-11 | 2020-07-28 | 维科技术有限公司 | 拍摄终端的图像处理方法及其装置 |
CN106388418A (zh) * | 2015-07-28 | 2017-02-15 | 由田新技股份有限公司 | 防止跌落装置与其操作方法 |
CN106388418B (zh) * | 2015-07-28 | 2020-02-14 | 由田新技股份有限公司 | 防止跌落装置与基于防止跌落装置的防止跌落方法 |
CN105141866A (zh) * | 2015-09-06 | 2015-12-09 | 青岛海信信芯科技有限公司 | 一种投影图像校正方法和装置 |
CN105141866B (zh) * | 2015-09-06 | 2018-10-16 | 青岛海信电器股份有限公司 | 一种投影图像校正方法和装置 |
CN106530212B (zh) * | 2015-09-09 | 2019-08-27 | 奥特润株式会社 | 镜头影像变形校正装置 |
CN106530212A (zh) * | 2015-09-09 | 2017-03-22 | 奥特润株式会社 | 镜头影像变形校正装置 |
CN105444888A (zh) * | 2015-11-16 | 2016-03-30 | 青岛市光电工程技术研究院 | 一种高光谱成像系统的色差补偿方法 |
US10291844B2 (en) | 2016-03-14 | 2019-05-14 | Realop Corporation | Image processing apparatus, image processing method, recording medium, program and imaging-capturing apparatus |
CN107924558B (zh) * | 2016-03-14 | 2019-04-30 | Realop株式会社 | 图像处理装置、图像处理方法、记录介质以及拍摄装置 |
CN107924558A (zh) * | 2016-03-14 | 2018-04-17 | Realop株式会社 | 图像处理装置、图像处理方法、记录介质、程序以及拍摄装置 |
CN105959542B (zh) * | 2016-05-17 | 2019-06-25 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
CN105959542A (zh) * | 2016-05-17 | 2016-09-21 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
CN111965630A (zh) * | 2020-08-17 | 2020-11-20 | 南京先能光电科技有限公司 | 一种空间定位系统 |
CN111965630B (zh) * | 2020-08-17 | 2024-05-28 | 南京先能光电科技有限公司 | 一种空间定位系统 |
CN114331814A (zh) * | 2021-12-24 | 2022-04-12 | 合肥视涯技术有限公司 | 一种畸变画面校正方法及显示设备 |
Also Published As
Publication number | Publication date |
---|---|
TWI268096B (en) | 2006-12-01 |
US20050206753A1 (en) | 2005-09-22 |
KR20060044366A (ko) | 2006-05-16 |
CN100356767C (zh) | 2007-12-19 |
TW200603611A (en) | 2006-01-16 |
JP2005267457A (ja) | 2005-09-29 |
US7619663B2 (en) | 2009-11-17 |
EP1577832A2 (en) | 2005-09-21 |
KR100723653B1 (ko) | 2007-05-30 |
EP1577832A3 (en) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1671176A (zh) | 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置 | |
CN1260673C (zh) | 2维码读取方法和读取装置、数字照相机及其便携终端 | |
CN1284073C (zh) | 信息显示系统及其信息处理装置、指示装置和标记显示法 | |
CN1909590A (zh) | 摄像装置、图像校正方法以及程序 | |
CN100345158C (zh) | 用于产生涉及几何失真的格式化信息的方法和系统 | |
CN1187952C (zh) | 校正输入图象失真的设备与方法 | |
CN1270277C (zh) | 图像失真校正方法和设备 | |
CN1207895C (zh) | 图象处理方法和装置 | |
CN1301492C (zh) | 图像处理装置 | |
CN1738441A (zh) | 使用屏幕的一部分的边的梯形失真校正 | |
CN1114888C (zh) | 图像处理方法、设备和系统 | |
CN1526117A (zh) | 产生与装置链的装置的缺陷相关的格式化信息的方法和系统 | |
CN1703900A (zh) | 摄像系统和播放系统 | |
CN1691744A (zh) | 图像处理系统、投影机及图像处理方法 | |
CN1945580A (zh) | 图像处理装置 | |
CN1662071A (zh) | 色空间的图像数据处理方法 | |
CN1871847A (zh) | 信号处理系统、信号处理方法以及信号处理程序 | |
CN1867940A (zh) | 成像装置及其图像处理方法 | |
CN1637584A (zh) | 投影机及变焦调整方法 | |
CN1577051A (zh) | 图像处理系统、投影机以及图像处理方法 | |
CN101032159A (zh) | 图像处理设备及其方法,图像处理程序 | |
CN1968391A (zh) | 摄影装置、显示控制方法、程序 | |
CN1665268A (zh) | 图像编辑装置及其方法和程序 | |
CN1696959A (zh) | 特定被摄体检测装置 | |
CN1580934A (zh) | 画幅调节装置、拍摄装置和洗印装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071219 |