CN104735293B - 图像修正装置图像修正方法以及记录介质 - Google Patents
图像修正装置图像修正方法以及记录介质 Download PDFInfo
- Publication number
- CN104735293B CN104735293B CN201410820752.2A CN201410820752A CN104735293B CN 104735293 B CN104735293 B CN 104735293B CN 201410820752 A CN201410820752 A CN 201410820752A CN 104735293 B CN104735293 B CN 104735293B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- shape
- line
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000003702 image correction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 7
- 238000012545 processing Methods 0.000 description 63
- 230000011218 segmentation Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Character Input (AREA)
Abstract
本发明提供对拍摄规定物体而得到的图像的形变进行修正的图像修正装置，基于图像中的规定物体上的各点在二维空间中的位置关系和相对于规定物体的表面的摄影角度，确定各点在三维空间中的位置关系，获取反映了该确定出的各点在三维空间中的位置关系的图像的形变信息，基于该获取到的形变信息来对图像的形变进行修正。确定单元，根据考虑图像中的规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，获取单元，获取由确定单元确定的多个微小区间的形变信息，修正单元，根据由取得单元取得的形变信息使多个微小区间变形来对图像的形变进行修正。
Description
技术领域
本发明涉及对拍摄了规定物体而得到的图像中的规定物体的形变进行修正的技术。
背景技术
当拍摄在纸介质(例如笔记本或书籍)等可变形的被拍摄对象(规定物体)的表面记载的信息(字符、图形等)并作为图像来进行记录保存时，能够通过对拍摄到的图像实施梯形形变修正来获得反映了被拍摄对象原本的形状的图像。
另外，在本说明书中，也有时将这种被拍摄对象称作“原稿”，此时的“原稿”的用语并不是指草稿或草案等，而是指成为摄影对象的纸介质等其本身。
但是，拍摄原稿时，若原稿中存在三维形变(整体弯曲、不规则的局部弯曲)，则仅仅对原稿图像实施梯形形变修正的话，修正后的图像中原稿的三维形变会进一步被增强。
作为解决这种问题的技术，例如专利文献1(JP特开2010-130181号公报)记载了以下的技术。即，从原稿图像中分别检测与原稿的文本行成直角的垂直方向的消失点即垂直消失点、以及与原稿的上述垂直方向成直角的水平方向的水平消失点，在原稿图像中，设定由以上述垂直消失点为基点的多个垂直线和以上述水平消失点为基点的多个水平线构成的栅格(grid)。然后，对原稿图像实施将被多个垂直线和多个水平线划分的各个单位区域的形状变形为矩形的修正，从而获得表现与在原稿中不存在三维形变的状态下进行拍摄时相同的状态的字符信息的修正图像。
但是，在上述的技术中，前述的多个垂直线和多个水平线彼此的交点是按照根据预先假定的原稿的形变状态而决定的特定基准来设定的，并不是直接反映原稿各部分的三维形变的点。因此，在原稿中存在未被假定的局部形变的情况下，存在无法高精度地修正该部分的形变的问题。
发明内容
本发明鉴于上述的现有技术中的课题而完成，其目的在于，提供一种能够从拍摄了存在局部形变的原稿而得到的原稿图像中，获得高精度地修正了原稿的局部形变的表现良好状态的字符、图形等记载信息的修正图像的图像修正装置、图像修正方法及程序。
本发明的1个方式是一种对拍摄原稿而得到的原稿图像的形变进行修正的图像修正装置，其特征在于，具备：确定单元，其基于图像中的所述规定物体上的各点在二维空间中的位置关系和相对于所述规定物体的表面的摄影角度，确定各点在三维空间中的位置关系；获取单元，其获取反映了由所述确定单元确定的各点在三维空间中的位置关系的图像的形变信息；和修正单元，其基于由所述获取单元获取的所述形变信息，对图像的形变进行修正，所述确定单元，根据考虑图像中的所述规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，所述获取单元，获取由所述确定单元确定的所述多个微小区间的所述形变信息，所述修正单元，根据由所述取得单元取得的所述形变信息使所述多个微小区间变形来对图像的形变进行修正。
此外，本发明的另一方式是一种对拍摄原稿而得到的原稿图像的形变进行修正的图像修正方法，其特征在于，包括：基于图像中的所述规定物体上的各点在二维空间中的位置关系和相对于所述规定物体的表面的摄影角度，确定各点在三维空间中的位置关系，获取反映了确定的各点在三维空间中的位置关系的图像的形变信息，基于获取的所述形变信息，对图像的形变进行修正，根据考虑图像中的所述规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，获取确定的所述多个微小区间的所述形变信息，根据取得的所述形变信息使所述多个微小区间变形来对图像的形变进行修正。
此外，本发明的又一方式是一种非临时性(non-transitory)的记录介质，该记录介质记录了使具有对拍摄原稿而得到的原稿图像的形变进行修正的图像修正装置的计算机作为如下单元起作用的程序：确定单元，其基于图像中的所述规定物体上的各点在二维空间中的位置关系和相对于所述规定物体的表面的摄影角度，确定各点在三维空间中的位置关系；获取单元，其获取反映了由所述确定单元确定的各点在三维空间中的位置关系的图像的形变信息；和修正单元，其基于由所述获取单元获取的所述形变信息，对图像的形变进行修正，其中，所述确定单元，根据考虑图像中的所述规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，所述获取单元，获取由所述确定单元确定的所述多个微小区间的所述形变信息，所述修正单元，根据由所述取得单元取得的所述形变信息使所述多个微小区间变形来对图像的形变进行修正。
附图说明
图1是作为本发明的实施方式而例示的图像修正装置的使用状态下的侧视图。
图2是表示装置主体的电结构的主要部分的框图。
图3是表示实施方式1中的图像修正处理的流程图。
图4是表示分割处理的流程图。
图5是表示实施方式1中的图像修正处理的内容的说明图。
图6是接着图5的说明图。
图7是接着图6的说明图。
图8是表示在原稿内相接近的2点间的三维空间中的距离的获取方法的说明图。
图9是接着图8的说明图。
图10是表示照相机坐标系、图像坐标系、世界坐标系之间的关系的图。
图11是表示实施方式2中的图像修正处理的流程图。
图12是表示实施方式2中的图像修正处理的内容的说明图。
具体实施方式
以下，说明本发明的实施方式。
(实施方式1)
首先，说明本发明的实施方式1。图1是实施方式1以及后述的实施方式2中共用的图像修正装置1的外观图。
图像修正装置1主要包括：由能够经由铰链部(连结部)2a进行开闭的第1框体2b和第2框体2c构成的框体2；和设置于第2框体2c的具有摄影功能的装置主体3。
框体2能够固定成第1框体2b和第2框体2c以图1所示的规定角度来打开的使用状态，在该使用状态下，将第1框体2b用作载置任意的原稿(可变形的规定物体)的原稿架。作为原稿，例如有各种书类、笔记本、书籍以及以这些为标准的印刷品等。
装置主体3是包括用于对载置于第1框体2b的原稿进行拍摄的照相机3a在内的信息处理装置，例如由相对第1框体2b可自由装卸的平板型计算机等构成。
在框体2处于图1所示的使用状态时，照相机3a在装置主体3中被设置成光轴L相对于第1框体2b(原稿架)的表面成规定角度，能够拍摄任意的原稿。即，拍摄原稿时的照相机3a与原稿之间的摄影距离和摄影角度θ是固定的。此外，照相机3a具有能够拍摄第1框体2b的整个表面区域的程度的视角。
图2是表示了装置主体3的电结构的概况的框图。照相机3a主要包括经由未图示的摄影光学系统拍摄被拍摄对象的CCD(Charge Coupled Device)或CMOS(ComplementaryMetal Oxide Semiconductor)型摄像元件、和对由摄像元件获得的摄像信号进行处理的图像处理引擎，并且照相机3a向控制部11提供拍摄原稿而得到的摄影图像数据。
控制部11通过来自电源部(二次电池)12的电力供给而工作，按照存储部13内的各种程序来控制装置主体3的整体动作。控制部11由CPU(Central Processing Unit)及其外围电路、存储器等构成。
存储部13例如由闪速存储器构成，且具有存储上述各种程序的程序存储器13a和存储包括前述摄影图像数据在内的各种信息的工作存储器13b。另外，存储部13也可以是相对于装置主体3可自由装卸的记录介质。
操作部14由包括未图示的电源键在内的多个操作开关构成。显示面板15a是液晶显示器，显示各种图像信息、字符信息。
触摸面板15b是静电电容方式或电阻膜方式等的输入设备，该触摸面板15b感知被用户的手指等触摸操作的位置并检测其坐标数据，并且向控制部11提供检测数据。
通信部16是可进行高速大容量的通信的无线通信模块，经由最近的无线LAN(Local Area Network)路由器等与因特网连接，或者进行与具备通信功能的个人计算机等其他设备之间的数据通信。
并且，在上述构成的图像修正装置1中，控制部11基于保存在程序存储器13a中的规定的程序执行后述的图像修正处理，从而对存在于由照相机3a拍摄到的原稿的摄影图像(以下称作原稿图像)中的原稿的形变进行修正。
以下，按照图3以及图4所示的流程图说明控制部11进行的图像修正处理。另外，在以下的说明中，以原稿为记载(印刷)有字符的任意书类作为前提。
进行图像修正处理时，控制部11首先将由照相机3a拍摄且存储在工作存储器13b中的原稿的原稿图像2值化(步骤SA1)。
进行该2值化时，例如能够使用对明亮度不同的部分设定不同的阈值的公知的Niblack法，来获取将字符和背景分离的良好的2值化图像。图5(a)是方便地示出上述2值化图像G1的图，是字符串沿着图像的横向延伸时的例子。另外，在以下的说明中，以字符串大致沿着图像的横向延伸的情况作为前提。
接着，控制部11在2值化图像G1的多个位置设定格子点(步骤SA2)。具体而言，控制部11在2值化图像G1中使用边缘检测等来判别排列有字符的文本区域之后，在该文本区域中以一定间隔来设定多个格子点。图5(b)是方便地示出上述多个格子点P(图中是白色圆)的一部分的图。
接着，控制部11从2值化图像G1中按顺序切取出以各格子点P为中心的规定尺寸的正方形的区域图像(步骤SA3)。图5(c)是表示切取出的区域图像G2的图。
接着，控制部11使区域图像G2反复旋转来求出x方向的像素值的直方图的标准偏差，将标准偏差成为最大的角度的倾斜方向设为格子点P处的局部的字符的排列方向(以下，称为字符串方向)(步骤SA4)。
在此，x方向的像素值的直方图表示：在图像空间中的x轴上的各位置处，正交的y轴上的黑色像素的总计数目的分布状态；控制部11将在上述直方图中标准偏差成为最大(方差为极值)的特定旋转角度、即区域图像G2相对于x轴的倾斜角度存储为表示字符串方向的信息。图5(d)是用箭头表示了区域图像G2中的局部的字符串方向的示意图。
接着，控制部11反复执行对区域图像G2使用了一个方向的扩散滤波器(diffusingfilter)的扩散处理，处理之后将像素的总计为最大的特定方向设为格子点P处的局部的字符的行方向(以下，称为字符行方向)(步骤SA5)。
更具体说明的话，控制部11在对区域图像G2改变方向的同时反复施加一个方向的扩散滤波器，进行只保留某一程度以上的长度的线段的处理。并且，控制部11将滤波处理后剩余的黑色像素的总计数目为最大的特定方向(其中，除了字符串方向以外)与x轴所成的角度存储为表示字符行方向的信息。图5(e)是用箭头表示了区域图像G2中的局部的字符行方向(图中是箭头)的示意图。
之后，控制部11以不同的格子点P作为对象反复进行上述步骤SA3～步骤SA5的处理，直到针对设定在2值化图像G1中的所有格子点P分别获取表示局部的字符串方向以及字符行方向的角度为止(步骤SA6：否)。
然后，针对所有格子点P获取了上述的角度之后(步骤SA6：是)，控制部11在原稿图像G0的中央附近使用各格子点P处的字符串方向来设定成为如图6(a)所示的基准的1条第1形状线L1(步骤SA7)。
此时，控制部11首先根据前述的各格子点P的字符串方向(角度)来增补各个格子点P之间的图像内的各点的字符串方向(角度)。另外，在进行增补时，通过在各格子点P之中预先排除与周围的其他格子点P相比方向有很大不同的格子点P，从而以使包括格子点P在内的各点处的字符串方向在整体上平滑地进行变化的方式来确保一致性。
然后，控制部11将各格子点P以及位于这些格子点P之间的各点之中位于原稿图像G0的中心附近的点决定为基准点，将该基准点作为出发点，将线段分别朝向基准点处的字符串方向的一侧以及另一侧延长微小距离，并将其前端朝向对应的位置的其他点处的字符串方向进一步延长微小距离，通过反复进行上述处理来生成第1形状线L1。
接着，控制部11进行将如上所述那样设定的第1形状线L1以在三维空间中成为等间隔的方式分割成多个区间的分割处理(步骤SA8)。图4是表示了控制部11进行的分割处理的流程图。
首先，说明分割处理的概况。分割处理是如下的处理：在第1形状线L1上设定相互间隔了在三维空间中决定的分割距离的如图6(b)所示的多个分割点N，并存储各分割点的坐标值。另外，图6(b)方便地示出了多个分割点N，实际上要设定的分割点的数目(第1形状线L1的分割数)是数十个。
此外，在进行分割点的设定时，控制部11如后述那样在第1形状线L1上按顺序设定将彼此相接近的2点作为起点以及终点的微小区间，反复获取该微小区间在三维空间中的距离，由此决定各分割点N的位置。此外，基于以下的方法来获取微小区间在三维空间中的距离。
首先，如图8(a)所示，将放置了原稿W的原稿架的上表面设为平面D，将该平面D的法线方向设为z轴，将原稿W的纵向设为x轴，将横向设为y轴。
由于位于原稿图像G0的第1形状线L1上的任意点A在三维空间中的位置与平面D上的位置相近似，因此如图8(b)所示，将经过照相机3a以及点A的直线与平面D的交点A’的位置作为点A在三维空间中的位置。
此外，若字符串方向(第1形状线L1的延伸方向)大致与x轴方向一致，则如图9(a)所示，能够认为经过点A’的三维空间中的第1形状线L1被包含于在点A’附近与平面D垂直、与x轴平行、且与y轴垂直的铅垂面S中。其中，在字符串方向大致与y轴方向一致的情况下，铅垂面S与y轴平行。
因此，如图9(b)所示，能够认为在原稿图像G0的第1形状线L1上与点A相隔了微小距离的点B在三维空间中位于经过照相机3a以及点B的直线与铅垂面S的终点B’处。
因此，铅垂面S内的线段A’B’的距离是第1形状线L1上的微小区间A-B在三维空间中的距离，当在原稿W的表面的相应的部分没有弯曲等形变时，该距离为最大，当有形变时，该距离比最大值小且形变的程度越大就越小。
根据相关情况，在进行分割点的设定时，控制部11反复获取铅垂面S内的线段A’B’的距离。也就是说，控制部11将原稿W内的各点伴随原稿W的表面的弯曲等而在三维空间中的移动方向假设为特定方向、即与前述铅垂面S平行的方向，从而反复获取微小区间A-B在三维空间中的距离。由此，决定第1形状线L1上的各分割点N的位置。
接着，按照图4所示的流程图具体说明控制部11进行的分割处理的内容。
在进行分割处理时，控制部11首先设定前述的分割距离(步骤SA101)。在此，由于以第1形状线L1大致沿着原稿图像G0的横向延伸作为前提，因此分割距离是原稿中的规定的宽度w。另外，在第1形状线L1大致沿着原稿图像G0的纵向延伸时，上述分割距离是原稿中的规定的高度h。
接着，控制部11将在设定第1形状线L1时使用的基准点设定为距离的测量起点，并且设定分割范围(步骤SA102)。另外，分割范围是在第1形状线L1上设定分割点的范围，在处理开始最初是基准点的一侧的范围。
接着，控制部11确认在分割范围(基准点的一侧)中是否能够设定微小区间(步骤SA103)。在此，在处理开始最初能够设定微小区间(步骤SA103：是)，因此控制部11设定以前述测量起点作为起点的微小区间(步骤SA104)。
然后，控制部11将所设定的微小区间的起点与终点在二维空间(图像空间)中的坐标位置变换为三维空间中的位置(步骤SA105)。变换方法如下。
首先，如图10所示，作为坐标系，定义照相机坐标系[k，l，m]、世界坐标系[x，y，z]、图像坐标系[u，v]。此时，设世界坐标的原点O与x轴、y轴如前述那样位于原稿架的表面(平面D)上，将原稿的横向设为x轴方向，将纵向设为y轴方向。另外，照相机坐标的1轴是照相机3a的上方向，m轴是照相机3a的光轴，图像坐标系的u轴与k轴平行，v轴与1轴平行。
世界坐标[x，y，z]与照相机坐标[k，l，m]之间的变换使用旋转矩阵R和平移矩阵T由下述式(1)来表示。
(式1)
上述旋转矩阵R是表示照相机3a相对于世界坐标系的姿势、即与原稿的摄影角度相对应的照相机3a绕着k轴的旋转状态的参数。此外，上述平移矩阵T是表示照相机3a相对于世界坐标系的位置、即摄影距离的参数。
此外，照相机坐标系[k，l，m]与和图像坐标系[u，v]的变换可由下述式(2)表示。
(式2)
经过原稿图像G0的画面上的起点A[Au，Av]t和照相机坐标系的原点C的直线CA的方向矢量在照相机坐标系中是A＝[Au，Av，f]t，所以通过式(1)，在世界坐标系中成为RA。若将参数设为s，则直线CA可用下述式(3)来表示。
(式3)
若在其中代入z＝0，则可得到下述式(4)。
(式4)
因此，直线AC与铅垂面S(z＝0)的交点A’的位置、即原稿图像G0的画面上的起点A在三维空间中的位置能够通过式(3)和式(4)由下述式(5)来求出。
(式5)
另一方面，经过在第1形状线L1上与起点A相接近的终点B和照相机坐标系的原点C的直线CB能够与式(3)同样地，由下述式(6)来表示。
(式6)
此外，包含点A’且垂直于y轴的铅垂面S可通过式(5)而变成下述式(7)。
(式7)
将该式代入式(6)，则变成下述式(8)。
(式8)
因此，直线CB与铅垂面S(z＝0)的终点B’的位置、即原稿图像G0的画面上的终点B在三维空间中的位置能够通过下述式(9)来求出。
(式9)
因此，在步骤SA105的处理中，控制部11使用式(5)和式(9)，将微小区间的起点A和终点B在二维空间(图像空间)中的坐标位置变换为三维空间中的位置(交点A’、终点B’的位置)。
接着，如图4所示，控制部11根据起点A和终点B在三维空间中的位置，计算出微小区间在三维空间中的距离(步骤SA106)。
接着，控制部11通过累计计算微小区间的距离，来获取从测量起点到微小区间的终点为止的距离(步骤SA107)，并确认累计计算出的距离、即距测量起点的距离是否为分割距离(步骤SA108)。此时，如果累计计算出的距离与分割距离之差为预先决定的阈值以下时，则控制部11判断为累计计算出的距离等于分割距离。
然后，如果累计计算出的距离未达到分割距离(步骤SA108：否)，则控制部11在将本次设定的微小区间的终点设定为新的微小区间的起点之后(步骤SA109)，返回步骤SA103的处理，重新设定微小区间，并反复进行前述的处理。
此外，控制部11在反复进行步骤SA103以后的处理的期间，若累计计算出的距离成为分割距离(步骤SA108：是)，则将该时刻的微小区间的终点设定为分割点，存储该坐标位置并且设定为新的测量起点(步骤SA110)。
进一步地，控制部11在将微小区间的终点设定为新的微小区间的起点之后(步骤SA109)，返回步骤SA103的处理，重新设定微小区间，并反复进行前述的处理。由此，控制部11在第1形状线L1上的基准点的一侧的范围内设定多个分割点。
此外，控制部11在反复进行步骤SA103以后的处理的期间，为了设定新的微小区间而使范围移动至第1形状线L1的基准点的一侧的末端，在成为不能设定微小区间时(步骤SA103：否)，如果在基准点的两侧并未设定有分割点(步骤SA111：否)，则暂时返回步骤SA102的处理，反复进行前述的处理。
即，控制部11再次将基准点设定为测量起点，并且将设定分割点的分割范围从基准点的一侧的范围变更到另一侧的范围(步骤SA102)，之后，反复进行步骤SA103以后的处理，从而在第1形状线L1上的基准点的另一侧的范围中也设定多个分割点。
之后，控制部11在基准点的另一侧的范围内设定了多个分割点的阶段(步骤SA103：否，步骤SA111：是)，结束分割处理，返回图3的处理。
然后，通过上述的分割处理将第1形状线L在三维空间中分隔为等间隔的多个区间之后，控制部11使用在步骤SA5中获取到的各格子点P处的局部的字符行方向，在原稿图像G0中设定分别经过第1形状线L1上的分割点N的图6(c)所示的多条第2形状线L2(步骤SA9)。
此时，控制部11通过与设定成为基准的第1形状线L1时相同的方法，决定各个第2形状线L2。即，控制部11根据各格子点P处的局部的字符行方向(角度)来增补各个格子点P之间的各点处的字符行方向(角度)，之后，按照各点的字符行方向，将第1形状线L1上的各分割点N设为出发点，将线段分别向一个方向以及另一个方向延长微小距离，通过反复进行上述处理来生成各个第2形状线L2。
接着，控制部11将在多条第2形状线L2之中位于原稿图像G0的中心附近的1条作为基准，通过与前述的步骤SA8的处理相同的方法，将该第2形状线L2以在三维空间中成为等间隔的方式分割为多个区间(步骤SA10)。
即，控制部11在作为基准的第2形状线L2上分别以第1形状线L1上的分割点N作为起点，在其一侧以及另一侧按顺序设定在三维空间中彼此相隔规定的分割距离的如图6(d)所示的多个分割点N。
此时，控制部11在第2形状线L2上按顺序设定将相接近的2点作为起点及终点的微小区间，反复获取该微小区间在三维空间中的距离，从而决定各分割点N的位置。
其中，在获取微小区间在三维空间中的距离时，控制部11通过下述式(10)，针对微小区间的终点(B)，将其在二维空间中的位置变换为三维空间中的位置(终点B’的位置)。
(式10)
接着，控制部11使用表示在步骤SA5中获取到的各格子点P处的局部的字符串方向的角度，在原稿图像G0中进一步设定经过在成为基准的第2形状线L2上设定的各个分割点N而延伸的如图6(e)所示的多条第1形状线L1(步骤SA11)。另外，具体的设定方法与在步骤SA7中设定成为基准的第1形状线L1时相同。
通过以上的处理，在原稿图像G0中设定由多条第1形状线L1和多条第2形状线L2构成的如图6(f)所示的栅格。
接着，控制部11在设定于原稿图像G0中的多条第1形状线与多条第2形状线的交点(栅格的格子点)之中，获取未取得坐标值的在图6(f)中用黑色圆表示的分割点N以外的各交点Na的坐标值(步骤SA12)。
之后，控制部11按顺序切取出在原稿图像G0中将相邻的4个交点作为顶点的四边形区域(相当于本发明的单位区域的区域)作为处理对象，通过射影变换变形为具有规定的纵横尺寸的矩形(步骤SA13)。图7(a)是明示了前述的分割点N以及交点Na(图中是白色圆)和四边形区域Q之一的图。
在此，变形后的矩形的纵横尺寸是与在步骤SA8的分割处理(图4)中将第1形状线L1分割为多个区间时的分割距离、即前述的三维空间中的规定的宽度w以及高度h相应的尺寸。
接着，控制部11在维持了原来的位置关系的状态下将变形后的四边形区域的图像、即矩形图像与存储器内的完成变形的其他矩形图像相连结(步骤SA14)。图7(b)是表示了与图7(a)所明示的四边形区域Q相对应的变形后的矩形图像R及其连结位置的图。
然后，控制部11反复进行步骤SA13、SA14的处理，直到针对画面整体的格子(所有的四边形区域)完成处理为止(步骤SA15：否)。
然后，控制部11在针对画面整体的所有的格子完成了处理之后(步骤SA15：是)，在工作存储器13b中存储连结了所有的矩形图像的纵横尺寸与原稿图像相同的图像，作为修正图像。
通过以上的处理，得到修正了原稿的形变的如图7(c)所示的状态的修正图像G3。
另外，存储在工作存储器13b中的修正图像的数据被显示于显示面板15a，或者经由通信部16发送到个人计算机等其他设备后保存在其他设备中。
在此，在进行上述的图像修正处理时在原稿图像G0中设定的栅格的格子点(分割点N以及交点Na)直接反映了存在于原稿内的各点在三维空间中的位置关系(距离)、即原稿各部分中的三维形变。
因此，在图像修正装置1中，在原稿图像是拍摄整体弯曲的原稿而得到的图像的情况下，当然即使在原稿图像为拍摄在外周部分或角部分等任意部分存在局部的形变的原稿而得到的图像的情况下，都能够根据相应的原稿图像获取高精度地修正了弯曲状态以及局部的形变的表现良好状态的原稿的修正图像。也就是说，能够获取表现与原稿中不存在弯曲或局部的形变时相同的良好状态的字符信息的修正图像。
并且，在上述的图像修正处理中，不仅是能够修正原稿中的弯曲状态以及局部的形变，还能够自动地也就是说通过一次处理来修正从倾斜方向拍摄原稿而引起的整体的梯形形变。
此外，在上述的图像修正处理中，以在三维空间中成为等间隔的方式来分割第1形状线L1以及第2形状线L2时，通过将原稿内的各点伴随原稿表面的弯曲在三维空间中的移动方向假设为特定方向(与铅垂面S平行的方向)，来获取前述的微小区间A-B在三维空间中的距离。
因此，即使是仅基于原稿图像的处理，也能够以在三维空间中成为等间隔的方式来正确地分割第1形状线L1以及第2形状线L2，能够在原稿图像中设定具有正确地反映了原稿各部分的三维形变的格子点的栅格。由此，也能够获取表现良好状态的字符信息的修正图像。
此外，由于基于从2值化图像G1中检测到的字符串方向以及字符行方向来设定构成栅格的第1形状线L1以及第2形状线L2，所以也能够由此获取表现良好状态的字符信息的修正图像。
另外，在本实施方式中说明的字符串方向、字符行方向的检测方法是一例，能够适当变更它们的具体的检测方法。例如，字符串方向、字符行方向可以在原稿图像中提取轮廓后基于提取出的轮廓信息来进行检测。
(实施方式2)
接着，说明本发明的实施方式2。本实施方式具有图1以及图2所示的构成，并且在修正原稿图像时，控制部11基于保存在存储部13中的程序来进行与实施方式1不同的后述的图像修正处理。
首先进行概述，在本实施方式的图像修正处理中，不从2值化图像G1中检测字符行方向，而是在原稿图像中设定表示字符行方向的多个第2形状线L2。
以下，按照图11所示的流程图来具体说明在本实施方式中由控制部11执行的图像修正处理。
在本实施方式中，控制部11也是首先将拍摄原稿而得到的原稿图像进行2值化(步骤SB1)，在2值化图像G1的多个位置设定格子点之后(步骤SB2)，按顺序切取出以各个格子点为中心的规定尺寸的正方形的区域图像(步骤SB3)，按每个格子点检测局部的字符串方向(步骤SB4)。
另外，各处理的详细情况与在实施方式1中图3所示的步骤SA1～步骤SA4的各处理相同(参照图5(a)～图5(d))。
接着，控制部11反复进行步骤SB1～步骤SB4的各处理，直到针对所有格子点获取字符串方向(角度)为止(步骤SB5：否)，在获取到所有格子点的字符串方向(角度)之后(步骤SB5：是)，进行以下的处理。
首先，控制部11在原稿图像G0的中央设定如图12(a)所示的沿着y轴方向延伸的1条直线，作为成为基准的第2形状线L2(步骤SB6)。在此，将成为基准的第2形状线L2设为直线的理由是因为：即便在原稿(书类等)中整体存在弯曲或存在局部的形变的情况下，也能够在原稿表面的横向(x方向)的中心附近沿着字符行方向维持直线性。
接着，控制部11以在三维空间中成为等间隔的方式将成为基准的第2形状线L2分割成多个区间，并设定其分割点(步骤SB7)。
具体而言，控制部11在第2形状线L2上以原稿图像G0的中心作为起点，在其一侧以及另一侧按顺序设定在三维空间中相隔了规定的分割距离的如图12(b)所示的多个分割点N，并存储各分割点的坐标值。
另外，在设定相应的多个分割点时，控制部11也与在实施方式1中说明的分割处理(图4)同样地，在第2形状线L2上按顺序设定以彼此相接近的2点作为起点以及终点的微小区间，反复获取该微小区间在三维空间中的距离，由此来进行相应的多个分割点的设定。
其中，在此获取的三维空间中的距离是在将原稿的纵向设为x轴、横向设为y轴时(参照图9(a))，假设第2形状线L2位于与x轴和z轴垂直的铅垂面上时的该铅垂面内的2点间的距离。
接着，控制部11使用在步骤SB4中获取到的各格子点P的字符串方向，在原稿图像G0中设定分别经过设定在第2形状线L2上的分割点N的如图12(c)所示的多条第1形状线L1(步骤SB8)。
此时，与在实施方式1中设定成为基准的1条第1形状线L1时同样地，控制部11根据各格子点P处的局部的字符串方向(角度)来增补各个格子点P间的各点处的字符串方向(角度)，之后，按照各点的字符行方向，将第2形状线L2上的各分割点N作为出发点，将线段分别向一个方向以及另一个方向延长微小距离，通过反复进行上述处理来决定各个第1形状线L1。
接着，控制部11以在步骤SB7的处理中设定在第2形状线L2上的各分割点N作为基准，以在三维空间中成为等间隔的方式将多条第1形状线L1分割为多个区间，并设定其分割点(步骤SB9)。
此时，控制部11在多条第1形状线L1上，以设定在第2形状线L2上的各分割点N作为起点，向其一侧以及另一侧按顺序设定在三维空间中相隔了规定的分割距离的如图12(d)所示的多个分割点N，并存储各分割点的坐标值。另外，步骤SB9的处理的详细情况与在实施方式1中说明过的分割处理(图4)相同。
接着，控制部11在y轴方向上连结如上述那样设定的多条第1形状线L1的各个线上的各分割点N，从而在原稿图像G0中进一步设定如图12(e)所示的多条第2形状线L2(步骤SB10)。即，控制部11在分别设定在多条第1形状线L1上的分割点N之中，将距设定为基准的第2形状线L2的在三维空间中的距离相同的点相互连结，并将连结而成的线重新设定为第2形状线L2。
通过以上的处理，在原稿图像G0中设定由多条第1形状线L1和多条第2形状线L2构成的如图12(f)所示的栅格。
然后，控制部11进行与实施方式1中图3所示的步骤SA13～步骤SA16的各处理相同的处理。
即，控制部11从原稿图像G0中按顺序切取出将已经作为分割点N而获取了坐标值的多条第1形状线与多条第2形状线的交点(栅格的格子点)中、相邻的4个分割点设为顶点的各个四边形区域，将其作为处理对象，并通过射影变换而变形为具有规定的纵横尺寸的矩形(步骤SB11)。图12(f)是明示了各交点(图中是白色圆)和上述四边形区域Q之一的图。
另外，变形后的矩形的纵横尺寸是与将在步骤SB7的处理中作为基准的第2形状线L2分割为多个区间时的分割距离、和在步骤SB9的处理中将多个第1形状线L1分割为多个区间时的分割距离、即前述的三维空间中的规定的宽度w以及高度h相应的尺寸。
然后，控制部11在维持了原来的位置关系的状态下按顺序将变形后的四边形区域的图像(矩形图像)与存储器内的完成变形的其他矩形图像相连结(步骤SB12)，反复进行步骤SB11、SA12的处理，直到针对画面整体的格子(所有的四边形区域)完成处理为止(步骤SB13：否)。
然后，控制部11在针对画面整体的所有的格子完成处理之后(步骤SB13：是)，在工作存储器13b中存储连结了所有的矩形图像的纵横尺寸与原稿图像G0相同的图像，作为修正图像。
由此，与第1实施方式同样地，能够得到修正了原稿的形变的如图7(c)所示的状态的修正图像G3。
在以上说明的本实施方式中，在进行上述的图像修正处理时在原稿图像G0中设定的栅格的格子点(分割点N)直接反映了存在于原稿内的各点在三维空间中的位置关系(距离)、即原稿各部分中的三维形变。因此，基于与在实施方式1中说明的理由相同的理由，能够起到同样的效果。
另外，在本实施方式中，与实施方式1相比，能够获得以下的效果。即，在实施方式1中，根据2值化图像G1(区域图像G2)来检测字符行方向，但是字符行方向的检测精度受到原稿内的字符的差异的很大影响。例如，在原稿内的字符为日语字符的情况下，作为图像信息，字符行方向不会像字母那样显著地表现出来，因此检测精度低。
此外，图像分辨率越低，字符行方向的检测精度就越低。尤其是，在照相机3a的光轴与纸面之间的角度(摄影角度θ)较浅(小)的情况下，在远离照相机3a的部分，其图像分辨率低于靠近照相机3a的部分，因此检测精度的降低会变得很显著。因此，基于字符行方向在原稿图像G0中设定的多个第2形状线L2的精度、即前述的栅格的精度自然是有限度的。
相对于此，在本实施方式中，基于表示字符串方向的多个第1形状线L1来间接地决定多个第2形状线L2并在原稿图像G0中进行设定。因此，即使是原稿内的字符为日语字符的情况下，也能够在原稿图像G0中设定具有更准确地反映了原稿内存在的各点在三维空间中的位置关系的格子点的栅格。此外，在栅格整体中能够以同一精度反映原稿内存在的各点在三维空间中的位置关系。
因此，在本实施方式中，在原稿内的字符为日语字符那样，作为图像信息，字符行方向不能像字母那样显著地表现出来的情况下，也能够获取表现更良好的状态的字符信息的修正图像。
在此，在以上说明的实施方式1以及实施方式2中，说明了以下情况：在原稿图像G0中设定由第1形状线L1和第2形状线L2构成的栅格之后，通过射影变换将栅格中的各个四边形区域Q变形为规定的纵横尺寸的矩形，并连结变形后的各个矩形图像R，由此生成修正图像G3。
但是，在实施本发明时，例如也可以在原稿图像G0中设定上述栅格之后，通过进行在变形(morphing)技术中使用的非线性的图像变换(网格变形：mesh warping等)来生成修正图像G3。即，也可以决定以上述栅格的格子点的位置作为目标的向正规的栅格的格子点的位置进行变换的匹配函数，并利用该函数，根据原稿图像G0来生成修正图像G3。
在该情况下，例如，针对在原稿图像G0内沿着纵横方向隔着间隔配置有格子点的区域，不使用该区域内的格子点，而是进行上述图像变换，也能够生成修正图像G3。因此，通过将上述图像变换中使用的格子点的数目设为所需的最小限度，从而能够有效地生成修正图像G3。
此外，在实施方式1以及实施方式2中，说明了在原稿图像G0中设定由第1形状线L1和第2形状线L2构成的栅格，对原稿图像G0进行修正来得到最终的修正图像G3的情况。但是，在实施本发明时，也可以将上述栅格设定在前述的2值化图像G1中，对2值化图像G1进行修正来得到最终的修正图像。
此外，在实施方式1以及实施方式2中，说明了原稿图像G0为书类、即纸介质的情况，但是，原稿也可以是纸以外的由合成树脂或金属等构成的其他信息显示介质。此外，通过印刷等而记载到原稿的表面的信息只要是按规则排列即可，并不限于字符，也可以是图形或图案等。
Claims (18)
1.一种图像修正装置，对拍摄规定物体而得到的图像的形变进行修正，该图像修正装置的特征在于，具备：
确定单元，其基于图像中的所述规定物体上的各点在二维空间中的位置关系和相对于所述规定物体的表面的摄影角度，确定各点在三维空间中的位置关系；
获取单元，其获取反映了由所述确定单元确定的各点在三维空间中的位置关系的图像的形变信息；和
修正单元，其基于由所述获取单元获取的所述形变信息，对图像的形变进行修正，
所述确定单元，根据考虑图像中的所述规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，
所述获取单元，获取由所述确定单元确定的所述多个微小区间的所述形变信息，
所述修正单元，根据由所述获取单元获取的所述形变信息使所述多个微小区间变形来对图像的形变进行修正。
2.根据权利要求1所述的图像修正装置，其特征在于，
所述规定物体的产生形变之前的表面形状是预先确定的，
图像是拍摄在所述规定物体中产生了形变的状态而得到的图像，
所述确定单元基于图像中的所述规定物体上的各点在二维空间中的位置关系、相对于所述规定物体的表面的所述摄影角度、和产生形变之前的所述规定物体的所述表面形状的信息，确定产生了形变的状态下的所述规定物体上的各点在三维空间中的位置关系，
所述修正单元以修正所述规定物体的形变的方式对图像的形变进行修正。
3.根据权利要求2所述的图像修正装置，其特征在于，
所述规定物体是描绘了字符或图形的纸，产生形变之前的所述表面形状是平面。
4.根据权利要求1所述的图像修正装置，其特征在于，
所述确定单元通过将与所述规定物体的表面的弯曲相伴的所述规定物体上的各点在三维空间中的移动方向假设为特定方向，从而确定图像中的各点在三维空间中的位置关系。
5.根据权利要求4所述的图像修正装置，其特征在于，
所述确定单元确定三维空间中的两点间的距离，作为各点在三维空间中的位置关系，
所述获取单元获取具有反映了由所述确定单元确定的三维空间中的两点间的距离的位置关系的图像中的多个关注点的坐标位置，作为所述形变信息。
6.根据权利要求4所述的图像修正装置，其特征在于，
所述确定单元针对所述规定物体上的位置关系为已知的各点，假设假定位置关系与实际位置关系之间的差异产生的原因是因各点在三维空间中向所述特定方向移动而产生的，由此确定所述规定物体上的各点在三维空间中的位置关系，其中，该假定位置关系被假定为在没有弯曲的状态下以规定的角度从斜向拍摄了所述规定物体时的图像的各点在二维空间中的位置关系，该实际位置关系是实际拍摄到的图像的各点在二维空间中的位置关系。
7.根据权利要求6所述的图像修正装置，其特征在于，
所述规定物体上的位置关系为已知的各点是存在于沿着所述规定物体上的字符的排列方向的第1直线上的多个点，
所述获取单元获取存在于与所述第1直线相对应的图像内的作为所述列方向的形状线的第1形状线上的多个关注点的坐标位置，作为所述形变信息。
8.根据权利要求7所述的图像修正装置，其特征在于，
所述图像修正装置还具备：
设定单元，其在图像的多个位置处检测字符的排列方向，在图像中设定能确保检测出的多个位置处的字符的排列方向的一致性而得到的形状线，作为所述第1形状线，
所述获取单元获取由所述设定单元设定的所述第1形状线、和存在于所述第1形状线上并且由所述确定单元确定的彼此间的三维空间中的距离相同的多个所述关注点的坐标位置，作为所述形变信息。
9.根据权利要求8所述的图像修正装置，其特征在于，
所述设定单元在图像中设定多个所述第1形状线，该多个所述第1形状线对应于在所述规定物体上相互平行的多个所述第1直线，并且各个线上的各点的位置关系处于由所述确定单元确定的三维空间中的位置关系，
所述获取单元获取由所述设定单元设定的多个所述第1形状线和存在于各个第1形状线上的多个所述关注点的坐标位置，作为所述形变信息。
10.根据权利要求7所述的图像修正装置，其特征在于，
所述修正单元基于所述形变信息，将所述第1形状线上的多个所述关注点的两点间的距离修正为所述规定物体上的二维空间中的距离，并且对图像实施将所述第1形状线修正为直线的图像处理，从而以修正所述规定物体的形变的方式对图像的形变进行修正。
11.根据权利要求8所述的图像修正装置，其特征在于，
所述设定单元在图像中还设定多个作为所述行方向的形状线的第2形状线，该多个第2形状线分别对应于在所述规定物体上与多个所述第1直线正交的相互平行的多个第2直线，并且与多个所述第1形状线的每一个在多个所述关注点处相交，
所述获取单元还获取多个所述第2形状线，作为所述形变信息。
12.根据权利要求11所述的图像修正装置，其特征在于，
所述修正单元通过将由多个所述第1形状线和多个所述第2形状线划分出的多个单位区域的形状分别射影变换为矩形，从而对图像的形变进行修正。
13.根据权利要求12所述的图像修正装置，其特征在于，
所述修正单元通过对分别射影变换为矩形后的多个所述单位区域进行结合，从而生成修正了图像的形变的修正图像。
14.根据权利要求11所述的图像修正装置，其特征在于，
所述设定单元在图像的多个位置处，检测所述规定物体上的与字符的排列方向正交的字符的行方向，在图像中设定确保了检测出的多个位置处的字符的行方向的一致性的形状线，作为所述第2形状线。
15.根据权利要求11所述的图像修正装置，其特征在于，
所述设定单元，
在图像中设定成为基准的所述第1形状线，
在成为基准的所述第1形状线上，基于由所述确定单元确定的所述第1形状线上的彼此相接近的两点间的三维空间中的距离，设定三维空间中的距离为等间隔的多个分割点，
将在多个所述分割点处分别与成为基准的所述第1形状线相交叉的沿着字符的行方向的多个形状线设定为多个所述第2形状线，
在多个所述第2形状线之中成为基准的所述第2形状线上，基于由所述确定单元确定的所述第2形状线上的彼此相接近的两点间的三维空间中的距离，设定三维空间中的距离为等间隔的所述多个分割点，
将在设定于成为基准的所述第2形状线上的所述多个分割点处分别与多个所述第2形状线相交叉的沿着字符的排列方向的多个形状线设定为其他所述第1形状线，
所述获取单元获取包含多个所述分割点在内的所述第1形状线与所述第2形状线的所有交点的坐标位置，作为所述形变信息。
16.根据权利要求11所述的图像修正装置，其特征在于，
所述设定单元，
在图像中设定沿着与字符的排列方向正交的字符的行方向的成为基准的所述第2形状线，该第2形状线是对应于在所述规定物体上与所述第1直线正交的所述第2直线的形状线，
在成为基准的所述第2形状线上，基于由所述确定单元确定的所述第2形状线上的彼此相接近的两点间的三维空间中的距离，设定三维空间中的距离为等间隔的多个分割点，
将在多个所述分割点处分别与成为基准的所述第2形状线相交叉的沿着字符的排列方向的多个形状线设定为多个所述第1形状线，
在多个所述第1形状线的每一个上，基于由所述确定单元确定的各个所述第1形状线上的彼此相接近的两点间的三维空间中的距离，分别设定三维空间中的距离为等间隔的所述多个分割点，
将在分别设定于多个所述第1形状线上的所述多个分割点处分别与多个所述第1形状线相交叉的沿着字符的行方向的多个形状线设定为其他的所述第2形状线，
所述获取单元获取由所述设定单元设定的所有的所述分割点的坐标位置，作为所述形变信息。
17.一种图像修正方法，对拍摄规定物体而得到的图像的形变进行修正，其特征在于，包括：
基于图像中的所述规定物体上的各点在二维空间中的位置关系和相对于所述规定物体的表面的摄影角度，确定各点在三维空间中的位置关系，
获取反映了确定的各点在三维空间中的位置关系的图像的形变信息，
基于获取的所述形变信息，对图像的形变进行修正，
根据考虑图像中的所述规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，
获取确定的所述多个微小区间的所述形变信息，
根据获取的所述形变信息使所述多个微小区间变形来对图像的形变进行修正。
18.一种记录介质，记录有程序，该程序使对拍摄规定物体而得到的图像的形变进行修正的图像修正装置具有的计算机作为如下单元发挥作用：
确定单元，其基于图像中的所述规定物体上的各点在二维空间中的位置关系和相对于所述规定物体的表面的摄影角度，确定各点在三维空间中的位置关系；
获取单元，其获取反映了由所述确定单元确定的各点在三维空间中的位置关系的图像的形变信息；和
修正单元，其基于由所述获取单元获取的所述形变信息，对图像的形变进行修正，
其中，所述确定单元，根据考虑图像中的所述规定物体的平面部的平面上的字符串的特征而设定的列方向的形状线与行方向的形状线的关系、以及三维空间上的各点的移动方向的假设来确定多个微小区间，
所述获取单元，获取由所述确定单元确定的所述多个微小区间的所述形变信息，
所述修正单元，根据由所述获取单元获取的所述形变信息使所述多个微小区间变形来对图像的形变进行修正。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013-265086 | 2013-12-24 | ||
| JP2013265086A JP6010870B2 (ja) | 2013-12-24 | 2013-12-24 | 画像補正装置、及び画像補正方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104735293A CN104735293A (zh) | 2015-06-24 |
| CN104735293B true CN104735293B (zh) | 2018-06-15 |
Family
ID=53400558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410820752.2A Active CN104735293B (zh) | 2013-12-24 | 2014-12-24 | 图像修正装置图像修正方法以及记录介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9589333B2 (zh) |
| JP (1) | JP6010870B2 (zh) |
| CN (1) | CN104735293B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| JP6010870B2 (ja) * | 2013-12-24 | 2016-10-19 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
| JP6552255B2 (ja) * | 2015-04-23 | 2019-07-31 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及び、コンピュータプログラム |
| TWI574230B (zh) * | 2015-07-28 | 2017-03-11 | 由田新技股份有限公司 | 防止跌落裝置與其操作方法 |
| CN105279732B (zh) * | 2015-10-16 | 2018-08-31 | 福建天晴数码有限公司 | 一种运用于平面图像快速形变的方法及系统 |
| CN106023087A (zh) * | 2016-05-19 | 2016-10-12 | 北京小米移动软件有限公司 | 图像处理方法和装置 |
| JP6473769B2 (ja) * | 2017-02-24 | 2019-02-20 | 国立大学法人東京工業大学 | 補正量演算装置、補正装置及び補正量演算方法 |
| JP6716019B2 (ja) * | 2017-03-28 | 2020-07-01 | 富士フイルム株式会社 | 画像修正装置、画像修正方法及びプログラム |
| JP6895403B2 (ja) * | 2018-03-20 | 2021-06-30 | 株式会社東芝 | 画像処理装置、運転支援システム、及び画像処理方法 |
| CN112930557A (zh) * | 2018-09-26 | 2021-06-08 | 相干逻辑公司 | 任何世界视图生成 |
| US10331966B1 (en) * | 2018-10-19 | 2019-06-25 | Capital One Services, Llc | Image processing to detect a rectangular object |
| CN110312070B (zh) * | 2019-04-23 | 2021-08-24 | 维沃移动通信有限公司 | 一种图像处理方法及终端 |
| US11315280B1 (en) | 2019-09-26 | 2022-04-26 | Apple Inc. | Pose estimation with limited correspondences |
| US11270416B2 (en) * | 2019-12-27 | 2022-03-08 | Nxp Usa, Inc. | System and method of using optimized descriptor coding for geometric correction to reduce memory transfer bandwidth overhead |
| CN113747130A (zh) * | 2020-05-29 | 2021-12-03 | 中强光电股份有限公司 | 产生遮罩的方法及执行此方法的投影装置 |
| WO2022255594A1 (ko) * | 2021-06-01 | 2022-12-08 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6236708B1 (en) * | 1998-11-25 | 2001-05-22 | Picker International, Inc. | 2D and 3D tomographic X-ray imaging using flat panel detectors |
| CN1342021A (zh) * | 2000-09-04 | 2002-03-27 | 富士通株式会社 | 校正输入图象失真的设备与方法 |
| CN1471055A (zh) * | 2002-07-02 | 2004-01-28 | ��ʿͨ��ʽ���� | 图像失真校正方法和设备 |
| JP2005045723A (ja) * | 2003-07-25 | 2005-02-17 | Fuji Xerox Co Ltd | 画像補正装置 |
| CN1623164A (zh) * | 2002-09-30 | 2005-06-01 | 松下电器产业株式会社 | 图像校正装置及图像校正方法 |
| CN1853195A (zh) * | 2003-10-24 | 2006-10-25 | 富士通株式会社 | 图像失真校正程序、图像失真校正装置、图像失真校正方法以及存储有该图像失真校正程序的记录介质 |
| CN101267493A (zh) * | 2007-03-16 | 2008-09-17 | 富士通株式会社 | 透视变形文档图像的校正装置和校正方法 |
| JP2010130181A (ja) * | 2008-11-26 | 2010-06-10 | Konica Minolta Opto Inc | 画像取得装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5825466A (en) * | 1996-01-18 | 1998-10-20 | Image Technology International, Inc. | 3D photo printer with image distortion correction |
| KR0166852B1 (ko) * | 1996-05-21 | 1999-01-15 | 문정환 | 반도체 노광 공정용 축소 투영 렌즈의 디스토션 보정 장치 |
| JP4456304B2 (ja) * | 2000-09-04 | 2010-04-28 | 富士通株式会社 | 歪み補正方式 |
| US7046839B1 (en) * | 2000-09-19 | 2006-05-16 | Spg Hydro International Inc. | Techniques for photogrammetric systems |
| JP4013060B2 (ja) | 2003-01-21 | 2007-11-28 | 日本電気株式会社 | 画像補正方法および画像補正装置 |
| US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| AU2009217348B2 (en) * | 2008-02-22 | 2014-10-09 | Loma Linda University Medical Center | Systems and methods for characterizing spatial distortion in 3D imaging systems |
| WO2011121840A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
| US9098885B2 (en) * | 2012-04-27 | 2015-08-04 | Adobe Systems Incorporated | Camera calibration and automatic adjustment of images |
| JP6010870B2 (ja) * | 2013-12-24 | 2016-10-19 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
-
2013
- 2013-12-24 JP JP2013265086A patent/JP6010870B2/ja active Active
-
2014
- 2014-12-03 US US14/559,535 patent/US9589333B2/en active Active
- 2014-12-24 CN CN201410820752.2A patent/CN104735293B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6236708B1 (en) * | 1998-11-25 | 2001-05-22 | Picker International, Inc. | 2D and 3D tomographic X-ray imaging using flat panel detectors |
| CN1342021A (zh) * | 2000-09-04 | 2002-03-27 | 富士通株式会社 | 校正输入图象失真的设备与方法 |
| CN1471055A (zh) * | 2002-07-02 | 2004-01-28 | ��ʿͨ��ʽ���� | 图像失真校正方法和设备 |
| CN1623164A (zh) * | 2002-09-30 | 2005-06-01 | 松下电器产业株式会社 | 图像校正装置及图像校正方法 |
| JP2005045723A (ja) * | 2003-07-25 | 2005-02-17 | Fuji Xerox Co Ltd | 画像補正装置 |
| CN1853195A (zh) * | 2003-10-24 | 2006-10-25 | 富士通株式会社 | 图像失真校正程序、图像失真校正装置、图像失真校正方法以及存储有该图像失真校正程序的记录介质 |
| CN101267493A (zh) * | 2007-03-16 | 2008-09-17 | 富士通株式会社 | 透视变形文档图像的校正装置和校正方法 |
| JP2010130181A (ja) * | 2008-11-26 | 2010-06-10 | Konica Minolta Opto Inc | 画像取得装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9589333B2 (en) | 2017-03-07 |
| US20150178903A1 (en) | 2015-06-25 |
| JP6010870B2 (ja) | 2016-10-19 |
| JP2015122614A (ja) | 2015-07-02 |
| CN104735293A (zh) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104735293B (zh) | 图像修正装置图像修正方法以及记录介质 | |
| JP6176598B2 (ja) | 寸法測定プログラム、寸法測定装置、及び、寸法測定方法 | |
| CN107251101B (zh) | 针对使用具有参数的标记的增强现实的场景修改 | |
| US8554012B2 (en) | Image processing apparatus and image processing method for correcting distortion in photographed image | |
| CN105451012B (zh) | 三维成像系统和三维成像方法 | |
| EP3048555B1 (en) | Image processing device, image processing method, and image processing program | |
| JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
| JP6464938B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN111872544B (zh) | 激光出光指示点的标定方法、装置和振镜同轴视觉系统 | |
| JP2010287174A (ja) | 家具シミュレーション方法、装置、プログラム、記録媒体 | |
| JP2014071850A (ja) | 画像処理装置、端末装置、画像処理方法、およびプログラム | |
| US20190149788A1 (en) | Calibration method of depth image capturing device | |
| US9269004B2 (en) | Information processing terminal, information processing method, and program | |
| US20190325593A1 (en) | Image processing apparatus, system, method of manufacturing article, image processing method, and non-transitory computer-readable storage medium | |
| JP6467612B2 (ja) | 正置画像処理システムおよび構造物維持管理業務システム | |
| JP2012050013A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP4456029B2 (ja) | 回転体の三次元情報復元装置 | |
| TW522715B (en) | Image processing method and contactless image input apparatus utilizing the method | |
| JP2007286715A (ja) | 画像合成装置及び画像合成プログラム | |
| JP7183020B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2004212142A (ja) | 画像寸法の測定方法 | |
| CN113920525A (zh) | 文本矫正方法、装置、设备及存储介质 | |
| JP2011059009A (ja) | 位置計測対象物、位置計測システム、位置計測用演算装置およびプログラム | |
| JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
| JP2016051191A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |