CN110402454A - 图像修正装置、图像修正方法及程序 - Google Patents
图像修正装置、图像修正方法及程序 Download PDFInfo
- Publication number
- CN110402454A CN110402454A CN201880017416.0A CN201880017416A CN110402454A CN 110402454 A CN110402454 A CN 110402454A CN 201880017416 A CN201880017416 A CN 201880017416A CN 110402454 A CN110402454 A CN 110402454A
- Authority
- CN
- China
- Prior art keywords
- composograph
- image
- image correcting
- topography
- rectangular area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012876 topography Methods 0.000 claims abstract description 69
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 101150013335 img1 gene Proteins 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种能够从连结多个局部图像而成的宽视场图像中消除连结时的累积误差的图像修正装置、图像修正方法及程序。图像修正装置具备：图像获取部(22)，获取合成图像，该合成图像由通过摄影装置(12)分割拍摄实际空间中的矩形区域而得的多个局部图像构成；区域确定部(34)，对与实际空间中的矩形区域对应的合成图像中的修正对象区域进行确定；分割部(36)，将修正对象区域分割成多个分割区域；及几何变换部(40)，将经分割的多个分割区域的每一个变换成矩形。
Description
技术领域
本发明涉及一种能够从连结多个局部图像而成的合成图像中消除连结时的累积误差的图像修正装置、图像修正方法及程序。
背景技术
以往，已知一种技术，连结分割拍摄被摄体而得的多个局部图像，并生成高分辨率的宽视场图像(以下，还称为“合成图像”)。
专利文献1、2中记载有如下，即为了精度良好地连结多个局部图像，在多个局部图像的连结前(合成前)校正各局部图像的图像变形。具体而言，对于各局部图像，用点或线指定原本为矩形但变形的区域，并通过将该变形的区域变换为原来的矩形的投影变换，在连结前对各局部图像的图像变形进行校正。
专利文献3中记载有如下，即为了变换宽视场图像的视点位置，指定宽视场图像内的被摄体(足球场)四角的点，并通过基于该四角的点的仿射变换而变换宽视场图像的视点位置。
专利文献4中记载有如下，即为了在由多个显示器构成的多显示器显示高分辨率的宽视场图像，对于通过广角相机得到的宽视场图像投影通过非广角相机得到的多个局部图像，并将该投影后的宽视场图像(合成图像)分割成与显示器的纵横比对应的多个矩形区域而将各矩形区域显示于各显示器。
以往技术文献
专利文献
专利文献1：日本特开2004-21578号公报
专利文献2：日本特开2003-288589号公报
专利文献3：日本特开2014-236238号公报
专利文献4：WO2009/090727号公报
发明内容
发明要解决的技术课题
通过摄影装置分多次对如图9所示的矩形长边被摄体进行拍摄，并连结通过该分割拍摄而得的多个局部图像来制成了一张合成图像。若分割拍摄的拍摄条件(倾斜角度、旋转角度、拍摄距离等)在多次分割拍摄中相同，且因摄影装置而产生的图像变形全无或被消除，则可期待得到包括正确示出实际空间的被摄体的形状的被摄体图像的合成图像。然而，实际上，误差在多个局部图像的连结处理中被累积，从而如图10所示在合成图像中出现弯曲。在连结处理中不允许旋转变动的情况下，能够在一定程度上抑制合成图像的弯曲，但如图11所示，还是会在合成图像中的被摄体图像的原本应为直线状的框线中产生阶梯差。即，会成为与原来的矩形不同的所谓“不连续”的被摄体图像。
专利文献1、2中公开了在连结前(合成前)校正各局部图像的图像变形的技术，但即没有公开也没有启示从已连结多个局部图像而成的宽视场图像中消除连结时的累积误差的技术。即使对长边的被摄体的图像处理应用专利文献1、2的技术而在连结前进行图像变形校正，现实上也难以完全消除连结时的累积误差。即，如图10、图11所示，有时在长边的被摄体的合成图像中明显显现累积误差。
专利文献3的技术(变换宽视场图像的视点位置的技术)及专利文献4的技术(将宽视场图像显示于由多个显示器构成的多显示器的技术)并不是用于消除连结时的累积误差的技术。因此，无法与专利文献1、2(在连结前校正各局部图像的图像变形的技术)组合。
本发明的目的在于，提供一种能够从连结多个局部图像而成的合成图像中消除连结时的累积误差的图像修正装置、图像修正方法及程序。
用于解决技术课题的手段
为了实现上述目的，本发明所涉及的第1方式的图像修正装置具备：图像获取部，获取合成图像，该合成图像由通过摄影装置分割拍摄实际空间中的矩形区域而得的多个局部图像构成；区域确定部，对与实际空间中的矩形区域对应的合成图像中的修正对象区域进行确定；分割部，将修正对象区域分割成多个分割区域；及几何变换部，将经分割的多个分割区域的每一个变换成矩形。
根据本方式，获取由分割拍摄实际空间中的矩形区域而得的多个局部图像构成的合成图像，该合成图像中的修正对象区域被确定，该修正对象区域被分割成多个分割区域，且该分割区域的每一个被变换成矩形，因此能够从已连结多个局部图像而成的宽视场图像中消除连结时的累积误差。
本发明所涉及的第2方式的图像修正装置具备显示控制部，将通过图像获取部获取的合成图像显示于显示画面，区域确定部相对于显示在显示画面的合成图像，接收表示与实际空间中的矩形区域的顶点或边对应的合成图像中的顶点或边的指定而对合成图像中的修正对象区域进行确定。根据本方式，一边观看所显示的合成图像一边指定与实际空间中的矩形区域的顶点或边对应的部位，由此能够轻松地消除连结时的累积误差。
本发明所涉及的第3方式的图像修正装置中，区域确定部根据指定，跟踪与实际空间中的矩形区域的边缘对应的合成图像中的修正对象区域的边缘。根据本方式，通过对于合成图像仅指定原本应成为矩形的被摄体图像的一部分的顶点(或一部分的边)，能够将该被摄体图像作为修正对象区域而可靠地消除累积误差。
本发明所涉及的第4方式的图像修正装置中，分割部根据跟踪的结果将修正对象区域分割成多个分割区域。根据本方式，能够利用修正对象区域的跟踪结果来可靠地消除该修正对象区域中的累积误差。
本发明所涉及的第5方式的图像修正装置中，合成图像由多个局部图像构成，该多个局部图像通过使摄影装置至矩形区域的距离或视场尺寸恒定地在矩形区域的长边方向上分割拍摄来得到，分割部在与矩形区域的长边方向对应的修正对象区域的特定方向上对修正对象区域进行分割。根据本方式，能够利用拍摄局部图像时的规则性或多个局部图像的连结时的校正结果来消除累积误差。
本发明所涉及的第6方式的图像修正装置中，合成图像由多个局部图像构成，该多个局部图像通过使摄影装置至矩形区域的距离或视场尺寸不同地在矩形区域的长边方向上分割拍摄来得到，分割部使多个分割区域的纵横比恒定地对修正对象区域进行分割。根据本方式，即使在摄影装置至矩形区域的距离或视场尺寸在多个局部图像之间不同的情况下，也能够消除累积误差。
本发明所涉及的第7方式的图像修正装置中，摄影装置至矩形区域的距离越长或视场尺寸越大，分割部越缩小分割区域的尺寸。
本发明所涉及的第8方式的图像修正装置中，在合成图像中，使多个局部图像彼此局部重合地连结，分割部根据局部图像的尺寸和连结用的重叠区域的尺寸决定分割区域。根据本方式，能够进行与合成源的图像(局部图像)和重叠区域对应的分割，并能够可靠地消除累积图像。
本发明所涉及的第9方式的图像修正装置中，分割部在局部图像的重叠区域对修正对象区域进行分割。根据本方式，能够利用连结时(合成时)的重叠区域而轻松地且适当地进行分割，并能够可靠地消除累积图像。
本发明所涉及的第10方式的图像修正装置中，在合成图像中，使多个局部图像进行几何变换地连结，分割部根据在连结中的几何变换中使用的几何变换信息决定多个分割区域。根据本方式，能够利用连结时(合成时)的几何变换信息而轻松地且适当地进行分割，并能够可靠地消除累积图像。
本发明所涉及的第11方式的图像修正方法包括如下步骤：获取合成图像，该合成图像由通过摄影装置分割拍摄实际空间中的矩形区而得的多个局部图像构成；对与实际空间中的矩形区域对应的合成图像中的修正对象区域进行确定；将修正对象区域分割成多个分割区域；及将经分割的多个分割区域的每一个变换成矩形。
本发明所涉及的第12方式的程序使计算机执行如下步骤：获取合成图像，该合成图像由通过摄影装置分割拍摄实际空间中的矩形区而得的多个局部图像构成；对与实际空间中的矩形区域对应的合成图像中的修正对象区域进行确定；将修正对象区域分割成多个分割区域；及将经分割的多个分割区域的每一个变换成矩形。
发明效果
根据本发明，能够从连结多个图像而成的合成图像消除连结时的累积误差。
附图说明
图1为表示本发明所涉及的图像修正装置的结构例的框图。
图2为表示应用了本发明所涉及的图像修正方法的图像修正处理例的流程的流程图。
图3为表示合成图像的一例的图。
图4为合成(局部图像的连结)的说明图。
图5为顶点指定的说明图。
图6为基于顶点指定的跟踪的说明图。
图7为合成图像的分割的说明图。
图8为分割区域的几何变换的说明图。
图9为表示本发明的课题的说明中所使用的长边被摄体的一例的图。
图10为表示本发明的课题的说明中所使用的合成图像的一例的图。
图11为表示本发明的课题的说明中所使用的合成图像的其他例的图。
具体实施方式
以下，利用附图对本发明所涉及的图像修正装置、图像修正方法及程序的实施方式进行说明。
图1为表示本发明所涉及的图像修正装置的结构例的框图。
图像修正装置10例如由计算机装置构成。本例的图像修正装置10具备：图像获取部22，获取合成图像，该合成图像由通过摄影装置12分割拍摄被摄体而得的多个局部图像构成；显示部24，具有能够进行图像显示的显示画面；操作部26，从用户接收指定；存储部28，存储在程序及程序的执行中所需要的信息；及处理部30，按照程序执行各种处理。
图像获取部22例如由通信设备构成。图像获取部22并不限定于经由网络与数据库14进行通信的通信设备。图像获取部22也可以是通过有线通信或无线通信与摄影装置12直接通信的通信设备。图像获取部22可以由与存储卡等记录介质的接口设备构成。
显示部24由液晶显示设备等显示设备构成。
操作部26由能够进行手动操作的操作设备构成。
存储部28由暂时性存储设备和非暂时性存储设备构成。程序存储在非暂时性存储设备。
处理部30例如由CPU(central processing unit：中央处理器)构成。
本例的处理部30具备：显示控制部32，将通过图像获取部22获取的合成图像显示于显示部24的显示画面；区域确定部34，对与矩形的被摄体(实际空间中的矩形区域的一方式)对应的合成图像中的修正对象区域进行确定；分割部36，将通过区域确定部34特定的修正对象区域分割成多个分割区域；及几何变换部40，将通过分割部36分割的多个分割区域的每一个变换为矩形。
本发明中的“矩形区域”并无特别限定，例如为河流、湖的护岸。以下，作为“矩形区域”以长边矩形被摄体为例而进行说明，但在这种情况下“矩形区域”并无特别限定。“矩形区域”例如可以是隧道的内壁面(曲面)或高墩。本发明中，“矩形”为大致矩形即可。即，在本发明中，“矩形”并不限定于两边所成的角度为直角的情况而包括在大致直角(预先确定的允许范围内，例如80度～100度)的情况。
图像合成装置50例如由计算机装置构成。图像合成装置50连结通过摄影装置12分割拍摄被摄体而得的多个局部图像来生成合成图像。在本例的情况下，所生成的合成图像保存在数据库14。
本例的图像合成装置50具有在连结多个局部图像之前校正各局部图像的功能。与倾斜角度在局部图像之间恒定的情况相同，在倾斜角度(摄影装置12的拍摄光轴与被摄体的被拍摄面的角度)在局部图像之间不同的情况下，本例的图像合成装置50能够对连结前的各局部图像实施图像处理(倾斜角度校正处理)。并且，与旋转角度在局部图像之间恒定的情况相同，在旋转角度(绕摄影装置12的拍摄光轴的角度)在局部图像之间不同的情况下，本例的图像合成装置50能够对连结前的各局部图像实施图像处理(旋转角度校正处理)。并且，与拍摄距离在局部图像之间恒定的情况相同，在拍摄距离(拍摄时的摄影装置12与被摄体的距离)在局部图像之间不同的情况下，本例的图像合成装置50能够对连结前的各局部图像实施图像处理(距离校正处理)。倾斜角度校正处理、旋转角度校正处理及距离校正处理能够利用公知的技术进行。并且，距离校正处理、倾斜角度校正处理及旋转角度校正处理能够通过一次投影变换处理进行，而无需作为独立地处理进行。
图2为表示应用了本发明所涉及的图像修正方法的图像修正处理例的流程的流程图。本处理按照存储在存储部28的程序，并通过处理部30的控制而执行。
首先，通过图像获取部22从数据库14获取连结多个局部图像而成的合成图像(宽视场图像)(步骤S2)。图3为表示合成图像的例的图。构成该合成图像IMG1的多个局部图像为通过摄影装置12分割拍摄矩形长边被摄体(实际空间中的矩形区域的一方式)而得的图像。将图3所示的合成图像IMG1的一部分示于图4。图4中，点线表示局部图像IMG11、IMG12、IMG13。多个局部图像IMG11～IMG13彼此局部重合地连结。图像内的连结用重叠区域MA11、MA12、MA13、MA14有时还被称为“重合”(贴合区域)或“余量”。
接着，通过显示控制部32将合成图像IMG1显示于显示部24的显示画面(步骤S4)。
接着，如图5所示，利用操作部26，对于显示在显示部24的显示画面的合成图像IMG1，接收表示与实际空间的矩形区域的顶点对应的合成图像内的点V1、V2、V3、V4的位置的指定(顶点指定)(步骤S6)。另外，示出了接收了与实际空间的矩形区域的四顶点对应的四点V1～V4的指定的情况，但也可以接收三点(例如点V1～V3)或两点(例如点V1、V2)的指定。并且，示出了接收顶点指定的情况，但也可以接收与实际空间的矩形区域的边(还称为“线段”)对应的合成图像内的边(图6所示的LS1～LS4)中的至少两边的指定(边指定)。
接着，通过区域确定部34，并根据在步骤S6中接收的顶点指定或边指定对与实际空间的矩形区域对应的合成图像内的修正对象区域TA进行确定(步骤S8)。如图6所示，本例的区域确定部34根据顶点指定跟踪与实际空间的矩形区域的边缘对应的合成图像IMG1内的修正对象区域TA的边缘。在步骤S6中接收了边指定的情况下，若有未指定的边则通过跟踪检测出该未指定的边。
接着，如图7所示，通过分割部36将合成图像IMG1内的修正对象区域TA分割成多个分割区域R1、R2、R3、R4、R5、R6、R7、R8(步骤S10)。在本例中，修正对象区域TA被分割成多个四边形的分割区域R1～R8。
接着，如图8所示，通过几何变换部40将所分割的多个分割区域的每一个变换成矩形(步骤S12)。在本例中，四边形的分割区域被变换成矩形。
接着，通过显示控制部32，将所修正的合成图像显示于显示部24的显示画面(步骤S14)。
接着，将所修正的合成图像保存在数据库14(步骤S16)。
<修正对象区域的分割的各种方式>
基于分割部36的修正对象区域的分割的方式中有各种方式。
第1，有以分割拍摄时的拍摄条件的规则性和/或合成时(连结时)的校正的规则性为前提，简单决定分割区域的方式。
在使摄影装置12至矩形区域的距离(在此，称为“拍摄距离”)恒定地在矩形区域的长边方向上分割拍摄的情况下，分割部36有时能够在与矩形区域的长边方向对应的修正对象区域的长边方向(特定方向的一例)上均等地分割合成图像的修正对象区域。但是，在使拍摄距离恒定地分割拍摄的情况下，不仅拍摄距离，倾斜角度(摄影装置12的拍摄光轴与矩形区域的角度)也恒定。并且，优选旋转角度(绕摄影装置12的拍摄光轴的角度)也恒定。而且，局部图像之间的连结用重叠区域(贴合区域)的尺寸也恒定。通常，若拍摄时的视场尺寸恒定，则拍摄距离也恒定，因此可以将称为上述“使拍摄距离恒定”而分割拍摄的情况的拍摄条件替换成被称为“使视场尺寸恒定”而分割拍摄的情况的拍摄条件。另外，“恒定”是指大致恒定的情况，即包括预先确定的允许范围内(例如10％内)的变动的情况。
即使分割拍摄时的拍摄距离(或视场尺寸)并不恒定，只要通过合成前(连结前)的校正实施使合成图像中的实际拍摄距离(或视场尺寸)恒定的校正处理(距离校正处理)，则与分割拍摄时的拍摄距离(或视场尺寸)恒定的情况相同而能够决定分割区域。在该情况下，不仅实际拍摄距离，实际倾斜角度电恒定，即“倾斜校正”也在合成前实施。
并且，在使拍摄距离不同地在矩形区域的长边方向上分割拍摄的情况下，分割部36使多个分割区域的纵横(X方向及Y方向)的纵横比恒定地分割修正对象区域。但是，分割拍摄时的倾斜角度恒定，或者通过合成前(连结前)的倾斜校正而合成图像中的实际倾斜角度恒定。拍摄距离越长(或视场尺寸越大)，本例的分割部36越缩小分割区域的尺寸。
第2，有根据分割拍摄而得的局部图像的尺寸和连结用重叠区域(还称为“贴合区域”)的尺寸决定多个分割区域的方式。例如，在图4中，局部图像IMG11包括重叠区域MA11及MA12。因此，分割部36将在矩形区域的长边方向x上，从局部图像IMG11的长边方向x的尺寸L1减去左右侧中的一侧(例如右侧)的重叠区域MA12的长边方向x的尺寸L12而得的尺寸(L1-L12)作为与局部图像IMG11对应的分割区域的尺寸。关于其他局部图像IMG12、IMG13也相同，根据局部图像的尺寸和重叠区域的尺寸而决定分割区域。例如，能够将与局部图像及重叠区域有关的信息(重叠区域信息)与合成图像建立关联而存储在数据库14，并根据该重叠区域信息决定分割区域。分割部36能够根据重叠区域信息在重叠区域对合成图像内的修正对象区域进行分割。例如，能够将图4的符号BL的线作为边界线来分割修正对象区域。
第3，有利用合成时(连结时)的几何变换信息决定多个分割区域的方式。本例的合成图像中，多个局部图像在通过投影变换(“几何变换”的一方式)进行了校正之后连结。本方式的分割部36根据在连结多个局部图像时所使用的投影变换矩阵(“几何变换信息”的一例)决定多个分割区域。
第4，有通过区域确定部34并根据跟踪合成图像内的修正对象区域(与实际空间中的矩形区域对应的区域)的边缘而得的结果决定多个分割区域的方式。本方式中，在根据利用图6进行了说明的顶点指定(或边指定)进行跟踪时，通过区域确定部34识别修正对象区域的边缘的形状，并根据该所识别的边缘的形状决定各分割区域的位置及尺寸。
另外，修正对象区域的分割的方式可以组合上述多个方式来实施。并且，也可以通过除了上述以外的方式来实施。
前述图1所示的处理部30能够构成为包含如下所示的各种处理器(processor)。各种处理器中包括通过软件(程序)执行各种处理的通用的处理器即CPU(centralprocessing unit：中央处理器)、FPGA(field programmable gate array：现场可编程门阵列)等能够在制造后变更电路结构的处理器即可编程逻辑器件(programmable logicdevice：PLD)、ASIC(application specific integrated circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。在前述实施方式中，图像修正装置10的功能可以通过这些各种处理器中的1个来实现，也可以通过相同种类或不同种类的2个以上的处理器(例如，多个FPGA或CPU与FPGA的组合)来实现。并且，可以通过1个处理器来实现多个功能。作为通过1个处理器来实现多个功能的例，如以片上系统(system on chip：SoC)等为代表，有使用1个IC(integrated circuit：集成电路)芯片来实现包含多个功能的系统整体的功能的处理器的方式。如此。各种功能利用1个以上的上述各种处理器作为硬件结构而实现。而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
并且，也可以通过计算机装置并按照程序执行前述图像修正方法。并且，上述实施方式的图像修正装置10仅为例示，本发明还能够对其他结构应用。各功能结构能够通过任意硬件、软件或两者的组合来适当实现。例如，本发明还能够对使计算机执行上述图像修正装置10的各部中的处理的图像修正程序、记录有这种图像修正程序的计算机能够读取的记录介质(非暂时性记录介质)应用。
以上，关于用于实施本发明的方式进行了说明，但本发明并不限定于上述实施方式及变形例，在不脱离本发明的宗旨的范围内能够进行各种变更。
符号说明
10-图像修正装置，12-摄影装置，14-数据库，22-图像获取部，24-显示部，26-操作部，28-存储部，30-处理部，32-显示控制部，34-区域确定部，36-分割部，40-几何变换部，50-图像合成装置，IMG1-合成图像，IMG11、IMG12、IMG13-局部图像，MA11、MA12、MA13、MA14-重叠区域，R1、R2、R3、R4、R5、R6、R7、R8-分割区域，TA-修正对象区域，V1、V2、V3、V4-与矩形区域的顶点对应的点。
Claims (13)
1.一种图像修正装置，其具备：
图像获取部，获取合成图像，该合成图像由通过摄影装置分割拍摄实际空间中的矩形区域而得的多个局部图像构成；
区域确定部，对与所述实际空间中的所述矩形区域对应的所述合成图像中的修正对象区域进行确定；
分割部，将所述修正对象区域分割成多个分割区域；及
几何变换部，将经分割的所述多个分割区域的每一个变换成矩形。
2.根据权利要求1所述的图像修正装置，其具备：
显示控制部，将通过所述图像获取部获取的所述合成图像显示于显示画面，
所述区域确定部相对于显示在所述显示画面的所述合成图像，接收表示与所述实际空间中的所述矩形区域的顶点或边对应的所述合成图像中的顶点或边的指定而对所述合成图像中的修正对象区域进行确定。
3.根据权利要求2所述的图像修正装置，其中，
所述区域确定部根据所述指定，跟踪与所述实际空间中的所述矩形区域的边缘对应的所述合成图像中的所述修正对象区域的边缘。
4.根据权利要求3所述的图像修正装置，其中，
所述分割部根据所述跟踪的结果将所述修正对象区域分割成所述多个分割区域。
5.根据权利要求1至4中任一项所述的图像修正装置，其中，
所述合成图像由所述多个局部图像构成，所述多个局部图像通过使所述摄影装置至所述矩形区域的距离或视场尺寸恒定地在所述矩形区域的长边方向上分割拍摄来得到，
所述分割部在与所述矩形区域的长边方向对应的所述修正对象区域的特定方向上对所述修正对象区域进行分割。
6.根据权利要求1至4中任一项所述的图像修正装置，其中，
所述合成图像由所述多个局部图像构成，所述多个局部图像通过使所述摄影装置至所述矩形区域的距离或视场尺寸不同地在所述矩形区域的长边方向上分割拍摄来得到，
所述分割部使所述多个分割区域的纵横比恒定地对所述修正对象区域进行分割。
7.根据权利要求6所述的图像修正装置，其中，
所述摄影装置至所述矩形区域的距离越长或视场尺寸越大，所述分割部越缩小所述分割区域的尺寸。
8.根据权利要求1至7中任一项所述的图像修正装置，其中，
在所述合成图像中，使所述多个局部图像彼此局部重合地连结，
所述分割部根据所述局部图像的尺寸和连结用的重叠区域的尺寸决定所述分割区域。
9.根据权利要求8所述的图像修正装置，其中，
所述分割部在所述局部图像的所述重叠区域对所述修正对象区域进行分割。
10.根据权利要求1至9中任一项所述的图像修正装置，其中，
在所述合成图像中，使所述多个局部图像进行几何变换地连结，
所述分割部根据在所述连结中的所述几何变换中使用的几何变换信息决定所述多个分割区域。
11.一种图像修正方法，其包括如下步骤：
获取合成图像，该合成图像由通过摄影装置分割拍摄实际空间中的矩形区域而得的多个局部图像构成；
对与所述实际空间中的所述矩形区域对应的所述合成图像中的修正对象区域进行确定；
将所述修正对象区域分割成多个分割区域；及
将经分割的所述多个分割区域的每一个变换成矩形。
12.一种图像修正程序，其使计算机执行权利要求11所述的图像修正方法。
13.一种计算机能够读取的非暂时性记录介质，其记录有权利要求12所述的图像修正程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-063545 | 2017-03-28 | ||
| JP2017063545 | 2017-03-28 | ||
| PCT/JP2018/008124 WO2018180213A1 (ja) | 2017-03-28 | 2018-03-02 | 画像修正装置、画像修正方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110402454A true CN110402454A (zh) | 2019-11-01 |
| CN110402454B CN110402454B (zh) | 2023-06-13 |
Family
ID=63675622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880017416.0A Active CN110402454B (zh) | 2017-03-28 | 2018-03-02 | 图像修正装置、图像修正方法及记录介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11055823B2 (zh) |
| EP (1) | EP3605447A1 (zh) |
| JP (1) | JP6716019B2 (zh) |
| CN (1) | CN110402454B (zh) |
| WO (1) | WO2018180213A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109618092B (zh) * | 2018-12-03 | 2020-11-06 | 广州图匠数据科技有限公司 | 一种拼接拍照方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003527661A (ja) * | 1999-08-20 | 2003-09-16 | ヒーブルー ユニバーシティ オブ エルサレム | 移動カメラにより記録された画像の修正モザイキングのためのシステムおよび方法 |
| CN101810004A (zh) * | 2008-01-15 | 2010-08-18 | 三菱电机株式会社 | 显示装置 |
| JP2012217159A (ja) * | 2011-04-01 | 2012-11-08 | Sharp Corp | 撮像装置、撮像装置における表示方法、プログラムおよび記録媒体 |
| CN104735293A (zh) * | 2013-12-24 | 2015-06-24 | 卡西欧计算机株式会社 | 图像修正装置及图像修正方法 |
| JP2016171429A (ja) * | 2015-03-12 | 2016-09-23 | カシオ計算機株式会社 | 画像補正装置、画像補正方法、及びプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000331151A (ja) * | 1999-05-25 | 2000-11-30 | Nec Corp | 画像処理方法、画像歪み補正処理装置、及びそのプログラムを記録した記録媒体 |
| JP3889650B2 (ja) | 2002-03-28 | 2007-03-07 | 三洋電機株式会社 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
| JP2004021578A (ja) | 2002-06-17 | 2004-01-22 | Nikon Gijutsu Kobo:Kk | 画像処理方法 |
| JP2010245582A (ja) * | 2009-04-01 | 2010-10-28 | Sanyo Electric Co Ltd | 電子カメラ |
| JP2015039085A (ja) * | 2011-12-14 | 2015-02-26 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
| GB2514495B (en) * | 2012-01-31 | 2015-04-22 | Panasonic Ip Man Co Ltd | Image processing device and image processing method |
| US9262857B2 (en) * | 2013-01-16 | 2016-02-16 | Disney Enterprises, Inc. | Multi-linear dynamic hair or clothing model with efficient collision handling |
| JP5986039B2 (ja) | 2013-05-30 | 2016-09-06 | 日本電信電話株式会社 | 映像表示方法及び映像表示プログラム |
| JP2016001781A (ja) * | 2014-06-11 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び画像表示装置 |
| JP6467612B2 (ja) * | 2014-11-21 | 2019-02-13 | 株式会社ソーシャル・キャピタル・デザイン | 正置画像処理システムおよび構造物維持管理業務システム |
| WO2018112788A1 (zh) * | 2016-12-21 | 2018-06-28 | 华为技术有限公司 | 图像处理方法及设备 |
-
2018
- 2018-03-02 JP JP2019509065A patent/JP6716019B2/ja active Active
- 2018-03-02 CN CN201880017416.0A patent/CN110402454B/zh active Active
- 2018-03-02 WO PCT/JP2018/008124 patent/WO2018180213A1/ja unknown
- 2018-03-02 EP EP18778354.3A patent/EP3605447A1/en active Pending
-
2019
- 2019-08-23 US US16/549,304 patent/US11055823B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003527661A (ja) * | 1999-08-20 | 2003-09-16 | ヒーブルー ユニバーシティ オブ エルサレム | 移動カメラにより記録された画像の修正モザイキングのためのシステムおよび方法 |
| US20100220209A1 (en) * | 1999-08-20 | 2010-09-02 | Yissum Research Development Company Of The Hebrew University | System and method for rectified mosaicing of images recorded by a moving camera |
| CN101810004A (zh) * | 2008-01-15 | 2010-08-18 | 三菱电机株式会社 | 显示装置 |
| JP2012217159A (ja) * | 2011-04-01 | 2012-11-08 | Sharp Corp | 撮像装置、撮像装置における表示方法、プログラムおよび記録媒体 |
| CN104735293A (zh) * | 2013-12-24 | 2015-06-24 | 卡西欧计算机株式会社 | 图像修正装置及图像修正方法 |
| JP2016171429A (ja) * | 2015-03-12 | 2016-09-23 | カシオ計算機株式会社 | 画像補正装置、画像補正方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US11055823B2 (en) | 2021-07-06 |
| EP3605447A4 (en) | 2020-02-05 |
| CN110402454B (zh) | 2023-06-13 |
| EP3605447A1 (en) | 2020-02-05 |
| JP6716019B2 (ja) | 2020-07-01 |
| US20190378245A1 (en) | 2019-12-12 |
| WO2018180213A1 (ja) | 2018-10-04 |
| JPWO2018180213A1 (ja) | 2019-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN107122774B (zh) | 一种随图像中关键点移动的自适应贴图方法和系统 | |
| CN110197455B (zh) | 二维全景图像的获取方法、装置、设备和存储介质 | |
| US9600863B2 (en) | Method for combining images | |
| US20160286137A1 (en) | Method for combining multiple image fields | |
| US20040066454A1 (en) | Device and method of measuring data for calibration, program for measuring data for calibration, program recording medium readable with computer, and image data processing device | |
| US20030048959A1 (en) | Methods and apparatus for shifting perspective in a composite image | |
| CN105128539B (zh) | 一种光学投影激光打标的方法及激光打标系统 | |
| US11836875B2 (en) | Augmented reality screen system and augmented reality screen display method | |
| JP6390032B2 (ja) | ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 | |
| JP5602985B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| US20210176395A1 (en) | Gimbal system and image processing method thereof and unmanned aerial vehicle | |
| TW201342304A (zh) | 用於超廣角透鏡圖像的自我調整透視修正的方法和系統 | |
| EP1650704A1 (en) | Image processing device | |
| CN104011580B (zh) | 图像处理装置、摄像装置、显微镜系统以及图像处理方法 | |
| JP2007323615A (ja) | 画像処理装置及びその処理方法 | |
| US20060008268A1 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| KR20110082903A (ko) | 항공사진의 정사보정 및 최적화된 정사영상 제작 방법 | |
| US10104286B1 (en) | Motion de-blurring for panoramic frames | |
| CN106296646A (zh) | Avm系统的公差校正装置及其方法 | |
| JP2012085026A (ja) | 画像処理装置及び画像処理方法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| CN110402454A (zh) | 图像修正装置、图像修正方法及程序 | |
| JP6513941B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| WO2005053314A2 (en) | Inspection apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |