CN110169044A - 图像处理装置、图像处理方法及程序 - Google Patents
图像处理装置、图像处理方法及程序 Download PDFInfo
- Publication number
- CN110169044A CN110169044A CN201780082238.5A CN201780082238A CN110169044A CN 110169044 A CN110169044 A CN 110169044A CN 201780082238 A CN201780082238 A CN 201780082238A CN 110169044 A CN110169044 A CN 110169044A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- images
- scaling
- scaling processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 355
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000033228 biological regulation Effects 0.000 claims abstract description 29
- 238000004519 manufacturing process Methods 0.000 claims description 16
- 230000002401 inhibitory effect Effects 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 44
- 238000000034 method Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明的目的在于提供一种不花费计算成本而生成畸变得到局部校正的画质良好的结合图像的图像处理装置、图像处理方法及程序。输入用多个相机摄影的多个图像，对多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合2张图像的方向垂直的方向进行缩放处理。对已进行缩放处理之后的多个图像进行结合，生成连续的结合图像。通过缩放处理，根据规定的倍率对2张图像中的至少其中1个图像进行缩放处理，抑制相互结合的2张图像的结合部的图像的垂直的方向的偏离。
Description
技术领域
本发明涉及一种图像处理装置、图像处理方法及程序，尤其涉及一种结合通过多个相机摄影的各图像来生成结合图像的图像处理装置、图像处理方法及程序。
背景技术
一直以来，提出有在分为数次来摄影(分割摄影)比相机的摄影透镜的视角大的被摄体时，对分割摄影的各图像(分割图像)进行结合来生成结合图像的技术。
例如，专利文献1中，提出有对用1台相机进行分割摄影来获得的分割图像进行结合时的技术。专利文献1中记载的技术中，记载有推断摄影分割图像时的相机位置，并根据该推断的位置进行透镜像差校正及透视校正。
以往技术文献
专利文献
专利文献1：日本特开2011-139367号公报
发明内容
发明要解决的技术课题
在此，还有如下方法：对比摄影透镜的视角大的被摄体进行摄影时，并不利用如专利文献1那样的通过1台相机进行的分割摄影，而是通过多个相机进行分割摄影，由此分别通过多个相机获取分割图像，并对所获取的分割图像进行结合。例如，在工厂进行产品的检查(例如，片材的面状检查)时，有时将通过多台机器视觉用相机摄影的各图像结合为1张图像来使用。
如此使用通过多台相机获得的分割图像生成结合图像时，各相机中存在各个体的性能差和设置误差，因此仅通过简单地结合分割图像，无法获得画质良好的结合图像。在此，设置误差例如为针对相机(透镜)与被摄体之间的距离或相机是否正对被摄体的程度的偏差，设置误差会对相机所获取的图像的像倍率及畸变产生影响。
另一方面，对结合图像要求的画质根据使用该结合图像的用途而不同。例如，在工厂的产品检查中使用结合图像时，很少要求如观赏用结合图像那样的画质，有时能够通过结合图像进行图像辨识即可。并且，这种情况下，若在即使结合图像中存在局部畸变，也能够进行图像辨识的情况下，还进行消除整个结合图像的畸变的处理，则计算成本过度分配于校正处理中，导致图像处理的速度变慢。
因此，并不一定要通过校正处理将结合图像的画质提高至最佳状态，有时也可以在结合图像中局部地残留畸变来优先抑制针对校正处理的计算成本。即，期望以尽可能少的计算成本有效地校正结合图像的畸变，例如生成可图像辨识的结合图像的方法。
然而，专利文献1中记载的技术中，从用1台相机获取的分割图像生成结合图像，并未提及对多个相机各自具有的性能的个体差的应对。并且，专利文献1中记载的技术中，将根据位置信息以高精度进行透镜像差校正及透视校正作为目的，因此针对校正处理的计算成本并未得到抑制。
本发明是鉴于这种情况而完成的，其目的在于提供一种不花费计算成本而生成畸变得到局部校正的画质良好的结合图像的图像处理装置、图像处理方法及程序。
用于解决技术课题的手段
为了实现上述目的，作为本发明的一方式的图像处理装置具备：图像输入部，输入用多个相机摄影的多个图像；缩放处理部，对多个图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合2张图像的方向垂直的方向进行缩放处理；及结合图像生成部，对已通过缩放处理部进行缩放处理之后的多个图像进行结合，生成连续的结合图像，缩放处理部根据规定的倍率对2张图像中的至少其中1个图像进行缩放处理，抑制2张图像相互结合的结合部的图像中垂直的方向的偏离。
根据本方式，通过缩放处理部，在多个图像中相互结合的2张图像中的至少其中1个图像中，仅沿与结合2张图像的方向垂直的方向进行缩放校正。由此，本方式中，仅沿与结合2张图像的方向垂直的方向进行缩放校正，因此能够减少分配于缩放校正的计算成本。即，通过沿与结合的方向垂直的方向的缩放处理，能够有效地改善整个结合图像的畸变。
并且，根据本方式，通过缩放处理部，根据规定的倍率对2张图像中的至少其中1个图像进行缩放处理，抑制相互结合的2张图像的结合部的图像的垂直的方向的偏离。因此，本方式中，2张图像的结合部的图像的垂直的方向的偏离得到抑制，因此能够获得2张图像的结合部的图像中畸变得到校正且在结合图像中畸变也得到有效的校正的画质良好的结合图像。
优选缩放处理部根据规定的倍率进行缩放处理，使结合部的图像的大小一致。
根据本方式，通过缩放处理部，使结合部的图像的大小一致，因此能够获得结合图像的结合部的畸变得到有效的校正的画质良好的结合图像。
优选缩放处理部在垂直的方向上根据与其中1个图像的位置相应的规定的倍率进行缩放处理。
根据本方式，通过缩放处理部，在垂直的方向上根据与其中1个图像的各个位置相应的规定的倍率进行缩放处理，因此能够获得在结合部的图像中各个位置的畸变得到适当校正的画质良好的图像。
优选缩放处理部在垂直的方向上根据与其中1个图像的像素相应的规定的倍率进行缩放处理。
根据本方式，通过缩放处理部，根据与结合部的图像的垂直方向的像素相应的规定的倍率进行缩放处理，因此能够获得在2张图像的结合部的图像中按每个像素适当地校正了畸变的画质良好的图像。
优选缩放处理部对2张图像中的至少其中1个图像整体，根据相同的规定的倍率进行缩放处理。
根据本方式，通过缩放处理部，对2张图像中的至少其中1个图像整体，根据相同的倍率进行缩放处理，因此能够获得在整个图像中结合方向和垂直方向的畸变得到抑制的画质良好的图像。
作为本发明的另一方式的图像处理装置具备：图像输入部，输入用多个相机摄影的多个图像；第1缩放处理部，对多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合2张图像的方向垂直的方向进行缩放处理；第2缩放处理部，对2张图像中的至少其中1个图像中的包含该2张图像相互结合的结合部的图像的一部分图像，沿结合2张图像的方向进行缩放处理；及结合图像生成部，对已通过第1缩放处理部及第2缩放处理部进行缩放处理之后的多个图像进行结合，生成连续的结合图像，第1缩放处理部根据规定的第1倍率对2张图像中的至少其中1个图像进行缩放处理，抑制相互结合的2张图像的结合部的图像中垂直方向的偏离，第2缩放处理部根据规定的第2倍率对一部分图像进行缩放处理，抑制相互结合的2张图像的结合部的图像中的偏离或畸变，并使其沿结合的方向连续。
根据本方式，通过第1缩放处理部，在多个图像中相互结合的2张图像中的至少其中1个图像中，沿与结合2张图像的方向垂直的方向进行缩放校正。由此，本方式中，沿与结合2张图像的方向垂直的方向进行缩放校正，因此能够减少分配于缩放校正的计算成本。即，通过沿与结合的方向垂直的方向的缩放处理，能够有效地改善整个结合图像的畸变。
并且，根据本方式，通过第1缩放处理部，根据规定的第1倍率对2张图像中的至少其中1个图像进行缩放处理，抑制相互结合的2张图像的结合部的图像的垂直方向的偏离。因此，本方式中，2张图像的结合部的图像的垂直方向的偏离得到抑制，因此能够获得在2张图像的结合部的图像中畸变得到校正且在结合图像中畸变也得到有效的校正的画质良好的结合图像。
并且，根据本方式，通过第2缩放处理部，2张图像中的至少其中1个图像的包含结合部的图像的一部分图像沿结合2张图像的方向被实施缩放处理。由此，本方式中，沿结合2张图像的方向进行缩放校正的是包含结合部的图像的一部分图像而非整个图像，因此能够减少分配于缩放校正的计算成本。
并且，根据本方式，通过第2缩放处理部，根据规定的第2倍率对一部分图像进行缩放处理，使相互结合的2张图像的结合部的图像沿结合的方向连续。因此，本方式中，能够获得2张图像的结合部的图像连续且在结合图像中畸变也得到有效的校正的画质良好的结合图像。
优选第1缩放处理部根据规定的第1倍率进行缩放处理，使结合部的图像的大小一致。
根据本方式，通过第1缩放处理部，使结合部的图像的大小一致，因此能够获得结合图像的结合部的畸变得到有效的校正的画质良好的结合图像。
优选第1缩放处理部在垂直的方向上根据与其中1个图像的位置相应的规定的第1倍率进行缩放处理。
根据本方式，通过第1缩放处理部，在垂直方向上根据与其中1个图像的各个位置相应的规定的第1倍率进行缩放处理，因此能够获得在结合部的图像中各个位置的畸变得到了适当的校正的画质良好的图像。
优选第1缩放处理部在垂直的方向上根据与其中1个图像的像素相应的规定的第1倍率进行缩放处理。
根据本方式，通过第1缩放处理部，根据与结合部的图像的垂直方向的像素相应的规定的第1倍率进行缩放处理，因此能够获得在2张图像的结合部的图像中按每个像素校正了畸变的画质良好的图像。
优选第1缩放处理部对2张图像中的至少其中1个图像整体，根据相同的规定的第1倍率进行缩放处理。
根据本方式，通过第1缩放处理部，对2张图像中的至少其中1个图像整体，根据相同的规定的第1倍率进行缩放处理，因此能够获得在整个图像中结合方向和垂直方向的畸变得到抑制的画质良好的图像。
优选第2缩放处理部在垂直的方向上根据其中1个图像的位置，对一部分图像进行缩放处理。
根据本方式，通过第2缩放处理部，根据与结合的方向垂直的方向的位置进行一部分图像的缩放处理，因此能够获得在结合部的图像中根据与结合方向垂直方向的位置适当地校正了畸变的画质良好的图像。
优选第2缩放处理部在垂直的方向上，根据其中1个图像的像素，对一部分图像进行缩放处理。
根据本方式，通过第2缩放处理部，根据与结合的方向垂直的方向上的结合部的像素进行缩放处理，因此能够获得根据像素适当地校正了畸变的画质良好的图像。
优选一部分图像具有结合的方向上的结合的图像的一边的长度的1％以上且10％以下的宽度。
根据本方式，结合部具有结合的方向上的图像的一边的长度的1％以上且10％以下的宽度。由此，本方式中，具有结合的方向上的图像的一边的长度的1％以上且10％以下的宽度的区域的畸变得到校正，因此分配于缩放校正的计算成本得到抑制，且能够有效地校正结合图像的畸变。
优选图像处理装置具备锐度处理部，对已进行缩放处理的多个图像进行锐度处理。
根据本方式，通过锐度处理部对已进行缩放校正的多个图像进行锐度处理，之后结合已进行锐度处理的图像，由此生成结合图像，因此能够获得画质良好的结合图像。
优选通过结合图像生成部生成的结合图像的畸变为5个像素以下。
根据本方式，若在输入部输入的图像的畸变为5个像素以上且不进行缩放校正而生成结合图像，则该结合图像的画质并不良好。但是，如本方式，所输入的图像的畸变为5个像素以上时，通过进行本方式的缩放校正，也能够通过抑制了计算成本的缩放校正获得畸变为5个像素以下的画质良好的结合图像。另外，结合图像用途的图像通常以能够摄影更宽区域的广角透镜进行摄影，广角透镜的畸变(失真)大。因此，本方式对用具备广角透镜的相机获取的图像的畸变进行校正时，能够进行更加抑制计算成本的图像处理。
作为本发明的另一方式的图像处理方法包含：图像输入步骤，输入用多个相机摄影的多个图像；缩放处理步骤，对多个图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合2张图像的方向垂直的方向进行缩放处理；及结合图像生成步骤，对已通过缩放处理步骤进行缩放处理之后的多个图像进行结合，生成连续的结合图像，缩放处理步骤中，根据规定的倍率对2张图像中的至少其中1个图像进行缩放处理，抑制2张图像相互结合的结合部的图像中垂直方向的偏离。
作为本发明的另一方式的图像处理方法包含：图像输入步骤，输入用多个相机摄影的多个图像；第1缩放处理步骤，对多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合2张图像的方向垂直的方向进行缩放处理；第2缩放处理步骤，对2张图像中的至少其中1个图像中的包含2张图像相互结合的结合部的图像的一部分图像，沿结合2张图像的方向进行缩放处理；及结合图像生成步骤，对已通过第1缩放处理步骤及第2缩放处理步骤进行缩放处理之后的多个图像进行结合，生成连续的结合图像，第1缩放处理步骤中，根据规定的第1倍率对2张图像中的至少其中1个图像进行缩放处理，抑制相互结合的2张图像的结合部的图像中垂直方向的偏离，第2缩放处理步骤中，根据规定的第2倍率对2张图像中的至少其中1个图像的一部分图像进行缩放处理，抑制相互结合的2张图像的结合部的图像中的偏离或畸变，并使其沿结合的方向连续。
作为本发明的另一方式的程序使计算机执行如下图像处理方法，所述图像处理方法包含：图像输入步骤，输入用多个相机摄影的多个图像；缩放处理步骤，对多个图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合2张图像的方向垂直的方向进行缩放处理；及结合图像生成步骤，对已通过缩放处理步骤进行缩放处理之后的多个图像进行结合，生成连续的结合图像，缩放处理步骤中，根据规定的倍率对2张图像中的至少其中1个图像进行缩放处理，抑制2张图像相互结合的结合部的图像中垂直方向的偏离。
作为本发明的另一方式的程序使计算机执行如下图像处理方法，所述图像处理方法包含：图像输入步骤，输入用多个相机摄影的多个图像；第1缩放处理步骤，对多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合2张图像的方向垂直的方向进行缩放处理；第2缩放处理步骤，对2张图像中的至少其中1个图像中的包含2张图像相互结合的结合部的图像的一部分图像，沿结合2张图像的方向进行缩放处理；及结合图像生成步骤，对已通过第1缩放处理步骤及第2缩放处理步骤进行缩放处理之后的多个图像进行结合，生成连续的结合图像，第1缩放处理步骤中，根据规定的第1倍率对2张图像中的至少其中1个图像进行缩放处理，抑制相互结合的2张图像的结合部的图像中垂直方向的偏离，第2缩放处理步骤中，根据规定的第2倍率对2张图像中的至少其中1个图像的一部分图像进行缩放处理，抑制相互结合的2张图像的结合部的图像中的偏离或畸变，并使其沿结合的方向连续。
发明效果
根据本发明，进行在所结合的2张图像中局部残留畸变且校正图像与图像的结合部中的畸变的缩放校正，因此能够获得抑制针对缩放校正的计算成本且有效地校正了结合图像的畸变的结合图像。
附图说明
图1是表示图像处理装置所具备的计算机和多个相机的概念图。
图2是表示与计算机连接的相机的功能的框图。
图3是表示计算机侧图像处理部(图像处理装置)的功能的框图。
图4是对结合大小不同的图像时的外观上的偏离进行说明的图。
图5是对结合大小不同的图像时的外观上的偏离进行说明的图。
图6是表示生成结合图像为止的概略的图。
图7是表示图像处理方法的流程图。
图8是表示图像处理部(图像处理装置)的功能的框图。
图9是关于向H方向的缩放处理进行说明的图。
图10是关于向H方向的缩放处理进行说明的图。
图11是表示图像处理方法的流程图。
图12是表示结合图像的例的图。
图13是表示结合图像的例的图。
图14是表示结合图像的例的图。
图15是表示摄影图像的例的图。
图16是表示结合图像的例的图。
具体实施方式
以下，根据附图对本发明中的图像处理装置、图像处理方法及程序的优选实施方式进行说明。
图1是表示本发明的图像处理装置所具备的计算机和与该计算机连接的多个相机的概念图。
图1所示的情况下，通过相机10A～10C对被摄体11进行分割摄影。并且，各相机10A～10C通过分割摄影获取各自的摄影图像(分割图像)。用相机10A～10C获取的各摄影图像发送至计算机60。在此，相机10A～10C所获取的摄影图像中，分别拍摄有被摄体11的一部分，通过结合由相机10A～10C获取的摄影图像，能够获得拍摄有整个被摄体11的结合图像。另外，相机10A～10C的排列并无特别限定，可以一维地排列也可以二维地排列。并且，结合图像的结合方向也可以是一维方向的结合，也可以是二维的结合方向(矩阵)的结合。而且，被摄体11为立体物时，相机10A～10C也可以三维地排列。例如，被摄体11为汽车时，也可以以包围汽车的方式配置相机10A～10C。另外，相机10A～10C可以是视角(焦距)或像素数一致的相机，也可以是视角(焦距)或像素数互不相同的相机。
计算机60中具备计算机侧图像处理装置(图像处理部)63(参考图3)。并且，通过计算机侧图像处理部63结合多个摄影图像，由此生成结合图像。
被摄体11大于设置于相机10A～10C的透镜单元12(参考图2)的摄影透镜的视角，需要通过相机10A～10C进行分割摄影。作为被摄体11的具体例，可举出在工厂生产的片材，并且作为相机10A～10C的具体例，可举出机器视觉用相机。通过计算机60生成的结合图像例如进行图像辨识处理，用于被摄体11(片材)的检查(片材的面状检查)。另外，作为相机的其他例，可举出车载相机、智能手机用相机或监控相机。
图2是表示与计算机60连接的相机10A～10C的功能的框图。另外，相机10A～10C为相同的结构，因此仅记载相机10C的结构，省略相机10A及10B的结构。
相机10C具备透镜单元12及具备摄像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12与相机主体14电连接。
透镜单元12具备透镜16或光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含与透镜单元输入输出部22连接的透镜单元控制器20及对光学系统进行操作的致动器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送来的控制信号，经由致动器控制光学系统，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的光圈量控制等。
相机主体14的摄像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等的滤色器及图像传感器(光电二极管；CMOS(互补型金属氧化物半导体，Complementary Metal OxideSemiconductor)、CCD(电荷耦合元件，Charge-Coupled Device)等)。该摄像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换为电信号，并将图像信号发送至相机主体控制器28。另外，相机10A～10C能够获取彩色图像、黑白图像或单色图像。
相机主体控制器28具有设备控制部34及图像处理部35，集中控制相机主体14。设备控制部34例如控制来自摄像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类(计算机60等)发送图像数据(JPEG数据等)。并且，设备控制部34适当控制相机10C所具备的各种设备类。
另一方面，图像处理部35能够对来自摄像元件26的图像信号进行根据需要的任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、灰度校正处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB和/或YCrCb转换处理及图像压缩处理等各种图像处理。
在相机主体控制器28中进行了图像处理的图像数据经由输入输出接口32发送至计算机60等。从相机10C(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif(可交换图像文件格式，Exchangeable Image File Format)，将标题信息(摄影信息(摄影日期时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个关联数据相互建立对应关联来构成为1个图像文件，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出接口32及计算机输入输出部62与相机10A～10C连接，接收从相机主体14发送来的图像数据等数据类。计算机控制器64集中控制计算机60，对来自相机10A～10C的图像数据进行图像处理，控制和经由互联网70等网络线路与计算机输入输出部62连接的服务器80等之间的通信。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66。用户通过一边确认显示器66的显示一边操作键盘等输入机构(省略图示)，能够对计算机控制器64输入数据或指令。由此，用户能够控制计算机60或与计算机60连接的设备类(相机10A～10C、服务器80)。另外，关于计算机60的计算机控制器64所具备的计算机侧图像处理部63(图像处理装置)，将在之后进行详细叙述。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的收发连接部，经由互联网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协作，在与计算机控制器64之间根据需要进行数据类的收发，将数据类下载至计算机60，进行运算处理并将其运算结果发送至计算机60。
各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU(中央处理器，CentralProcessing Unit等))或存储器等。并且，相机10A～10C、计算机60及服务器80之间的通信可以是有线也可以是无线。
＜第1实施方式＞
图3是表示本实施方式的计算机侧图像处理部(图像处理装置)63的功能的框图。计算机侧图像处理部63具备于计算机60的计算机控制器64，具备图像输入部101、V方向缩放处理部103及结合图像生成部105。
图像输入部101中，输入用多个相机10A～10C摄影的各图像。即，用相机10A～10C摄影的摄影图像从输入输出接口32输出，并经由计算机输入输出部62输入至图像输入部101。输入至图像输入部101的摄影图像发送至V方向缩放处理部103。
V方向缩放处理部103对多个摄影图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合2张图像的方向垂直的方向进行缩放处理。即，V方向缩放处理部103仅沿V方向进行缩放处理，并不沿结合图像的方向进行缩放处理。另外，与结合2张图像的方向垂直的方向还称为V方向。并且，结合图像的方向还称为H方向。
并且，V方向缩放处理部103根据规定的倍率对2张图像中的至少其中1个图像沿V方向进行缩放处理，抑制结合部的图像的垂直方向的偏离。由此，可获得结合图像的畸变得到局部校正，抑制分配于缩放处理的计算成本且具有良好的画质的结合图像。在此，结合部是结合构成结合图像的相邻的2张摄影图像的部分，将在摄影图像中具有与其他结合图像结合的一侧的边至该图像的结合方向上的一边的长度的1％以上且10％以下的宽度的该图像的部分称为结合部。并且，本申请中所说的计算成本是对计算机60的运算处理电路(CPU)的负荷。
结合信息输入至V方向缩放处理部103及结合图像生成部105。在此，结合信息是用于获得结合图像的信息，例如为结合方向、结合顺序及结合余量的范围。结合信息可以预先由用户设定，也可以由用户使用计算机60的键盘来输入。
以下，对结合的方向与进行缩放校正的方向之间的关系进行说明。本发明中，尤其通过沿V方向进行缩放校正来实现有效的畸变校正。畸变是指，所结合的2张摄像图像中图像的大小不同或位置偏离，或者1张摄像图像中由于摄像相机的像差等而图像的形状发生变化。
图4及图5是对结合大小不同的图像时的外观上的偏离进行说明的图。图4表示结合对图像进行结合的方向(H方向)的大小互不相同的2张图像的情况，图5表示结合与对图像进行结合的方向垂直的方向(V方向)的大小互不相同的2张图像的情况。图4中，示出图像D相对于图像E的V方向的大小小3％的情况，图5中，示出图像D相对于图像E的H方向的大小小3％的情况。
在此，若对图4的结合图像DE与图5的结合图像DE进行比较，则结合了沿V方向大小不同的图像而成的结合图像DE(图4)的画质比结合了沿H方向大小不同的图像而成的结合图像DE(图5)差。这表示，在结合部中，向与结合方向(H方向)垂直的方向(V方向)的缩放的影响比向结合方向的缩放的影响大。并且，可知在结合部中，向H方向的缩放对结合图像所赋予的画质的印象并无多少影响。
本发明中，良好地利用此情况，抑制计算成本且进行结合图像的有效的畸变校正。具体而言，V方向缩放处理部103仅进行V方向的缩放校正来有效地生成画质良好的结合图像。
V方向缩放处理部103也可以对摄影图像整体，根据相同的倍率沿V方向进行缩放处理，也可以在V方向上根据与图像的位置相应的倍率进行缩放处理，还可以根据与沿V方向排列的图像的像素相应的倍率进行缩放处理。
并且，在V方向缩放处理部103已进行的缩放处理的倍率根据摄影图像、结合图像、用户所期望的结合图像的画质及结合图像的用途等而发生变化，适用各种倍率。
回到图3，结合图像生成部105对通过V方向缩放处理部103进行缩放处理之后的多个摄影图像进行结合，生成连续的结合图像。在结合图像生成部105中进行的结合图像的生成中，使用公知的技术生成结合已进行缩放处理的各图像而成的结合图像。
图6是表示生成结合图像为止的概略的图。
另外，对已在图1及图2中说明的部分标注相同符号并省略说明。并且，以点线示出的部位概念性地表示通过计算机60进行的处理。在此，图示的情况中考虑沿着图中的H轴方向对摄影图像111A～111C进行结合来生成结合图像115的情况，与摄影图像的结合方向垂直的方向为图中的V方向。
通过相机10A～10C被摄体11进行分割摄影。并且，相机10A～10C分别获取摄影图像111A～111C，向计算机60的计算机侧图像处理部63发送摄影图像111A～111C。并且，在图像输入部101中输入摄影图像111A～111C。在此，摄影图像111A～111C是分别以不同焦距摄影的图像。即，摄影图像111A以焦距a获取，摄影图像111B以焦距b获取，摄影图像111C以焦距c获取，且a＞b＞c。
如此，若欲简单地结合不同焦距的摄影图像111A～111C来生成结合图像，则由于摄影图像111A～111C的大小不同，结合图像中畸变多而无法成为良好的画质。
因此，通过V方向缩放处理部103对摄影图像111A～111C进行缩放。具体而言，摄影图像111A为以大焦距摄影的图像，因此进行沿V方向根据规定的倍率缩小的缩放处理来生成中间图像113A，对摄影图像111C，由于是以小焦距摄影的图像，因此进行沿V方向根据规定的倍率放大的缩放处理来生成中间图像113C，关于摄影图像111B，考虑到与摄影图像111A及摄影图像111C的平衡，不进行缩放处理而生成中间图像113B。之后，结合图像生成部105沿H轴方向结合中间图像113A～113C来生成结合图像115。
如此生成的结合图像115并不是作为图像整体对所有畸变进行校正的结合图像，但畸变得到了有效的校正。结合图像115是对特定用途而言充分校正了畸变的图像。
图7是表示本发明的图像处理方法的流程图。
首先，图像输入部101中输入通过多个相机10A～10C对1个被摄体11进行分割摄影而得的多个摄影图像(步骤S10：图像输入步骤)。之后，在V方向缩放处理部103中对所获取的多个图像中相互结合的2张图像中的至少其中1个图像，仅进行V方向的缩放处理(步骤S11：缩放处理步骤)。并且，通过结合图像生成部105，结合已在V方向缩放处理部103中在至少其中1个图像中进行缩放处理的2张图像，生成结合图像(步骤S12：结合图像生成步骤)。
上述各结构及功能能够通过任意的硬件、软件或者两者的组合适当实现。例如，对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序且能够计算机读取的记录介质(非暂时性记录介质)或者能够安装这种程序的计算机也能够适用本发明。
上述实施方式中，执行各种处理的处理部(处理单元，processing unit)的硬件结构为如下示出的各种处理器(processor)。各种处理器中，包含执行软件(程序)来作为各种处理部发挥作用的通用的处理器即CPU、FPGA(现场可编程门阵列，Field ProgrammableGate Array)等在制造之后能够变更电路结构的处理器即可编程逻辑器件(ProgrammableLogic Device：PLD)、具有ASIC(专用集成电路，Application Specific IntegratedCircuit)等为了执行特定处理而专用地设计的电路结构的处理器即专用电气电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA或者CPU与FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1有如下方式：如以客户机或服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用。第2有如下方式：如以片上系统(System On Chip：SoC)等为代表，使用由1个IC(集成电路，Integrated Circuit)芯片实现包含多个处理部的整个系统的功能的处理器。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。
而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电气电路(电路，circuitry)。
＜第2实施方式＞
接着，对第2实施方式进行说明。本实施方式与第1实施方式不同，还进行向对图像进行结合的方向(H方向)的缩放。
图8是表示本实施方式的计算机侧图像处理部(图像处理装置)63的功能的框图。计算机侧图像处理部63具备于计算机60的计算机控制器64，具备图像输入部101、缩放处理部123及结合图像生成部105。另外，对已在图3中说明的部位标注相同符号并省略说明。
本实施方式的缩放处理部123具备V方向缩放处理部(第1缩放处理部)103和H方向缩放处理部(第2缩放处理部)127。
H方向缩放处理部127对2张图像中的至少其中1个图像的包含结合部的图像的一部分图像，沿结合2张图像的方向(H方向)进行缩放处理。即，H方向缩放处理部127对包含结合部的图像的一部分图像沿H方向进行缩放处理，而不是对摄影图像整体沿H方向进行缩放处理。
H方向缩放处理部127根据规定的倍率对2张图像中的至少其中1个图像的一部分图像进行缩放处理，对相互结合的2张图像的结合部的图像沿H方向抑制偏离或畸变并使其连续。即，H方向缩放处理部127通过对包含摄影图像中的结合部的一部分图像向H方向进行缩放处理，对2张图像的结合部的图像的偏离或畸变进行校正并设为连续的图像。
图9及图10是对通过H方向缩放处理部127进行的向H方向的缩放处理进行说明的图。
图9中，概念性地示出摄影图像D的H方向的缩放处理。另外，摄影图像D相对于应为四边形的图像具有桶状畸变。H方向缩放处理部127对包含具有与摄影图像D的其他图像结合的边(结合边)的结合部J的一部分图像，沿H方向进行缩放处理。具体而言，对通过基准位置K及结合部J中的结合边包围的区域即包含结合部的一部分图像，根据位置，如图示那样根据100％、102％、105％、110％、115％、120％、150％、200％的倍率对图像进行放大。另外，该放大处理从基准位置向H方向放大。在此，包含摄影图像D的结合部J的一部分图像是指，通过基准位置K与结合部J中的结合边包围的区域，具有摄影图像D的H方向的一边的长度的1％以上且10％以下的宽度。
而且，H方向缩放处理部127中，进行结合部J中的结合边为止的H方向的放大，但也可以进行如超过结合部J中的结合边的放大。
图10是对基准位置K进行说明的图。如上所述，基准位置K是确定进行向H方向的缩放处理的区域的位置。
图10所示的情况下，在符号132的位置、符号134的位置及符号136的位置，分别根据不同的倍率进行向H方向的缩放处理。具体而言，符号132的位置向H方向放大S，符号134的位置向H方向放大T。图10所示的情况下，符号132的位置被放大的程度最大。该情况下，基准位置K例如能够设置于从结合的端部距离2S的位置。即，基准位置K设置于放大程度最大的位置的被放大的距离的2倍的位置。如此，通过不将基准位置K设置于画面的中心，减少校正来实现了计算成本的抑制。
回到图8，锐度处理部129在对摄影图像进行缩放处理之后进行锐度处理。锐度处理部129对构成结合图像的摄影图像进行锐度处理，对已进行缩放处理的图像及未进行缩放处理的图像也进行锐度处理。在此，由锐度处理部129进行的锐度处理中使用公知的技术。
图11是表示本发明的图像处理方法的流程图。
首先，图像输入部101中，输入通过多个相机10A～10C对1个被摄体11进行分割摄影而得的多个摄影图像(步骤S20：图像输入步骤)。之后，通过V方向缩放处理部103在所获取的多个图像中相互结合的2张图像中的至少其中1个图像中，进行V方向的缩放处理(步骤S21：第1缩放处理步骤)。接着，通过H方向缩放处理部127，对相互结合的2张图像中的至少其中1个图像的包含结合部的图像的一部分图像，沿结合2张图像的方向进行缩放处理(步骤S22：第2缩放处理步骤)。之后，通过结合图像生成部105，对已通过V方向缩放处理部103及H方向缩放处理部127在至少其中1个图像中进行缩放处理的2张图像进行结合，从而生成结合图像(步骤S23：结合图像生成步骤)。
＜结合图像的例子＞
接着，对本发明中结合的结合图像的例子进行说明。另外，以下说明的结合图像的例子中，通过2张摄影图像生成1张结合图像，但本发明的适用范围并不限定于此，通过3张以上的摄影图像生成1张结合图像时，当然也可适用本发明。
(结合图像的例子1)
图12是表示本例的结合图像的图。图12中，示出有摄影图像F与摄影图像G的结合图像FG。摄影图像F与摄影图像G在摄影图像的结合部J中，图像的大小一致。具体而言，V方向缩放处理部103通过对摄影图像F和/或G进行缩放处理，使结合部J中的图像的大小一致。
在此，即使输入至图像输入部101的摄影图像的畸变在V方向上为5个像素以上，通过利用V方向缩放处理部103进行缩放处理，能够设为能够辨识物体的结合图像。即，在用图像辨识物体的用途中使用结合图像时，优选将图像的偏离校正为4个像素以下，更优选校正为2个像素以下，通过本发明的缩放处理，在结合图像中能够将畸变校正为4个像素以下，能够更优选校正为2个像素以下。
(结合图像的例子2)
图13是说明本例的结合图像的图。图13(A)中为了比较而示出有通过图12示出的结合图像FG，图13(B)中示出有本例的结合图像。
如图12所示，以使摄影图像F和摄影图像G的端部对齐的方式进行缩放处理时，摄影图像彼此的端部对齐(结合部J中的阶梯差消失)，但有时在摄影图像的中间产生残留较大畸变的部位。
例如，图13(A)所示的情况下，成为端部P1及P2中摄影图像F与摄影图像G的偏离(阶梯差)消失，但在位置Q1及位置Q2中畸变大的状态。
另一方面，图13(B)中，在结合部J的多个点，根据能够平衡良好地进行结合的倍率进行缩放处理。即，图13中，并不根据对齐结合部J的端部的倍率，而是通过在结合部J的V方向上的多个点设定能够平衡良好地进行结合的倍率来进行缩放处理。由此，例如在图13(B)的R1～R4中，与图13(A)相比，畸变得到了抑制。
(结合图像的例子3)
图14是对本例的结合图像进行说明的图。图14所示的结合图像FG是已通过图12进行了说明的结合图像FG。即，是根据使结合部J的端部的图像的大小一致(消除阶梯差)的倍率进行了缩放处理的结合图像FG。此时，例如如Q1或Q2，导致在图像的中间部分畸变变大。因此，本例中，在如此畸变变大的部分，根据不同的倍率进行缩放处理。即，本例中，根据V方向的位置或像素通过不同的倍率进行缩放处理。
(结合图像的例子4)
图15及图16是对本例的结合图像进行说明的图。本例的结合图像中，还进行H方向的缩放处理。
图15中，示出构成结合图像的摄影图像F及摄影图像G。摄影图像F及G分别具有桶状像差。
摄影图像F及G沿H方向具有字符串。如此，结合具有文章、文字或细的结构物的摄影图像来生成结合图像时，对H方向的畸变，也易察觉。因此，在H方向上也进行缩放处理。
图16(A)表示不进行H方向的缩放处理而结合摄影图像F和摄影图像G的情况，图16(B)表示进行H方向的缩放处理来结合摄影图像F和摄影图像G的情况。
如图16(A)所示，对摄影图像F及摄影图像G不进行向H方向的缩放处理时，有时字符串在结合图像FG中并不良好地连续。即，由于各摄影图像所具有的像差等，有时在H方向上摄影图像并不良好地连续。这种情况下，进行向H方向的缩放处理。
如图16(B)所示，对摄影图像F和/或摄影图像G进行了向H方向的缩放处理时，字符串在结合图像FG中良好地连续。即，对摄影图像F和/或摄影图像G进行了向H方向的缩放处理时，摄影图像F和摄影图像G的字符串变得良好地连续。
以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，能够在不脱离本发明的精神的范围内进行各种变形是理所当然的。
符号说明
10A～C-相机，11-被摄体，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，22-透镜单元输入输出部，26-摄像元件，28-相机主体控制器，30-相机主体输入输出部，32-输入输出接口，34-设备控制部，35-图像处理部，60-计算机，62-计算机输入输出部，63-计算机侧图像处理部，64-计算机控制器，66-显示器，70-互联网，80-服务器，82-服务器输入输出部，84-服务器控制器，101-图像输入部，103-V方向缩放处理部，105-结合图像生成部，111A～C-摄影图像，113A～C-中间图像，115-结合图像，123-缩放处理部，127-H方向缩放处理部，129-锐度处理部。
Claims (19)
1.一种图像处理装置，其具备：
图像输入部，输入用多个相机摄影的多个图像；
缩放处理部，对所述多个图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合所述2张图像的方向垂直的方向进行缩放处理；及
结合图像生成部，对通过所述缩放处理部进行缩放处理之后的所述多个图像进行结合，生成连续的结合图像，
所述缩放处理部根据规定的倍率对所述2张图像中的至少所述其中1个图像进行缩放处理，抑制所述2张图像相互结合的结合部的图像中所述垂直的方向的偏离。
2.根据权利要求1所述的图像处理装置，其中，
所述缩放处理部根据所述规定的倍率进行缩放处理，使所述结合部的图像的大小一致。
3.根据权利要求1或2所述的图像处理装置，其中，
所述缩放处理部在所述垂直的方向上根据与所述其中1个图像的位置相应的所述规定的倍率进行缩放处理。
4.根据权利要求1或2所述的图像处理装置，其中，
所述缩放处理部在所述垂直的方向上根据与所述其中1个图像的像素相应的所述规定的倍率进行缩放处理。
5.根据权利要求1所述的图像处理装置，其中，
所述缩放处理部对所述2张图像中的至少所述其中1个图像整体，根据相同的所述规定的倍率进行缩放处理。
6.一种图像处理装置，其具备：
图像输入部，输入用多个相机摄影的多个图像；
第1缩放处理部，对所述多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合所述2张图像的方向垂直的方向进行缩放处理；
第2缩放处理部，对所述2张图像中的至少所述其中1个图像中的包含所述2张图像相互结合的结合部的图像的一部分图像，沿结合所述2张图像的方向进行缩放处理；及
结合图像生成部，对已通过所述第1缩放处理部及所述第2缩放处理部进行缩放处理之后的所述多个图像进行结合，生成连续的结合图像，
所述第1缩放处理部根据规定的第1倍率对所述2张图像中的至少所述其中1个图像进行缩放处理，抑制所述相互结合的所述2张图像的所述结合部的图像中的所述垂直的方向的偏离，
所述第2缩放处理部根据规定的第2倍率对所述一部分图像进行缩放处理，抑制所述相互结合的所述2张图像的所述结合部的图像中的偏离或畸变，并使其沿所述结合的方向连续。
7.根据权利要求6所述的图像处理装置，其中，
所述第1缩放处理部根据所述规定的第1倍率进行缩放处理，使所述结合部的图像的大小一致。
8.根据权利要求6或7所述的图像处理装置，其中，
所述第1缩放处理部在所述垂直的方向上根据与所述其中1个图像的位置相应的所述规定的第1倍率进行缩放处理。
9.根据权利要求6或7所述的图像处理装置，其中，
所述第1缩放处理部在所述垂直的方向上根据与所述其中1个图像的像素相应的所述规定的第1倍率进行缩放处理。
10.根据权利要求6所述的图像处理装置，其中，
所述第1缩放处理部对所述2张图像中的至少所述其中1个图像整体，根据相同的所述规定的第1倍率进行缩放处理。
11.根据权利要求6至10中任一项所述的图像处理装置，其中，
所述第2缩放处理部在所述垂直的方向上根据所述其中1个图像的位置，对所述一部分图像进行缩放处理。
12.根据权利要求6至10中任一项所述的图像处理装置，其中，
所述第2缩放处理部在所述垂直的方向上根据所述其中1个图像的像素，对所述一部分图像进行缩放处理。
13.根据权利要求6至12中任一项所述的图像处理装置，其中，
所述一部分图像具有所述结合的方向上的所述结合的图像的一边的长度的1％以上且10％以下的宽度。
14.根据权利要求1至13中任一项所述的图像处理装置，其具备：
锐度处理部，对已进行所述缩放处理的所述多个图像进行锐度处理。
15.根据权利要求1至14中任一项所述的图像处理装置，其中，
通过所述结合图像生成部生成的所述结合图像的畸变为5个像素以下。
16.一种图像处理方法，其包含：
图像输入步骤，输入用多个相机摄影的多个图像；
缩放处理步骤，对所述多个图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合所述2张图像的方向垂直的方向进行缩放处理；及
结合图像生成步骤，对已通过所述缩放处理步骤进行缩放处理之后的所述多个图像进行结合，生成连续的结合图像，
所述缩放处理步骤中，根据规定的倍率对所述2张图像中的至少所述其中1个图像进行缩放处理，抑制所述2张图像相互结合的结合部的图像中的所述垂直的方向的偏离。
17.一种图像处理方法，其包含：
图像输入步骤，输入用多个相机摄影的多个图像；
第1缩放处理步骤，对所述多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合所述2张图像的方向垂直的方向进行缩放处理；
第2缩放处理步骤，对所述2张图像中的至少所述其中1个图像中的包含所述2张图像相互结合的结合部的图像的一部分图像，沿结合所述2张图像的方向进行缩放处理；及
结合图像生成步骤，对已通过所述第1缩放处理步骤及所述第2缩放处理步骤进行缩放处理之后的所述多个图像进行结合，生成连续的结合图像，
所述第1缩放处理步骤中，根据规定的第1倍率对所述2张图像中的至少所述其中1个图像进行缩放处理，抑制所述相互结合的所述2张图像的所述结合部的图像中的所述垂直的方向的偏离，
所述第2缩放处理步骤中，根据规定的第2倍率对所述一部分图像进行缩放处理，抑制所述相互结合的所述2张图像的所述结合部的图像中的偏离或畸变，并使其沿所述结合的方向连续。
18.一种程序，其使计算机执行如下图像处理方法，所述图像处理方法包含：
图像输入步骤，输入用多个相机摄影的多个图像；
缩放处理步骤，对所述多个图像中相互结合的2张图像中的至少其中1个图像，仅沿与结合所述2张图像的方向垂直的方向进行缩放处理；及
结合图像生成步骤，对已通过所述缩放处理步骤进行缩放处理之后的所述多个图像进行结合，生成连续的结合图像，
所述缩放处理步骤中，根据规定的倍率对所述2张图像中的至少所述其中1个图像进行缩放处理，抑制所述2张图像相互结合的结合部的图像中的所述垂直的方向的偏离。
19.一种程序，其使计算机执行如下图像处理方法，所述图像处理方法包含：
图像输入步骤，输入用多个相机摄影的多个图像；
第1缩放处理步骤，对所述多个图像中相互结合的2张图像中的至少其中1个图像，沿与结合所述2张图像的方向垂直的方向进行缩放处理；
第2缩放处理步骤，对所述2张图像中的至少所述其中1个图像中的包含所述2张图像相互结合的结合部的图像的一部分图像，沿结合所述2张图像的方向进行缩放处理；及
结合图像生成步骤，对已通过所述第1缩放处理步骤及所述第2缩放处理步骤进行缩放处理之后的所述多个图像进行结合，生成连续的结合图像，
所述第1缩放处理步骤中，根据规定的第1倍率对所述2张图像中的至少所述其中1个图像进行缩放处理，抑制所述相互结合的所述2张图像的所述结合部的图像中的所述垂直的方向的偏离，
所述第2缩放处理步骤中，根据规定的第2倍率对所述一部分图像进行缩放处理，抑制所述相互结合的所述2张图像的所述结合部的图像中的偏离或畸变，并使其沿所述结合的方向连续。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017001273 | 2017-01-06 | ||
| JP2017-001273 | 2017-01-06 | ||
| PCT/JP2017/041232 WO2018128011A1 (ja) | 2017-01-06 | 2017-11-16 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110169044A true CN110169044A (zh) | 2019-08-23 |
| CN110169044B CN110169044B (zh) | 2021-04-23 |
Family
ID=62791164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780082238.5A Active CN110169044B (zh) | 2017-01-06 | 2017-11-16 | 图像处理装置、图像处理方法及存储有程序的记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20190295215A1 (zh) |
| JP (1) | JP6608548B2 (zh) |
| CN (1) | CN110169044B (zh) |
| WO (1) | WO2018128011A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
| JP2007109113A (ja) * | 2005-10-14 | 2007-04-26 | Alpine Electronics Inc | 車載画像表示装置 |
| CN101751659A (zh) * | 2009-12-24 | 2010-06-23 | 北京优纳科技有限公司 | 大容量快速图像拼接方法 |
| CN104427245A (zh) * | 2013-08-20 | 2015-03-18 | 三星泰科威株式会社 | 图像融合系统和方法 |
| CN104691415A (zh) * | 2013-12-07 | 2015-06-10 | 惠州市德赛西威汽车电子有限公司 | 全景泊车辅助装置 |
| US20150278988A1 (en) * | 2014-04-01 | 2015-10-01 | Gopro, Inc. | Image Taping in a Multi-Camera Array |
| JP2016146543A (ja) * | 2015-02-06 | 2016-08-12 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| CN106023073A (zh) * | 2016-05-06 | 2016-10-12 | 安徽伟合电子科技有限公司 | 一种图像拼接系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR940017747A (ko) * | 1992-12-29 | 1994-07-27 | 에프. 제이. 스미트 | 영상 처리 디바이스 |
| US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
| US6486908B1 (en) * | 1998-05-27 | 2002-11-26 | Industrial Technology Research Institute | Image-based method and system for building spherical panoramas |
| US7149367B2 (en) * | 2002-06-28 | 2006-12-12 | Microsoft Corp. | User interface for a system and method for head size equalization in 360 degree panoramic images |
| JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
| US8164600B2 (en) * | 2007-12-06 | 2012-04-24 | Barco Nv | Method and system for combining images generated by separate sources |
| US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
| JP5141470B2 (ja) * | 2008-09-25 | 2013-02-13 | オムロン株式会社 | 画像合成方法および画像処理システム |
| US8319823B2 (en) * | 2009-11-03 | 2012-11-27 | Jadak, Llc | System and method for panoramic image stitching |
| JP5526921B2 (ja) * | 2010-03-29 | 2014-06-18 | ソニー株式会社 | 撮像装置、電子機器および表示制御方法 |
| JP2012109737A (ja) * | 2010-11-16 | 2012-06-07 | Mitsubishi Electric Corp | 画像結合装置、画像結合方法、画像入出力システム、プログラム、及び記録媒体 |
| JP2015156051A (ja) * | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
-
2017
- 2017-11-16 JP JP2018560326A patent/JP6608548B2/ja active Active
- 2017-11-16 CN CN201780082238.5A patent/CN110169044B/zh active Active
- 2017-11-16 WO PCT/JP2017/041232 patent/WO2018128011A1/ja active Application Filing
-
2019
- 2019-06-14 US US16/441,848 patent/US20190295215A1/en not_active Abandoned
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
| JP2007109113A (ja) * | 2005-10-14 | 2007-04-26 | Alpine Electronics Inc | 車載画像表示装置 |
| CN101751659A (zh) * | 2009-12-24 | 2010-06-23 | 北京优纳科技有限公司 | 大容量快速图像拼接方法 |
| CN104427245A (zh) * | 2013-08-20 | 2015-03-18 | 三星泰科威株式会社 | 图像融合系统和方法 |
| CN104691415A (zh) * | 2013-12-07 | 2015-06-10 | 惠州市德赛西威汽车电子有限公司 | 全景泊车辅助装置 |
| US20150278988A1 (en) * | 2014-04-01 | 2015-10-01 | Gopro, Inc. | Image Taping in a Multi-Camera Array |
| JP2016146543A (ja) * | 2015-02-06 | 2016-08-12 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| CN106023073A (zh) * | 2016-05-06 | 2016-10-12 | 安徽伟合电子科技有限公司 | 一种图像拼接系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2018128011A1 (ja) | 2019-11-07 |
| WO2018128011A1 (ja) | 2018-07-12 |
| CN110169044B (zh) | 2021-04-23 |
| US20190295215A1 (en) | 2019-09-26 |
| JP6608548B2 (ja) | 2019-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6347675B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
| JP4297111B2 (ja) | 撮像装置、画像処理方法及びそのプログラム | |
| JP6173156B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| TWI549519B (zh) | 高解析度陣列相機 | |
| CN103283214B (zh) | 摄像机、畸变校正装置以及畸变校正方法 | |
| CN105657237B (zh) | 图像获取装置及其数字变焦方法 | |
| JP2014225843A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN102227746A (zh) | 立体图像处理装置、方法、记录介质和立体成像设备 | |
| JP5704984B2 (ja) | 撮像装置 | |
| US20080226278A1 (en) | Auto_focus technique in an image capture device | |
| JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN102055909A (zh) | 图像拍摄装置以及图像拍摄方法 | |
| JP5896680B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
| CN109951641A (zh) | 图像拍摄方法和装置、电子设备、计算机可读存储介质 | |
| JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| JP2015231052A (ja) | 撮像装置および方法、並びにプログラム | |
| JP5055588B2 (ja) | 画像処理装置および画像処理方法 | |
| CN110169044A (zh) | 图像处理装置、图像处理方法及程序 | |
| JP6770828B2 (ja) | 顕微鏡 | |
| JP5278421B2 (ja) | 撮像装置 | |
| JP2008187677A (ja) | デジタルカメラ | |
| CN109584313A (zh) | 摄像头标定方法、装置、计算机设备和存储介质 | |
| JP5333163B2 (ja) | 撮像装置 | |
| JP2019176302A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2012244583A (ja) | 撮像装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |