CN112425147A - 图像校正装置及图像校正方法 - Google Patents

Abstract

图像校正装置(1)具有：分割部(10)，其将通过对移动的拍摄对象进行拍摄的第1拍摄装置(21)得到的图像，分割为在形成该图像的时间的最终时刻形成的图像即最终时刻图像、以及在上述最终时刻之前形成的图像即非最终时刻图像，基于拍摄对象的位置，将最终时刻图像及非最终时刻图像各自分割为形成了最终时刻图像及非最终时刻图像的各部分时所需要的各个曝光时间的多个区域；以及校正部(12)，其校正各区域的亮度值。校正部(12)针对最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值，对作为校正对象的区域的亮度值进行校正，针对非最终时刻图像所包含的多个区域，使用第1校正值和与非最终时刻图像对应的第2校正值，对作为校正对象的区域的亮度值进行校正。

Description

图像校正装置及图像校正方法

技术领域

本发明涉及对由拍摄移动的拍摄对象的拍摄装置得到的图像进行校正的图像校正装置及图像校正方法。

背景技术

当前，已知对通过照相机拍摄移动的拍摄对象而得到的图像中产生的抖动进行校正的技术。如果拍摄对象移动，则与拍摄对象的至少一部分部位对应的部分图像包含于一个帧的多个位置的每一者，因此由于拍摄对象的一部分部位的亮度值被累计而产生抖动。例如，专利文献1公开了对通过红外线照相机拍摄炼铁厂中的浇包而得到的图像中产生的抖动进行校正的技术。

专利文献1：日本特开2017-187434号公报

发明内容

物流行业中的拍摄对象比炼铁厂中的拍摄对象即浇包移动得快，物流行业中的拍摄对象的大小明显比浇包小。因此，即使使用专利文献1所公开的技术，也无法对通过红外线照相机拍摄物流行业中的移动的拍摄对象而得到的图像中产生的抖动适当地进行校正。要求提供对通过红外线照相机拍摄移动的拍摄对象而得到的图像中产生的抖动适当地进行校正的技术。

本发明就是鉴于上述情况而提出的，其目的在于得到对拍摄移动的拍摄对象而得到的图像中产生的抖动即由于亮度值的累计而产生的抖动适当地进行校正的图像校正装置。

为了解决上述课题，达成目的，本发明具有：分割部，其将通过对移动的拍摄对象进行拍摄的第1拍摄装置在形成1帧的时间得到的图像，分割为在上述时间的最终时刻形成的图像即最终时刻图像、以及在上述时间的最终时刻之前形成的图像即非最终时刻图像，基于拍摄对象的位置，将最终时刻图像及非最终时刻图像各自分割为形成了最终时刻图像及非最终时刻图像的各部分时所需要的各个曝光时间的多个区域；以及校正部，其对由分割部得到的最终时刻图像及非最终时刻图像所包含的多个区域各自的亮度值进行校正。校正部针对最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值，对作为校正对象的区域的亮度值进行校正，针对非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值和与非最终时刻图像对应的第2校正值，对作为校正对象的区域的亮度值进行校正。

发明的效果

本发明涉及的图像校正装置取得能够对拍摄移动的拍摄对象而得到的图像中产生的抖动即由于亮度值的累计而产生的抖动适当地进行校正这样的效果。

附图说明

图1是表示实施方式1涉及的拍摄系统的结构的图。

图2是表示通过实施方式1涉及的拍摄系统所具有的第1拍摄装置及第2拍摄装置各自对移动的拍摄对象进行拍摄而得到的图像的例子的图。

图3是表示实施方式1涉及的图像校正装置的结构的图。

图4是用于说明实施方式1涉及的图像校正装置所具有的分割部具有的功能的图。

图5是用于说明在实施方式1涉及的图像校正装置所具有的校正值存储部中存储的第1校正值的图。

图6是表示实施方式1涉及的图像校正装置的动作的流程的流程图。

图7是示意性地表示通过实施方式1涉及的图像校正装置所具有的校正部进行校正而得到的亮度值的分布的图。

图8是用于说明实施方式1涉及的图像校正装置所进行的校正的图。

图9是用于说明实施方式2涉及的图像校正装置所具有的分割部具有的功能的图。

图10是用于说明在实施方式2涉及的图像校正装置所具有的校正值存储部中存储的第2校正值的图。

图11是表示实施方式3涉及的图像校正装置的结构的图。

图12是用于说明实施方式3涉及的图像校正装置所具有的插补图像生成部的功能的图。

图13是表示实施方式1至实施方式3涉及的图像校正装置与编码器和控制装置连接的状况的图。

具体实施方式

下面，基于附图对本发明的实施方式涉及的图像校正装置及图像校正方法进行详细的说明。此外，本发明并不限于该实施方式。

实施方式1.

图1是表示实施方式1涉及的拍摄系统50的结构的图。拍摄系统50具有对图像进行校正的图像校正装置1。后面对图像校正装置1的详情进行叙述。拍摄系统50还具有：第1拍摄装置21，其以第1帧速率对移动的拍摄对象23进行拍摄；以及第2拍摄装置22，其以比由第1拍摄装置21对拍摄对象23进行拍摄时的第1帧速率高的第2帧速率对拍摄对象23进行拍摄。第1拍摄装置21和第2拍摄装置22是并列配置的。在图1中也示出了拍摄对象23。帧速率是指每单位时间通过拍摄而得到的帧的个数。

第1拍摄装置21的例子为红外线照相机。第2拍摄装置22的例子为可视光照相机。第1帧速率的例子为60fps，第2帧速率的例子为1200fps。此外，为了方便说明，在实施方式1中，设想的是第1帧速率为60fps，第2帧速率为180fps。在实施方式1中，第1拍摄装置21的视角和第2拍摄装置22的视角相同。

拍摄对象23载置于带式输送机24。在图1中也示出了带式输送机24。构成带式输送机24的传动带进行动作，由此拍摄对象23以箭头25的朝向移动。拍摄对象23的例子为通过热熔工序进行制箱的纸板。在实施方式1中，设想的是拍摄对象23进行等速直线运动。

图2是表示通过实施方式1涉及的拍摄系统50所具有的第1拍摄装置21及第2拍摄装置22各自对移动的拍摄对象23进行拍摄而得到的图像的例子的图。具体而言，图2(A)示出由第1拍摄装置21对移动的拍摄对象23进行拍摄而得到的图像的例子。图2(B)示出由第2拍摄装置22对移动的拍摄对象23进行拍摄而得到的图像的例子。此外，在图2之后的各图中，除了图13，为了方便说明，拍摄对象23由三角形表示。下面，设想的是拍摄对象23为三角形。

第2拍摄装置22如图2(B)所示那样，在从拍摄的初始时刻起1/180秒后、2/180秒后及3/18秒后的各个时刻，得到拍摄对象23的图像。另一方面，第1拍摄装置21如图2(A)所示那样，在从拍摄的初始时刻起1/60秒后、即3/180秒后，得到拍摄对象23的图像。

从拍摄的初始时刻起至1/60秒后、即3/180秒后为止的时间是通过第1拍摄装置21形成1帧的时间。即，从图2的拍摄的初始时刻起3/180秒后的时刻是通过第1拍摄装置21形成1帧的时间的最终时刻。即，从图2(A)的拍摄的初始时刻起3/180秒后的图像是在通过第1拍摄装置21形成1帧的时间得到的图像。此外，图2(A)及图2(B)的拍摄的初始时刻所记载的拍摄对象23的图像是由第2拍摄装置22在拍摄的初始时刻对拍摄对象23进行拍摄而得到的图像。

如上所述，在实施方式1中，第1帧速率为60fps，第2帧速率为180fps。即，第1拍摄装置21得到1张图像时的时间是第2拍摄装置22得到1张图像时的时间的3倍。如使用图1说明过那样，拍摄对象23是移动的。因此，如从图2(A)的拍摄的初始时刻起1/60秒后的图像表示的那样，第1拍摄装置21在从拍摄的初始时刻起1/60秒后，不仅得到从拍摄的初始时刻起1/60秒后的位置的拍摄对象23的图像，还得到表示从拍摄的初始时刻至1/60秒后为止的各位置的拍摄对象23的抖动图像23a。进一步而言，第1拍摄装置21在拍摄的初始时刻起1/60秒后，得到拍摄对象23的图像，并且得到从拍摄的初始时刻至1/60秒后为止通过对移动的拍摄对象23的一部分部位的亮度值进行累计而产生的抖动图像23a。

有时禁止使用第2拍摄装置22。如上所述，第1拍摄装置21在从拍摄的初始时刻起1/60秒后，得到拍摄对象23的图像并且得到抖动图像23a。抖动图像23a是在从拍摄的初始时刻起1/60秒后无法由第2拍摄装置22得到的图像。第1拍摄装置21在从拍摄的初始时刻起1/60秒后得到的拍摄对象23的图像包含对移动的拍摄对象23的一部分部位的亮度值进行累计的部分。图像校正装置1的目的在于，在不使用第2拍摄装置22而使用了第1拍摄装置21的情况下，在每隔1/60秒得到与由第2拍摄装置22得到的图像类似的图像。

图像校正装置1根据包含如图2(A)的从拍摄的初始时刻起1/60秒后的图像那样的拍摄对象23的图像和抖动图像23a的图像进行用于得到拍摄对象23的图像的校正。即，图像校正装置1校正通过对移动的拍摄对象23进行拍摄的第1拍摄装置21得到的图像。

图3是表示实施方式1涉及的图像校正装置1的结构的图。图像校正装置1具有触发生成部2，该触发生成部2生成用于使第1拍摄装置21及第2拍摄装置22各自开始拍摄的拍摄触发。在图3中也示出了第1拍摄装置21及第2拍摄装置22。图像校正装置1具有通信部3，该通信部3将由触发生成部2生成的拍摄触发同时发送至第1拍摄装置21及第2拍摄装置22各自。

第1拍摄装置21及第2拍摄装置22对拍摄触发进行接收，开始拍摄对象23的拍摄。通信部3具有从第1拍摄装置21对在由第1拍摄装置21拍摄了拍摄对象23时得到的图像数据进行接收的功能、从第2拍摄装置22对在由第2拍摄装置22拍摄了拍摄对象23时得到的图像数据进行接收的功能。

图像校正装置1还具有图像存储部4，该图像存储部4对通信部3从第1拍摄装置21接收到的图像数据和从第2拍摄装置22接收到的图像数据进行存储。图像校正装置1还具有特征提取部5，该特征提取部5提取基于在图像存储部4存储的图像数据即通信部3从第2拍摄装置22接收到的图像数据的拍摄对象23的图像的特征点。特征点的例子是拍摄对象23的边缘。在实施方式1中，边缘是三角形的拍摄对象23的3个顶点的每一者。三角形的拍摄对象23的形状及大小是基于该3个顶点而确定的。图像校正装置1还具有特征存储部6，该特征存储部6对表示由特征提取部5提取出的特征点的数据进行存储。

图像校正装置1还具有移动量运算部7，该移动量运算部7对在特征存储部6存储的数据所示的特征点的每单位时间的移动量进行运算。具体而言，移动量运算部7基于由第2拍摄装置22拍摄到的相邻的2个帧中的对应的特征点，对由第2拍摄装置22形成1帧的时间中的特征点的移动量进行运算。图像校正装置1还具有移动量存储部8，该移动量存储部8对通过由移动量运算部7进行运算而得到的表示特征点的每单位时间的移动量的数据进行存储。

图像校正装置1还具有校正图像确定部9，该校正图像确定部9提取基于在图像存储部4存储的图像数据即通信部3从第1拍摄装置21接收到的图像数据的图像即校正对象图像的特征点，对校正对象图像进行确定。具体而言，校正图像确定部9将包含图2(A)的从拍摄的初始时刻起1/60秒后的拍摄对象23的图像和抖动图像23a的梯形图像确定为校正对象图像。特征存储部6还对表示由校正图像确定部9提取出的特征点的数据进行存储。进一步而言，特征存储部6还对表示校正对象图像的数据进行存储。

图像校正装置1还具有分割部10，该分割部10将在由对移动的拍摄对象23进行拍摄的第1拍摄装置21形成1帧的时间得到的图像即校正对象图像，分割为在该时间的最终时刻形成的图像即最终时刻图像、以及在该时间的最终时刻之前形成的图像即非最终时刻图像。分割部10基于拍摄对象23的位置，将最终时刻图像及非最终时刻图像分别分割为形成最终时刻图像及非最终时刻图像的各部分时所需要的各个曝光时间的多个区域。拍摄对象23的位置根据由通信部3从第2拍摄装置22接收到的图像数据而确定。进一步而言，拍摄对象23的位置根据在移动量存储部8存储的数据而确定。

具体而言，分割部10根据基于在特征存储部6存储的数据的拍摄出的图像的拍摄对象23的形状及大小、以及基于在移动量存储部8存储的数据的拍摄对象23的位置，将由校正图像确定部9确定出的校正对象图像分割为图2(A)的从拍摄的初始时刻起1/60秒后的拍摄对象23的图像即最终时刻图像、以及抖动图像23a即非最终时刻图像。

图4是用于说明实施方式1涉及的图像校正装置1所具有的分割部10具有的功能的图。进一步而言，图4是表示包含图2(A)的从拍摄的初始时刻起1/60秒后的拍摄对象23的图像和抖动图像23a在内的校正对象图像的图。如上所述，拍摄对象23进行等速直线运动。因此，在从拍摄的初始时刻起1/60秒后，通过第1拍摄装置21得到如在图4中以点P0、点Q0及点R0为3个顶点的三角形的图像依次向箭头25a的朝向移动那样的校正对象图像。

在拍摄的初始时刻，第1拍摄装置21得到图4中的以点P0、点Q0及点R0为3个顶点的三角形的图像。在从拍摄的初始时刻起1/180秒后，通过第1拍摄装置21得到图4中的以点P1、点Q1及点R1为3个顶点的三角形的图像。在从拍摄的初始时刻起2/180秒后，通过第1拍摄装置21得到图4中的以点P2、点Q2及点R2为3个顶点的三角形的图像。在从拍摄的初始时刻起3/180秒后即1/60秒后，通过第1拍摄装置21得到图4中的以点P3、点Q3及点R3为3个顶点的三角形的图像。将在上述4个时刻分别得到的图像合成，在从拍摄的初始时刻起3/180秒后即1/60秒后，通过第1拍摄装置21得到以点P0、点Q0、点R3及点P3为4个顶点的梯形的校正对象图像。

在图4中，“y0”示出将从拍摄的初始时刻至1/60秒后为止的1/60秒期间进行3等分时的各1/180秒期间的上述三角形的图像的移动量。表示该移动量的数据存储于移动量存储部8。由于拍摄对象23进行等速直线运动，因此三角形的图像的各个1/180秒的移动量y0是固定的。

如上所述，在从拍摄的初始时刻起3/180秒后即1/60秒后，通过第1拍摄装置21拍摄到在图4中以点P3、点Q3及点R3为3个顶点的三角形图像。对构成以点P3、点Q3及点R3为3个顶点的三角形图像的4个区域分配标号B。由分配有标号B的全部区域构成的图像是在形成校正对象图像的时间的最终时刻形成的最终时刻图像。但是，形成了分配有标号B的4个区域的各个区域时所需要的曝光时间与形成了其它区域时所需要的曝光时间不同。在图4中，由分配有标号A的全部区域构成的图像是在曝光时间的最终时刻之前形成的非最终时刻图像。

拍摄的初始时刻的三角形的图像的一部分与从拍摄的初始时刻起1/180秒后的三角形的图像、从拍摄的初始时刻起2/180秒后的三角形的图像、及从拍摄的初始时刻起3/180秒后的三角形的图像重复。从拍摄的初始时刻起1/180秒后的三角形的图像的一部分与从拍摄的初始时刻起2/180秒后的三角形的图像、及从拍摄的初始时刻起3/180秒后的三角形的图像重复。从拍摄的初始时刻起2/180秒后的三角形的图像的一部分与从拍摄的初始时刻起3/180秒后的三角形的图像重复。

在图4中，在标号A或标号B的右侧附加的数字是对将从拍摄的初始时刻至1/60秒后为止的1/60秒期间进行3等分时的各1/180秒期间的上述三角形的图像的一部分重复的次数加上“1”而得到的。重复的次数与曝光时间对应。具体而言，形成了分配有标号A1的区域时所需要的曝光时间比形成了分配有标号A2的区域时所需要的曝光时间短。形成了分配有标号A2的区域时所需要的曝光时间比形成了分配有标号A3的区域时所需要的曝光时间短。

形成了分配有标号B1的区域时所需要的曝光时间比形成了分配有标号B2的区域时所需要的曝光时间短。形成了分配有标号B2的区域时所需要的曝光时间比形成了分配有标号B3的区域时所需要的曝光时间短。形成了分配有标号B3的区域时所需要的曝光时间比形成了分配有标号B4的区域时所需要的曝光时间短。

分割部10基于拍摄对象23的位置，将最终时刻图像及非最终时刻图像各自分割为形成了最终时刻图像及非最终时刻图像的各部分时所需要的各个曝光时间的多个区域。拍摄对象23的位置根据由通信部3从第2拍摄装置22接收到的图像数据而确定。具体而言，拍摄对象23的位置根据在移动量存储部8存储的数据而确定。

即，如图4所示，分割部10将最终时刻图像分割为分配有标号B1的区域、分配有标号B2的区域、分配有标号B3的区域、分配有标号B4的区域。除此之外，分割部10将非最终时刻图像分割为分配有标号A1的区域、分配有标号A2的区域、分配有标号A3的区域。

返回到图3。图像校正装置1还具有校正值存储部11，该校正值存储部11对在校正图像时使用的第1校正值及第2校正值进行存储。图5是用于说明在实施方式1涉及的图像校正装置1所具有的校正值存储部11存储的第1校正值的图。第1校正值与形成了校正对象的区域时所需要的曝光时间对应。图5示出第1校正值与曝光时间成比例地减小的例子。

图5示出α1、α2、α3及α4这4个第1校正值。α1是在对分配有标号A1及标号B1的区域的亮度值进行校正时使用的第1校正值。α2是在对分配有标号A2及标号B2的区域的亮度值进行校正时使用的第1校正值。α3是在对分配有标号A3及标号B3的区域的亮度值进行校正时使用的第1校正值。α4是在对分配有标号B4的区域的亮度值进行校正时使用的第1校正值。

返回到图3。图像校正装置1还具有校正部12，该校正部12对由分割部10得到的最终时刻图像及非最终时刻图像所包含的多个区域各自的亮度值进行校正。校正部12针对最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值，对作为校正对象的区域的亮度值进行校正。第1校正值存储于校正值存储部11。

在作为校正对象的区域为分配有标号B1的区域的情况下，校正部12使用与形成了分配有标号B1的区域时所需要的曝光时间对应的第1校正值α1，对分配有标号B1的区域的亮度值进行校正。在作为校正对象的区域为分配有标号B2的区域的情况下，校正部12使用与形成了分配有标号B2的区域时所需要的曝光时间对应的第1校正值α2，对分配有标号B2的区域的亮度值进行校正。

校正部12针对非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值、以及与非最终时刻图像对应的第2校正值，对作为校正对象的区域的亮度值进行校正。第1校正值及第2校正值存储于校正值存储部11。例如，第2校正值为小于1的值。

在作为校正对象的区域为分配有标号A1的区域的情况下，校正部12使用与形成了分配有标号A1的区域时所需要的曝光时间对应的第1校正值α1、以及与非最终时刻图像对应的第2校正值，对分配有标号A1的区域的亮度值进行校正。在作为校正对象的区域为分配有标号A2的区域的情况下，校正部12使用与形成了分配有标号A2的区域时所需要的曝光时间对应的第1校正值α2、以及与非最终时刻图像对应的第2校正值，对分配有标号A2的区域的亮度值进行校正。

进一步而言，在分配有标号Xn的区域的校正前的亮度值为Xn，分配有标号Xn的区域的校正后的亮度值为Xn’的情况下，例如，校正部12按照下式(1)对校正前的亮度值进行校正。此外，X为A或B，n为1至4中的任意整数。在下式中，β0为第2校正值。

A1’＝α1×β0×A1

A2’＝α2×β0×A2

A3’＝α3×β0×A3

B1’＝α1×B1

B2’＝α2×B2

B3’＝α3×B3

B4’＝α4×B4…(1)

图像校正装置1还具有校正图像生成部13，该校正图像生成部13基于由校正部12得到的亮度值，生成校正后的图像。图像校正装置1还具有显示部14，该显示部14对由校正图像生成部13生成的校正后的图像进行显示。显示部14的例子为液晶显示装置。

图像校正装置1所具有的图像存储部4、特征存储部6、移动量存储部8及校正值存储部11的例子为半导体存储器。

图6是表示实施方式1涉及的图像校正装置1的动作的流程的流程图。触发生成部2生成用于使第1拍摄装置21及第2拍摄装置22各自开始拍摄的拍摄触发。通信部3将由触发生成部2生成的拍摄触发同时发送至第1拍摄装置21及第2拍摄装置22各自(S1)。通信部3从第1拍摄装置21对在第1拍摄装置21拍摄了拍摄对象23时得到的图像数据进行接收，从第2拍摄装置22对在第2拍摄装置22拍摄了拍摄对象23时得到的图像数据进行接收(S2)。

特征提取部5提取基于由通信部3从第2拍摄装置22接收到的图像数据的图像即拍摄对象23的图像的特征点(S3)。移动量运算部7对由特征提取部5提取出的特征点的每单位时间的移动量进行运算(S4)。校正图像确定部9提取基于由通信部3从第1拍摄装置21接收到的图像数据的图像的特征点而对校正对象图像进行确定(S5)。

分割部10将由对移动的拍摄对象23进行拍摄的第1拍摄装置21得到的图像即校正对象图像，分割为在形成校正对象图像的时间的最终时刻形成的图像即最终时刻图像、以及在曝光时间的最终时刻之前形成的图像即非最终时刻图像(S6)。分割部10基于拍摄对象23的位置，将最终时刻图像及非最终时刻图像各自分割为形成了最终时刻图像及非最终时刻图像的各部分时所需要的各个曝光时间的多个区域(S6)。

校正部12对由分割部10得到的最终时刻图像及非最终时刻图像所包含的多个区域各自的亮度值进行校正。即，校正部12对校正对象图像进行校正(S7)。校正图像生成部13基于由校正部12得到的亮度值，生成校正后的图像即校正图像(S8)。显示部14对由校正图像生成部13生成的校正后的图像即校正图像进行显示(S9)。

如上所述，图像校正装置1将在由对移动的拍摄对象23进行拍摄的第1拍摄装置21形成1帧的时间得到的图像即校正对象图像，分割为在该时间的最终时刻形成的图像即最终时刻图像、以及在该时间的最终时刻之前形成的图像即非最终时刻图像。图像校正装置1基于拍摄对象23的位置，将最终时刻图像及非最终时刻图像各自分割为形成了最终时刻图像及非最终时刻图像的各部分时所需要的各个曝光时间的多个区域。

图像校正装置1针对最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值，对作为校正对象的区域的亮度值进行校正。图像校正装置1针对非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值、以及与非最终时刻图像对应的第2校正值，对作为校正对象的区域的亮度值进行校正。

图7是示意性地表示通过实施方式1涉及的图像校正装置1所具有的校正部12进行校正而得到的亮度值的分布的图。图7示出分配有标号B1、标号B2、标号B3及标号B4的区域的亮度值相同。除此之外，图7示出分配有标号A1、标号A2及标号A3的区域的亮度值相同，并且比分配有标号B1、标号B2、标号B3及标号B4的区域的亮度值小。

图8是用于说明实施方式1涉及的图像校正装置1所进行的校正的图。图8(A)与图2(A)相同，在拍摄的最终时刻示出校正对象图像。图8(B)示出图像校正装置1在拍摄的最终时刻，通过对校正对象图像进行校正而得到的图像。在图8(B)的拍摄的最终时刻示出的图像是基于图7的亮度值的分布得到的图像。图8(C)与图2(B)相同，示出在拍摄的初始时刻、从拍摄的初始起1/180秒后的时刻、从拍摄的初始起2/180秒后的时刻、从拍摄的初始起3/180秒后的时刻分别由第2拍摄装置22得到的图像。

如图8(B)所示那样，实施方式1涉及的图像校正装置1在从拍摄的初始起3/180秒后的时刻，能够得到不包含抖动图像23a的拍摄对象23的图像。即，图像校正装置1能够对在拍摄移动的拍摄对象而得到的图像中产生的抖动即由于亮度值的累计而产生的抖动适当地进行校正。进一步而言，图像校正装置1在禁止使用第2拍摄装置22的情况下不使用第2拍摄装置22而使用了第1拍摄装置21时，能够在每1/60秒得到与第2拍摄装置22所得到的图像类似的图像。

除此之外，如根据图7可以理解的那样，图像校正装置1能够考虑到曝光时间，得到通过第1拍摄装置21形成1帧后的亮度值得到了校正的拍摄对象23的图像。即，在第1拍摄装置21是用于对通过热熔工序进行制箱的纸板是否被适当地制箱进行判断的红外线照相机的情况下，图像校正装置1能够生成用于对通过热熔工序进行制箱的纸板是否被适当地制箱进行判断的图像。由于图像校正装置1无需进行针对各个像素的校正，而是针对汇总了多个像素的各个区域进行校正，因此能够快速地进行校正。

此外，表示拍摄到的图像的拍摄对象23的形状及大小的数据也可以预先存储于特征存储部6。进一步而言，表示通过第2拍摄装置22拍摄到的图像的拍摄对象23的形状及大小的数据也可以预先存储于特征存储部6。

实施方式2.

接着，对实施方式2涉及的图像校正装置1进行说明。在实施方式1中，设想为拍摄对象23进行等速直线运动。在实施方式2中，设想为拍摄对象23进行加速运动。实施方式2涉及的图像校正装置1的结构与实施方式1涉及的图像校正装置1的结构相同。在实施方式2中，对与实施方式1不同的部分进行说明。

在实施方式2中，分割部10将非最终时刻图像分割为与形成了非最终时刻图像的各部分时的曝光时间和拍摄对象23的加速度对应的多个区域。图9是用于说明实施方式2涉及的图像校正装置1所具有的分割部10具有的功能的图。在拍摄的初始时刻，通过第1拍摄装置21得到图9中的以点P0、点Q0及点R0为3个顶点的三角形的图像。在从拍摄的初始时刻起1/180秒后，通过第1拍摄装置21得到图9中的以点P1、点Q1及点R1为3个顶点的三角形的图像。

在从拍摄的初始时刻起2/180秒后，通过第1拍摄装置21得到图9中的以点P2、点Q2及点R2为3个顶点的三角形的图像。在从拍摄的初始时刻起3/180秒后即1/60秒后，通过第1拍摄装置21得到图9中的以点P3、点Q3及点R3为3个顶点的三角形的图像。将在上述4个时刻分别得到的图像合成，在从拍摄的初始时刻起3/180秒后即1/60秒后，通过第1拍摄装置21得到以点P0、点Q0、点R3及点P3为4个顶点的梯形的校正对象图像。

在图9中，就上述三角形的图像的移动量而言，在拍摄的初始时刻至1/180秒后为止的期间为y1，在1/180秒后至2/180秒后为止的期间为y2，在2/180秒后至3/180秒后为止的期间为y3。在实施方式2中，拍摄对象23进行加速运动。因此，移动量y1、移动量y2及移动量y3各自与其它两个移动量不同。移动量y1、移动量y2及移动量y3各自与拍摄对象23的加速度对应。

在图9中，针对构成以点P3、点Q3及点R3为3个顶点的三角形的图像的4个区域，与实施方式1相同地分配标号B。由分配有标号B的全部区域构成的图像是在形成校正对象图像的时间的最终时刻形成的最终时刻图像。在图9中，由分配有标号A的全部区域构成的图像是在形成校正对象图像的时间的最终时刻之前形成的非最终时刻图像。

如上所述，分割部10将非最终时刻图像分割为与形成了非最终时刻图像的各部分时的曝光时间和拍摄对象的加速度对应的多个区域。即，由于移动量y1、移动量y2及移动量y3各自与拍摄对象23的加速度对应，因此分割部10将非最终时刻图像分割为分配有标号A4至标号A9中的任意1个的6个区域。图10是用于说明在实施方式2涉及的图像校正装置1所具有的校正值存储部11存储的第2校正值的图。实施方式2的第2校正值与非最终时刻图像对应，并且根据拍摄对象23的加速度而不同。图10示出随着每1/180秒的三角形的图像的移动量变大而第2校正值变小的例子。

在每1/180秒的三角形的图像的移动量为y1的情况下的第2校正值为β1。在每1/180秒的三角形的图像的移动量为y2的情况下的第2校正值为β2。在每1/180秒的三角形的图像的移动量为y3的情况下的第2校正值为β3。

关于分配有标号A4的区域，第1校正值为α1，第2校正值为β1。关于分配有标号A5的区域，第1校正值为α1，第2校正值为β2。关于分配有标号A6的区域，第1校正值为α1，第2校正值为β3。关于分配有标号A7的区域，第1校正值为α2，第2校正值为β2。关于分配有标号A8的区域，第1校正值为α2，第2校正值为β3。关于分配有标号A9的区域，第1校正值为α3，第2校正值为β3。

校正部12针对非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值、以及与形成了作为校正对象的区域时的拍摄对象23的加速度对应的第2校正值，对作为校正对象的区域的亮度值进行校正。校正部12针对最终时刻图像所包含的多个区域，通过在实施方式1中说明过的方法对作为校正对象的区域的亮度值进行校正。

在分配有标号Xn的区域的校正前的亮度值为Xn，分配有标号Xn的区域的校正后的亮度值为Xn’的情况下，例如，校正部12按照下式(2)对校正前的亮度值进行校正。此外，X为A或B，n为1至9中的任意整数。

A4’＝α1×β1×A4

A5’＝α1×β2×A5

A6’＝α1×β3×A6

A7’＝α2×β2×A7

A8’＝α2×β3×A8

A9’＝α3×β3×A9

B1’＝α1×B1

B2’＝α2×B2

B3’＝α3×B3

B4’＝α4×B4…(2)

如上所述，实施方式2涉及的图像校正装置1将非最终时刻图像分割为与形成了非最终时刻图像的各部分时的曝光时间和拍摄对象23的加速度对应的多个区域。实施方式2的第2校正值与非最终时刻图像对应，并且根据拍摄对象23的加速度而不同。校正部12针对非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值、以及与形成了作为校正对象的区域时的拍摄对象23的加速度对应的第2校正值，对作为校正对象的区域的亮度值进行校正。校正部12针对最终时刻图像所包含的多个区域，通过在实施方式1中说明过的方法对作为校正对象的区域的亮度值进行校正。

即，就实施方式2涉及的图像校正装置1而言，即使拍摄对象23进行加速运动，也与实施方式1相同地，通过对校正对象图像进行校正，在拍摄的最终时刻能够得到不包含抖动图像23a的拍摄对象23的图像。进一步而言，实施方式2涉及的图像校正装置1能够考虑到曝光时间，得到通过第1拍摄装置21形成1帧后的亮度值得到了校正的拍摄对象23的图像。

此外，即使拍摄对象23进行加速运动，实施方式2涉及的图像校正装置1也可以不考虑拍摄对象23的加速度地通过在实施方式1中说明过的方法对校正对象图像进行校正。在该情况下，图像校正装置1也能够生成与以往相比抖动图像23a的影响小且考虑了曝光时间的校正图像。

实施方式3.

接着，对实施方式3涉及的图像校正装置1A进行说明。图11是表示实施方式3涉及的图像校正装置1A的结构的图。图像校正装置1A具有实施方式1或2涉及的图像校正装置1所具有的全部结构要素。图像校正装置1A具有图像校正装置1所具有的结构要素之外的结构要素。在实施方式3中，对与实施方式1或2不同的部分进行说明。图像校正装置1A还具有校正图像存储部15，该校正图像存储部15对表示由校正图像生成部13生成的校正后的图像的数据进行存储。校正图像存储部15的例子为半导体存储器。

图像校正装置1A还具有插补图像生成部16，该插补图像生成部16根据拍摄对象23的位置和基于在校正图像存储部15存储的数据的第1图像而生成插补图像。第1图像为通过由校正部12进行校正而得到的图像。拍摄对象23的位置是基于在移动量存储部8存储的数据而确定的。进一步而言，拍摄对象23的位置根据由通信部3从第2拍摄装置22接收到的图像数据而确定。

具体而言，第1图像是在校正部12进行了校正后由校正图像生成部13生成的图像。插补图像是第1时刻和第2时刻之间的时刻的拍摄对象23的图像，该第1时刻是得到了第1图像的校正前的图像的时刻，该第2时刻是得到第2图像的校正前的图像的时刻，该第2图像是通过校正部12进行校正而在第1图像之后得到的图像。显示部14还对由插补图像生成部16生成的插补图像进行显示。

图12是用于说明实施方式3涉及的图像校正装置1A所具有的插补图像生成部16的功能的图。图12(A)是在第1时刻示出第1图像，在第2时刻示出第2图像。图12(B)除了第1图像和第2图像之外，还示出在第1时刻和第2时刻之间的中间时刻由插补图像生成部16生成的插补图像23b。

假设在中间时刻，第1拍摄装置21对拍摄对象23进行拍摄而拍摄到拍摄对象23的图像。除此之外，假设中间时刻的拍摄对象23的图像是使第1图像的拍摄对象23从第1图像的拍摄对象23的位置向第2图像的拍摄对象23的位置的朝向，从第1图像的拍摄对象23的位置以移动量Z移动后的图像。

图12(A)由虚线示出在中间时刻，使第1图像的拍摄对象23以移动量Z移动后的拍摄对象23的图像23b。移动量Z是基于拍摄对象23的位置而确定的。具体而言，移动量Z是基于在移动量存储部8存储的数据而确定的。进一步而言，移动量Z是根据由通信部3从第2拍摄装置22接收到的图像数据而确定的。

插补图像生成部16基于第1图像、移动量Z，如图12(B)所示那样，生成中间时刻的拍摄对象23的图像即插补图像23b。具体而言，插补图像生成部16使第1图像的拍摄对象23从第1图像的拍摄对象23的位置向第2图像的拍摄对象23的位置的朝向以移动量Z移动，生成中间时刻的拍摄对象23的图像即插补图像23b。

如上所述，图像校正装置1A基于第1图像和拍摄对象23的位置，具体而言，基于第1图像和移动量Z，如图12(B)所示那样，生成中间时刻的拍摄对象23的图像即插补图像23b。即，图像校正装置1A除了第1图像和第2图像之外，还能够将中间时刻的拍摄对象23的图像提示给用户。用户通过对中间时刻的拍摄对象23的图像即插补图像23b进行视觉确认，能够对拍摄对象23的移动进行确认。

此外，在实施方式1至实施方式3中，图像校正装置1、1A也可以连接于编码器和控制装置。图13是表示实施方式1至实施方式3涉及的图像校正装置1、1A与编码器26和控制装置27连接的状况的图。编码器26是对拍摄对象23的位置进行检测的装置。控制装置27是通过对带式输送机24进行控制而对拍摄对象23的移动速度进行控制的装置。

在该情况下，通信部3从编码器26和控制装置27中的一者或两者，对与拍摄对象23的位置相关的信息进行接收。拍摄对象23的位置或拍摄对象23的加速度也可以通过由通信部3接收到的信息而确定。也可以将编码器26替换为对拍摄对象23的位置或速度进行检测的传感器。在将编码器26替换为对拍摄对象23的位置或速度进行检测的传感器的情况下，通信部3从传感器接收与拍摄对象23的位置相关的信息。

另外，第1拍摄装置21是对深度或声音进行检测而基于检测到的结果生成图像数据的装置。

实施方式1涉及的图像校正装置1所具有的触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部功能也可以由执行在存储器中储存的程序的处理器实现。

处理器为CPU(Central Processing Unit)、处理装置、运算装置、微处理器、微型计算机、或DSP(Digital Signal Processor)。

在触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部功能由处理器实现的情况下，该一部分或全部功能由处理器与软件、固件、或软件及固件的组合实现。软件或固件被记述为程序，储存于存储器。处理器通过读出、执行在存储器中存储的程序，从而实现触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部功能。

在触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部功能由处理器实现的情况下，图像校正装置1具有存储器，该存储器用于对程序进行储存，该程序从结果来看使由触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部执行的步骤得以执行。也可以说是在存储器中储存的程序使计算机执行由触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部执行的流程或方法。

存储器例如是RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable Read Only Memory)、EEPROM(注册商标)(ElectricallyErasable Programmable Read Only Memory)等非易失性或易失性半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘或DVD(Digital Versatile Disk)等。

实施方式1涉及的图像校正装置1所具有的触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分或全部功能也可以由处理电路实现。

处理电路为专用的硬件。处理电路例如为单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、或它们的组合。触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13中的一部分也可以是与其余部分分开的单独的专用硬件。

关于触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13的多个功能，也可以是该多个功能的一部分由软件或固件实现，该多个功能的其余部分由专用硬件实现。这样，触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12及校正图像生成部13的多个功能能够由硬件、软件、固件、或它们的组合实现。

实施方式3涉及的图像校正装置1A所具有的触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12、校正图像生成部13及插补图像生成部16中的一部分或全部功能也可以由处理器实现。在该一部分或全部功能由处理器实现的情况下，图像校正装置1A具有存储器，该存储器用于对程序进行储存，该程序从结果来看使由触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12、校正图像生成部13及插补图像生成部16中的一部分或全部执行的步骤得以执行。

实施方式3涉及的图像校正装置1A所具有的触发生成部2、通信部3、特征提取部5、移动量运算部7、校正图像确定部9、分割部10、校正部12、校正图像生成部13及插补图像生成部16中的一部分或全部功能也可以由处理电路实现。

以上的实施方式所示的结构表示的是本发明的内容的一个例子，还可以与其它的公知技术组合，在不脱离本发明的主旨的范围，也可以省略或变更结构的一部分。

标号的说明

1、1A图像校正装置，2触发生成部，3通信部，4图像存储部，5特征提取部，6特征存储部，7移动量运算部，8移动量存储部，9校正图像确定部，10分割部，11校正值存储部，12校正部，13校正图像生成部，14显示部，15校正图像存储部，16插补图像生成部，21第1拍摄装置，22第2拍摄装置，23拍摄对象，23a抖动图像，24带式输送机，26编码器，27控制装置，50拍摄系统。

Claims (7)

1.一种图像校正装置，其特征在于，具有：

分割部，其将通过对移动的拍摄对象进行拍摄的第1拍摄装置在形成1帧的时间得到的图像，分割为在所述时间的最终时刻形成的图像即最终时刻图像、以及在所述时间的所述最终时刻之前形成的图像即非最终时刻图像，基于所述拍摄对象的位置，将所述最终时刻图像及所述非最终时刻图像各自分割为形成了所述最终时刻图像及所述非最终时刻图像的各部分时所需要的各个曝光时间的多个区域；以及

校正部，其对由所述分割部得到的所述最终时刻图像及所述非最终时刻图像所包含的多个区域各自的亮度值进行校正，

所述校正部针对所述最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值，对所述作为校正对象的区域的亮度值进行校正，针对所述非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值和与所述非最终时刻图像对应的第2校正值，对所述作为校正对象的区域的亮度值进行校正。

2.根据权利要求1所述的图像校正装置，其特征在于，

还具有通信部，该通信部从以比所述第1拍摄装置拍摄所述拍摄对象时的帧速率高的帧速率拍摄所述拍摄对象的第2拍摄装置对图像数据进行接收、从对所述拍摄对象的位置或者速度进行检测的传感器对与所述拍摄对象的位置相关的信息进行接收、或者从对所述拍摄对象的移动速度进行控制的控制装置对与所述拍摄对象的位置相关的信息进行接收，

所述分割部基于通过由所述通信部接收到的图像数据或信息确定的所述拍摄对象的位置，将所述最终时刻图像及所述非最终时刻图像各自分割为所述多个区域。

3.根据权利要求1所述的图像校正装置，其特征在于，

所述拍摄对象进行加速运动，

所述分割部将所述非最终时刻图像分割为与形成了所述非最终时刻图像的各部分时的曝光时间和所述拍摄对象的加速度对应的多个区域，

所述第2校正值与所述非最终时刻图像对应，并且所述第2校正值根据所述拍摄对象的加速度而不同，

所述校正部针对所述非最终时刻图像所包含的所述多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值、以及与形成了所述作为校正对象的区域时的所述拍摄对象的加速度对应的所述第2校正值，对所述作为校正对象的区域的亮度值进行校正。

4.根据权利要求3所述的图像校正装置，其特征在于，

还具有通信部，该通信部从以比所述第1拍摄装置拍摄所述拍摄对象时的帧速率高的帧速率拍摄所述拍摄对象的第2拍摄装置对图像数据进行接收、从对所述拍摄对象的位置或者速度进行检测的传感器对与所述拍摄对象的位置相关的信息进行接收、或者从对所述拍摄对象的移动速度进行控制的控制装置对与所述拍摄对象的位置相关的信息进行接收，

所述分割部基于通过由所述通信部接收到的图像数据或信息确定的所述拍摄对象的位置及加速度，将所述非最终时刻图像分割为与形成了所述非最终时刻图像的各部分时的曝光时间和所述拍摄对象的加速度对应的多个区域，

所述校正部在对所述非最终时刻图像所包含的所述多个区域各自的亮度值进行校正时，使用与通过由所述通信部接收到的图像数据或信息确定的所述拍摄对象的加速度对应的所述第2校正值而进行校正。

5.根据权利要求1或3所述的图像校正装置，其特征在于，

还具有插补图像生成部，该插补图像生成部基于所述拍摄对象的位置和通过由所述校正部进行校正而得到的第1图像，生成第1时刻和第2时刻之间的时刻的所述拍摄对象的图像，该第1时刻是得到所述第1图像的校正前的图像的时刻，该第2时刻是得到第2图像的校正前的图像的时刻，该第2图像是通过所述校正部进行校正而在所述第1图像之后得到的图像。

6.根据权利要求5所述的图像校正装置，其特征在于，

还具有通信部，该通信部从以比所述第1拍摄装置拍摄所述拍摄对象时的帧速率高的帧速率拍摄所述拍摄对象的第2拍摄装置对图像数据进行接收、从对所述拍摄对象的位置或者速度进行检测的传感器对与所述拍摄对象的位置相关的信息进行接收、或者从对所述拍摄对象的移动速度进行控制的控制装置对与所述拍摄对象的位置相关的信息进行接收，

所述插补图像生成部基于通过由所述通信部接收的图像数据或信息确定的所述拍摄对象的位置，生成所述第1时刻和所述第2时刻之间的时刻的所述拍摄对象的图像。

7.一种图像校正方法，其特征在于，包含：

分割步骤，将通过对移动的拍摄对象进行拍摄的第1拍摄装置在形成1帧的时间得到的图像，分割为在所述时间的最终时刻形成的图像即最终时刻图像、以及在所述时间的所述最终时刻之前形成的图像即非最终时刻图像，基于所述拍摄对象的位置，将所述最终时刻图像及所述非最终时刻图像各自分割为形成了所述最终时刻图像及所述非最终时刻图像的各部分时所需要的各个曝光时间的多个区域；以及

校正步骤，对在所述分割步骤中得到的所述最终时刻图像及所述非最终时刻图像所包含的多个区域各自的亮度值进行校正，

在所述校正步骤中，针对所述最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值，对所述作为校正对象的区域的亮度值进行校正，针对所述非最终时刻图像所包含的多个区域，使用与形成了作为校正对象的区域时所需要的曝光时间对应的第1校正值和与所述非最终时刻图像对应的第2校正值，对所述作为校正对象的区域的亮度值进行校正。

Images