CN116829918A

CN116829918A - 分辨率测定方法、分辨率测定系统以及程序

Info

Publication number: CN116829918A
Application number: CN202180092268.0A
Authority: CN
Inventors: 户田浩一
Original assignee: Leader Electronics Corp
Current assignee: Leader Electronics Corp
Priority date: 2021-02-01
Filing date: 2021-02-10
Publication date: 2023-09-29
Also published as: JP2022117666A; TW202232936A; JP7304641B2; US20240121380A1; EP4286823A1; WO2022162953A1; KR20230140457A

Abstract

提供在拍摄视场中产生失真的照相机的分辨率测定方法。通过计算机装置执行的照相机的分辨率测定方法包括：生成表示第1测试图的全部像素的坐标和通过在拍摄视场中产生失真的照相机拍摄的拍摄图像中的第1测试图的全部像素的坐标的对应关系的畸变映射的步骤；根据通过畸变映射表示的对应关系，生成用于在拍摄图像中的第1测试图内的特定区域中测定分辨率的第2测试图的畸变的图像即畸变测试图的步骤；以及使用畸变测试图，在与特定区域对应的照相机的拍摄视场的一部分中，执行通过对比度法的分辨率测定的步骤。

Description

分辨率测定方法、分辨率测定系统以及程序

技术领域

本发明涉及照相机的分辨率测定技术。

背景技术

以往的数字照相机的分辨率(MTF：Modulation Transfer Function)的测定方法主要可分类为倾斜边缘法和对比度法。倾斜边缘法是与对比度法相比测试图案更小、且还能够应对如鱼眼照相机那样的有畸变像差(distortion aberration)的照相机等、可应用于各种照相机的测定方法。然而，由于施加图像处理(边缘强调处理)，存在再现性降低、极限分辨率的值成为比目视评价良好的值这样的现象。

另一方面，关于对比度法，如倾斜边缘法那样的问题少。在利用对比度法的MTF测定中，拍摄出振幅恒定的不同频率的图案，测定所拍摄的图像的每个频率的亮度振幅来求出MTF(例如专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2010-281626号公报

发明内容

然而，在对比度法中，在测试图案中有失真时，波形形状产生变化而发生高次谐波分量，而且频率间隔产生变化，所以无法进行正确的MTF测定。即，对比度法是以在测试图案中无失真为前提的MTF测定法。因此，在以往的对比度法中，无法应对如鱼眼照相机那样的在拍摄视场中产生失真的照相机。

本发明是鉴于这样的课题而完成的。

为了解决上述课题，本发明的一个方案是一种通过计算机装置执行的照相机的分辨率测定方法，包括：生成表示第1测试图的全部像素的坐标、和通过在拍摄视场中产生失真的照相机拍摄的拍摄图像中的所述第1测试图的全部像素的坐标的对应关系的畸变映射(distortion map)的步骤；根据通过所述畸变映射表示的所述对应关系，生成用于在所述拍摄图像中的所述第1测试图内的特定区域中测定分辨率的第2测试图的产生畸变的图像即畸变测试图的步骤；以及使用所述畸变测试图，在与所述特定区域对应的所述照相机的拍摄视场的一部分中，执行基于对比度法的分辨率测定的步骤。

另外，本发明的其他方案是一种执行上述分辨率测定方法的计算机装置。

另外，本发明的其他方案是一种分辨率测定系统，包括：计算机装置，执行上述分辨率测定方法；照相机，在拍摄视场中产生失真；以及显示器装置，其中，所述显示器装置显示所述计算机装置生成的所述畸变测试图，所述计算机装置执行如下步骤：通过所述照相机拍摄由所述显示器装置显示的所述畸变测试图，执行所述分辨率的测定。

另外，本发明的其他方案是一种用于使计算机装置执行上述分辨率测定方法的程序。

另外，本发明的其他方案是一种储存有计算机可执行命令的计算机可读介质，其中，在执行所述计算机可执行命令时，使计算机装置执行上述分辨率测定方法。

附图说明

图1是示出本发明的一个实施方式所涉及的分辨率测定系统的外观的一个例子的图。

图2是示出本发明的一个实施方式所涉及的分辨率测定系统的结构的一个例子的图。

图3是示出照相机的拍摄视场的一个例子的图。

图4是示出棋盘(checkerboard)图像的像素和产生畸变的棋盘图像的像素的对应关系的一个例子的图。

图5是示出畸变映射的数据构造的一个例子的图。

图6是示出拍摄图像中的与棋盘图像区域对应的白色的测试图图像、和之后描绘的测定用测试图的无失真的图像的一个例子的图。

图7是示出将测定用测试图的无失真的图像逆投影而生成的有失真的测定用测试图图像的一个例子的图。

图8是示出将阶梯图(step chart)的无失真的图像逆投影而生成的有失真的阶梯图图像的一个例子的图。

图9是示出用照相机拍摄有失真的测定用测试图图像时的拍摄视场的一个例子的图。

图10是示出与多个空间频率对应的多个测定用测试图的一个例子的图。

图11是示出本发明的一个实施方式所涉及的分辨率测定系统的计算机装置中的处理的一个例子的流程图。

图12是示出本发明的一个实施方式所涉及的分辨率测定系统的计算机装置的硬件结构的一个例子的图。

(附图标记说明)

1：分辨率测定系统；10：被检照相机；20：显示器(测试图)；30：计算机装置；302：数据输入输出部；304：畸变映射生成部；306：逆投影图像生成部；308：分辨率测定部；40：计算机装置；41：处理器；42：RAM；43：ROM；44：硬盘装置；45：可移动存储器；46：输入输出用户接口；47：通信接口；48：显示器。

具体实施方式

以下，参照附图，详细说明本发明的实施方式。

(分辨率测定系统的结构)

图1是本实施方式所涉及的分辨率测定系统的外观的一个例子。本实施方式所涉及的分辨率测定系统1是用于测定如鱼眼照相机那样的在拍摄视场中发生失真的照相机的分辨率的系统。本实施方式的分辨率测定系统1采用再现性良好的对比度法，与被检照相机匹配地针对测试图进行失真校正。如图1所示，作为分辨率测定的对象的照相机10以在其视场角内拍摄显示于显示器20的测试图50的方式配置。更具体而言，以使照相机10的视场角内的想要测定分辨率的任意的部位是测试图包含于显示器20的画面范围内的方式，配置照相机10和显示器20。

图2是示出本实施方式所涉及的分辨率测定系统的结构的一个例子的图。如图2所示，分辨率测定系统1构成为包括照相机10、显示器20、以及计算机装置30。照相机10是成为分辨率测定的对象的被检照相机，是如鱼眼照相机那样的在拍摄视场中发生失真的照相机。此外，在图2中从照相机10延伸的虚线箭头表示照相机10的视场角范围的一个例子。显示器20显示测试图等图像，通过照相机10拍摄该图像。计算机装置30取得照相机10的拍摄图像数据并与显示于显示器的测试图的图像数据一起使用，执行针对测试图的用于失真校正的处理。关于显示器20(测试图)，配置成以包含照相机10的视场角内的想要测定分辨率的任意的部位的方式被拍摄测试图即可，不限定于特定的位置。但是，在测定该部位的分辨率的期间，使照相机10和显示器20的相对位置固定而不变化。

计算机装置30具备数据输入输出部302、畸变映射生成部304、逆投影图像生成部306、以及分辨率测定部308。

数据输入输出部302进行与照相机10或者显示器20的各种数据的输入输出处理。例如，数据输入输出部302从照相机10经由有线或者无线的网络取得照相机10的拍摄图像数据。另外，数据输入输出部302也可以经由可拆卸的可移动存储器取得该拍摄图像数据。另外，数据输入输出部302向显示器20输出用于显示测试图等图像的显示数据。

畸变映射生成部304生成畸变映射，该畸变映射表示第1测试图(后述棋盘图像50等)的全部像素的坐标、和通过在拍摄视场中产生失真的照相机10拍摄的拍摄图像中的第1测试图(后述有失真的棋盘图像50d等)的全部像素的坐标的对应关系。另外，第1测试图例如如后述的棋盘图像50等那样是格子状的图像。畸变映射生成部304例如根据照相机10的拍摄图像中的产生失真的棋盘图像50(第1测试图)的各格子点的坐标，通过如3次样条插值的插值处理，计算拍摄图像中的产生失真的第1测试图的全部像素的坐标。

逆投影图像生成部306根据通过由畸变映射生成部304生成的畸变映射表示的对应关系，生成畸变测试图(后述有失真的测定用测试图62d等)，该畸变测试图是用于在拍摄图像中的第1测试图内(图像范围内)的特定区域中测定分辨率的第2测试图(后述测定用测试图的无失真的图像62等)的产生畸变的图像。关于生成的畸变测试图，将该图像数据输出给显示器20，用显示器20显示输出。或者，也可以将生成的畸变测试图的图像数据输出给打印机(未图示)并在纸上印刷输出。

分辨率测定部308使用在逆投影图像生成部306中生成的畸变测试图，在与上述特定区域对应的照相机10的拍摄视场的一部分中，执行通过对比度法的分辨率的测定。另外，在执行分辨率测定时，通过逆投影图像生成部306生成的畸变测试图被输出给显示器20。此外，在本实施方式中，关于通过逆投影图像生成部306生成的畸变测试图，在通过照相机10拍摄时作为失真被校正的(无失真的)图像进行拍摄，所以能够与以往的对比度法同样地执行通过对比度法的分辨率的测定。

另外，在逆投影图像生成部306中，也可以生成与多个空间频率对应的多个第2测试图的畸变的图像即多个畸变测试图，在分辨率测定部308中，使用该多个畸变测试图来执行分辨率的测定。

(畸变映射的生成方法)

以下，详述畸变映射生成部304中的畸变映射的生成方法的具体例。在本实施方式中，为了生成畸变映射，在照相机10的视场角内的任意的位置(包括想要测定分辨率的部分的区域)，拍摄显示于显示器20的棋盘的图像。然后，通过插值处理，根据得到的该棋盘的拍摄图像的坐标点，求出棋盘图像的全部像素的失真。此外，作为插值处理，例如，可以举出3次样条插值处理等，但不限定于此。也可以使用其他插值方法。表示该原来的棋盘图像的像素和被拍摄而产生畸变的棋盘图像的像素的对应关系的数据被保存为畸变映射。而且，根据该畸变映射生成测定用测试图，以使得即便是在拍摄视场中产生失真的照相机10也能够通过对比度法测定分辨率。

图3是示出照相机10的拍摄视场的一个例子的图。如图3所示，首先，在显示器20上作为测试图显示棋盘图像50。以使该棋盘图像50包括照相机10的视场角内的想要测定分辨率的区域地映现的方式，调整显示器20和照相机10的相对位置。另外，计算机装置30的数据输入输出部302从照相机10取得如图3的照相机10的拍摄图像的数据。

接下来，参照图4，图4是示出棋盘图像50的像素和从照相机10取得的拍摄图像中的产生畸变的棋盘图像50d的像素的对应关系的一个例子的图。在图4的例子中，设为棋盘图像50是2560像素×1664像素的大小。

图5是示出畸变映射的数据构造的一个例子的图。如图5所示，在本实施方式中，畸变映射数据可实现为使测试图50的全部像素的坐标(x，y)和照相机10的拍摄图像中的产生畸变的测试图50d的全部像素的坐标(x，y)对应的二维排列。在本例子中，测试图(棋盘图像)50是2560像素×1664像素，所以畸变映射数据可表示为尺寸2560(像素)×1664(像素)×2(x坐标、y坐标)的二维排列(但是本例子为一个例子，并不限定于此)。更具体而言，在本例子中，测定棋盘的格子点的各坐标。而且，可针对每个xy坐标以矩阵状地保存测定的各坐标。这些处理能够使用既存的软件来进行。例如，可以使用作为MathWorks(注册商标)公司的产品的“MATLAB”(注册商标)的DetectCheckerboardPoints函数来求出照相机10的拍摄图像中的棋盘50d的各格子点的坐标。

而且，可以通过插值处理，根据求出的棋盘图像50d的各格子点的坐标，求出棋盘图像50d的全部像素的坐标。该处理例如可以通过如下方式实现：利用作为MathWorks公司的产品的“MATLAB”的griddedInterpolant函数，相对棋盘图像50的全部像素的棋盘图像50dx坐标和y坐标分别被进行二维插值，被保存为畸变映射。

(逆投影图像的生成方法)

在畸变映射生成部304中生成畸变映射后，接下来，在逆投影图像生成部306中生成在测定分辨率时使用的测定用测试图的逆投影图像。图6是示出照相机的拍摄图像中的与棋盘图像区域对应的白色的测试图图像50w、和之后描绘的测定用测试图的无失真的图像62的一个例子的图。更具体而言，在表示有失真的棋盘图像50d的图像范围的白色的测试图图像50w中，例如计算机装置30的用户使用鼠标等输入装置来指定(描绘)表示想要测定分辨率的部位的矩形61。而且，在指定了该矩形61的部位，描绘测定用测试图的无失真的图像62。

接下来，根据畸变映射，将测定用测试图的无失真的图像62进行逆投影，生成有失真的测定用测试图图像。更具体而言，根据测定用测试图的无失真的图像62的全部像素的坐标对应于图5所示的畸变映射的棋盘图像50中的哪一个坐标(x，y)，将无失真的图像62的各像素的坐标(x，y)进行逆变换，由此可以生成有失真的测定用测试图图像。图7是示出将测定用测试图的无失真的图像62逆投影而生成的有失真的测定用测试图62d的一个例子的图。

另外，在分辨率测定中，将亮度的变化变换为频率特性，因此需要确保亮度数据的线性度。然而，一般而言，数字照相机的亮度特性由于各种理由并非线性，所以需要使用亮度已知的测试图(在此称为“阶梯图”)来校正亮度数据的线性度。因此，与测定用测试图同样地，如图8所示，关于阶梯图也将其无失真的图像63逆投影来生成有失真的阶梯图63d。

另外，图9是示出将如以上所述生成的有失真的测定用测试图图像62d显示于显示器20且用照相机10拍摄该测定用测试图图像62d时的拍摄视场10a的一个例子的图。可知在拍摄视场10a中，测定用测试图图像62a与图7的无失真的图像62同样地以无失真的状态映现。由此，在照相机10的拍摄视场中的映现了测定用测试图图像62a的部位，能够通过对比度法测定分辨率。该分辨率的测定能够通过以往的对比度法的方法进行。另外，在相同的白色的测试图图像50w中的其他部位也能够同样地测定分辨率。此外，关于在图8中说明的用于校正亮度数据的线性度的阶梯图，也与图9同样地，通过将有失真的阶梯图图像63d显示于显示器20且用照相机10拍摄该阶梯图图像63d，在照相机10的拍摄视场10a映现了无失真的阶梯图。而且，在执行分辨率的测定时，根据依据阶梯图图像63、63d生成的亮度线性化LUT(Look-Up Table)校正亮度数据。

另外，在照相机10的拍摄视场中在棋盘图像50的范围外测定分辨率的情况下，使显示器20(测试图)和照相机10的相对位置产生变化，使棋盘图像包含测定分辨率的部位，并且使该棋盘图像50的整体容纳于照相机10的拍摄视场，重复进行上述的从畸变映射的生成至测定用测试图的逆投影图像的生成为止的处理，由此能够在照相机的拍摄视场中的多个部位测定分辨率。

此外，在本实施方式中，设为在显示器20上显示各种测试图，但不限定于此。例如，测试图也可以是在纸上印刷的图。例如，在室外等显示器的亮度不足的环境下，在纸上印刷测试图等方法是有效的。不论在哪一个方法中，以使(在显示器20上显示或者在纸上印刷的)测试图包括照相机10的视场角内的想要测定分辨率的任意的部位的方式，配置该测试图即可。另外，根据棋盘图像50生成畸变映射，生成有失真的测试图62d来测定分辨率为止的期间，需要使照相机10和测试图的相对位置固定而不变化。

通过如以上所述生成畸变映射并根据该畸变映射生成有失真的测试图，能够在照相机10的视场角内的特定部位使用对比度法来测定分辨率。另外，在本实施方式所涉及的分辨率测定方法中，只是要求在生成畸变映射来测定分辨率为止的期间使照相机10和显示器20(测试图50、50d、62d、62a)的相对位置不变化，照相机10与显示器20(测试图50、50d、62d、62a)之间的检查距离、照相机10以及显示器20(测试图50、50d、62d、62a)的位置没有特别限定(可在每当测定分辨率时变更)。另外，根据棋盘图像50的像素的坐标、和照相机图像中的有失真的棋盘50d的像素的坐标的对应关系，生成有失真的测试图图像62d，执行通过对比度法的分辨率测定。因此，即便是畸变特性式未知的照相机，也能够测定分辨率。

但是，在以往的对比度法中，一般使用能够关于多个空间频率测定分辨率的测试图62那样的比较大的测试图案。因此，在以往的对比度法中，难以在照相机10的视场角内以较窄的范围测定分辨率。相对于此，在本实施方式中，如图10所示，制作出与多个空间频率对应的多个测定用测试图(条形图)62d。关于这些测定用测试图，也如上所述生成畸变映射，并根据该畸变映射生成有失真的测试图62d。而且，在显示器20的相同的部位(与照相机10的视场角内的想要执行分辨率测定的位置对应)以时间分割的方式显示这些有失真的多个测定用测试图62d，照相机10对其进行拍摄。由此，在拍摄图像中，测定用测试图62d被拍摄为无失真的测定用测试图，所以能够关于多个空间频率测定分辨率。通过采用这样的测定用测试图62d，可以消除在以往的对比度法中难以在较窄的范围中测定分辨率这样的问题。

(处理流程)

图11是示出本实施方式所涉及的分辨率测定系统1的计算机装置30中的处理的一个例子的流程图。

在步骤S100中，配置照相机10以及显示器20。直至本处理流程结束，固定照相机10和显示器20的相对位置。

在步骤S102中，数据输入输出部302关于显示于显示器20的棋盘图像50，取得用照相机10拍摄的产生畸变的棋盘图像50d的拍摄图像数据。

在步骤S104中，畸变映射生成部304通过棋盘图像50、和在步骤S102中取得的畸变的棋盘图像50d的拍摄图像数据，生成畸变映射。

在步骤S106中，逆投影图像生成部306在白色的测试图图像50w中在由用户通过鼠标等指定的特定部位(矩形61)生成测定用测试图的无失真的图像62。另外，此时，也可以生成如图10所示的多个测定用测试图图像的无失真的图像。另外，同样地，在步骤S108中，逆投影图像生成部306生成用于校正亮度数据的线性度的阶梯图的无失真的图像63。此外，步骤S106和S108的处理的顺序也可以反过来，还可以并行地处理。

在步骤S110中，逆投影图像生成部306根据畸变映射，将测定用测试图的无失真的图像62逆投影，生成有失真的测定用测试图图像62d。另外，此时，也可以生成如图10所示的多个测定用测试图图像62d。另外，生成的有失真的测定用测试图图像62d的图像数据被输出给显示器20。显示器20取得该图像数据并进行显示输出。(或者也可以在纸上印刷有失真的测定用测试图图像62d)。同样地，逆投影图像生成部306关于阶梯图的无失真的图像63也执行逆投影，生成有失真的阶梯图63d。生成的有失真的阶梯图图像63d的图像数据被输出给显示器20。

在步骤S112中，通过用照相机10拍摄(在显示器20上显示或者在纸上印刷的)有失真的测定用测试图图像62d，执行使用了无失真的测定用测试图图像62a的通过对比度法的分辨率测定。另外，在执行分辨率测定时，根据依据阶梯图图像63、63d生成的亮度线性化LUT校正亮度数据。另外，此时，也可以通过在显示器20上以时间分割的方式显示输出多个测定用测试图图像62d，关于多个空间频率执行分辨率测定。

此外，在照相机10拍摄的有失真的棋盘图像50d的图像范围的其他部位中测定分辨率的情况下，重复进行步骤S106～S110的处理。

进而，在进行照相机10的拍摄视场中的棋盘图像50d的图像范围以外的部位的分辨率测定的情况下，以使测定分辨率的部位包含于棋盘图像50d的方式，执行步骤S100的处理。而且，关于进行该分辨率测定的部位，执行步骤S102以后的处理。

此外，基于本处理流程的分辨率测定方法还能够实现为用于使计算机装置执行的计算机程序。另外，还能够将这样的计算机程序记录到计算机装置可读出的记录介质。

(硬件结构)

上述说明的计算机装置30的结构能够通过与一般的计算机装置同样的硬件结构实现。图12是示出计算机装置30的硬件结构的一个例子的图。在图12所示的计算机装置40中，作为一个例子，具备处理器41、RAM(Random Access Memory，随机存取存储器)42、ROM(Read Only Memory，只读存储器)43、内置的硬盘装置44、外装硬盘装置、CD、DVD、USB存储器、存储棒、SD卡等可移动存储器45、用于用户与计算机装置40交换数据的输入输出用户接口46(键盘、鼠标、触摸面板、扬声器、麦克风、灯等)、可与照相机10、显示器20、或者其他装置通信的有线/无线的通信接口47、以及显示器48(可以与显示器20兼用)。关于本实施方式所涉及的计算机装置30的功能，例如可以通过处理器41将预先储存于硬盘装置44、ROM43、可移动存储器45等的程序读出到RAM42等存储器，并从硬盘装置44、ROM43、可移动存储器45等适宜地读出处理所需的上述数据的同时执行程序来实现。此外，图12所示的硬件结构仅为一个例子，不限定于此。

到此为止，说明了本发明的一个实施方式，但本发明不限于上述实施方式，当然可以在其技术思想的范围内以各种不同的方式实施。

另外，本发明的范围不限定于图示并记载的例示性的实施方式，还包括带来与本发明作为目的的效果均等的效果的所有实施方式。进而，本发明的范围不限定于通过各权利要求描述的发明的特征的组合，可以通过所有公开的各个特征中的特定的特征的所有期望的组合描述。

Claims

1.一种通过计算机装置执行的照相机的分辨率测定方法，包括：

生成畸变映射的步骤，该畸变映射表示第1测试图的全部像素的坐标、和通过在拍摄视场中产生失真的照相机拍摄的拍摄图像中的所述第1测试图的全部像素的坐标的对应关系；

根据通过所述畸变映射表示的所述对应关系，生成畸变测试图的步骤，该畸变测试图是用于在所述拍摄图像中的所述第1测试图内的特定区域中测定分辨率的第2测试图的产生畸变的图像；以及

使用所述畸变测试图，在与所述特定区域对应的所述照相机的拍摄视场的一部分中，执行基于对比度法的分辨率测定的步骤。

2.根据权利要求1所述的分辨率测定方法，其中，

所述第1测试图是格子状的图像，

在生成所述畸变映射的步骤中，根据所述拍摄图像中的所述第1测试图的各格子点的坐标，通过插值处理计算所述拍摄图像中的所述第1测试图的全部像素的坐标。

3.根据权利要求1所述的分辨率测定方法，其中，

在执行所述分辨率测定的步骤中，将所述畸变测试图输出给外部的显示器装置。

4.根据权利要求1所述的分辨率测定方法，其中，

在生成所述畸变测试图的步骤中，生成与多个空间频率对应的多个所述第2测试图的产生畸变的图像即多个所述畸变测试图，

在执行所述分辨率测定的步骤中，使用所述多个畸变测试图来执行所述分辨率测定。

5.一种计算机装置，执行权利要求1至4中的任意一项所述的分辨率测定方法。

6.一种分辨率测定系统，包括：计算机装置，执行权利要求1至4中的任意一项所述的分辨率测定方法；照相机，在拍摄视场中产生失真；以及显示器装置，其中，

所述显示器装置显示所述计算机装置生成的所述畸变测试图，

所述计算机装置执行：通过由所述照相机拍摄由所述显示器装置显示的所述畸变测试图，执行所述分辨率测定的步骤。

7.一种储存有计算机可执行命令的计算机可读介质，其中，

在所述计算机可执行命令被执行时，使计算机装置执行权利要求1至4中的任意一项所述的分辨率测定方法。