CN111971948B - 多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法 - Google Patents

Abstract

课题是提供能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且能够使系统整体容易地最佳化的多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法。解决方案是一种由在多眼拍摄中使用的多眼拍摄用相机头2、以及连接有多个多眼拍摄用相机头2的图像处理装置3构成的多眼相机系统1，多眼拍摄用相机头2具有部分图像取得部24、参数存储部23、以及图像校正部26，图像处理装置3具有输入处理部31、调整尺寸处理部32、以及整体图像用存储器33。

Description

多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄 用程序和多眼拍摄方法

技术领域

本发明涉及在多眼（multi-eye）拍摄中使用的多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法。

背景技术

近年，具有4K分辨率等的高分辨率相机被实用化，期待向需要广角且高分辨率的图像的监视相机或工业用相机的应用。然而，由于高价的部件、装置的大型化、处理速度较慢等理由，还未广泛普及。于是，以往，提出了使用多个单眼相机头来对广范围的拍摄区域同时拍摄并通过图像处理进行接合由此生成一个整体图像的多眼相机系统。

作为如上所述的多眼相机系统，例如，在国际公开第2014/192487号中，公开了使用从多个拍摄元件得到的图像来得到期望的图像输出的多眼拍摄系统（专利文献1）。

但是，在如上所述的多眼相机系统中，在多个相机头在平面上或圆柱曲面上排列的情况下，只要使用通常的透镜，由各相机头所拍摄的图像就会具有不同的视角（透视）。因此，存在如下那样的问题，即：即使将各图像直接接合，由于各图像的两端部中的失真，接合处也不会变为连续。

于是，以往，进行将由各相机头所拍摄的各图像投影到假想球体并使各图像的中心点与假想球体的中心一致由此校正直线性的失真的处理。此外，与该处理同时，还进行校正在各相机头设置的透镜所固有的失真的处理。通过这些校正处理来校正各图像的失真，因此，接合处变为连续，得到了没有不协调感的整体图像。

现有技术文献

专利文献

专利文献1：国际公开第2014/192487号。

发明内容

发明要解决的课题

然而，在以往的多眼相机系统中，上述的各种校正处理在连接到多个相机头的图像处理装置侧进行。因此，存在如下那样的问题，即：所使用的相机头的个数越多，则施加到图像处理装置的处理负载增大，处理速度延迟。

此外，在以往的图像处理装置中，从全部的相机头输出的各图像暂且以其原样的分辨率写入到帧存储器。因此，存在如下那样的问题，即：所使用的相机头的个数或相机的分辨率越大，则帧存储器所需的存储器容量增大，因此，图像处理装置大型化，招致功耗或部件成本的增大。

进而，由于上述的存储器容量的关系，在多眼相机系统的设计时，必须设想能处理的最大相机头数量。因此，在以往的多眼相机系统中，还存在配合该相机头数量的多眼相机系统的最佳化很困难这样的问题。

本发明是为了解决这样的问题点而完成的，其目的在于，提供能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且能够使系统整体容易地最佳化的多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法。

用于解决课题的方案

为了解决能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且使系统整体容易地最佳化这样的课题，本发明的多眼相机系统是一种由在多眼拍摄中使用的多眼拍摄用相机头、以及连接有多个所述多眼拍摄用相机头的图像处理装置构成的多眼相机系统，其中，所述多眼拍摄用相机头具有：部分图像取得部，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；参数存储部，存储根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数；以及图像校正部，使用所述校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出，所述图像处理装置具有：输入处理部，从所连接的全部的所述多眼拍摄用相机头取得由所述图像校正部校正后的所述整体图像用数据；调整尺寸（resize）处理部，配合整体图像显示装置的分辨率对由所述输入处理部取得的全部的所述整体图像用数据进行调整尺寸；以及整体图像用存储器，合成由所述调整尺寸处理部调整尺寸的全部的所述整体图像用数据来作为所述整体图像输出到整体图像显示装置。

此外，为了解决在不使放大图像的画质降低的情况下减少放大图像用存储器所需的容量这样的课题，作为本发明的多眼相机系统的一个方式，所述多眼拍摄用相机头还可以具有：相机控制部，根据对所述整体图像中的一部分进行放大显示的意思的指令，从所述图像处理装置取得确定所述整体图像中的放大区域的放大信息；以及放大区域提取部，基于所述放大信息来提取所述整体图像用数据之中的所述放大区域中包括的图像区域并作为构成放大图像的一部分或全部的放大图像用数据进行输出，所述图像处理装置还可以具有：放大图像用存储器，从一个或多个所述多眼拍摄用相机头取得所述放大图像用数据；以及放大图像合成部，合成由所述放大图像用存储器取得的所述放大图像用数据来作为所述放大图像输出到放大图像显示装置。

为了解决能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且使系统整体容易地最佳化这样的课题，本发明的多眼拍摄用相机头是一种在多眼拍摄中使用的多眼拍摄用相机头，其中，具有：部分图像取得部，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；参数存储部，存储根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数；以及图像校正部，使用所述校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出。

此外，为了解决在不使放大图像的画质降低的情况下减少放大图像用存储器的容量这样的课题，作为本发明的多眼拍摄用相机头的一个方式，可以具有：相机控制部，从合成多个所述整体图像用数据来输出整体图像的图像处理装置取得确定所述整体图像中的放大区域的放大信息；以及放大区域提取部，基于所述放大信息来提取所述整体图像用数据之中的所述放大区域中包括的图像区域并作为构成放大图像的一部分或全部的放大图像用数据进行输出。

为了解决能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且使系统整体容易地最佳化这样的课题，本发明的图像处理装置是一种连接有多个上述的多眼拍摄用相机头的图像处理装置，其中，具有：输入处理部，从所连接的全部的所述多眼拍摄用相机头取得由所述图像校正部校正后的所述整体图像用数据；调整尺寸处理部，配合整体图像显示装置的分辨率对由所述输入处理部取得的全部的所述整体图像用数据进行调整尺寸；以及整体图像用存储器，合成由所述调整尺寸处理部调整尺寸的全部的所述整体图像用数据来作为所述整体图像输出到整体图像显示装置。

此外，为了解决在不使放大图像的画质降低的情况下减少放大图像用存储器的容量这样的课题，作为本发明的图像处理装置的一个方式，是连接有多个上述的多眼拍摄用相机头的上述的图像处理装置，可以具有：放大图像用存储器，从一个或多个所述多眼拍摄用相机头取得所述放大图像用数据；以及放大图像合成部，合成由所述放大图像用存储器取得的所述放大图像用数据来作为所述放大图像输出到放大图像显示装置。

进而，为了解决自动地检测异变区域并自动地记录其放大图像这样的课题，作为本发明的图像处理装置的一个方式，可以具有：异变区域检测部，基于从所述整体图像用存储器取得的所述整体图像的运动矢量信号来检测所述整体图像中的异变区域，向所述放大区域提取部输出用于作为对所述异变区域进行放大的异变图像而输出的放大信息；以及异变图像记录部，在所述放大区域提取部基于所述放大信息将所述整体图像用数据之中的所述异变区域中包括的图像区域作为构成异变图像的一部分或全部的异变图像用数据进行输出并且所述放大图像合成部合成所述异变图像用数据来作为所述异变图像进行输出时，取得并记录所述异变图像。

为了解决能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且使系统整体容易地最佳化这样的课题，本发明的多眼拍摄用程序是一种在多眼拍摄中使用的多眼拍摄用程序，其中，使多眼拍摄用相机头用作：部分图像取得部，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；参数存储部，存储根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数；以及图像校正部，使用所述校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出。

为了解决能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化并且使系统整体容易地最佳化这样的课题，本发明的多眼拍摄方法是一种使用在多眼拍摄中使用的多眼拍摄用相机头的多眼拍摄方法，其中，具有：部分图像取得步骤，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；以及图像校正步骤，使用根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出。

发明效果

根据本发明，能够减轻图像处理装置的处理负载来小型化、省电力化和低成本化，并且能够使系统整体容易地最佳化。

附图说明

图1是示出包括本发明的多眼拍摄用相机头和图像处理装置的多眼相机系统的一个实施方式的整体框图。

图2是示出本实施方式中的、多眼拍摄用相机头的排列图案的一例的图。

图3是示出本实施方式中的、（a）整体图像和（b）放大图像的一例的图。

图4是示出在本实施方式中（a）放大率为4倍的情况和（b）放大率为16倍的情况的放大区域的图。

图5是示出在本实施方式中在放大区域中包括的图像区域（a）处于1个量多眼拍摄用相机头的图像区域内的情况、（b）遍及邻接的2个量多眼拍摄用相机头的图像区域的情况、（c）遍及彼此邻接的4个量多眼拍摄用相机头的图像区域的情况的图。

图6是示出由本实施方式的多眼相机系统、多眼拍摄用相机头、图像处理装置和多眼拍摄用程序执行的、多眼拍摄方法的主要处理的流程图。

具体实施方式

以下，使用附图来说明本发明的多眼相机系统、多眼拍摄用相机头、图像处理装置、多眼拍摄用程序和多眼拍摄方法的一个实施方式。

如图1所示，本实施方式的多眼相机系统1主要由对多眼拍摄范围中的规定的一部分进行拍摄的多个多眼拍摄用相机头2、连接有这多个多眼拍摄用相机头2的图像处理装置3、以及分别显示从该图像处理装置3输出的整体图像和放大图像的整体图像显示装置4和放大图像显示装置5构成。以下，对各结构进行说明。

多眼拍摄用相机头2对多眼拍摄范围中的规定的一部分进行拍摄，通过将多个多眼拍摄用相机头2排列在规定的位置来覆盖多眼拍摄范围的整体。例如，如图2所示，在多眼拍摄用相机头2在纵方向和横方向中的每一者上各4个量地排列的情况下，通过合成由这16个多眼拍摄用相机头2中的每一个所拍摄的部分图像，从而得到如图3（a）所示覆盖多眼拍摄范围的整体的整体图像。再有，各部分图像内的号码示出了通过与图2所示的排列号码对应的各多眼拍摄用相机头2拍摄。

像这样，在多眼相机系统1中，由多个多眼拍摄用相机头2分担地拍摄多眼拍摄范围。因此，如图3（b）所示，在显示对整体图像的一部分进行放大的放大图像时，其最大分辨率能够提高至由各多眼拍摄用相机头2拍摄的部分图像的最大像素数。再有，关于多眼拍摄用相机头2的排列图案，不限定于上述结构，能适当变更。此外，在本发明中，图像是包括静止图像和活动图像双方的概念。

在本实施方式中，各多眼拍摄用相机头2由小型的数字相机等构成，如图1所示，具有：存储多眼拍摄用程序2a的程序存储部21、在图像处理中使用的图像存储器22、存储各种参数的参数存储部23、取得部分图像的部分图像取得部24、对部分图像进行画质处理的画质处理部25、校正部分图像的失真的图像校正部26、控制多眼拍摄用相机头2的相机控制部27、以及提取放大区域的放大区域提取部28。

再有，除了未图示的透镜或拍摄元件之外，各多眼拍摄用相机头2还具有CPU（Central Processing Unit，中央处理单元）等运算处理单元、或ROM（Read Only Memory，只读存储器）、RAM（Random Access Memory，随机存取存储器）、闪速存储器等存储单元。然后，由运算处理单元执行的多眼拍摄用程序2a使存储单元用作程序存储部21、图像存储器22和参数存储部23，并且使运算处理单元用作上述的部分图像取得部24、画质处理部25、图像校正部26、相机控制部27和放大区域提取部28。以下，对各结构部进行说明。

在程序存储部21中安装有本实施方式的多眼拍摄用程序2a。图像存储器22是为了进行图像处理而存储图像的存储器。在本实施方式中，图像存储器22作为由画质处理部25执行画质处理时和由图像校正部26执行校正处理时的工作区域来使用。像这样，通过在画质处理和校正处理双方中共用，存储器被有效利用。

参数存储部23存储用于校正由各多眼拍摄用相机头2拍摄的部分图像的失真的校正参数。在本实施方式中，作为校正参数，根据多眼拍摄用相机头2的安装位置来确定，预先存储用于校正上述的直线性的失真的参数、或用于校正上述的透镜所固有的失真的参数。

部分图像取得部24取得从拍摄元件对多眼拍摄范围中的规定的一部分进行拍摄的部分图像。在本实施方式中，部分图像取得部24将从拍摄元件输出的影像信号（原始数据）变换为期望的图像格式并作为部分图像进行输出。此外，画质处理部25使图像存储器22存储由部分图像取得部24取得的部分图像，进行使画质最佳化的画质处理。

图像校正部26校正由画质处理部25进行画质处理的部分图像的失真。在本实施方式中，图像校正部26从参数存储部23读出校正参数，校正在图像存储器22中部分图像中的直线性失真、或透镜固有的失真。然后，图像校正部26将校正后的部分图像作为构成整体图像的一部分的整体图像用数据向图像处理装置3的输入处理部31输出。

相机控制部27进行多眼拍摄用相机头2的工作控制。在本实施方式中，如图1所示，相机控制部27当从图像处理装置3的输入处理部31取得控制信号时，基于该控制信号来控制多眼拍摄用相机头2的工作。此外，相机控制部27根据对整体图像中的一部分进行放大显示的意思的指令，当从图像处理装置3的输入处理部31取得放大信息时，基于该放大信息来确定放大区域，判定在整体图像用数据中是否存在该放大区域中包括的图像区域。然后，在该判定的结果是存在上述图像区域的情况下，相机控制部27控制放大区域提取部28，将该图像区域提取为放大区域。

再有，在本实施方式中，放大信息是用于确定整体图像中的放大区域的信息，由指定放大的位置的放大位置、以及指定以什么程度放大的放大率构成。然而，关于放大信息，不限定于这些，只要是能确定放大区域的信息即可。

放大区域提取部28从整体图像用数据提取放大区域。在本实施方式中，放大区域提取部28在由相机控制部27的控制下，基于放大信息来判定是否存在图像存储器22内的整体图像用数据（校正后的部分图像）中的、放大区域中包括的图像区域。然后，在存在该图像区域的情况下，放大区域提取部28提取该图像区域，作为构成放大图像的一部分或全部的放大图像用数据，向图像处理装置3的放大图像用存储器输出。

再有，在本实施方式中，各多眼拍摄用相机头2侧的图像校正部26和相机控制部27与图像处理装置3侧的输入处理部31经由可传送图像信号和控制信号的宽带传送路而连接。此外，各多眼拍摄用相机头2侧的放大区域提取部28与图像处理装置3侧的放大图像用存储器34经由数据总线而连接。然而，不限定于该结构，只要能传送各信号即可。

在此，对通过放大率确定的放大区域的具体例进行说明。在本实施方式中，如图2所示，排列有4×4个多眼拍摄用相机头2。因此，在将放大率设定为4倍的情况下，如图4（a）所示，确定与一个量多眼拍摄用相机头2的图像区域相同尺寸的放大区域。此外，在将放大率设定为16倍的情况下，如图4（b）所示，确定使一个量多眼拍摄用相机头2的图像区域在横竖上分别减半而尺寸为其四分之一的放大区域。像这样，放大区域的尺寸通过多眼拍摄用相机头2的排列图案和所设定的放大率来确定。

再有，优选的是，放大率的最小值设定为使得确定的放大区域和一个量多眼拍摄用相机头2的图像区域一致。由此，数据总线的传送量最大为一个量多眼拍摄用相机头2的像素数，因此，能够通过与传送整体图像用数据的宽带传送路相同频带的数据总线进行连接。

接着，对通过放大位置指定的放大区域的具体例进行说明。首先，如图5（a）所示，在放大区域中包括的图像区域处于1个多眼拍摄用相机头2的图像区域内的情况下，该1个多眼拍摄用相机头2输出放大区域中包括的图像区域。此外，如图5（b）所示，在放大区域中包括的图像区域跨上下或左右邻接的2个多眼拍摄用相机头2的图像区域的情况下，该2个多眼拍摄用相机头2中的每一个输出放大区域中包括的图像区域。进而，如图5（c）所示，在放大区域中包括的图像区域跨上下左右邻接的4个多眼拍摄用相机头2的图像区域的情况下，该4个多眼拍摄用相机头2中的每一个输出放大区域中包括的图像区域。如以上那样，即使在放大率相同的情况下，根据放大位置，输出放大图像用数据的多眼拍摄用相机头2的个数也发生变化。

图像处理装置3处理从多眼拍摄用相机头2取得的整体图像用数据或放大图像用数据。在本实施方式中，如图1所示，图像处理装置3主要具有从各多眼拍摄用相机头2取得整体图像用数据的输入处理部31、对各整体图像用数据调整尺寸的调整尺寸处理部32、输出整体图像的整体图像用存储器33、从各多眼拍摄用相机头2取得放大图像用数据的放大图像用存储器34、输出放大图像的放大图像合成部35、控制整体图像和放大图像的输出的图像控制部36、控制多眼拍摄用相机头2的控制部37、检测异变区域的异变区域检测部38、以及记录异变图像的异变图像记录部39。

再有，图像处理装置3由具备CPU（Central Processing Unit）等运算处理单元、或ROM（Read Only Memory）、RAM（Random Access Memory）、闪速存储器等存储单元的微计算机构成。然后，由运算处理单元执行的图像处理装置3用程序使存储单元用作整体图像用存储器33和放大图像用存储器34，并且使运算处理单元用作上述的输入处理部31、调整尺寸处理部32、放大图像合成部35、图像控制部36、控制部37、异变区域检测部38和异变图像记录部39。以下，对各结构部进行说明。

输入处理部31从多眼拍摄用相机头2取得整体图像用数据。在本实施方式中，如图1所示，输入处理部31从连接到图像处理装置3的全部的多眼拍摄用相机头2取得由图像校正部26校正后的整体图像用数据。即，整体图像用数据是已经校正了在联合为整体图像时成为问题的直线性失真或透镜固有的失真的状态的数据。

因此，输入处理部31只要如用于向整体图像用存储器33写入各整体图像用数据的地址设定等那样执行单纯的处理即可，与在图像处理装置3侧进行校正处理的以往装置相比，电路大幅地简略化。此外，在本实施方式中，如图1所示，输入处理部31向各多眼拍摄用相机头2的相机控制部27发送经由放大图像合成部35取得的放大信息或控制信号。

调整尺寸处理部32对整体图像用数据调整尺寸。在本实施方式中，调整尺寸处理部32配合整体图像显示装置4的分辨率对由输入处理部31取得的全部的整体图像用数据调整尺寸。然后，被像素调整为最佳分辨率的整体图像用数据中的每一个依照由输入处理部31指定的地址而写入到整体图像用存储器33，映射为整体图像。

整体图像用存储器33合成整体图像用数据并输出整体图像。在本实施方式中，整体图像用存储器33在由图像控制部36的控制下，合成由调整尺寸处理部32调整尺寸的全部的整体图像用数据来作为整体图像输出到整体图像显示装置4。此外，在本实施方式中，在整体图像用存储器33中，由图像控制部36指定与整体图像显示装置4吻合的图像格式，并以该图像格式输出整体图像。

进而，在本实施方式中，整体图像用存储器33由多个帧存储器构成，在各帧存储器中沿着时间序列依次储存合成后的整体图像。然后，如图1所示，整体图像用存储器33基于时间前后的整体图像的差分来向异变区域检测部38输出运动矢量信号。

放大图像用存储器34从各多眼拍摄用相机头2取得放大图像用数据。在本实施方式中，放大图像用存储器34从全部的多眼拍摄用相机头2之中的、具有放大区域中包括的图像区域的一个或多个多眼拍摄用相机头2的放大区域提取部28取得放大图像用数据，写入到规定的存储器区域。

此外，在本实施方式中，放大图像用数据是对整体图像用数据的一部分进行提取的数据，因此，与整体图像用数据同样，是校正了直线性失真或透镜固有的失真后的状态。因此，即使在多个放大图像用数据写入到放大图像用存储器34的情况下，也被映射为接合处连续联合的1个放大图像。

再有，如上所述，在以往的图像处理装置中，根据所使用的相机头的个数或相机的分辨率而需要大容量的帧存储器。然而，在本实施方式中，由于仅将放大区域中包括的图像区域输出为放大图像用数据，所以放大图像用存储器34的容量只要具有能设定为放大区域的最大的图像区域量的像素数就足够了。因此，与以往的存储器容量相比，能够大幅变小。

放大图像合成部35合成放大图像用数据并输出放大图像。在本实施方式中，放大图像合成部35基于经由图像控制部36指定的放大率来仅读出并合成写入到放大图像用存储器34的图像区域并作为放大图像向放大图像显示装置5输出。此外，在本实施方式中，在放大图像用存储器34中，由图像控制部36指定与放大图像显示装置5吻合的图像格式，并以该图像格式输出放大图像。

图像控制部36控制整体图像和放大图像的输出。在本实施方式中，图像控制部36在整体图像用存储器33输出整体图像时，指定与整体图像显示装置4吻合的图像格式，并且在放大图像合成部35输出放大图像时，指定与放大图像显示装置5吻合的图像格式。

此外，在本实施方式中，如图1所示，图像控制部36发挥当从控制部37取得放大信息或控制信号时经由放大图像合成部35和输入处理部31向各多眼拍摄用相机头2的相机控制部27发送的作用。

控制部37控制连接到图像处理装置3的全部的多眼拍摄用相机头2。在本实施方式中，控制部37时常监视各多眼拍摄用相机头2的工作状态，如图1所示，向图像控制部36输出用于进行各多眼拍摄用相机头2的工作设定的控制信号、或从整体图像显示装置4取得的放大信息。

异变区域检测部38检测整体图像中的部分的异变区域。在本实施方式中，异变区域检测部38基于从整体图像用存储器33取得的整体图像的运动矢量信号来检测整体图像中的异变区域，输出确定该异变区域的放大信息。具体而言，在异变区域检测部38中，预先设定示出异变状态的阈值，在检测到超过该阈值的运动矢量信号时，自动地检测到发生了异变区域。

此外，在本实施方式中，在运动矢量信号中包括整体图像用存储器33中的写入地址位置。因此，异变区域检测部38从运动矢量信号中包括的写入地址位置确定异变区域的放大位置，并且从该异变区域的大小运算放大率，自动地生成由放大位置和放大率构成的放大信息，向控制部37发送。

进而，在本实施方式中，如图1所示，异变区域检测部38在检测到异变区域时，向整体图像显示装置4和异变图像记录部39中的每一个发送警告信号。由此，在整体图像显示装置4中显示发生了异变区域的意思，并且在异变图像记录部39中开始记录对异变区域进行放大的异变图像。

异变图像记录部39自动地记录异变图像。在本实施方式中，异变图像记录部39当从异变区域检测部38接收到警告信号时启动，并记录规定时间量的从放大图像合成部35输出的异变图像。此时，在各多眼拍摄用相机头2中，如图1所示，放大区域提取部28基于从异变区域检测部38发送的放大信息，将整体图像用数据之中的异变区域中包括的图像区域作为构成异变图像的一部分或全部的异变图像用数据进行输出。然后，放大图像合成部35合成从放大区域提取部28输出的异变图像用数据，作为异变图像向异变图像记录部39输出。

整体图像显示装置4显示对多眼拍摄范围的整体进行拍摄的整体图像。在本实施方式中，整体图像显示装置4由兼具输入功能和显示功能的触摸面板等构成，显示从整体图像用存储器33输出的整体图像或从异变区域检测部38输出的警告信号。此外，整体图像显示装置4向控制部37输入由用户输入的放大位置和放大率所构成的放大信息。

放大图像显示装置5显示对整体图像的一部分进行放大的放大图像。在本实施方式中，放大图像显示装置5由液晶显示器等构成，显示从放大图像合成部35输出的放大图像、或从异变图像记录部39输出的异变图像。再有，在本实施方式中，虽然分别构成整体图像显示装置4和放大图像显示装置5，但是不限定于该结构，可以使用画中画功能、双画面显示功能或画面切换功能等来在一个显示装置中显示整体图像和放大图像。

接着，一边参照图6一边说明本实施方式的多眼相机系统1、多眼拍摄用相机头2、图像处理装置3、多眼拍摄用程序2a和多眼拍摄方法的作用。

首先，在使用本实施方式的多眼相机系统1来进行多眼拍摄的情况下，在各多眼拍摄用相机头2的参数存储部23中预先存储根据安装位置而确定的校正参数。

接着，当部分图像取得部24从拍摄元件取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像时（步骤S1：部分图像取得步骤），图像校正部26校正部分图像的失真并作为整体图像用数据向图像处理装置3输出（步骤S2：图像校正步骤）。此时，从各多眼拍摄用相机头2输出校正了直线性失真或透镜固有的失真的状态的整体图像用数据。因此，不需要在图像处理装置3侧校正，减轻了图像处理装置3的处理负载。

另一方面，在图像处理装置3中，当输入处理部31从各多眼拍摄用相机头2取得整体图像用数据时（步骤S3：输入处理步骤），调整尺寸处理部32配合整体图像显示装置4的分辨率对各整体图像用数据进行调整尺寸（步骤S4：调整尺寸处理步骤），并写入到整体图像用存储器33。此时，各整体图像用数据已经被施行了校正处理，因此，只要依照指定地址写入到整体图像用存储器33，就映射了没有不协调感而连续接合的整体图像。

此外，在本实施方式中，不需要用于如以往的图像处理装置那样以高分辨率的原样写入来自全部相机头的图像的帧存储器，因此，使图像处理装置3小型化、省电力化和低成本化。进而，在系统设计时，也不需要在意多眼拍摄用相机头2的个数，因此，容易使多眼相机系统1整体最佳化。

接着，整体图像用存储器33合成全部的整体图像用数据来作为整体图像输出到整体图像显示装置4（步骤S5：整体图像输出步骤）。由此，在整体图像显示装置4中显示整体图像，因此，能够一边看着该整体图像一边容易地指定希望放大的部分的放大位置或放大率。

接下来，在本实施方式中，由于具有异变状态的自动检测功能，所以异变区域检测部38判定在整体图像中是否存在异变区域（步骤S6：异变区域检测步骤）。如果该判定的结果是未检测到异变区域（步骤S6：否），则等待来自用户的放大信息的输入（步骤S7），只要不存在该输入（步骤S7：否），就回到步骤S6。

另一方面，在步骤S6中异变区域检测部38检测到异变区域的情况下（步骤S6：是）或从用户输入了放大信息的情况下（步骤S7：是），从图像处理装置3向各多眼拍摄用相机头2发送确定异变区域的放大信息或用户所指定的放大信息（步骤S8：放大信息发送步骤）。以下，由于发送用户所指定的放大信息的情况下的处理和发送异变区域的放大信息的情况下的处理实质上是相同的处理，所以针对后者通过加上括号而省略说明。

在各多眼拍摄用相机头2中，当相机控制部27取得放大信息时（步骤S9：放大信息取得步骤），放大区域提取部28基于该放大信息来判定是否存在整体图像用数据中的放大区域［异变区域］中包括的图像区域（步骤S10：放大区域判定步骤）。如果该判定的结果是不存在放大区域［异变区域］中包括的图像区域（步骤S10：否），则放大区域提取部28不输出放大图像用数据［异变图像用数据］而结束本处理。

另一方面，在步骤S10中的判定的结果是存在放大区域［异变区域］中包括的图像区域的情况下（步骤S10：是），放大区域提取部28提取该图像区域来作为放大图像用数据［异变图像用数据］向图像处理装置3输出（步骤S11：放大图像用数据输出步骤）。由此，由于仅将放大区域［异变区域］中包括的图像区域作为放大图像用数据［异变图像用数据］进行输出，所以放大图像用存储器34的容量只要具有能设定为放大区域的最大的图像区域量的像素数即可。即，在不使放大图像的画质降低的情况下减少了放大图像用存储器34所需的容量。

在图像处理装置3中，当从一个或多个多眼拍摄用相机头2取得放大图像用数据［异变图像用数据］时（步骤S12：放大图像用数据取得步骤），这些直接被写入到放大图像用存储器34。此时，放大图像用数据［异变图像用数据］与整体图像用数据同样已经被施行了校正处理，因此，只要写入到放大图像用存储器34，就映射了没有不协调感而连续联合的放大图像［异变图像］。

接下来，放大图像合成部35合成各放大图像用数据［各异变图像用数据］并将放大图像［异变图像］输出到放大图像显示装置5（步骤13：放大图像输出步骤）。由此，用户能够一边看着在整体图像显示装置4中显示的整体图像，一边简单且迅速地使放大图像显示装置5显示期望的放大图像。因此，在使用本实施方式的多眼相机系统1来进行监视作业等的情况下，没有监视范围中的死角，减轻了监视者的作业负担。

此外，在本实施方式中，由于具有异变状态的自动检测功能，所以当发生异变状态时，自动地进行检测并将异变图像显示在放大图像显示装置5中，并且将该异变图像自动地记录在异变图像记录部39中（步骤S14：异变图像记录步骤）。因此，进一步减少施加于监视作业的负担，并且可靠地记录异变图像。

根据如以上那样的本发明的多眼相机系统1、多眼拍摄用相机头2、图像处理装置3、多眼拍摄用程序2a和多眼拍摄方法，起到以下那样的效果。

1.能够减轻图像处理装置3的处理负载来小型化、省电力化和低成本化，并且能够使系统整体容易地最佳化。

2.能够在不使放大图像的画质降低的情况下减少放大图像用存储器34的容量。

3.能够自动地检测异变区域并且自动地记录其放大图像。

4.由于能够使图像处理装置3小型化，所以能够作为包括全部多眼拍摄用相机头2的一个单元来构成。

5.通过一个单元化，能够在工厂完成全部的装配作业或电气调整，从而能够使现场中的、多眼拍摄用相机头2的设置作业或调整作业简略化。

6.在应用于监视作业的情况下，能够减轻监视作业的负担，提高监视精度。

再有，关于本发明的多眼相机系统1，不限定于前述的实施方式，能够适当变更。

例如，可以在图像处理装置3中设置用于发生同步信号的同步信号发生电路，通过从该同步信号发生电路输出的同步信号使全部多眼拍摄用相机头2同步。由此，全部多眼拍摄用相机头2在同步的状态下工作，因此，在写入到整体图像用存储器33的各整体图像用数据、写入到放大图像用存储器34的各放大图像用数据中不会发生时间上的偏移。

此外，可以在图像处理装置3中设置发生时间码的时间码发生电路，并向整体图像用存储器33和放大图像合成部35中的每一者供给时间码。由此，能够向整体图像和放大图像中的每一者插入时间信息。再有，如果将GPS接收机连接到上述的同步信号发生电路或时间码发生电路，则能够提高时间码的时间精度。

附图标记的说明

1多眼相机系统

2多眼拍摄用相机头

2a多眼拍摄用程序

3图像处理装置

4整体图像显示装置

5放大图像显示装置

21程序存储部

22图像存储器

23参数存储部

24部分图像取得部

25画质处理部

26图像校正部

27相机控制部

28放大区域提取部

31输入处理部

32调整尺寸处理部

33整体图像用存储器

34放大图像用存储器

35放大图像合成部

36图像控制部

37控制部

38异变区域检测部

39异变图像记录部。

Claims (7)

1.一种多眼相机系统，由在多眼拍摄中使用的多眼拍摄用相机头、以及连接有多个所述多眼拍摄用相机头的图像处理装置构成，其中，

所述多眼拍摄用相机头具有：

部分图像取得部，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；

参数存储部，存储根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数；

图像校正部，使用所述校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出；

相机控制部，根据对所述整体图像中的一部分进行放大显示的意思的指令，从所述图像处理装置取得确定所述整体图像中的放大区域的放大信息；以及

放大区域提取部，基于所述放大信息来提取所述整体图像用数据之中的所述放大区域中包括的图像区域并作为构成放大图像的一部分或全部的放大图像用数据进行输出，

所述图像处理装置具有：

输入处理部，从所连接的全部的所述多眼拍摄用相机头取得由所述图像校正部校正后的所述整体图像用数据；

调整尺寸处理部，配合整体图像显示装置的分辨率对由所述输入处理部取得的全部的所述整体图像用数据进行调整尺寸，像素调整为最佳分辨率；

整体图像用存储器，合成由所述调整尺寸处理部调整尺寸的全部的所述整体图像用数据来作为所述整体图像输出到整体图像显示装置；

放大图像用存储器，从一个或多个所述多眼拍摄用相机头取得所述放大图像用数据；以及

放大图像合成部，合成由所述放大图像用存储器取得的所述放大图像用数据来作为所述放大图像输出到放大图像显示装置。

2.一种多眼拍摄用相机头，在多眼拍摄中使用，其中，具有：

部分图像取得部，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；

参数存储部，存储根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数；

图像校正部，使用所述校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出；

相机控制部，从合成多个所述整体图像用数据来输出整体图像的图像处理装置取得确定所述整体图像中的放大区域的放大信息；以及

放大区域提取部，基于所述放大信息来提取所述整体图像用数据之中的所述放大区域中包括的图像区域并作为构成放大图像的一部分或全部的放大图像用数据进行输出。

3.一种图像处理装置，连接有多个根据权利要求2所述的多眼拍摄用相机头，其中，具有：

输入处理部，从所连接的全部的所述多眼拍摄用相机头取得由所述图像校正部校正后的所述整体图像用数据；

调整尺寸处理部，配合整体图像显示装置的分辨率对由所述输入处理部取得的全部的所述整体图像用数据进行调整尺寸，像素调整为最佳分辨率；以及

整体图像用存储器，合成由所述调整尺寸处理部调整尺寸的全部的所述整体图像用数据来作为所述整体图像输出到整体图像显示装置。

4.根据权利要求3所述的图像处理装置，连接有多个根据权利要求2所述的多眼拍摄用相机头，其中，具有：

放大图像用存储器，从一个或多个所述多眼拍摄用相机头取得所述放大图像用数据；以及

放大图像合成部，合成由所述放大图像用存储器取得的所述放大图像用数据来作为所述放大图像输出到放大图像显示装置。

5.根据权利要求4所述的图像处理装置，其中，具有：

异变区域检测部，基于从所述整体图像用存储器取得的所述整体图像的运动矢量信号来检测所述整体图像中的异变区域，向所述放大区域提取部输出用于作为对所述异变区域进行放大的异变图像而输出的放大信息；以及

异变图像记录部，在所述放大区域提取部基于所述放大信息将所述整体图像用数据之中的所述异变区域中包括的图像区域作为构成异变图像的一部分或全部的异变图像用数据进行输出并且所述放大图像合成部合成所述异变图像用数据来作为所述异变图像进行输出时，取得并记录所述异变图像。

6.一种存储有多眼拍摄用程序的计算机可读取的记录介质，所述多眼拍摄用程序在多眼拍摄中使用，其中，所述多眼拍摄用程序使多眼拍摄用相机头用作：

部分图像取得部，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；

参数存储部，存储根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数；

图像校正部，使用所述校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出；

相机控制部，根据对所述整体图像中的一部分进行放大显示的意思的指令，从图像处理装置取得确定所述整体图像中的放大区域的放大信息；以及

放大区域提取部，基于所述放大信息来提取所述整体图像用数据之中的所述放大区域中包括的图像区域并作为构成放大图像的一部分或全部的放大图像用数据进行输出。

7.一种多眼拍摄方法，使用在多眼拍摄中使用的多眼拍摄用相机头，其中，具有：

部分图像取得步骤，取得对多眼拍摄范围中的规定的一部分进行拍摄的部分图像；

图像校正步骤，使用根据所述多眼拍摄用相机头的安装位置而确定并且用于校正所述部分图像的失真的校正参数来校正所述部分图像的失真并作为构成整体图像的一部分的整体图像用数据进行输出；

相机控制步骤，从合成多个所述整体图像用数据来输出整体图像的图像处理装置取得确定所述整体图像中的放大区域的放大信息；以及

放大区域提取步骤，基于所述放大信息来提取所述整体图像用数据之中的所述放大区域中包括的图像区域并作为构成放大图像的一部分或全部的放大图像用数据进行输出。

Images