CN110249620A - 图像处理装置、图像处理方法及相机系统 - Google Patents

图像处理装置、图像处理方法及相机系统 Download PDF

Info

Publication number
CN110249620A
CN110249620A CN201780085394.7A CN201780085394A CN110249620A CN 110249620 A CN110249620 A CN 110249620A CN 201780085394 A CN201780085394 A CN 201780085394A CN 110249620 A CN110249620 A CN 110249620A
Authority
CN
China
Prior art keywords
camera system
multiple camera
image
recovery
transmission function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780085394.7A
Other languages
English (en)
Other versions
CN110249620B (zh
Inventor
成濑洋介
岸根庆延
林健吉
石井良明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110249620A publication Critical patent/CN110249620A/zh
Application granted granted Critical
Publication of CN110249620B publication Critical patent/CN110249620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明的目的在于提供一种即使是从多个摄像系统输出的图像，也能够获得具有相同的分辨率且画质良好的图像的图像处理装置、图像处理方法及相机系统。图像处理装置(63、35)具备：传递函数输入部(3)，输入多个摄像系统的各传递函数；计算部(5)，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄影图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成部(7)，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成部(9)，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄影图像进行恢复处理来生成恢复图像。

Description

图像处理装置、图像处理方法及相机系统
技术领域
本发明涉及一种进行基于点扩散函数的恢复处理的图像处理装置、图像处理方法及相机系统。
背景技术
经由光学系统摄影的被摄体像中，由于光学系统引起的衍射或像差等的影响，有时可观察到点被摄体具有微小扩散的点扩散现象。表示光学系统相对于点光源的响应的函数被称为点扩散函数(PSF:Point Spread Function)，作为影响摄像图像(摄影图像)的分辨率劣化(模糊)的特性而为人们所知。
由于点扩散现象而画质劣化的摄像图像能够通过接受基于PSF的恢复处理来恢复画质。该恢复处理是如下处理：预先求出透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的恢复滤波器的图像处理删除或减少摄像图像的点扩散。一直以来提出有利用该恢复处理的技术。
例如，专利文献1中，记载有如下摄像装置：使用复原滤波器(恢复滤波器)进行复原处理(恢复处理)，事先将使复原处理之后的图像的评价值(MTF(调制转换函数，modulation transfer function)、TV(电视机，television)分辨条数或评价区域中的对比度)成为规定的评价值以上的复原滤波器保存在存储器中。
以往技术文献
专利文献
专利文献1：日本特开2008-085697号公报
发明内容
发明要解决的技术课题
其中，通常在图像的恢复中应乘以传递函数的逆函数，但若直接乘以逆函数，则在劣化程度大的频率成分中，适用非常大的放大率，有可能放大摄像系统的噪声，反而导致画质劣化。为了避免此现象，在已知摄像系统的SN比(信号噪声比，signal-noise ratio)的情况下，经常使用根据最小平方的含义使图像恢复为最佳的维纳(Wiener)滤波器。
在FAMV(工厂自动化，factory automation machine vision)等领域中，要求具备具有完全相同的分辨性能的多个相机的系统。这是因为，对从多个相机输出的摄像图像适用图像识别算法时，若摄像图像之间的分辨率不同，则需要进行根据各摄像图像个别地微调识别算法的操作。即，优选即使是从多个相机输出的摄像图像，也能够通过相同的参数设定的识别算法进行处理。然而，实际上，即使是相同型号的透镜或相机，由于在制造时产生的个体偏差导致各个体的性能发生变化，因此很难在从多个相机输出的摄像图像中实现完全相同的分辨率。
为了解决该问题，考虑如下方法：实际测量每个透镜个体的光学传递函数，并利用该光学传递函数，个别地通过基于维纳滤波器的恢复处理实施分辨率校正。然而，仅通过个别地适用基于维纳滤波器的恢复处理，无法保证校正之后的图像的分辨率一定相同。这是因为，维纳滤波器为在最小平方的含义上使图像恢复为最佳的处理，因此产生如下情况，即，良好的透镜更加良好，差的透镜即使恢复也无法达到良好的透镜的水平(根据情况，为了消除噪声而恢复得更差)。
专利文献1中，并未提及在从多个相机输出的图像之间使分辨率一致的内容。
本发明是鉴于这种情况而完成的，其目的在于提供一种即使是从多个摄像系统输出的图像，也能够获得具有相同分辨率且画质良好的图像的图像处理装置、图像处理方法及相机系统。
用于解决技术课题的手段
为了实现上述目的，作为本发明的一方式的图像处理装置具备：传递函数输入部，输入多个摄像系统的各传递函数；计算部，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成部，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成部，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算部中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，使多个摄像系统整体中的恢复图像与在多个摄像系统中劣化之前的理想图像之间的误差最小化。
根据本方式，通过计算部，根据如下基准计算多个摄像系统中的目标分辨率值，所述基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，使多个摄像系统整体中的恢复图像与在摄像系统中劣化之前的理想图像之间的误差最小化。并且，通过恢复滤波器生成部，根据通过计算部计算出的目标分辨率值，生成对通过各摄像系统输出的图像使用的恢复滤波器，通过恢复图像生成部，生成对摄像图像进行了恢复处理的恢复图像。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。
作为本发明的另一方式的图像处理装置具备：传递函数输入部，输入多个摄像系统的各传递函数；摄影条件输入部，输入多个摄像系统的各摄影条件；计算部，根据所输入的各传递函数、各摄影条件及规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成部，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成部，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算部中使用的规定基准将使多个摄像系统的恢复图像的分辨率值与目标分辨率值之差在适用与摄影条件相应的权重的基础上最小作为前提条件，使多个摄像系统整体的所有各摄影条件下的恢复图像与在多个摄像系统中劣化之前的理想图像之间的加权误差最小化。
根据本方式，通过计算部，根据如下基准计算多个摄像系统的目标分辨率值，所述基准根据使多个摄像系统的恢复图像的分辨率值与目标分辨率值之差在适用了与摄影条件相应的权重的基础上最小的前提条件，使多个摄像系统整体的所有各摄影条件下的恢复图像与在摄像系统中劣化之前的理想图像之间的加权误差最小化。并且，通过恢复滤波器生成部，根据通过计算部计算出的目标分辨率值，生成对通过各摄像系统输出的图像使用的恢复滤波器，通过恢复图像生成部，生成对摄像图像进行了恢复处理的恢复图像。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。而且，本方式中，计算目标分辨率值时，适用与摄影条件相应的权重，因此设计根据摄影条件取得平衡的恢复滤波器，能够获取分辨率值一致且画质良好的恢复图像。
优选图像处理装置具备权重输入部，输入表示与和输入于摄影条件输入部的各摄影条件相应的目标分辨率值之间的一致程度的权重。
根据本方式，通过权重输入部，输入表示与和输入于摄影条件输入部的各摄影条件相应的目标分辨率值之间的一致程度的权重。由此，本方式中，根据所输入的权重生成如使分辨率与目标分辨率值一致的恢复滤波器，并通过该恢复滤波器进行恢复处理，因此能够获取作为整个图像而分辨率平衡良好的恢复图像。
优选计算部根据使恢复图像与理想图像的平方误差的合计值最小化的基准，计算目标分辨率值。
根据本方式，计算部根据使恢复图像与理想图像的平方误差的合计值最小化的基准计算目标分辨率值。由此，本方式中，能够获取画质良好的恢复图像。
作为本发明的另一方式的相机系统是一种具有上述图像处理装置的相机系统，其中，多个摄像系统和进行多个摄像系统的控制的控制装置通过有线或无线连接，在控制装置设置有上述图像处理装置。
根据本方式，上述图像处理装置设置于相机系统中的控制装置。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。
作为本发明的另一方式的相机系统是一种具有上述图像处理装置的相机系统，其中，多个摄像系统和进行多个摄像系统的控制的控制装置通过有线或无线连接，在多个摄像系统中的至少1个中设置有上述图像处理装置。
根据本方式，上述图像处理装置设置于构成相机系统的多个相机中的至少1个中。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。
作为本发明的另一方式的相机系统是一种由具有上述图像处理装置的多个相机构成的相机系统，其中，多个摄像系统和进行多个摄像系统的控制的控制装置通过有线或无线连接，在多个摄像系统的每一个中设置有上述图像处理装置。
根据本方式，上述图像处理装置设置于构成相机系统的多个摄像系统的每一个中。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。
作为本发明的另一方式的图像处理方法包含：传递函数输入步骤，输入多个摄像系统的各传递函数；计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成步骤，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，使多个摄像系统整体中的恢复图像与在多个摄像系统中劣化之前的理想图像之间的误差最小化。
作为本发明的另一方式的图像处理方法包含：传递函数输入步骤，输入多个摄像系统的各传递函数；摄影条件输入步骤，输入多个摄像系统的各摄影条件；计算步骤，根据所输入的各传递函数、各摄影条件及规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成步骤，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值与目标分辨率值之差在适用与摄影条件相应的权重的基础上最小作为前提条件，使多个摄像系统整体的所有各摄影条件下的恢复图像与在多个摄像系统中劣化之前的理想图像之间的加权误差最小化。
作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；及恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器，所述相机系统具有通过如下恢复滤波器生成方法生成的恢复滤波器，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，使多个摄像系统整体中的恢复图像与在多个摄像系统中劣化之前的理想图像之间的误差最小化。
作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；及计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值，所述相机系统具有通过如下目标分辨率值计算方法计算出的目标分辨率值，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，使多个摄像系统整体中的恢复图像与在多个摄像系统中劣化之前的理想图像之间的误差最小化。
作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；摄影条件输入步骤，输入多个摄像系统的各摄影条件；计算步骤，根据所输入的各传递函数、各摄影条件及规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；及恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器，所述相机系统具有通过如下恢复滤波器生成方法生成的恢复滤波器，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值与目标分辨率值之差在适用与摄影条件相应的权重的基础上最小作为前提条件，使多个摄像系统整体的所有各摄影条件下的恢复图像与在多个摄像系统中劣化之前的理想图像之间的误差最小化。
作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；摄影条件输入步骤，输入多个摄像系统的各摄影条件；及计算步骤，根据所输入的各传递函数、各摄影条件及规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值，所述相机系统具有通过如下目标分辨率值计算方法计算出的目标分辨率值，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值与目标分辨率值之差在适用与摄影条件相应的权重的基础上最小作为前提条件，使多个摄像系统整体的所有各摄影条件下的恢复图像与在多个摄像系统中劣化之前的理想图像之间的误差最小化。
发明效果
根据本发明，利用规定基准计算相对于多个摄像系统的目标分辨率值，根据计算出的目标分辨率值生成恢复滤波器，并通过所生成的恢复滤波器进行恢复处理，因此能够获得在从多个摄像系统输出的图像之间频率特性一致且具有良好的画质的图像。
附图说明
图1是概念性地表示相机系统的图。
图2是表示构成相机系统的计算机及相机的功能结构的框图。
图3是表示计算机侧图像处理部(图像处理装置)的功能结构的框图。
图4是表示从图像摄影至恢复处理为止的概略的图。
图5是表示图像的MTF与频率的关系的图。
图6是表示图像的MTF与频率的关系的图。
图7是表示图像的MTF与频率的关系的图。
图8是表示图像处理方法的工序的流程图。
图9是概念性地表示相机系统的图。
图10是表示计算机侧图像处理部(图像处理装置)的功能结构的框图。
图11是表示图像处理方法的工序的流程图。
图12是概念性地表示相机系统的图。
图13是在相机系统设定恢复滤波器时的动作流程图。
图14是在相机系统设定目标分辨率值时的动作流程图。
具体实施方式
以下，根据附图对本发明的图像处理装置、图像处理方法及相机系统的优选实施方式进行说明。
＜第1实施方式＞
首先，对本发明的第1实施方式进行说明。
图1是概念性地表示由多个相机及控制装置构成的相机系统的图。
相机系统1由相机(摄像系统)10A、相机(摄像系统)10B及计算机(控制装置)60构成。并且，相机10A获取摄像图像2A，相机10B获取摄像图像2B。另外，图中，摄像图像2A及摄像图像2B与相机10A及相机10B的摄影方向一同概念性地示出。
相机10A及相机10B分别设置于不同的位置，对被摄体O进行摄影。相机10A具有传递函数H1，摄像图像2A中被摄体O的像被摄于P1的位置。相机10B具有传递函数H2，该摄像图像2B中被摄体O的像被摄于P2的位置。另外，相机系统1中，相机10A、相机10B及计算机60通过有线连接，但也可以通过无线连接。
相机系统1例如用于FAMV用途。通过相机10A及相机10B摄影的图像进行图像分析而识别被摄于图像的物体。为此，要求被摄体O以相同分辨率被摄于摄像图像2A及摄像图像2B中。另外，分辨率是图像显示的精细度，是指图像中的细节的表现力，还能够如分辨率值或分辨率那样通过数值表示。
本发明中，通过设置于相机系统1的图像处理装置进行恢复处理，以使被摄体O的图像上的分辨率变得相同。具体而言，通过校准求出相机10A及相机10B的传递函数H1及传递函数H2，进行恢复处理，以使被摄体O的画面上的位置(P1、P2)上的被摄体O的分辨率值变得相等。在此，校准例如为在相机10A及相机10B的目标被摄体O的位置设置图表(chart)，测定各自的传递函数。另外，本申请中，分辨率相同或一致是指，例如将目标分辨率值作为基准，分辨率在5％的误差范围内，优选在3％的误差范围内。
图2是表示构成相机系统1的计算机60、连接于计算机60的相机10A及相机10B的功能结构的框图。另外，相机10A及相机10B为相同的结构，因此仅记载相机10A的结构并省略相机10B的结构。
相机10A具备可换透镜单元12及具备摄像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12和相机主体14电连接。
透镜单元12具备透镜16和光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20及对光学系统进行操作的致动器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送来的控制信号，经由致动器对光学系统进行控制，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的光圈量控制等。
相机主体14的摄像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等滤色器及图像传感器(光电二极管；CMOS(互补型金属氧化物半导体，complementary metal oxidesemiconductor)、CCD(电荷耦合元件，charge-coupled device)等)。该摄像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换为电信号，将图像信号(原图像数据)发送至相机主体控制器28。另外，对相机10A获取彩色图像的情况进行说明，但相机10A还能够获取黑白图像或单色图像。
本例的摄像元件26通过利用光学系统的被摄体像的摄影来输出原图像数据，该原图像数据发送至相机主体控制器28的图像处理部35。
如图2所示，相机主体控制器28具有设备控制部34及图像处理部35，统一控制相机主体14。设备控制部34例如控制来自摄像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出界面32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制相机10A所具备的各种器件类。
图像处理部35能够对来自摄像元件26的图像信号进行根据需要的任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、灰度校正处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB和/或YCrCb转换处理及图像压缩处理等各种图像处理。
在相机主体控制器28进行了图像处理的图像数据经由输入输出界面32发送至计算机60等。从相机10A(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif(可交换图像文件格式，Exchangeable Image File Format)那样，将标题信息(摄影信息(摄影日期时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据相互建立对应关联来构成为1个图像文件，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出界面32及计算机输入输出部62与相机10A连接，接收从相机主体14发送来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自相机10A的图像数据进行图像处理，控制与经由网络70等网络线路与计算机输入输出部62连接的服务器80等的通信。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66。用户通过一边确认显示器66的显示一边对键盘等输入机构(省略图示)进行操作，能够对计算机控制器64输入数据或指令。由此，用户能够控制计算机60或连接于计算机60的设备类(相机10A、相机10B及服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类之间的收发连接部，经由网络70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协作，在与计算机控制器64之间根据需要进行数据类的收发，将数据类下载至计算机60，进行运算处理并将其运算结果发送至计算机60。
各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU(中央处理器，CentralProcessing Unit)等)及存储器等。并且，相机10A、计算机60及服务器80之间的通信可以是有线也可以是无线。并且，可以一体构成计算机60及服务器80，并且也可以省略计算机60及服务器80中的至少任一个。并且，也可以使相机10A具有与服务器80的通信功能，在相机10A与服务器80之间直接进行数据类的收发。
图3是表示计算机侧图像处理部(图像处理装置)63的功能结构的框图。计算机侧图像处理部63设置于计算机控制器64。
计算机侧图像处理部63具备传递函数输入部3、第1计算部(计算部)5、恢复滤波器生成部7及恢复图像生成部9。
在计算机侧图像处理部63经由输入输出界面32及计算机输入输出部62输入通过相机10A获取的摄像图像2A(摄像图像数据)及通过相机10B获取的摄像图像2B(摄像图像数据)。输入至计算机侧图像处理部63的摄像图像2A及摄像图像2B输入至恢复图像生成部9。
并且，在计算机侧图像处理部63经由输入输出界面32及计算机输入输出部62输入相机10A的传递函数H1及相机10B的传递函数H2。输入至计算机侧图像处理部63的传递函数H1及传递函数H2输入至传递函数输入部3。
第1计算部5根据所输入的各传递函数和计算基准(规定基准)，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值。具体而言，第1计算部5根据传递函数H1及传递函数H2和之后说明的计算基准，计算对摄像图像2A及摄像图像2B进行的恢复处理的目标分辨率值。在此，目标分辨率值例如为通过恢复处理而变更的分辨率值，是对摄像图像进行恢复处理而获得的恢复图像的分辨率值。并且，目标分辨率值可示出某一频率或某一频带中的分辨率值，也可以以奈奎斯特频率为止的所有频带中的离散地采样的分辨率值的集合表示。
恢复滤波器生成部7根据多个摄像系统的传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器。具体而言，恢复滤波器生成部7根据传递函数H1及传递函数H2和通过第1计算部5计算出的目标分辨率值生成恢复滤波器。
恢复图像生成部9利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像。具体而言，恢复图像生成部9使用通过恢复滤波器生成部7生成的相机10A的恢复滤波器，对摄像图像2A进行恢复处理来生成恢复图像11A，使用通过恢复滤波器生成部7生成的相机10B的恢复滤波器，对摄像图像2B进行恢复处理来生成恢复图像11B。在此，恢复图像11A及恢复图像11B被恢复处理为通过第1计算部5计算出的目标分辨率值，恢复图像11A和恢复图像11B具有相同的分辨率值。
接着，对恢复处理进行说明。
图4是表示从图像摄影至恢复处理为止的概略的图。将点像作为被摄体来进行摄影时，被摄体像经由光学系统(透镜16、光圈17等)通过摄像元件26(图像传感器)受光，从摄像元件26输出原图像数据Do。该原图像数据Do由于光学系统的特性引起的点扩散现象，成为原本的被摄体像模糊的状态的图像数据。
为了根据该模糊图像的原图像数据Do复原(恢复)原本的被摄体像(点像)，对原图像数据Do进行利用恢复滤波器F的恢复处理P10，由此可获得表示更接近原本的被摄体像(点像)的像(恢复图像)的恢复图像数据Dr。
在恢复处理P10中使用的恢复滤波器F根据与获取原图像数据Do时的摄影条件相应的光学系统的点像信息(点扩散函数)，通过规定的恢复滤波器计算算法P20获得。光学系统的点像信息(点扩散函数)不仅根据透镜16的种类而变动，还根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此计算恢复滤波器F时，获取这些摄影条件。
如上述，恢复处理P10为通过利用恢复滤波器F的滤波处理从原图像数据Do制作恢复图像数据Dr的处理，例如由N×M(N及M为1以上的整数)的抽头构成的实际空间上的恢复滤波器F适用于处理对象的图像数据。由此，通过对分配于各抽头的滤波器系数和所对应的像素数据(原图像数据Do的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算恢复处理之后的像素数据(恢复图像数据Dr)。依次改变对象像素，将利用该恢复滤波器F的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行恢复处理。
另外，由N×M的抽头构成的实际空间上的恢复滤波器能够通过对频率空间上的恢复滤波器进行傅里叶逆转换来导出。因此，能够通过如下来适当地计算实际空间上的恢复滤波器，即，确定成为基础的频率空间上的恢复滤波器，并指定实际空间上的恢复滤波器的构成抽头数。
接着，对通过恢复图像生成部9生成的恢复图像11A及恢复图像11B的分辨率进行说明。
图5、图6及图7是表示摄像图像2A、摄像图像2B、恢复图像11A及恢复图像11B的MTF与频率之间的关系的图。
图5(i)表示摄像图像2A的MTF与频率之间的关系，图5(ii)中示出有对摄像图像2A以通常使用的方式使用维纳滤波器生成恢复滤波器，并通过该恢复滤波器进行了恢复处理时的恢复图像11A的MTF与频率之间的关系。并且，图6中也同样地，在图6(i)中示出有针对摄像图像2B的MTF与频率之间的关系，图6(ii)中示出有对摄像图像2B以通常使用的方式使用维纳滤波器来生成恢复滤波器，并通过该恢复滤波器进行了恢复处理时的恢复图像11B的MTF与频率之间的关系。另外，图5(ii)及图6(ii)中，通过进行恢复处理，MTF恢复至以虚线表示的目标分辨率值。通常使用的维纳滤波器的使用方式是指从1个相机对输出图像进行恢复处理时通过维纳滤波器生成恢复滤波器的方式，是未考虑多个相机的图像之间的输出图像之间的分辨率一致的使用方式。
如图5及图6所示，以通常使用的方式使用维纳滤波器生成恢复滤波器并进行恢复处理时，根据相机10A或相机10B的各个体所具有的传递函数来设计恢复滤波器，因此较多情况下相机10A的恢复图像11A和相机10B的恢复图像11B的分辨率并不一致。即，仅通过个别地适用基于维纳滤波器的图像恢复处理，无法保证恢复图像11A和恢复图像11B的分辨率一定相同。这是因为，维纳滤波器为在最小平方的含义上使图像恢复为最佳的处理，因此产生如下情况，即，良好的透镜更加良好，差的透镜即使恢复也无法达到良好的透镜的水平。
图7中示出有摄像图像2A及摄像图像2B的MTF与频率之间的关系(图7(A)的(i)及图7(B)的(i))和进行了本发明的恢复处理时的恢复图像11A及恢复图像11B的MTF与频率之间的关系(图7(A)的(ii)及图7(B)的(ii))。在此，图7(A)的(ii)中，根据通过第1计算部5计算出的目标分辨率值、传递函数H1及传递函数H2，生成通过相机10A获取的摄像图像2A的恢复滤波器，利用该恢复滤波器进行恢复处理。并且，图7(B)的(ii)中，也对通过相机10B获取的摄像图像2B进行相同的恢复处理。另外，在图7(A)的(ii)及图7(B)的(ii)中，通过进行恢复处理，MTF恢复或移动至以虚线表示的目标分辨率值。
如图7(A)的(ii)及图7(B)的(ii)所示，进行了本发明的恢复处理的恢复图像中，能够使恢复图像的频率特性一致。即，摄像图像2A和摄像图像2B通过进行恢复处理，恢复成相同的目标分辨率值，因此在恢复图像11A及恢复图像11B中分辨率一致。
图8是表示本发明的图像处理方法的工序的流程图。
首先，在传递函数输入部3输入相机10A及相机10B的传递函数H1及传递函数H2(传递函数输入步骤：步骤S10)。接着，第1计算部5根据所输入的传递函数H1、传递函数H2及计算基准计算目标分辨率值(计算步骤：步骤S11)。并且，通过恢复滤波器生成部7，根据计算出的目标分辨率值生成恢复滤波器(恢复滤波器生成步骤：步骤S12)。之后，通过恢复图像生成部9，使用所生成的各恢复滤波器，对各相机的摄像图像进行恢复处理来生成恢复图像11A(恢复图像生成步骤：步骤S13)。
上述的各结构及功能能够通过任意的硬件、软件或者两者的组合适当实现。例如，对使计算机60执行上述处理步骤(处理顺序)的程序、记录有这种程序的能够计算机读取的记录介质(非暂时性记录介质)或者能够安装这种程序的计算机60也能够适用本发明。
上述实施方式中，执行各种处理的处理部(处理单元，processing unit)的硬件结构为如下示出的各种处理器(processor)。各种处理器中包含执行软件(程序)来作为各种处理部发挥作用的通用的处理器即CPU、FPGA(现场可编程门阵列，Field ProgrammableGate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(ProgrammableLogic Device：PLD)、ASIC(专用集成电路，Application Specific Integrated Circuit)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以通过相同种类或不同种类的2个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1方式为如以客户机或服务器等计算机为代表，通过1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用。第2方式为如片上系统(System on Chip：SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包含多个处理部的整个系统的功能的处理器。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电路(circuitry)。
＜第2实施方式＞
接着，对第2实施方式进行说明。
图9是概念性地表示本实施方式的相机系统1的图。另外，对已在图1中进行说明的部位标注相同符号并省略说明。
本实施方式的相机系统1由相机10A、相机10B及计算机(控制装置)60构成。并且，相机10A获取摄像图像2A，相机10B获取摄像图像2B。
相机10A对被摄体O1及被摄体O2进行摄影，相机10B对被摄体O1及被摄体O2进行摄影。在此，被摄体O1及被摄体O2为在相机10A及相机10B中被摄体距离不同的被摄体。相机10A对被摄体距离不同的被摄体O1及被摄体O2进行摄影，但在摄像图像2A中被摄体O1及被摄体O2的像重叠，被摄于P1的位置。相机10A以传递函数H1A对被摄体O1进行摄影，以传递函数H2A对被摄体O2进行摄影。
相机10B对被摄体距离不同的被摄体O1及被摄体O2进行摄影，在摄像图像2B中被摄体O1及被摄体O2的像并不重叠，被摄体O1的像被摄于P2的位置，被摄体O2的像被摄于P3的位置。相机10B以传递函数H1B对被摄体O1进行摄影，以传递函数H2B对被摄体O2进行摄影。
如此，相机10B中，被摄体O1及被摄体O2分别被摄于不同的位置P2及P3，但在相机10A中，被摄体O1及被摄体O2重叠被摄于位置P1。因此，在位置P1中，仅通过摄像图像2A的图像数据，很难判断是被摄体O1的像还是被摄体O2的像。该情况下，若还想像上述的第1计算部5那样从各传递函数计算目标分辨率值，则在原理上第1计算部5无法构成在传递函数H1A和传递函数H2A双方中同时使分辨率一致的恢复滤波器，有时导致在相机10A和相机10B之间分辨率大幅偏离。因此，这种情况下，导入取使分辨率统一的优先平衡的权重(β)来计算目标分辨率值。但是，针对能够通过其他方法确定相机10A及相机10B中的被摄体O1及被摄体O2的被摄体距离等摄影条件的情况，能够通过切换为与摄影条件相应的滤波器来使分辨率一致，因此本实施方式的说明中并不予考虑。
图10是表示计算机侧图像处理部(图像处理装置)63的功能结构的框图。计算机侧图像处理部63设置于计算机控制器64。
计算机侧图像处理部63具备传递函数输入部3、摄影条件输入部13、第2计算部19、恢复滤波器生成部7、恢复图像生成部9及权重输入部15。另外，对已在图3中说明的部位标注相同符号并省略说明。
摄影条件输入部13中输入多个摄像系统的各摄影条件。在此，摄影条件是有关被摄体距离或如光圈17等那样对传递函数带来影响的摄影条件的信息。图9所示的情况下，例如输入相机10A中的被摄体O1的被摄体距离(k1)及被摄体O2的被摄体距离(k2)，输入相机10B中的被摄体O1的被摄体距离(k3)及被摄体O2的被摄体距离(k4)。在此，存在多个被摄体时，认为存在多个不同的摄影条件(被摄体距离)，认为存在多个被摄体时与其相应地存在多个摄影条件。
传递函数输入部3中，输入与输入于摄影条件输入部13的摄影条件相应的传递函数。具体而言，传递函数输入部3中，根据各被摄体距离输入传递函数H1A、传递函数H2A、传递函数H1B、传递函数H2B。
权重输入部15中，输入表示与和输入于摄影条件输入部13的各摄影条件相应的目标分辨率值的一致程度的权重。即，权重输入部15中，根据各摄影条件的重要度输入权重。例如，根据摄影条件k1～k4，输入权重β1～β4。另外，通过权重输入部15输入的权重例如可以使用预先设定于第2计算部的值。
第2计算部19根据所输入的传递函数、各摄影条件及计算基准(规定基准)，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值。
图11是表示本发明的本实施方式的图像处理方法的工序的流程图。
首先，传递函数输入部3中输入相机10A及相机10B的传递函数H1A、传递函数H2A、传递函数H1B及传递函数H2B(传递函数输入步骤：步骤S20)。接着，摄影条件输入部13中输入摄影条件(摄影条件输入步骤：步骤S21)，权重输入部15中输入每个摄影条件的权重(权重输入步骤：步骤S22)。接着，第2计算部19根据摄影条件、传递函数、权重及计算基准计算目标分辨率值(计算步骤：步骤S23)。并且，通过恢复滤波器生成部7，根据计算出的目标分辨率值生成恢复滤波器(恢复滤波器生成步骤：步骤S24)。之后，通过恢复图像生成部9，使用所生成的各恢复滤波器，对各相机的摄像图像进行恢复处理来生成恢复图像11A及恢复图像11B(恢复图像生成步骤：步骤S25)。
＜目标分辨率值的计算及恢复滤波器的生成＞
接着，对通过第1计算部5、第2计算部19及恢复滤波器生成部7进行的具体的计算例进行说明。
＜维纳滤波器的导出＞
首先，对针对1个相机(摄像系统)的输出图像的通过维纳滤波器生成恢复滤波器的情况进行说明。另外，以下说明中，通过“”括弧表示的字符及式中的粗体字表示矢量或矩阵，除此以外，如表示标量那样区别使用。
将原始图像(理想图像)设为“x”，将通过摄像系统劣化的图像设为“y”，将摄像系统的光学传递函数(二维脉冲响应)设为“h”。此时，若将通过摄像系统混入的加法噪声矢量设为“n”，则能够如下式那样表示观测模型。
[数式1]
y＝h*x+n
在此，*表示二维卷积。通常，光学传递函数依赖于像高而发生变化，但上式中着眼于能够忽视传递函数的变化的微小区域，假设视作移动不变系统。
若在上式的两边适用傅里叶(Fourier)转换，则成为下式。
[数式2]
Y(ωx，ωy)＝H(ωx，ωy)X(ωx，ωy)+N(ωx，ωy)
在此，大写字符的变量为小写字符的变量的空间频率
[数式3]
(ωx，ωy)
中的频率成分。
若将维纳恢复滤波器(恢复滤波器)的二维脉冲响应设为“f”，将恢复图像设为“z”，则能够如下式那样表示图像恢复过程。
[数式4]
z＝f*y
同样地，上述傅里叶转换成为如下。
[数式5]
Z(ωx，ωy)＝F(ωx，ωy)Y(ωx，ωy)
维纳恢复滤波器的图像恢复基准成为以下中定义的原始图像与恢复图像的平均平方误差J。
[数式6]
J＝ExEn||x-z||2
在此，Ex为图像“x”的信号的振幅，En为噪声“n”的信号的振幅。图像“x”与噪声“n”无相关，因此能够变形为如下。
[数式7]
J＝ExEn||x-f*h*x+f*n||2＝Ex||(1-f*h)*x||2+En||f*n||2
上式中，“1”这一标记设为尺寸与“f”*“h”相等且始终成为“1”*“x”＝“x”(只有中心成为1且其他要素成为0)的矢量。若对上式进行傅里叶转换，则成为如下。
[数式8]
J＝∫∫EX||{1-F(ωx，ωy)H(ωx，ωy)}X(ωx，ωy)||2+EN||F(ωx，ωy)N(ωx，ωy)|2dωxdωy
而且，若将平均信号电力S设为如下，
[数式9]
S(ωx，ωy)＝EX||X(ωx，ωy)||2
并将平均噪声电力N设为如下，
[数式10]
N(ωx，ωy)＝EN||N(ωx，ωy)||2
则成为如下。
[数式11]
J＝∫∫||1-F(ωx，ωy)H(ωx，ωy)||2S(ωx，ωy)+||F(ωx，ωy)||2N(ωx，ωy)dωxdωy
为了使上式针对恢复滤波器的频率特性而最小化，
[数式12]
F*
若对数式12进行偏微分而设为零，则可获得数式13，
[数式13]
2F(ωx，ωy)||H(ωx，ωy)||2S(ωx，ωy)-2H*(ωx，ωy)S(ωx，ωy)+2F(ωx，ωy)N(ωx，ωy)＝0由此，可如下式那样获得维纳恢复滤波器的频率特性。
[数式14]
在此，设为如下。
[数式15]
H*(ωx，ωy)
数式15为
[数式16]
H(ωx，ωy)
的复共轭。
[数式17]
实际安装上，恢复滤波器作为限制抽头数的二维FIR滤波器来实际安装，因此利用附带任意的公知限制条件的最佳化方法，获得使频率特性
[数式18]
F(ωx，ωy)
近似于最佳的滤波器抽头系数“f”。
＜分辨率统一维纳滤波器的导出＞
接着，对第1实施方式中的第1计算部5及恢复滤波器生成部7中的计算进行说明。
第1计算部5所使用的计算基准是“将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，使整个多个摄像系统中的恢复图像与在摄像系统中劣化之前的理想图像之间的误差最小化”。例如，第1计算部5根据使恢复图像与理想图像之间的平方误差的合计值最小化的基准，计算目标分辨率值。以下，进行具体说明。
将多个摄像系统(相机)的索引设为i(1≤i≤M)，将所对应的实际测量的光学传递函数(二维脉冲响应)设为“hi”，将其频率特性标记为数式19。
[数式19]
Hi(ωx,ωy)
此时，各摄像系统中的适用恢复滤波器之后的图像(恢复图像)的频率特性必须一致。若将适用滤波器之后的总计(包含劣化和恢复)频率响应设为R(常数)，则需成为数式20，
[数式20]
Hi(ωx，ωy)Fi(ωx，ωy)＝R(1≤i≤M)
这表示利用参数R，如下式那样唯一地确定恢复滤波器的频率特性。
[数式21]
关于各摄像系统的恢复滤波器的频率特性，只要确定R的值，则通过上式唯一地确定。为了确定R的值，与维纳滤波器的情况相同，使用原始图像和恢复图像的平均平方误差基准。但是，在此设为利用多个摄像系统中的平方误差的加权和。
[数式22]
但是，如下。
[数式23]
yi＝hi*xi+ni
[数式24]
Zi＝fi*yi
并且，wi(≥0)为用于分配摄像系统的恢复程度的优先顺序的权重系数，若不需要，则设为wi＝1。若对上述J进行傅里叶转换，则成为如下。
[数式25]
[数式26]
在此，假设平均信号电力和平均噪声电力与摄像系统无关地恒定。若为了使其针对R而最小化，对R进行偏微分而设为零，则获得数式27。
[数式27]
在此，
[数式28]
数式28为以下定义的传递函数
[数式29]
||Hi(ωx,ωy)||2
的加权调合平均(weighted harmonic mean)。
[数式30]
通过如此求出的R(目标分辨率值)，恢复滤波器的频率特性最终表示为如下。
[数式31]
通过利用如此定义的“分辨率统一维纳滤波器”，能够获得恢复之后的频率特性一定一致的优点，而且还能够获得考虑摄像系统的SN比而将恢复量调整为最佳的一直以来的维纳滤波器的优点。
＜多个摄影条件下的加权分辨率统一＞
接着，对第2实施方式中的第2计算部19及恢复滤波器生成部7中的计算进行说明。
第2计算部19所使用的计算基准是“将使多个摄像系统的恢复图像的分辨率值与目标分辨率值之差在适用了与摄影条件相应的权重的基础上最小作为前提条件，使多个摄像系统整体的所有各摄影条件下的恢复图像与在摄像系统劣化之前的理想图像之间的加权误差最小化”。以下，进行具体说明。
上述方法中，欲使分辨率一致的被摄体(摄影条件)为1个，因此能够以使其始终一致的方式构成恢复滤波器。在此，考虑欲使分辨率一致的被摄体存在多个的情况。此时，这些被摄体在画面上显示于位置全部不重叠(全部不同)的位置时，能够设为与前述方法相同来使所有被摄体的分辨率一致。另一方面，欲使分辨率一致的被摄体被摄于画面上的位置相互重叠时，存在原理上无法构成使所有分辨率一致的恢复滤波器的问题(但是，在图像处理系统能够识别被摄体的位置即摄像条件且并不同时对被摄体进行摄影的条件下，不会发生这种问题。)。
考虑到该问题，以下中考虑如下方法：导入表示各被摄体(摄影条件)的重要度的权重系数β，根据该系数的大小，对向目标分辨率一致的程度标注强弱的变化，从而设计取得性能平衡的滤波器。并且，以下中，被摄体的位置(距离)的不同引起的传递函数的不同与摄影条件发生变化等价，能够将光圈等摄影条件发生变化的情况也包括在内来考虑，因此多个被摄体能够作为摄影条件的不同来处理。
将多个摄像系统的索引设为i(1≤i≤M)，欲同时使分辨率一致的摄影条件的索引设为k(1≤k≤N)，将表示被摄体的画面内位置的索引设为p(1≤p≤P)。此时，利用这些索引，将所测定的光学传递函数设为数式32，
[数式32]
Hi，p，k(ωx,ωy)
将恢复滤波器的频率响应设为数式33。
[数式33]
Fi，p(ωx，ωy)
欲使分辨率一致是指，欲按每个画面内位置p和摄影条件k个别地使其与特定的分辨率一致，因此考虑如下问题，即，将该目标分辨率的值(目标分辨率值)设为数式34，
[数式34]
Rk，p(ωx,ωy)
从近似权重β或维纳基准求出该值。为了使标记简单，以下的讨论中，省略只要考虑特定值即可的索引p和空间频率
[数式35]
ωx，ωy
并且，
[数式36]
Hi，k，Fi，Rk
分别标记为上述数式36中的Hi,k、Fi、Rk。
如前述，通常不可能在所有的摄影条件下使分辨率一致，因此设为对摄像系统i和摄影条件k的所有组合赋予表示分辨率一致的精度的权重βi,k。利用此，如下表示用于分辨率一致的评价基准“J1”。
[数式37]
如下定义上式中导入的附带矢量、矩阵、权重矩阵的范数。
[数式38]
[数式39]
[数式40]
[数式41]
在此，“xH”表示“x”的转置共轭(Hermitian transpose)。若为了求出使“J1”的值最小化的恢复滤波器频率响应而设为数式42，
[数式42]
则如下确定“Fi”。
[数式43]
关于各摄像系统的恢复滤波器的频率特性，只要确定“r”的值，则通过上式唯一地确定。为了确定“r”的值，与维纳滤波器的情况相同地，利用使原始图像和恢复图像的平均平方误差最小的基准。但是，在此设为利用取多个摄像系统i和多个摄影条件k下的所有平方误差的加权和的基准。若将其设为J2[r]，能够表示为下式。
[数式44]
[数式45]
[数式46]
＝∫∫J3[r]dωxdωy
在此，wi,k(≥0)为用于分配摄像系统的恢复程度的优先顺序的权重系数。上式中，S和N与其他相同地省略了空间频率。
[数式47]
ωx，ωy
现在，若假设将基于J2[r]中的
[数式48]
ωx，ωy
的被积分项设为J3[r]时，[r]也能够依赖于数式49而独立地确定，
[数式49]
ωx，ωy
则成为仅使J3[r]在各个空间频率中独立地最小化的问题，因此以下考虑J3[r]的最小化。若用[r]对泛函数J3[r]进行变分来设为零，则可知最佳[r]满足下式。
[数式50]
为了使该式对任意的Δr成立，下式必须针对所有的摄像系统i(1≤i≤M)成立。
[数式51]
为了使所有的摄像系统i(1≤i≤M)同时满足该条件，与上式联立而获得针对[r]的以下的矩阵的式。
[数式52]
Ar＝u
[数式53]
[数式54]
在此，“A”为M×N的复矩阵，“u”为M维的复列矢量。通常，N＜M或rankA＜M时，不存在满足上式的[r]。N＝M且rankA＝M时，可唯一地确定最佳[r]。N＞M且rankA＝M时，虽然无法唯一地确定最佳[r]，但能够通过一般逆矩阵求出范数最小解。成为N≥M且rankA＝M时，能够通过下式求出最佳[r]。
[数式55]
r＝A+u
在此，“A+”通常与“A”的Moore-Penrose的一般逆矩阵。利用此，能够以下式表示应求出的摄像系统i中的最佳恢复滤波器的频率响应。
[数式56]
＜变形例1＞
接着，对本发明的变形例1进行说明。本例中，图像处理部(图像处理装置)设置于相机10A及相机10B，而不是相机系统1的控制装置(计算机60)。
图12是表示本例的相机系统1的概念图。另外，对已在图3中进行说明的部位标注相同符号并省略说明。并且，相机10B与相机10A为相同结构，因此省略图示。
图像处理部35中设置有已在图3中说明的传递函数输入部3、第1计算部5、恢复滤波器生成部7及恢复图像生成部9。
以图12说明的情况下，在相机10A的图像处理部35设置有传递函数输入部3、第1计算部5、恢复滤波器生成部7及恢复图像生成部9。并且，虽省略了图示，但在相机10B的图像处理部35中，也设置有传递函数输入部3、第1计算部5、恢复滤波器生成部7及恢复图像生成部9。
此时，可通过相机10A的第1计算部5计算相机10A目标分辨率值及相机10B的目标分辨率值，也可以通过相机10A的第1计算部5计算相机10A的目标分辨率值，并通过相机10B的第1计算部5计算相机10B的目标分辨率值。另外，相机10A和相机10B通过有线或无线连接，能够相互进行数据的交换。
并且，图12中，对在相机10A及相机10B设置传递函数输入部3、第1计算部5、恢复滤波器生成部7及恢复图像生成部9的情况进行了说明，但也可以仅在相机10A的图像处理部35设置有传递函数输入部3、第1计算部5、恢复滤波器生成部7及恢复图像生成部9。
＜变形例2＞
接着，对本发明的变形例2进行说明。本例中，通过上述的恢复滤波器生成方法(图8的步骤S10～步骤S12)生成恢复滤波器，所生成的恢复滤波器预先设定于相机系统1。
图13是在本例的相机系统1设定恢复滤波器时的动作流程图。
首先，传递函数输入部3中输入相机10A及相机10B的传递函数H1及H2(传递函数输入步骤：步骤S30)。接着，第1计算部5根据所输入的传递函数H1和H2及基准，计算目标分辨率值(计算步骤：步骤S31)。并且，通过恢复滤波器生成部7，根据计算出的目标分辨率值生成恢复滤波器(恢复滤波器生成步骤：步骤S32)。之后，对相机系统1设定(存储)所生成的恢复滤波器(步骤S33)。相机系统1在适当的部位存储恢复滤波器。即，恢复滤波器可以存储于构成相机系统1的相机10A及相机10B，也可以存储于计算机60。
另外，上述说明中，对第1实施方式的情况的恢复滤波器生成方法中的本例进行了说明，但对第2实施方式(图11)的恢复滤波器生成方法的情况也可适用本例。
＜变形例3＞
接着，对本发明的变形例3进行说明。本例中，通过上述的目标分辨率值计算方法(图8的步骤S10～步骤S11)确定目标分辨率值，该目标分辨率值预先设定于相机系统1。
图14是在本例的相机系统1设定恢复滤波器时的动作流程图。
首先，传递函数输入部3中输入相机10A及相机10B的传递函数H1及H2(传递函数输入步骤：步骤S40)。接着，第1计算部5根据所输入的传递函数H1和H2及基准，计算目标分辨率值(计算步骤：步骤S41)。之后，在相机系统1设定(存储)计算出的目标分辨率值(步骤S42)。相机系统1在适当的部位存储目标分辨率值。例如，目标分辨率值可存储于构成相机系统1的相机10A及相机10B，也可以存储于计算机60。
另外，上述说明中，对第1实施方式的情况下的恢复滤波器生成方法中的本例进行了说明，但对第2实施方式(图11)的恢复滤波器生成方法的情况也可适用本例。以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，能够在不脱离本发明精神的范围进行各种变形是理所当然的。
符号说明
1-相机系统，2A、2B-摄像图像，3-传递函数输入部，5-第1计算部，7-恢复滤波器生成部，9-恢复图像生成部，10A、10B-相机，11A、11B-恢复图像，12-透镜单元，13-摄影条件输入部，14-相机主体，15-权重输入部，16-透镜，17-光圈，18-光学系统操作部，19-第2计算部，20-透镜单元控制器，22-透镜单元输入输出部，26-摄像元件，28-相机主体控制器，30-相机主体输入输出部，32-输入输出界面，34-设备控制部，35-图像处理部，60-计算机，62-计算机输入输出部，63-计算机侧图像处理部，64-计算机控制器，66-显示器，70-网络，80-服务器，82-服务器输入输出部，84-服务器控制器，S10～S13-第1实施方式的图像处理方法，S20～S25-第2实施方式的图像处理方法，S30～S33-恢复滤波器生成方法，S40～S42-目标分辨率值计算方法。

Claims (13)

1.一种图像处理装置，其具备：
传递函数输入部，输入多个摄像系统的各传递函数；
计算部，根据所输入的所述各传递函数和规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；
恢复滤波器生成部，根据所述多个摄像系统的所述各传递函数和所述目标分辨率值，对所述多个摄像系统的每一个，生成用于所述恢复处理的恢复滤波器；及
恢复图像生成部，利用针对所述多个摄像系统的每一个生成的所述恢复滤波器，对通过所述多个摄像系统获取的所述摄像图像进行所述恢复处理来生成恢复图像，
所述计算部中使用的所述规定基准将使所述多个摄像系统的所述恢复图像的分辨率值一致作为前提条件，使所述多个摄像系统整体中的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
2.一种图像处理装置，其具备：
传递函数输入部，输入多个摄像系统的各传递函数；
摄影条件输入部，输入所述多个摄像系统的各摄影条件；
计算部，根据所输入的所述各传递函数、所述各摄影条件及规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；
恢复滤波器生成部，根据所述多个摄像系统的所述各传递函数和所述目标分辨率值，对所述多个摄像系统的每一个，生成用于所述恢复处理的恢复滤波器；及
恢复图像生成部，利用针对所述多个摄像系统的每一个生成的所述恢复滤波器，对通过所述多个摄像系统获取的所述摄像图像进行所述恢复处理来生成恢复图像，
所述计算部中使用的所述规定基准将使所述多个摄像系统的所述恢复图像的分辨率值与所述目标分辨率值之差在适用与所述摄影条件相应的权重的基础上最小作为前提条件，使所述多个摄像系统整体的所有所述各摄影条件下的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的加权误差最小化。
3.根据权利要求2所述的图像处理装置，其具备：
权重输入部，输入表示与和输入于所述摄影条件输入部的所述各摄影条件相应的所述目标分辨率值之间的一致程度的所述权重。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述计算部根据使所述恢复图像与所述理想图像的平方误差的合计值最小化的基准，计算所述目标分辨率值。
5.一种相机系统，其具有权利要求1至4中任一项所述的图像处理装置，所述相机系统中，
所述多个摄像系统和进行所述多个摄像系统的控制的控制装置通过有线或无线连接，
在所述控制装置设置有所述图像处理装置。
6.一种相机系统，其具有权利要求1至4中任一项所述的图像处理装置，所述相机系统中，
所述多个摄像系统和进行所述多个摄像系统的控制的控制装置通过有线或无线连接，
在所述多个摄像系统中的至少1个中设置有所述图像处理装置。
7.一种相机系统，其由具有权利要求1至4中任一项所述的图像处理装置的多个相机构成，所述相机系统中，
所述多个摄像系统和进行所述多个摄像系统的控制的控制装置通过有线或无线连接，
在所述多个摄像系统的每一个中设置有所述图像处理装置。
8.一种图像处理方法，其包含：
传递函数输入步骤，输入多个摄像系统的各传递函数；
计算步骤，根据所输入的所述各传递函数和规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；
恢复滤波器生成步骤，根据所述多个摄像系统的所述各传递函数和所述目标分辨率值，对所述多个摄像系统的每一个，生成用于所述恢复处理的恢复滤波器；及
恢复图像生成步骤，利用针对所述多个摄像系统的每一个生成的所述恢复滤波器，对通过所述多个摄像系统获取的所述摄像图像进行所述恢复处理来生成恢复图像，
所述计算步骤中使用的所述规定基准将使所述多个摄像系统的所述恢复图像的分辨率值一致作为前提条件，使所述多个摄像系统整体中的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
9.一种图像处理方法，其包含：
传递函数输入步骤，输入多个摄像系统的各传递函数；
摄影条件输入步骤，输入所述多个摄像系统的所述各摄影条件；
计算步骤，根据所输入的所述各传递函数、所述各摄影条件及规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；
恢复滤波器生成步骤，根据所述多个摄像系统的所述各传递函数和所述目标分辨率值，对所述多个摄像系统的每一个，生成用于所述恢复处理的恢复滤波器；及
恢复图像生成步骤，利用针对所述多个摄像系统的每一个生成的所述恢复滤波器，对通过所述多个摄像系统获取的所述摄像图像进行所述恢复处理来生成恢复图像，
所述计算步骤中使用的所述规定基准将使所述多个摄像系统的所述恢复图像的分辨率值与所述目标分辨率值之差在适用与所述摄影条件相应的权重的基础上最小作为前提条件，使所述多个摄像系统整体的所有所述各摄影条件下的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
10.一种相机系统，通过有线或无线连接有多个摄像系统，其中，
所述相机系统包含：
传递函数输入步骤，输入所述多个摄像系统的各传递函数；
计算步骤，根据所输入的所述各传递函数和规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；及
恢复滤波器生成步骤，根据所述多个摄像系统的所述各传递函数和所述目标分辨率值，对所述多个摄像系统的每一个，生成用于所述恢复处理的恢复滤波器，
所述相机系统具有通过如下恢复滤波器生成方法生成的所述恢复滤波器，即，所述计算步骤中使用的所述规定基准将使所述多个摄像系统的恢复图像的分辨率值一致作为前提条件，使所述多个摄像系统整体中的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
11.一种相机系统，通过有线或无线连接有多个摄像系统，其中，
所述相机系统包含：
传递函数输入步骤，输入多个摄像系统的各传递函数；及
计算步骤，根据所输入的所述各传递函数和规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值，
所述相机系统具有通过如下目标分辨率值计算方法计算出的所述目标分辨率值，即，所述计算步骤中使用的所述规定基准将使所述多个摄像系统的恢复图像的分辨率值一致作为前提条件，使所述多个摄像系统整体中的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
12.一种相机系统，通过有线或无线连接有多个摄像系统，其中，
所述相机系统包含：
传递函数输入步骤，输入多个摄像系统的各传递函数；
摄影条件输入步骤，输入所述多个摄像系统的所述各摄影条件；
计算步骤，根据所输入的所述各传递函数、所述各摄影条件及规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；及
恢复滤波器生成步骤，根据所述多个摄像系统的所述各传递函数和所述目标分辨率值，对所述多个摄像系统的每一个，生成用于所述恢复处理的恢复滤波器，
所述相机系统具有通过如下恢复滤波器生成方法生成的恢复滤波器，即，所述计算步骤中使用的所述规定基准将使所述多个摄像系统的恢复图像的分辨率值与所述目标分辨率值之差在适用与所述摄影条件相应的权重的基础上最小作为前提条件，使所述多个摄像系统整体的所有所述各摄影条件下的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
13.一种相机系统，通过有线或无线连接有多个摄像系统，其中，
所述相机系统包含：
传递函数输入步骤，输入多个摄像系统的各传递函数；
摄影条件输入步骤，输入所述多个摄像系统的所述各摄影条件；及
计算步骤，根据所输入的所述各传递函数、所述各摄影条件及规定基准，计算使从所述多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值，
所述相机系统具有通过如下目标分辨率值计算方法计算出的所述目标分辨率值，即，所述计算步骤中使用的所述规定基准将使所述多个摄像系统的恢复图像的分辨率值与所述目标分辨率值之差在适用与所述摄影条件相应的权重的基础上最小作为前提条件，使所述多个摄像系统整体的所有所述各摄影条件下的所述恢复图像与在所述多个摄像系统中劣化之前的理想图像之间的误差最小化。
CN201780085394.7A 2017-02-17 2017-12-07 图像处理装置、图像处理方法及相机系统 Active CN110249620B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-028061 2017-02-17
JP2017028061 2017-02-17
PCT/JP2017/043948 WO2018150695A1 (ja) 2017-02-17 2017-12-07 画像処理装置、画像処理方法、およびカメラシステム

Publications (2)

Publication Number Publication Date
CN110249620A true CN110249620A (zh) 2019-09-17
CN110249620B CN110249620B (zh) 2021-04-23

Family

ID=63170229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085394.7A Active CN110249620B (zh) 2017-02-17 2017-12-07 图像处理装置、图像处理方法及相机系统

Country Status (4)

Country Link
US (1) US10931888B2 (zh)
JP (1) JP6628908B2 (zh)
CN (1) CN110249620B (zh)
WO (1) WO2018150695A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7016835B2 (ja) 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
CN112863408B (zh) * 2019-11-26 2022-12-27 逸美德科技股份有限公司 屏幕分辨率的检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650622A (zh) * 2002-03-13 2005-08-03 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
JP2008085697A (ja) * 2006-09-28 2008-04-10 Kyocera Corp 撮像装置、並びにその製造装置および製造方法
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
JP2012156716A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
CN102687500A (zh) * 2010-08-05 2012-09-19 松下电器产业株式会社 图像恢复装置以及图像恢复方法
WO2016052027A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP2011044801A (ja) * 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
CN102625043B (zh) 2011-01-25 2014-12-10 佳能株式会社 图像处理设备、成像设备和图像处理方法
JP2015186170A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 画像処理装置および画像処理方法
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
JP6263461B2 (ja) * 2014-09-26 2018-01-17 日立オートモティブシステムズ株式会社 撮像装置
JP6573386B2 (ja) * 2014-12-01 2019-09-11 キヤノン株式会社 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650622A (zh) * 2002-03-13 2005-08-03 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
JP2008085697A (ja) * 2006-09-28 2008-04-10 Kyocera Corp 撮像装置、並びにその製造装置および製造方法
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
CN102687500A (zh) * 2010-08-05 2012-09-19 松下电器产业株式会社 图像恢复装置以及图像恢复方法
JP2012156716A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2016052027A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
US20190340788A1 (en) 2019-11-07
US10931888B2 (en) 2021-02-23
WO2018150695A1 (ja) 2018-08-23
CN110249620B (zh) 2021-04-23
JP6628908B2 (ja) 2020-01-15
JPWO2018150695A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
Jiang et al. Learning the image processing pipeline
CN102625043B (zh) 图像处理设备、成像设备和图像处理方法
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP7016835B2 (ja) 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
US8659672B2 (en) Image processing apparatus and image pickup apparatus using same
US8730371B2 (en) Image processing apparatus and image processing method, and data processing apparatus and data processing method
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
CN104956661B (zh) 图像拾取装置、图像处理装置、图像处理方法
CN110225330A (zh) 用于多视点降噪和高动态范围的系统和方法
WO2014136323A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
CN106416218B (zh) 图像处理装置、摄像装置、图像处理方法以及存储介质
CN107852456A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN110249620A (zh) 图像处理装置、图像处理方法及相机系统
CN107534728A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN110249619A (zh) 图像处理装置、图像处理方法及相机系统
JP2012156716A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
CN107534732A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
WO2011121761A1 (ja) 画像処理装置、およびそれを用いた撮像装置
Koskiranta Improving automatic imaging algorithms with dual camera system
JP2012156710A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant