CN112313938B - 摄像装置、图像校正方法以及计算机可读记录介质 - Google Patents

摄像装置、图像校正方法以及计算机可读记录介质 Download PDF

Info

Publication number
CN112313938B
CN112313938B CN201880094934.2A CN201880094934A CN112313938B CN 112313938 B CN112313938 B CN 112313938B CN 201880094934 A CN201880094934 A CN 201880094934A CN 112313938 B CN112313938 B CN 112313938B
Authority
CN
China
Prior art keywords
image
motion vector
interpolation
optical path
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880094934.2A
Other languages
English (en)
Other versions
CN112313938A (zh
Inventor
三本木将夫
福西宗宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112313938A publication Critical patent/CN112313938A/zh
Application granted granted Critical
Publication of CN112313938B publication Critical patent/CN112313938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

摄像装置按照时间序列切换第1光路和与所述第1光路具有视差的第2光路，对基于通过了所述第1光路的光所形成的被摄体的像的第1图像和基于通过了所述第2光路的光所形成的被摄体的像的第2图像进行拍摄，该摄像装置具有：运动矢量计算部，其根据从多个所述第1图像选择的、基准第1图像和摄像时刻与所述基准第1图像不同的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量；运动矢量插值部，其基于所述分割区域的亮度值，根据每个所述分割区域的所述运动矢量对所述基准第1图像的每个像素的插值运动矢量进行插值；以及图像校正部，其使用所述插值运动矢量，根据所述第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为时间上前后的所述第1图像的预测图像。

Description

摄像装置、图像校正方法以及计算机可读记录介质
技术领域
本发明涉及时分立体方式的摄像装置、图像校正方法以及图像校正程序。
背景技术
以往，使用如下摄像装置，该摄像装置具有两个不同的光路，并具有根据立体测量的原理来测量被摄体的三维坐标和被摄体的大小的立体测量功能。
例如，如专利文献1所示那样，测量内窥镜装置具有存在视差的两个光学系统。测量内窥镜装置同时拍摄由各个光学系统得到的光学像。测量内窥镜装置使用所生成的两个图像，根据立体测量的原理来计算被摄体的三维坐标和被摄体的大小。
专利文献2所示的立体测量装置具有光学系统，该光学系统使通过了两个不同的光路(称为第1光路和第2光路)的光所形成的被摄体的两个像成像于摄像元件的共同区域。另外，立体测量装置具有光路切换单元，该光路切换单元切换光路，以拍摄仅由通过了两个光路中的任意一方的光形成的被摄体像。
在使用专利文献2的立体测量装置进行被摄体的测量的情况下，通过基于通过了第1光路的光所形成的第1被摄体像的摄像而生成图像(称为第1图像)。接着，切换光路，并且通过基于通过了第2光路的光所形成的第2被摄体像的摄像而生成图像(称为第2图像)。根据第1图像和第2图像所具有的视差，使用立体测量的原理来测量被摄体的形状。
在这样的时分立体方式的摄像装置中，由于第1图像和第2图像是在不同的时刻拍摄的图像，因此有时在第1图像与第2图像之间产生由摄像时间差引起的运动偏差。特别是在被摄体快速运动的情况下、或摄像装置因手抖动等而运动的情况下，在第1图像与第2图像之间由摄像时间差引起的运动偏差变得显著。在产生了由摄像时间差引起的运动偏差的情况下，有时无法正确地进行立体测量。
为了抑制由在时分立体方式的摄像装置中产生的摄像时间差引起的运动偏差，需要将第1图像和第2图像中的任意一方的图像校正为在时间上前后的预测图像，消除摄像时间差。
作为将图像校正为时间上前后的预测图像的方法，有使用运动矢量来预测图像的运动的方法。例如，专利文献3所记载的摄像装置从两个图像中检测运动矢量，使用检测出的运动矢量等将基准图像校正为没有像抖动的预测图像。
现有技术文献
专利文献
专利文献1：日本特开2004-049638号公报
专利文献2：日本特开2010-128354号公报
专利文献3：日本特开2014-126861号公报
发明内容
发明要解决的课题
但是，在由摄像装置拍摄的图像是拍摄了被摄体距离的偏差较多的被摄体的图像的情况下，运动矢量的变化的倾向根据被摄体距离而不同的情况较多，在使用了不考虑被摄体距离的运动矢量的校正中，存在无法将该图像正确地校正为时间上前后的预测图像的课题。
鉴于上述情况，本发明的目的在于，提供即使是对被摄体距离的偏差较多的被摄体进行拍摄而得到的图像，也能够将该图像校正为时间上前后的预测图像的时分立体方式的摄像装置、图像校正方法以及图像校正程序。
用于解决课题的手段
为了解决上述课题，本发明提出了以下的手段。
本发明的第1方式为摄像装置，其按照时间序列切换第1光路和与所述第1光路具有视差的第2光路，对第1图像和第2图像进行拍摄，该第1图像是基于通过了所述第1光路的光所形成的被摄体的像的图像，该第2图像是基于通过了所述第2光路的光所形成的被摄体的像的图像，其中，该摄像装置具有：运动矢量计算部，其根据从多个所述第1图像中选择出的基准第1图像和从多个所述第1图像中选择出的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量，所述参照第1图像的摄像时刻与所述基准第1图像的摄像时刻不同；运动矢量插值部，其基于所述分割区域的亮度值，根据每个所述分割区域的所述运动矢量对所述基准第1图像的每个像素的插值运动矢量进行插值；以及图像校正部，其使用所述插值运动矢量，根据所述第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为在时间上前后的所述第1图像的预测图像。
本发明的第2方式为图像校正方法，其具有如下工序：运动矢量计算工序，根据基准第1图像和摄像时刻与所述基准第1图像不同的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量；运动矢量插值工序，基于所述分割区域的亮度值，根据每个所述分割区域的所述运动矢量对所述基准第1图像的每个像素的插值运动矢量进行插值；以及图像校正工序，使用所述插值运动矢量将所述基准第1图像或所述参照第1图像校正为在时间上前后的预测图像。
本发明的第3方式为图像校正程序，其对按照时间序列切换第1光路和与所述第1光路具有视差的第2光路而拍摄的、第1图像和第2图像进行处理，该第1图像是基于通过了所述第1光路的光所形成的被摄体的像的图像，该第2图像是基于通过了所述第2光路的光所形成的被摄体的像的图像，其中，该图像校正程序使计算机执行如下步骤：根据从多个所述第1图像选择的基准第1图像和从多个所述第1图像选择的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量，所述参照第1图像的摄像时刻与所述基准第1图像的摄像时刻不同；基于所述分割区域的亮度值，根据每个所述分割区域的所述运动矢量对所述基准第1图像的每个像素的插值运动矢量进行插值；以及使用所述插值运动矢量，根据所述第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为在时间上前后的所述第1图像的预测图像。
发明效果
根据本发明的摄像装置、图像校正方法以及图像校正程序，即使是对被摄体距离的偏差较多的被摄体进行拍摄而得到的图像，也能够将该图像校正为在时间上前后的预测图像。
附图说明
图1是本发明的第1实施方式的摄像装置的结构图。
图2是以时间序列表示由该摄像装置的摄像处理部生成的图像信号的说明图。
图3是该摄像装置的运动矢量计算部的结构图。
图4是关于该摄像装置的运动矢量计算区域设定的说明图。
图5是关于该摄像装置的运动矢量计算区域设定的说明图。
图6是关于该摄像装置进行的运动矢量计算的说明图。
图7是该摄像装置的运动矢量插值部的结构图。
图8是关于该摄像装置进行的运动矢量插值的说明图。
图9是示出通过该摄像装置对被摄体进行拍摄的情形的图。
图10是图9所示的被摄体的A-A剖面的剖视图。
图11是示出图9所示的被摄体的A-A剖面中的表面的亮度值的曲线图。
图12是该摄像装置的控制部的结构图。
图13是在作为该摄像装置的变形例的外部的计算机系统中进行动作的程序的流程图。
图14是本发明的第2实施方式的摄像装置的结构图。
图15是关于该摄像装置的运动矢量计算区域设定的说明图。
图16是关于该摄像装置的运动矢量计算区域设定的说明图。
图17是在作为该摄像装置的变形例的外部的计算机系统中进行动作的程序的流程图。
具体实施方式
(第1实施方式)
参照图1至图12对本发明的第1实施方式进行说明。
图1是本发明的第1实施方式的摄像装置100的结构图。以下，对摄像装置100是内窥镜装置的例子进行说明。
如图1所示，摄像装置100具有插入部1、控制单元5、操作部6以及显示部7。
【插入部1】
插入部1插入到测量对象的物体的内部。插入部1具有前端部2和沿着插入部1的长度轴方向延伸设置的长条的插入部主体3。
前端部2配置在插入部主体3的前端。前端部2具有第1光学系统21、第2光学系统22、光路设定部23、成像光学系统24、摄像元件(摄像部)25以及照明部26。
例如，第1光学系统21和第2光学系统22具有组合了凹透镜和凸透镜的物镜。第2光学系统22被配置为相对于第1光学系统21具有视差。即，第1光学系统21和第2光学系统22在视差方向上分离。视差方向是穿过第1光学系统21的光学中心(主点)和第2光学系统22的光学中心(主点)的直线的方向。入射到第1光学系统21的光通过第1光路L1。入射到第2光学系统22的光通过与第1光路L1不同的第2光路L2。第1光学系统21形成被摄体的第1像，并且第2光学系统22形成被摄体的第2像。
光路设定部23在第1光路L1与第2光路L2之间切换光路，使得仅第1像和第2像中的任意一方成像于摄像元件25的摄像区域。即，光路设定部23将第1光路L1和第2光路L2中的任意一方设定为摄像时的光路，使得仅第1像和第2像中的任意一方成像于摄像元件25的摄像区域。光路设定部23构成为仅使通过第1光路L1和第2光路L2中的任意一方的光透射过，并且遮蔽通过另一方的光。
例如，光路设定部23包含仅插入到第1光路L1和第2光路L2中的任意一方的遮光板。在光路设定部23使第1光路L1的光透射过时，遮光板插入第2光路L2，将第2光路L2的光遮蔽。在光路设定部23使第2光路L2的光透射过时，遮光板插入第1光路L1，将第1光路L1的光遮蔽。光路设定部23对光路的切换动作由来自控制单元5的摄像控制部502的控制信号进行控制。
成像光学系统24使基于通过了第1光路L1的光和通过了第2光路L2的光中的任意一方的被摄体像成像在摄像元件25的摄像区域。基于仅通过第1光路L1和第2光路L2中的被设定为摄像时的光路的光路的光的被摄体像成像于摄像元件25的摄像区域。
摄像元件25具有摄像区域，在该摄像区域中，通过第1光路L1的光所形成的被摄体的第1像和通过与第1光路L1不同的第2光路L2的光所形成的被摄体的第2像共同成像。摄像元件25对所成像的被摄体像进行光电转换，生成摄像信号。摄像元件25例如是RGB原色系的单板CCD(Charge Couple Device；电荷耦合器件)图像传感器。另外，摄像元件25也可以由CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)构成。摄像元件25的动作由来自控制单元5的摄像控制部502的控制信号进行控制。
摄像元件25经由第1光学系统21在第1摄像定时拍摄第1像。摄像元件25生成基于成像于摄像区域的第1像的“第1图像”的摄像信号。摄像元件25将第1图像的摄像信号输出给控制单元5。
摄像元件25经由第2光学系统22在不同于第1摄像定时的第2摄像定时拍摄第2像。摄像元件25生成基于成像于摄像区域的第2像的“第2图像”的摄像信号。摄像元件25将第2图像的摄像信号输出给控制单元5。
照明部26具有产生向被摄体照射的照明光的光源。例如，光源是LED(LightEmitting Diode：发光二极管)。也可以将照明部26配置在控制单元5内，并且通过光导将照明部26产生的照明光引导至前端部2。
【控制单元5】
控制单元(控制装置)5与插入部1连接。如图1所示，控制单元5具有摄像处理部50、运动矢量计算部51、运动矢量插值部52、图像校正部53、输出部54以及控制部55。
摄像处理部50控制前端部2的摄像元件25等。另外，摄像处理部50对从摄像元件25输入的摄像信号进行处理而生成图像信号。摄像处理部具有A/D转换部500、缓冲器501、摄像控制部502以及摄像信号处理部503。
A/D转换部500将从摄像元件25输入的第1图像的摄像信号和第2图像的摄像信号转换为数字信号并保存在缓冲器501中。
缓冲器501是由RAM或寄存器文件等构成的易失性的存储介质。缓冲器501可以保存至少两个第1图像和第2图像。
摄像控制部502根据控制部55的指示，控制光路设定部23对光路的切换动作和摄像元件25的动作。另外，摄像控制部502控制未图示的AF马达以控制第1光学系统21和第2光学系统22的焦距。另外，在摄像控制部502中，使用摄像信号中的亮度电平和未图示的亮度传感器来控制电子快门速度等，以调整入射光量。
摄像信号处理部503读入保存在缓冲器501中的单板状态的摄像信号，生成进行了白平衡处理、图像格式转换、插值处理等的图像信号例如RGB的三板状态的图像信号。摄像信号处理部503也可以通过式1所示的运算，将RGB信号转换为亮度色差信号(YCbCr信号)。
【数学式1】
Figure GDA0003516439170000071
图2是以时间序列表示由摄像处理部50生成的图像信号的说明图。
摄像控制部502在时刻t1控制光路设定部23，仅让通过第1光路L1的光透射过。摄像元件25经由第1光学系统21拍摄第1像，并将基于成像于摄像区域的第1像的第1图像的摄像信号输出给摄像处理部50。摄像处理部50将第1图像的摄像信号转换为第1图像的图像信号g11。
接下来，摄像控制部502在时刻t2控制光路设定部23，仅让通过第2光路L2的光透射过。摄像元件25经由第2光学系统22拍摄第2像，并将基于成像于摄像区域的第2像的第2图像的摄像信号输出给摄像处理部50。摄像处理部50将第2图像的摄像信号转换为第2图像的图像信号g22。
接下来，摄像控制部502在时刻t3控制光路设定部23，再次仅让通过第1光路L1的光透射过。摄像元件25经由第1光学系统21拍摄第1像，并将基于成像于摄像区域的第1像的第1图像的摄像信号输出给摄像处理部50。摄像处理部50将第1图像的摄像信号转换为第1图像的图像信号g13。
如图2所示，摄像装置100是以时分方式获取第1图像和第2图像的时分立体方式的摄像装置。因此，摄像处理部50所生成的第1图像g11、第2图像g22以及第1图像g13为在不同的时刻拍摄的图像信号。
在根据第1图像和第2图像所具有的视差进行立体测量的情况下，使用第1图像g11和第1图像g13中的任意一方和第2图像g22。但是，由于第1图像(g11或g13)和第2图像(g22)是在不同的时刻拍摄的图像，因此有时在第1图像与第2图像之间产生由摄像时间差引起的运动偏差。特别是在被摄体快速运动的情况下、或摄像装置因手抖动等而运动的情况下，在第1图像与第2图像之间由摄像时间差引起的运动偏差变得显著。在产生了由摄像时间差引起的运动偏差的情况下，有时无法正确地进行立体测量。
因此，控制单元5将第1图像(g11或g13)中的任意一方的图像校正为时间上前后的预测图像g’12。如图2所示，预测图像g’12是在第2图像g22被拍摄的摄像时刻t2的第1图像的预测图像。如果在立体测量中使用预测图像g’12和第2图像g22，则能够抑制立体测量中的由摄像时间差引起的运动偏差。预测图像g’12由运动矢量计算部51、运动矢量插值部52以及图像校正部53生成。
摄像处理部50将第1图像g11和第1图像g13输出给运动矢量计算部51。另外，摄像处理部50将第2图像g22、第1图像g11以及第1图像g13输出给图像校正部53。
图3是运动矢量计算部51的结构图。
运动矢量计算部51具有运动矢量计算区域设定部510和矢量计算部511。运动矢量计算部51根据相同图像尺寸的2张第1图像(将一方称为基准帧，将另一方称为参照帧)计算运动矢量。
从多个第1图像中选择的摄像时刻不同的2张第1图像(g11和g13)被输入到运动矢量计算部51。运动矢量计算部51将第1图像g11作为基准帧(基准第1图像)，将第1图像g13作为参照帧(参照第1图像)，根据第1图像g11计算相对于第1图像g13的运动矢量(运动矢量计算工序)。
图4和图5是关于运动矢量计算区域设定的说明图。图4示出了基准帧，图5示出了参照帧。
运动矢量计算部51从参照帧内的特定的区域(搜索块S)检测与基准帧内的特定的区域(基准块B)类似的区域(匹配块M)，并根据基准块B与匹配块M之间的位置关系计算运动矢量。另外，基准块B和匹配块M的区域的大小相等。
基准块(分割区域)B是将基准帧例如分割成水平方向上5个像素和垂直方向上5个像素(以下称为“5×5”)的区域的区域。基准块B的基准点(例如，中心点，左上端的像素，重心点等)在水平方向和垂直方向上以规定的像素间隔排列。
搜索块S是比基准块B大的区域，例如是“9×9”的区域，并被用作匹配块M的搜索区域。
在以下的说明中，为了说明图像的像素的位置而使用XY坐标。将水平方向设为X轴方向，将垂直方向设为Y轴方向，将左上设为原点。XY坐标表现为(X，Y)＝(0，0)。
运动矢量计算区域设定部510按照每个基准块B设定作为搜索对象的搜索块S。搜索块S被设定为使得基准块B的基准点坐标包含在搜索块S的坐标范围内。例如，如图4和图5所示，在基准块B1的中心坐标为(x1，y1)的情况下，搜索块S1被设定为(x1，y1)成为中心图像。
运动矢量计算区域设定部510从自摄像信号处理部503输入的基准帧和参照帧中选择基准块B和与该基准块B成对的搜索块S的图像数据，并将该图像数据输出给矢量计算部511。
图6是关于运动矢量计算的说明图。
如图6所示，矢量计算部511针对搜索块S1设定区域的大小与基准块B1相等的参照块(R1-R25)，计算基准块B1与参照块(R1-R25)的类似度。如图6所示，参照块(R1-R25)在搜索块S1的区域内，是在X方向或Y方向上各相差1个像素的多个区域。
作为类似度，例如能够使用SAD(Sum of Absolute Differences：差分绝对值和)、SSD(Sum of Squared Differences：差分平方和)、NCC(Normalized Cross Correlation：归一化互相关)、以及ZNCC(Zeromeans Normalized Cross Correlation：零均值归一化互相关)等指标值。
矢量计算部511也可以以基准块B1的中心坐标即(x1，y1)为中心坐标的参照块R13为起点，依次运算求出上下左右相邻的参照块的类似度。另外，矢量计算部511也可以并行地运算求出设定在搜索块S1内的多个参照块的类似度。
当完成基准块B1与所有参照块(R1-R25)之间的类似度的计算时，矢量计算部511将类似度最高的参照块作为匹配块M1。矢量计算部511将所选择的匹配块M1的规定的基准点(例如，中心点，左上端的像素，重心点等)的坐标与基准块B1的基准点的坐标的差分确定为“运动矢量”。但是，在基准块B1与参照块(R1-R25)之间的类似度均没有达到规定的类似度的情况下，运动矢量的检测结果为“未检测到”。
接下来，运动矢量计算区域设定部510和矢量计算部511依次检测处理中的基准帧内的其他基准块B的运动矢量，并检测关于所有的基准块B的运动矢量。
矢量计算部511将针对基准块B检测出的运动矢量输出给运动矢量插值部52。对于没有检测到运动矢量的基准块B，输出表示没有检测到运动矢量的运动“矢量未检测标志”。
图7是运动矢量插值部52的结构图。
运动矢量插值部52具有插值矢量提取部520和插值部521。运动矢量插值部52根据运动矢量计算部51按照每个基准块B求出的运动矢量，通过插值而生成每个像素的运动矢量(插值运动矢量)(运动矢量插值工序)。
插值矢量提取部520从自运动矢量计算部51传送的每个基准块B的运动矢量中提取用于插值的运动矢量。插值矢量提取部520通过公知的四邻近选择方法提取四个基准块B的运动矢量，关于该基准块B，(i)是接近通过插值而生成运动矢量的对象坐标的基准块，并且，(ii)并非未检测到运动矢量。
图8是关于运动矢量插值的说明图。
例如，如图8所示，插值矢量提取部520提取接近通过插值而生成运动矢量的对象坐标x(x，y)的四个相邻的运动矢量v(x1)～v(x4)。插值矢量提取部520将提取的运动矢量v(x1)～v(x4)输出给插值部521。
插值部521使用提取的运动矢量v(x1)～v(x4)，通过式2所示的运算，利用四邻近插值而生成坐标x(x，y)处的运动矢量v’(x)。
【数学式2】
Figure GDA0003516439170000101
式2中的wj例如像式3那样是基于图像空间中的平面距离的加权。这里，平面距离是坐标x(x，y)和与提取的运动矢量对应的基准块B的基准点xj之间的距离。
【数学式3】
wj＝wx(x，xj)…式3
式3中的Wx(x，xj)例如可以通过式4求出。这里，σx表示图像空间中的高斯分布中的方差。
【数学式4】
Figure GDA0003516439170000102
Wx(x，xj)不限于式4所示的高斯函数，也可以是式5所示的权重。在式5中，a表示任意常数。
【数学式5】
Figure GDA0003516439170000111
另外，Wx(x，xj)也可以是式6所示的权重。
【数学式6】
Figure GDA0003516439170000112
在坐标x与所提取的运动矢量v(x1)～v(x4)的平面距离的差较大的情况下，插值部521减小权重。另外，在坐标x与所提取的运动矢量v(x1)～v(x4)的平面距离的差较小的情况下，插值部521增大权重。
图9是示出由摄像装置100拍摄被摄体S的情形的图。图9所示的被摄体S距摄像装置100的前端部2的距离(被摄体距离D)存在偏差。图10是图9所示的被摄体的A-A剖面的剖视图。曲线图的横轴表示与A-A剖面平行的x轴的坐标。如图10所示，被摄体距离D在被摄体S的高度为Z0的部分和被摄体S的高度为Z0+H的部分不同。
在通过摄像装置100拍摄了被摄体距离D的偏差多的被摄体S的情况下，根据第1图像g11和第1图像g13检测出的运动矢量大多会根据被摄体距离D而运动矢量的变化的倾向不同。例如，拍摄被摄体距离D较短的部分的像素的运动矢量大幅变化。另一方面，拍摄被摄体距离D较长的部分的像素的运动矢量的变化更小。因此，如果在运动矢量v’(x)的插值中仅使用基于式3所示的图像空间的平面距离的加权，则有时无法通过插值而正确地生成运动矢量v’(x)。
图11是示出图9所示的被摄体S的A-A剖面中的表面的亮度值的曲线图。曲线图的横轴表示与A-A剖面平行的x轴的坐标。
在被摄体的反射率大致均匀的情况下，亮度分布依赖于被摄体距离。另外，被摄体被从摄像装置100的前端部2的照明部26均匀地照射照明光。因此，可以大致判定为被摄体的亮度值高的部分是被摄体距离D短的部分，亮度值低的部分是被摄体距离D远的部分。因此，插值部521也可以将被摄体的亮度值用于式2中的wj的计算。
在插值部521中，在式2的wj中，例如像式7那样使用基于图像空间的平面距离的权重与基于亮度差的权重之积。这里，亮度差是坐标x(x，y)处的亮度值d与对应于所提取的运动矢量的基准块B的基准点的亮度值dj之间的亮度差(梯度)。这里，亮度值是Y信号或G信号。
【数学式7】
wj＝wx(x,xj)wd(d,dj)…式7
式7中的Wd(d，dj)例如可以通过式8求出。这里，σd表示亮度信号中的高斯分布中的方差。
【数学式8】
Figure GDA0003516439170000121
Wd(d，dj)不限于式8所示的高斯函数，也可以是式9所示的权重。在式9中，b表示任意常数。
【数学式9】
Figure GDA0003516439170000122
另外，Wd(d，dj)也可以是式10所示的权重。
【数学式10】
Figure GDA0003516439170000123
在亮度差较大的情况下，插值部521认为坐标x与所提取的运动矢量v(x1)～v(x4)的深度距离的差较大，而减小权重。另外，在亮度差较小的情况下，插值部521认为坐标x与提取出的运动矢量v(x1)～v(x4)的进深距离的差较小，而增大权重。插值部521通过这样的加权，能够进行考虑了被摄体距离D的运动矢量的校正。
插值部521将通过插值计算出的每个像素的运动矢量v’(x)输出给图像校正部53。
插值部521可以使用对比度值来代替亮度值。在该情况下，Wd(d，dj)例如可以通过式11来求出。
【数学式11】
Figure GDA0003516439170000131
图像校正部53根据计算出的每个像素的运动矢量v’(x)，将第1图像(g11或g13)中的任意一方的图像校正为时间上前后的预测图像g’12(图像校正工序)。在本实施方式中，将第1图像g11校正为预测图像g’12。可以通过式12从第1图像g11求出针对预测图像g’12的运动矢量v"(x)。
【数学式12】
Figure GDA0003516439170000132
在时刻t1和时刻t2的间隔与时刻t2和时刻t3的间隔相同的情况下，运动矢量v”(x)的大小为运动矢量v’(x)的大小的1/2。
图像校正部53可以通过将运动矢量v”(x)应用于第1图像g11的所有像素从而通过公知的方法生成预测图像g’12。图像校正部53将第1图像(g11和g13)和第2图像g22、生成的预测图像g’12输出给输出部54。
输出部54选择或者合成第1图像(g11和g13)和第2图像g22、生成的预测图像g’12来生成显示图像，并在规定的传送定时向显示部7传送显示图像。
如果输出部54制作将第2图像g22和预测图像g’12左右排列的显示图像，则用户可以在显示部7上观测摄像时刻t2的立体图像。
控制部55除了控制摄像处理部50、运动矢量计算部51、运动矢量插值部52、图像校正部53、输出部54之外，还控制前端部2、操作部6、显示部7。控制部55根据来自操作部的输入对它们设定动作参数。
图12是控制部55的结构图。
如图12所示，控制部55是具有处理器550、可读入程序的存储器551、存储部552、输入输出控制部553的可执行程序的处理装置(计算机)。控制部55的功能通过处理器550执行提供给控制部55的程序来实现。另外，控制部55的至少一部分功能也可以由专用的逻辑电路等构成。
例如，处理器550是CPU、DSP(Digital Signal Processor：数字信号处理器)或GPU(Graphics Processing Unit：图形处理单元)或者它们的组合。
输入输出控制部553实施控制单元5中的内部通信或用于与前端部2、操作部6以及显示部7进行动作控制的通信。
存储部552是存储上述程序和必要的数据的非易失性的记录介质。存储部552例如由ROM或闪存构成。记录在存储部552中的程序被读入到存储器551中，由处理器550执行。
上述程序例如可以通过闪存那样的“计算机可读取的记录介质”来提供。另外，上述程序也可以从具有保存该程序的存储装置等的计算机经由传送介质或通过传送介质中的传送波传送到摄像装置100。传送程序的“传送介质”是如因特网等网络(通信网)或电话线路等通信线路(通信线)那样具有传送信息的功能的介质。并且，上述程序也可以是能够通过与已经记录在控制部55中的程序的组合来实现控制部55的功能的差分文件(差分程序)。
另外，摄像处理部50、运动矢量计算部51、运动矢量插值部52、图像校正部53、输出部54与控制部55同样地可以由具有处理器等的可执行程序的处理装置(计算机)或专用的电子电路(逻辑电路等)或者它们的组合构成。
另外，摄像处理部50、运动矢量计算部51、运动矢量插值部52、图像校正部53、输出部54、控制部55既可以分别由单独的处理装置或电子电路构成，也可以其中至少一部分由共同的处理装置或电子电路构成。
【操作部6】
操作部6是从用户接受指示的用户界面。用户通过对操作部6进行操作，输入摄像装置100整体的各种动作控制所需的指示。操作部6将表示从用户接受到的指示的信号输出给控制部55。例如，操作部6是快门按钮、设定用按钮、设定用开关、键、鼠标、操纵杆、触摸板、轨迹球以及触摸面板中的至少一种。
【显示部7】
显示部7显示输出部54输出的显示图像。另外，显示部7显示操作控制内容。例如，将操作控制内容显示为菜单。例如，显示部7是液晶显示器和有机EL(ElectroLuminescence电致发光)显示器中的至少一种。显示部7也可以是触摸面板显示器。在该情况下，操作部6和显示部7被一体化。
另外，操作部6和显示部7在摄像装置100中不是必须的。
【摄像装置100的动作】
接下来，对第1实施方式的摄像装置100的动作进行说明
首先，用户使前端部2移动到能够拍摄被摄体的位置。接下来，用户对操作部6进行操作，开始摄像装置100的摄像。
如图2所示，摄像装置100在时刻t1拍摄第1图像g11。接下来，摄像装置100在时刻t2控制光路设定部23以切换光路，拍摄第2图像g22。接下来，摄像装置100在时刻t3控制光路设定部23以切换光路，拍摄第1图像g13。接下来，摄像装置100在时刻t4控制光路设定部23以切换光路，拍摄第2图像g24。
摄像装置100在完成了第1图像g13的摄像之后，根据第1图像g11和第1图像g13而生成预测图像g’12。如图2所示，预测图像g’12是第2图像g22被拍摄的时刻t2的第1图像的预测图像。生成的预测图像g’12从输出部54输出到显示部7。
摄像装置100在完成了第2图像g24的摄像之后，根据第2图像g22和第2图像g24而生成预测图像g’23。如图2所示，预测图像g’23是第1图像g13被拍摄的时刻t3的第2图像的预测图像。生成的预测图像g’23从输出部54输出到显示部7。
摄像装置100交替地重复实施第1图像的预测图像的生成和第2图像的预测图像的生成，直到有来自操作部6的动作停止指示为止。
根据本实施方式的摄像装置100，即使是对被摄体距离的偏差较多的被摄体进行拍摄而得到的图像，也能够将该图像校正为时间上前后的预测图像，能够提供在同一时刻拍摄的立体图像(第1图像和第2图像)。
根据本实施方式的摄像装置100，运动矢量v’(x)被用于预测图像的生成，并且每个图像的运动矢量v’(x)是通过插值从按照每个基准块B求出的运动矢量v(x)求出的。因此，能够高速地求出全部像素的运动矢量v’(x)。另外，在运动矢量v’(x)的插值中，将亮度值作为权重而用于插值运算。因此，能够进行考虑了被摄体距离D的运动矢量的校正。
以上，参照附图对本发明的第1实施方式进行了详细说明，但具体的结构并不限于该实施方式，也包含不脱离本发明的主旨的范围内的设计变更等。另外，在上述的第1实施方式和以下所示的变形例中示出的构成要素可以适当地组合来构成。
(变形例1)
可以通过计算机来实现上述实施方式的摄像装置100的至少一部分的功能。在该情况下，也可以通过将用于实现该功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行来实现。另外，这里所说的“计算机系统”包含OS或周边设备等硬件。另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可搬运介质、内置于计算机系统中的硬盘等存储装置。并且，“计算机可读取的记录介质”也可以包含如经由因特网等网络或电话线路等通信线路发送程序的情况下的通信线路那样在短时间内动态保持程序的记录介质、如该情况下的作为服务器或客户端的计算机系统内部的易失性存储器那样在一定时间内保持程序的记录介质。
例如，从摄像元件25将摄像信号作为Raw数据并将ISO感光度信息和图像信号尺寸等作为头信息而输出到外部的计算机系统。外部的计算机系统通过执行程序来实现摄像装置100的剩余的功能。图13是在外部的计算机系统中进行动作的程序的流程图。
如图13所示，计算机系统在步骤S1中读入头信息，在步骤S2中读入时间序列的摄像信号。
计算机系统在步骤S3中执行与摄像信号处理部503的处理相当的信号处理。
计算机系统在步骤S4中进行与运动矢量计算部51相当的处理，以计算出运动矢量。
计算机系统在步骤S5中进行与运动矢量插值部52相当的处理，以进行每个像素的运动矢量的插值。
计算机系统在步骤S6中进行与图像校正部53相当的处理，以进行图像信号的校正。
计算机系统在步骤S7中判定预定处理的图像(帧)的处理是否结束，在全部图像(全部帧)的处理结束的情况下，结束处理。
(变形例2)
在上述实施方式中，运动矢量v’(x)的插值使用了4邻近插值，但运动矢量的插值方法不限于此。运动矢量的插值可以是选择最邻近的一个点的最邻近插值，也可以通过提取邻近的八个点来进行插值。
(变形例3)
在上述实施方式中，通过插值而生成的预测图像g’12是第1图像g11的摄像时刻t1与第1图像g13的摄像时刻t3之间的摄像时刻t2的预测图像，但预测图像的方式并不限于此。也可以根据从第1图像g11和第1图像g13检测到的运动矢量v’(x)，通过插值来生成时间上在摄像时刻t1之前或者时间上在摄像时刻t3之后的预测图像。
(变形例4)
在上述实施方式中，在运动矢量的插值的权重计算中使用高斯函数等函数式，但权重的计算方法不限于此。运动矢量的插值中的权重也可以通过根据经验法则等决定的查找表进行计算。查找表将平面距离和亮度值等作为输入，而输出权重。
(第2实施方式)
接下来，参照图14至图16对本发明的第2实施方式进行说明。在以下的说明中，对于与已经说明的结构相同的结构标注相同的符号而省略重复的说明。本实施方式在控制单元具有距离测量部等方面与第1实施方式不同。
图14是本实施方式的摄像装置100B的结构图。
如图14所示，摄像装置100B具有插入部1、控制单元5B、操作部6以及显示部7。
如图14所示，控制单元5B除了摄像处理部50、运动矢量计算部51B、运动矢量插值部52B、图像校正部53、输出部54以及控制部55之外，还具有距离测量部56。
距离测量部56接收图像校正部53所输出的第2图像g22和图像校正部53所生成的预测图像g’12。距离测量部56根据在时刻t2拍摄的第2图像g22和时刻t2的第1图像的预测图像g’12，通过公知的立体测量方法，按照每个像素测量从前端部2至被摄体的被摄体距离D。距离测量部56将测量出的每个像素的被摄体距离D输出给运动矢量计算部51B和运动矢量插值部52B。
运动矢量计算部51B具有运动矢量计算区域设定部510B和矢量计算部511。运动矢量计算部51B在第1图像g11和第1图像g13的处理后，接着根据第2图像g22和第2图像g24按照每个基准块B计算运动矢量。这里，运动矢量计算部51B与运动矢量计算部51的不同之处在于，基准帧B的区域的大小不是均匀的，而是可变的。
图15和图16是关于运动矢量计算区域设定的说明图。图15示出了基准帧，图16示出了参照帧。
运动矢量计算区域设定部510B使用从距离测量部56输入的每个像素的被摄体距离D，确定在以规定的像素间隔在水平方向和垂直方向上排列的基准点处的基准块B的区域的大小。
例如，在基准块B的基准点的像素中的被摄体距离D短的情况下，运动矢量计算区域设定部510B将基准块B的区域的大小如图15的区域B1那样设定得校大。
在基准点的像素中的被摄体距离D短的情况下，由于基准点的像素拍摄靠近前端部2的被摄体，因此基准点周边的像素的运动矢量表现出与基准点的像素的运动矢量相同的倾向的概率较高。因此，通过增大基准块B的区域的大小，提高了运动矢量的检测处理效率。
另一方面，在基准块B的基准点的像素中的被摄体距离D长的情况下，运动矢量计算区域设定部510B将基准块B的区域如图15的区域B3那样设定得较小。
在基准点的像素中的被摄体距离D长的情况下，由于基准点的像素拍摄远离前端部2的被摄体，因此基准点周边的像素的运动矢量表现出与基准点的像素的运动矢量相同的倾向的概率较低。因此，通过减小基准块B的区域的大小，提高了运动矢量的检测精度。
如图16所示，运动矢量计算区域设定部510B根据基准块B的区域的大小按照每个基准块B设定作为搜索对象的搜索块S。
如图16所示，对于区域的大小大的基准块B1，设定区域的大小大的搜索块S1。另一方面，对于区域的大小小的基准块B3，设定区域的大小小的搜索块S3。
运动矢量插值部52B基于运动矢量计算部51B根据第2图像g22和第2图像g24求出的运动矢量，通过插值而生成每个像素的运动矢量。在该插值中，使用根据保存的第2图像g22和第1图像的预测图像g’12测量出的每个像素的被摄体距离D。
例如，式2中的wj例如通过式13所示的函数来计算。这里，z是坐标x(x，y)处的被摄体距离D，zj是与提取的运动矢量对应的基准块B的基准点的被摄体距离D。
【数学式13】
Figure GDA0003516439170000191
式13中的Wz(z，zj)例如可以通过式14求出。这里，σz表示图像空间中的高斯分布中的方差。
【数学式14】
wj＝wx(x,xj)wd(d,dj)wz(z，zj)…式14
另外，式13所示的权重使用了Wx(x，xj)、Wd(d，dj)、Wz(z，zj)的全部，但也可以选择使用任意一个或任意两个。
在被摄体距离D大的情况下，运动矢量插值部52B减小权重。另外，在被摄体距离D小的情况下，运动矢量插值部52B增大权重。运动矢量插值部52B通过这样的加权，能够进行考虑了实际的立体测量的被摄体距离D的运动矢量的校正。
根据本实施方式的摄像装置100B，与第1实施方式的摄像装置100相同，即使是拍摄了被摄体距离的偏差较多的被摄体的图像，也能够将该图像校正为时间上前后的预测图像，能够提供在同一时刻拍摄的立体图像(第1图像和第2图像)。另外，使用该立体图像，能够进行正确的立体测量。
根据本实施方式的摄像装置100B，对立体测量结果进行反馈，决定与被摄体距离D对应的基准块B和搜索块S的区域尺寸。其结果为，与摄像装置100相比，摄像装置100B具有更高的运动矢量的检测处理效率和更高的运动矢量的检测精度。
根据本实施方式的摄像装置100B，能够对立体测量结果进行反馈，进行与被摄体距离D对应的正确的运动矢量的插值。
以上，参照附图对本发明的第2实施方式进行了详细说明，但具体的结构并不限于该实施方式，也包含不脱离本发明的主旨的范围内的设计变更等。另外，在上述的第2实施方式和以下所示的变形例中示出的构成要素可以适当地组合来构成。
(变形例5)
也可以通过计算机来实现上述实施方式的摄像装置100B的至少一部分的功能。例如，从摄像元件25将摄像信号作为Raw数据并将ISO感光度信息和图像信号尺寸等作为头信息而输出到外部的计算机系统。外部的计算机系统通过执行程序来实现摄像装置100的剩余的功能。图17是在外部的计算机系统中进行动作的程序的流程图。
步骤S1～S3、S7与第1实施方式的变形例1所示的步骤S1～S3、S7相同。
如图17所示，计算机系统在步骤S14中进行与运动矢量计算部51B相当的处理，根据第1图像(g11和g13)计算运动矢量。
计算机系统在步骤S15中进行与运动矢量插值部52B相当的处理，根据第1图像(g11以及g13)进行每个像素的运动矢量的插值。
计算机系统在步骤S16中进行与图像校正部53相当的处理，生成基于第1图像g11和第1图像g13的预测图像g’12。
计算机系统在S17中进行与距离测量部56相当的处理，根据在时刻t2拍摄的第2图像g22和时刻t2的第1图像的预测图像g’12，按照每个像素测量从前端部2至被摄体的被摄体距离D。保存测量出的被摄体距离D。
计算机系统在步骤S7中，判断预定处理的图像(帧)的处理是否结束，在全部图像(全部帧)的处理结束的情况下，结束处理。在处理下一帧的情况下，计算机系统再次执行步骤S14。
计算机系统在步骤S14中进行与运动矢量计算部51B相当的处理，根据第2图像(g22和g24)计算运动矢量。在运动矢量的计算中使用在最近的步骤S17中保存的被摄体距离D。
计算机系统在步骤S15中进行与运动矢量插值部52B相当的处理，根据第2图像(g22和g24)进行每个像素的运动矢量的插值。在运动矢量的插值中使用在最近的步骤S17中保存的被摄体距离D。
计算机系统在步骤S16中进行与图像校正部53相当的处理，生成基于第2图像g22和第2图像g24的预测图像g’23。
计算机系统在步骤S17中，进行与距离测量部56相当的处理，根据在时刻t3拍摄的第1图像g13和时刻t3的第2图像的预测图像g’23，按照每个像素测量从前端部2至被摄体的被摄体距离D。保存测量出的被摄体距离D。
计算机系统在步骤S7中判定是否对图像信号的全部关注像素结束了处理，在全部关注像素的处理结束的情况下，结束处理。
产业上的可利用性
本发明能够应用于时分立体方式的摄像装置。
标号说明
100、100B：摄像装置；1：插入部；2：前端部；21：第1光学系统；22：第2光学系统；23：光路设定部；24：成像光学系统；25：摄像元件(摄像部)；26：照明部；3：插入部主体；5、5B：控制单元(控制装置)；50：摄像处理部；500：A/D转换部；501：缓冲器；502：摄像控制部；503：摄像信号处理部；51、51B：运动矢量计算部；510、510B：矢量计算区域设定部；511：矢量计算部；52、52B：运动矢量插值部；520：插值矢量提取部；521：插值部；53：图像校正部；54：输出部；55：控制部；550：处理器；551：存储器；552：存储部；553：输入输出控制部；56：距离测量部；6：操作部；7：显示部。

Claims (14)

1.一种摄像装置，其按照时间序列切换第1光路和与所述第1光路具有视差的第2光路，对第1图像和第2图像进行拍摄，该第1图像是基于通过了所述第1光路的光所形成的被摄体的像的图像，该第2图像是基于通过了所述第2光路的光所形成的被摄体的像的图像，其中，
该摄像装置具有：
运动矢量计算部，其根据从多个所述第1图像中选择出的基准第1图像和从多个所述第1图像中选择出的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量，所述参照第1图像的摄像时刻与所述基准第1图像的摄像时刻不同；
运动矢量插值部，其基于所述分割区域的亮度值，根据每个所述分割区域的所述运动矢量，通过插值生成所述基准第1图像的每个像素的插值运动矢量；以及
图像校正部，其使用所述插值运动矢量，根据所述第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为在时间上前后的所述第1图像的预测图像，
所述图像校正部将所述基准第1图像或所述参照第1图像校正为与所述第2图像的摄像时刻相同的时刻的所述第1图像的预测图像。
2.根据权利要求1所述的摄像装置，其中，
所述运动矢量插值部根据所述分割区域的亮度值进行加权，通过插值生成所述插值运动矢量。
3.根据权利要求2所述的摄像装置，其中，
运动矢量插值部将所述分割区域的所述亮度值的梯度在所述插值运动矢量的插值中用作权重。
4.根据权利要求3所述的摄像装置，其中，
所述亮度值的梯度越大则运动矢量插值部越减小所述权重，所述亮度值的梯度越小则运动矢量插值部越增大所述权重。
5.根据权利要求1所述的摄像装置，其中，
该摄像装置还具有距离测量部，该距离测量部使用所述第1图像的所述预测图像和所述第2图像进行立体测量。
6.根据权利要求5所述的摄像装置，其中，
所述运动矢量插值部将通过所述立体测量测量出的被摄体距离在所述插值运动矢量的插值中用作权重。
7.根据权利要求6所述的摄像装置，其中，
所述被摄体距离越大则所述运动矢量插值部越减小所述权重，所述被摄体距离越小则所述运动矢量插值部越增大所述权重。
8.根据权利要求6或7所述的摄像装置，其中，
所述运动矢量计算部根据所述被摄体距离设定所述分割区域的大小。
9.根据权利要求8所述的摄像装置，其中，
所述被摄体距离越短则所述运动矢量计算部将所述分割区域的大小设定得越大，所述被摄体距离越长则所述运动矢量计算部将所述分割区域的大小设定得越小。
10.一种图像校正方法，其具有如下工序：
运动矢量计算工序，根据从多个第1图像中选择出的基准第1图像和从多个所述第1图像中选择出的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量，所述参照第1图像的摄像时刻与所述基准第1图像的摄像时刻不同；
运动矢量插值工序，基于所述分割区域的亮度值进行加权，根据每个所述分割区域的所述运动矢量，通过插值生成所述基准第1图像的每个像素的插值运动矢量；以及
图像校正工序，使用所述插值运动矢量，根据第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为在时间上前后的预测图像，其中，将所述基准第1图像或所述参照第1图像校正为与所述第2图像的摄像时刻相同的时刻的所述第1图像的预测图像。
11.一种计算机可读记录介质，该计算机可读记录介质存储图像校正程序，该图像校正程序使计算机对按照时间序列切换第1光路和与所述第1光路具有视差的第2光路而拍摄的、第1图像和第2图像进行处理，该第1图像是基于通过了所述第1光路的光所形成的被摄体的像的图像，该第2图像是基于通过了所述第2光路的光所形成的被摄体的像的图像，其中，
该图像校正程序使所述计算机执行如下步骤：
根据从多个所述第1图像选择的基准第1图像和从多个所述第1图像选择的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量，所述参照第1图像的摄像时刻与所述基准第1图像的摄像时刻不同；
基于所述分割区域的亮度值，根据每个所述分割区域的所述运动矢量，通过插值生成所述基准第1图像的每个像素的插值运动矢量；以及
使用所述插值运动矢量，根据所述第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为在时间上前后的所述第1图像的预测图像，其中，将所述基准第1图像或所述参照第1图像校正为与所述第2图像的摄像时刻相同的时刻的所述第1图像的预测图像。
12.根据权利要求11所述的计算机可读记录介质，其中，
所述图像校正程序使所述计算机根据所述分割区域的亮度值进行加权，根据每个所述分割区域的所述运动矢量，通过插值生成所述基准第1图像的每个像素的插值运动矢量。
13.一种摄像装置，其按照时间序列切换第1光路和与所述第1光路具有视差的第2光路，对第1图像和第2图像进行拍摄，该第1图像是基于通过了所述第1光路的光所形成的被摄体的像的图像，该第2图像是基于通过了所述第2光路的光所形成的被摄体的像的图像，其中，所述摄像装置具有：
运动矢量计算部，其根据从多个所述第1图像中选择出的基准第1图像和从多个所述第1图像中选择出的参照第1图像，按照所述基准第1图像的每个分割区域计算运动矢量，所述参照第1图像的摄像时刻与所述基准第1图像的摄像时刻不同；
运动矢量插值部，其基于所述分割区域的对比度值，根据每个所述分割区域的所述运动矢量，通过插值生成所述基准第1图像的每个像素的插值运动矢量；以及
图像校正部，其使用所述插值运动矢量，根据所述第2图像的摄像时刻将所述基准第1图像或所述参照第1图像校正为在时间上前后的所述第1图像的预测图像，
所述图像校正部将所述基准第1图像或所述参照第1图像校正为与所述第2图像的摄像时刻相同的时刻的所述第1图像的预测图像。
14.根据权利要求13所述的摄像装置，其中，
所述运动矢量插值部根据所述分割区域的对比度值进行加权，通过插值生成所述插值运动矢量。
CN201880094934.2A 2018-07-10 2018-07-10 摄像装置、图像校正方法以及计算机可读记录介质 Active CN112313938B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026036 WO2020012556A1 (ja) 2018-07-10 2018-07-10 撮像装置、画像補正方法および画像補正プログラム

Publications (2)

Publication Number Publication Date
CN112313938A CN112313938A (zh) 2021-02-02
CN112313938B true CN112313938B (zh) 2022-06-21

Family

ID=69141762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094934.2A Active CN112313938B (zh) 2018-07-10 2018-07-10 摄像装置、图像校正方法以及计算机可读记录介质

Country Status (4)

Country Link
US (1) US11317014B2 (zh)
JP (1) JP7032532B2 (zh)
CN (1) CN112313938B (zh)
WO (1) WO2020012556A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
KR20230032359A (ko) * 2021-08-30 2023-03-07 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004049638A (ja) 2002-07-22 2004-02-19 Olympus Corp 内視鏡装置
JP4419062B2 (ja) 2004-03-29 2010-02-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
US8331710B2 (en) * 2007-11-06 2012-12-11 Sony Corporation Image processing apparatus and method, learning apparatus and method, and program
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP4750175B2 (ja) 2008-11-28 2011-08-17 オリンパスメディカルシステムズ株式会社 ステレオ光学系、並びにそれを用いたステレオ計測用光学装置、ステレオ計測装置及びステレオ観察装置
JP4873765B2 (ja) * 2009-11-20 2012-02-08 キヤノン株式会社 映像信号処理装置及び映像信号処理方法
JP2011205519A (ja) 2010-03-26 2011-10-13 On Semiconductor Trading Ltd フレームレート変換回路
CN103339940B (zh) * 2011-03-09 2016-08-10 株式会社东芝 运动图像编码方法以及运动图像解码方法
JP2014126861A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
WO2014168121A1 (ja) * 2013-04-11 2014-10-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6395506B2 (ja) * 2014-08-22 2018-09-26 キヤノン株式会社 画像処理装置および方法、プログラム、並びに撮像装置
JP6619565B2 (ja) 2015-05-21 2019-12-11 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2017038933A (ja) 2016-08-24 2017-02-23 オリンパス株式会社 ステレオ計測用画像取得装置及びステレオ計測用画像取得装置の作動方法

Also Published As

Publication number Publication date
JP7032532B2 (ja) 2022-03-08
CN112313938A (zh) 2021-02-02
US20210127053A1 (en) 2021-04-29
JPWO2020012556A1 (ja) 2021-08-05
WO2020012556A1 (ja) 2020-01-16
US11317014B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
US11835702B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
EP2330812B1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
KR101036858B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기억하는 기억 매체
US10002436B2 (en) Image processing device, image processing method, and solid-state imaging device
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
US11317014B2 (en) Image pickup apparatus, image correction method, and medium storing program
JP2017103688A (ja) 動きベクトル検出装置およびその制御方法
JP6564284B2 (ja) 画像処理装置および画像処理方法
JP6463402B2 (ja) 焦点調節装置および方法、および撮像装置
JP7451465B2 (ja) 学習方法、プログラム及び画像処理装置
JP6024135B2 (ja) 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
JP5689693B2 (ja) 描画処理装置
US11012631B2 (en) Image capturing and processing device, electronic instrument, image capturing and processing method, and recording medium
WO2020100215A1 (ja) 撮像装置、画像補正方法および画像補正プログラム
US11880991B2 (en) Imaging apparatus including depth information at first or second spatial resolution at different regions in the image
JP6415228B2 (ja) 画像合成装置および画像合成装置の制御方法
JP6464553B2 (ja) レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム
JP7346021B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP7278737B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP6608238B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2023048013A (ja) 撮像装置、撮像方法及びプログラム
JP2013118471A (ja) 映像処理装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230207

Address after: Nagano

Patentee after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.