CN107636532A - 摄像装置、内窥镜装置以及摄像方法 - Google Patents
摄像装置、内窥镜装置以及摄像方法 Download PDFInfo
- Publication number
- CN107636532A CN107636532A CN201580080578.5A CN201580080578A CN107636532A CN 107636532 A CN107636532 A CN 107636532A CN 201580080578 A CN201580080578 A CN 201580080578A CN 107636532 A CN107636532 A CN 107636532A
- Authority
- CN
- China
- Prior art keywords
- opening
- image
- movable mask
- mask
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2415—Stereoscopic endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Abstract
摄像装置包含摄像元件(40)、成像光学系统(10)、固定掩模(20)以及可动掩模(30)。成像光学系统(10)将被摄体(5)成像于摄像元件(40)。固定掩模(20)具有:第一~第三开口,它们分割成像光学系统(10)的光瞳;第一滤镜,其使第一波段通过;以及第二滤镜(FR),其使与第一波段不同的第二波段通过。可动掩模(30)具有遮光部(34)和对应于第一~第三开口而设置于遮光部的第四~第六开口,该可动掩模(30)相对于成像光学系统(10)可动。而且,第一滤镜设置于第一开口。第二滤镜设置于第二开口。第三开口设置在成像光学系统(10)的光轴(AXC)上。
Description
技术领域
本发明涉及摄像装置、内窥镜装置以及摄像方法等。
背景技术
以往,公知有光学测量三维形状的技术。例如,提出了基于左右双眼的立体视的立体摄像方式、基于正弦图案等的图案照明的相移方式、基于反射光的时间测定的TOF(Timeof Flight:飞行时间)方式等各种方式。
立体摄像方式只要是使摄像系统为立体光学系统的简单的机构即可,由于不需要特殊的照明机构和照明控制、高度的信号处理,因此考虑到现今的摄像系统的小型化技术的进步,适合小空间内的安装。例如,存在朝向内窥镜装置的前端部的安装和小型机器人的视觉传感器等大量需求。它们多是不仅期望高精度的测量功能,同时也期望高画质的正常观察功能,为了确保分辨率,采取了将视差图像成像于共同的摄像元件的形式而不是使用左右单独的摄像元件。在立体摄像方式中,基本在于根据左右图像的视差量来求取与被摄体的距离,因此如果无法将成像于共同的摄像元件的左右图像分离,则无法检测视差量,从而无法求取距离信息。
作为分离左右图像的方法,例如在专利文献1中公开了以下的方法:利用机械快门而在时间上切换左右的成像光路,以时分的方式取得左右的图像。或者,在专利文献2中公开了以下的方法:将RG滤镜插入到单一的成像光路的左半部分,将GB滤镜插入到右半部分,按照摄像图像的R图像和B图像而将左右图像分离。并且,在专利文献2中,在正常观察的情况下,使RG滤镜和GB滤镜从成像光路避开而取得观察图像。
现有技术文献
专利文献
专利文献1:日本特开2010-128354号公报
专利文献2:日本特开2013-3159号公报
发明内容
发明要解决的课题
然而,在上述那样的立体摄像方式中,存在摄像系统或者被摄体的移动会带来不良影响这样的课题。例如在专利文献1中由于以时分的方式来拍摄右图像和左图像,因此在摄像系统或者被摄体移动了的情况下,检测到包含该抖动在内的相位差,难以从该相位差中将抖动与真的相位差分离,因此产生测量误差。或者,在专利文献2中切换观察图像的摄影和视差图像的摄影,但可以认为是假定自动对焦,没有假定高速的切换。在三维形状测量中,如果想要使观察图像和视差图像一致,则需要高速的切换,但在专利文献2的结构中具有两个可动部,因此存在驱动机构变大、故障的概率变高等问题。
例如,在内窥镜装置等的照相机和被摄体没有被固定的用途中,上述那样的摄像系统与被摄体的相对的抖动容易成为问题。并且,通过增强应对移动的能力,有可能能够实现在一边移动照相机一边进行形状测量等以往来说较困难的测量。
根据本发明的几个方式,能够提供实现抑制了摄像系统或者被摄体的移动的影响的立体测量和观察图像的摄影的摄像装置、内窥镜装置以及摄像方法等。
用于解决课题的手段
本发明的一个方式涉及摄像装置,该摄像装置包含:摄像元件;成像光学系统,其将被摄体成像于所述摄像元件;固定掩模,其具有分割所述成像光学系统的光瞳的第一开口~第三开口、使第一波段通过的第一滤镜和使与所述第一波段不同的第二波段通过的第二滤镜;以及可动掩模,其具有遮光部和对应于所述第一开口~所述第三开口而设置于所述遮光部的第四开口~第六开口,该可动掩模相对于所述成像光学系统可动,所述第一滤镜设置于所述第一开口,所述第二滤镜设置于所述第二开口,所述第三开口设置在所述成像光学系统的光轴上。
根据本发明的一个方式,通过可动掩模构成为相对于成像光学系统可动,能够借助该可动掩模的位置的切换来实现立体测量和观察图像的摄影。此时,例如能够使用两个光路进行非时分的立体摄影,能够通过使作为可动部的可动掩模为一个等而抑制摄像系统或者被摄体的移动的影响。
并且,本发明的另一方式涉及摄像装置,该摄像装置包含:摄像元件;成像光学系统,其将被摄体成像于所述摄像元件;固定掩模,其具有分割所述成像光学系统的光瞳的第一开口~第三开口、使第一波段通过的第一滤镜以及使与所述第一波段不同的第二波段通过的第二滤镜;以及可动掩模,其具有遮光部、对应于所述第一开口、所述第三开口而设置于所述遮光部的第四开口和对应于所述第二开口而设置于所述遮光部的第五开口,该可动掩模相对于所述成像光学系统可动,所述第一滤镜设置于所述第一开口,所述第二滤镜设置于所述第二开口,所述第三开口设置在所述成像光学系统的光轴上。
并且,本发明的又一方式涉及摄像装置,该摄像装置包含:摄像元件;成像光学系统,其将被摄体成像于所述摄像元件;可动掩模,其具有第一开口~第三开口,相对于所述成像光学系统可动;以及固定掩模,其具有设置在所述成像光学系统的光轴上的第四开口,所述可动掩模具有:第一滤镜,其设置于所述第一开口,使第一波段通过;以及第二滤镜,其设置于所述第二开口,使与所述第一波段不同的第二波段通过,所述第四开口是比所述第一开口、所述第二开口之间的距离大的尺寸的开口。
并且,本发明的又一方式涉及内窥镜装置,其特征在于,该内窥镜装置包含上述任意方式所记载的摄像装置。
并且,本发明的又一方式涉及摄像方法,在非立体模式下,通过将具有遮光部和对应于固定掩模的第一开口~第三开口而设置于所述遮光部的第四开口~第六开口的可动掩模设定为第一状态,在沿着成像光学系统的光轴方向观察的情况下,使所述遮光部与所述第一开口和所述第二开口重叠,并且使所述第六开口与所述第三开口重叠,所述第一开口设置有使第一波段通过的第一滤镜,所述第二开口设置有使与所述第一波段不同的第二波段通过的第二滤镜,在立体模式下,通过将所述可动掩模设定为第二状态,在沿着所述光轴方向观察的情况下,使所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠,并且使所述遮光部与所述第三开口重叠。
附图说明
图1是本实施方式的基本结构例。
图2是本实施方式的基本结构例。
图3是固定掩模、可动掩模的详细的结构例。
图4是固定掩模、可动掩模的详细的结构例。
图5是各光瞳的分光特性。
图6是固定掩模、可动掩模的第一变形例。
图7是固定掩模、可动掩模的第一变形例。
图8是固定掩模、可动掩模的第二变形例。
图9是固定掩模、可动掩模的第二变形例。
图10是立体测量的原理的说明图。
图11是本实施方式的内窥镜装置的结构例。
图12是切换观察模式和立体测量模式的序列图。
具体实施方式
以下,对本实施方式进行说明。另外,以下说明的本实施方式并不是对在权利要求书中记载的本发明的内容进行不当限定。并且,在本实施方式中说明的所有结构不一定是本发明的必须结构要件。
例如以下将工业用的内窥镜装置作为本发明的应用例进行说明,但本发明不限于应用在工业用的内窥镜装置中,只要是通过立体摄影方式(检测由具有视差的摄像系统取得的两个图像的相位差而取得被摄体的距离信息的方法)来测量三维形状的三维测量装置或具有三维测量功能的摄像装置(例如医疗用的内窥镜装置、显微镜、工业用照相机、机器人的视觉功能等)就能够应用。
1.基本结构
首先对本实施方式的概要进行说明,接着对本实施方式的基本结构(原理的结构)进行说明。
在使用内窥镜装置的检查中,例如将镜体插入到检查对象内,一边拍摄正常的图像一边确认是否有异常,在发现了伤等想要详细地观察的部分时,测量该部分的三维形状,分析是否需要进行进一步的检查。这样,正常的观察图像是使用白色光而进行拍摄的。作为兼顾这样的使用白色光的摄影和立体测量的方法,考虑有例如使用白色光进行立体摄影。然而,当在立体摄影中使用白色光的情况下,需要将图像传感器分割成左、右,使左图像和右图像成像于各自的区域中,因此图像变得低分辨率。作为将左图像和右图像成像于图像传感器的同一区域的方法,具有颜色相位差法,但由于所拍摄的图像为色偏移图像,因此无法作为观察图像使用。
根据上述的内容,为了使用白色光在图像传感器的同一区域拍摄左图像和右图像,需要以时分的方式切换(例如专利文献1)。然而,在摄像系统与被摄体相对地运动了的情况下,在左图像与右图像之间存在运动抖动,因此三角测定变得不准确。尤其是在像内窥镜那样无法使照相机相对于被摄体固定的情况下,容易产生运动抖动。
在本实施方式中,能够使用白色光取得高分辨率的观察图像,并且能够利用颜色相位差进行非时分的立体测量。
作为利用颜色相位差以非时分的方式进行立体测量的方法,例如具有上述的专利文献2。然而,专利文献2将立体测量用于自动对焦,可以认为没有假定与观察图像的高速的切换。如上所述,由于具有两个作为可动部的滤镜,因此可以认为在高速的切换这方面不利。
并且,在专利文献2的结构中,只是将单一光路从正中间分成左、右,因此难以拉开光瞳之间的距离,存在难以达到距离测定的精度这样的问题。在内窥镜装置中,由于需要泛焦(pan-focus),因此光阑较小(F值较小),因此将该较小的光阑径分成左、右,容易使光瞳之间的距离变得较近。
并且,也包含立体的左右的时分方式的切换,需要在时分方式的切换中机械地移动(切换)快门和分光滤镜。由于在机械的移动中发生错误或故障,因此存在以下这样的问题:需要检测快门和分光滤镜处于切换的哪个状态(位置),如果存在错误,则进行修复。在实现这样的检测功能的情况下,错误的种类较少的话,检测和修复都容易。例如在专利文献2的结构中,有可能产生两个分光滤镜中的双方都没有插入于光瞳的情况、仅一方插入于光瞳的情况等多种错误,因此难以可靠地进行检测和修复。
在本实施方式中,能够通过以下那样的方法来解决上述那样的课题。即,在单眼光学系统中,将光瞳中心、左光瞳、右光瞳分离而设置,在一个摄像元件的共同区域内拍摄各光瞳的成像图像。设置有切换机构,使得左右光瞳的光路(第一光路、第二光路)和光瞳中心的光路(第三光路)能够交替地高速切换,采用通过时分的方式来切换取得第一图像(观察图像)的观察模式和取得第二图像(视差图像、立体图像、左右图像、测量图像)的测量模式的结构。
切换机构构成为使第一图像为仅利用光瞳中心的光路的图像,将第一图像用作正常观察用的图像。切换机构构成为使得第二图像是将来自左光瞳的光路和右光瞳的光路双方的图像重叠而得到的,将第二图像用作测量用图像。但是,左眼图像和右眼图像为利用光路中的分光滤镜来分离波段而得到的图像。
正常观察图像是没有视差的正常的彩色图像,测量用图像是具有左右的视差的分离图像。使用分离图像来求取视差量,从而根据立体测量的原理而计算与被摄体的距离信息,取得三维信息。由于在测量模式下能够同时取得视差图像,因此能够排除由被摄体抖动或者摄像系统的抖动引起的测量误差主要原因。并且,如后所述,通过使用分成了左眼光路和右眼光路的摄像系统,能够使可动部为一个,能够实现高速的切换、小型化、错误检测等。并且,通过使用分成了左光瞳的光路和右光瞳的光路的摄像系统,即使在小型的摄像系统中也容易确保视差、能够提高测量精度。
另外,作为本发明的应用对象,假定例如工业用内窥镜等摄像系统的位置不稳定(不固定)的装置、并且是摄像机构较小、无法为了确保分辨率而使用较大的摄像元件的装置。但是,本发明的应用不限于上述装置,能够广泛应用于以高精细观察、高精度测量为目的的三维测量装置。
接下来,使用图1、图2对本实施方式的基本结构进行说明。在图1、图2中示出了从横向观察摄像部时(包含光轴在内的平面上的)剖视图和摄像元件上的成像的光量(或者由摄像元件拍摄的图像的像素值)与位置x的关系。位置x是与成像光学系统的光轴垂直的方向上的位置(坐标),例如是摄像元件的像素位置。虽然实际上是二维的坐标系,但这里在二维中的视差方向的一维的坐标系下进行说明。
本实施方式的内窥镜装置包含成像光学系统10、可动掩模30(第一掩模)、固定掩模20(第二掩模)、摄像元件40(摄像传感器、图像传感器)。成像光学系统10是单眼的光学系统,例如由一个或者多个透镜构成。这里,以摄像元件40具有RGB拜耳阵列的滤色镜的情况为例进行说明,但不限于此,例如也可以具有补色滤镜等。
如图1、图2所示,由成像光学系统10将来自被摄体5的反射光成像在摄像元件40的面上。此时,由固定掩模20分割成光瞳中心和左右光瞳,由可动掩模30来切换光瞳中心的成像和左右光瞳的成像。它们成像于摄像元件40的同一区域。另外,省略了对被摄体5进行照明的照明机构的图示。d是左光瞳(固定掩模20的左眼光阑孔)的中心线IC1与右光瞳(固定掩模20的右眼光阑孔)的中心线IC2之间的距离,在立体测量中为基线长。另外,直线AXC是成像光学系统10的光轴。中心线IC1、IC2例如设置成与单眼的成像光学系统10的光轴AXC相距等距离。中心线IC1、IC2和光轴AXC优选在同一平面内,但不是必须在同一平面内。
固定掩模20、可动掩模30例如设置于成像光学系统10的光瞳位置。或者可以设置于比成像光学系统10靠成像侧的位置。固定掩模20相对于成像光学系统10固定,可动掩模30为能够在与光轴AXC垂直的平面内切换位置的结构。可动掩模30能够取得图1所示的作为第一状态的观察模式(第一模式、非立体模式、单眼模式)和图2所示的作为第二状态的立体测量模式(第二模式、立体模式)这两个模式,它们能够高速地切换。
固定掩模20包含:板状的遮光部(遮光部件),其设置有三个光阑孔(左眼光阑孔、右眼光阑孔、中心光阑孔);短波长(蓝色)分光滤镜,其设置于左眼光阑孔;以及长波长(红色)分光滤镜,其设置于右眼光阑孔。光阑孔以外的部分被遮光部覆盖,不让光通过。中心光阑孔例如可以是贯穿孔,或者可以设置某个分光滤镜(例如,至少使白色光透射的宽带的分光滤镜)。
可动掩模30包含设置有三个光阑孔的板状的遮光部(遮光部件)。可动掩模30构成为在各模式下遮光部能够覆盖固定掩模20的三个光阑孔中的中心光阑孔或者左右眼光阑孔那样的大小。光阑孔在观察模式下设置于与固定掩模20的中心光阑孔重叠的位置,并且在立体测量模式下设置于与左眼光阑孔和右眼光阑孔重叠的位置。以下,为了方便起见,在可动掩模30中也称作左眼光阑孔、右眼光阑孔、中心光阑孔。在图1、图2中图示了可动掩模30设置在比固定掩模20靠成像侧的位置的情况,但可动掩模30也可以设置在比固定掩模20靠物镜侧的位置。
以下,将固定掩模20的左眼光阑孔、右眼光阑孔、中心光阑孔的分光特性表示为FL、FR、FC,将可动掩模30的左眼光阑孔、右眼光阑孔、中心光阑孔的分光特性表示为SL、SR、SC。并且,为了便于理解,对于设置于各光阑孔的分光滤镜,也是使用相同的标号FL、FR、FC、SL、SR、SC表示。
图1示出了观察模式的状态,为光瞳中心的光路为经由固定掩模20的中心光阑孔和可动掩模的中心光阑孔而开放的状态,为左右光瞳的光路为被可动掩模30遮断(遮光)的状态。在该情况下,成像于摄像元件40的图像为仅使用了光瞳中心的成像图像IL,能够得到正常的(使用单眼的白色光的)摄像图像。
另一方面,图2示出了立体测量模式的状态,为固定掩模20的左眼光阑孔与可动掩模30的左眼光阑孔重叠的状态,为固定掩模20的右眼光阑孔与可动掩模30的右眼光阑孔重叠的状态。光瞳中心的光路为被可动掩模30遮断(遮光)的状态。即,在左光瞳侧的光路中,利用短波长(蓝色)分光滤镜SL(第一滤镜)对成像光进行过滤,将基于该短波长成分的图像IL’成像于摄像元件40。在右光瞳侧的光路中,利用长波长(红色)分光滤镜FR(第二滤镜)对成像光进行过滤,将基于该长波长成分的图像IR’成像于同一摄像元件40。
因此,在立体测量模式下,由摄像元件40的蓝色像素取得的图像IL’为短波长图像,由摄像元件40的红色像素取得的图像IR’为长波长图像,能够分离取得来自两个光路的图像IL’、IR’。即,在立体测量模式下,能够同时并且独立地取得具有相位差的左眼图像IL’和右眼图像IR’,能够进行基于相位差图像的立体测量。
2.固定掩模、可动掩模
在图3、图4中示出了固定掩模20、可动掩模30的详细的结构例。在图3、图4中示出了成像光学系统10、固定掩模20以及可动掩模30的剖视图和沿光轴方向观察固定掩模20和可动掩模30时的图(从成像侧观察时的后视图)。
在固定掩模20的左光瞳的光路中开设有具有短波长滤镜FL的光阑孔21,在右光瞳的光路中构成有具有长波长分光滤镜FR的光阑孔22,在光瞳中心的光路中设置有开放状态(通孔)的光阑孔23。光阑孔21、22是在遮光部24(遮光部件)上开设的,例如是与摄像系统所需的景深对应的尺寸的孔(例如在圆形状的孔中,尺寸为直径)。光阑孔21、22、23的中心(例如圆的中心)与中心线IC1、IC2、光轴AXC分别一致(包含大致一致)。遮光部24设置成在从正面(或者背面)观察收纳成像光学系统10的框体时堵塞框体,例如是设置成与光轴AXC垂直的板状部件。
可动掩模30具有开放状态(通孔)的光阑孔31、32、33和开设有该光阑孔31、32、33的遮光部34(遮光部件)。光阑孔31、32、33例如是比固定掩模20的光阑孔21、22、23稍大的尺寸的孔。或者可以是,与摄像系统所需的景深对应的尺寸的孔(例如在圆形状的孔中,尺寸为直径)。光阑孔33的中心(例如圆的中心)在观察模式下与光轴AXC一致(包含大致一致)。遮光部34连接于与光轴AXC垂直的旋转轴35,例如是设置成与光轴AXC垂直的板状部件。遮光部34的形状例如是扇型(扇的根部与轴35连接),但不限于此,只要是能够实现图3和图4的状态的形状即可。
可动掩模30是以旋转轴35为中心在与光轴AXC垂直的方向上旋转规定的角度的结构。能够利用例如压电元件或马达等而实现旋转运动。在图3的观察模式下,可动掩模30向右眼侧旋转、倾斜规定的角度,使固定掩模20的光瞳中心光路(光阑孔23)为开放状态,使左右光瞳光路(光阑孔21、22)为遮光状态。在图4的立体测量模式下,可动掩模30向左眼侧旋转、倾斜规定的角度,使固定掩模20的光瞳中心光路(光阑孔23)为遮光状态,使左右光瞳光路(光阑孔21、22)为开放状态。通过使具有分光滤镜FL的光阑孔21露出,左光瞳仅使短波长成分通过,通过使具有分光滤镜FR的光阑孔22露出,右光瞳仅使长波长成分通过。
另外,在上述内容中,对通过使可动掩模30轴旋转规定角度而形成两个状态的情况进行了说明,但不限于此。例如,也可以通过滑动动作使可动掩模30移动从而形成两个状态。旋转动作或者滑动动作能够利用例如磁铁机构或压电机构等实现,只要考虑高速性和耐久性来选择适当的装置即可。
3.各光瞳的分光特性
在图5中示出了固定掩模20的光瞳中心光路、左眼光路、右眼光路的分光特性FC、FL、FR。图5将分光滤镜(或者通孔)的透射波长与透射率的关系表示为相对增益。另外,作为参照特性,使用虚线示出了摄像元件40的彩色像素所具有的分光特性(分光灵敏度特性)。标号“C”、“L”、“R”分别表示光瞳中心光路、左眼光路、右眼光路,标号“r”、“g”、“b”、“ir”分别表示红色、绿色、蓝色、近红外。例如通过左光瞳光路而被摄像元件40的蓝色像素检测的光的分光特性表示为“Lb”。另外,为了便于理解,对于根据这些分光特性而取得的图像,也使用相同的标号(Lb等)表示。
如图5所示,固定掩模20的光瞳中心光路的分光特性FC设为包含摄像元件40的彩色像素所具有的分光特性Cb、Cg、Cr、Cir全部在内的特性。如果是单纯的开放状态(通孔),则使朝向被摄体5的照明分光特性如此即可。或者,也可以将具有图5所示的分光特性FC的分光滤镜设置于光瞳中心的光阑孔23中。
固定掩模20的左光瞳光路的分光特性FL设为包含蓝色b的分光特性Lb并且不包含红色r的分光特性的特性。另外,由于只要构成为能够充分确保左右图像(红色图像、蓝色图像)的分离性即可,因此分光特性FL无需设为完全不包含红色r的分光特性的特性,无需设为包含蓝色b的整个分光特性Lb的特性。
固定掩模20的右光瞳光路的分光特性FR设为包含红色r的分光特性Rr并且不包含蓝色b的分光特性的特性。另外,由于只要构成为能够充分确保左右图像(红色图像、蓝色图像)的分离性即可,因此分光特性FR无需设为完全不包含蓝色b的分光特性的特性,无需设为包含红色r的整个分光特性Rr的特性。
另外,由于可动掩模30的光阑孔31、32、33仅是使固定掩模20的光阑孔21、22、23为开放状态的,因此没有被限定的分光特性。例如,是与特性FC相同的分光特性。
4.摄像图像
观察模式下的摄像图像是仅经由光瞳中心光路而得到的图像,是由红色r、绿色g、蓝色b、近红外ir的成分构成的图像。因此,是不引起视差图像的重叠的简单的单眼摄像图像。
一般情况下,原色拜耳的摄像元件40的彩色像素具有红色成分Cr、绿色成分Cg、蓝色成分Cb作为灵敏度。并且,各像素具有近红外成分Cir作为灵敏度。因此,在观察模式下,能够分离取得下式(1)所示的三种彩色图像Vr、Vg、Vb。Vr、Vg、Vb表示观察模式下的红色图像、绿色图像、蓝色图像(或者,其分光特性)。
[数学式1]
在立体测量模式下,所取得的是经由左光瞳光路和右光瞳光路的两种视差图像,它们重叠地成像在同一摄像元件40上,因此为产生了像偏差(图2的相位差s)的摄像图像。该像偏差为视差量,从而能够根据立体测量的原理而取得被摄体的深度信息,但要想求取该视差量,需要将左眼图像和右眼图像分离、取得双方的关联(匹配)来检测相位差。
因此,立体测量模式时的左光瞳光路的分光特性FL设为使550nm以下的波长通过并且遮断550nm以上的波长的特性。并且,固定掩模20的右眼光路的分光特性FR设为使550nm以上并且800nm以下的波长通过并且遮断这以外的波长的特性。在任何情况下,都是根据摄像元件40的蓝色像素、红色像素的分光灵敏度特性来设定分光滤镜FL、FR。
因此,在立体测量模式时,取得来自左光瞳光路的左光瞳图像作为具有基于摄像元件40(原色拜耳)的蓝色像素的分光特性的Lb的分光特性的图像。并且,取得来自右光瞳光路的右光瞳图像作为具有基于摄像元件40(原色拜耳)的红色像素的分光特性的Lr的分光特性的图像。即,能够通过独立的彩色像素将下式(2)所示的左光瞳图像和右光瞳图像分离为Mr、Mb而取得。Mr、Mb表示立体测量模式下的红色图像、蓝色图像(或者,其分光特性)。另外,在摄像元件40为补色类型的情况下,只要根据补色信息(青色、品红色、黄色)而转换提取红色图像Mr、蓝色图像Mb即可。
[数学式2]
根据以上的实施方式,摄像装置(内窥镜装置)包含摄像元件40、成像光学系统10、固定掩模20以及可动掩模30。成像光学系统10将被摄体5成像于摄像元件40。固定掩模20具有:第一~第三开口(光阑孔21、22、23),它们将成像光学系统10的光瞳分割;第一滤镜FL,其使第一波段通过;以及第二滤镜FR,其使与第一波段不同的第二波段通过。可动掩模30具有遮光部34和第四~第六开口(光阑孔31、32、33),该第四~第六开口(光阑孔31、32、33)对应于第一~第三开口(光阑孔21、22、23)而设置于遮光部34,该可动掩模30相对于成像光学系统10可动。而且,第一滤镜FL设置于第一开口(光阑孔21)。第二滤镜FR设置于第二开口(光阑孔22)。第三开口(光阑孔23)设置在成像光学系统10的光轴AXC上。
通过采用这样的结构,能够进行图1~图4所说明那样的观测模式和立体测量模式的切换。并且,由于能够同时(不是以时分的方式)取得颜色相位差法的视差图像,因此能够进行准确的立体测量。并且,由于作为可动部的可动掩模30为一个,因此能够实现切换的高速化、驱动机构的简单化、模式切换下的故障和错误的抑制。并且,是在可动掩模30的遮光部34上设置有开口(光阑孔31、32、33)的简单的结构,能够抑制由切换的振动引起的滤镜偏移等问题。并且,由于利用固定掩模20的开口(光阑孔21、22)来明确地分出左右的光瞳,因此易于取得较大的立体测量中的基线长(图1、图10的d),能够进行准确的距离测定。
并且,考虑例如使用左右光瞳中的一方来拍摄单眼的观察图像的比较例的话,是使用离开了光轴的光瞳的摄影。关于该方面,在本实施方式中,通过在固定掩模20上设置三个开口(光阑孔21、22、23)并将其中一个设置在光轴AXC上,从而使观察图像为光瞳中心图像。由此,光线的渐晕变小,能够取得宽视角的观察图像。并且,能够取得高品质(例如失真较少)的成像。
并且,在考虑到被摄体5上的位置与像素位置的对应的情况下,立体测量中的相位差(图2的s)的中心(s/2的位置)与通过光瞳中心的光线一致。即,在本实施方式中,观察图像与距离图的同一像素对应于被摄体5上的同一位置。另一方面,在上述的比较例中观察图像向左具有视差,不是光瞳中心,因此,观察图像与距离图的不同的像素对应于被摄体5上的同一位置。在将观察图像和三维信息重叠而显示的情况等时,本实施方式有利。
在本实施方式中,第一开口(光阑孔21)对应于左光瞳,第二开口(光阑孔22)对应于右光瞳,第三开口(光阑孔23)对应于光瞳中心。另外,也可以是,第一开口对应于右光瞳,第二开口对应于左光瞳。并且,为了方便起见,将立体测量中的光瞳沿左右分离,但光瞳的分离方向不限于左右。在本实施方式中将开口称作光阑孔,但开口也可以不是必须具有作为光阑的功能(限制通过光瞳的光束的截面积的功能)。例如,在观察模式下光阑孔23、33重叠,但在光阑孔23较小的情况下,光阑孔23具有光阑的功能,在光阑孔33较小的情况下光阑孔33具有光阑的功能。
这里,光瞳分离(或者规定)成像光学系统10的成像光路。光路是成像于摄像元件40的光从光学系统的物镜侧入射直至到达摄像元件40的路径。即,通过成像光学系统10和固定掩模20的光阑孔21、22(在立体测量模式中进而通过可动掩模30的光阑孔31、32)的光路是第一、第二光路。并且,通过成像光学系统10和固定掩模20的光阑孔23(在观察模式中进而通过可动掩模30的光阑孔33)的光路是第三光路。
这里,掩模是遮蔽入射到掩模的光并且使一部分的光通过的部件或部品。在本实施方式的固定掩模20和可动掩模30中,遮光部24、34遮蔽光并且光阑孔21、22、23、31、32、33使光(整个带域或者一部分的带域)通过。
并且,例如在本实施方式中,第一波段对应于蓝色的波段(白色光的短波长侧的带域),第二波段对应于红色的波段(白色光的长波长侧的带域)。另外,也可以是,第一波段对应于红色的波段,第二波段对应于蓝色的波段。第一波段和第二波段只要能够按照波段将第一光路的图像和第二光路的图像分离即可。在本实施方式中按照拜耳摄像元件的蓝色图像和红色图像进行分离,但不限于此,只要是根据波段的分离而将视差图像分离的方法,就能够应用本发明。
并且,在本实施方式中,摄像装置包含控制可动掩模30的可动掩模控制部340(图13)。关于可动掩模控制部340,在非立体模式(观察模式)下,将可动掩模30设定为在沿着光轴AXC方向观察的情况下遮光部34与第一、第二开口(光阑孔21、22)重叠并且第六开口(光阑孔33)与第三开口(光阑孔23)重叠的第一状态(第一位置)。另一方面,在立体模式(立体测量模式)下,将可动掩模30设定为在沿着光轴AXC方向观察的情况下第四、第五开口(光阑孔31、32)与第一、第二开口(光阑孔21、22)重叠并且遮光部34与第三开口(光阑孔23)重叠的第二状态(第二位置)。
通过进行这样的可动掩模30的驱动控制,能够实现图1和图3的观察模式与图2和图4的立体测量模式的切换控制。即,在将可动掩模30设定为第一状态的情况下,第一、第二开口被遮光部34遮蔽,因此,是仅使用第三开口的摄影,在第三开口中没有插入分光滤镜,因此能够拍摄正常观察用的图像(白色光图像)。另一方面,在将可动掩模30设定为第二状态的情况下,由于在第一开口中固定有第一滤镜FL,在第二开口中固定有第二滤镜FR,因此能够拍摄颜色相位差法的视差图像。
并且,在本实施方式中,摄像元件40的摄像图像由红色r、绿色g以及蓝色b的图像构成。第一波段FL是对应于红色r或者蓝色b中的一方的波段。第二波段FR是对应于红色r或者蓝色b中的另一方的波段。
例如在本实施方式中,第一波段FL是蓝色的波段(与图5的特性Lb对应的带域SL),第二波段FR是红色的波段(与图5的特性Rr对应的带域FR),但不限于此,带域与颜色的对应也可以相反。另外,第一波段FL只要包含摄像元件40的红色像素或者蓝色像素中的一方的带域的至少一部分即可,第二波段FR只要包含摄像元件40的红色像素或者蓝色像素中的另一方的带域的至少一部分即可。例如,也可以是,第一、第二波段FL、FR在一部分(例如绿色的带域)重叠。
这样,通过第一、第二波段FL、FR被分离成红色r和蓝色b的波段,提取摄像图像的红色图像和蓝色图像,由此,能够取得视差图像。
5.变形例
对第一变形例进行说明。即,在上述的实施方式中以在可动掩模30上设置有三个光阑孔31、32、33的情况为例进行了说明,但不限于此。例如,也可以如图6、图7所示,在可动掩模30上设置两个光阑孔31、32。
具体而言,可动掩模30包含遮光部34和设置于遮光部34的光阑孔31、32。光阑孔31、32是开放状态(通孔),以旋转轴35为中心排列在同一圆上。光阑孔31是沿该同一圆的圆周方向延伸的形状,是在观察模式下与固定掩模20的光阑孔23重叠并且在立体测量模式下与固定掩模20的光阑孔21重叠那样的形状。
固定掩模20包含遮光部24和设置于遮光部24的三个光阑孔21、22、23。在光阑孔21、22中设置有分光滤镜FL、FR。光阑孔21、22、23以旋转轴35为中心排列在同一圆上。
在观察模式下,固定掩模20的光瞳中心的光阑孔23根据可动掩模30的光阑孔31而成为开放状态,固定掩模20的左右光瞳的光阑孔21、22被可动掩模30的遮光部34遮光,拍摄了基于单眼的白色光的图像。在立体测量模式下,固定掩模20的左右光瞳的光阑孔21、22根据可动掩模30的光阑孔31、32而成为开放状态,固定掩模20的光瞳中心的光阑孔23被可动掩模30的遮光部34遮光,拍摄了基于颜色相位差法的视差图像(红色图像、蓝色图像)。
根据本变形例,摄像装置(内窥镜装置)包含摄像元件40、成像光学系统10、固定掩模20以及可动掩模30。成像光学系统10将被摄体5成像于摄像元件40。固定掩模20具有:第一~第三开口(光阑孔21、22、23),它们将成像光学系统10的光瞳分割;第一滤镜FL,其使第一波段通过;以及第二滤镜FR,其使与第一波段不同的第二波段通过。可动掩模30具有:遮光部34;第四开口(光阑孔31),其对应于第一、第三开口(光阑孔21、23)而设置于遮光部34;以及第五开口(光阑孔32),其对应于第二开口(光阑孔22)而设置于遮光部34,该可动掩模30相对于成像光学系统10可动。而且,第一滤镜FL设置于第一开口(光阑孔21)中。第二滤镜FR设置于第二开口(光阑孔22)中。第三开口(光阑孔23)设置在成像光学系统10的光轴AXC上。
具体而言,摄像装置包含对可动掩模30进行控制的可动掩模控制部340。可动掩模控制部340在非立体模式(观察模式)下将可动掩模30设定为在沿着光轴AXC方向观察的情况下遮光部34与第一、第二开口(光阑孔21、22)重叠并且第四开口(光阑孔31)与第三开口(光阑孔23)重叠的第一状态。另一方面,在立体模式(立体测量模式)下,将可动掩模30设定为在沿着光轴AXC方向观察的情况下第四、第五开口(光阑孔31、32)与第一、第二开口(光阑孔21、22)重叠并且遮光部34与第三开口(光阑孔23)重叠的第二状态。
通过这样的结构,也能够实现观测模式与立体测量模式的切换、立体测量模式下的视差图像的同时取得、模式切换的高速化、可动掩模30的驱动机构的简单化、模式切换下的故障和错误的抑制、立体测量中的基线长的确保等。
接下来,对第二变形例进行说明。即,在上述的实施方式中以使用固定掩模20来分割光瞳的情况为例进行了说明,但不限于此。例如,也可以如图8、图9所示,使用可动掩模30来分割光瞳。
具体而言,固定掩模20具有遮光部24和设置于遮光部24的一个光阑孔26。光阑孔26的尺寸(圆的直径)大于可动掩模30的光阑孔36、37、38,为至少能够包含可动掩模30的光阑孔36、37的尺寸。
可动掩模30包含遮光部34和设置于遮光部34的光阑孔36、37、38。在光阑孔36、37中设置有分光滤镜SL、SR。分光滤镜SL、SR的分光特性与图5的分光特性FL、FR相同。光阑孔38是开放状态(通孔)。光阑孔36、37、38以旋转轴35为中心排列在同一圆上。
在观察模式下,可动掩模30的光阑孔38移动到光瞳中心而与固定掩模20的光阑孔26重叠,成为开放状态。并且,可动掩模30的光阑孔36、37被固定掩模20的遮光部24遮光,拍摄了基于单眼的白色光的图像。在立体测量模式下,可动掩模30的光阑孔36、37与固定掩模20的光阑孔26重叠,成为开放状态。并且,可动掩模30的光阑孔26被固定掩模20的遮光部24遮光,拍摄了基于颜色相位差法的视差图像(红色图像、蓝色图像)。
根据本变形例,摄像装置(内窥镜装置)包含摄像元件40、成像光学系统10、可动掩模30以及固定掩模20。成像光学系统10将被摄体5成像于摄像元件40。可动掩模30具有第一~第三开口(光阑孔36、37、38),相对于成像光学系统10可动。固定掩模20具有设置在成像光学系统10的光轴AXC上的第四开口(光阑孔26)。可动掩模30具有:第一滤镜SL,其设置于第一开口(光阑孔36),使第一波段通过;以及第二滤镜FR,其设置于第二开口(光阑孔37)中,使与第一波段不同的第二波段通过。第四开口(光阑孔26)是大于第一、第二开口(光阑孔36、37)之间的距离(基线长d)的尺寸的开口。
具体而言,摄像装置包含对可动掩模30进行控制的可动掩模控制部340。可动掩模控制部340在非立体模式(观察模式)下将可动掩模30设定为在沿光轴AXC方向观察时的情况下第一、第二开口(光阑孔36、37)不与第四开口(光阑孔26)重叠并且第三开口(光阑孔38)插入到光轴AXC上的第一状态。另一方面,在立体模式(立体测量模式)下,将可动掩模30设定为在沿着光轴AXC方向观察时的情况下第一、第二开口(光阑孔36、37)与第四开口(光阑孔26)重叠并且第三开口(光阑孔38)不与第四开口(光阑孔26)重叠的第二状态。
通过这样的结构,也能够实现观测模式与立体测量模式的切换、立体测量模式下的视差图像的同时取得、模式切换的高速化、可动掩模30的驱动机构的简单化、模式切换下的故障和错误的抑制、立体测量中的基线长的确保等。
6.立体三维测量的原理
对立体测量模式下的立体测量的原理进行说明。如图10所示,左眼和右眼的光路独立构成,来自被摄体5的反射图像经由这些光路成像于摄像传感器面(受光面)上。三维空间的坐标系X、Y、Z定义如下。即,沿着摄像传感器面来设定X轴和与X轴垂直的Y轴,将Z轴设定为沿着与摄像传感器面垂直并且与光轴AXC平行的方向而朝向被摄体的方向。设Z轴与X轴、Y轴在零点处交叉。另外,这里,为了方便起见,省略了Y轴。
设成像透镜10与摄像传感器面的距离为b,设从成像透镜10到被摄体5的任意点Q(x,z)的距离为z。设光瞳的中心线IC1、IC2与Z轴的距离相同,各为d/2。即,立体测量中的基线长为d。设被摄体5的任意点Q(x,y)被成像透镜10成像于摄像传感器面上的对应点的X坐标为XL,设被摄体5的任意点Q(x,y)被成像透镜10成像于摄像传感器面上的对应点的X坐标为XR。能够使用在由任意点Q(x,z)和坐标XL、XR包围的三角形内形成的多个部分的直角三角形的相似关系而取得下式(3)。
[数学式3]
这里,下式(4)、(5)成立。
[数学式4]
[数学式5]
由此,能够像下式(6)那样去掉上式(3)的绝对值。
[数学式6]
关于x求解上式(6),则成为下式(7)。
[数学式7]
将上式(7)的x带入到上式(6)中,则得到了下式(8),从而能够求取z。
[数学式8]
d、b是已知的设定值,未知数XL、XR能够如下求取。即,以摄像传感器面的位置XL为基准进行考虑(将左图像的像素位置看作XL),通过匹配处理(关联运算)来检测与位置XL对应的位置XR。通过针对各位置XL计算距离z来测量被摄体的形状。另外,在匹配不良的情况下有可能无法求取到距离z,但也可以通过例如根据周围的像素的距离z进行插补等而求取。
7.内窥镜装置
在图11中示出了本实施方式的内窥镜装置(广义上是摄像装置)的结构例。内窥镜装置包含镜体部100(摄像部)、主体部200(控制装置)。镜体部100包含成像光学系统10、固定掩模20、可动掩模30、摄像元件40、驱动部50。主体部200包含处理部210、监视器显示部220、摄像处理部230。处理部210包含图像选择部310(图像帧选择部)、彩色图像生成部320(图像输出部)、相位差检测部330、可动掩模控制部340(可动掩模驱动控制部)、可动掩模位置检测部350、距离信息计算部360、三维信息生成部370。
另外,作为未图示的结构要素,主体部200也可以包含对主体部200进行操作的操作部、与外部设备连接的接口部等。作为未图示的结构要素,镜体部100也可以包含例如处置器具、照明部(光源、透镜等)、对镜体部100进行操作的操作部等。
能够假定工业用、医疗用的所谓的视频镜体(内设有摄像元件的内窥镜装置)作为内窥镜装置。镜体部100构成为能够弯曲的柔性镜、镜体部100构成为棒状的硬性镜都能够应用本发明。例如在工业用的柔性镜的情况下,主体部200和摄像部110构成为可搬运的便携式设备,用于工业产品的制造检查和维修检查、建筑物和配管的维修检查等。
驱动部50根据来自可动掩模控制部340的控制信号对可动掩模30进行驱动,切换第一状态(观察模式)和第二状态(立体测量模式)。例如,驱动部50由基于压电元件或磁铁机构的促动器构成。
摄像处理部230对来自摄像元件40的信号进行摄像处理,输出摄像图像(例如拜耳图像等)。例如,进行相关双采样处理、增益控制处理、A/D转换处理、伽马校正、颜色校正、降噪等。摄像处理部230例如可以由ASIC等分立IC构成,或者可以内设于摄像元件40(传感器芯片)或处理部210。
监视器显示部220显示由镜体部100拍摄的图像和被摄体5的三维形状信息等。例如,监视器显示部220由液晶显示器或EL(Electro-Luminescence:电致发光)显示器等构成。
以下,对内窥镜装置的动作进行说明。可动掩模控制部340对驱动部50进行控制以切换可动掩模30的位置。在可动掩模控制部340将可动掩模30设定为观察模式的情况下,来自被摄体5的反射光经由光瞳中心光路成像于摄像元件40。摄像处理部230读出成像于摄像元件40的图像的像素值,进行A/D转换等并将图像数据输出给图像选择部310。
图像选择部310根据来自可动掩模控制部340的控制信号而检测可动掩模30的状态是否是观察模式,从摄像图像中选择{Vr,Vg,Vb}并输出给彩色图像生成部320。彩色图像生成部320进行去马赛克处理(根据拜耳图像而生成RGB图像的处理)和各种图像处理,将3板化RGB原色图像输出给监视器显示部220。监视器显示部220显示该彩色图像。
在可动掩模控制部340将可动掩模30设定为了立体测量模式的情况下,来自被摄体5的反射光经由左光瞳光路和右光瞳光路同时成像于摄像元件40。摄像处理部230读出成像于摄像元件40的图像的像素值,进行A/D转换等并将图像数据输出给图像选择部310。
图像选择部310根据来自可动掩模控制部340的控制信号而检测可动掩模30的状态是否为立体测量模式,从摄像图像中选择{Mr,Mb}并输出给相位差检测部330。相位差检测部330对分离出的两个图像Mr、Mb进行匹配处理,按照每个像素来检测相位差(相位偏差)。并且,相位差检测部330判断相位差检测是否可靠,在判断为不可靠的情况下,按照每个像素输出错误标志。以往,关于用于求取两个相似波形的偏差量(相位差)的匹配评价方法,提出了以ZNCC(Zero-mean Normalized Cross-Correlation:零均值归一化互相关)为代表的归一化互相关运算法、基于彼此的差分绝对值的总和的SAD(Sum of AbsoluteDifference:绝对差之和)等各种方法,因此能够适当应用。
另外,即使使用为时分的方式、受被摄体抖动、摄像系统的抖动的影响但是为视差图像的Vr和Mr,也能够检测相位偏差(相位差)。当在被摄体5的反射中蓝色成分较少、红色成分较多的情况下,即使是使用Mr和Mb而难以检测的被摄体5,如果使用都具有红色成分的Vr和Mr,则能够进行测量。
相位差检测部330将检测到的相位差信息和错误标志输出给距离信息计算部360。距离信息计算部360对各像素计算被摄体5的距离信息(例如图10的距离z),将该距离信息输出给三维信息生成部370。也可以是,将错误标志被设置了的像素看作例如被摄体5的平坦部(边缘成分较少的区域),根据例如周围的像素的距离信息进行插补。三维信息生成部370根据距离信息(或者,距离信息和来自彩色图像生成部320的RGB图像)而生成三维信息。关于三维信息,能够假定例如Z值图(距离图)、多边形、伪三维显示图像(例如基于阴影等的形状强调)等各种信息。三维信息生成部370根据需要而生成将所生成的三维图像、三维数据、或它们两者与观察图像重叠而成的显示图像等,并输出给监视器显示部220。监视器显示部220显示该三维信息。
可动掩模位置检测部350使用在立体测量模式时取得的图像{Mr,Mb}来检测可动掩模30位于观察模式的位置还是立体测量模式的位置。而且,在判断为可动掩模30的状态与模式不一致的情况下,将位置错误标志输出给可动掩模控制部340。可动掩模控制部340接受位置错误标志,将可动掩模30修正成正确的状态(与图像选择对应的状态)。即使例如可动掩模控制部340输出立体测量模式的控制信号,但是当判断为在图像{Mr,Mb}中没有色偏移的情况下,实际的可动掩模30位于观察模式的位置。在该情况下,进行使控制信号与可动掩模30的位置一致的修正。另外,在即使进行了修正动作也没有成为正确的状态的情况下,判断为产生了某种故障,停止全体的功能。可动掩模30位于观察模式的位置还是立体测量模式的位置的检测或判断例如如下进行。
即,在将图像Mr和图像Mb的判断区域内的电平(平均电平等)相加之后,通过基于图像Mr与图像Mb的绝对差分值和的判断(第一方法)、基于图像Mr与图像Mb的相关系数的判断(第二方法)等而进行位置错误的判断。
在第一方法中,在各像素中求取像素值的差分值的绝对值,将其在所有像素或者部分像素组中累积。在其结果超过了规定的阈值的情况下,判断为立体测量模式的图像,在其结果为规定的阈值以下的情况下,判断为观察模式的图像。这是利用了由于在立体测量模式下图像Mr与图像Mb基本上是出现了色偏移的图像,因此能够取得规定量的差分值。
在第二方法中,计算图像Mr与图像Mb的规定范围内的相关系数,在其结果为规定的阈值以下的情况下,判断为立体测量模式的图像,在其结果超过了规定的阈值的情况下,判断为观察模式的图像。这是利用了在立体测量模式下图像Mr与图像Mb基本上是出现了色偏移的图像,因此相关系数较小,与此相对,在观察模式下图像Mr与图像Mb是几乎一致的图像,因此相关系数较大。
另外,本实施方式的内窥镜装置、摄像装置等也可以包含处理器和存储器。这里的处理器可以是例如CPU(Central Processing Unit:中央处理单元)。但是,处理器不限于CPU,能够使用GPU(Graphics Processing Unit:图像处理单元)或DSP(Digital SignalProcessor:数字信号处理器)等各种处理器。并且,处理器也可以是基于ASIC的硬件电路。并且,存储器保存能够由计算机读取的指令,通过由处理器执行该指令,能够实现本实施方式的内窥镜装置、摄像装置等的各部分(例如处理部210的各部分等)。这里的存储器可以是SRAM、DRAM等半导体存储器,也可以是寄存器或硬盘等。并且,这里的指令可以是构成程序的指令集的指令,也可以是对处理器的硬件电路指示动作的指令。
8.模式切换序列图
在图12中示出了在动态图像摄影中切换观察模式和立体测量模式的序列图(动作时序图)。
在上述的立体测量模式中,对于移动的被摄体也能够实现高精度的立体同时测量,但由于是色偏移图像,因此无法用于高品质的观察图像中。因此,能够通过高速地切换观察模式和立体测量模式来解决该问题,能够以大致近似于实时的状态显示观察图像并且执行立体测量。
如图12所示,可动掩模30的状态的切换、摄像时机以及摄像图像的选择联动。如A1、A2所示,交替地重复观察模式的掩模状态和立体测量模式的掩模状态。如A3、A4所示,在各掩模状态下各进行一次拍摄。如A5所示,在处于观察模式的掩模状态时,由摄像元件40曝光拍摄的图像被选择为观察图像。如A6所示,在处于立体测量模式的掩模状态时,由摄像元件40曝光拍摄的图像被选择为测量图像。
这样,通过交替地重复观察模式和立体测量模式,能够以大致近似于实时的状态连续取得观察图像和测量图像,因此在被摄体5移动的情况下也能够实现观察和测量双方。只要显示观察模式的图像并且根据需要将其与测量的信息重合进行显示,就能够向用户同时提供目视检查和定量检查,能够提供有用的信息。
根据本实施方式,在第一帧(图14的A1)中,可动掩模控制部340设定非立体模式(观察模式),摄像元件40拍摄第一摄像图像(观察图像)(A3)。在接着第一帧的第二帧(A2)中,可动掩模控制部340设定立体模式(立体测量模式),摄像元件40拍摄第二摄像图像(测量图像)(A4)。
具体而言,摄像装置(内窥镜装置)在动态图像的拍摄中交替地重复第一帧(A1)和第二帧(A2)。即,在接着第二帧的第三帧中进行与第一帧相同的动作。
更具体而言,摄像装置包含:图像输出部(彩色图像生成部320),其根据在动态图像中包含的第一摄像图像而输出观察用的动态图像;以及相位差检测部330,其根据在动态图像中包含的第二摄像图像来检测第一波段的图像(蓝色图像Mb)与第二波段的图像(红色图像Mr)之间的相位差。
通过这样交替地重复观察模式下的摄像和立体测量模式下的摄像而拍摄动态图像,能够以单眼的通常图像来观察被摄体5并且实时进行立体测量。在本实施方式中,是适合高速切换可动掩模30和固定掩模20的结构,因此适合这样的实时测量。
并且,在本实施方式中,摄像装置包含可动掩模位置检测部350。可动掩模位置检测部350根据在立体模式下拍摄的图像所包含的第一波段的图像(蓝色图像Mb)与第二波段的图像(红色图像Mr)之间的相似度(例如,在图13中进行了说明的绝对差分值和相关系数等)来检测在立体模式中可动掩模30是否被设定为了第二状态。
而且,可动掩模控制部340在检测到在立体模式中可动掩模30被设定为了第一状态的情况下,修正可动掩模30的状态与模式的对应。
在可动掩模30那样的机械的可动部中,有可能由于例如动作不良等主要原因而使控制与实际的动作变得不准确地一致。当这样的错误产生时,显示了色偏移图像作为观察图像,或无法准确地进行立体测量。关于该方面,根据本实施方式,由于能够根据视差图像之间的相似度来判定模式与掩模状态的对应,因此能够根据该判定结果而将模式与掩模状态的对应修正成正确的对应。在观察模式下,以单眼的方式进行拍摄,因此在红色图像与蓝色图像之间没有相位差、相似度高。因此,当在立体测量模式下取得了相似度高的红色图像和蓝色图像的情况下,能够判定为可动掩模30错误地位于观察模式的位置。
以上,对应用了本发明的实施方式及其变形例进行了说明,但本发明不直接限于各实施方式及其变形例,能够在实施阶段、在不脱离发明主旨的范围内,对结构要素进行变形并具体化。并且,能够通过适当组合在上述的各实施方式和变形例中公开的多个结构要素而形成各种发明。例如,可以从在各实施方式和变形例中记载的所有结构要素中删除几个结构要素。而且,也可以适当组合在不同的实施方式和变形例中进行了说明的结构要素。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。并且,在说明书或附图中,至少一次与更广义或同义的不同的用语(观察模式、立体测量模式等)一同记载的用语(非立体模式、立体模式等)在说明书或附图中的任何位置也能够置换成该不同的用语。
标号说明
5:被摄体;10:成像光学系统;20:固定掩模;21:第一开口(光阑孔);22:第二开口(光阑孔);23:第三开口(光阑孔);24:遮光部;30:可动掩模;31:第四开口(光阑孔);32:第五开口(光阑孔);33:第六开口(光阑孔);34:遮光部;35:旋转轴;40:摄像元件;50:驱动部;100:镜体部;110:摄像部;200:主体部;210:处理部;220:监视器显示部;230:摄像处理部;310:图像选择部;320:彩色图像生成部;330:相位差检测部;340:可动掩模控制部;350:可动掩模位置检测部;360:距离信息计算部;370:三维信息生成部;FL、SL:第一滤镜;FR、SR:第二滤镜;Mr、Mb:第二摄像图像;s(XL):相位差;Vr、Vg、Vb:第一摄像图像;z:距离。
权利要求书(按照条约第19条的修改)
1.一种摄像装置,其特征在于,该摄像装置包含:
摄像元件;
成像光学系统,其将被摄体成像于所述摄像元件;
固定掩模,其具有分割所述成像光学系统的光瞳的第一开口~第三开口、使第一波段通过的第一滤镜和使与所述第一波段不同的第二波段通过的第二滤镜;以及
可动掩模,其具有遮光部和对应于所述第一开口~所述第三开口而设置于所述遮光部的第四开口~第六开口,该可动掩模相对于所述成像光学系统可动,
所述第一滤镜设置于所述第一开口,
所述第二滤镜设置于所述第二开口,
所述第三开口设置在所述成像光学系统的光轴上。
2.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部,
在非立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述遮光部与所述第一开口、所述第二开口重叠并且所述第六开口与所述第三开口重叠的第一状态,
在立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠并且所述遮光部与所述第三开口重叠的第二状态。
3.根据权利要求2所述的摄像装置,其特征在于,
在第一帧中,所述可动掩模控制部设定所述非立体模式,所述摄像元件拍摄第一摄像图像,
在接着所述第一帧的第二帧中,所述可动掩模控制部设定所述立体模式,所述摄像元件拍摄第二摄像图像。
4.根据权利要求3所述的摄像装置,其特征在于,
在动态图像的拍摄中交替地重复所述第一帧和所述第二帧。
5.根据权利要求4所述的摄像装置,其特征在于,所述摄像装置包含:
图像输出部,其根据在所述动态图像中包含的所述第一摄像图像而输出观察用的动态图像;以及
相位差检测部,其根据在所述动态图像中包含的所述第二摄像图像来检测所述第一波段的图像与所述第二波段的图像之间的相位差。
6.根据权利要求2至5中的任意一项所述的摄像装置,其特征在于,
所述摄像装置包含可动掩模位置检测部,该可动掩模位置检测部根据在所述立体模式下拍摄的图像所包含的所述第一波段的图像与所述第二波段的图像之间的相似度来检测在所述立体模式下所述可动掩模是否被设定为所述第二状态。
7.根据权利要求6所述的摄像装置,其特征在于,
当检测到在所述立体模式下所述可动掩模被设定为所述第一状态的情况下,所述可动掩模控制部修正所述可动掩模的状态与模式的对应。
8.根据权利要求1至7中的任意一项所述的摄像装置,其特征在于,
所述摄像装置包含相位差检测部,该相位差检测部根据在所述可动掩模被设定为在沿着所述光轴方向观察的情况下所述遮光部与所述第一开口、所述第二开口重叠并且所述第六开口与所述第三开口重叠的状态的情况下拍摄的图像来检测所述第一波段的图像与所述第二波段的图像之间的相位差。
9.根据权利要求1至8中的任意一项所述的摄像装置,其特征在于,
所述摄像元件拍摄的摄像图像由红色、绿色以及蓝色的图像构成,
所述第一波段是与所述红色或者所述蓝色中的一方对应的波段,
所述第二波段是与所述红色或者所述蓝色中的另一方对应的波段。
10.一种摄像装置,其特征在于,该摄像装置包含:
摄像元件;
成像光学系统,其将被摄体成像于所述摄像元件;
固定掩模,其具有分割所述成像光学系统的光瞳的第一开口~第三开口、使第一波段通过的第一滤镜以及使与所述第一波段不同的第二波段通过的第二滤镜;以及
可动掩模,其具有遮光部、对应于所述第一开口、所述第三开口而设置于所述遮光部的第四开口和对应于所述第二开口而设置于所述遮光部的第五开口,该可动掩模相对于所述成像光学系统可动,
所述第一滤镜设置于所述第一开口,
所述第二滤镜设置于所述第二开口,
所述第三开口设置在所述成像光学系统的光轴上。
11.根据权利要求10所述的摄像装置,其特征在于,
所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部,
在非立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述遮光部与所述第一开口、所述第二开口重叠并且所述第四开口与所述第三开口重叠的第一状态,
在立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠并且所述遮光部与所述第三开口重叠的第二状态。
12.(修改后)一种摄像装置,其特征在于,该摄像装置包含:
摄像元件;
成像光学系统,其将被摄体成像于所述摄像元件;
可动掩模,其具有第一开口~第三开口,相对于所述成像光学系统可动;
固定掩模,其具有设置在所述成像光学系统的光轴上的第四开口;以及
可动掩模控制部,其对所述可动掩模进行控制,
所述可动掩模具有:
第一滤镜,其设置于所述第一开口,使第一波段通过;以及
第二滤镜,其设置于所述第二开口,使与所述第一波段不同的第二波段通过,
所述第四开口是比所述第一开口、所述第二开口之间的距离大的尺寸的开口,
在非立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第一开口、所述第二开口不与所述第四开口重叠并且所述第三开口插入在所述光轴上的第一状态,
在立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第一开口、所述第二开口与所述第四开口重叠并且所述第三开口不与所述第四开口重叠的第二状态。
13.(删除)
14.(修改后)一种内窥镜装置,其特征在于,
该内窥镜装置包含权利要求1至12中的任意一项所述的摄像装置。
15.一种摄像方法,其特征在于,
在非立体模式下,通过将具有遮光部和对应于固定掩模的第一开口~第三开口而设置于所述遮光部的第四开口~第六开口的可动掩模设定为第一状态,在沿着成像光学系统的光轴方向观察的情况下,使所述遮光部与所述第一开口和所述第二开口重叠,并且使所述第六开口与所述第三开口重叠,其中,所述第一开口设置有使第一波段通过的第一滤镜,所述第二开口设置有使与所述第一波段不同的第二波段通过的第二滤镜,
在立体模式下,通过将所述可动掩模设定为第二状态,在沿着所述光轴方向观察的情况下,使所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠,并且使所述遮光部与所述第三开口重叠。
Claims (15)
1.一种摄像装置,其特征在于,该摄像装置包含:
摄像元件;
成像光学系统,其将被摄体成像于所述摄像元件;
固定掩模,其具有分割所述成像光学系统的光瞳的第一开口~第三开口、使第一波段通过的第一滤镜和使与所述第一波段不同的第二波段通过的第二滤镜;以及
可动掩模,其具有遮光部和对应于所述第一开口~所述第三开口而设置于所述遮光部的第四开口~第六开口,该可动掩模相对于所述成像光学系统可动,
所述第一滤镜设置于所述第一开口,
所述第二滤镜设置于所述第二开口,
所述第三开口设置在所述成像光学系统的光轴上。
2.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部,
在非立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述遮光部与所述第一开口、所述第二开口重叠并且所述第六开口与所述第三开口重叠的第一状态,
在立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠并且所述遮光部与所述第三开口重叠的第二状态。
3.根据权利要求2所述的摄像装置,其特征在于,
在第一帧中,所述可动掩模控制部设定所述非立体模式,所述摄像元件拍摄第一摄像图像,
在接着所述第一帧的第二帧中,所述可动掩模控制部设定所述立体模式,所述摄像元件拍摄第二摄像图像。
4.根据权利要求3所述的摄像装置,其特征在于,
在动态图像的拍摄中交替地重复所述第一帧和所述第二帧。
5.根据权利要求4所述的摄像装置,其特征在于,所述摄像装置包含:
图像输出部,其根据在所述动态图像中包含的所述第一摄像图像而输出观察用的动态图像;以及
相位差检测部,其根据在所述动态图像中包含的所述第二摄像图像来检测所述第一波段的图像与所述第二波段的图像之间的相位差。
6.根据权利要求2至5中的任意一项所述的摄像装置,其特征在于,
所述摄像装置包含可动掩模位置检测部,该可动掩模位置检测部根据在所述立体模式下拍摄的图像所包含的所述第一波段的图像与所述第二波段的图像之间的相似度来检测在所述立体模式下所述可动掩模是否被设定为所述第二状态。
7.根据权利要求6所述的摄像装置,其特征在于,
当检测到在所述立体模式下所述可动掩模被设定为所述第一状态的情况下,所述可动掩模控制部修正所述可动掩模的状态与模式的对应。
8.根据权利要求1至7中的任意一项所述的摄像装置,其特征在于,
所述摄像装置包含相位差检测部,该相位差检测部根据在所述可动掩模被设定为在沿着所述光轴方向观察的情况下所述遮光部与所述第一开口、所述第二开口重叠并且所述第六开口与所述第三开口重叠的状态的情况下拍摄的图像来检测所述第一波段的图像与所述第二波段的图像之间的相位差。
9.根据权利要求1至8中的任意一项所述的摄像装置,其特征在于,
所述摄像元件拍摄的摄像图像由红色、绿色以及蓝色的图像构成,
所述第一波段是与所述红色或者所述蓝色中的一方对应的波段,
所述第二波段是与所述红色或者所述蓝色中的另一方对应的波段。
10.一种摄像装置,其特征在于,该摄像装置包含:
摄像元件;
成像光学系统,其将被摄体成像于所述摄像元件;
固定掩模,其具有分割所述成像光学系统的光瞳的第一开口~第三开口、使第一波段通过的第一滤镜以及使与所述第一波段不同的第二波段通过的第二滤镜;以及
可动掩模,其具有遮光部、对应于所述第一开口、所述第三开口而设置于所述遮光部的第四开口和对应于所述第二开口而设置于所述遮光部的第五开口,该可动掩模相对于所述成像光学系统可动,
所述第一滤镜设置于所述第一开口,
所述第二滤镜设置于所述第二开口,
所述第三开口设置在所述成像光学系统的光轴上。
11.根据权利要求10所述的摄像装置,其特征在于,
所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部,
在非立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述遮光部与所述第一开口、所述第二开口重叠并且所述第四开口与所述第三开口重叠的第一状态,
在立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠并且所述遮光部与所述第三开口重叠的第二状态。
12.一种摄像装置,其特征在于,该摄像装置包含:
摄像元件;
成像光学系统,其将被摄体成像于所述摄像元件;
可动掩模,其具有第一开口~第三开口,相对于所述成像光学系统可动;以及
固定掩模,其具有设置在所述成像光学系统的光轴上的第四开口,
所述可动掩模具有:
第一滤镜,其设置于所述第一开口,使第一波段通过;以及
第二滤镜,其设置于所述第二开口,使与所述第一波段不同的第二波段通过,
所述第四开口是比所述第一开口、所述第二开口之间的距离大的尺寸的开口。
13.根据权利要求12所述的摄像装置,其特征在于,
所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部,
在非立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第一开口、所述第二开口不与所述第四开口重叠并且所述第三开口插入在所述光轴上的第一状态,
在立体模式下,所述可动掩模控制部将所述可动掩模设定为在沿着所述光轴方向观察的情况下所述第一开口、所述第二开口与所述第四开口重叠并且所述第三开口不与所述第四开口重叠的第二状态。
14.一种内窥镜装置,其特征在于,
该内窥镜装置包含权利要求1至13中的任意一项所述的摄像装置。
15.一种摄像方法,其特征在于,
在非立体模式下,通过将具有遮光部和对应于固定掩模的第一开口~第三开口而设置于所述遮光部的第四开口~第六开口的可动掩模设定为第一状态,在沿着成像光学系统的光轴方向观察的情况下,使所述遮光部与所述第一开口和所述第二开口重叠,并且使所述第六开口与所述第三开口重叠,其中,所述第一开口设置有使第一波段通过的第一滤镜,所述第二开口设置有使与所述第一波段不同的第二波段通过的第二滤镜,
在立体模式下,通过将所述可动掩模设定为第二状态,在沿着所述光轴方向观察的情况下,使所述第四开口、所述第五开口与所述第一开口、所述第二开口重叠,并且使所述遮光部与所述第三开口重叠。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/066077 WO2016194179A1 (ja) | 2015-06-03 | 2015-06-03 | 撮像装置、内視鏡装置及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107636532A true CN107636532A (zh) | 2018-01-26 |
Family
ID=57440753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580080578.5A Pending CN107636532A (zh) | 2015-06-03 | 2015-06-03 | 摄像装置、内窥镜装置以及摄像方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180092516A1 (zh) |
JP (1) | JPWO2016194179A1 (zh) |
CN (1) | CN107636532A (zh) |
WO (1) | WO2016194179A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018211588A1 (ja) * | 2017-05-16 | 2018-11-22 | オリンパス株式会社 | 撮像装置、撮像方法及びプログラム |
JP6798951B2 (ja) * | 2017-08-31 | 2020-12-09 | オリンパス株式会社 | 計測装置および計測装置の作動方法 |
JP2020012896A (ja) * | 2018-07-13 | 2020-01-23 | オリンパス株式会社 | 撮像光学系及び内視鏡 |
CN110751605B (zh) * | 2019-10-16 | 2022-12-23 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置和电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6807295B1 (en) * | 1999-06-29 | 2004-10-19 | Fuji Photo Film Co., Ltd. | Stereoscopic imaging apparatus and method |
US20100208046A1 (en) * | 2008-11-28 | 2010-08-19 | Susumu Takahashi | Stereoscopic optical system, and optical apparatus for stereoscopic measurement, stereoscopic measurement apparatus and stereoscopic observation apparatus each using the same |
CN102266217A (zh) * | 2010-06-01 | 2011-12-07 | 富士胶片株式会社 | 电子内窥镜系统 |
JP2013003159A (ja) * | 2011-06-10 | 2013-01-07 | Olympus Corp | 撮像装置 |
JP2014023776A (ja) * | 2012-07-27 | 2014-02-06 | Konica Minolta Inc | 内視鏡装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02171740A (ja) * | 1988-12-26 | 1990-07-03 | Minolta Camera Co Ltd | ステレオ写真用カメラ |
JP5859082B2 (ja) * | 2014-09-12 | 2016-02-10 | 株式会社三共 | 遊技機 |
-
2015
- 2015-06-03 WO PCT/JP2015/066077 patent/WO2016194179A1/ja active Application Filing
- 2015-06-03 CN CN201580080578.5A patent/CN107636532A/zh active Pending
- 2015-06-03 JP JP2017521431A patent/JPWO2016194179A1/ja not_active Ceased
-
2017
- 2017-11-30 US US15/827,473 patent/US20180092516A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6807295B1 (en) * | 1999-06-29 | 2004-10-19 | Fuji Photo Film Co., Ltd. | Stereoscopic imaging apparatus and method |
US20100208046A1 (en) * | 2008-11-28 | 2010-08-19 | Susumu Takahashi | Stereoscopic optical system, and optical apparatus for stereoscopic measurement, stereoscopic measurement apparatus and stereoscopic observation apparatus each using the same |
CN102266217A (zh) * | 2010-06-01 | 2011-12-07 | 富士胶片株式会社 | 电子内窥镜系统 |
JP2013003159A (ja) * | 2011-06-10 | 2013-01-07 | Olympus Corp | 撮像装置 |
JP2014023776A (ja) * | 2012-07-27 | 2014-02-06 | Konica Minolta Inc | 内視鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2016194179A1 (ja) | 2016-12-08 |
US20180092516A1 (en) | 2018-04-05 |
JPWO2016194179A1 (ja) | 2018-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5167279B2 (ja) | 定量的な三次元撮像のための方法および装置 | |
JP2010526992A (ja) | 単一レンズ、単一絞り開口、単一センサー3d撮像装置 | |
US8902289B2 (en) | Method for capturing three dimensional image | |
JP7379704B2 (ja) | 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法 | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
EP3756161B1 (en) | Method and system for calibrating a plenoptic camera system | |
JP7195619B2 (ja) | 眼科撮像装置およびシステム | |
CN107636532A (zh) | 摄像装置、内窥镜装置以及摄像方法 | |
CN105359024B (zh) | 摄像装置和摄像方法 | |
CN107534747A (zh) | 拍摄装置 | |
CN106767526A (zh) | 一种基于激光mems振镜投影的彩色多线激光三维测量方法 | |
CN107636533A (zh) | 摄像装置、内窥镜装置以及摄像方法 | |
JP2012022308A (ja) | 撮像装置 | |
CN108495115B (zh) | 图像传感器及其像素组和像素阵列,获取图像信息的方法 | |
CN108592886A (zh) | 图像采集设备和图像采集方法 | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
CN105324991B (zh) | 摄像装置、图像处理装置、摄像方法和图像处理方法 | |
US10542875B2 (en) | Imaging device, endoscope apparatus, and imaging method | |
JP2012142952A (ja) | 撮像装置 | |
US10122990B2 (en) | Imaging system and method of producing context and focus images | |
JP2008200378A (ja) | 画像処理装置 | |
CN103563369B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
CN104584075B (zh) | 用于描述对象空间的对象点以及用于其执行的连接方法 | |
JP2012022309A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180126 |
|
WD01 | Invention patent application deemed withdrawn after publication |