CN103053168B - 立体图像拍摄装置和内窥镜 - Google Patents

立体图像拍摄装置和内窥镜 Download PDF

Info

Publication number
CN103053168B
CN103053168B CN201280002286.6A CN201280002286A CN103053168B CN 103053168 B CN103053168 B CN 103053168B CN 201280002286 A CN201280002286 A CN 201280002286A CN 103053168 B CN103053168 B CN 103053168B
Authority
CN
China
Prior art keywords
light
region
subject
image
optical filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280002286.6A
Other languages
English (en)
Other versions
CN103053168A (zh
Inventor
布拉姆·帕尔·辛赫
金森克洋
平本政夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103053168A publication Critical patent/CN103053168A/zh
Application granted granted Critical
Publication of CN103053168B publication Critical patent/CN103053168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

偏振面控制元件(106)由偏光板和液晶元件构成,且能够通过电压将非偏振光转换成任意的偏振面的直线偏振光。同步装置(112)向偏振面控制元件(106)发送偏振面旋转的指示且使照明的偏振面旋转并照射到被摄物体上,同时向摄像元件(110)发送拍摄开始信号而取得映像,并且将其多次实施。拍摄映像的信号经由视频信号线(111)被送至图像处理器(108)。由此,分离生成作为通过左右偏振光孔径和位于中心的非偏振光部的图像的各LL、RR、CC图像,且生成左右视差图像而送至立体显示部(122)。

Description

立体图像拍摄装置和内窥镜
技术领域
本发明涉及立体图像拍摄装置和内窥镜,其能够生成超出由摄像元件取得的二维亮度图像中所得的信息之外的表面凹凸信息和高清晰度图像。
背景技术
在对于由粘膜覆盖的生物体的脏器的壁表面照射照明光而进行摄像的内窥镜的领域,为了观察脏器的壁表面的微细的凹凸,重要的是提取有关被摄物体的纵深的信息。另外,在手术用的内窥镜的领域,想要立体地把握手术情景这样的课题存在。因此,历来都在开发立体内窥镜的技术。就立体内窥镜而言,通常为了取得从不同的位置观看被摄物体的多个视点图像,而采用透镜和摄像元件各自需要两组的“双透镜系统”。根据双透镜系统,能够从相同的被摄物体,同时取得有视差的多个视点图像(例如左眼图像和右眼图像),因此可以从多个视点图像得到关于被摄物体的立体形状的信息。但是,在双透镜系统中,难以使两个摄像元件的特性完全一致这样的缺点存在。因此,例如专利文献1所公开的,为了取得多个视点图像,而透镜和摄像元件分别只使用一个的“单眼系统”的技术受到注目。
图22(a)、(b)表示现有的立体内窥镜的构成。图22(a)是模式化地表示该立体内窥镜的整体构成的图,图22(b)是从上方观看其一部分的模式化的剖面图。
如图22(a)所示,该现有技术的内窥镜,除了具有使用透镜1307和CCD1308的通常彩色图像摄像系统以外,还具有用于取得多个视点图像的摄像系统(视差摄像系统)。在视差摄像系统中,在光学成像部1301和摄像部1303之间配置有光通过部1302。就光通过部1302而言,如图22(b)所示,具有左右配置的两个孔径1304a、1304b,透过各个孔径的光生成多个视点图像。通常,通过交替开闭孔径1304a、1304b来得到左右的多视点图像,但在本技术中,将来自两个孔径1304a、1304b的光以图像处理的方式分离,而使两种图像的时间差消除。为此,在孔径1304a上附加具有垂直方向的偏振光透射轴的偏振滤光镜,在孔径1304b上附加具有水平方向的偏振光透射轴的偏振滤光镜。
就摄像部1303而言,组合使用偏振马赛克滤镜1305和摄像元件1306。偏振马赛克滤镜1305具有的构成是,在垂直方向上具有偏振光透射轴的偏振滤光镜1305a和在水平方向上具有偏振光透射轴的偏振滤光镜1305b,被在空间上交替分布。来自左右两处孔径1304a、1304b的光,经由偏振薄膜而成为偏振方向正交的光。因此,透过孔径1304a、1304b的光(偏振光),分别入射偏振马赛克滤镜1305之中的具有对应的偏振光透射轴的部分。如此,基于由偏振滤光镜1305a覆盖的像素的信号和由偏振滤光镜1305b覆盖的像素的信号,能够检测出透过孔径1304a、1304b的光的亮度,能够得到两种多视点图像。
先行技术文献
专利文献
专利文献1:特开2001-16611号公报
专利文献2:特开平11-313242号公报
专利文献3:美国专利申请公开第2009/0079982号说明书
非专利文献
非专利文献1:NicolasLefaudeuxetal.:“CompactandrobustlinearStokespolarizationcamera”,Proc.SPIE,Vol.6972,69720B,Polarization:Measurement,Analysis,andRemoteSensingVIII(2008);
非专利文献2:PaulGreenetal.:“Multi-AperturePhotography”,ACMTransactionsonGraphics,Vol.26,No.3,Article68,July2008;
但是,在现有的技术中,存在以下的课题。即,在光通过部,因为左右的孔径以外的部分有遮光部,所以无法有效地使用光量,而使所得到的图像的感光度差这样的课题存在。在对于没有照明光的黑暗的体腔内以彩色且深度达到很深的方式进行摄像的内窥镜的领域,光量少是致命的。因此,对孔径部以外进行遮光的现有的单眼立体内窥镜,难以变成实用的技术。
发明内容
本发明的主要目的在于,提供一种能够取得关于被摄物体的表面凹凸的三维信息的实用性的立体图像拍摄装置和内窥镜。
本发明的立体图像拍摄装置,具备如下:将偏振面的角度不同的三种以上的直线偏振光,依次照射到被摄物体上的偏振光照明部;所述直线偏振光分别照射所述被摄物体时,依次拍摄所述被摄物体的摄像部;和图像处理部。所述摄像部具有如下:对于来自由所述偏振光照明部所照明的所述被摄物体的回光进行成像的透镜;从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;使来自所述被摄物体的回光透过的入射光透过部,且该入射光透过部具有透明区域和多个偏振滤光镜区域。所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域。并且,所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置,基于在所述被摄物体由所述直线偏振光分别照射时所述摄像元件生成的所述像素信号,所述图像处理部生成由分别透过所述透明区域和所述多个偏振滤光镜区域的光所形成的多个图像。
在有的实施方式中,所述偏振光照明部通过使非偏振的光透过偏振面转换元件,从而照射偏振面依次变化两种以上的直线偏振光。
在有的实施方式中,所述图像处理部,基于在偏振面的角度不同的三种以上的直线偏振光照射被摄物体时所得到的所述像素信号,形成由透过所述入射光透过部的所述左侧滤光镜区域的光所形成的左侧图像、和由透过所述入射光透过部的所述右侧滤光镜区域的光所形成的右侧图像。
在有的实施方式中,所述偏振光照明部将偏振面的角度相对于基准方向为θ1°的第一直线偏振光照射到所述被摄物体时所述摄像元件生成的像素信号设为Iθ1,所述偏振光照明部将偏振面的角度相对于所述基准方向为θ2°的第二直线偏振光照射到所述被摄物体时所述摄像元件生成的像素信号设为Iθ2,所述偏振光照明部将偏振面的角度相对于所述基准方向为θ3°的第三直线偏振光照射到所述被摄物体时所述摄像元件生成的像素信号设为Iθ3时,所述图像处理部通过进行使用像素信号Iθ1、Iθ2、Iθ3的运算,分别生成所述多个图像。
在有的实施方式中,所述摄像部中,作为所述摄像元件,具有黑白摄像元件或彩色摄像元件。
本发明内窥镜具备如下:将偏振面的角度不同的三种以上的直线偏振光,依次照射到被摄物体的偏振光照明部;所述直线偏振光分别照射所述被摄物体时,依次拍摄所述被摄物体的摄像部。所述摄像部具有如下:对于来自由所述偏振光照明部所照明的所述被摄物体的回光进行成像的透镜;从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;使来自所述被摄物体的回光透过的入射光透过部,该入射光透过部具有透明区域和多个偏振滤光镜区域。所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置。
本发明的立体图像拍摄装置,具备拍摄被摄物体的摄像部和图像处理部。所述摄像部具有如下:对于来自由光源所照明的所述被摄物体的回光进行成像的透镜;从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;在所述摄像元件的前面所配置的马赛克偏振滤光镜阵列,该马赛克偏振滤光镜阵列中各个偏振滤光镜的偏振光透射轴朝向两种以上的方向;使来自所述被摄物体的回光透过的入射光透过部,该入射光透过部具有透明区域和多个偏振滤光镜区域。所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置,基于所述摄像元件生成的所述像素信号,所述图像处理部生成由分别透过所述透明区域和所述多个偏振滤光镜区域的光所形成的多个图像。
在有的实施方式中,所述图像处理部基于所述像素信号,生成由透过所述入射光透过部的所述左侧滤光镜区域的光所形成的左侧图像、和由透过所述入射光透过部的所述右侧滤光镜区域的光所形成的右侧图像。
在有的实施方式中,所述入射光透过部的所述多个偏振滤光镜区域,包含相对于所述透镜的光轴以同心圆状所配置的内侧滤光镜区域和外侧滤光镜区域。
在有的实施方式中,所述图像处理部基于所述像素信号生成:由透过所述入射光透过部的所述透明区域和所述内侧滤光镜区域的光所形成的图像;和由透过所述入射光透过部的所述透明区域、所述内侧滤光镜区域和所述外侧滤光镜区域的光所形成的图像。
在有的实施方式中,所述摄像部中作为所述摄像元件具有黑白摄像元件。
本发明的内窥镜具备如下:将非偏振光照射到被摄物体上的照明部;所述被摄物体由所述非偏振光照射时,拍摄所述被摄物体的摄像部。所述摄像部具有如下:对于来自由所述照明部照明的所述被摄物体的回光进行成像的透镜;从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;在所述摄像元件的前面所配置的马赛克偏振滤光镜阵列,该马赛克偏振滤光镜阵列中各个偏振滤光镜的偏振光透射轴朝向两种以上的方向;使来自所述被摄物体的回光透过的入射光透过部,该入射光透过部具有透明区域和多个偏振滤光镜区域。所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置。
根据本发明的立体图像拍摄装置的有的实施方式,通过使偏振面旋转而拍摄的多个图像的运算处理,能够得到多视点图像。因此,不需要遮光部,不会浪费光量。根据本发明优选的实施方式,仅通过图像间的运算,就能够无时间差地得到虽然感光度低但有视差的图像、和虽然没有视差但感光度上没有问题的彩色图像。
附图说明
图1是表示本发明的实施方式1的立体图像拍摄装置的构成的图
图2是表示偏振面控制元件的操作的图
图3(a)是表示入射光透过部的构造的俯视图,(b)是其剖面图
图4(a)和(b)是表示摄像元件的光敏器件配置例的图
图5是偏振面角度的定义图
图6(a)和(b)是表示向光滑平坦的表面大体垂直入射的偏振光的反射情况的图
图7表示基于菲涅耳理论的入射角与反射率的关系的图
图8是表示从入射光透过部拆除偏振滤光镜的假想的状态的图
图9是表示在无偏振滤光镜的状态下透过入射光透过部的各区域的光的图
图10(a)是表示装配有在透射轴的角度差中α=45°的关系成立的两个偏振滤光镜的入射光透过部的俯视图,(b)是表示偏振光照明的偏振面的角度ΨI的图
图11是表示透过入射光透过部的各区域的光的图
图12是表示图像处理器的处理的流程的流程图
图13显示部所显示的图像LL、RR、CC和观察眼镜的操作的图
图14(a)和(b)是表示关于本发明的实施方式的立体视觉与普通视觉的期间的图
图15是表示本发明的实施方式2的立体图像拍摄装置的构成的图
图16(a)和(b)是表示摄像元件的其他的光敏器件配置例的图
图17(a)是从摄像元件110一侧观看入射光透过部120时的入射光透过部120的俯视图,(b)是其剖面图
图18是表示本发明的实施方式3的立体图像拍摄装置的构成的图
图19(a)是表示装配有在透射轴的角度差中α=45°的关系成立的两个偏振滤光镜的实施方式3的入射光透过部的俯视图,(b)是表示偏振光照明的偏振面的角度ΨI的图
图20是表示本发明的实施方式4的立体图像拍摄装置的构成的图
图21(a)是表示本发明的实施方式5的入射光透过部的构成的俯视图,(b)是表示偏振光照明的偏振面的角度ΨI的图
图22(a)是关于现有的技术的立体内窥镜的构成图,(b)表示其一部分的剖面图
具体实施方式
(实施方式1)
图1是模式化地表示本发明的实施方式1的立体图像拍摄装置的整体构成的图。本立体图像拍摄装置具备内窥镜101和控制装置102。内窥镜101具备如下:具有摄像元件110的前端部113、和具有光导向设备105及视频信号线111的插入部103。现实的插入部103,相比附图所示,能够具有在左右长、且可挠性弯曲的构造。光导向设备105在弯曲的状态下也能够传输光。
在控制装置102中,包含光源104、图像处理器108和同步装置112。从控制装置102输出的图像信号,经由显示图像处理部121被输出到立体显示部122。输出到立体显示部122的图像,通过利用观察眼镜123由医师等进行观察。
从光源104发出的白色非偏振的光,经由光导向设备105被引导至前端部113的偏振面控制元件106。图2表示偏振面控制元件106的构成。
就偏振面控制元件106而言,是使用了液晶的且可使偏振面旋转的设备。其构成例在专利文献2、3和非专利文献1等中已经公开。偏振面控制元件106,例如能够由铁电液晶、偏振薄膜、1/4波片等加以组合的外加电压型液晶器件构成。偏振面控制元件106,将由光源104发生并通过光导向设备105的非偏振光,转换成在任意的偏振角度具有偏振面的直线偏振光。在图1中,模式化地表示照射到被摄物体上的光的偏振方向115,和来自被摄物体的回光的偏振方向116。如后述,因为由被摄物体反射时偏振方向被保持,所以偏振方向115、116一致。
就同步装置112而言,向偏振面控制元件106发送偏振面旋转的指示而使照明的偏振面旋转。该偏振光照明通过照明透镜107被照射到被摄物体上。同步装置112同时向摄像元件110发送拍摄开始信号而取得映像,且将以上的处理实施多次。
本实施方式的摄像系统其操作方式为,在偏振面为0°状态203下拍摄第一图像,在偏振面为45°状态204下拍摄第二图像,在偏振面为90°状态205下拍摄第三图像。偏振面的角度能够任意设定,不限于这三种。摄像元件为高灵敏度时,如果照明的照度高,则能够缩短曝光时间,因此能够更精密地设定旋转角。
就偏振面的旋转所需要的时间而言,根据上述文献,操作速度存在20(ms)左右的迟缓型至40~100(μsec)左右的高速型。如果使用高速型的液晶且将摄像元件的感光度提高至可以在该时间下进行摄像的程度,则即使实施三个方向的偏振旋转而进行拍摄,也可以使视频映像的拍摄拥有充分的性能。另外,图像处理对于最低3帧单位的图像拍摄加以实施,但通过使处理为流水线处理,可以使实际花费的处理时间控制在1帧的时间内。
来自被摄物体的回光,在透过摄影透镜109后,通过入射光透过部120而在摄像元件110上成像。关于入射光透过部120的构成和功能后述。摄像元件110可以是黑白摄像元件、或者是具有彩色马赛克的单板彩色摄像元件。拍摄映像的信号,经由视频信号线111到达图像处理器108。
图像处理器108从所拍摄的多个的图像、通过图像处理而生成图像CC和左视点图像LL和右视点图像RR。这些图像经过显示图像处理部121处理,被显示在立体图像显示部122。在立体图像显示部122上所显示的图像,通过使用观察眼镜123等而被观察为立体图像。在该立体图像显示部122中,能够使用显示左右的多视点图像的现有的立体显示器。
图3是表示入射光透过部120的图。图3(a)是从摄像元件110的侧观看入射光透过部120时的入射光透过部120的俯视图。图3(b)是表示入射光透过部120的截面的图。如图3(a)所示,入射光透过部120由光学上透明的透明区域C与附加有偏振滤光镜的左右偏振滤光镜区域L和R构成。偏振滤光镜区域L和R,整体上具有轮带状的形状(ConcentricRing:同心环),且包围透明区域C的周围。轮带状的偏振滤光镜区域(L+R)的中心与透明区域C的中心一致。偏振滤光镜区域L和R,分别是相对于透镜光轴而左右配置的左侧滤光镜和右侧滤光镜。这里的所谓左右,意思是处在相对于包含透镜光轴的假想的基准面而对称的位置。内窥镜101的前端部113的朝向和姿势,因为在摄像时变化,所以“上下“或”左右“的方向是相对的。
从摄像元件110看,对于附加在左侧的滤光镜区域L的偏振滤光镜的透射轴和附加在右侧的滤光镜区域R的偏振滤光镜的透射轴之间,赋予一定的角度差α(0°<α<90°)。
在图1所示的例子中,入射光透过部120配置在摄影透镜109与摄像元件110之间,但入射光透过部120的位置并不受该例限定。入射光透过部120也可以配置在被摄物体与摄影透镜109之间。另外,入射光透过部120也可以与摄影透镜120一体化。
就入射光透过部120的代表例而言,具备:例如由玻璃板等形成的透明基板、和贴在该透明基板的规定区域的一对偏振滤光镜。这种情况下,透明基板之中的、未贴偏振滤光镜的区域,作为透明区域C发挥作用。入射光透过部120的另一例,能够由一对偏振滤光镜和保持偏振滤光镜的构件构成。这种情况下,透明区域C也可以由空气构成。就透明区域C的面积而言,相对于偏振滤光镜区域L、R和透明区域C的合计面积,例如能够设定在10~50%的范围。
本实施方式中,因为被摄物体由偏振光照明照射,所以来自被摄物体的回光也发生偏振。回光的一部分,透过入射光透过部120的透明区域C,其余的一部分透过偏振滤光镜区域L或偏振滤光镜区域R。
图4(a)和(b)分别是表示摄像元件110的摄像面的构成例的图。如图4(a)所示,在摄像面,多个光敏器件(光电二极管)以行及列状(X-Y方向)被规则地排列。在彩色摄像时,如图4(b)所示,设置透过RGB三种波长的光的彩色马赛克滤光镜。各个光敏器件通过光电转换按照入射的光的量而生成电信号。这部分能够使用一般的单板彩色摄像元件。如此作为摄像元件110,能够利用现有的彩色亮度图像用的摄像元件。在本实施方式中,可以通过以照明光为直线偏振光、且一边使其偏振面旋转一边进行拍摄,从而取得被摄物体的表面信息。
图5是表示偏振光照明的偏振面的角度ΨI的定义的图。从摄像侧朝向被摄物体设定作为假想的焦平面的X-Y坐标系。偏振面的角度ΨI按照使X轴的方向为0°的方式如图5所示这样定义。角度ΨI在反射中被保存时,反射光的偏振面的角度与入射光的偏振面的角度相同。若使偏振面的角度ΨI增加或减少,则以180°的周期重复相同的偏振状态。即,以偏振面的角度ΨI为变量的函数,是具有180°的周期的周期函数。还有,在本说明书中,偏振光照明中的偏振面的角度ΨI,有称为“入射偏振面角度”的情况。
在本实施方式中,照明透镜107的光轴与摄影透镜109的光轴大体相等。这是为了在由内窥镜观察时尽可能不使影子在被摄物体上发生。
还有,在内窥镜的通常的用法中,大多是对被摄物体照射非偏振光的情况。在本发明中,例如通过对于上述第一图像至第三图像的各个偏振图像进行加法运算,能够生成非偏振光的平均亮度图像。根据本发明者们的实验,若使偏振面的角度ΨI为等间隔的多个偏振光照射到被摄物体上时的回光的图像相加,则偏振的效果抵消,因此结果上判明,能够得到与使用非偏振光照明同样的效果。
接着,对于使偏振光照明的偏振面旋转时的、透过入射光透过部120的偏振滤光镜区域和透明区域的光的亮度进行说明。
图6表示以照相机观测入射角接近0的偏振光L入射光滑平坦的表面时的回光V的情况。在图6(a)、(b)中,入射的偏振光的偏振面虽然有90°不同,但回光的直线偏振状态大致与入射光的状态相同。这基于以下的理由。
图7是表示基于菲涅耳理论的镜面反射率的入射角依存性的曲线图,横轴表示入射角,纵轴表示菲涅耳反射率。折射率假设为n=1.8。
视为垂直入射的0°~15°附近的入射角度,相当于范围701。如从曲线图所读取的,在该范围701内,无论P波还是S波,其反射率大体相同。因此,偏振光大体垂直入射表面时,P波和S波这样的偏振光对于表面的区别不存在,而是以相同举动反射。还有,这一事实在折射率n=1.4~2.0的自然物体中也普遍成立。
如上,对于光滑表面,偏振光以大致0度的入射角度入射,其进行1次反射而被观测时,偏振光照明的偏振面的角度ΨI成为原样被观测到的回光的偏振光的角度。因此,在观测一侧能够已知所入射的偏振光的ΨI的值。
图8是模式化地表示从图3的入射光透过部120拆除偏振滤光镜的状态的图。在构成来自被摄物体某一点的回光的光线之中,透过了区域L、区域R和区域C的光线,在摄影透镜的作用下,聚集到摄像面上的一点。换言之,就以摄像面上的特定像素所观测到的亮度I而言,分别通过区域L、区域R主和区域C在摄像面上产生的像的在特定像素下的亮度。若分别通过区域L、区域R和区域C的光线的亮度分别设为IL、IR、IC,则以摄像面上的特定像素所观测到的亮度I为亮度IL、IR、IC的和。
【算式1】
I=IL+IR+IC(式1)
图9是模式化地表示:就某一像素而言来自被摄物体的回光透过没有偏振滤光镜的状态下的入射光透过部120的区域L、区域C和区域R的情况的图。没有偏振滤光镜时,透过了区域L、区域C和区域R的光的亮度,如式1所示,成为透过3个区域的光的亮度的单纯的合计值。在实际的入射光透过部120的区域L和区域R中,分别附加有透射轴的方向不同的偏振滤光镜。因此,透过偏振滤光镜的光的量,会依存于入射光(来自被摄物体的回光)的偏振方向和与偏振滤光镜的透射轴的角度而变化。还有,如参照图6和图7进行说明的,由被摄物体的平坦面所反射的光的偏振方向,与照射被摄物体的光的偏振方向一致。因此,如果控制偏振光照明的偏振面的角度,则能够调整在入射光透过部120所入射的光(来自被摄物体的回光)的偏振面。
图10(a)表示将滤光镜区域L的偏振滤光镜的透射轴的角度设定为0°、滤光镜区域R的偏振滤光镜的透射轴的角度设定为45°的入射光透过部。关于透射轴的角度,也同样定义为图5所示的角度ΨI。在该例中,左右的偏振滤光镜的透射轴的角度差α为45°。图10(b)表示照射被摄物体的照明光的偏振面的角度,其相当于来自被摄物体的回光的偏振面的角度。图10(a)所示的偏振滤光镜的配置不过是一例。滤光镜区域L的偏振滤光镜的透射轴的角度即使设定为0°以外的角度,以下说明的内容也成立。
在此,在偏振滤光镜的透射轴、和入射到该偏振滤光镜的直线偏振光的轴一致时的透射率设为Tp。Tp满足0<Tp<1。另外,理想化地将透明区域C的透射率设为1。以具有角度ΨI的直线偏振光照射被摄物体时,透过入射光透过部120的区域L、R、C而观测到的光的假想的亮度分别设为IFLΨI、IFRΨI、ICΨI。IFLΨI、IFRΨI、ICΨI分别由以下的式2表示。
【算式2】
IFL ψ I = T P [ cos 2 ψ I ] I L IFR ψ I = T P [ cos 2 ( ψ I - α ) IC ψ I = I C ] I R (式2)
实际所观测的亮度IΨI,是分别透过了入射光透过部120的区域L、R、C的光被合成的亮度,因此由下式3表示。
【算式3】
I ψ I = IFL ψ I + IFR ψ I + IC ψ I
= T P [ cos 2 ψ I ] I L + T P [ cos 2 ( ψ I - α ) ] I R + I C = T P cos 2 ψ I T P cos 2 ( ψ I - α ) 1 I L I R I C
(式3)
图11是模式化地表示,就某一像素而言来自被摄物体的回光透过入射光透过部120的区域L、区域C和区域R的情况的图。在透镜的作用下,来自被摄物体的回光分别透过了区域L、R、C后,会聚到摄像面上,并被合成。
例如若依次以0、45、90度这3个不同的偏振角ΨI的直线偏振光,一边照明被摄物体,一边拍摄3个图像,则关于各像素的亮度,得出以下的联立方程式。
【算式4】
I 0 = T P I L + T P I R cos 2 α + I C I 45 = T P 1 2 I L + T P I R cos 2 ( π 4 - α ) + I C I 90 = 0 + T P I R cos 2 ( π 2 - α ) + I C
(式4)
在此,I0为在ΨI=0°时观测的亮度,I45是在ΨI=45°时观测的亮度,I90是在ΨI=90°时观测的亮度。这些亮度相当于从摄像元件110的各像素得到的像素信号。对于这一点进行更一般性的说明。偏振光照明部将偏振面的角度相对于基准方向为θ1°的第一直线偏振光照射到被摄物体上时,能够使摄像元件生成的像素信号为Iθ1,偏振光照明部将偏振面的角度相对于所述基准方向为θ2°的第二直线偏振光照射到被摄物体上时,能够使摄像元件生成的像素信号为Iθ2,偏振光照明部将偏振面的角度相对于基准方向为θ3°的第三直线偏振光照射到被摄物体上时,能够使摄像元件生成的像素信号为Iθ3。在本实施方式中,图像处理部,通过进行采用了像素信号Iθ1、Iθ2、Iθ3的运算,分别生成多个图像。
若式4由矩阵表现,则能够得到以下的式5。
【算式5】
I 0 I 45 I 90 = T P T P cos 2 α 1 T P 2 T P cos 2 ( π 4 - α ) 1 0 T P cos 2 ( π 2 - α ) 1 I L I R I C = M I L I R I C
(式5)
在此矩阵M的行列式由下式6表示。
【算式6】
| M | = ( T P ) 2 1 cos 2 α 1 1 2 cos 2 ( π 4 - α ) 1 0 cos 2 ( π 2 - α ) 1 = ( T P ) 2 cos sin α = ( T P ) 2 sin 2 α 2
(式6)
因此,如果α处于由下式7表示的范围,则|M|非0,所以存在逆矩阵M-1
【算式7】
0 < &alpha; < &pi; 2
(0°<α<90°)
(式7)
如果逆矩阵M-1存在,则根据下式8,由I0、I45、I90计算出亮度IL、IR、IC
【算式8】
I L I R I C = M - 1 I 0 I 45 I 90
(式8)
还有,α=90°时,矩阵M的行列式=0,得不到解。这是由于,例如,0、Ψ1、Ψ2这样任意的偏振光照射角的组合的情况下,式(6)如下。
【算式9】
| M | = ( T P ) 2 1 0 1 cos 2 &psi; 1 sin 2 &psi; 1 1 cos 2 &psi; 2 sin 2 &psi; 2 1 = 0
(式9)
由此α是90°以外的角是本发明的必要条件。这一点,与使一对的偏振滤光镜具有的偏振光透射轴正交的大多数偏振光利用系统,在结构上有很大差异。
还有,此次使用的是与未知数的数为相同数的偏振光照明角,但也可以在更多的偏振光照明角下进行观测,不使用逆矩阵,而以最小二乘法解联立方程式。例如也可以使用偏振转向角为0°、45°、90°、135°这四种。
【算式10】 I 0 I 45 I 90 I 135 = T P T P cos 2 &alpha; 1 T P 2 T P cos 2 ( &pi; 4 - &alpha; ) 1 0 T P cos 2 ( &pi; 2 - &alpha; ) 1 T P 0 T P cos 2 ( 3 &pi; 4 - &alpha; ) 1 I L I R I C = H I L I R I C
(式10)
在(式6)中,由于矩阵M的行列式非0,所以M的阶=3。因此,能够得出结论,在M上加1行而重新建立的4×3矩阵H的阶也是3,若使H和H的转置矩阵相乘,则其结果是3×3矩阵的阶=3,逆矩阵存在。因此,能够如下式这样求得最小二乘解。
【算式11】
I L I R I C = ( H t H ) - 1 H t I 0 I 45 I 90 I 135
(式11)
接着,参照图12,说明图像处理器108的图像处理的例子。图12是表示图像处理器108的图像处理的流程的流程图。
如前述,在步骤S1001中,一边改变照明光的偏振面一边进行拍摄。接着,在步骤S1002中,计算逆矩阵。在步骤S1003中,由多个图像生成左右的多视点图像LL、RR和通常图像CC。如此在本发明中,以简单的像素值运算就能够制成多视点图像LL和RR。
在显示图像处理部121,将图像LL和图像RR转换成立体视觉用的显示图像。例如,高速地切换LL图像和RR图像而使之显示。这时,就通常图像CC而言,其显示为开/关哪一种都可以。
图13表示通过将多视点图像LL、RR和通常图像CC交替显示在显示部,适宜切换立体视觉和普通视觉而观察到的情况。在立体显示部122,期间T1之间只提示LL图像(状态1101),在之后的期间T2之间只提示有RR图像(状态1102),在之后的期间T3之间只提示有CC图像(状态1103)。该映像通过使之透过偏振滤光镜板等而作为直线或圆偏振的光1107发光。观察者戴上由液晶快门等构成的观察眼镜123对其进行观察。观察眼镜的液晶快门与立体显示部122同步,反复对于偏振光1107打开(透过)和关闭(遮断)。即,期间T1之间为L液晶快门打开、R液晶快门关闭(状态1104)。期间T2之间为L液晶快门关闭、R液晶快门打开(状态1105)。期间T3之间为L液晶快门、R液晶快门一起打开(状态1106)。通过在短时间内重复期间T1和期间T2,人的视觉系统中建立起立体视觉。
图14是表示在时间轴上期间T1、T2、T3组合的图。图14(a)表示立体视觉期和普通视觉期切换的情况。在面向内窥镜的应用中,利用普通视觉期实施现有的彩色图像的观察,例如进行胃内部的整体性的筛查观察。这时相机和照明位于距胃壁很远的距离(约50mm以上),因此需要有效地使用照明光,使用明亮的感光度好的CC图像进行观察。然后如果一旦发现病变部,则要靠近患部(例如5mm以下),因此照明光变得足够明亮,其结果是,即使是透过左右的小面积的偏振滤光镜区域L和R的光所形成的感光度降低了的图像,充分观察仍很容易。因此,能够成为活用切换到立体视觉并详细地观察病变部位的凹凸这两方面特性的使用方法。作为操作,在立体视觉期内,重复期间T1和期间T2,通常视觉只在期间T3继续。
图14(b)表示立体视觉和通常视觉混合的情况。在该例中,期间T1、T2、T3交替反复。这时,在立体视觉的期间光量降低,发生感光度降低,因此也可以使期间T1和期间T2比期间T3长一些。
显示图像处理部121也可以再进行追加的处理。例如虽然图像CC不是表示视差的图像,但也可以具有与多视点图像类似的地方。因此,类似的处所通过在多视点图像上添加图像CC,也能够生成感光度高的多视点图像LL和RR。
通过以上的处理,能够以内窥镜使脏器的壁的表面的凹凸成为立体视觉。因此,根据本实施方式,能够使得作为内窥镜的缺点之一的表面凹凸的观察困难这一课题得以解决。
在上述的实施方式中,偏振滤光镜区域的个数为2,但本发明的偏振滤光镜区域的个数也可以是3个以上。另外,各偏振滤光镜的位置不需要一定在水平方向上移动,即使沿垂直方向和/或倾斜方向移动,也能够得到多视点图像。如果能够得到多视点图像,就可以求得关于被摄物体表面的凹凸的三维信息或视差图像。
(第二实施方式)
接下来,说明本发明的第二实施方式。
本实施方式的立体图像拍摄装置和实施方式1的立体图像拍摄装置的差异点在于,照明光不是直线偏振光这一点。
图15是模式化地表示本实施方式的立体图像拍摄装置的整体构成的图。在本实施方式中,从光源104发出的白色非偏振的光,经由光导向设备105,以非偏振光的状态照射到被摄物体上。即,前端部113不需要具备实施方式1的偏振面控制元件106。另外,控制装置102也不需要具备同步装置112。
在本实施方式中,由被摄物体反射的光,通过透过入射光透过部120的偏振滤光镜区域R、L,最初成为直线偏振光。在本实施方式中,偏振光透射轴的方向不同的偏振滤光镜的马赛克阵列配置在摄像元件114的摄像面,取代使照明光发生偏振,
图16(a)和(b)分别表示本实施方式的摄像元件114的摄像面的构成例的图。如图16(b)所示,替代彩色马赛克滤光镜,设置有偏振光透射轴的方向不同的偏振滤光镜的阵列。各个光敏器件,通过光电转换,按照经由偏振滤光镜而入射的光的量,生成电信号。图16(b)中的“0”、“45”、“90”,意思分别是偏振光透射轴的方向相对于基准方向成为0°、45°、90°而进行配置的偏振滤光镜。另外,图中的“C”意思是透明区域。
将在摄像元件114所设置的偏振滤光镜的偏振光透射轴的方向设定为三种以上,这相当于使照明光的偏振面旋转三种以上的角度。换言之,就是实施方式1的照明光的偏光角ΨI,与在摄像元件114所设置的偏振滤光镜的偏振光透射轴的方向对应。因此,作为实施方式1中说明的各式的偏光角ΨI的值,提供摄像元件114的偏振滤光镜的偏振光透射轴的角度即可。
如此根据本实施方式,不需要使用直线偏振光作为照明,另外,不需要使照明光的偏振面旋转。其结果是,根据本实施方式,具有的优点是,即使是运动图像,也容易取得需要的表面信息。但是,因为需要将偏振滤光镜阵列设于摄像元件114,所以使用彩色马赛克滤光镜变得困难。因此,本实施方式对于取得黑白图像的情况特别有效。
(第三实施方式)
接着,说明本发明的第三实施方式。
本实施方式的立体图像拍摄装置和实施方式1的立体图像拍摄装置的差异点在于,入射光透过部120的偏振滤光镜区域的构成。
图17是表示本实施方式的入射光透过部120的图。图17(a)是从摄像元件110的侧观看入射光透过部120时的入射光透过部120的俯视图。图17(b)是表示入射光透过部120的剖面的图。如图17(a)所示,入射光透过部120,由光学上透明的透明区域C与附加有偏振滤光镜的同心圆状的偏振滤光镜区域L和R构成。偏振滤光镜区域L和R,各自具有轮带状的形状,且同心圆状地包围透明区域C的周围。轮带状的偏振滤光镜区域(L、R)的中心分别与透明区域C的中心一致。
在附加于滤光镜区域L的偏振滤光镜的透射轴、与附加于滤光镜区域R的偏振滤光镜的透射轴之间,赋予一定的角度差α(0°<α<90°)。
图18是模式化地表示本实施方式的立体图像拍摄装置的整体构成的图。入射光透过部120的构成以外的点,与实施方式1的立体图像拍摄装置的构成相同。因此,实施方式1中说明的,在此不再重复。还有,在本实施方式中,与后述的第四、第五实施方式同样,不需要佩带观察眼镜123。
图19(a)表示将滤光镜区域L的偏振滤光镜的透射轴的角度设定为0°、且滤光镜区域R的偏振滤光镜的透射轴的角度设定为45°的入射光透过部。关于透射轴的角度,也同样定义为图5所示的角度ΨI。在该例中,左右的偏振滤光镜的透射轴的角度差α为45°。图19(b)表示照射被摄物体的照明光的偏振面的角度,这相当于来自被摄物体的回光的偏振面的角度。图19(a)所示的偏振滤光镜的配置不过是一例。滤光镜区域L的偏振滤光镜的透射轴的角度也可以设定为0°以外的角度。
在本实施方式中,因为入射光透过部120具备同心圆状的偏振滤光镜区域L、R,所以不能取得实施方式1、2中说明这样的、左右具备视差的多个视点图像。但是,根据本实施方式,可以同时取得通过靠近摄影透镜109的外周部的区域的光线所形成的像、和通过相对靠近摄影透镜109的中心的区域的光线所形成的像。然后,如果使用实施方式1中说明的式8或式11进行图像处理,则能够从I0、I45、I90得到亮度IL、IR、IC。本实施方式的亮度IL、IR、IC,分别是透过了入射光透过部120的偏振滤光镜区域L、偏振滤光镜区域R、透明区域C的光的亮度。
若基于如此得到的亮度IL、IR、IC,则能够得到透镜孔径尺寸(ApertureSize)不同的像。即,根据本实施方式,通过图像处理且基于像素信号而形成:由透过了入射光透过部120的透明区域C和内侧的偏振滤光镜区域R的光所形成的图像;和由透过了透明区域C、内侧的偏振滤光镜区域R和外侧的偏振滤光镜区域L的光所形成的图像。
规定由离焦造成的图像的模糊(DefocusBlur:散焦模糊)的点扩散函数的模糊核(blurkernel),已知依存于透镜孔径尺寸。因此,根据不同的透镜孔径尺寸下的多个图像,能够求得从焦平面至被摄物体表面的距离、换言之就是被摄物体表面的纵深信息。若得到这样的纵深信息,则可以生成任意设定焦平面的位置的图像。若焦平面的位置变化,则能够与之相应而得到离焦的模糊图像。被摄物体表面之中,位于焦平面上的部分的像不模糊,距焦平面的距离大的部分的像非常模糊。若一边使焦平面变化,一边将这样的图像显示在显示部,则可以立体地感知被摄物体。由不同的透镜孔径尺寸下的多个图像,通过图像处理,取得被摄物体表面的纵深信息的技术,例如在非专利文献2中公开。
(第四实施方式)
接着,说明本发明的第四实施方式。
本实施方式的立体图像拍摄装置和实施方式3的立体图像拍摄装置的差异点在于,照明光不是直线偏振光这一点。
图20是模式化地表示本实施方式的立体图像拍摄装置的整体构成的图。在本实施方式中,从光源104发出的白色非偏振的光,经由光导向设备105,以非偏振光的状态照射到被摄物体上。即,前端部113不需要具备实施方式1的偏振面控制元件106。另外,控制装置102不需要具备同步装置112。
在本实施方式中,由被摄物体反射的光,透过入射光透过部120的偏振滤光镜区域R、L,从而最初成为直线偏振光。在本实施方式中,取代使照明光发生偏振,使偏振光透射轴的方向不同的偏振滤光镜的马赛克阵列配置在摄像元件114的摄像面。
本实施方式的摄像元件114的摄像面的构成例,与图16(a)和(b)所示的相同。根据本实施方式,与实施方式2同样,不需要使用直线偏振光作为照明光,另外,不需要使照明光的偏振面旋转。其结果是具有如下优点:根据本实施方式,即使是运动图像,也容易得到需要的表面信息。但是,因为需要将偏振滤光镜阵列设于摄像元件114,所以使用彩色马赛克滤光镜变得困难。因此,本实施方式对于取得黑白图像的情况特别有效。
(第五实施方式)
接着,参照图21说明本发明的第五实施方式。图21(a)是表示本实施方式的入射光透过部120的俯视图。本实施方式的立体图像拍摄装置与图1所示的基本构成不同的部分,只有入射光透过部120这部分。在本实施方式的入射光透过部120,透明区域CL位于中心部,同心状的一个偏振滤光镜区域R配置在外侧。入射的偏振光照明,如图21(b)所示,使偏振面的角度为0°和45°这两种而拍摄两张图像即可。若使透过了透明区域的光的亮度为ICL,使透过偏振滤光镜区域的光的亮度为IR,使照明偏振角度为0°和45°下的观测亮度分别为I0、I45,则与实施方式1同样,下式成立。
【算式12】
I 0 I 45 = T P cos 2 0 1 T P cos 2 ( &pi; 4 ) 1 I L I CL = T P A I R I CL = T P 1 1 1 2 1 I R I CL
(式12)
若对其进行求解,则能够得到下式。
【算式13】
I R I CL = T P 2 - 2 - 2 2 I 0 I 45
(式13)
还有,在本实施方式中,也可以将照明的偏振旋转角设为其他的角度。矩阵A的矩阵式由以下的式14表示。
【算式14】
|A|=1-cos2ψ≠0
(式14)
因此,Ψ也可以例如为0°和90°。
在此实施方式中,因为只是使用入射光透过部120将通过透镜的光二等分,所以具备构成简单这样的优点。本实施方式也能够取得透镜孔径尺寸不同的图像。
如以上所述,在本发明的优选的实施方式中,因为在入射光透过部120没有遮光部,所以即使以单眼也能够得到明亮的多个视点图像或不同的透镜孔径尺寸的图像。
通过运算,能够从透过了偏振滤光镜区域的光中分离透过透明区域的光,因此,与使用了现有的普通透镜的摄像系统同样的普通的彩色或黑白观察也可以同时进行。因此,不需要像现有的技术这样需要双重摄像光学系统。即本实施方式的内窥镜,具有的显著优点是,能够以一个操作模式同时取得用于立体视觉的视差图像等的获取和现有的亮度图像摄像这两方。
产业上的可利用性
本发明可以在医疗用内窥镜,皮肤科、牙科、眼科、外科等的医学用途的照相机,工业用内窥镜,指纹摄像装置,表面检查装置等需要对于被摄物体的表面凹凸进行观察、检查、辨认的图像处理领域广泛应用。
【符号说明】
101内窥镜
102控制装置
103插入部
104光源
105光导向设备
106偏振面控制元件
107照明透镜
108图像处理器
109摄影透镜
110现有的彩色摄像元件
111视频信号线
112同步装置
113前端部
114偏振摄像元件
115所照射的偏振光
116回光的偏振光
120入射光透过部
121显示图像处理部
122立体显示部
123观察眼镜
124被摄物体表面
CC通常图像
LL左视差图像
RR右视差图像
C透明区域

Claims (12)

1.一种立体图像拍摄装置,其中,
具备:
将偏振面的角度不同的三种以上的直线偏振光,依次照射到被摄物体的偏振光照明部;
所述直线偏振光分别照射所述被摄物体时,依次拍摄所述被摄物体的摄像部;和
图像处理部,
并且,所述摄像部具有:
对于来自由所述偏振光照明部所照明的所述被摄物体的回光进行成像的透镜;
从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;
使来自所述被摄物体的回光透过的入射光透过部,且该入射光透过部具有透明区域和多个偏振滤光镜区域,
所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置,
基于在所述被摄物体由所述直线偏振光分别照射时所述摄像元件生成的所述像素信号,所述图像处理部生成由分别透过所述透明区域和所述多个偏振滤光镜区域的光所形成的多个图像。
2.根据权利要求1所述的立体图像拍摄装置,其中,
所述偏振光照明部,通过使非偏振光的光透过偏振面控制元件,由此将偏振面的角度不同的三种以上的直线偏振光依次生成而照射。
3.根据权利要求1所述的立体图像拍摄装置,其中,
所述图像处理部,基于在偏振面的角度不同的三种以上的直线偏振光照射被摄物体时所得到的所述像素信号,生成由透过所述入射光透过部的所述左侧滤光镜区域的光所形成的左侧图像、和由透过所述入射光透过部的所述右侧滤光镜区域的光所形成的右侧图像。
4.根据权利要求1至3中任一项所述的立体图像拍摄装置,其中,
在从所述摄像部朝向所述被摄物体所设定的作为假想的焦平面的X-Y坐标系以X轴方向为基准方向时,
所述偏振光照明部将偏振面的角度相对于所述基准方向为θ1°的第一直线偏振光照射到所述被摄物体时所述摄像元件生成的像素信号设为Iθ1,所述偏振光照明部将偏振面的角度相对于所述基准方向为θ2°的第二直线偏振光照射到所述被摄物体时所述摄像元件生成的像素信号设为Iθ2,所述偏振光照明部将偏振面的角度相对于所述基准方向为θ3°的第三直线偏振光照射到所述被摄物体时所述摄像元件生成的像素信号设为Iθ3时,
所述图像处理部通过进行使用像素信号Iθ1、Iθ2、Iθ3的运算,分别生成所述多个图像。
5.根据权利要求1所述的立体图像拍摄装置,其中,
所述摄像部中作为所述摄像元件具有黑白摄像元件或彩色摄像元件。
6.一种内窥镜,其中,
具备:
将偏振面的角度不同的三种以上的直线偏振光,依次照射到被摄物体的偏振光照明部;
所述直线偏振光分别照射所述被摄物体时,依次拍摄所述被摄物体的摄像部,
并且,所述摄像部具有:
对于来自由所述偏振光照明部所照明的所述被摄物体的回光进行成像的透镜;
从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;
使来自所述被摄物体的回光透过的入射光透过部,且该入射光透过部具有透明区域和多个偏振滤光镜区域,
所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置。
7.一种立体图像拍摄装置,其中,
具备:拍摄被摄物体的摄像部;和图像处理部,
所述摄像部具有:
对于来自由光源所照明的所述被摄物体的回光进行成像的透镜;
从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;
在所述摄像元件的前面所配置的马赛克偏振滤光镜阵列,该马赛克偏振滤光镜阵列中各个偏振滤光镜的偏振光透射轴朝向两种以上的方向;
使来自所述被摄物体的回光透过的入射光透过部,该入射光透过部具有透明区域和多个偏振滤光镜区域,
所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置,
基于所述摄像元件生成的所述像素信号,所述图像处理部生成由分别透过所述透明区域和所述多个偏振滤光镜区域的光所形成的多个图像。
8.根据权利要求7所述的立体图像拍摄装置,其中,
所述图像处理部基于所述像素信号,生成由透过所述入射光透过部的所述左侧滤光镜区域的光所形成的左侧图像、和由透过所述入射光透过部的所述右侧滤光镜区域的光所形成的右侧图像。
9.根据权利要求7所述的立体图像拍摄装置,其中,
所述入射光透过部的所述多个偏振滤光镜区域,包含相对于所述透镜的光轴以同心圆状所配置的内侧滤光镜区域和外侧滤光镜区域。
10.根据权利要求9所述的立体图像拍摄装置,其中,
所述图像处理部基于所述像素信号生成:由透过所述入射光透过部的所述透明区域和所述内侧滤光镜区域的光所形成的图像;和由透过所述入射光透过部的所述透明区域、所述内侧滤光镜区域和所述外侧滤光镜区域的光所形成的图像。
11.根据权利要求7所述的立体图像拍摄装置,其中,
所述摄像部中作为所述摄像元件具有黑白摄像元件。
12.一种内窥镜,其中,
具备:
将非偏振光照射到被摄物体上的照明部;
所述被摄物体由所述非偏振光照射时,拍摄所述被摄物体的摄像部,
并且,所述摄像部具有:
对于来自由所述照明部所照明的所述被摄物体的回光进行成像的透镜;
从由所述透镜所成像的像通过光电转换而生成像素信号的摄像元件;
在所述摄像元件的前面所配置的马赛克偏振滤光镜阵列,该马赛克偏振滤光镜阵列中各个偏振滤光镜的偏振光透射轴朝向两种以上的方向;
使来自所述被摄物体的回光透过的入射光透过部,该入射光透过部具有透明区域和多个偏振滤光镜区域,
所述多个偏振滤光镜区域,位于所述透明区域的外侧,且整体上具有轮带形状,并包含相对于所述透镜的光轴而左右配置的左侧滤光镜区域和右侧滤光镜区域,并且所述左侧和右侧滤光镜区域按照使偏振光透射轴的方向形成比0°大、比90°小的角度α的方式配置。
CN201280002286.6A 2011-02-01 2012-01-04 立体图像拍摄装置和内窥镜 Active CN103053168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-020084 2011-02-01
JP2011020084 2011-02-01
PCT/JP2012/000001 WO2012105157A1 (ja) 2011-02-01 2012-01-04 立体画像撮影装置および内視鏡

Publications (2)

Publication Number Publication Date
CN103053168A CN103053168A (zh) 2013-04-17
CN103053168B true CN103053168B (zh) 2015-11-25

Family

ID=46602387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002286.6A Active CN103053168B (zh) 2011-02-01 2012-01-04 立体图像拍摄装置和内窥镜

Country Status (4)

Country Link
US (1) US9282881B2 (zh)
JP (1) JP5053468B2 (zh)
CN (1) CN103053168B (zh)
WO (1) WO2012105157A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5740559B2 (ja) * 2012-11-30 2015-06-24 パナソニックIpマネジメント株式会社 画像処理装置および内視鏡
DE102013109005A1 (de) * 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und Verfahren zur Identifikation von Codierungen unter Folie
KR20160065258A (ko) * 2014-11-28 2016-06-09 (주) 스마트메디칼디바이스 일회용 내시경 커버 본체와 그 커버 본체를 사용하는 내시경
CN106643642B (zh) * 2015-10-29 2019-05-10 原相科技股份有限公司 双孔径测距系统
JP6807546B2 (ja) * 2016-11-15 2021-01-06 パナソニックIpマネジメント株式会社 画像形成装置
US9872056B1 (en) * 2016-12-16 2018-01-16 Google Inc. Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame
WO2018189853A1 (ja) * 2017-04-13 2018-10-18 オリンパス株式会社 立体視内視鏡光学系及びそれを備えた内視鏡
CN107238374B (zh) * 2017-05-04 2019-05-07 华南农业大学 一种不规则平面零件的分类和识别定位方法
US10365554B1 (en) 2018-04-04 2019-07-30 Intuitive Surgical Operations, Inc. Dynamic aperture positioning for stereo endoscopic cameras
JP7321857B2 (ja) 2019-09-18 2023-08-07 株式会社東芝 光学撮像装置
CN110929691B (zh) * 2019-12-11 2022-12-06 中国科学院长春光学精密机械与物理研究所 一种冰层检测方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870932A (zh) * 2003-06-23 2006-11-29 微视公司 扫描内窥镜
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5424535A (en) * 1993-04-29 1995-06-13 The Boeing Company Optical angle sensor using polarization techniques
JPH0990241A (ja) * 1995-09-20 1997-04-04 Terumo Corp 内視鏡
US5649897A (en) 1994-11-02 1997-07-22 Terumo Kabushiki Kaisha Endoscope apparatus for compensating for change in polarization state during image transmission
JPH11313242A (ja) 1998-04-28 1999-11-09 Nippon Hoso Kyokai <Nhk> 撮像用光学機器および撮像装置
JP3863319B2 (ja) * 1999-06-29 2006-12-27 富士フイルムホールディングス株式会社 視差画像撮像装置及びカメラ
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
JP2003098570A (ja) 2001-09-21 2003-04-03 Fuji Photo Optical Co Ltd 内視鏡
US7101334B2 (en) * 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
JP4253493B2 (ja) * 2001-10-31 2009-04-15 オリンパス株式会社 光学観察装置及びこれに用いる立体画像入力光学系
US7448995B2 (en) 2003-06-23 2008-11-11 Microvision, Inc. Scanning endoscope
US8004675B2 (en) 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
JP4600476B2 (ja) * 2007-12-28 2010-12-15 日本電気株式会社 微細構造物の欠陥検査方法及び欠陥検査装置
JP5057389B2 (ja) 2008-03-31 2012-10-24 富士フイルム株式会社 撮像装置
JP2010104422A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法
JP5454187B2 (ja) 2009-03-27 2014-03-26 日立金属株式会社 ケーブル固定方法及びケーブル接続部
US8570530B2 (en) * 2009-06-03 2013-10-29 Carestream Health, Inc. Apparatus for dental surface shape and shade imaging
JP2011239241A (ja) * 2010-05-11 2011-11-24 Panasonic Corp 3次元撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870932A (zh) * 2003-06-23 2006-11-29 微视公司 扫描内窥镜
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法

Also Published As

Publication number Publication date
CN103053168A (zh) 2013-04-17
US20120300033A1 (en) 2012-11-29
JPWO2012105157A1 (ja) 2014-07-03
US9282881B2 (en) 2016-03-15
JP5053468B2 (ja) 2012-10-17
WO2012105157A1 (ja) 2012-08-09

Similar Documents

Publication Publication Date Title
CN103053168B (zh) 立体图像拍摄装置和内窥镜
CN102742259B (zh) 立体图像拍摄装置和内窥镜
US10247866B2 (en) Imaging device
US9442362B2 (en) Method and apparatus for generating three-dimensional image information
JP6156787B2 (ja) 撮影観察装置
US20140055661A1 (en) Imaging device and imaging system
WO2014073138A1 (ja) 画像処理装置および内視鏡
JP6010895B2 (ja) 撮像装置
WO2016045100A1 (zh) 全息三维信息采集、还原装置及方法
CN102356628A (zh) 图像处理装置
WO2016115776A1 (zh) 2d/3d可切换显示装置
WO2014133481A1 (en) Multiview 3d telepresence
JP5740559B2 (ja) 画像処理装置および内視鏡
CN102918355B (zh) 三维摄像装置、图像处理装置
JP6907616B2 (ja) 立体画像の撮像・表示兼用装置及びヘッドマウント装置
CN109792511A (zh) 用于更丰富颜色采样的全光子孔径视图滑移
CN105158889B (zh) 基于led阵列照明的体视显微成像装置及其方法
JP2007108626A (ja) 立体映像生成システム
Kagawa et al. Deep-focus compound-eye camera with polarization filters for 3D endoscopes
Kagawa et al. Variable field-of-view visible and near-infrared polarization compound-eye endoscope
CN107533219A (zh) 光学观察装置及其控制方法
CN106772981A (zh) 偏振式动态实时体视显微成像装置及方法
KR100881771B1 (ko) 하나의 렌즈계를 구비하는 입체 현미경
JP2005321778A (ja) 立体映像表示装置
KR20090059189A (ko) 3차원 영상 카메라 및 3차원 영상 구현방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant