CN110023830B - 摄像装置及摄像方法 - Google Patents

摄像装置及摄像方法 Download PDF

Info

Publication number
CN110023830B
CN110023830B CN201780072902.8A CN201780072902A CN110023830B CN 110023830 B CN110023830 B CN 110023830B CN 201780072902 A CN201780072902 A CN 201780072902A CN 110023830 B CN110023830 B CN 110023830B
Authority
CN
China
Prior art keywords
light
image
pixels
orientation sensor
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780072902.8A
Other languages
English (en)
Other versions
CN110023830A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110023830A publication Critical patent/CN110023830A/zh
Application granted granted Critical
Publication of CN110023830B publication Critical patent/CN110023830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/023Multi-image cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/12Beam splitting or combining systems operating by refraction only
    • G02B27/126The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本发明的目的在于提供一种无需在多个特定波长的图像之间进行对位,能够从被摄体的相同位置获取基于光的信息的多个特定波长的图像,且用于获取多个特定波长的图像的计算负荷得到了抑制的摄像装置及摄像方法。摄像装置(10)具备:光学部件(101),以与各波长相应的折射率使光的波长相互不同的第1光和第2光弯曲,从而使第1光的第1图像与第2光的第2图像的位置偏移;透光滤波器(103);及定向传感器(17),光学部件根据因第1光的波长与第2光的波长的差异引起的折射率的不同,使第1图像与第2图像的位置在定向传感器上偏移像素的1个间距量。

Description

摄像装置及摄像方法
技术领域
本发明涉及一种摄像装置及摄像方法,尤其涉及一种通过光学部件折射光来获取多个图像的摄像装置及摄像方法。
背景技术
一直以来,提出有获取基于多个特定波段的光的像的技术。例如,提出有被称作多光谱相机或超频谱相机,获取多个特定波段的图像的相机。其中,作为获取多个特定波段的图像的方法,已知有以下方法。
在用多个相机通过1次摄影获取多个特定波段的图像的方法中,准备多台能够获取特定波段的光的像的相机,用各相机分别获取特定波段的光的像。
另一方面,在用1台相机通过多次摄影获取多个特定波段的图像的方法中,准备多个仅使特定波段的光通过的滤波器,按每次摄影更换滤波器来进行摄影。
并且,通过使用如专利文献1中记载的光学系统,能够用1台相机通过1次摄影获取多个特定波段的图像。
并且,专利文献2中记载有通过获取用分光元件进行分光的像来获取多个特定波段的光的像的技术。具体而言,记载有如下技术:对作为分光元件使用棱镜及衍射光栅进行分光的光,通过编码元件调制光的强度来进行编码,之后使用压缩传感技术重构分光分离图像。
以往技术文献
专利文献
专利文献1:国际公开第2013/018471号公报
专利文献2:日本特开2016-090290号公报
发明内容
发明要解决的技术课题
其中,作为多个特定波段的图像的用途,有分别比较所获取的多个特定波段的图像来进行的检查。例如,在农作物的发育检查或海洋检查等各种领域中,有通过比较多个特定波段的图像来进行的检查。
比较多个特定波段的图像时,需要在多个图像之间进行准确的对位。即,进行比较时,通过使图像内的被摄体像准确地重合,能够进行有效的比较。
然而,上述的用多台相机通过1次摄影及用1台相机通过多次摄影获取多个特定波段的图像时,有时很难进行所获取的图像之间的对位。
并且,使用如专利文献1中记载的光学系统时,所获取的图像之间的对位并不困难,但所获取的图像并未严密地基于从被摄体的相同位置反射的光的信息,因此比较的精度下降。
并且,在专利文献2中记载的技术中,使用压缩传感技术进行通过分光元件分离的图像(分光分离图像)的重构,因此相机需要具备编码元件,需要进行编码的计算处理(重构)。该计算处理对CPU(中央处理器,Central Processing Unit)而言负担非常大,且需要花费时间。因此,较多情况下,很难根据专利文献2中记载的技术进行实时动画的观察等。
本发明是鉴于这种情况而完成的,其目的在于提供一种无需在多个特定波长的图像之间进行对位,能够从被摄体的相同位置获取基于光的信息的多个特定波长的图像,且用于获取多个特定波长的图像的计算负荷得到了抑制的摄像装置及摄像方法。
用于解决技术课题的手段
作为用于实现上述目的的本发明的一方式的摄像装置具备:光学部件,以与各波长相应的折射率使光的波长相互不同的第1光和第2光弯曲,从而使第1光的第1图像与第2光的第2图像的位置偏移;透光滤波器,具有仅使第1光透射的第1滤波器区域及仅使第2光透射的第2滤波器区域;定向传感器,具有分别对透射了第1滤波器区域的第1光及透射了第2滤波器区域的第2光进行光瞳分割来选择性地受光的多个像素,且将接收第1光的像素和接收第2光的像素交替排列;及图像获取部,从定向传感器获取第1图像及第2图像,光学部件根据因第1光的波长与第2光的波长的差异引起的折射率的不同,使第1图像与第2图像的位置在定向传感器上偏移像素的间距量。
根据本方式,通过定向传感器获取第1图像和第2图像,该第1图像和第2图像利用因第1光与第2光的波长的不同引起的折射率的不同,通过光学部件偏移。因此,本方式中,使光轴相同来获取第1图像和第2图像,因此第1图像和第2图像的位置对齐,无需进行获取图像之后的图像之间的对位。
并且,根据本方式,通过光学部件,第1图像和第2图像在定向传感器上的位置偏移像素的间距量,且定向传感器上交替排列有接收第1光的像素和接收第2光的像素。因此,本方式中,分别通过不同像素接收从被摄体的相同位置反射的第1光及第2光,从而生成第1图像及第2图像,因此能够获取基于来自被摄体的相同位置的光信息的第1图像及第2图像。
并且,根据本方式,通过由分别对第1光及第2光进行光瞳分割来选择性地受光的像素(接收第1光的像素及接收第2光的像素)构成的定向传感器获取第1图像及第2图像。由此,本方式中,根据以接收第1光的像素获取的信息生成第1图像,根据以接收第2光的像素获取的信息生成第2图像,因此无需进行用于分离生成第1图像和第2图像的特别的计算,计算负荷得到减轻。
优选摄像装置具备比较部,对第1图像与第2图像的所对应的位置的输出值进行比较。
根据本方式,通过比较部比较第1图像和第2图像的所对应的位置的输出值,因此能够比较被摄体的第1光和第2光的反射程度。
优选光学部件为棱镜或平行平面玻璃。
根据本方式,光学部件为棱镜或平行平面玻璃,因此能够使第1光及第2光准确地根据各波长折射。
优选透光滤波器设置于第1光和第2光所透射的摄影镜头的内部。
根据本方式,透光滤波器设置于摄影镜头的内部,因此能够准确地使第1光及第2光透射,透光滤波器对第1图像及第2图像带来的影响得到抑制。
优选透光滤波器设置于由第1透镜组及第2透镜组构成的摄影镜头的第1透镜组与第2透镜组之间。
根据本方式,透光滤波器设置于第1透镜组与第2透镜组之间,因此能够准确地使第1光及第2光透射,透光滤波器对第1图像及第2图像带来的影响得到抑制。
优选第1光为红色的波段的光,第2光为近红外的波段的光。
根据本方式,第1光为红色的波段的光,第2光为近红外的波段的光,因此能够获取基于被摄体的红色波段的光的反射的图像和基于近红外波段的光的反射的图像。
优选定向传感器具有以棋盘格图案排列的接收第1光的像素及接收第2光的像素。
根据本方式,定向传感器具有以棋盘格图案排列的接收第1光的像素及接收第2光的像素。因此,本方式中,在通过光学部件使第1图像与第2图像的位置偏移像素的间距量时且尤其在偏移1个像素量时,能够使其向1个像素的相邻4个方向中的任一方向偏移。
优选定向传感器具有交替排列的接收第1光的像素的列及接收第2光的像素的列。
根据本方式,定向传感器具有交替排列的接收第1光的像素的列及接收第2光的像素的列。因此,本方式中,在通过光学部件使第1图像与第2图像的位置偏移像素的间距量时且尤其在偏移1个像素量时,能够向1个像素的对置的相邻2个方向中的任一方向偏移。
优选定向传感器为长方形的形状,光学部件沿定向传感器的长方形的长边方向或沿定向传感器的长方形的短边方向偏移第1图像与第2图像的位置。
根据本方式,沿定向传感器的长方形的长边方向或沿定向传感器的长方形的短边方向偏移第1图像与第2图像的位置。由此,本方式中,能够偏移与长方形的定向传感器的形状相应的第1图像与第2图像的位置。
作为本发明的另一方式的摄像方法包含:以与各波长相应的折射率使光的波长相互不同的第1光和第2光弯曲,通过光学部件使第1光的第1像素与第2光的第2像素的位置偏移的步骤;通过具有仅使第1光透射的第1滤波器区域及仅使第2光透射的第2滤波器区域的透光滤波器,使第1光及第2光透射的步骤;通过定向传感器接收第1光及第2光的步骤,定向传感器具有对透射了第1滤波器区域的第1光及透射了第2滤波器区域的第2光分别进行光瞳分割来选择性地受光的多个像素,且将接收第1光的像素及接收第2光的像素交替排列;及从定向传感器获取第1像素及第2像素的步骤,在通过光学部件偏移的步骤中,根据因第1光的波长与第2光的波长的差异引起的折射率的不同,使第1像素与第2像素的位置在定向传感器上偏移像素的间距量。
发明效果
根据本发明,通过定向传感器获取第1图像和第2图像,该第1图像和第2图像利用因第1光与第2光的波长的不同引起的折射率的不同,通过光学部件偏移,因此将光轴设为相同来获取第1图像和第2图像,第1图像和第2图像的位置对齐,无需进行获取图像之后的图像之间的对位。并且,根据本发明,通过光学部件,第1图像和第2图像在定向传感器上的位置偏移像素的1个间距量,且定向传感器上交替排列有接收第1光的像素及接收第2光的像素,因此分别通过不同像素接收从被摄体的相同位置反射的第1光及第2光,从而生成第1图像及第2图像,因此能够获取基于来自被摄体的相同位置的光信息的第1图像及第2图像。并且,根据本发明,通过由分别对第1光及第2光进行光瞳分割来选择性地受光的像素(接收第1光的像素及接收第2光的像素)构成的定向传感器,获取第1图像及第2图像,因此根据以接收第1光的像素获取的信息生成第1图像,根据以接收第2光的像素获取的信息生成第2图像,无需进行用于分离生成第1图像和第2图像的特别的计算,计算负荷得到减轻。
附图说明
图1是表示作为摄像装置的一例的数码相机的立体图。
图2是表示光线的路径的概念图。
图3是对作为光学部件的一例的棱镜进行说明的图。
图4是对作为光学部件的一例的棱镜进行说明的图。
图5是表示透光滤波器的图。
图6是表示数码相机的功能结构例的框图。
图7是表示定向传感器的图。
图8是对第1图像及第2图像的获取进行说明的图。
图9是对没有棱镜时的第1图像及第2图像的获取进行说明的图。
图10表示数码相机的动作流程。
图11是表示光线的路径的概念图。
图12是对平行平面玻璃进行说明的图。
图13是对平行平面玻璃进行说明的图。
图14是表示定向传感器的像素的排列的图。
具体实施方式
以下,根据附图对本发明所涉及的摄像装置及摄像方法的优选实施方式进行说明。
图1是表示作为本发明的摄像装置的一例的数码相机10的立体图。图1所示的例子中,在数码相机10的相机主体的前表面设置有摄像部11及闪光灯13等,在相机主体的上表面设置有释放按钮12等。图1的符号“L”表示摄像部11的光轴。并且,作为摄影光学系统14的一部分,以虚线表示作为光学部件的一例的棱镜101。棱镜101设置于数码相机10的内部。
图2是表示数码相机10中的光线的路径的概念图。图2中,在被摄体S反射的第1光V及第2光W被数码相机10捕捉。其中,第1光V及第2光W为具有互不相同的波长或波段的光。第1光V及第2光W的波段并无特别限定,例如,第1光V为红色的波段的光,第2光W为近红外的波段的光。其中,红色的波段为0.62μm以上且小于0.75μm的范围,近红外的波段为0.75μm以上且小于1.4μm的范围。另外,将被摄体S的第1光V的像设为第1图像U1,将第2光W的像设为第2图像U2。
棱镜101为光学部件的一例。棱镜101设置于摄影镜头109的前方,第1光V及第2光W在入射于摄影镜头109之前入射于棱镜101。棱镜101以与各波长相应的折射率使光的波长相互不同的第1光V和第2光W弯曲,从而偏移第1光V的第1图像和第2光W的第2图像的位置。即,根据基于第1光V的波长与第2光W的波长的差异的折射率的不同,使第1图像与第2图像的位置在定向传感器上偏移像素的间距量。另外,为了在定向传感器17上使第1图像及第2图像偏移像素的间距量,需要调整棱镜101、第1光V及第2光W、定向传感器17的1个间距。以下,对使第1图像与第2图像的位置偏移定向传感器的像素的1个间距量的情况的具体例进行说明。另外,本发明的适用范围并不限定于偏移1个间距量的例子。
图3及图4是对作为光学部件的一例的棱镜进行说明的图。图3中示出光学部件的一例的棱镜101的剖视图,图4中示出有在棱镜101前进的第1光V和第2光W的行进方向。
首先,对图3所示的光线G以大致对称的入射角和出射角透射顶角α的棱镜101的情况下的光线的行进角度进行说明。另外,棱镜101还被称为锥形玻璃或楔形板。
光线G从折射率n1的介质进入折射率n2的棱镜101时,通过斯内尔(Snell)定律成立以下式(1)。
n1×sinθ=n2×sin(α/2)……(1)
并且,从式(1)求出θ的式成为以下的式(2)。
θ=asin((n2/n1)sin(α/2))……(2)
接着,对波长不同的第1光V及第2光W在棱镜101中的行进进行说明。图4中,示出从被摄体S的1个点反射的第1光V和第2光W通过在图3中进行说明的棱镜101的情况。
从被摄体S出射的第1光V和第2光W经过相同的路径入射于棱镜101。但是,由于第1光V和第2光W的波长不同,因此在棱镜101中被分散。第1光V的波长为670nm且第2光W的波长为780nm时,能够如下计算θ1及θ2。
代表性的玻璃材料BK7的折射率在波长670nm中n=1.514,在波长780nm中n=1.512。若透射玻璃材料BK7的顶角5.0度的棱镜101,则通过上述式(1)及(2)如下求出θ。
α=5.0、n1=1.0、n2=1.514时,θ1=3.787
α=5.0、n1=1.0、n2=1.512时,θ2=3.782
并且,通过以下式(3)计算出θ1与θ2之差。
θ1-θ2=Δθ=0.005……(3)
光线透射棱镜101时,入射于棱镜101并从棱镜101出射,因此光线弯曲的角度成为Δθ×2,产生0.01度的差。因此,若波长670nm的光和波长780nm的光从被摄体S的相同部位出射而透射玻璃材料BK7的顶角5.0度的棱镜101,则各波长的光具有0.01度的角度差而行进。
其中,使用摄影镜头109的视角为30度且像素数为3000像素的定向传感器17时,用于偏移1个像素的入射角的差成为0.01度。因此,通过设置锥角度5.0度的BK7的玻璃(棱镜101),红(波长670nm)和近红外(波长780nm)的像的位置能够在定向传感器17上偏移1个像素。由此,例如能够在定向传感器17的奇数像素及偶数像素上,分别通过第1光V和第2光W来捕获被摄体S的相同位置的信息。
回到图2,被棱镜101弯曲的第1光V及第2光W通过摄影镜头109的前组105,透射透光滤波器103并通过后组107。透光滤波器103设置于由第1透镜组(前组)及第2透镜组(后组)构成的摄影镜头109的第1透镜组与第2透镜组之间。另外,透光滤波器103只要有效地使第1光V及第2光W透射,则可以设置于摄影镜头109内部的任意部位。
图5是表示透光滤波器103的图。图5所示的透光滤波器103为圆形状。并且,透光滤波器103在内侧的圆的区域具有仅使第1光V透射的第1滤波器区域111,在外侧的同心圆具有仅使第2光W透射的第2滤波器区域113。另外,透光滤波器103的形状并不限定于圆形状,可采用各种形状。
图6是表示数码相机10的功能结构例的框图。
如图6所示,数码相机10具备由摄影光学系统14及定向传感器17构成的摄像部11,所述摄影光学系统14具有棱镜101、透光滤波器103及摄影镜头109,所述定向传感器17具有微透镜阵列16及图像传感器18。
摄像部11经由摄影光学系统14及定向传感器17拍摄时序图像,经由摄影光学系统14成像于定向传感器17(图像传感器18)的各受光单元(光电转换元件)的受光面的被摄体像转换为与其入射光量相应的量的信号电压(或电荷)。
积蓄在图像传感器18的信号电压(或电荷)积蓄在受光单元本身或者附设的电容器。所积蓄的信号电压(或电荷)通过利用X-Y地址方式的MOS型摄像元件(所谓的CMOS传感器)的方法,与受光单元位置的选择一同被读出。
由此,能够从图像传感器18读出表示基于第1光V的第1图像的像素信号和表示基于第2光W的第2图像的像素信号。另外,从图像传感器18,以规定的帧速率(例如,每1秒的帧数24p、30p或60p)连续读出表示第1图像及第2图像的像素信号。
从图像传感器18读出的像素信号(电压信号)通过相关双采样处理(将减轻传感器输出信号中包含的噪声(尤其是热噪声)等为目的,通过取每个受光单元的输出信号中包含的馈通成分电平与信号成分电平之差来获得更准确的像素数据的处理)采样保持每个受光单元的像素信号,并在被放大之后赋予至A/D转换器20。A/D转换器20将依次输入的像素信号转换为数字信号并输出至图像获取部22。另外,MOS型传感器中有内置有A/D转换器20的传感器,此时,直接从图像传感器18输出数字信号。
图像获取部22选择图像传感器18的受光单元位置来读出像素信号,由此能够同时或选择性地获取表示第1图像的像素信号和表示第2图像的像素信号。
即,通过选择性地读出图像传感器18的入射第1光V的受光单元(像素)的像素信号,能够获取表示第1图像的像素信号,另一方面,通过选择性地读出图像传感器18的入射第2光W的受光单元(像素)的像素信号,能够获取表示第2图像的像素信号。由此,接收第1光V的像素和接收第2光W的像素对第1光V及第2光W进行光瞳分割来选择性地进行受光。
另外,也可以从图像传感器18读出所有像素信号并暂时存储于缓冲存储器,并从存储于缓冲存储器的像素信号进行第1图像和第2图像这2个图像的像素信号的分组。
通过图像获取部22获取的表示第1图像及第2图像的像素信号分别输出至数字信号处理部40。
数字信号处理部40对所输入的数字的像素信号进行偏移处理、伽马校正处理及插值处理的信号处理。其中,插值处理是对未受光的像素,根据该像素周围的像素信号生成值的处理。即,就用定向传感器17获取的像素信号而言,由于定向传感器17为接收第1光V的像素和接收第2光W的像素交替排列的结构,因此无法获取与被摄体S的整个区域对应的像素信号(参考图8(B)及图9(B))。因此,生成被摄体S的图像时,对未能获取像素信号的部位,需要根据周围的像素信号进行插值。
数字信号处理部40具有比较部45。比较部45对所述第1图像和所述第2图像的所对应的位置的输出值进行比较。其中,输出值为构成图像的像素的值,可以是从定向传感器输出的光电转换的值,也可以是插值后的值。另外,图6中例示了数字信号处理部40具有比较部45的例子,但并不限定于此。例如,也可以由图像获取部22具有比较部45。
通过数字信号处理部40处理的表示第1图像及第2图像的像素信号分别输出至记录部42及显示部44。记录部42将通过数字信号处理部40处理的表示第1图像及第2图像的动画记录用的像素信号记录于记录介质(硬盘、存储卡等)。
显示部44根据通过数字信号处理部40处理的表示第1图像及第2图像的动画显示用的像素信号显示第1图像及第2图像。另外,显示部44还能够根据记录于记录部42的像素信号播放第1图像及第2图像。
图7是表示定向传感器17的图。图7所示的定向传感器17中,接收第1光V的像素155及接收第2光W的像素157如棋盘格图案那样交替排列而构成。接收第1光V的像素155例如通过设置仅使第1光V透射的滤波器,设为仅接收第1光V的像素。并且,接收第2光W的像素157例如通过设置仅使第2光W透射的滤波器,设为仅接收第2光W的像素。
定向传感器17为长方形的形状。并且,关于第1图像U1和第2图像U2,沿长方形的长边方向(图中的X轴方向)使第1图像的位置和第2图像的位置偏移像素的1个间距量。另外,第1图像U1和第2图像U2也可以沿长方形的短边方向(图中的Y轴方向)偏移。
图8是对第1图像及第2图像的获取进行说明的图。图8(A)是表示在图7中说明的定向传感器17上的第1光V与第2光W的光分布的图,图8(B)是分别表示接收第1光V的像素155及接收第2光W的像素157(光瞳选择像素)的光分布的图,图8(C)表示光电转换信号的分布。
如图8(A)所示,第1光V及第2光W被棱镜101折射,因此第1光V的光分布与第2光W的光分布偏离。图8(A)所示的情况下,如上述那样以偏离定向传感器17的像素的1个间距量的方式选择棱镜101、第1光V及第2光W的波长,因此第1光V的光分布和第2光W的光分布偏离定向传感器17的像素的1个间距量。
图8(B)中,分离示出有定向传感器17的接收第1光V的像素155和接收第2光W的像素157。如图8(B)所示,第1光V及第2光W通过棱镜101弯曲像素的1个间距量,因此能够分别通过像素接收在被摄体S的相同位置反射的第1光V和第2光W。即,第1光V及第2光W通过棱镜101分别入射于相邻的像素,因此能够分别以相邻的不同像素接收从被摄体S的相同位置反射的第1光V和第2光W。
图8(C)中,概念性地示出根据接收第1光V的像素155和接收第2光W的像素157所接收的光进行光电转换的信号。如此,接收第1光V的像素155和接收第2光W的像素157如图8(B)那样受光时,具有基于所接收的光的光电转换信号的值。例如,通过对接收第1光V的像素155中的D1像素和接收第2光W的像素157中的D2像素的输出值进行比较,能够对在被摄体S的相同位置反射的第1光V和第2光W进行比较。
如图8所示,本发明中,以偏离定向传感器17的像素的1个间距量的方式,用棱镜101折射在被摄体S的相同位置反射的第1光V及第2光W,并分别以相邻的不同像素受光。因此,能够根据基于以像素接收的光的光电转换后的像素信号,对在被摄体S的相同位置反射的第1光V和第2光W进行比较。
另一方面,即使在利用由接收第1光V的像素155及接收第2光W的像素157构成的定向传感器17时,若不设置棱镜101,则无法以各像素接收在被摄体S的相同位置反射的第1光V及第2光W。以下对该情况进行说明。
图9是对没有棱镜时的第1图像及第2图像的获取进行说明的图。图9(A)是表示第1光V与第2光W的光分布的图,图9(B)是表示接收第1光V的像素155及接收第2光W的像素157(光瞳选择像素)的光分布的图,图9(C)表示光电转换信号的分布。
如图9(A)所示,没有棱镜101时,第1光V及第2光W不会被折射。因此,定向传感器入射面中的第1光V及第2光W的光分布不会偏离。
图9(B)中,分离示出有定向传感器17的接收第1光V的像素155及接收第2光W的像素157。如图9(B)所示,第1光V及第2光W未被棱镜101折射,因此在被摄体S的相同位置反射的第1光V及第2光W中的任一个被定向传感器17接收。即,在被摄体S的某一部位反射的第1光V及第2光W入射于1个像素,但该入射的像素为接收第1光V的像素155或接收第2光W的像素157,因此只有第1光V或第2光W中的任一个被定向传感器接收。
图9(C)中,概念性地示出根据接收第1光V的像素155和接收第2光W的像素157所接收的光进行光电转换的信号。如此,接收第1光V的像素155和接收第2光W的像素157如图9(B)所示那样受光时,具有基于所接收的光的光电转换信号的值。
此时,只有在被摄体S的某一部位反射的第1光V及第2光W中的任一个被定向传感器17接收,因此如图8(C)所示,无法对在被摄体S的相同位置反射的第1光V和第2光W严密地进行比较。例如,接收第2光W的像素157中不存在与接收第1光V的像素155中的E1像素对应的接收第2光W的像素157中的像素。因此,此时无法进行在被摄体S的相同位置反射的第1光V与第2光W的准确的比较。
图10表示数码相机10的动作流程。
首先,数码相机10读入从被摄体S反射的第1光V和第2光W,通过棱镜101折射第1光V和第2光W,使定向传感器17中的第1图像的位置与第2图像的位置(步骤S10)偏移。之后,使被棱镜101弯曲的第1光V及第2光W透射透光滤波器103(步骤S11)。第1光V透射仅使第1光V透射的第1滤波器区域111,第2光W透射仅使第2光W透射的第2滤波器区域113。并且,第1光V及第2光W被定向传感器17接收(步骤S12)。定向传感器17中,第1图像和第2图像偏离定向传感器17的像素的1个间距量。并且,获取第1图像及第2图像(步骤S13)。
上述各结构及功能能够通过任意的硬件、软件或者两者的组合适当实现。例如,对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序且能够计算机读取的记录介质(非暂时性记录介质)或者能够安装这种程序的计算机也能够适用本发明。
接着,对变形例进行说明。
(变形例1)
变形例1是在上述发明中将光学部件从棱镜101替代为平行平面玻璃151的例子。平行平面玻璃151也能够与棱镜101相同地根据光的波长以不同折射率使光弯曲,因此能够使第1图像及第2图像偏移。
图11是表示本例的数码相机中的光线的路径的概念图。图11中,与图2相比,光学部件从棱镜101变为平行平面玻璃151。另外,对图2中已进行说明的部位标注相同符号并省略说明。
如图11所示,透射倾斜设置的平行平面玻璃151时,由于不同波长的光的折射率不同,因此入射于玻璃时弯曲的角度不同。即,从被摄体S反射的第1光V及第2光W的波长不同,因此根据不同折射率被弯曲。
透射平行平面玻璃151之后出射的第1光V及第2光W与再次折射而入射于平行平面玻璃151之前的第1光V及第2光W平行地前进,但透射平行平面玻璃151之后的出射位置不同。
并且,若以定向传感器17接收第1光V及第2光W,则第1图像的位置和第2图像的位置平行移动(位移)。该平行移动的量根据光的波长而不同,因此第1图像和第2图像沿位移方向偏离而映现。使该偏离量与定向传感器17的像素的1个间距一致。
图12及图13是对作为光学部件的平行平面玻璃151进行说明的图。图12中示出有光学部件的一例的平行平面玻璃151的剖视图,图13中示出有在平行平面玻璃151前进的第1光V和第2光W的行进方向。
对透射图12所示的宽度t的平行平面玻璃151的光线H的位移量(图中以sft表示)进行说明。
若倾斜平行平面玻璃151来使光线H倾斜地入射,则入射光线和出射光线向沿着倾斜面的方向平行位移。位移量(sft)根据平行平面玻璃151的倾角、厚度及折射率确定。
关于图12所示的光线H,根据斯内尔(Snell)定律成立以下式(4)。
n1×sinθ1=n2×sinθ2……(4)
并且,从式(4)求出θ2的式成为以下的式(5)。
θ2=asin((n1/n2)sinθ1)……(5)
另一方面,图12中的b及a可表达为如下。
b=t×tanθ1、a=t×tanθ2、b-a=t(tanθ1-tanθ2)
并且,位移量(sft)、(b-a)及θ1的关系成为以下的式(6)。
sft/(b-a)=cosθ1……(6)
通过将上述θ2及(b-a)的值代入到式(6),能够如以下的式(7)那样求出位移量(sft)。
位移量(sft)=t(tanθ1-tanθ2)cosθ1=t(tanθ1-tan(asin((n1/n2)sinθ1)))cosθ1……(7)
以下示出具体例。图13中示出有第1光V及第2光W入射于平行平面玻璃151的情况。图13所示的平行平面玻璃151为平行平面玻璃的厚度t=20.0且倾斜角度θ1=33.7度的玻璃材料BK7。另外,图13中设为n1=1.0。
此时,第1光V(波长670nm)为n2=1.514,因此成为sft=4.5431。并且,第2光W(波长780nm)为n2=1.512,因此成为sft=4.5331。第1光V与第2光W的位移量的差△成为△=0.0100。
定向传感器17中,第1光V的像及第2光W的像仅偏离位移量的差△。
当为如大小50mm的物体在像面成为5000像素的尺寸的摄影倍率时,波长670nm的像和波长780nm的像偏离定向传感器的像素的1个间距而映现。
如此,能够代替棱镜101使用平行平面玻璃151作为光学部件。另外,第1图像U1与第2图像U2的偏移量大时使用棱镜101,偏移量小时使用平行平面玻璃151。
(变形例2)
接着,对变形例2进行说明。变形例2中,上述发明中定向传感器17的接收第1光V的像素与接收第2光W的像素的排列与图7中说明的例子不同。
图14是表示本例的定向传感器17的像素的排列的图。图14所示的图中,接收第1光V的像素155和接收第2光W的像素157沿着图中的Y轴方向(长方形的短边方向)交替排列。即,定向传感器17具有沿着Y轴方向交替排列的接收第1光V的像素155的列和接收第2光W的像素157的列。并且,定向传感器17也可以具有沿着X轴方向(长方形的长边方向)交替排列的接收第1光V的像素155的列和接收第2光W的像素157的列。
以上,对本发明的例子进行了说明,但本发明并不限定于上述实施方式,能够在不脱离本发明的精神的范围内进行各种变形是理所当然的。
符号说明
10-数码相机,11-摄像部,12-释放按钮,13-闪光灯,14-摄影光学系统,16-微透镜阵列,17-定向传感器,18-图像传感器,20-A/D转换器,22-图像获取部,40-数字信号处理部,42-记录部,44-显示部,45-比较部,101-棱镜,103-透光滤波器,109-摄影镜头,111-第1滤波器区域,113-第2滤波器区域,151-平行平面玻璃,155-接收第1光的像素,157-接收第2光的像素,步骤S10~步骤S13-摄像方法的工序。

Claims (11)

1.一种摄像装置,其具备:
光学部件,以与各波长相应的折射率使光的波长相互不同的第1光和第2光弯曲,从而使所述第1光的第1图像与所述第2光的第2图像的位置偏移;
透光滤波器,具有仅使所述第1光透射的第1滤波器区域及仅使所述第2光透射的第2滤波器区域;
定向传感器,具有分别对透射了所述第1滤波器区域的所述第1光及透射了所述第2滤波器区域的所述第2光进行光瞳分割来选择性地受光的多个像素,且将分别接收从被摄体的相同位置反射的所述第1光和所述第2光的像素交替排列,从而生成基于来自所述被摄体的相同位置的光信息的所述第1图像及所述第2图像;及
图像获取部,从所述定向传感器获取所述第1图像及所述第2图像,
所述光学部件根据因所述第1光的波长与所述第2光的波长的差异引起的折射率的不同,使所述第1图像与所述第2图像的位置在所述定向传感器上偏移所述像素的间距量。
2.根据权利要求1所述的摄像装置,其中,
该摄像装置具备:
比较部,对所述第1图像和所述第2图像的所对应的位置的输出值进行比较。
3.根据权利要求1所述的摄像装置,其中,
所述光学部件为棱镜或平行平面玻璃。
4.根据权利要求2所述的摄像装置,其中,
所述光学部件为棱镜或平行平面玻璃。
5.根据权利要求1至4中任一项所述的摄像装置,其中,
所述透光滤波器设置于所述第1光和所述第2光所透射的摄影镜头的内部。
6.根据权利要求5所述的摄像装置,其中,
所述透光滤波器设置于由第1透镜组及第2透镜组构成的所述摄影镜头的所述第1透镜组与所述第2透镜组之间。
7.根据权利要求1至4中任一项所述的摄像装置,其中,
所述第1光为红色的波段的光,所述第2光为近红外的波段的光。
8.根据权利要求1至4中任一项所述的摄像装置,其中,
所述定向传感器具有以棋盘格图案排列的接收所述第1光的像素及接收所述第2光的像素。
9.根据权利要求1至4中任一项所述的摄像装置,其中,
所述定向传感器具有交替排列的接收所述第1光的像素的列及接收所述第2光的像素的列。
10.根据权利要求1至4中任一项所述的摄像装置,其中,
所述定向传感器为长方形的形状,
所述光学部件沿所述定向传感器的所述长方形的长边方向或沿所述定向传感器的所述长方形的短边方向使所述第1图像与所述第2图像的位置偏移。
11.一种摄像方法,其包含:
以与各波长相应的折射率使光的波长相互不同的第1光和第2光弯曲,通过光学部件使所述第1光的第1图像与所述第2光的第2图像的位置偏移的步骤;
通过具有仅使所述第1光透射的第1滤波器区域及仅使所述第2光透射的第2滤波器区域的透光滤波器,使所述第1光及所述第2光透射的步骤;
通过定向传感器接收所述第1光及所述第2光的步骤,所述定向传感器具有分别对透射了所述第1滤波器区域的所述第1光及透射了所述第2滤波器区域的所述第2光进行光瞳分割来选择性地受光的多个像素,且将分别接收从被摄体的相同位置反射的所述第1光及所述第2光的像素交替排列,从而生成基于来自所述被摄体的相同位置的光信息的所述第1图像及所述第2图像;及
从所述定向传感器获取所述第1图像及所述第2图像的步骤,
在通过光学部件进行偏移的步骤中,根据因所述第1光的波长与所述第2光的波长的差异引起的折射率的不同,使所述第1图像与所述第2图像的位置在所述定向传感器上偏移所述像素的间距量。
CN201780072902.8A 2016-11-28 2017-10-17 摄像装置及摄像方法 Active CN110023830B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-230090 2016-11-28
JP2016230090 2016-11-28
PCT/JP2017/037514 WO2018096841A1 (ja) 2016-11-28 2017-10-17 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
CN110023830A CN110023830A (zh) 2019-07-16
CN110023830B true CN110023830B (zh) 2021-05-04

Family

ID=62194986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072902.8A Active CN110023830B (zh) 2016-11-28 2017-10-17 摄像装置及摄像方法

Country Status (5)

Country Link
US (1) US20190273877A1 (zh)
EP (1) EP3547022B1 (zh)
JP (1) JP6677818B2 (zh)
CN (1) CN110023830B (zh)
WO (1) WO2018096841A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460757B (zh) * 2019-08-16 2021-08-27 广州星博科仪有限公司 一种一体化的光谱摄像镜头及光谱相机
JP7413234B2 (ja) * 2020-11-06 2024-01-15 株式会社東芝 光学撮像装置、光学検査装置、および、光学検査方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176446B1 (en) * 1999-09-15 2007-02-13 Zoran Corporation Method and apparatus for distributing light onto electronic image sensors
CN1918499A (zh) * 2004-02-09 2007-02-21 株式会社腾龙 色差校正成像光学系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014081B2 (en) * 2005-02-09 2011-09-06 Tamron Co., Ltd. Chromatic aberration compensating image optics
WO2009143282A1 (en) * 2008-05-20 2009-11-26 Sarver Edwin J Progressive chromatic aberration corrected ocular lens
US8786757B2 (en) * 2010-02-23 2014-07-22 Primesense Ltd. Wideband ambient light rejection
JP5693379B2 (ja) * 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
WO2013018471A1 (ja) 2011-07-29 2013-02-07 富士フイルム株式会社 撮像装置
CN103733606B (zh) * 2011-08-16 2016-03-09 富士胶片株式会社 成像设备
JP5874317B2 (ja) * 2011-10-27 2016-03-02 富士通株式会社 イメージセンサ及び画像補正方法
EP2631619A1 (en) * 2012-02-27 2013-08-28 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Spectral imager
US9094567B2 (en) * 2013-03-14 2015-07-28 James Olson Multi-channel camera system
US9880053B2 (en) * 2014-10-29 2018-01-30 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus, spectroscopic system, and spectroscopic method
JP2016090290A (ja) 2014-10-31 2016-05-23 パナソニックIpマネジメント株式会社 撮像装置、分光システム、および分光方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176446B1 (en) * 1999-09-15 2007-02-13 Zoran Corporation Method and apparatus for distributing light onto electronic image sensors
CN1918499A (zh) * 2004-02-09 2007-02-21 株式会社腾龙 色差校正成像光学系统

Also Published As

Publication number Publication date
EP3547022B1 (en) 2022-12-21
JPWO2018096841A1 (ja) 2019-10-17
JP6677818B2 (ja) 2020-04-08
US20190273877A1 (en) 2019-09-05
EP3547022A1 (en) 2019-10-02
CN110023830A (zh) 2019-07-16
EP3547022A4 (en) 2019-12-04
WO2018096841A1 (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
US7718940B2 (en) Compound-eye imaging apparatus
US7973928B2 (en) Spectroscopic instrument, image producing device, spectroscopic method, and image producing method
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US8908087B2 (en) Multiband camera, and multiband image capturing method
US8149400B2 (en) Coded aperture snapshot spectral imager and method therefor
US20140085629A1 (en) Active Hyperspectral Imaging Systems
JP5446521B2 (ja) 撮像装置
CN110023830B (zh) 摄像装置及摄像方法
US6222631B1 (en) Two-dimensional spectral characteristic measuring apparatus
JP2023179570A (ja) 光学スペクトル測定システム
JP2023145486A5 (ja) 撮像素子および撮像装置
US10084978B2 (en) Image capturing apparatus and image processing apparatus
US11092489B2 (en) Wide-angle computational imaging spectroscopy method and apparatus
US9645290B2 (en) Color filter array and solid-state image sensor
US10948715B2 (en) Chromatic lens and methods and systems using same
JP2015184620A (ja) 光分割装置及びそれを備える光計測装置
JP2019527349A (ja) フーリエ変換マルチチャンネルスペクトルイメージャ
JP6082212B2 (ja) 撮像素子及びそれを用いた測距装置
JP2012044443A (ja) 撮像モジュールおよび撮像装置
JP6825231B2 (ja) 撮像光学系及び撮像装置
JP2024123760A (ja) 画像処理方法、画像処理装置、撮像装置、およびプログラム
KR20240045243A (ko) 메타렌즈들을 통합한 다채널 고해상도 촬상 디바이스들
JPS6276372A (ja) 画像入力装置
JP2014157164A (ja) 光学装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant