CN114175615A - 摄像器件、摄像系统和摄像方法 - Google Patents

摄像器件、摄像系统和摄像方法 Download PDF

Info

Publication number
CN114175615A
CN114175615A CN202080054660.1A CN202080054660A CN114175615A CN 114175615 A CN114175615 A CN 114175615A CN 202080054660 A CN202080054660 A CN 202080054660A CN 114175615 A CN114175615 A CN 114175615A
Authority
CN
China
Prior art keywords
image
image pickup
light
wavelength
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054660.1A
Other languages
English (en)
Inventor
坂根诚二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114175615A publication Critical patent/CN114175615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/04—Colour photography, other than mere exposure or projection of a colour film by four or more separation records
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/08—Sequential recording or projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Textile Engineering (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Stroboscope Apparatuses (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供了一种摄像器件，其包括摄像部(130)和合成部(140)。所述摄像部(130)通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出。所述合成部(140)通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。

Description

摄像器件、摄像系统和摄像方法
技术领域
本发明涉及摄像器件、摄像系统和摄像方法。
背景技术
在生产现场等处，当将产品出货时，会使用基于所摄取图像来检查产品外观等的检查装置。例如，检查装置可以基于由RGB相机获得的产品外观的所摄取图像来检查该产品是优良产品还是不良产品。然而，对于用于检测如同RGB三原色这样的具有宽范围波长的光的RGB相机而言，想要从由该RGB相机获得的所摄取图像中准确地捕捉产品外观可能是很困难的。因此，为了更准确地捕捉产品外观，已经提出了使用分光图像(spectral image)的技术，该分光图像是通过将与被摄体像(subject image)有关的光的波长精细地划分为多个波长且由此对该波长进行检测而获得的。更具体地，其目的是通过将如上所述获得的多个分光图像合成为一个图像、并且使用所合成的图像，来更准确地捕捉产品外观。例如，作为用于获取分光图像的摄像装置的示例，可以列举专利文献1和专利文献2中所公开的摄像装置。
现有技术文献
专利文献
专利文献1：日本专利申请特开2015-41784A
专利文献2：日本专利申请特开2015-126537A
发明内容
[要解决的技术问题]
然而，在专利文献1和专利文献2中所公开的摄像装置中，难以避免让构造变得复杂化，此外，难以抑制在获得一个合成图像时所用的处理时间的增加。
因此，本发明提出了如下的摄像器件、摄像系统和摄像方法：它们能够以简单的构造且能够以高速获得分光图像的合成图像。
[解决技术问题的方案]
根据本发明，提供了一种摄像器件，该摄像器件包括摄像部和合成部。所述摄像部通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且一起读出所保持的各所述信号信息。所述合成部通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
此外，根据本发明，提供了一种摄像系统，该摄像系统包括移动装置、照射装置、摄像装置和合成装置。所述移动装置使被摄体移动。所述照射装置依据移动的所述被摄体的位置而用具有不同波长的照射光间歇地依次照射所述被摄体。所述摄像装置通过如下方式来生成一帧图像：依次接收由于所述照射被所述被摄体反射而得到的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出。所述合成装置通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
此外，根据本发明，提供了一种摄像方法，该摄像方法包括生成一帧图像的步骤和生成合成图像的步骤。通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出。而且，通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
附图说明
图1是用于说明根据本发明第一实施例的摄像系统10的构造的一个示例的说明图。
图2是示出了根据第一实施例的摄像模块100的功能构造的一个示例的框图。
图3是示出了根据第一实施例的摄像元件134的平面构造示例的说明图。
图4是用于说明根据第一实施例的摄像方法的一个示例的流程图。
图5是用于说明根据第一实施例的摄像方法的一个示例的说明图(之一)。
图6是用于说明根据第一实施例的摄像方法的一个示例的说明图(之二)。
图7是用于说明根据第一实施例的摄像方法的一个示例的说明图(之三)。
图8是用于说明根据第一实施例的摄像方法的一个示例的说明图(之四)。
图9是用于说明根据本发明第二实施例的摄像方法的一个示例的流程图。
图10是用于说明根据第二实施例的摄像方法的一个示例的说明图。
图11是用于说明根据本发明第三实施例的摄像方法的一个示例的流程图。
图12是用于说明根据第三实施例的摄像方法的一个示例的说明图(之一)。
图13是用于说明根据第三实施例的摄像方法的一个示例的说明图(之二)。
图14是用于说明根据第三实施例的摄像方法的一个示例的说明图(之三)。
图15是用于说明根据本发明第四实施例的摄像方法的一个示例的流程图。
图16是用于说明根据第四实施例的摄像方法的一个示例的说明图。
图17是用于说明根据本发明第五实施例的摄像方法的一个示例的流程图。
图18是用于说明根据第五实施例的摄像方法的一个示例的说明图。
图19是示出了根据本发明第六实施例的电子设备900的一个示例的说明图。
图20是示出了车辆控制系统的示意性构造的一个示例的框图。
图21是示出了车外信息检测单元和摄像部的安装位置的一个示例的说明图。
具体实施方式
下面将结合附图来详细说明本发明的优选实施例。请注意，在本说明书和附图中，具有基本相同功能构造的部件用相同的附图标记表示，并且将省略对这些部件的重复说明。此外，在本说明书和附图中，对于不同实施例中的相似部件，可以通过在相同的附图标记后添加不同的字母来予以区分。然而，如果不需要特别地区分各个相似部件，则仅用相同的附图标记来表示。
请注意，将会按照以下顺序给出说明。
1.当本发明人创造本发明实施例时的背景
2.第一实施例
2.1 摄像系统的概述
2.2 摄像模块的详细构造
2.3 摄像方法
2.4变形例1
2.5变形例2
3.第二实施例
3.1 摄像模块的详细构造
3.2 摄像方法
4.第三实施例
4.1 摄像模块的详细构造
4.2 摄像方法
5.第四实施例
5.1 摄像模块的详细构造
5.2 摄像方法
6.第五实施例
6.1 摄像模块的详细构造
6.2 摄像方法
7.第六实施例
8.移动体的应用例
9.总结
10.补充
稍后所述的实施例将会在施用于检查装置的情况下被予以说明，该检查装置在安装于生产现场等处的生产线中基于所制造产品的外观的图像来检查有无划痕、有无异物的混入、以及该产品的外观是否为适合于出货的合格产品。然而，本发明的实施例不限于施用于检查装置，也可以施用于其他装置或其他目的。
此外，稍后所述的实施例将会在施用于以全局快门(GS：global shutter)方式进行操作的摄像模块的情况下被予以说明。请注意，在稍后的说明中，全局快门方式意味着把由摄像模块的各个摄像元件获得的摄像信号(信号信息)一起读出并且基于所读出的摄像信号来生成一帧图像的方式。然而，本发明的实施例不限于施用于全局快门式的摄像模块，也可以施用于其他方式的摄像模块。
另外，在下面的说明中，一帧意味着一次读出，因此，一帧图像是通过执行一次对摄像信号的一起读出而生成的图像。
[1.当本发明人创造本发明实施例时的背景]
如上所述，为了更准确地捕捉产品的外观，例如，已提议了将多个分光图像合成为一个图像并且使用该合成图像的技术，所述多个分光图像是通过将与被摄体像有关的光的波长精细地划分为多个波长且由此对波长进行检测而获得的。
具体地，作为用于获得分光图像的方法的一个示例，摄像模块使用光学部件(诸如衍射光栅(diffraction grating)和反射镜等)从而使光在针对一条水平线的垂直方向上进行分光且对该光进行检测。此外，使被摄体或摄像模块沿水平方向以恒定速度移动(扫描)，藉此执行上述分光和检测，从而获取该光的各个波长的二维图像。
此外，在上述专利文献1中，把具有不同波长的频闪光(strobe light)连续地照射至被摄体，并且来自空间上分离的被摄体的反射光入射到光接收面(在该光接收面上，排列有摄像模块的多个摄像元件)上的不同位置，由此对该光进行检测。但是，在专利文献1中，如上所述，为了在空间上使反射光分离，就要求有诸如衍射光栅和反射镜等许多的光学部件，因此，很难避免结构的复杂化以及摄像模块的制造成本的增加。
此外，在上述专利文献2中，针对每一帧，通过切换从光源发出的光的波长，来检测各个波长的图像。具体地，在上述专利文献2中，当想要获取三个不同波长的图像时，就需要花费三帧的摄像时间。因此，在上述专利文献2中，难以抑制在获取图像时所用的处理时间的增加，并且实时性能较差。
于是，鉴于这种状况，我们创造出了能够以简单的结构和高的速度获得分光图像的合成图像的本发明的实施例。具体地，根据本发明的实施例，不需要诸如衍射光栅和反射镜等许多的光学元件，能够避免结构的复杂化和摄像模块的制造成本的增加。而且，在针对一帧的摄像时间内，能够生成通过将多个分光图像合成为一个图像而得到的图像。下面，依次对本发明人所创造出的本发明的实施例进行详细说明。
[2.第一实施例]
<2.1摄像系统的概述>
首先，将参照图1来说明根据本发明的实施例的摄像系统10的构造。图1是用于说明根据本实施例的摄像系统10的构造示例的说明图。如图1所示，根据本实施例的摄像系统10可以主要包括例如摄像模块100、控制服务器200和带式输送机(移动装置)300。即，带式输送机300被设置在生产线上并且用来输送所制造的产品(在以下说明中，称为被摄体800)。此外，摄像模块100可应用于基于所制造产品的外观的图像来检查有无划痕、有无异物的混入、以及该产品的外观是否为适合于出货的合格产品的检查装置。下面，将依次说明包含于摄像系统10中的各个装置的概述。
(摄像模块100)
摄像模块100用光照射被摄体800，接收来自被摄体800的反射光，生成一帧图像，并且根据该一帧图像生成合成图像。稍后将说明摄像模块100的详细构造。
(控制服务器200)
控制服务器200可以控制摄像模块100，而且进一步地，可以监控或控制带式输送机300的行进速度(稍后说明)、以及被摄体800在带式输送机300上的位置等。控制服务器200由诸如CPU(中央处理单元：central processing unit)、ROM(只读存储器：read onlymemory)、RAM(随机存取存储器：random access memory)等硬件来实现。
(带式输送机300)
带式输送机300是能够根据控制服务器200的控制来使被摄体800移动的移动装置。可供替代地，带式输送机300是这样一种移动装置：它的行进速度由控制服务器200监控，并且它可以使被摄体800移动。在本实施例中，移动装置不限于带式输送机300，并且它没有特别的限定，只要是能够使被摄体800移动的移动装置就行。
注意，根据本实施例的摄像系统10中的各个装置经由网络(未图示)彼此可通信地连接着。具体地，例如，摄像模块100、控制服务器200和带式输送机300可以通过经由未图示的基站等(例如，手机的基站、无线LAN(无线局域网)的接入点，诸如此类)连接到上述网络。注意，作为上述网络中所使用的通信方式，无论是有线或是无线(例如，WiFi(注册商标)、蓝牙(注册商标)等)的任何方式都是适用的，但是较佳的是，使用一种能够维持稳定操作的通信方式。
<2.2摄像模块的详细构造>
接下来，将参照图2来说明根据本实施例的摄像模块100的构造。图2是示出了根据本实施例的摄像模块100的功能构造的一个示例的框图。如图2所示，根据本实施例的摄像模块100可以主要包括例如照射部110和摄像器件120。下面将说明包含于摄像模块100中的各区块的细节。在以下说明中，将会以照射部110和摄像器件120被构造为一体化的摄像模块100为例进行说明，但是本实施例不限于这里所述的将它们一体化的构造。即，在本实施例中，照射部110和摄像器件120也可以被构造为个体的形式。
(照射部110)
照射部110可以依据移动的被摄体800的位置用具有不同波长(例如，波长λ1至λ7)的照射光间歇地依次照射至被摄体800(脉冲照射)。具体地，如图2所示，照射部110具有多个发光元件(发光二极管；LED)112，这些发光元件被设置在不同的位置处(具体地，被设置在沿着带式输送机300的行进方向的不同位置处)并且能够发出具有不同波长的光。此外，在本实施例中，上述多个发光元件112依据被摄体800的位置(换言之，与被摄体800到达了各个发光元件112能够进行照射的位置同步地)利用相应的发光元件112来依次照射具有相应波长的光。例如，上述多个发光元件112可以包括能够发射出近红外光(具有大约800nm至1700nm的波长)的多个LED发光二极管。更具体地说，在图2的例子中，发光元件112a能够发射出波长为900nm的近红外光，发光元件112b能够发射出波长为1200nm的近红外光，并且发光元件112c能够发射出波长为1500nm的近红外光。
(摄像器件120)
如图2所示，摄像器件120包括单个摄像装置，并且可以主要具有摄像部130、合成部140和控制部150。注意，在图2所示的例子中，摄像部130、合成部140和控制部150被构造为一体化装置，但是本实施例不限于此，上述这些部件也可以被构造为个体的形式。下面将依次说明包含于摄像器件120中的各个功能部的细节。
(摄像部130)
摄像部130可以依次接收由移动的被摄体800反射的具有各个波长(例如，波长λ1至λ7)的反射光。此外，摄像部130可以通过如下方式生成一帧图像：临时地依次保持基于所接收的各个波长的反射光的各个摄像信号(信号信息)，然后把所保持的各个摄像信号一起读出。具体地，摄像部130具有包括透镜部132、光圈机构(未图示)、变焦透镜(未图示)和聚焦透镜(未图示)等的光学系统机构(未图示)。此外，摄像部130还包括：多个摄像元件134，它们对利用上述光学系统机构而获得的光进行光电转换以产生摄像信号；多个存储部136，它们临时地保持所产生的摄像信号；以及读出部138，其从多个存储部136一起读出摄像信号。注意，虽然在图2中示出了一个摄像元件134和一个存储部136，但是在根据本实施例的摄像部130中可以设置有多个摄像元件134和多个存储部136。
更具体地，上述光学系统机构使用上述透镜部132等把来自被摄体800的反射光作为光学像(optical image)会聚到多个摄像元件134上。例如，摄像元件134可以是诸如能够检测近红外光的InGaAs光电二极管(InGaAs摄像元件)等化合物传感器，或者，可以是能够检测可见光的硅光电二极管。此外，多个摄像元件134在光接收面(成像面)上呈矩阵状排列，各个摄像元件134针对所成像的光学像按像素单位(摄像元件的单位)进行光电转换，从而生成各像素的信号以作为摄像信号。另外，多个摄像元件134将所生成的摄像信号输出到例如按像素单位而设置着的存储部136。输出过来的摄像信号可以由存储部136临时地保持。此外，读出部138可以通过从多个存储部136一起读出摄像信号来将一帧图像输出到合成部140。即，在本实施例中，摄像部130能够以全局快门方式进行操作，该全局快门方式将各个存储部136中所保持的摄像信号一起读出。
此外，在本实施例中，例如，以通过带式输送机300使被摄体800到达摄像位置作为触发，上述照射部110的照射和摄像部130的全局快门方式的摄像(多重曝光)是彼此同步地予以执行的。
此外，参照图3，下面将说明上述多个摄像元件134的平面构造示例。图3是示出了根据本实施例的摄像元件134的平面构造示例的说明图。如图3所示，根据本实施例的多个摄像元件134以矩阵状排列于由例如硅制成的半导体基板500上的光接收面上。具体而言，根据本实施例的摄像模块100具有：其中排列有多个摄像元件134的像素阵列部410；以及以包围像素阵列部410的方式设置着的周边电路部480。周边电路部480包括垂直驱动电路部432、列信号处理电路部434、水平驱动电路部436、输出电路部438、及控制电路部440等。下面将说明像素阵列部410和周边电路部480的细节。
像素阵列部410具有在半导体基板500上以矩阵状呈二维排列着的多个摄像元件(像素)134。此外，多个像素134可以包括通常像素和一对相位差检测像素，所述通常像素用来生成图像生成用像素信号，所述一对相位差检测像素用来生成焦点检测用像素信号。各个像素134可以包括多个InGaAs摄像元件(光电转换元件)和多个像素晶体管(例如，MOS(金属氧化物半导体)晶体管)(未图示)。更具体地，像素晶体管可以包括例如传输晶体管、选择晶体管、复位晶体管、及放大晶体管等。
垂直驱动电路部432例如包括移位寄存器。垂直驱动电路部432选择像素驱动配线442，向所选择的像素驱动配线442提供用于驱动像素134的脉冲，并且以行为单位驱动像素134。也就是说，垂直驱动电路部432对像素阵列部410的各像素134以行为单位依次在垂直方向(图3中的上下方向)上选择性扫描，并且把像素信号经由垂直信号线444提供给稍后说明的列信号处理电路部434，所述像素信号基于与各像素134的光电转换元件所接收到的光量对应地产生的电荷。
列信号处理电路部434针对像素134的每一列而布置着，并且针对从一行像素134输出的像素信号按每个像素列执行诸如噪声消除等信号处理。例如，列信号处理电路部434可以执行诸如用于去除像素固有的固定模式噪声的CDS(相关双采样：correlated doublesampling)以及AD(模拟-数字：analog-digital)转换等信号处理。
水平驱动电路部436例如包括移位寄存器。水平驱动电路部436依次输出水平扫描脉冲以便依次选择上述各个列信号处理电路部434，并且能够把来自各个列信号处理电路部434的像素信号输出到水平信号线446。
输出电路部438可以对从上述列信号处理电路部434各者经由水平信号线446依次提供过来的像素信号执行信号处理，然后可以输出这些信号。输出电路部438可以发挥例如用于执行缓冲(buffering)的功能部的作用，或者可以执行诸如黑电平调整、列差异校正和各种数字信号处理等处理。请注意，缓冲是指在像素信号的交换时为了补偿处理速度和传输速度的差别而临时地保存像素信号。此外，输入/输出端子448是用于与外部设备进行信号交换的端子，在本实施例中不一定必须设置该端子。
控制电路部440可以接收输入时钟和用于指示操作模式等的数据，并且可以输出诸如像素134的内部信息等数据。即，控制电路部440基于垂直同步信号、水平同步信号和主时钟，生成要成为垂直驱动电路部432、列信号处理电路434及水平驱动电路部436等的操作的基准的时钟信号或控制信号。然后，控制电路部440将所生成的时钟信号或控制信号输出到垂直驱动电路部432、列信号处理电路部434及水平驱动电路部436等。
注意，根据本实施例的摄像元件134的平面构造示例不限于图3所示的示例，并且可以包括例如其他电路部等，而且没有特别限制。
(合成部140)
合成部140从从摄像部130输出的一帧图像中切出与各个波长(例如，波长λ1至λ7)的反射光对应的被摄体像，并将所切出的多个被摄体像叠加，以生成合成图像。合成部140例如由诸如CPU、ROM、RAM等硬件来实现。具体地，如图2所示，合成部140主要包括二值化处理部142、摄像区域确定部(imaging region specifying unit)144和合成处理部146。下面将依次说明包含于合成部140中的各个功能部的细节。
二值化处理部142可以通过执行将从摄像部130输出的一帧图像转换为二阶色调(two-step color tone)的二值化处理来生成二阶色调图像(例如，黑白图像)。例如，二值化处理部142通过将具有浓淡(shading)的一帧图像内的各像素单位(具体地，各像素)的摄像信号与预定阈值进行比较，并且以该阈值为基础，将持有一个范围内的摄像信号的像素单位转换为白色并且将持有另一范围内的摄像信号的像素单位转换为黑色，由此生成黑白图像。在本实施例中，如上所述，对具有浓淡的一帧图像进行二值化处理，以将该图像转换为黑白图像。结果，就使一帧图像内的被摄体800的影像(imaging)的轮廓明确化。籍此，可以容易且精确地确定稍后所述的被摄体像。
摄像区域确定部144确定上述一帧图像内的与各个波长(例如，波长λ1至λ7)的反射光对应的各个被摄体像(例如，ROI(Region of Interest：关注区域))。具体地，摄像区域确定部144例如可以通过检测包含于由二值化处理部142生成的二阶色调图像内的各个被摄体800的影像的轮廓，来确定上述一帧图像内的各个被摄体800的影像的中心坐标(例如X和Y坐标)。此外，摄像区域确定部144可以基于所确定的中心坐标来确定ROI，该ROI是与各个波长的反射光对应的被摄体800的影像的区域。例如，摄像区域确定部144将具有预先设定的能够包含被摄体800的影像的尺寸的矩形提取框的中心叠加到所确定的各中心坐标上，由此确定一帧图像内的各个ROI。注意，在本实施例中，上述提取框不限于矩形形状，也可以具有多边形形状、圆形形状、或者与被摄体800的形状相同或相似的形状，只要该提取框具有能够包含被摄体800的影像的尺寸即可。进一步地，在本实施例中，ROI的确定不限于是基于上述中心坐标来予以执行的，例如可以基于所检测出的各被摄体800的影像的轮廓来予以执行，这并没有特别的限制。
此外，在本实施例中，摄像区域确定部144可以不使用二阶色调图像，而是在上述一帧图像内通过确定设置于被摄体800的表面上的识别标记(未图示)的影像的位置来确定各个ROI。此外，在本实施例中，摄像区域确定部144可以不使用二阶色调图像，而是基于上述一帧图像内的预先由用户指定的多个预定区域(例如，这种区域的各个顶点的坐标是预先设定的)来确定各个ROI。
然后，合成处理部146基于由摄像区域确定部144确定的各个ROI从一帧图像中切出各个ROI，并将所切出的多个ROI叠加以生成合成图像。具体地，合成处理部146以使各个ROI中所包含的被摄体800的影像的中心及轮廓彼此一致的方式执行位置调整，并且将多个ROI叠加，由此生成合成图像。请注意，在本实施例中，合成处理部146可以在使各个ROI中所包含的设置于被摄体800的表面上的识别标记(未图示)的影像彼此一致的状态下将多个ROI叠加，由此生成合成图像，并且合成处理部146并不是受到特别的限制。此外，合成处理部146在生成合成图像时，可以参照向各个波长(例如，波长λ1至λ7)预先分配的色彩信息(例如，分配了可见光频带中的红、绿、蓝)，来生成伪彩色图像(pseudo color image)。在本实施例中，通过以上述方式生成伪彩色图像的合成图像，能够提高图像内的细节的可视性。稍后将说明伪彩色图像的生成的细节。
(控制部150)
控制部150可以控制摄像部130使其与照射部110的照射同步地接收反射光。例如，控制部150由诸如CPU、ROM、RAM等硬件予以实现。
如上所述，在根据本实施例的摄像模块100中，不需要诸如衍射光栅和反射镜等许多的光学部件，因此避免了结构的复杂化以及摄像模块100的制造成本的增加。即，根据本实施例，能够提供具有简单结构的摄像模块100。
<2.3摄像方法>
上面已经详细说明了根据本实施例的摄像系统10以及摄像系统10中所包括的各个装置的构造。接下来，将参照图4至图8来说明根据本实施例的摄像方法。图4是用于说明根据本实施例的摄像方法的一个示例的流程图。图5至图8是用于说明根据本实施例的摄像方法的一个示例的说明图。如图4所示，根据本实施例的摄像方法包括从步骤S101到步骤S121的多个步骤。下面将会说明根据本实施例的摄像方法中所包括的各个步骤的细节。
(步骤S101)
控制部150例如通过与控制服务器200协作，来监控带式输送机300的行进速度(例如，按恒定速度进行控制)或带式输送机300上的被摄体800的位置。
(步骤S103)
控制部150判定被摄体800是否已经到达摄影开始位置。在本实施例中，当被摄体800已经到达摄影开始位置时，处理就进行到下一个步骤S105，而当被摄体800没有到达摄影开始位置时，处理则返回到前一个步骤S101。即，在本实施例中，如上所述，与带式输送机300的行进同步地执行照射/光接收操作。注意，在本实施例中，处理的进展不限于以被摄体800到达摄影开始位置作为触发，也可以使用其他事件等作为触发。此外，在本实施例中，触发事件的取得可以是从摄像系统10中的各个装置取得的，也可以是从摄像系统10外部的装置取得的，这并没有特别限定。
(步骤S105)
控制部150控制与被摄体800的位置对应的发光元件112，并且致使该发光元件112用具有预定波长(例如，波长λ1至λ7)的光(例如，具有预定波长的近红外光)照射被摄体800。具体地，如图5所示，当被摄体800到达发光元件112a至112c各者的下方时，该发光元件向被摄体800照射具有预定波长的光。
(步骤S107)
控制部150与步骤S105中的发光元件112的照射同步地控制多个摄像元件134，以致使所述多个摄像元件134接收来自被摄体800的反射光。例如，如图5所示，多个摄像元件134(光电二极管；PD)与各个发光元件112a至112c的照射同步地进行光接收，并且生成通过光接收而获得的被摄体的影像802以作为摄像信号，并且把所生成的摄像信号输出到各个存储部136(Memory：MEM)。此外，各个存储部136临时地保持该摄像信号。请注意，该摄像信号对应于与步骤S105中的由发光元件112照射的光的各个波长(例如，波长λ1至λ7)对应的被摄体800的影像802，并且各个影像802包含于稍后描述的一帧图像中(即，多重曝光)。
(步骤S109)
控制部150控制相应的发光元件112并且使其结束照射。
(步骤S111)
控制部150判定是否全部的发光元件112都已进行了照射。在本实施例中，如果全部的发光元件112都已进行了照射，则处理进行到下一个步骤S113，如果并非全部的发光元件112都已进行了照射，则处理返回到前面的步骤S105。
即，在本实施例中，如图6的上部所示，照射部110对移动的被摄体800用具有不同波长(例如，λ1至λ7)的光依次执行脉冲照射。然后，在本实施例中，如图6的中间所示，与照射时序同步地，依次执行下列操作：摄像元件134对来自被摄体800的反射光的接收、摄像信号向存储部136的传送、以及存储部136对摄像信号的临时保持。接下来，如图6的下部所示，在后续步骤中，通过从各个存储部136中一起读出摄像信号(换言之，通过为了捕捉被摄体800的轨迹而执行多重曝光)，能够获取包含了与各个波长对应的被摄体800的影像802(分光图像)的一帧图像。
(步骤S113)
控制部150控制读出部138，以便将存储于各个存储部136中的摄像信号一起读出，获取包含了与各个波长(例如，波长λ1至λ7)对应的被摄体800的影像802(分光图像)的一帧图像，并且将所获取的一帧图像输出到合成部140(全局快门方式)。
(步骤S115)
控制部150控制合成部140的二值化处理部142，使其执行二值化处理，在该二值化处理中，将步骤S113中所获取的一帧图像转换为二阶色调以便生成二阶色调图像。例如，在步骤S115中，可以获得如图7的中间所示的黑白图像。此外，控制部150通过控制合成部140的摄像区域确定部144，使其检测出二值化处理之后的图像中所包含的轮廓等并且检测出各个被摄体800的影像802的位置。例如，在步骤S115中，如图7的中间所示，从黑白图像中检测出了各个被摄体800的影像802的中心坐标(X,Y)。
(步骤S117)
如图7的下部所示，控制部150控制合成部140的合成处理部146，使其基于上述步骤S115中所检测出的被摄体800的各个影像802的位置来切出分别具有预定提取框的各个ROI。
(步骤S119)
如图7的下部所示，控制部150控制合成处理部146，使其以使得各个ROI中所含的被摄体800的影像的中心及轮廓彼此一致的方式进行位置调整，并且将所切出的多个ROI叠加。此外，控制部150控制合成处理部146，使其参照向各个波长(例如，波长λ1至λ7)预先分配的颜色信息从而生成作为合成图像的伪彩色图像。
下面将说明本实施例中的伪彩色图像生成方法的示例。这里，为了易于理解，在对伪彩色图像生成方法进行说明时，将会假设取得了包含与波长λ1至λ3这三个波长对应的被摄体800的影像802(分光图像)的一帧图像。
在该示例中，作为上述颜色信息，假设红色被预先分配给波长λ1，绿色被预先分配给波长λ2，蓝色被预先分配给波长λ3。此外，在本实施例中，在生成伪彩色图像时，假设摄像模块100的多个摄像元件134能够检测可见光。即，假设：在摄像模块100的有多个摄像元件134呈矩阵状排列着的光接收面上，用于检测红色的摄像元件、用于检测绿色的摄像元件和用于检测蓝色的摄像元件遵循拜耳阵列(Bayer阵列)而排列着。
于是，在本实施例中，在上述分配及假设的条件下，可以按如下方式来合成伪彩色图像。具体地，首先，如图8的左侧上部所示，将与波长λ1对应的ROI的图像数据分配给拜耳阵列上的红色(R)的位置，由此生成了像素数据组804a。接下来，如图8的左侧中部所示，将与波长λ2对应的ROI的图像数据分配给拜耳阵列上的绿色(G)的位置，由此生成了像素数据组804b。此外，如图8的左侧下部所示，将与波长λ3对应的ROI的图像数据分配到拜耳阵列上的蓝色(B)的位置，由此生成了像素数据组804c。然后，在本实施例中，可以通过把向各颜色的位置分配了图像数据的像素数据组804a、804b和804c合成，来合成出图8的右侧所示的伪彩色图像806。在本实施例中，通过以上述方式生成伪彩色图像806的合成图像，能够提高图像内的细节的可视性。
请注意，在本实施例中，伪彩色图像806的合成不限于上述示例，还可以采用其他方法来实现，例如，其他方法可以是采用对诸如色彩参数等进行各像素的加法平均等。
(步骤S121)
控制部150控制合成处理部146，使其将所生成的合成图像输出到控制部150。此外，输出的合成图像被控制部150转换成适当的格式并且被输出到例如控制服务器200等。
如上所述，根据本实施例，由于使用一帧图像来生成合成图像，因此在一帧的摄像时间内能够生成通过将多个分光图像合成为一个图像而得到的图像。即，根据本实施例，能够以高的速度获得分光图像的合成图像。
<2.4变形例1>
另外，在本实施例中，作为一个变形例，如前面所说明的那样，可以不使用二阶色调图像，而是可以基于上述一帧图像内的预先由用户指定的多个预定区域来确定各个ROI。
<2.5变形例2>
请注意，在前面的说明中，已经说明了把所切出的多个ROI叠加以生成合成图像，但是本实施例和变形例1不限于此。例如，在本实施例和变形例1中，可以输出上述一帧图像本身，或者可以输出从上述一帧图像中切出的ROI。例如，在这种情况下，由于可以分别获取和解析与光的各个波长对应的图像，因此能够容易地识别出针对于各个相应波长的成分的有无及分布。
[3.第二实施例]
在上述第一实施例中，为了照射出具有不同波长的光而设置有多个发光元件112。但是，通过使用多个滤光器162(参见图10)，即使采用发射出白色光的一个发光元件112d(参见图10)也能够与上述实施例一样地获得合成图像。这样，在本实施例中，由于使用了多个滤光器162，因此能够避免照射部110的结构的复杂化以及照射部110的制造成本的增加。于是，将会参照图9和图10，把设置有包含多个滤光器162的滤光器部160(参见图10)的实施例作为本发明的第二实施例进行说明。图9是用于说明根据本实施例的摄像方法的一个示例的流程图，图10是用于说明根据本实施例的摄像方法的一个示例的说明图。
<3.1摄像模块的详细构造>
首先，将说明根据本发明的第二实施例的摄像模块100的详细构造。在以下说明中，将会省略与上述第一实施例的共同点的说明，并且将会仅说明不同之处。在本实施例中，摄像模块100的照射部110具有能够用白色光照射被摄体800的发光元件112d(参见图10)。需要注意的是，本实施例不限于使用发光元件112d，例如可以使用室内灯等来代替照射部110，或者可以使用自然光(此时，照射部110本身就变成不需要的)。即，根据本实施例，不需要拥有特殊结构的照射部110，而是可以使用一般的照明装置等。
此外，根据本实施例的摄像器件120的摄像部130在透镜部132的被摄体800侧还具有滤光器部160(参见图10)。具体地，如图10所示，滤光器部160具有沿带式输送机300(注意该图)的行进方向(移动方向)依次排列着的多个滤光器162a、162b、162c。尽管在图10中示出了三个滤光器162a至162c，但是本实施例并不限于三个滤光器，而是可以设置有多个滤光器。各个滤光器162a、162b、162c包括窄频带OCCF(芯片上彩色滤光器：on chip colorfilter)或等离子体滤光器(使用表面等离子激元体且仅让特定波长透射的滤光器)，并且能够让具有不同波长的光透过。例如，滤光器162a、162b、162c可以让第一实施例中的具有波长λ1至λ7的光透过。
此外，在本实施例中，例如，以通过带式输送机300使被摄体800到达摄像位置作为触发，执行由摄像部130实施的全局快门方式的摄像(多重曝光)。
如上所述，在本实施例中，由于通过使用多个滤光器162因而只需要一种类型的发光元件112d就够了，所以能够避免照射部110的结构的复杂化以及照射部110的制造成本的增加。此外，在本实施例中，可以通过使用一般的室内灯、或自然光等而将照射部110省去。即，根据本实施例，不需要拥有特殊结构的照射部110，而是可以使用一般的照明装置等。
<3.2摄像方法>
上面已经说明了根据本实施例的摄像模块100的详细构造。接下来，将参照图9和图10来说明根据本实施例的摄像方法。如图9所示，根据本实施例的摄像方法包括从步骤S201到步骤S217的多个步骤。下面将说明根据本实施例的摄像方法中所包括的各个步骤的细节。
首先，在本实施例中，上述发光元件112d开始光的照射。
(步骤S201至步骤S205)
由于根据本实施例的步骤S201至S205与根据图4所示的第一实施例的步骤S101、S103和S107相同，这里将省略对它们的说明。
(步骤S207)
控制部150判定摄像部130是否已经接收到全部的波长的反射光。在本实施例中，若已经接收到全部的波长的反射光，则处理进入下一个步骤S209，若未接收到全部的波长的反射光，则处理返回前一个步骤S205。
在本实施例中，如图10的上部所示，例如用白色光向移动的被摄体800照射。然后，如图10的中间所示，与被摄体800到达各个滤光器162a至162c的上方的时序同步地，依次执行下列操作：摄像元件134对来自被摄体800的反射光的接收，摄像信号向存储部136的传送，以及存储部136对摄像信号的临时保持。接下来，与第一实施例中一样，如图10的下部所示，在后续的步骤中，通过从各个存储部136一起读出摄像信号，能够取得含有与各个波长对应的被摄体800的影像802的一帧图像。
(步骤S209至步骤S217)
由于根据本实施例的步骤S209至S217与根据图4所示的第一实施例的步骤S113至S121相同，这里省略了对它们的说明。
[4.第三实施例]
在上述第一实施例中，包含与各个波长(例如，波长λ1至λ7)的反射光对应的被摄体800的影像802的一帧图像被转换为二阶色调图像，并且确定该一帧图像内的各个被摄体800的影像802的位置。另一方面，在稍后说明的本发明的第三实施例中，为了进一步提高位置检测的准确性，可以通过使用含有与可见光(基准光)的反射光对应的被摄体800的影像802的一帧图像，来确定与除可见光以外的各个波长的反射光对应的被摄体800的影像802的位置。这样，在本实施例中，因为使用了其中在二阶色调图像中可以容易地检测出影像802的轮廓的可见光像(visible light image)等，所以能够准确地检测出与可见光以外的近红外光等的反射光对应的被摄体800的影像802的位置。因此，将参照图11至14来说明这样的第三实施例。图11是用于说明根据本实施例的摄像方法的一个示例的流程图，并且图12至图14是用于说明根据本实施例的摄像方法的一个示例的说明图。
<4.1摄像模块的详细构造>
首先，将说明根据本实施例的摄像模块100的详细构造。在以下说明中，将省略与上述第一实施例的共同点的说明，并且将会仅说明不同之处。在本实施例中，与第一实施例相比，照射部110还具有能够用可见光(基准光)照射被摄体800的发光元件(基准光发射元件)112f(参见图12)。具体地，在本实施例中，例如，在能够照射出例如具有不同波长(例如，波长λ1至λ7)的近红外光的多个发光元件112a和112b之间，还设置有能够照射出可见光的发射元件112f。注意，尽管在图12中绘出了多个发光元件112f，但是在本实施例中，不限于使用多个发光元件112f，也可以使用一个发光元件112f。在本实施例中，例如，发光元件112a和112b的具有不同波长的近红外光的照射以及发光元件112f的可见光的照射是交替地执行的。此外，在以下的说明中，以发光元件112f照射出作为基准光的可见光(例如，波长为λref)为例来进行说明，但在本实施例中，发光元件112f不限于照射出可见光，例如，可以照射出具有除近红外光以外的预定波长的光。
此外，在本实施例中，同样地，例如，以通过带式输送机300使被摄体800到达摄像位置作为触发，含有发光元件112f的照射部110的照射与摄像部130的全局快门方式的摄像(多重曝光)将会彼此同步地执行。
<4.2摄像方法>
上面已经说明了根据本实施例的摄像模块100的详细构造。接下来，将参照图11至14来说明根据本实施例的摄像方法。如图11所示，根据本实施例的摄像方法包括从步骤S301到步骤S321的多个步骤。下面将说明根据本实施例的摄像方法中所包括的各个步骤的细节。在本实施例中，假设被摄体800由带式输送机300以恒定速度移动。
(步骤S301和步骤S303)
由于根据本实施例的步骤S301和S303与根据图4所示的第一实施例的步骤S101和S103相同，这里将省略对它们的说明。
(步骤S305)
控制部150控制与被摄体800的位置对应的发光元件112，使其用具有可见光波长(例如，波长λref)的光和具有预定波长(例如，波长λ1至λ7)的近红外光向被摄体800交替照射。具体地，如图12所示，当被摄体800到达各个发光元件112a、112b、112f的下方时，各个发光元件112a、112b、112f用可见光或近红外光照射被摄体800。
(步骤S307)
控制部150与步骤S305中的发光元件112的照射同步地控制多个摄像元件134，使得多个摄像元件134接收来自被摄体800的反射光。例如，如图13所示，与发光元件112a、112b、112f的照射同步地，多个摄像元件134执行光接收，生成通过光接收而获得的被摄体的影像802以作为摄像信号，并且把所生成的摄像信号输出到各个存储部136。此外，各个存储部136临时地保持摄像信号。注意，摄像信号对应于与步骤S305中由发光元件112a、112b、112f照射的光的各个波长(例如，波长λ1至λ7、λref)对应的被摄体800的影像802，并且各影像802包含于稍后说明的一帧图像中。
(步骤S309至步骤S313)
由于根据本实施例的步骤S309至S313与根据图4所示的第一实施例的步骤S109至S113相同，这里将省略对它们的说明。
(步骤S315)
控制部150控制合成部140的二值化处理部142，使其执行二值化处理(例如，黑白图像化)，在该二值化处理中，将步骤S313中所获取的一帧图像转换为二阶色调从而生成二阶色调图像。
此外，如图14的中间所示，控制部150控制合成部140的摄像区域确定部144，使其检测出二值化处理之后的图像中所含的与可见光对应的被摄体800的各个影像802的轮廓。接着，控制部150控制合成部140的摄像区域确定部144，使其从与可见光对应的被摄体800的各个影像802的位置之中，检测出夹在两个影像802之间的与近红外光对应的被摄体800的影像802的中心坐标(X,Y)。在本实施例中，由于被摄体800由带式输送机300以恒定速度移动，因此在一帧图像中，与近红外光对应的被摄体800的影像802位于与可见光对应的被摄体800的两个影像802之间的中心处。因此，在本实施例中，通过使用其中在二阶色调图像中易于检测出轮廓的与可见光对应的两个影像802，来计算出这两个影像802的中心，由此能够准确地检测出与近红外光等对应的被摄体800的影像802的中心坐标(X,Y)。
(步骤S317至步骤S321)
由于根据本实施例的步骤S317至S321与根据图4所示的第一实施例的步骤S117至S121相同，这里将省略对它们的说明。
如上所述，在本实施例中，通过使用其中在二阶色调图像中易于检测出轮廓的与可见光对应的两个影像802，来计算出这两个影像802的中心，由此能够准确地检测出与近红外光等对应的被摄体800的影像802的位置。
[5.第四实施例]
在上述第一实施例中，通过使用二阶色调图像来检测与近红外光等对应的被摄体800的影像802的位置。另一方面，在下述实施例中，当一帧图像内的被摄体800的影像802的位置是预先已知的时，可以基于该一帧图像内的预先由用户指定的多个预定区域，从最初就可以仅获取各个ROI内的来自相应像素(摄像元件134)的摄像信号。这样，在本实施例中，就能够减少将要由读出部138一起读出的摄像信号的量，并且能够减轻后续处理的负担。因此，将会参照图15和图16来说明本发明的第四实施例。图15是用于说明根据本实施例的摄像方法的示例的流程图，并且图16是用于说明根据本实施例的摄像方法的示例的说明图。
<5.1摄像模块的详细构造>
除了合成部140未设置有二值化处理部142和摄像区域确定部144之外，根据本实施例的摄像模块100的详细构造与上述第一实施例相同。因此，此处省略它们的说明。
<5.2摄像方法>
接下来，将参照图15和图16来说明根据本实施例的摄像方法。如图15所示，根据本实施例的摄像方法包括从步骤S401到步骤S417的多个步骤。下面将说明根据本实施例的摄像方法中所包括的各个步骤的细节。在本实施例中，假设一帧图像内的被摄体800的影像802的位置是预先已知的。
(步骤S401至步骤S405)
由于根据本实施例的步骤S401至S405与根据图4所示的第一实施例的步骤S101至S105相同，这里将省略对它们的说明。
(步骤S407)
类似于第一实施例，控制部150与步骤S405中的发光元件112的照射同步地控制多个摄像元件134，使得多个摄像元件134接收来自被摄体800的反射光。在本实施例中，如图16所示，与预先由用户指定的多个预定区域对应的各个ROI 804内的相应摄像元件134跟发光元件112a至112c各者的照射同步地进行光接收，生成通过光接收而获得的被摄体的影像802以作为摄像信号(信号信息的一部分)，并且把所生成的摄像信号输出到各个存储部136。此外，各个存储部136临时地保持摄像信号。请注意，摄像信号对应于步骤S405中的由发光元件112照射出的光的各个波长(例如，波长λ1至λ7)的ROI 804，并且各个ROI 804包含于稍后说明的一帧图像中(即，ROI曝光)。即，在本实施例中，由于仅读出与预先由用户指定的多个预定区域对应的各个ROI 804内的相应摄像信号，因此能够减少由读出部138一起读出的摄像信号的量，并且能够减少后续处理的负担。
(步骤S409和步骤S411)
由于根据本实施例的步骤S409和S411与根据图4所示的第一实施例的步骤S109和S111相同，这里将省略对它们的说明。
(步骤S413)
控制部150控制合成部140的合成处理部146，使其切出一帧图像内所包括的各个ROI。
(步骤S415和步骤S417)
由于根据本实施例的步骤S415和S417与根据图4所示的第一实施例的步骤S119和S121相同，这里将省略对它们的说明。
如上所述，在本实施例中，当上述一帧图像内的被摄体800的影像802的位置是预先已知的时，基于上述一帧图像内的预先由用户指定的多个预定区域，可以从最初就仅获取各个ROI 804内的来自相应像素的摄像信号。这样，根据本实施例，能够减少由读出部138一起读出的摄像信号的量，并且能够减少后续处理的负担。
[6.第五实施例]
此外，在本发明中，根据上述第四实施例的摄像方法也可以应用于根据第二实施例的摄像模块100。这样，根据以下说明的实施例，能够减少由读出部138一起读出的摄像信号的量，并且能够减轻后续处理的负担。而且，不需要拥有特殊结构的照射部110，而是可以使用一般的照明装置等。因此，将参照图17和图18来说明本发明的第五实施例。图17是用于说明根据本实施例的摄像方法的示例的流程图，并且图18是用于说明根据本实施例的摄像方法的示例的说明图。
<6.1摄像模块的详细构造>
除了合成部140未设置有二值化处理部142和摄像区域确定部144之外，根据本实施例的摄像模块100的详细构造与上述第二实施例相同。因此，此处省略它们的说明。
<6.2摄像方法>
接下来，将参照图17和图18来说明根据本实施例的摄像方法。如图17所示，根据本实施例的摄像方法包括从步骤S501到步骤S513的多个步骤。下面将说明根据本实施例的摄像方法中所包括的各个步骤的细节。在本实施例中，同样地，假设一帧图像内的被摄体800的影像802的位置是预先已知的。
(步骤S501和步骤S503)
由于根据本实施例的步骤S501和S503与根据图4所示的第一实施例的步骤S101和S103相同，这里将省略对它们的说明。
(步骤S505)
控制部150控制多个摄像元件134，使得多个摄像元件134接收来自被摄体800的反射光。在本实施例中，与上述第四实施例一样，如图18所示，与预先由用户指定的多个预定区域对应的各个ROI 804内的相应摄像元件134执行光接收，生成通过光接收而获得的被摄体的影像802以作为摄像信号(信号信息的一部分)，并且把所生成的摄像信号输出到各个存储部136。此外，各个存储部136临时地保持摄像信号。注意，摄像信号对应于由滤光器162a至162c透过的光的各个波长(例如，波长λ1至λ7)的ROI 804，并且各个ROI 804包含于稍后说明的一帧图像中(即，ROI曝光)。即，在本实施例中，由于仅读出与预先由用户指定的多个预定区域对应的各个ROI 804内的相应摄像信号，因此能够减少由读出部138一起读出的摄像信号的量，并且能够减少后续处理的负担。
(步骤S507)
由于根据本实施例的步骤S507与根据图9所示的第二实施例的步骤S207相同，这里将省略对它的说明。
(步骤S509)
由于根据本实施例的步骤S509在除了读出各个ROI以外的其他方面都与图15所示的第四实施例的步骤S413相同，这里将省略对它的说明。
(步骤S511及步骤S513)
由于根据本实施例的步骤S511和S513与根据图4所示的第一实施例的步骤S119和S121相同，这里将省略对它们的说明。
如上所述，根据本实施例，能够减少由读出部138一起读出的摄像信号的量，并且能够减轻后续处理的负担。此外，不需要具有特殊结构的照射部110，而是能够使用一般的照明装置等。
[7.第六实施例]
上述根据本发明的实施例的技术适用于例如下列之类的在图像摄入部中使用了摄像装置的全部电子设备：诸如数码相机或摄影机等摄像装置；具有摄像功能的便携式终端装置；及在图像读取部中使用了摄像装置的复印机等。此外，本发明的技术也适用于汽车、机器人、飞机、无人机、各种检查仪器(例如，食品检查等)、医疗设备(内窥镜)等。在下文中，作为本发明的第六实施例，将参照图19来说明应用了根据本发明的实施例的技术的电子设备900的示例。图19是示出了根据本实施例的电子设备900的一个示例的说明图。
如图19所示，电子设备900具有摄像装置902、光学透镜(对应于图2中的透镜部132)910、快门机构912、驱动电路单元(对应于图2中的控制部150)914以及信号处理电路单元(对应于图2中的合成部140)916。光学透镜910使得来自被摄体的像光(入射光)在摄像装置902的光接收面上的多个摄像元件134(参见图2)上成像。结果，在摄像装置902的存储部136(参见图2)中在一定时间段内累积信号电荷。快门机构912执行/关操作以控制对于摄像装置902的光照射时段和遮光时段。驱动电路单元914把用于控制摄像装置902的信号传输操作、或快门机构912的快门操作等的驱动信号提供给它们。即，摄像装置902基于从驱动电路单元914提供过来的驱动信号(时序信号)执行信号传输。信号处理电路单元916可以进行各种各样的信号处理。
注意，本发明的实施例不限于应用于在安装于生产现场等处的生产线中基于所制造产品的外观的图像来检查有无划痕、有无异物的混入、以及该产品的外观是否为适合出货的合格品的检查装置。例如，本实施例可以应用于工业产品的外观检查(有无划痕、以及所制造产品的外观适合出货的判定)等。此外，由于本实施例可以使用各种波长的光，因此本实施例可以用于例如基于物质特有的光吸收特性而执行的对于药品和食品的异物混入检查等(可以利用异物特有的光吸收特性)。此外，在本实施例中，由于可以使用各种波长的光，因此例如可以检测出用可见光难以进行识别的颜色识别以及划痕或异物所在位置的深度。
[8.移动体的应用例]
此外，在本发明的实施例中，代替使被摄体800移动的方式，可以将摄像模块100安装在移动体上，以致使摄像模块100侧移动。例如，在摄像模块100被安装在诸如无人机等移动体上的情况下，当被摄体800位于摄像模块100的发光元件112的正下方时，可以照射具有预定波长的光。在这种情况下，根据本实施例，能够检测出特定成分在地表等上的分布或者能够检测出农作物的状态。即，根据本实施例的摄像模块100可以被实现为要安装到诸如汽车、电动车辆、混合动力车辆、摩托车、自行车、个人机动载具、飞机、无人飞行器、船舶或机器人等任何类型的移动体上的装置。
图20是示出了车辆控制系统的示意性构造的示例的框图，该车辆控制系统是根据本发明的技术可适用的移动体控制系统的示例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图20所示的例子中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，作为综合控制单元12050的功能构造，示出了微型计算机12051、声音/图像输出部12052和车载网络I/F(接口：interface)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元12010可以作为如下各种设备的控制装置而发挥作用：诸如内燃机或驱动电机等用于产生车辆的驱动力的驱动力产生设备；用于向车轮传递驱动力的驱动力传递机构；用于调整车辆的转向角的转向机构；以及用于产生车辆的制动力的制动装置等。
车身系统控制单元12020根据各种程序来控制安装于车身上的各种设备的操作。例如，车身系统控制单元12020可以作为如下各种设备的控制装置而发挥作用：无钥匙进入系统；智能钥匙系统；电动窗装置；或者诸如前照灯、倒车灯、刹车灯、转向灯、或雾灯等各种灯。在这种情况下，从代替钥匙的便携式装置发送的无线电波或来自各种开关的信号可以进入到车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入，并且控制车辆的门锁装置、电动窗装置、及灯等。
车外信息检测单元12030检测关于安装有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接至摄像部12031。车外信息检测单元12030致使摄像部12031摄取车辆外部的图像，并且接收所摄取的图像。基于所接收到的图像，车外信息检测单元12030可以针对诸如人、汽车、障碍物、标志、或道路上的文字等物体进行物体检测处理或距离检测处理。
摄像部12031是接收光、并且输出与所接收的光的光量对应的电气信号的光学传感器。摄像部12031可以把电气信号作为图像而输出，或者可以把电气信号作为测距信息而输出。另外，由摄像部12031接收的光可以是可见光，或者可以是诸如红外线等非可见光。
车内信息检测单元12040检测关于车辆内部的信息。例如，车内信息检测单元12040连接至用于检测驾驶员状态的驾驶员状态检测部12041。例如，驾驶员状态检测部12041包括对驾驶员进行摄像的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或专注程度，或者可以判断驾驶员是否正在打瞌睡。
基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，微型计算机12051可以计算驱动力产生设备、转向机构或制动装置的控制目标值，从而向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶辅助系统(ADAS：advanced driver assistance system)功能的协调控制，该ADAS功能包括：车辆的碰撞规避或撞击缓和、基于车间距离的跟随行驶、车辆定速行驶、车辆碰撞警告、车辆偏离车道警告等。
另外，基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆周围的信息，微型计算机12051还可以通过控制驱动力产生设备、转向机构、或制动装置等，来执行旨在实现使车辆不依赖于驾驶员的操作而自主行驶的自动驾驶等的协调控制。
另外，基于由车外信息检测单元12030获得的关于车辆外部的信息，微型计算机12051可以将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以根据由车外信息检测单元12030检测到的前方车辆或迎面来车的位置，来控制前照灯，由此执行旨在例如通过将远光切换为近光来防止眩光的协调控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传送到能够在视觉上或听觉上将信息通知到车辆乘员或车辆外部的输出装置。在图20的示例中，作为输出装置，示出了音频扬声器12061、显示部12062和仪表板12063。例如，显示部12062可以包括板载显示器和平视显示器中的至少一者。
图21是示出了摄像部12031的安装位置的示例的图。
在图21中，车辆12100具有作为摄像部12031的摄像部12101、12102、12103、12104、12105。
例如，摄像部12101、12102、12103、12104和12105被安置在车辆12100的诸如前鼻、侧视镜、后保险杠、后备厢门、以及车厢内挡风玻璃上部等位置处。设置在前鼻处的摄像部12101和设置在车厢内挡风玻璃上部处的摄像部12105主要获取车辆12100前方的图像。设置在侧视镜处的摄像部12102和12103主要获取车辆12100侧方的图像。设置在后保险杠或后备厢门处的摄像部12104主要获取车辆12100后方的图像。由摄像部12101和12105获取的前方图像主要用来检测前方的车辆、行人、障碍物、交通信号灯、交通标志或车道等。
注意，图21示出了摄像部12101～12104的摄像范围的示例。摄像范围12111表示设置在前鼻处的摄像部12101的摄像范围。摄像范围12112和12113分别表示设置在侧视镜处的摄像部12102和12103的摄像范围。摄像范围12114表示设置在后保险杠或后备厢门处的摄像部12104的摄像范围。例如，通过叠加由摄像部12101～12104摄取到的图像数据，可以获得车辆12100的从上方看到的俯瞰图像。
摄像部12101～12104中的至少一者可以具有获得距离信息的功能。例如，摄像部12101～12104中的至少一者可以是包括多个摄像元件的立体相机，或者可以是具有相位差检测用像素的摄像元件。
例如，基于由摄像部12101～12104获得的距离信息，微型计算机12051可以计算距摄像范围12111～12114内的各立体物的距离和该距离随时间的变化(相对于车辆12100的相对速度)，从而提取如下的立体物作为前方车辆：该立体物尤其是在车辆12100的行驶路线上离得最近的立体物，并且该立体物在与车辆12100大致相同的方向上以预定速度(例如，0km/h以上)行驶。此外，微型计算机12051可以设定应当与前方车辆的近前要预先确保的车间距离，并且进行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随启动控制)等。因此，可以进行旨在实现使车辆不依赖于驾驶员的操作而自主行驶的自动驾驶等的协调控制。
例如，基于从摄像部12101～12104获得的距离信息，微型计算机12051可以将与立体物有关的立体物数据按两轮车辆、普通车辆、大型车辆、行人、电线杆和其他立体物进行分类，提取分类后的立体物数据，并且使用所提取的数据来自动规避障碍物。例如，微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员可以在视觉上辨认出来的障碍物和车辆12100的驾驶员难以在视觉上辨认出来的障碍物。此外，微型计算机12051判定用于表示与各障碍物发生碰撞的危险度的碰撞风险。在碰撞风险等于或高于设定值且因此表示存在碰撞可能性的情况下，微型计算机12051可以经由音频扬声器12061或显示部12062向驾驶者输出警告，或者可以经由驱动系统控制单元12010实施强制减速和规避转向，由此，微型计算机12051能够提供用于避免碰撞的辅助驾驶。
摄像部12101～12104中的至少一者可以是检测红外线的红外相机。例如，微型计算机12051可以通过判定在摄像部12101～12104的所拍摄图像中是否存在行人来识别出行人。例如，对行人的这种识别是通过如下步骤来进行的：从作为红外相机的摄像部12101～12104的所拍摄图像中提取特征点的步骤；以及对表示物体轮廓的一系列特征点进行图案匹配处理以判定其是否为行人的步骤。当微型计算机12051判定在摄像部12101～12104的所拍摄图像中存在有行人并且由此识别出行人时，声音/图像输出部12052控制显示部12062，使其把用于表示强调的矩形轮廓线叠加地显示在所识别出的行人上。声音/图像输出部12052还可以控制显示部12062，使其把用于表示行人的图标等显示在所期望的位置处。
上面已经说明了根据本发明的技术可适用的车辆控制系统的示例。根据本发明的技术可以适用于例如上述构造中的摄像部12031等。
[9.总结]
如上所述，根据本发明的各个实施例，摄像模块100不需要诸如衍射光栅和反射镜等许多的光学元件，因此能够避免构造的复杂化和摄像模块100的制造成本的增加。此外，根据本发明的各个实施例，由于使用一帧图像来生成合成图像，因此能够在一帧的摄像时间内生成通过将多个分光图像合成为一个图像而得到的图像。即，根据本实施例，能够以简单的构造且高的速度获得分光图像的合成图像。
注意，在上述本发明的各个实施例和变形例中，已经说明了将所切出的多个ROI叠加以生成合成图像，但是本发明的各个实施例和变形例不限于此。例如，在各实施例中，可以输出一帧图像本身，也可以输出从一帧图像中切出的ROI。例如，在这种情况下，由于可以个别地获取和分析与光的各个波长对应的图像，因此能够容易地识别出针对各个相应波长的成分的有无和分布等。
[10.补充]
上述本发明的实施例可以包括例如用于致使计算机起到根据本实施例的摄像系统10的作用的程序，以及记录有该程序的非临时有形介质。此外，程序可以经由诸如因特网等通信线路(其包括无线通信)而被颁布。
此外，上述根据本发明的实施例的摄像方法中的各个步骤不一定必须按照所说明的顺序进行处理。例如，各个步骤可以以适当重新排序的方式予以处理。此外，各个步骤可以不是按时间顺序予以处理，而是可以部分并行地予以处理或单独予以处理。进一步地，各个步骤的处理方法并不一定要按照所说明的方法进行处理，也可以例如通过其他功能部采用其他方法进行处理。
尽管已经参照附图详细说明了本发明的优选实施例，但是本发明的技术范围不限于这些示例。显然，本发明的技术领域中的普通技术人员可以在随附的权利要求所记载的技术构思的范围内提出各种修改或变更。当然，这些修改或变更应理解为属于本发明的技术范围。
此外，本说明书中说明的效果仅是说明性或示例性的，并且不受限制。即，不仅具有上述效果或代替上述效果的是，根据本发明的技术可以发挥出根据本说明书的记载对本领域技术人员来说显而易见的其他效果。
请注意，该技术还可以采用以下技术方案。
(1)一种摄像器件，包括：
摄像部，其通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出；以及
合成部，其通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
(2)根据前面(1)所述的摄像器件，其中
所述摄像部具有多个像素，并且
各所述像素包括：
摄像元件，其接收所述反射光以生成所述信号信息；和
存储部，其临时地保持来自所述摄像元件的所述信号信息。
(3)根据前面(2)所述的摄像器件，其中
所述摄像部以全局快门方式进行操作，所述全局快门方式将各个所述存储部中所保持的所述信号信息一起读出。
(4)根据前面(2)或(3)所述的摄像器件，其中
所述像素包括用于检测近红外光的InGaAs摄像元件。
(5)根据前面(2)至(4)中任一者所述的摄像器件，其中
所述合成部通过从所述一帧图像中切出预先指定的多个预定区域，来切出与各波长的所述反射光相应的各被摄体像。
(6)根据前面(2)至(4)中任一者所述的摄像器件，其中
所述合成部具有摄像区域确定部，所述摄像区域确定部确定所述一帧图像内的与各波长的所述反射光相应的各被摄体像。
(7)根据前面(6)所述的摄像器件，其中
所述合成部还具有二值化处理部，所述二值化处理部将所述一帧图像转换成二阶色调以生成二阶色调图像，
所述摄像区域确定部基于所述二阶色调图像来确定与各波长的所述反射光相应的各被摄体像。
(8)根据前面(6)所述的摄像器件，其中
所述摄像部依次接收：在所述各照射光进行照射之前和之后，通过间歇地依次照射沿预定方向以恒定速度移动的所述被摄体从而由所述被摄体反射的各基准光，
所述摄像部通过临时地依次保持基于所述各基准光的所述信号信息并且将所保持的各所述信号信息一起读出，来生成包含与所述基准光相应的被摄体像的所述一帧图像，并且
所述摄像区域确定部基于与两个所述基准光相应的被摄体像来确定位于与这两个所述基准光相应的被摄体像之间的与各波长的所述反射光相应的被摄体像。
(9)根据前面(2)至(8)中任一者所述的摄像器件，其中
所述合成部具有合成处理部，
所述合成处理部基于与各波长相应地预先设定的色彩信息、及与各波长的所述反射光相应的被摄体像中的各所述像素的信号信息，来计算出与各波长的所述反射光相应的被摄体像中的各所述像素的色彩参数，
所述合成处理部针对各所述像素而计算出所述多个被摄体像中的所述色彩参数的加法平均值，并且
所述合成处理部基于所计算出的所述加法平均值来生成作为所述合成图像的彩色图像。
(10)根据前面(1)至(9)中任一者所述的摄像器件，其中
所述摄像部具有多个滤光器，
所述多个滤光器被设置成面向所述被摄体，且沿着所述被摄体的移动方向依次排列着，并且能够让具有不同波长的光透过。
(11)根据前面(10)所述的摄像器件，其中
所述多个滤光器是芯片上彩色滤光器或等离子体滤光器。
(12)根据前面(1)至(9)中任一者所述的摄像器件，其还包括：
照射部，其依据移动的所述被摄体的位置而用具有不同波长的所述各照射光间歇地依次照射所述被摄体。
(13)根据前面(12)所述的摄像器件，其中
所述照射部具有多个发光元件，所述多个发光元件发射出不同波长的光。
(14)根据前面(13)所述的摄像器件，其中
所述多个发光元件包括多个发光二极管，所述多个发光二极管发射出近红外光。
(15)根据前面(13)或(14)所述的摄像器件，其中
所述多个发光元件包括基准光发射元件，所述基准光发射元件发射出除近红外光以外的具有预定波长的基准光。
(16)根据前面(15)所述的摄像器件，其中
所述基准光发射元件发射出作为所述基准光的可见光。
(17)根据前面(12)至(16)中任一者所述的摄像器件，其还包括：
控制部，其控制所述摄像部，以使所述摄像部与所述照射部的照射同步地接收所述反射光。
(18)摄像器件，包括：
摄像部，其通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息之中的与预先指定的多个预定区域相应的所述信号信息的一部分一起读出；以及
合成部，其通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
(19)摄像系统，包括：
移动装置，其使被摄体移动；
照射装置，其依据移动的所述被摄体的位置而用具有不同波长的照射光间歇地依次照射所述被摄体；
摄像装置，其通过如下方式来生成一帧图像：依次接收由于所述照射被所述被摄体反射而得到的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出；以及
合成装置，其通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
(20)摄像方法，包括：
通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出；以及
通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
[附图标记说明]
10：摄像系统
100：摄像模块
110：照射部
112a、112b、112c、112d、112f：发光元件
120：摄像器件
130：摄像部
132：透镜部
134：摄像元件
136：存储部
138：读出部
140：合成部
142：二值化处理部
144：摄像区域确定部
146：合成处理部
150：控制部
160：滤光器部
162a、162b、162c：滤光器
200：控制服务器
300：带式输送机
410：像素阵列部
432：垂直驱动电路部
434：列信号处理电路部
436：水平驱动电路部
438：输出电路部
440：控制电路部
442：像素驱动配线
444：垂直信号线
446：水平信号线
448：输入/输出端子
480：周边电路部
500：半导体基板
800：被摄体
802：影像
804：ROI(关注区域)
804a、804b、804c：像素数据组
806：伪彩色图像
900：电子设备
902：摄像装置
910：光学透镜
912：快门机构
914：驱动电路单元
916：信号处理电路单元

Claims (20)

1.摄像器件，包括：
摄像部，其通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出；以及
合成部，其通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
2.根据权利要求1所述的摄像器件，其中，
所述摄像部具有多个像素，并且
各所述像素包括：
摄像元件，其接收所述反射光以生成所述信号信息；和
存储部，其临时地保持来自所述摄像元件的所述信号信息。
3.根据权利要求2所述的摄像器件，其中，
所述摄像部以全局快门方式进行操作，所述全局快门方式将各个所述存储部中所保持的所述信号信息一起读出。
4.根据权利要求2所述的摄像器件，其中，
所述像素包括用于检测近红外光的InGaAs摄像元件。
5.根据权利要求2所述的摄像器件，其中，
所述合成部通过从所述一帧图像中切出预先指定的多个预定区域，来切出与各波长的所述反射光相应的各被摄体像。
6.根据权利要求2所述的摄像器件，其中，
所述合成部具有摄像区域确定部，所述摄像区域确定部确定所述一帧图像内的与各波长的所述反射光相应的各被摄体像。
7.根据权利要求6所述的摄像器件，其中，
所述合成部还具有二值化处理部，所述二值化处理部将所述一帧图像转换成二阶色调以生成二阶色调图像，
所述摄像区域确定部基于所述二阶色调图像来确定与各波长的所述反射光相应的各被摄体像。
8.根据权利要求6所述的摄像器件，其中，
所述摄像部依次接收：在所述各照射光进行照射之前和之后，通过间歇地依次照射沿预定方向以恒定速度移动的所述被摄体从而由所述被摄体反射的各基准光，
所述摄像部通过临时地依次保持基于所述各基准光的所述信号信息并且将所保持的各所述信号信息一起读出，来生成包含与所述基准光相应的被摄体像的所述一帧图像，并且
所述摄像区域确定部基于与两个所述基准光相应的被摄体像来确定位于与这两个所述基准光相应的被摄体像之间的与各波长的所述反射光相应的被摄体像。
9.根据权利要求2所述的摄像器件，其中，
所述合成部具有合成处理部，
所述合成处理部基于与各波长相应地预先设定的色彩信息、及与各波长的所述反射光相应的被摄体像中的各所述像素的信号信息，来计算出与各波长的所述反射光相应的被摄体像中的各所述像素的色彩参数，
所述合成处理部针对各所述像素而计算出所述多个被摄体像中的所述色彩参数的加法平均值，并且
所述合成处理部基于所计算出的所述加法平均值来生成作为所述合成图像的彩色图像。
10.根据权利要求1所述的摄像器件，其中，
所述摄像部具有多个滤光器，
所述多个滤光器被设置成面向所述被摄体，且沿着所述被摄体的移动方向依次排列着，并且能够让具有不同波长的光透过。
11.根据权利要求10所述的摄像器件，其中，
所述多个滤光器是芯片上彩色滤光器或等离子体滤光器。
12.根据权利要求1所述的摄像器件，还包括：
照射部，其依据移动的所述被摄体的位置而用具有不同波长的所述各照射光间歇地依次照射所述被摄体。
13.根据权利要求12所述的摄像器件，其中，
所述照射部具有多个发光元件，所述多个发光元件发射出不同波长的光。
14.根据权利要求13所述的摄像器件，其中，
所述多个发光元件包括多个发光二极管，所述多个发光二极管发射出近红外光。
15.根据权利要求13所述的摄像器件，其中，
所述多个发光元件包括基准光发射元件，所述基准光发射元件发射出除近红外光以外的具有预定波长的基准光。
16.根据权利要求15所述的摄像器件，其中，
所述基准光发射元件发射出作为所述基准光的可见光。
17.根据权利要求12所述的摄像器件，还包括：
控制部，其控制所述摄像部，以使所述摄像部与所述照射部的照射同步地接收所述反射光。
18.摄像器件，包括：
摄像部，其通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息之中的与预先指定的多个预定区域相应的所述信号信息的一部分一起读出；以及
合成部，其通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
19.摄像系统，包括：
移动装置，其使被摄体移动；
照射装置，其依据移动的所述被摄体的位置而用具有不同波长的照射光间歇地依次照射所述被摄体；
摄像装置，其通过如下方式来生成一帧图像：依次接收由于所述照射被所述被摄体反射而得到的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出；以及
合成装置，其通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
20.摄像方法，包括：
通过如下方式来生成一帧图像：依次接收当依据移动的被摄体的位置而用具有不同波长的各照射光间歇地依次照射所述被摄体时由所述被摄体反射的各反射光，临时地依次保持基于各波长的所述反射光的各信号信息，并且将所保持的各所述信号信息一起读出；以及
通过如下方式来生成合成图像：从所述一帧图像中切出与各波长的所述反射光相应的被摄体像，并且将所切出的多个被摄体像叠加。
CN202080054660.1A 2019-09-18 2020-09-08 摄像器件、摄像系统和摄像方法 Pending CN114175615A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019169086A JP2021048464A (ja) 2019-09-18 2019-09-18 撮像デバイス、撮像システム及び撮像方法
JP2019-169086 2019-09-18
PCT/JP2020/033937 WO2021054198A1 (ja) 2019-09-18 2020-09-08 撮像デバイス、撮像システム及び撮像方法

Publications (1)

Publication Number Publication Date
CN114175615A true CN114175615A (zh) 2022-03-11

Family

ID=74878790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054660.1A Pending CN114175615A (zh) 2019-09-18 2020-09-08 摄像器件、摄像系统和摄像方法

Country Status (4)

Country Link
US (1) US20220390383A1 (zh)
JP (1) JP2021048464A (zh)
CN (1) CN114175615A (zh)
WO (1) WO2021054198A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023018822A (ja) * 2021-07-28 2023-02-09 パナソニックＩｐマネジメント株式会社 検査方法および検査装置
JP2023130226A (ja) * 2022-03-07 2023-09-20 東レエンジニアリング株式会社 蛍光検査装置
JP2022146950A (ja) * 2022-06-29 2022-10-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244833A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 撮像装置、色収差補正方法およびプログラム
CN102266218A (zh) * 2010-06-04 2011-12-07 索尼公司 图像处理装置、图像处理方法、程序及电子装置
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
JP2014507856A (ja) * 2011-01-14 2014-03-27 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
JP2014140117A (ja) * 2013-01-21 2014-07-31 Panasonic Corp カメラ装置及び撮像方法
JP5692446B1 (ja) * 2014-07-01 2015-04-01 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
JP2015173451A (ja) * 2009-07-30 2015-10-01 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161145B2 (ja) * 1998-12-24 2008-10-08 株式会社Ｉｈｉ Ｃｃｄカメラとレーザ照明を用いた発光体の撮像装置
JP6484504B2 (ja) * 2015-06-10 2019-03-13 株式会社 日立産業制御ソリューションズ 撮像装置
JP6806591B2 (ja) * 2017-02-27 2021-01-06 日本放送協会 撮影装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244833A (ja) * 2007-03-27 2008-10-09 Casio Comput Co Ltd 撮像装置、色収差補正方法およびプログラム
JP2015173451A (ja) * 2009-07-30 2015-10-01 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
CN102266218A (zh) * 2010-06-04 2011-12-07 索尼公司 图像处理装置、图像处理方法、程序及电子装置
JP2014507856A (ja) * 2011-01-14 2014-03-27 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
JP2014140117A (ja) * 2013-01-21 2014-07-31 Panasonic Corp カメラ装置及び撮像方法
JP5692446B1 (ja) * 2014-07-01 2015-04-01 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム

Also Published As

Publication number Publication date
WO2021054198A1 (ja) 2021-03-25
JP2021048464A (ja) 2021-03-25
US20220390383A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
CN105723239B (zh) 测距摄像系统以及固体摄像元件
CN114175615A (zh) 摄像器件、摄像系统和摄像方法
JP7044107B2 (ja) 光センサ、及び、電子機器
CN113271400A (zh) 成像装置和电子设备
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
WO2020230636A1 (ja) 画像認識装置および画像認識方法
US11936979B2 (en) Imaging device
US20230402475A1 (en) Imaging apparatus and electronic device
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
CN114207827A (zh) 成像元件和测距装置
EP3182453A1 (en) Image sensor for a vision device and vision method for a motor vehicle
WO2020246186A1 (ja) 撮像システム
JP2021190848A (ja) 検出装置、検出システム及び検出方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
WO2022009627A1 (ja) 固体撮像装置および電子機器
US20230068923A1 (en) Imaging device, imaging method, and electronic device
US11851007B2 (en) Vehicle-mounted camera and drive control system using vehicle-mounted camera
WO2021166601A1 (ja) 撮像装置、および撮像方法
WO2022004441A1 (ja) 測距装置および測距方法
WO2021192459A1 (ja) 撮像装置
CN117813836A (zh) 摄像元件和电子设备
CN115917424A (zh) 半导体装置和光学结构体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination