CN110574360B - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN110574360B
CN110574360B CN201880027303.9A CN201880027303A CN110574360B CN 110574360 B CN110574360 B CN 110574360B CN 201880027303 A CN201880027303 A CN 201880027303A CN 110574360 B CN110574360 B CN 110574360B
Authority
CN
China
Prior art keywords
image
water quality
wavelength band
ratio
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027303.9A
Other languages
English (en)
Other versions
CN110574360A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN202011206996.3A priority Critical patent/CN112383707B/zh
Publication of CN110574360A publication Critical patent/CN110574360A/zh
Application granted granted Critical
Publication of CN110574360B publication Critical patent/CN110574360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

本发明的目的在于提供一种图像处理装置、摄像装置、图像处理方法及程序，所述图像处理装置能够生成在大范围内抑制了水面上的反射光引起的影响的图像。图像处理装置(500)具备：图像获取部(501)，获取包含具有波浪的水面的相同场景的多个帧图像；亮度值计算部(503)，根据多个帧图像计算与构成各帧图像的微小区域对应的亮度值；像素值提取部(505)，提取多个帧图像中微小区域的亮度值比其他帧图像的微小区域的亮度值小的亮度值的帧图像的微小区域所对应的像素值；存储部(507)，存储通过像素值提取部(505)提取的像素值；及合成图像生成部(509)，根据存储于存储部(507)的像素值生成与场景对应的合成图像。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及一种获取来自水面的反射光的影响得到抑制的图像的技术。
背景技术
当从陆地(空气中)观察及拍摄水中的对象物时，由于水面上的反射光的影响，有时无法适当地拍摄水中的被摄体。这是因为，来自水中的被摄体的光被埋在水面上的反射光中，从而无法良好地捕捉来自水中的被摄体的光。
一直以来，提出有使用利用布儒斯特角的性质的偏振滤光片来抑制水面上的反射光的影响的技术。
例如，专利文献1中，记载有与具备偏振滤光片的相机相关的技术。专利文献1中记载的具备偏振滤光片的相机具备能够旋转的偏振滤光片，通过驱动控制部使偏振滤光片旋转，以使与被摄体的视频信号的电平对应的信号变得最小。
以往技术文献
专利文献
专利文献1：日本特开平10-145668号公报
发明内容
发明要解决的技术课题
然而，偏振滤光片仅能够在布儒斯特角附近有效地排除反射光。即，在仅通过偏振滤光片抑制反射光的影响的技术中，无法有效地抑制以大于布儒斯特角的入射角入射的光的反射光的影响。因此，在光轴(相机视线)与水面法线所呈的角度变大的情况下，偏振滤光片无法有效地发挥功能，无法抑制水面上的反射光的影响。
即使利用专利文献1中记载的具备偏振滤光片的相机拍摄水面时，在光轴与水面法线所呈的角度变大的位置，也会产生无法良好地抑制反射光的影响的情况。
本发明是鉴于这种情况而完成的，其目的在于提供一种图像处理装置、摄像装置、图像处理方法及程序，所述图像处理装置能够生成在大范围内抑制了水面上的反射光引起的影响的图像。
用于解决技术课题的手段
作为用于实现上述目的的本发明的一方式的图像处理装置具备：图像获取部，获取包含具有波浪的水面的相同场景的多个帧图像；亮度值计算部，根据多个帧图像计算与构成各帧图像的微小区域对应的亮度值；像素值提取部，提取多个帧图像中微小区域的亮度值比其他帧图像的微小区域的亮度值小的亮度值的帧图像的微小区域所对应的像素值；存储部，存储通过像素值提取部提取的像素值；及合成图像生成部，根据存储于存储部的像素值生成与场景对应的合成图像。
根据本方式，通过像素值提取部，提取多个帧图像中微小区域的亮度值比其他帧图像的微小区域的亮度值小的亮度值的帧图像的微小区域所对应的像素值，所提取的像素值存储于存储部，通过合成图像生成部，根据存储于存储部的像素值生成合成图像。即，根据本方式，通过合成图像生成部生成的合成图像由亮度值示出最小时的像素值构成。
由此，本方式中，可生成在所拍摄的水面的大范围内抑制了反射光的影响的图像。即，本方式中生成的合成图像中，在大范围内抑制了水面上的反射光的影响，鲜明地拍摄有水面或水中。
作为本发明的另一方式的图像处理装置具备：图像获取部，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且各帧具有第1图像及第2图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像；像素值计算部，根据多个帧中的第1图像及第2图像，在各帧中按每个微小区域计算第1图像的像素值与第2图像的像素值之和；比例或差计算部，计算在多个帧中微小区域的第1图像的像素值与第2图像的像素值之和成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差；存储部，存储通过比例或差计算部计算出的比例或差；水质数据计算部，根据存储于存储部的比例或差，计算水质检查对象的水质数据；及水质分布图像生成部，根据通过水质数据计算部计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
根据本方式，通过比例或差计算部，计算在多个帧中微小区域的第1图像的像素值与第2图像的像素值之和成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差，计算出的比例或差存储于存储部。并且，根据本方式，通过水质数据计算部，根据存储于存储部的比例或差，计算水质检查对象的水质数据，通过水质分布图像生成部，根据计算出的水质数据生成表示水质检查对象的水质分布的水质分布图像。
由此，本方式中，可生成在所拍摄的水面的大范围内抑制了反射光的影响的图像。即，本方式中生成的水质分布图像中，水面上的反射光的影响得到抑制，示出准确的水质分布。
作为本发明的另一方式的图像处理装置具备：图像获取部，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且各帧具有第1图像、第2图像及第3图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像，第3图像为基于包含第1波段及第2波段的第3波段的图像；像素值获取部，根据多个帧的第3图像，获取与构成各第3图像的微小区域对应的像素值；比例或差计算部，计算在多个帧中微小区域的像素值成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差；存储部，存储通过比例或差计算部计算出的比例或差；水质数据计算部，根据存储于存储部的比例或差，计算水质检查对象的水质数据；及水质分布图像生成部，根据通过水质数据计算部计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
根据本方式，通过比例或差计算部，计算多个帧中的各第3图像的微小区域的像素值成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差，通过存储部存储通过比例或差计算部计算出的比例或差。并且，根据本方式，通过水质数据计算部，根据存储于存储部的比例或差，计算水质检查对象的水质数据，通过水质分布图像生成部，根据通过水质数据计算部计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
由此，本方式中，可生成在所拍摄的水面的大范围内抑制了反射光的影响的图像。即，本方式中生成的水质分布图像中，水面上的反射光的影响得到抑制，示出准确的水质分布。
优选第1波段为包含670nm的波段，第2波段为包含700nm的波段，水质数据计算部根据通过图像获取部获取的第1图像及第2图像，计算叶绿素a的浓度作为水质检查对象的水质数据，水质分布图像生成部生成表示计算出的叶绿素a的浓度分布的浓度分布图像作为水质分布图像。
根据本方式，第1波段为包含670nm的波段，第2波段为包含700nm的波段，通过水质数据计算部，根据通过图像获取部获取的第1图像及第2图像，计算叶绿素a的浓度作为水质检查对象的水质数据，通过水质分布图像生成部，生成表示计算出的叶绿素a的浓度分布的浓度分布图像作为水质分布图像。
由此，本方式中生成的水质分布图像中，水面的反射光的影响得到抑制，示出准确的叶绿素a的浓度分布。
优选第3波段为可见光的波段。
根据本方式，第3波段为可见光的波段，因此能够更适当地检测水面的反射光的影响，能够获取反射光的影响进一步得到抑制的水质分布图像。
优选微小区域为1个像素的区域。
根据本方式，微小区域为1个像素的区域。由此，本方式中，可在更细微的区域中抑制反射光的影响。
优选波浪为人工产生的波浪。
根据本方式，波浪为人工产生的波浪。由此，本方式中，即使是未产生自然的波浪的水面，也能够通过人工产生波浪来获取合成图像或水质分布图像，由此抑制水面的反射光的影响。
作为本发明的另一方式的摄像装置具备上述图像处理装置。
优选固定于定点来拍摄包含具有波浪的水面的相同场景。
根据本方式，固定于定点来拍摄包含具有波浪的水面的相同场景，因此可准确地拍摄相同场景的图像，生成摄影对象的抖动得到抑制的图像。
优选具备使包含具有波浪的水面的相同场景的光束通过的偏振滤光片。
根据本方式，具备使包含具有波浪的水面的相同场景的光束通过的偏振滤光片。由此，本方式中，能够有效地抑制通过水面反射的偏振光的影响，因此能够获取反射光的影响进一步得到抑制的图像。
作为本发明的另一方式的摄像装置具备上述图像处理装置，该摄像装置具备：摄像光学系统，具有成像透镜、以及分别与成像透镜的第1区域及第2区域对应的第1滤光器及第2滤光器，所述第1滤光器使第1波段的光透射，所述第2滤光器使第2波段的光透射；及定向传感器，具有由二维状排列的光电转换元件构成的多个像素，且对经由摄像光学系统的第1滤光器及第2滤光器入射的光束分别进行光瞳分割并选择性地接收。
根据本方式，使用如下摄像光学系统来拍摄不同波段的第1图像即第2图像，所述摄像光学系统具有成像透镜、以及分别与成像透镜的第1区域及第2区域对应的第1滤光器及第2滤光器，第1滤光器使第1波段的光透射，第2滤光器使第2波段的光透射。由此，本方式能够实现摄像装置的小型化及轻量化。
并且，根据本方式，通过上述的1个摄像光学系统拍摄第1图像及第2图像，因此通过1个摄像光学系统的调整，能够适当地拍摄第1图像及第2图像。
并且，根据本方式，通过对经由摄像光学系统的第1滤光器及第2滤光器入射的光束分别进行光瞳分割并选择性地接收的定向传感器和上述的1个摄像光学系统，拍摄第1图像及第2图像。由此，本方式无需进行第1图像及第2图像之间的对位。
并且，根据本方式，能够同时且作为独立地分离的图像数据来获取第1图像和第2图像。
作为本发明的另一方式的摄像装置具备上述图像处理装置，该摄像装置具备：摄像光学系统，具有成像透镜、分别与成像透镜的第1区域、第2区域及第3区域对应的第1滤光器、第2滤光器及第3滤光器，第1滤光器使第1波段的光透射，第2滤光器使第2波段的光透射，第3滤光器使第3波段的光透射；及定向传感器，具有由二维状排列的光电转换元件构成的多个像素，且对经由摄像光学系统的第1滤光器、第2滤光器及第3滤光器入射的光束分别进行光瞳分割并选择性地接收。
根据本方式，使用如下摄像光学系统拍摄第1图像、第2图像及第3图像，所述摄像光学系统具有成像透镜、以及分别与成像透镜的第1区域、第2区域及第3区域对应的第1滤光器、第2滤光器及第3滤光器，第1滤光器使第1波段的光透射，第2滤光器使第2波段的光透射，第3滤光器使第3波段的光透射。由此，本方式能够实现摄像装置的小型化及轻量化。
并且，根据本方式，通过上述的1个摄像光学系统拍摄第1图像、第2图像及第3图像，因此通过1个摄像光学系统的调整，能够适当地拍摄第1图像、第2图像、第3图像。
并且，根据本方式，通过对经由摄像光学系统的第1滤光器、第2滤光器及第3滤光器入射的光束分别进行光瞳分割并选择性地接收的定向传感器和上述的1个摄像光学系统，拍摄第1图像、第2图像及第3图像。由此，本方式无需进行第1图像、第2图像及第3图像之间的对位。
根据本方式，能够同时且作为独立地分离的图像数据来获取第1图像、第2图像、第3图像。
作为本发明的另一方式的图像处理方法包含如下步骤：图像获取步骤，获取包含具有波浪的水面的相同场景的多个帧图像；亮度值计算步骤，根据多个帧图像计算与构成各帧图像的微小区域对应的亮度值；像素值提取步骤，提取多个帧图像中微小区域的亮度值比其他帧图像的微小区域的亮度值小的亮度值的帧图像的微小区域所对应的像素值；存储步骤，存储通过像素值提取步骤提取的像素值；及合成图像生成步骤，根据通过存储步骤存储的像素值生成与场景对应的合成图像。
作为本发明的另一方式的图像处理方法包含如下步骤：图像获取步骤，其获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且各帧具有第1图像及第2图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像；像素值计算步骤，根据多个帧中的第1图像及第2图像，在各帧中按每个微小区域计算第1图像的像素值与第2图像的像素值之和；比例或差计算步骤，计算在多个帧中微小区域的第1图像的像素值与第2图像的像素值之和成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差；存储步骤，存储通过比例或差计算步骤计算出的比例或差；水质数据计算步骤，根据通过存储步骤存储的比例或差，计算水质检查对象的水质数据；及水质分布图像生成步骤，根据通过水质数据计算步骤计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
作为本发明的另一方式的图像处理方法包含如下步骤：图像获取步骤，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且各帧具有第1图像、第2图像及第3图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像，第3图像为基于包含第1波段及第2波段的第3波段的图像；像素值获取步骤，根据多个帧的第3图像，获取与构成各第3图像的微小区域对应的像素值；比例或差计算步骤，计算在多个帧中微小区域的像素值成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差；存储步骤，存储通过比例或差计算步骤计算出的比例或差；水质数据计算步骤，根据通过存储步骤存储的比例或差，计算水质检查对象的水质数据；及水质分布图像生成步骤，根据通过水质数据计算步骤计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
优选包含人工产生波浪的造波步骤。
根据本方式，通过造波步骤人工产生波浪，因此即使在获取没有自然波浪的水面的图像时，也能够生成水面的反射光的影响得到抑制的图像。
作为本发明的另一方式的程序使计算机执行包含如下步骤的图像处理工序：图像获取步骤，获取包含具有波浪的水面的相同场景的多个帧图像；亮度值计算步骤，根据多个帧图像计算与构成各帧图像的微小区域对应的亮度值；像素值提取步骤，提取多个帧图像中微小区域的亮度值比其他帧图像的微小区域的亮度值小的亮度值的帧图像的微小区域所对应的像素值；存储步骤，存储通过像素值提取步骤提取的像素值；及合成图像生成步骤，根据通过存储步骤存储的像素值生成与场景对应的合成图像。
作为本发明的另一方式的程序使计算机执行包含如下步骤的图像处工序：图像获取步骤，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且各帧具有第1图像及第2图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像；像素值计算步骤，根据多个帧中的第1图像及第2图像，在各帧中按每个微小区域计算第1图像的像素值与第2图像的像素值之和；比例或差计算步骤，计算在多个帧中微小区域的第1图像的像素值与第2图像的像素值之和成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差；存储步骤，存储通过比例或差计算步骤计算出的比例或差；水质数据计算步骤，根据通过存储步骤存储的比例或差，计算水质检查对象的水质数据；及水质分布图像生成步骤，根据通过水质数据计算步骤计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
作为本发明的另一方式的程序使计算机执行包含如下步骤的图像处理工序：图像获取步骤，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且各帧具有第1图像、第2图像及第3图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像，第3图像为基于包含第1波段及第2波段的第3波段的图像；像素值获取步骤，根据多个帧的第3图像，获取与构成各第3图像的微小区域对应的像素值；比例或差计算步骤，计算在多个帧中微小区域的像素值成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差；存储步骤，存储通过比例或差计算步骤计算出的比例或差；水质数据计算步骤，根据通过存储步骤存储的比例或差，计算水质检查对象的水质数据；及水质分布图像生成步骤，根据通过水质数据计算步骤计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。
发明效果
根据本发明，可生成在所拍摄的水面的大范围内抑制了反射光的影响的图像。
附图说明
图1是表示p偏振光及s偏振光的反射率的图。
图2是对将摄像装置设置于远程地点来拍摄水面时的水面的反射率的计算进行说明的图。
图3是表示水面的反射率的图。
图4是表示水面的反射率的图。
图5是表示摄像范围和反射率的图。
图6是表示摄像范围和反射率的图。
图7是概念性地示出包含具有波浪的水面的相同场景的摄像的图。
图8是对在水面有波浪时的光轴与水面法线所呈的角进行说明的图。
图9是表示摄像装置的实施方式的立体图。
图10是表示摄像装置的实施方式的后视图。
图11是表示摄像装置的内部结构的实施方式的框图。
图12是表示图像处理装置的功能框图的图。
图13是对像素值的提取进行说明的图。
图14是表示原图像和合成图像的概念图。
图15是表示没有波浪时的水面上的反射光的反射率和有波浪时的水面上的反射光的反射率的图。
图16是表示图像处理装置的动作的流程图。
图17是表示图像处理装置的功能框图的图。
图18是对第1图像的像素与第2图像的像素的比例或差的计算进行说明的图。
图19是表示图像处理装置的动作的流程图。
图20是示意地表示摄像装置的框结构的一例的图。
图21是从光轴方向观察受光元件组的示意图。
图22是图21(a)的虚线A-A上的剖视图。
图23是图21(a)的虚线A-A上的剖视图。
图24是表示图像处理装置的功能框图的图。
图25是对比例或差计算部的计算进行说明的图。
图26是表示图像处理装置的动作的流程图。
图27是示意地表示摄像装置的框结构的一例的图。
图28是从光轴方向观察受光元件组的示意图。
图29是图28(a)的虚线A-A上的剖视图。
图30是图28(a)的虚线A-A上的剖视图。
具体实施方式
以下，根据附图对本发明所涉及的图像处理装置、摄像装置、图像处理方法及程序的优选实施方式进行说明。
一直以来，作为用于抑制水面的反射光的影响的技术，有时利用具备偏振滤光片的摄像装置拍摄水面。其利用水面上的反射光偏振为s偏振光和p偏振光的现象及p偏振光的反射率成为0(零)的布儒斯特(Brewster)角抑制反射光的影响。
图1是表示合成石英(n＝1.458)的p偏振光及s偏振光的反射率的图。s偏振光的反射率随着入射角变大而变大。相对于此，p偏振光中，在入射角从0至布儒斯特角(合成石英的情况下为57°)为止，反射率朝向0而逐渐减小，在布儒斯特角，反射率成为0，之后，随着入射角变大，反射率也变大。
另外，通常布儒斯特角由以下的式(1)表示。并且，水的折射率为1.33，因此布儒斯特角为53°。
[数式1]
Figure GDA0002246351980000101
θ5：布儒斯特角
n1、n2：折射率
例如，具备遮断s偏振光的偏振滤光片时，在布儒斯特角附近，p偏振光的反射率成为0，s偏振光被偏振滤光片遮断。由此，可获取水面上的反射光的影响得到抑制的摄像图像。
然而，光轴与水面法线所呈的角在布儒斯特角附近时，能够如上述那样抑制水面上的反射光的影响，但若光轴与水面法线所呈的角变得大于布儒斯特角，则p偏振光的成分变大，产生很难抑制反射光的影响的情况。即，若光轴与水面法线所呈的角变大，则即使是具备偏振滤光片的摄像装置，有时也很难拍摄反射光的影响得到抑制的包含水面的场景。在此，水面法线是指相对于与光轴交叉的水面的法线。
接着，对关于水面上的反射光的影响的具体例进行说明。
例如，在遥感领域中，有时用摄像装置拍摄水面(例如，海面、湖面、江面等)，并根据所获得的图像进行水质检查。此时，若来自水面的反射光的影响大，则无法获取水质检查对象的准确数据，很难进行水质检查。
图2是对将具备遮断s偏振光的偏振滤光片的摄像装置设置于远程地点来拍摄水面时的水面的反射率的计算进行说明的图。是将光轴与水面法线所呈的角度设为α，且在水面没有产生波浪的状态。
考虑摄像装置设置于高度h的位置，且光轴分别为R1、R2、R3及R4的情况。光轴为R1、R2、R3及R4时，拍摄从原点O远离距离d1、d2、d3及d4的水面。来自太阳的光S1以入射角α在d2的水面反射，成为反射光S3和透射光S2。反射光S3以反射角α反射，透射光S2以折射角β透射。
在入射角α、折射角β的情况下，通过以下的式(2)及式(3)计算p偏振光的反射率。另外，在图2中示出的情况下，考虑到了通过具备遮断s偏振光的偏振滤光片的摄像装置获取的摄像图像中的反射光的影响，因此考虑p偏振光的反射率。
[数式2]
Figure GDA0002246351980000111
[数式3]
Figure GDA0002246351980000112
Rp：p偏振光的反射率
n1、n2：折射率
图3及图4是表示将摄像装置设置于标高40m(图2的h＝40m)时的没有波浪的水面的反射率的图。另外，图4表示图3中的0m至160m为止的范围的放大图。并且，原点O表示设置摄像装置的地点的标高0m的位置。
如图3及图4所示，从设置摄像装置的位置拍摄正下方(0m)时，表面反射Rp为2％左右。s偏振光通过偏振滤光片的效果而被遮断，因此拍摄从原点远离45m的水面时，反射率成为零(参考图4)。
另一方面，若所拍摄的位置离原点的距离超过45m，则反射率逐渐增加。例如，远离约150m的水面上的反射率超过10％。并且，远离约240m的位置的反射率成为20％，远离约600m的位置的反射率成为50％。
在此，在通过利用摄像装置拍摄水面，并通过遥感进行水质检查时，通过获取反射率抑制在2％以下、优选抑制在1％以下的摄像图像，能够进行准确的遥感。
图5及图6是表示摄像范围和反射率的图。图5及图6中，从拍摄地点E拍摄作为摄影对象的池塘的水面W来进行遥感。
图5中，摄像装置10设置于标高40m的地点E来拍摄水面W。图5所示的情况下，从摄像装置10的设置位置拍摄正下方(0m)时，反射率为2％，在45m的范围中，入射光具有布儒斯特角且反射率成为0，在150m的范围中，反射率成为1％，在240m的范围中，反射率成为20％，在600m的范围中，反射率成为50％。若为了进行精度良好的水质检查，考虑将反射率抑制在2％以下、优选抑制在1％以下，则通过设置于标高40m的地点E的摄像装置10，仅能够在水面W的窄范围进行拍摄。
图6是表示将摄像装置10的设置位置的高度从标高40m增加至标高150m时所拍摄的图像的反射率的图。若将摄像装置的设置位置增加至标高150m，则反射率为1％以下的范围成为300m，能够拍摄水面W。
如图5及图6中示出，通过增加相机的设置位置的高度，能够扩大水面上的反射光的影响得到有效抑制的摄像范围(例如，反射率为2％以下、优选为1％以下的范围)。然而，若增加摄像装置的设置位置的高度则施工费用增加，有可能有损设置位置附近的景观，或有可能产生摄像装置的保养变得更困难等问题。并且，即使在通过具备摄像装置的无人驾驶飞行器(例如，无人机)拍摄湖面时，也有可能产生若高度变高则运用成本变高、或无法增加拍摄频度、或在恶劣天气时无法飞行等问题。
因此，本申请提出一种无需增加设置摄像装置的位置的高度就获取有效地抑制了反射光的影响的图像的方法。
图7是概念性地示出本发明所适用的包含具有波浪的水面的相同场景的拍摄的图。
摄像装置10通过三脚架11设置于岸C的定点。并且，摄像装置10的光轴L朝向水面W，从岸C拍摄水面W。即，通过固定于定点的摄像装置10拍摄包含具有波浪的水面W的相同场景。
来自太阳的光入射于水面W，被水面W的表面反射。在水面W产生有波浪，太阳光的入射角及反射角也随着基于波浪的水面的变化而发生变化。
摄像装置10在一定时间内进行相同场景的拍摄。具体而言，摄像装置10通过动态图像模式，以固定于三脚架11的状态获取多个帧(帧图像)。
在此，一定时间根据后面说明的图像处理装置500(图12)的性能和用户所需的画质而改变。例如，摄像装置10进行10秒以上且120秒以下的拍摄，优选进行20秒以上且100秒以下的拍摄。并且，摄像装置10的拍摄时间也可以根据可获得之后说明的图像处理装置500所生成的合成图像及水质分布图像的时间来确定。
图8是图7的F区域的放大图，是对在水面有波浪时的光轴与水面法线所呈的角进行说明的图。
在拍摄位置701及拍摄位置713，光轴L位于波浪的波谷，水面平坦。此时，光轴与水面法线所呈的角为α。并且，拍摄位置707为波的顶点(峰)，此时光轴与水面法线所呈的角也成为α。
在拍摄位置703及拍摄位置705，水面W由于波浪而倾斜，因此光轴与水面法线所呈的角成为(α-Δ)。另一方面，在越过波浪的顶点(拍摄位置707)的拍摄位置709及拍摄位置711，光轴与水面法线所呈的角成为(α+Δ)。如此，由于在水面W有波浪，光轴L与水面法线所呈的角度α发生变化。
在自然环境中，湖面、海面及江面等水面完全平坦的情况少，会产生波浪。在产生有波浪的水面，水面法线与光轴的角度发生变动，水面反射率与其联动而发生变动。如图8中示出的拍摄位置703及拍摄位置705，在水面向正前方侧倾斜的瞬间或拍摄位置，波浪引起的水面W的形状变化向水面与相机光轴的角度不超过布儒斯特角的方向发挥作用。因此，若良好地仅提取光轴与水面法线处在布儒斯特角或在布儒斯特角附近的瞬间来拍摄水中的观察对象物，则不易受到水面反射光的影响。尤其，波浪引起的水面法线的倾斜度大而光轴与水面法线所呈的角为布儒斯特角以下的瞬间的摄像图像中，能够最大限度地发挥偏振滤光片的效果，能够不被水面反射光影响(观察对象的光不会被埋在反射光中)而观察及拍摄水中的对象物。
观察对象的所有范围并不会同时满足上述适当条件。因此，拍摄大量的像，并通过图像处理选择适当的帧和位置。即，越接近布儒斯特角的条件，水面反射成分越减少，因此在一定时间内对水面的相同位置进行观察及比较，第1实施方式中，将亮度值变得最低的情况判断为最接近布儒斯特角的条件。并且，第2实施方式中，将第1图像的像素值与第2图像的像素值之和成为最小的情况判断为最接近布儒斯特角的条件，第3实施方式中，将第3图像的像素值成为最小的情况判断为最接近布儒斯特角的条件。并且，对观察画面的所有微小区域(像素)实施该处理。另外，波浪可以是自然波浪，也可以是用造波机等产生的人工波浪。产生人工波浪时，优选产生摄像装置10的设置位置(设置位置与水面的接点)成为波浪所形成的同心圆的中心的同心圆状的波浪。通过以摄像装置10的设置位置为中心来产生同心圆状的波浪，若波浪的倾斜方向(水面法线的方向)朝向摄像装置10，则能够更有效地抑制反射的影响。
图9及图10是分别表示本发明的摄像装置10的实施方式的立体图及后视图。该摄像装置10是用摄像元件接收通过透镜的光并转换为数字信号，作为静态图像或动态图像的图像数据而记录于记录介质的数码相机或数码摄像机。
如图9所示，摄像装置10中，在其正面配设有摄影透镜(光学系统)12、闪光灯1等，在上表面配设有快门按钮2、电源/模式开关3、模式转盘4等。另一方面，图10所示，在相机背面配设有液晶显示器(LCD：Liquid Crystal Display)30、变焦按钮5、十字按钮6、菜单/确认(MENU/OK)按钮7、播放按钮8、返回(BACK)按钮9等。
摄影透镜12由伸缩式变焦透镜构成，通过电源/模式开关3将相机的模式设定为摄影模式，由此从相机主体伸出。闪光灯1朝向主要被摄体照射闪光灯光。
快门按钮2由所谓的包括“半按(S1 ON)”及“全按(S2 ON)”的二级行程开关构成，作为摄影准备指示部而发挥功能，并且作为图像的记录指示部而发挥功能。
若作为摄影模式选择动态图像摄影模式，且快门按钮2被“全按”，则摄像装置10开始动态图像的录像，若快门按钮2再次被“全按”，则摄像装置10停止录像而成为待机状态。并且，选择了动态图像摄影模式时，通过经由透镜驱动部36进行自动调焦来连续进行调焦，且通过经由快门驱动部33及光圈驱动部34进行自动曝光控制来进行曝光控制。
若作为摄影模式选择静态图像摄影模式，且快门按钮2被“半按”，则摄像装置10进行执行AF(自动对焦，Autofocus)和/或AE(自动曝光，Automatic Exposure)控制的摄影准备动作，若快门按钮2被“全按”，则摄像装置10进行静态图像的拍摄及记录。
电源/模式开关3兼具作为开/关(ON/OFF)摄像装置10的电源的电源开关的功能和作为设定摄像装置10的模式的模式开关的功能，配设成在“关闭(OFF)位置”、“播放位置”及“摄影位置”之间滑动自如。摄像装置10使电源/模式开关3滑动来对位于“播放位置”或“摄影位置”，由此电源打开(ON)，通过对位于“关闭(OFF)位置”，电源关闭。并且，通过使电源/模式开关3滑动来对位于“播放位置”，设定为“播放模式”，通过对位于“摄影位置”，设定为“摄影模式”。
模式转盘4作为设定摄像装置10的摄影模式的摄影模式设定机构而发挥功能，通过该模式转盘4的设定位置，摄像装置10的摄影模式设定为各种模式。例如为进行静态图像摄影的“静态图像摄影模式”、进行动态图像摄影的“动态图像摄影模式”等。本发明中的多个帧图像例如通过动态图像摄影模式获取。
液晶显示器30进行摄影模式时的即时预览图像(实时取景图像)的显示、播放模式时的静态图像或动态图像的显示，并且进行菜单画面的显示等，由此作为图形用户界面(GUI)的一部分而发挥功能。
变焦按钮5作为指示变焦的变焦指示机构而发挥功能，且由指示向长焦侧变焦的长焦按钮5T及指示向广角侧变焦的广角按钮5W构成。摄像装置10在摄影模式时，通过该长焦按钮5T和广角按钮5W被操作，摄影透镜12的焦距发生变化。并且，播放模式时，通过该长焦按钮5T和广角按钮5W被操作，播放中的图像放大、缩小。
十字按钮6为输入上下左右这4个方向的指示的多功能按钮，作为从菜单画面选择项目或指示从各菜单选择各种设定项目的按钮(光标移动操作机构)而发挥功能。左/右键作为播放模式时的帧传送(正向/反向传送)按钮而发挥功能。
菜单/确认按钮7为兼具作为菜单按钮的功能和作为确认按钮的功能的操作按钮，所述菜单按钮用于执行在液晶显示器30的画面上显示菜单的指令，所述确认按钮发出选择内容的确定及执行等的指令。
播放按钮8为用于切换为将已摄影记录的静态图像或动态图像显示于液晶显示器30的播放模式的按钮。
返回按钮9作为指示取消输入操作或返回前一个操作状态的按钮而发挥功能。
图11是表示摄像装置10的内部结构的实施方式的框图。该摄像装置10将所拍摄的图像记录于存储卡54，整个装置的动作通过中央处理装置(CPU)40综合控制。
在摄像装置10中设置有前述的快门按钮2、电源/模式开关3、模式转盘4、长焦按钮5T、广角按钮5W、十字按钮6、菜单/确认按钮7、播放按钮8、返回按钮9等操作部38。来自该操作部38的信号输入至CPU40，CPU40根据输入信号控制摄像装置10的各电路，例如，进行摄像元件(图像传感器)16的驱动控制(传感器驱动部32)、透镜驱动控制(透镜驱动部36)、光圈驱动控制(光圈控制部34)、摄影动作控制、图像处理控制、图像数据的记录/播放控制、液晶显示器30的显示控制等。
若通过电源/模式开关3打开摄像装置10的电源，则从未图示的电源部向各块进行供电，开始摄像装置10的驱动。
透过摄影透镜12、光圈14、机械快门(mechanical shutter)15等的光束成像于作为CMOS(互补金属氧化物半导体，Complementary Metal-Oxide Semiconductor)型彩色图像传感器的摄像元件16。另外，摄像元件16并不限于CMOS型，也可以是XY地址型或CCD(电荷耦合元件，Charge Coupled Device)型彩色图像传感器。
并且，在摄影透镜12的前方设置有偏振滤光片13。偏振滤光片13使作为拍摄对象的包含具有波浪的水面的相同场景的光束通过。偏振滤光片13至少具有遮断被水面反射的s偏振光的功能。
摄像元件16由以规定的图案排列(拜耳排列)配置成矩阵状的多个像素构成，各像素包含微透镜、红色(R)、绿色(G)或蓝色(B)的滤色器CF及光电二极管PD而构成。并且，摄像元件16也可以具备使后述的第1波段、第2波段或第3波段的光透射的滤波器。
CPU40在动态图像的拍摄和/或记录(录像)中及即时预览图像的拍摄和/或显示中，始终进行AF动作及AE动作。
并且，ROM47为存储有相机控制程序、摄像元件16的缺陷信息、图像处理等中使用的各种参数或表的ROM(只读存储器，Read Only Memory)或EEPROM(电可擦可编程只读存储器，Electrically Erasable Programmable Read-Only Memory)。
拍摄动态图像或静态图像时从摄像元件16输出的RGB的图像数据(马赛克图像数据)从图像输入控制器22输入至存储器(SDRAM：同步动态随机存取存储器，SynchronousDynamic Random Access Memory)48并暂时存储。
暂时存储于存储器48的图像数据通过图像处理部24适当读出，在此，进行偏移处理、包含白平衡校正及灵敏度校正的增益控制处理、伽马校正处理、去马赛克处理(颜色插值处理)、RGB和/或YC转换处理等信号处理。
通过图像处理部24进行了处理的图像数据输入至VRAM(图像随机存储器，VideoRAM)50。VRAM50中包含分别记录表示1帧量的图像的图像数据的A区域及B区域。VRAM50中，表示1帧量的图像的图像数据在A区域和B区域交替改写。VRAM50的A区域及B区域中，从除了图像数据被改写的一侧的区域以外的区域读出所写入的图像数据。
从VRAM50读出的图像数据在视频编码器28中被编码，并输出至设置于相机背面的液晶显示器30，由此即时预览图像连续显示于液晶显示器30的显示画面上。
压缩/扩展处理部26对在记录动态图像或静态图像时由图像处理部24进行了处理并暂时存储于存储器48的亮度数据Y及色差数据Cb、Cr实施压缩处理。在动态图像的情况下，例如以H.264形式进行压缩，在静态图像的情况下，例如以JPEG(联合图像专家组，JointPhotographic Experts Group)形式进行压缩。通过压缩/扩展处理部26压缩的压缩图像数据经由介质控制器52记录于存储卡54。
并且，在播放模式时，压缩/扩展处理部26对经由介质控制器52从存储卡54获得的压缩图像数据实施扩展处理。介质控制器52进行压缩图像数据对存储卡54的记录及读出等。
[第1实施方式]
图12是表示本发明的图像处理装置500的功能框图的图。
图像处理装置500具备图像获取部501、亮度值计算部503、像素值提取部505、存储部507及合成图像生成部509。另外，图像处理装置500例如设置在摄像装置10中。并且，图像处理装置500例如可以设置于计算机，该情况下，用相机(例如，摄像装置10)拍摄的多个帧图像输入至计算机。
图像获取部501获取包含具有波浪的水面的相同场景的多个帧图像。例如，图像获取部501获取通过图像处理部24进行了信号处理之后的帧图像的图像数据。图像获取部501例如通过图像处理部24实现。
亮度值计算部503根据多个帧图像，计算与构成各帧图像的微小区域对应的亮度值。亮度值计算部503例如由图像处理部24实现，计算各帧图像的亮度值。在此，微小区域是指帧图像中的区域，可采用各种范围的区域。例如，微小区域为构成帧图像的1个像素的区域。
像素值提取部505提取多个帧图像中微小区域的亮度值比其他帧图像的微小区域的亮度值小的亮度值的帧图像的微小区域所对应的像素值。作为优选方式，提取在多个帧图像中微小区域的亮度值成为最小时的微小区域所对应的像素值。即，像素值提取部505获取各帧图像的微小区域的亮度值，在多个帧图像之间比较相同位置的亮度值，提取亮度值成为最小时的微小区域的像素值。另外，此时的像素值例如为与像素的颜色相关的信息。
存储部507存储通过像素值提取部505提取的像素值。存储部507例如通过存储器48实现。依次存储由像素值提取部505提取的亮度值成为最小时的微小区域的像素值。
合成图像生成部509根据存储于存储部507的像素值，生成与场景对应的合成图像。合成图像生成部509例如通过视频编码器28实现。
图13是对像素值提取部505的像素值的提取进行说明的图。另外，图13中，为了说明，作为多个帧图像示出了5张帧图像，但实际上通过图像获取部501获取更多的帧图像。并且，在图13中，示意地示出了由4×5个像素构成的帧图像，但实际上帧图像由更多的像素构成。
图像获取部501获取拍摄有相同场景的第1帧图像601、第2帧图像603、第3帧图像605、第4帧图像607及第5帧图像609。
并且，亮度值计算部503计算位于第1帧图像601的位置P的像素的亮度值。并且，将位于第1帧图像601的位置P的像素的亮度值作为初始值而存储于存储部507。之后，依次计算位于第2帧图像603、第3帧图像605、第4帧图像607及第5帧图像609的位置P的像素的亮度值。另外，各帧图像中的位置P表示相同的位置。
通过亮度值计算部503依次计算像素值，并且通过像素值提取部505提取位置P的像素的亮度值成为最小时的帧图像的像素值。在图13所示的情况下，像素值提取部505例如判定第5帧图像609的位置P上的亮度值成为最小的情况，提取第5帧图像609的位置P上的像素值。所提取的像素值通过存储部507存储。
图14是表示原图像和由合成图像生成部509生成的合成图像的概念图。图14(A)中示出有原图像，图14(B)中示出有合成图像，2个图像中拍摄有相同场景。原图像为进行了通常的图像处理的图像，水面上的反射光的影响并未得到抑制。如原图像，若水面上的反射光的影响大，则来自水中的观察对象物的光被埋在水面上的反射光中，无法进行适当的观察。另一方面，合成图像中，提取在各帧图像中的最小的亮度值时的像素值并由该提取的像素值构成合成图像，因此水面上的反射光的影响得到抑制，能够适当地捕捉来自水中的观察对象物的光。
图15是表示没有波浪时的水面上的反射光的反射率和有波浪时的水面上的反射光的反射率的图。另外，将具备偏振滤光片13的摄像装置10设置于标高30m的位置，从最大水面角度为15°且有波浪的水面获取的图像测量反射率。并且，测量反射率的图像根据通过合成图像生成部509生成的图像进行测量。
关于没有波浪时的水面上的反射光的反射率，在水平距离40m附近，反射率约成为0，但之后，随着水平距离变长，反射率也变大。另一方面，关于有波浪时的水面上的反射光的反射率，即使水平距离变长，反射率也不会增大。如此，可知在合成图像中能够抑制反射光的影响的是有波浪的水面的情况。
图16是表示图像处理装置500的动作的流程图。
首先，水面上没有波浪时人工地产生波浪。例如，通过造波机在水面产生波浪(造波步骤：步骤S10)。之后，通过摄像装置10拍摄包含具有波浪的水面的相同场景(步骤S11)。并且，通过图像获取部501获取拍摄有包含具有波浪的水面的相同场景的多个帧图像(图像获取步骤：步骤S12)。
接着，通过亮度值计算部503计算微小区域中的亮度值(亮度值计算步骤：步骤S13)。之后，通过像素值提取部505，提取在多个帧图像中微小区域的亮度值成为最小时的微小区域所对应的像素值(像素值提取步骤：步骤S14)。之后，所提取的像素存储于存储部507(存储步骤：步骤S15)。之后，合成图像生成部根据存储于存储部507的像素值，生成与所获取的相同场景对应的合成图像(合成图像生成步骤：步骤S16)。
上述实施方式中，执行各种处理的处理部(处理单元，processing unit)的硬件结构为如下示出的各种处理器(processor)。各种处理器中，包含执行软件(程序)来作为各种处理部而发挥功能的通用的处理器即CPU(中央处理单元，Central Processing Unit)、FPGA(现场可编程门阵列，Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(专用集成电路，Application Specific Integrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA、或者CPU40与FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第一，有如客户机及服务器等计算机为代表，由1个以上的CPU40和软件的组合构成1个处理器，该处理器作为多个处理部发挥功能的方式。第二，有如系统芯片(System On Chip：SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包含多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用上述各种处理器的1个以上来构成。
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(Circuitry)。
上述各结构及功能能够通过任意的硬件、软件或者两者的组合适当实现。例如，对使计算机执行上述处理步骤(处理步骤)的程序、记录有这种程序的计算机能够读取的记录介质(非暂时性记录介质)、或者能够安装这种程序的计算机也能够适用本发明。
[第2实施方式]
接着，对本发明的第2实施方式进行说明。
图17是表示本发明的图像处理装置500的功能框图的图。另外，对于图12中已经进行说明的事项，省略说明。
图像处理装置500具备图像获取部501、像素值计算部521、比例或差计算部523、存储部507、水质数据计算部525及水质分布图像生成部527。
图像获取部501获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像。图像获取部501获取如下图像，即，各帧具有第1图像及第2图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像。
像素值计算部521根据多个帧中的第1图像及第2图像，在各帧中按每个微小区域计算第1图像的像素值与第2图像的像素值之和。即，像素值计算部521计算各帧中的第1图像及第2图像之和。像素值计算部521通过图像处理部24实现。在此，第1图像及第2图像的像素值例如为摄像元件16中的输出值。
比例或差计算部523计算在多个帧中微小区域的第1图像的像素值与第2图像的像素值之和成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差。比例或差计算部523通过图像处理部24实现。
存储部507存储通过比例或差计算部523计算出的比例或差。
水质数据计算部525根据存储于存储部507的比例或差，计算水质检查对象的水质数据。水质数据计算部525通过公知的技术计算水质数据。
例如，水质数据计算部525在推断叶绿素a的浓度时，进行基于如下2个波长的带比法的推断。
[数式4]
Chl.a∝R(λi)/R(λj)…(4)
Chl.a：叶绿素α的浓度
R(λ)：波长λ的反射率
已知所使用的2个波长根据水域而不同，例如，在沿岸使用670nm和720nm。因此，通过将第1波段设为包含670nm的波段，将第2波段设为包含700nm的波段，能够通过摄像装置10进行叶绿素a的浓度的遥感。例如，第1波段为650nm以上且690nm以下的波段，第2波段为680nm以上且720nm以下的波段。
水质分布图像生成部527根据通过水质数据计算部525计算出的水质数据，生成表示水质检查对象的水质分布的水质分布图像。例如，水质分布图像生成部527生成表示所计算出的叶绿素a的浓度分布的浓度分布图像作为水质分布图像。并且，水质数据计算部525根据通过图像获取部501获取的第1图像及第2图像，计算叶绿素a的浓度作为水质检查对象的水质数据。
图18是对与图13同样的比例或差计算部523的计算进行说明的图。
图像获取部501获取与第1帧621、第2帧623、第3帧625、第4帧627及第5帧629对应的图像。并且，各帧由第1图像及第2图像构成。
像素值计算部521计算第1帧621的第1图像621A及第2图像621B的像素值之和。并且，第1图像621A及第2图像621B的像素值之和作为初始值而存储于存储部507。之后，像素值计算部521依次计算第2帧623的第1图像623A及第2图像623B的像素值之和、第3帧625的第1图像625A及第2图像625B的像素值之和、第4帧627的第1图像627A及第2图像627B的像素值之和及第5帧629的第1图像629A及第2图像629B的像素值之和。
比例或差计算部523在由像素值计算部521计算出的微小区域中的第1图像的像素值及第2图像的像素值之和成为最小时，计算微小区域的第1图像的像素值与第2图像的像素值的比例或差。
图19是表示图像处理装置500的动作的流程图。
首先，通过摄像装置10拍摄包含具有波浪的水面的相同场景。并且，通过图像获取部501获取拍摄有包含具有波浪的水面的相同场景的多个帧图像(步骤S20：图像获取步骤)。
接着，通过像素值计算部521，计算微小区域中的各帧的第1图像的像素值与第2图像的像素值之和(步骤S21：像素值计算步骤)。之后，通过比例或差计算部523，计算在多个帧图像中微小区域的像素值成为最小时的微小区域所对应的比例或差(步骤S22：比例或差计算步骤)。之后，计算出的比例或差存储于存储部507(步骤S23：存储步骤)。之后，通过水质数据计算部525根据存储于存储部507的比例或差，计算水质数据(步骤S24：水质数据计算步骤)，通过水质分布图像生成部527生成水质分布图像(步骤S25：水质分布图像生成步骤)。
图20是第2实施方式中使用的摄像装置10，示意地表示图示出主要部分的摄像装置10的框结构的一例的图。
摄像装置10具备摄影透镜12、摄像元件16及图像获取部501。
摄影透镜12为单一的摄像用的透镜系统，按入射的光所通过的每个区域具有不同的透射波长特性。摄影透镜12具备1个以上的透镜(成像透镜)100a及用于按成像透镜的每个入射区域而使透射波段不同的波长分离滤波器100b。
波长分离滤波器100b具有使第1波段的光透射的第1滤光器及使与第1波段不同的第2波段的光透射的第2滤光器。即，具有使第1波段的光透射的A滤波器100b-A(第1滤光器)及使第2波段的光透射的B滤波器100b-B(第2滤光器)。
在此，在透镜100a的射出光瞳120的光瞳区域122a(第1区域)中对应地配置有A滤波器100b-A，在光瞳区域122b(第2区域)中对应地设置有B滤波器100b-B。因此，通过摄影透镜12的被摄体光中，通过摄影透镜12的射出光瞳120的光瞳区域122a的光成为具有第1波段的光，通过光瞳区域122b的光成为具有第2波段的光。
另外，本实施方式的波长分离滤波器100b配置于透镜100a的光瞳面附近且在被摄体光的光路上的透镜100a的后段，但只要配置在与其光学等效的位置即可。并且，摄影透镜12只要在整个透镜系统中存在赋予不同的透射波长特性的光路即可，透射波长特性的差异也可以并不由特定滤光器的特定光学面提供。并且，也可以由波长分离滤波器100b一并具有透镜效果。
通过摄影透镜12的被摄体光入射于摄像元件16。摄像元件16分别分离并接收通过摄影透镜12的射出光瞳120的光瞳区域122a的光和通过光瞳区域122b的光。摄像元件16将基于分别分离并接收的光的信号作为图像信号而供给至图像获取部501。
图像获取部501分别获取经由第1滤光器接收的第1图像和经由第2滤光器接收的第2图像。即，图像获取部501根据图像信号分别获取波长不同的2个图像。
摄像元件(定向传感器)16具有由二维状排列的光电转换元件构成的多个像素。并且，摄像元件16中，对经由第1滤光器及第2滤光器入射的光束分别进行光瞳分割并选择性地接收。
摄像元件16具有多个微透镜152。微透镜152沿与光轴垂直的方向根据规定的规则配置。在各微透镜152分别配置有所对应的受光元件组161作为偏振光学要件。受光元件组161由多个受光元件162构成。
多个受光元件162使用MOS(金属氧化物半导体，Metal Oxide Semiconductor)或CMOS型摄像元件。除此以外，作为多个受光元件162，也可以使用CCD型摄像元件等固体摄像元件。
图21(a)是从光轴方向观察与微透镜152对应的受光元件组161的示意图。如该图所示，本实施方式中，与1个微透镜152对应而具备4个受光元件162-1a、162-1b、162-2a、162-2b配置成2行2列的受光元件组161。
另外，如图21(b)所示，关于与微透镜对应的受光元件组，也可以是配置有矩形状的受光元件1162-1及1162-2的受光元件组1161与微透镜152对应。
图22是图21(a)的虚线A-A上的剖视图。如该图所示，通过摄影透镜12的射出光瞳120的光瞳区域122a的光通过微透镜152被受光元件162-1a接收。在此虽省略图示，但通过光瞳区域122b的光通过微透镜152同样由受光元件162-1b接收。
并且，通过光瞳区域122b的光通过微透镜152被受光元件162-2a及162-2b接收。另外，该图所示的262是为了防止相邻像素之间的干扰而设置的遮光部。
如前述，通过光瞳区域122a的光为第1波段的光，通过光瞳区域122b的光为第2波段的光。因此，受光元件162-1a及162-1b接收第1波段的光，受光元件162-2a及162-2b接收第2波段的光。
如此，通过微透镜连结摄影透镜12的光瞳与多个受光元件162之间的成像关系，各个受光元件162所接收的光被限制为通过摄影透镜12的射出光瞳120中预先设定的光瞳区域122的光。
受光元件组161的各受光元件162将与受光量相应的强度的摄像信号输出至图像获取部501。图像获取部501根据多个受光元件162的摄像信号生成并获取被摄体的图像。具体而言，图像获取部501根据由受光元件组161供给的摄像信号生成表示不同波段的图像的图像信号。
本例中，图像获取部501根据接收通过光瞳区域122a的光的受光元件162-1a及162-1b的摄像信号生成第1波段的图像(第1图像)。并且，根据接收通过光瞳区域122b的光的受光元件162-2a及162-2b的摄像信号生成第2波段的图像(第2图像)。
本实施方式中，示出微透镜使通过射出光瞳的2个区域的光沿纵向入射于2个受光元件的例子。微透镜所指向的射出光瞳的2个区域与摄像光学系统的透射波长分别不同的各区域对应。因此，能够同时、独立且并行获得2个不同的波段的图像。因此，通过摄像装置10获取的2个图像成为具有相同光轴的图像。此时，多个微透镜152(微透镜阵列)作为光瞳分割部发挥功能。
并且，还能够与使多个受光元件162与微透镜152对应的方式不同地，使1个受光元件162与微透镜152对应来使遮光掩模作为光瞳分割部发挥功能。图23是对在与图22相同的剖视图中，使遮光掩模作为光瞳分割部发挥功能的情况进行说明的图。此时，针对1个微透镜152具备1个受光元件162，各受光元件162的一部分被遮光掩模2262-1及2262-2遮光。由此，通过摄影透镜12的射出光瞳120的光瞳区域122a的光通过微透镜152被受光元件162-1a接收。并且，通过光瞳区域122b的光通过微透镜152被受光元件162-2a及162-2b接收。
[第3实施方式]
接着，对本发明的第3实施方式进行说明。
图24是表示本发明的图像处理装置500的功能框图的图。另外，对于图17中已经进行说明的事项，省略说明。
图像处理装置500具备图像获取部501、像素值获取部531、比例或差计算部523、存储部507、水质数据计算部525及水质分布图像生成部527。
图像获取部501获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像。由图像获取部501获取的各帧具有第1图像、第2图像及第3图像，第1图像为基于第1波段的图像，第2图像为基于与第1波段不同的第2波段的图像，第3图像为基于包含第1波段及第2波段的第3波段的图像。例如，第3波段为可见光的波段。
像素值获取部531根据多个帧的第3图像，获取与构成各第3图像的微小区域对应的像素值。像素值获取部531通过图像处理部24实现。在此，第3图像的像素值例如为摄像元件16中的输出值。
比例或差计算部523计算在多个帧中微小区域的像素值成为最小时的微小区域所对应的第1图像的像素值与第2图像的像素值的比例或差。
图25是对与图13同样的比例或差计算部523的计算进行说明的图。
图像获取部501获取与第1帧621、第2帧623、第3帧625、第4帧627及第5帧629对应的图像。并且，各帧由第1图像、第2图像及第3图像构成。
像素值获取部531获取第1帧621的第3图像621C的像素值。并且，第1帧621的第3图像6216的像素值设定为初始值。之后，依次获取第2帧623的第3图像623C的像素值、第3帧625的第3图像625C的像素值、第4帧627的第3图像627C的像素值及第5帧629的第3图像629C的像素值。
比例或差计算部523在由像素值获取部531获取的微小区域中的第3图像的像素值成为最小时，计算微小区域的第1图像的像素值与第2图像的像素值的比例或差。例如，第3波段为可见光的波段时，可灵敏度良好地输出第3图像的像素值，因此可以计算更准确的定时的比例或差。
图26是表示图像处理装置500的动作的流程图。
首先，通过摄像装置10拍摄包含具有波浪的水面的相同场景。并且，通过图像获取部501获取拍摄有包含具有波浪的水面的相同场景的多个帧图像(步骤S30：图像获取步骤)。
接着，通过像素值获取部531获取微小区域中的第3图像的像素值(步骤S31：像素值获取步骤)。之后，通过比例或差计算部523，计算在多个帧图像中微小区域的像素值成为最小时的微小区域所对应的比例或差(步骤S32：比例或差计算步骤)。之后，计算出的比例或差存储于存储部507(步骤S33：存储步骤)。并且，通过水质数据计算部525根据存储于存储部507的比例或差，计算水质数据(步骤S34：水质数据计算步骤)，通过水质分布图像生成部527生成水质分布图像(步骤S35：水质分布图像生成步骤)。
图27是第3实施方式中使用的摄像装置10，示意地表示图示出主要部分的摄像装置10的框结构的一例的图。
图27是示意地表示摄像装置10的框结构的一例的图。摄像装置10具备摄影透镜12、摄像元件16及图像获取部501。
摄影透镜12为单一的摄像用的透镜系统，按入射的光所通过的每个区域具有不同的透射波长特性。摄影透镜12具备1个以上的透镜100a及用于按成像透镜的每个入射区域而使透射波段不同的波长分离滤波器100b。
波长分离滤波器100b具有3个波段。即，具有使第3波段的光透射的C滤波器100b-C、使第2波段的光透射的B滤波器100b-B、使第1波段的光透射的A滤波器100b-A。
在此，在透镜100a的射出光瞳120的光瞳区域122a对应地配置有A滤波器100b-A，在光瞳区域122b对应地配置有B滤波器100b-B，在光瞳区域122c对应地配置有C滤波器100b-C。因此，通过摄影透镜12的被摄体光中，通过摄影透镜12的射出光瞳120的光瞳区域122a的光成为具有第1波段的光，通过光瞳区域122b的光成为具有第2波段的光，通过光瞳区域122c的光成为具有第3波段的光。
波长分离滤波器100b配置于透镜100a的光瞳面附近且在被摄体光的光路上配置于透镜100a的后段，但只要配置在与其光学等效的位置即可。并且，摄影透镜12只要在整个透镜系统中存在赋予不同的透射波长特性的光路即可，透射波长特性的差异也可以并不由特定滤光器的特定光学面提供。并且，也可以由波长分离滤波器100b一并具有透镜效果。
通过摄影透镜12的被摄体光入射于摄像元件16。摄像元件16分别分离并接收通过摄影透镜12的射出光瞳120的光瞳区域122a的光、通过光瞳区域122b的光及通过光瞳区域122c的光。摄像元件16将基于分别分离并接收的光的信号作为图像信号而供给至图像获取部501。图像获取部501根据该图像信号分别生成不同颜色的图像。
摄像元件16具有多个微透镜152。微透镜152沿与光轴垂直的方向根据规定的规则配置。在各微透镜152分别配置有所对应的受光元件组161作为偏振光学要件。受光元件组161由多个受光元件162构成。
多个受光元件162可以形成MOS型摄像元件。除了MOS型摄像元件以外，多个受光元件162也可以形成CCD型摄像元件等固体摄像元件。
图28(a)是从光轴方向观察与微透镜152对应的受光元件组161的示意图。如该图所示，本实施方式中，与1个微透镜152对应而具备9个受光元件162-1a、162-1b、162-1c、162-2a、162-2b、162-2c、162-3a、162-3b、162-3c配置成3行3列的受光元件组161。
另外，关于与微透镜对应的受光元件组，如图28(b)所示，也可以是配置有矩形状的受光元件1162-1、2、3的受光元件组1161与微透镜152对应，如图28(c)所示，也可以是配置有受光元件2162-1、2、3的受光元件组2161与纵长的微透镜对应。
图29是图28(a)的虚线A-A上的剖视图。如该图所示，通过摄影透镜12的射出光瞳120的光瞳区域122a的光通过微透镜152被受光元件162-1a接收，通过光瞳区域122b的光通过微透镜152被受光元件162-2a接收，通过光瞳区域122c的光通过微透镜152被受光元件162-3a接收。
另外，该图所示的262是为了防止相邻像素之间的干扰而设置的遮光部。
如前述，通过光瞳区域122a的光为第1波段的光，通过光瞳区域122b的光为第2波段的光，通过光瞳区域122c的光为第3波段的光。因此，受光元件162-1a、162-1b、162-1c接收第1波段的光，受光元件162-2a、162-2b、162-2c接收第2波段的光，受光元件162-3a、162-3b、162-3c接收第3波段的光。
如此，通过微透镜连结摄影透镜12的光瞳与多个受光元件162之间的成像关系，各个受光元件162所接收的光被限制为通过摄影透镜12的射出光瞳120中预先设定的光瞳区域122的光。
受光元件组161的各受光元件162将与受光量相应的强度的摄像信号输出至图像获取部501。图像获取部501根据多个受光元件162的摄像信号生成被摄体的图像。具体而言，图像获取部501根据由受光元件组161供给的摄像信号生成表示不同颜色的图像的图像信号。
本例中，图像获取部501根据接收通过光瞳区域122a的光的受光元件162-1a、162-1b、162-1c的摄像信号生成第1波段的图像(第1图像)。并且，根据接收通过光瞳区域122b的光的受光元件162-2a、162-2b、162-2c的摄像信号生成第2波段的图像(第2图像)。同样地，根据接收通过光瞳区域122c的光的受光元件162-3a、162-3b、162-3c的摄像信号生成第3波段的图像(第3图像)。
本实施方式中，示出微透镜使通过射出光瞳的3个区域的光沿纵向入射于3个受光元件的例子。微透镜所指向的射出光瞳的3个区域与摄像光学系统的透射波长分别不同的各区域对应。因此，能够同时、独立且并行获得3个不同的波段的图像。
图30是示意地示出受光单元的一例的图。本实施方式的摄像元件16中，与1个微透镜对应而具备1个受光元件。图30的例子中，与微透镜952a对应而配置有受光元件162a，与微透镜952b对应而配置有受光元件162b，与微透镜952c对应而配置有受光元件162c。
在各微透镜952入射有通过射出光瞳120的大致整面的光。微透镜952具有使各受光元件162接收通过射出光瞳120的一部分区域的光的大小的屈光力。因此，受光元件162能够受光的光束的大小被限制为通过射出光瞳120的一部分范围的大小。
本实施方式的摄像元件16中，微透镜952的光轴在与摄影透镜12的光轴垂直的面内相对于受光元件162的中心位置偏倚而设置。在此，受光元件162的中心位置设为由受光元件162接收并能够用于光电转换的光所通过的区域的中心位置。受光元件162的中心位置也可以是形成在位于受光元件162附近的遮光部262的受光开口的中心。
微透镜952中，为了使所对应的受光元件162接收通过预先设定的光瞳区域122的光，设计有各个偏倚量。通过微透镜952的屈光力及偏倚，受光元件162能够接收的光束被限制为通过射出光瞳120的一部分区域的光束。
本实施方式中，微透镜952a将受光元件162a能够通过受光开口接收的光被限制为通过光瞳区域122a的光。同样地，微透镜952b及c将所对应的受光元件162b及162c能够通过受光开口接收的光分别被限制为通过光瞳区域122b及c的光。
因此，受光元件162a接收第1波段的光，受光元件162b接收第2波段的光，受光元件162c接收第3波段的光。
如此，多个微透镜952中，为了使所对应的受光元件162接收分别通过预先设定的光瞳区域122的被摄体光，相对于受光元件162的受光开口偏倚而设置光轴。其结果，各受光元件162分别接收不同透射波段的光。图像获取部501能够根据各受光元件162的摄像信号获得第1图像、第2图像、第3图像。
以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，能够在不脱离本发明精神的范围内进行各种变形是理所当然的。
符号说明
1-闪光灯，2-快门按钮，3-电源/模式开关，4-模式转盘，5-变焦按钮，6-十字按钮，7-菜单/确认按钮，8-播放按钮，9-返回按钮，10-摄像装置，11-三脚架，12-摄影透镜，13-偏振滤光片，14-光圈，15-机械快门，16-摄像元件，22-图像输入控制器，24-图像处理部，26-压缩/扩展处理部，28-视频编码器，30-液晶显示器，38-操作部，40-CPU，47-ROM，48-存储器，50-VRAM，52-介质控制器，54-存储卡，500-图像处理装置，501-图像获取部，503-亮度值计算部，505-像素值提取部，507-存储部，509-合成图像生成部，521-像素值计算部，523-比例或差计算部，525-水质数据计算部，527-水质分布图像生成部，531-像素值获取部，步骤S10-步骤S16-图像处理方法的工序步骤，S20-步骤S25-图像处理方法的工序步骤，S30-步骤S35-图像处理方法的工序。

Claims (15)

1.一种图像处理装置，其具备：
图像获取部，其获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且所述多个帧中的每一帧具有第1图像及第2图像，所述第1图像为基于第1波段的图像，所述第2图像为基于与所述第1波段不同的第2波段的图像；
像素值计算部，根据所述多个帧中的所述第1图像及所述第2图像，在所述多个帧中的每一帧中按每个微小区域计算所述第1图像的像素值与所述第2图像的像素值之和；
比例或差计算部，计算在所述多个帧中所述微小区域的所述第1图像的像素值与所述第2图像的像素值之和成为最小时的所述微小区域所对应的所述第1图像的像素值与所述第2图像的像素值的比例或差；
存储部，存储通过所述比例或差计算部计算出的所述比例或所述差；
水质数据计算部，根据存储于所述存储部的所述比例或所述差，计算所述水质检查对象的水质数据；及
水质分布图像生成部，根据通过所述水质数据计算部计算出的所述水质数据，生成表示所述水质检查对象的水质分布的水质分布图像。
2.一种图像处理装置，其具备：
图像获取部，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且所述多个帧中的每一帧具有第1图像、第2图像及第3图像，所述第1图像为基于第1波段的图像，所述第2图像为基于与所述第1波段不同的第2波段的图像，所述第3图像为基于包含所述第1波段及所述第2波段的第3波段的图像；
像素值获取部，根据所述多个帧的所述第3图像，获取与构成每个所述第3图像的微小区域对应的像素值；
比例或差计算部，计算在所述多个帧中所述微小区域的所述像素值成为最小时的所述微小区域所对应的所述第1图像的像素值与所述第2图像的像素值的比例或差；
存储部，存储通过所述比例或差计算部计算出的所述比例或所述差；
水质数据计算部，根据存储于所述存储部的所述比例或所述差，计算所述水质检查对象的水质数据；及
水质分布图像生成部，根据通过所述水质数据计算部计算出的所述水质数据，生成表示所述水质检查对象的水质分布的水质分布图像。
3.根据权利要求1或2所述的图像处理装置，其中，
所述第1波段为包含670nm的波段，所述第2波段为包含700nm的波段，
所述水质数据计算部根据通过所述图像获取部获取的所述第1图像及所述第2图像，计算叶绿素a的浓度作为所述水质检查对象的水质数据，
所述水质分布图像生成部生成表示所述计算出的叶绿素a的浓度分布的浓度分布图像作为所述水质分布图像。
4.根据权利要求2所述的图像处理装置，其中，
所述第3波段为可见光的波段。
5.根据权利要求1或2所述的图像处理装置，其中，
所述微小区域为1个像素的区域。
6.根据权利要求1或2所述的图像处理装置，其中，
所述波浪为人工产生的波浪。
7.一种摄像装置，其具备权利要求1所述的图像处理装置，所述摄像装置具备：
摄像光学系统，具有成像透镜、以及分别与所述成像透镜的第1区域及第2区域对应的第1滤光器及第2滤光器，所述第1滤光器使所述第1波段的光透射，所述第2滤光器使所述第2波段的光透射；及
定向传感器，具有由二维状排列的光电转换元件构成的多个像素，且对经由所述摄像光学系统的所述第1滤光器及所述第2滤光器入射的光束分别进行光瞳分割并选择性地接收。
8.一种摄像装置，其具备权利要求2所述的图像处理装置，所述摄像装置具备：
摄像光学系统，具有成像透镜、以及分别与所述成像透镜的第1区域、第2区域及第3区域对应的第1滤光器、第2滤光器及第3滤光器，所述第1滤光器使所述第1波段的光透射，所述第2滤光器使所述第2波段的光透射，所述第3滤光器使所述第3波段的光透射；及
定向传感器，具有由二维状排列的光电转换元件构成的多个像素，且对经由所述摄像光学系统的所述第1滤光器、所述第2滤光器及所述第3滤光器入射的光束分别进行光瞳分割并选择性地接收。
9.根据权利要求7或8所述的摄像装置，其中，
固定于定点来拍摄包含具有所述波浪的水面的相同场景。
10.根据权利要求7或8所述的摄像装置，其中，
该摄像装置具备：
偏振滤光片，使包含具有所述波浪的水面的相同场景的光束通过。
11.一种图像处理方法，其包含如下步骤：
图像获取步骤，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且所述多个帧中的每一帧具有第1图像及第2图像，所述第1图像为基于第1波段的图像，所述第2图像为基于与所述第1波段不同的第2波段的图像；
像素值计算步骤，根据所述多个帧中的所述第1图像及所述第2图像，在所述多个帧中的每一帧中按每个微小区域计算所述第1图像的像素值与所述第2图像的像素值之和；
比例或差计算步骤，计算在所述多个帧中所述微小区域的所述第1图像的像素值与所述第2图像的像素值之和成为最小时的所述微小区域所对应的所述第1图像的像素值与所述第2图像的像素值的比例或差；
存储步骤，存储通过所述比例或差计算步骤计算出的所述比例或所述差；
水质数据计算步骤，根据通过所述存储步骤存储的所述比例或所述差，计算所述水质检查对象的水质数据；及
水质分布图像生成步骤，根据通过所述水质数据计算步骤计算出的所述水质数据，生成表示所述水质检查对象的水质分布的水质分布图像。
12.一种图像处理方法，其包含如下步骤：
图像获取步骤，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且所述多个帧中的每一帧具有第1图像、第2图像及第3图像，所述第1图像为基于第1波段的图像，所述第2图像为基于与所述第1波段不同的第2波段的图像，所述第3图像为基于包含所述第1波段及所述第2波段的第3波段的图像；
像素值获取步骤，根据所述多个帧的所述第3图像，获取与构成每个所述第3图像的微小区域对应的像素值；
比例或差计算步骤，计算在所述多个帧中所述微小区域的所述像素值成为最小时的所述微小区域所对应的所述第1图像的像素值与所述第2图像的像素值的比例或差；
存储步骤，存储通过所述比例或差计算步骤计算出的所述比例或所述差；
水质数据计算步骤，根据通过所述存储步骤存储的所述比例或所述差，计算所述水质检查对象的水质数据；及
水质分布图像生成步骤，根据通过所述水质数据计算步骤计算出的所述水质数据，生成表示所述水质检查对象的水质分布的水质分布图像。
13.根据权利要求11或12所述的图像处理方法，其中，
该图像处理方法包含人工产生所述波浪的造波步骤。
14.一种计算机可读的记录介质，记录有程序，该程序使计算机执行包含如下步骤的图像处理工序：
图像获取步骤，其获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且所述多个帧中的每一帧具有第1图像及第2图像，所述第1图像为基于第1波段的图像，所述第2图像为基于与所述第1波段不同的第2波段的图像；
像素值计算步骤，根据所述多个帧中的所述第1图像及所述第2图像，在所述多个帧中的每一帧中按每个微小区域计算所述第1图像的像素值与所述第2图像的像素值之和；
比例或差计算步骤，计算在所述多个帧中所述微小区域的所述第1图像的像素值与所述第2图像的像素值之和成为最小时的所述微小区域所对应的所述第1图像的像素值与所述第2图像的像素值的比例或差；
存储步骤，存储通过所述比例或差计算步骤计算出的所述比例或所述差；
水质数据计算步骤，根据通过所述存储步骤存储的所述比例或所述差，计算所述水质检查对象的水质数据；及
水质分布图像生成步骤，根据通过所述水质数据计算步骤计算出的所述水质数据，生成表示所述水质检查对象的水质分布的水质分布图像。
15.一种计算机可读的记录介质，记录有程序，该程序使计算机执行包含如下步骤的图像处理工序：
图像获取步骤，获取与拍摄有包含具有波浪的水面的水质检查对象的相同场景的多个帧对应的图像，且所述多个帧中的每一帧具有第1图像、第2图像及第3图像，所述第1图像为基于第1波段的图像，所述第2图像为基于与所述第1波段不同的第2波段的图像，所述第3图像为基于包含所述第1波段及所述第2波段的第3波段的图像；
像素值获取步骤，根据所述多个帧的所述第3图像，获取与构成每个所述第3图像的微小区域对应的像素值；
比例或差计算步骤，计算在所述多个帧中所述微小区域的所述像素值成为最小时的所述微小区域所对应的所述第1图像的像素值与所述第2图像的像素值的比例或差；
存储步骤，存储通过所述比例或差计算步骤计算出的所述比例或所述差；
水质数据计算步骤，根据通过所述存储步骤存储的所述比例或所述差，计算所述水质检查对象的水质数据；及
水质分布图像生成步骤，根据通过所述水质数据计算步骤计算出的所述水质数据，生成表示所述水质检查对象的水质分布的水质分布图像。
CN201880027303.9A 2017-04-25 2018-04-04 图像处理装置、摄像装置、图像处理方法及程序 Active CN110574360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011206996.3A CN112383707B (zh) 2017-04-25 2018-04-04 图像处理装置、摄像装置、图像处理方法及记录介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017086452 2017-04-25
JP2017-086452 2017-04-25
PCT/JP2018/014349 WO2018198693A1 (ja) 2017-04-25 2018-04-04 画像処理装置、撮像装置、画像処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011206996.3A Division CN112383707B (zh) 2017-04-25 2018-04-04 图像处理装置、摄像装置、图像处理方法及记录介质

Publications (2)

Publication Number Publication Date
CN110574360A CN110574360A (zh) 2019-12-13
CN110574360B true CN110574360B (zh) 2020-12-29

Family

ID=63918979

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011206996.3A Active CN112383707B (zh) 2017-04-25 2018-04-04 图像处理装置、摄像装置、图像处理方法及记录介质
CN201880027303.9A Active CN110574360B (zh) 2017-04-25 2018-04-04 图像处理装置、摄像装置、图像处理方法及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011206996.3A Active CN112383707B (zh) 2017-04-25 2018-04-04 图像处理装置、摄像装置、图像处理方法及记录介质

Country Status (5)

Country Link
US (1) US11297228B2 (zh)
EP (1) EP3618419B1 (zh)
JP (1) JP6712362B2 (zh)
CN (2) CN112383707B (zh)
WO (1) WO2018198693A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333199B2 (ja) * 2019-05-29 2023-08-24 株式会社日立ハイテクソリューションズ 濁度計、及び濁度色度計
CN111586294A (zh) * 2020-04-24 2020-08-25 山东易华录信息技术有限公司 一种根据海水折射反射率影响进行水下成像方法及装置
JP2022190236A (ja) * 2021-06-14 2022-12-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN115631432B (zh) * 2022-10-13 2023-09-01 长春理工大学 一种海面目标搜寻装置以及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086720A (ja) * 2005-08-23 2007-04-05 Photonic Lattice Inc 偏光イメージング装置
JP2014074838A (ja) * 2012-10-05 2014-04-24 Xacti Corp 撮像装置
CN105046708A (zh) * 2015-07-14 2015-11-11 福州大学 一种与主观感知相一致的颜色校正客观评估方法
JP2015213234A (ja) * 2014-05-02 2015-11-26 日本放送協会 疑似ｈｄｒ画像推定装置及び方法
CN106022341A (zh) * 2016-05-03 2016-10-12 浙江海洋大学 高分辨率光学遥感图像灾后水体信息提取方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830765A (ja) * 1994-07-14 1996-02-02 Toyo Constr Co Ltd 水域モニタリングシステム
JPH10145668A (ja) 1996-11-14 1998-05-29 Nikon Corp 偏光フィルタ制御機構
US5805106A (en) * 1997-01-03 1998-09-08 Trw Inc. Dual polarization wave clutter reduction
US20050018882A1 (en) * 2003-06-30 2005-01-27 Iowa University Research Foundation Controlled surface wave image velocimetry
JP2006284525A (ja) * 2005-04-05 2006-10-19 Port & Airport Research Institute 砕水画像を用いた水質推定方法、及び砕水画像処理式水質推定システム
WO2009149428A1 (en) * 2008-06-05 2009-12-10 Hawkeye Systems, Inc. Above-water monitoring of swimming pools
US8073279B2 (en) * 2008-07-08 2011-12-06 Harris Corporation Automated atmospheric characterization of remotely sensed multi-spectral imagery
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
JP2015115922A (ja) * 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP6460721B2 (ja) * 2014-10-22 2019-01-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置
US11087486B2 (en) * 2016-05-18 2021-08-10 Panasonic Intellectual Property Management Co., Ltd. Lane specification method and lane specification device
US10812735B2 (en) * 2016-11-15 2020-10-20 Sony Corporation Image processing device and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086720A (ja) * 2005-08-23 2007-04-05 Photonic Lattice Inc 偏光イメージング装置
JP2014074838A (ja) * 2012-10-05 2014-04-24 Xacti Corp 撮像装置
JP2015213234A (ja) * 2014-05-02 2015-11-26 日本放送協会 疑似ｈｄｒ画像推定装置及び方法
CN105046708A (zh) * 2015-07-14 2015-11-11 福州大学 一种与主观感知相一致的颜色校正客观评估方法
CN106022341A (zh) * 2016-05-03 2016-10-12 浙江海洋大学 高分辨率光学遥感图像灾后水体信息提取方法及系统

Also Published As

Publication number Publication date
EP3618419A1 (en) 2020-03-04
JPWO2018198693A1 (ja) 2020-02-20
WO2018198693A1 (ja) 2018-11-01
CN112383707B (zh) 2022-04-15
EP3618419A4 (en) 2021-01-13
US20200043203A1 (en) 2020-02-06
EP3618419B1 (en) 2023-10-04
JP6712362B2 (ja) 2020-06-17
CN110574360A (zh) 2019-12-13
CN112383707A (zh) 2021-02-19
US11297228B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110574360B (zh) 图像处理装置、摄像装置、图像处理方法及程序
JP5066851B2 (ja) 撮像装置
JP5173954B2 (ja) 画像処理装置及び画像処理方法
US8634015B2 (en) Image capturing apparatus and method and program for controlling same
JP5168798B2 (ja) 焦点調節装置および撮像装置
US9258545B2 (en) Stereoscopic imaging apparatus
US7515818B2 (en) Image capturing apparatus
KR101266570B1 (ko) 거리 측정 및 측광 장치, 및 촬상 장치
JP2010268052A (ja) 撮像装置
JP2007233034A (ja) 撮像装置
JP4983271B2 (ja) 撮像装置
JP4858179B2 (ja) 焦点検出装置および撮像装置
JP2008026353A (ja) 偏光方向検出装置とこれを有する撮像装置
JP2016213819A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5348258B2 (ja) 撮像装置
JP2007140176A (ja) 電子カメラ
JP2014130231A (ja) 撮像装置、その制御方法、および制御プログラム
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP5793210B2 (ja) 撮像装置
JP5352003B2 (ja) 画像処理装置及び画像処理方法
JPH10164413A (ja) 撮像装置
JP2007065555A (ja) 撮像装置
JP6638714B2 (ja) 焦点検出装置
JP6270601B2 (ja) 撮像装置およびその制御方法、撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant