JP2018029251A - 検査装置、検査方法、およびプログラム - Google Patents

検査装置、検査方法、およびプログラム Download PDF

Info

Publication number
JP2018029251A
JP2018029251A JP2016159854A JP2016159854A JP2018029251A JP 2018029251 A JP2018029251 A JP 2018029251A JP 2016159854 A JP2016159854 A JP 2016159854A JP 2016159854 A JP2016159854 A JP 2016159854A JP 2018029251 A JP2018029251 A JP 2018029251A
Authority
JP
Japan
Prior art keywords
detection
image
region
sensor elements
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016159854A
Other languages
English (en)
Other versions
JP6697681B2 (ja
JP2018029251A5 (ja
Inventor
均 三谷
Hitoshi Mitani
均 三谷
雅史 若園
Masafumi Wakazono
雅史 若園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016159854A priority Critical patent/JP6697681B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2017/028290 priority patent/WO2018034167A1/en
Priority to KR1020197003298A priority patent/KR20190039110A/ko
Priority to CN201780047672.XA priority patent/CN109565578B/zh
Priority to EP17826593.0A priority patent/EP3501169A1/en
Priority to US16/301,987 priority patent/US10893221B2/en
Publication of JP2018029251A publication Critical patent/JP2018029251A/ja
Publication of JP2018029251A5 publication Critical patent/JP2018029251A5/ja
Application granted granted Critical
Publication of JP6697681B2 publication Critical patent/JP6697681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3148—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using three or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

【課題】所望の検査を良好に行えるようにする。【解決手段】行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、波長域ごとに複数備え、複数のセンサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される。また、検出領域は、第１の方向に沿って細長い矩形形状に形成され、第１の方向に対して直交する第２の方向に沿って見たときに、検出される全ての波長域の検出領域が、少なくとも１カ所以上に配置される。本技術は、例えば、植生を検査する検査装置に適用できる。【選択図】図２

Description

本開示は、検査装置、検査方法、およびプログラムに関し、特に、所望の検査を良好に行うことができるようにした検査装置、検査方法、およびプログラムに関する。
従来、植物の分布状況や活性度を示す指標として、正規化植生指数（NDVI：Normalized Difference Vegetation Index）が利用されている。
例えば、リモートセンシングや精密農業の分野における用途では、近赤外光および赤色光の成分で分光して検査対象物を撮像することにより取得された画像を用いて農作物の育成状態を検査することが行われている。また、様々な偏光フィルタを画素ごとに配置した偏光イメージャを利用することで、偏光方向に応じた特徴を有する画像を取得することができる。なお、偏光イメージャは、受光面内の画素を複数の偏光方向に分けて、偏光方向ごとの画像を生成するため、解像度が低下（例えば、４つの偏光方向を用いた場合、解像度が１／４に低下）することになる。
例えば、特許文献１には、偏光子（画素ごとの偏光フィルタ）がアレイ状に配置された偏光子アレイを、アクチュエータによってピクセル単位でシフトさせて複数枚の画像を撮像し、それらの画像を処理することで解像度を保持する撮像装置が開示されている。
特許第４９３２９７８号
ところで、一般的に、移動しながら連続的に撮像した複数枚の画像をステッチすることにより、広範囲の画像を高解像度で取得する手法（Image stitchingと称される）が知られている。しかしながら、複数枚の画像をステッチして広範囲の画像を取得する手法と、上述の特許文献１で開示されている撮像装置を使用して解像度の維持を図る手法とを両立させることは困難であった。そこで、偏光イメージャを利用しても高解像度となるように広範囲の画像を取得することで、例えば、正規化植生指数を利用した植生の検査を良好に行えるようにすることが求められている。
本開示は、このような状況に鑑みてなされたものであり、所望の検査を良好に行うことができるようにするものである。
本開示の一側面の検査装置は、行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される。
本開示の一側面の検査方法およびプログラムは、行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される検査装置において、前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行うステップを含む。
本開示の一側面においては、行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域が、それらの波長域ごとに複数備えられており、複数のセンサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される。そして、センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理が行われる。
本開示の一側面によれば、所望の検査を良好に行うことができる。
本技術を適用した植生検査装置の一実施の形態の構成例を示すブロック図である。 検出装置における画素の配置の一例を示す図である。 広範囲の出力画像を生成する処理を説明する図である。 第１の画像処理部の構成例を示すブロック図である。 第２の画像処理部の構成例を示すブロック図である。 広範囲かつ高解像度の画像を取得する処理について説明するフローチャートである。 画素の最小検出領域の配置規則について説明する図である。 最小検出領域の他の配置規則に従った画素の配置例を示す図である。 検出装置の画素の配置の第１の変形例を示す図である。 検出装置の画素の配置の第２の変形例を示す図である。 検出装置の画素の配置の第３の変形例を示す図である。 検出装置の画素の配置の第４の変形例を示す図である。 植生検査装置の利用例を説明する図である。 植生検査装置の利用例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜植生検査装置の実施の形態＞
図１は、本技術を適用した植生検査装置の一実施の形態の構成例を示すブロック図である。
図１に示すように、植生検査装置１１は、検出装置１２および信号処理装置１３を備えて構成され、芝生や農作物などを検査対象物として、それらの植生の状態や活性度などの育成状況を検査することに利用される。
検出装置１２は、例えば、複数の画素（センサ素子）が行列状に受光面に配置されたイメージセンサであり、検査対象物の表面で反射された光の光量を画素ごとに検出することで、検査対象物の画像を取得することができる。また、検出装置１２は、それぞれの画素により、特定の波長域および偏光方向の光が検出されるように構成される。例えば、検出装置１２は、画素を構成するフォトダイオードが形成されるセンサ基板に対して、所定の偏光方向の光を透過する偏光フィルタ、および、所定の波長域の光を透過する光学フィルタが積層されて構成される。
例えば、図２に示すように、検出装置１２では、異なる偏光方向の光を検出する画素が隣接するように配置される。即ち、図２に示されている小さな正方形は画素を表しており、それぞれの画素に付されている数字が偏光方向の角度を示している。図２に示す例では、４５度ごとに偏光方向が設定されており、０度、４５度、９０度、および１３５度に偏光方向が設定されている４つの画素が、行×列が２×２となるように隣接して配置されている。そして、検出装置１２では、それらの４つの画素をセットとして、セットごとに配置される。なお、検出装置１２は、４方向の偏光方向の光を検出するのに限定されることはなく、少なくとも３方向の偏光方向の光が、隣接するように配置される３個の画素により検出されるように構成されていればよい。
また、例えば、検出装置１２では、同一の波長域の光を検出する画素が、それぞれの波長域の検出領域ごとに一纏まりとなるように配置される。即ち、図２に示すように、検出装置１２では、赤色の波長域の光を検出する画素が赤色の検出領域Ｒに配置され、緑色の波長域の光を検出する画素が緑色の検出領域Ｇに配置され、青色の波長域の光を検出する画素が青色の検出領域Ｂに配置され、近赤外の波長域の光を検出する画素が近赤外の検出領域ＩＲに配置される。
赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲは、列方向（図２の上下方向）に沿った細長い矩形形状に形成されており、それぞれ行方向（図２の左右方向）に並ぶように配置される。このように、検出装置１２は、複数の画素が配置される受光面が、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲによって４分割されるように構成される。従って、検出装置１２は、１回の露光で、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲそれぞれにより、列方向に細長い矩形形状に分割された波長域ごとの画像（以下適宜、分割画像と称する）を取得することができる。
ここで、植生検査装置１１は、検査対象物に対して相対的に移動しながら、検出装置１２において高速で連続的に複数枚の画像を取得することができ、それらの複数枚の画像が、検査対象物の検査に用いられる。このとき、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲそれぞれにより、検査対象物を順次走査することができるように、図２の行方向を検出装置１２の移動方向とする。また、植生検査装置１１は、検査対象物の検査を行う際に、例えば、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲそれぞれにより連続して取得される分割画像が、行方向に所定の幅以上で重なるような移動速度で移動を行う。
このように、検出装置１２は、画素ごとに、４つの偏光方向の光を検出し、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲごとに、それぞれの波長域の分割画像を取得することができる。そして、検出装置１２は、このような偏光方向および波長域の光の光量に応じた画素値により構成される画像のデータを、入力画像データとして信号処理装置１３に入力する。
信号処理装置１３は、図１に示すように、画像データ解析部２１、画像処理選択部２２、第１の画像処理部２３ａ、第２の画像処理部２３ｂ、およびステッチ処理部２４を備えて構成される。
画像データ解析部２１は、検出装置１２から入力される入力画像データに対する解析を行い、その解析結果を画像処理選択部２２に供給する。例えば、画像データ解析部２１は、検出装置１２により取得可能な１枚分の画像の入力画像データにおける画素値のヒストグラムを求め、波長域の検出領域ごとに、特定の基準値よりも小さな画素値であった画素の個数を求めて、解析結果とすることができる。
例えば、特殊な被写体に対する検査や特殊な光源の下で検査が行われる場合、特定の波長域の検出領域でのみ画像が現れたり、特定の波長域の検出領域でのみ画像が現れなかったりすることがある。従って、画像データ解析部２１が入力画像データを解析した結果、いずれかの波長域の検出領域で、特定の基準値よりも小さな画素値であった画素の個数が閾値未満である場合、その波長域の検出領域には画像が現れていないと判断することができる。
画像処理選択部２２は、画像データ解析部２１から供給される解析結果に従って、第１の画像処理部２３ａによる画像処理と、第２の画像処理部２３ｂによる画像処理とのいずれか一方を選択して、検出装置１２から入力される入力画像データを供給する。例えば、画像処理選択部２２は、全ての波長域の検出領域で画像が現れている場合、第１の画像処理部２３ａによる画像処理を選択し、いずれかの波長域の検出領域で画像が現れていない場合、第２の画像処理部２３ｂによる画像処理を選択する。
即ち、画像処理選択部２２は、入力画像データの解析結果が、全ての波長域の検出領域で特定の基準値よりも小さな画素値であった画素の個数が閾値以上であることを示している場合、第１の画像処理部２３ａに入力画像データを供給する。一方、画像処理選択部２２は、入力画像データの解析結果が、いずれかの波長域の検出領域において特定の基準値よりも小さな画素値であった画素の個数が閾値未満であることを示している場合、第２の画像処理部２３ｂに入力画像データを供給する。
第１の画像処理部２３ａおよび第２の画像処理部２３ｂは、それぞれ図４および図５を参照して後述するように、入力画像データに対する画像処理を行う。そして、第１の画像処理部２３ａおよび第２の画像処理部２３ｂは、波長域ごとに入力画像データを分割した分割画像データと、検出装置１２により取得された画像上の特徴点の座標を示す座標データとをステッチ処理部２４に供給する。
ステッチ処理部２４には、検出装置１２から信号処理装置１３に１枚分の画像の入力画像データが供給されるたびに順次、第１の画像処理部２３ａおよび第２の画像処理部２３ｂのいずれか一方から、分割画像データおよび座標データが供給される。そして、ステッチ処理部２４は、連続して供給される分割画像を波長域ごとにステッチして、それぞれの波長域の画素値で表される出力画像を生成する。即ち、ステッチ処理部２４は、画像上の特徴点の座標を示す座標データに基づいて、隣り合う分割画像どうしで共通する箇所を写している部分が重畳するように合成することで、検出装置１２における１回の露光で撮像可能な画像よりも大きな画像を生成する。
具体的には、ステッチ処理部２４は、分割画像どうしで対応する特徴点を推定して、互いの特徴点が重なるように分割画像を移動または変形させる画像処理を施し、特徴点どうしを一致させた分割画像の重畳する部分の画素値をブレンドする画像処理を施す。
これにより、ステッチ処理部２４は、例えば、検出装置１２により連続的に検査対象物の画像が取得され、検査対象物について検査の対象とする全領域の画像の取得が終了すると、検査対象物が広範囲かつ高解像度で写された１枚の出力画像を生成することができる。そして、ステッチ処理部２４は、その広範囲かつ高解像度の出力画像（検出装置１２により取得される１枚分の画像よりも広い範囲が写された画像）を構成するデータを、出力画像データとして出力する。
ここで、図３を参照して、信号処理装置１３において生成される広範囲かつ高解像度の出力画像について説明する。
例えば、図３の左端には、検出装置１２により連続的に取得される複数枚（図３の例では４枚）の画像が、上から下に向かう順で示されている。例えば、１枚目の画像は、赤色の検出領域Ｒに対応する分割画像Ｒ１、緑色の検出領域Ｇに対応する分割画像Ｇ１、青色の検出領域Ｂに対応する分割画像Ｂ１、および近赤外の検出領域ＩＲに対応する分割画像ＩＲ１により構成されている。また、２〜４枚目の画像も、１枚目の画像と同様に構成されている。なお、これらの４枚の画像以降にも、図２の移動方向に沿って移動しながら順次、検出装置１２により連続的に複数枚の画像が取得され、信号処理装置１３に供給される。
そして、信号処理装置１３では、検出装置１２から供給される画像が分割画像に分割され、同一の波長域の分割画像どうしが順次、ステッチ処理部２４においてステッチされる。例えば、１枚目の画像から分割された赤色の分割画像Ｒ１、２枚目の画像から分割された赤色の分割画像Ｒ２、３枚目の画像から分割された赤色の分割画像Ｒ３、および４枚目の画像から分割された赤色の分割画像Ｒ４が順次、ステッチ処理部２４においてステッチされる。以下、同様に、図２の移動方向に沿って移動しながら順次、検出装置１２から供給される４枚目以降の画像から分割された赤色の分割画像が、ステッチ処理部２４においてステッチされる。なお、他の波長域の分割画像も、それぞれの波長域ごとに、ステッチ処理部２４においてステッチされる。
これにより、信号処理装置１３は、赤色の分割画像がステッチされた広範囲かつ高解像度の出力画像Ｒ、緑色の分割画像がステッチされた広範囲かつ高解像度の出力画像Ｇ、青色の分割画像がステッチされた広範囲かつ高解像度の出力画像Ｂ、近赤外の分割画像がステッチされた広範囲かつ高解像度の出力画像ＩＲを取得することができる。そして、信号処理装置１３は、例えば、出力画像Ｒ、出力画像Ｇ、出力画像Ｂ、および出力画像ＩＲを構成する出力画像データを、図３の右端に示すように、１つに纏めた形式の出力画像データ（カラー画像データ＋近赤外画像データ）として出力してもよい。
このように植生検査装置１１は構成されており、所定の波長域ごとに広範囲かつ高解像度の出力画像を取得することができる。そして、例えば、赤色の出力画像Ｇおよび近赤外の出力画像ＩＲから求められ正規化植生指数NDVIを用いた植生の検査を、例えば、畑などの広い範囲について高精細に行うことができる。
次に、図４は、図１の第１の画像処理部２３ａの構成例を示すブロック図である。
図４に示すように、第１の画像処理部２３ａは、偏光パラメータ抽出部３１ａ、鏡面反射成分除去部３２ａ、画像分割部３３ａ、第１の特徴点検出部３４ａ、および、第２の特徴点検出部３５ａを備えて構成される。
偏光パラメータ抽出部３１ａは、検出装置１２から供給される入力画像データに基づいて、検査対象物の表面における光の偏光状態を表す偏光パラメータを抽出して、鏡面反射成分除去部３２ａおよび第２の特徴点検出部３５ａに供給する。例えば、偏光パラメータには、検査対象物の表面で光が反射する際の偏光の程度を示す偏光度や、検査対象物の表面の法線が検出装置１２に対して成す角度を示す法線ベクトルなどが含まれる。図２を参照して上述したように、検出装置１２は、隣接する４つの画素により４５度ごとの偏光方向の光を検出している。従って、偏光パラメータ抽出部３１は、これらの４つの画素の画素値から得られる偏光情報（それぞれの画素における偏光方向の違いに応じた画素値の差）に基づいて、それらの４つの画素により検出される検査対象物の表面での偏光パラメータを抽出することができる。
鏡面反射成分除去部３２ａは、偏光パラメータ抽出部３１ａから供給される偏光パラメータに基づいて、検出装置１２から供給される入力画像データから、検査対象物の表面で光が鏡面反射する成分である鏡面反射成分を除去する。例えば、一般的に、検査対象物の表面で反射する光は、偏光している鏡面反射成分と無偏光の拡散反射成分とを含んでいる。
そこで、鏡面反射成分除去部３２ａは、拡散反射成分と鏡面反射成分とは統計的に独立しているという仮定に基づき、例えば、ＩＣＡ（Independent Component Analysis）という手法によって鏡面反射成分を除去することができる。そして、鏡面反射成分除去部３２ａは、検出装置１２により取得された画像から、鏡面反射成分の影響を排除した画像を取得し、その画像データを画像分割部３３ａに供給する。
画像分割部３３ａは、鏡面反射成分除去部３２ａから供給される画像データを、検出装置１２により検出される波長域の検出領域に従って分割し、それぞれの波長域ごとの分割画像データを、第１の特徴点検出部３４ａおよびステッチ処理部２４（図１）に供給する。
第１の特徴点検出部３４ａは、分割画像データに基づく画像に写されている被写体において特徴的な箇所を示す特徴点を検出し、その特徴点の座標を示す座標データをステッチ処理部２４に供給する。例えば、特徴点としては、画像上において輝度や色の変化が大きな箇所のエッジなどを用いることができる。
第２の特徴点検出部３５ａは、偏光パラメータ抽出部３１ａから供給される偏光パラメータをマッピングした画像に写されている被写体において特徴的な箇所を示す特徴点を検出し、その特徴点の座標を示す座標データをステッチ処理部２４に供給する。
このように第１の画像処理部２３ａは構成されており、鏡面反射成分が除去されて波長域ごとに分割された分割画像データ、波長域ごとの分割画像から求められる特徴点の座標を示す座標データ、および、偏光パラメータに基づいて求められる画像上の特徴点の座標を示す座標データを、ステッチ処理部２４に供給することができる。
次に、図５は、図１の第２の画像処理部２３ｂの構成例を示すブロック図である。
図５に示すように、第２の画像処理部２３ｂは、図２の第１の画像処理部２３ａと同様に、偏光パラメータ抽出部３１ｂ、鏡面反射成分除去部３２ｂ、画像分割部３３ｂ、第１の特徴点検出部３４ｂ、および、第２の特徴点検出部３５ｂを備えて構成される。但し、第２の画像処理部２３ｂは、図２の第１の画像処理部２３ａとは、処理を行う順番が異なるような構成となっている。
図示するように、第２の画像処理部２３ｂでは、検出装置１２から画像分割部３３ｂに入力画像データが供給され、画像分割部３３ｂは、その画像データを、検出装置１２における波長域の検出領域に従って分割する。そして、画像分割部３３ｂは、それぞれの波長域ごとの分割画像データを、偏光パラメータ抽出部３１ｂおよび鏡面反射成分除去部３２ｂに供給する。従って、第２の画像処理部２３ｂでは、偏光パラメータ抽出部３１ｂは、波長域ごとに分割された分割画像データから偏光パラメータを抽出し、鏡面反射成分除去部３２ｂは、波長域ごとに分割された分割画像データから鏡面反射成分を除去する。その後、第１の特徴点検出部３４ｂおよび第２の特徴点検出部３５ｂは、それぞれ上述したような特徴点を抽出し、それらの特徴点の座標を示す座標データをステッチ処理部２４に供給する。
このように構成される第２の画像処理部２３ｂは、波長域ごとに分割されて鏡面反射成分が除去された分割画像データ、波長域ごとの分割画像から求められる特徴点の座標を示す座標データ、および、偏光パラメータに基づいて求められる画像上の特徴点の座標を示す座標データを、ステッチ処理部２４に供給することができる。
従って、信号処理装置１３では、ステッチ処理部２４は、波長域ごとの分割画像から求められる特徴点の座標を示す座標データ、および、偏光パラメータに基づいて求められる画像上の特徴点の座標を示す座標データに基づいて、分割画像のステッチを行うことができる。このように、ステッチ処理部２４は、より多くの特徴点を用いることで、ステッチの精度を向上させることができる。
また、一般的に、偏光パラメータは物体の色に依存しないため、ステッチ処理部２４は、色フィルタの影響を受けることなく、検出装置１２の全体のサイズの中で偏光パラメータに基づく特徴点を位置合わせに使用することができる。これにより、ステッチ処理部２４は、より高精度なステッチが可能となる。
＜信号処理について＞
図６は、植生検査装置１１が広範囲かつ高解像度の画像を取得する処理について説明するフローチャートである。
例えば、検査対象物の検査を行う開始地点に植生検査装置１１が到着すると処理が開始され、植生検査装置１１は、図２に示したような移動方向で移動を行う。そして、ステップＳ１１において、検出装置１２は、１回の露光で撮像される１枚分の画像を取得し、その画像の入力画像データを信号処理装置１３に供給する。
ステップＳ１２において、信号処理装置１３の画像データ解析部２１は、ステップＳ１１で検出装置１２から供給される入力画像に対する解析を行い、その解析結果を画像処理選択部２２に供給する。
ステップＳ１３において、画像処理選択部２２は、ステップＳ１２で画像データ解析部２１から供給される解析結果に従って、入力画像に対する画像処理として、第１の画像処理部２３ａによる画像処理、および、第２の画像処理部２３ｂによる画像処理のどちらを行うかを判定する。
ステップＳ１３において、画像処理選択部２２が、入力画像に対して第１の画像処理部２３ａによる画像処理を行うと判定した場合、画像処理選択部２２は入力画像を第１の画像処理部２３ａに供給して、処理はステップＳ１４に進む。
ステップＳ１４において、第１の画像処理部２３ａの偏光パラメータ抽出部３１ａは、検出装置１２により取得された画像において隣接する偏光方向の異なる４つの画素の画素値に基づいて、偏光パラメータを抽出する。
ステップＳ１５において、鏡面反射成分除去部３２ａは、ステップＳ１４で偏光パラメータ抽出部３１ａにより抽出された偏光パラメータに基づいて、検出装置１２により取得された画像から鏡面反射成分を除去する。
ステップＳ１６において、画像分割部３３ａは、ステップＳ１５で鏡面反射成分除去部３２ａにより鏡面反射成分が除去された画像を、検出装置１２により検出される波長域ごとに分割する。そして、画像分割部３３ａは、それぞれの波長域ごとの分割画像を第１の特徴点検出部３４ａおよびステッチ処理部２４に供給する。
ステップＳ１７において、第１の特徴点検出部３４ａは、ステップＳ１６で画像分割部３３ａから供給される分割画像に写されている被写体において特徴的な箇所を示す特徴点を検出する。そして、第１の特徴点検出部３４ａは、それぞれの分割画像から検出された特徴点の座標を示す座標データをステッチ処理部２４に供給する。
ステップＳ１８において、第２の特徴点検出部３５ａは、偏光パラメータ抽出部３１ａから供給される偏光パラメータに基づいて、偏光パラメータをマッピングした画像に写されている被写体において特徴的な箇所を示す特徴点を検出する。そして、第２の特徴点検出部３５ａは、検出装置１２により取得された画像の全体について、偏光パラメータに基づいて検出された特徴点の座標を示す座標データをステッチ処理部２４に供給する。
ステップＳ１９において、ステッチ処理部２４は、ステップＳ１６で画像分割部３３ａから供給される分割画像を、ステップＳ１７およびＳ１８において供給される座標データにより示される特徴点に基づいてステッチする。
一方、ステップＳ１３において、画像処理選択部２２が、入力画像に対して第２の画像処理部２３ｂによる画像処理を行うと判定した場合、画像処理選択部２２は入力画像を第２の画像処理部２３ｂに供給して、処理はステップＳ２０に進む。
ステップＳ２０において、画像処理部２３ｂの画像分割部３３ｂは、検出装置１２により取得された画像を、検出装置１２により検出される波長域ごとに分割する。そして、画像分割部３３ｂは、それぞれの波長域ごとの分割画像を偏光パラメータ抽出部３１ｂおよび鏡面反射成分除去部３２ｂに供給する。
ステップＳ２１において、偏光パラメータ抽出部３１ｂは、画像分割部３３ｂにより分割された分割画像ごとに、隣接する偏光方向の異なる４つの画素の画素値に基づいて、偏光パラメータを抽出する。
ステップＳ２２において、鏡面反射成分除去部３２ｂは、ステップＳ２１で偏光パラメータ抽出部３１ｂにより抽出された偏光パラメータに基づいて、画像分割部３３ｂにより分割された分割画像それぞれから鏡面反射成分を除去する。そして、鏡面反射成分除去部３２ｂは、鏡面反射成分を除去した分割画像を第１の特徴点検出部３４ｂおよびステッチ処理部２４に供給する。
ステップＳ２３において、第１の特徴点検出部３４ｂは、ステップＳ２２で鏡面反射成分除去部３２ｂから供給される分割画像に写されている被写体において特徴的な箇所を示す特徴点を検出する。そして、第１の特徴点検出部３４ｂは、それぞれの分割画像から検出された特徴点の座標を示す座標データをステッチ処理部２４に供給する。
ステップＳ２４において、第２の特徴点検出部３５ｂは、偏光パラメータ抽出部３１ｂから供給される偏光パラメータに基づいて、偏光パラメータをマッピングした画像に写されている被写体において特徴的な箇所を示す特徴点を検出する。そして、第２の特徴点検出部３５ｂは、検出装置１２により取得された画像の全体について、偏光パラメータに基づいて検出された特徴点の座標を示す座標データをステッチ処理部２４に供給する。
そして、処理はステップＳ１９に進み、この場合、ステッチ処理部２４は、ステップＳ２０で画像分割部３３ａから供給される分割画像を、ステップＳ２３およびＳ２４において供給される座標データにより示される特徴点に基づいてステッチする。
ステップＳ１９の処理後、処理はステップＳ２５に進み、検出装置１２は、検査対象物の全範囲に亘って、必要な画像を取得したか否かを判定する。例えば、検出装置１２は、検査対象物の検査を行う開始地点から処理が行われ、植生検査装置１１が終了地点まで到達したときに、必要な画像を取得したと判定することができる。
ステップＳ２５において、検出装置１２が、必要な画像を取得していないと判定した場合、即ち、植生検査装置１１が終了地点まで到達していない場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ２５において、検出装置１２が、必要な画像を取得したと判定した場合、即ち、植生検査装置１１が終了地点に到達した場合、処理はステップＳ２６に進む。
この場合、ステッチ処理部２４により、検査対象物の全範囲に亘って、広範囲かつ高解像度な画像が生成されており、ステップＳ２６において、信号処理装置１３は、ステッチ処理部２４により生成された画像を出力画像として出力した後、処理は終了される。
以上のように、植生検査装置１１は、検査対象物の全範囲を、検出装置１２により検出可能な波長域ごとに、広範囲かつ高解像度で写した画像を取得することができる。
＜検出装置における画素の配置について＞
検出装置１２における画素の配置について、上述した図２に示した配置例は、説明を分かり易くするために模式的に表したものであって、検出装置１２では、実際には、数百万個または数千万個の微細な画素が受光面に配置されている。そして、検出装置１２では、それらの画素が、図２に示したように、波長域ごとの検出領域によって受光面を４分割するように配置されている。また、検出装置１２における画素の配置は、図２に示す例に限定されることなない。
図７乃至図１２を参照して、検出装置１２における画素の配置について説明する。
図７は、検出装置１２における画素の最小検出領域の配置規則について説明する図である。
図７に示すように、検出装置１２では、行方向に４個かつ列方向に４個で配置される１６個の画素が、同一の波長域の光を検出するものとして一纏まりに配置された最小検出領域を構成する。また、上述したように、検出装置１２では、４５度ごとに偏光方向が設定される４つの画素が、２×２となるように隣接して配置されており、この４つの画素のセットが２×２となるように配置される１６個の画素により最小検出領域が構成される。
そして、検出装置１２は、赤色の最小検出領域Ｒ、緑色の最小検出領域Ｇ、青色の最小検出領域Ｂ、および近赤外の最小検出領域ＩＲが、検出装置１２が検査対象物に対して相対的に移動する方向である移動方向（図７の行方向）に沿って配置される。即ち、赤色の最小検出領域Ｒ、緑色の最小検出領域Ｇ、青色の最小検出領域Ｂ、および近赤外の最小検出領域ＩＲは、検出装置１２の移動方向に沿って見たときに、それぞれが必ず配置されるような配置規則となっている。これにより、検出装置１２は、例えば、検査対象物に対して１ラインの走査を行ったときに、全ての波長域において、その１ラインについて検査対象物の分割画像を取得することができる。
また、検出装置１２では、偏光フィルタのパターン周期（２×２）に対して行方向および列方向に２倍となる大きさの最小検出領域が設定されている。このように最小検出領域を設定して、検出装置１２は、検査対象物に対して相対的に移動しながら、例えば、少なくとも２画素の幅で重なり合うように連続的に画像を取得する。これにより、信号処理装置１３は、ステッチ処理部２４により分割画像をステッチすることができ、検出装置１２において検出可能な全ての波長域それぞれについて、広範囲かつ高解像度の出力画像を出力することができる。
図８は、最小検出領域の他の配置規則に従った画素の配置例を示す図である。
図８に示すように、検出装置１２では、赤色の最小検出領域Ｒ、緑色の最小検出領域Ｇ、青色の最小検出領域Ｂ、および近赤外の最小検出領域ＩＲを、行×列が２×２となる配置規則に従って配置することができる。
このように最小検出領域が配置される検出装置１２を採用して、それぞれの最小検出領域が検査対象物を順次走査するように植生検査装置１１を移動することで、検出装置１２において検出可能な全ての波長域それぞれについて、広範囲かつ高解像度の出力画像を出力することができる。
図９は、画素の配置の第１の変形例を示す図である。
図９に示すように、検出装置１２では、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲが、図２に示した画素の配置と比較して列方向に長い矩形となるように画素が配置されている。
図１０は、画素の配置の第２の変形例を示す図である。
図１０に示すように、検出装置１２では、行方向および列方向に沿って見たときに、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲそれぞれが必ず配置される配置規則となるように、画素が配置されている。即ち、図１０に示す画素の配置例では、行×列が４×４となるように配置される１６カ所の検出領域について、行方向および列方向に沿って見たときに、全ての波長域の検出領域が配置されている。
なお、図１０に示す画素の配置例は、それぞれの波長域の検出領域の並べ方を模式的に表したものであり、１つの検出領域が、図７を参照して説明した最小検出領域となっているが、それぞれの検出領域を、より大きなサイズとしてもよい。例えば、検出装置１２の受光面の全体を１６カ所の検出領域に分割してもよい。または、より多くの画素が配置された検出領域が、図１０に示すようなパターンで繰り返して配置されるようにすることができる。
図１１は、画素の配置の第３の変形例を示す図である。
図１１に示すように、検出装置１２は、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲの他に、例えば、無偏光かつ全波長域の光を検出する画素による検出領域を配置することができる。即ち、検出装置１２は、偏光フィルタおよびカラーフィルタが設けられない検出領域を備えてもよい。この検出領域に配置される画素の画素値に基づいて、信号処理装置１３は、あらゆる偏光方向の光による白色（モノクロ）の画像を取得することができる。
図１２は、画素の配置の第４の変形例を示す図である。
図１２に示すように、検出装置１２は、赤色の検出領域Ｒ、緑色の検出領域Ｇ、青色の検出領域Ｂ、および近赤外の検出領域ＩＲの他に、例えば、無偏光かつ３原色の光を検出する画素による検出領域を配置することができる。即ち、検出装置１２は、偏光フィルタが設けられず、かつ、画素ごとに３原色のベイヤ配列のカラーフィルタが設けられた検出領域を備えてもよい。この検出領域に配置される画素の画素値に基づいて、信号処理装置１３は、あらゆる偏光方向の光によるカラー画像を取得することができる。
＜植生検査装置の利用例について＞
図１３および図１４に示すように、例えば、無人航空機（UAV：Unmanned Aerial Vehicle）５１に植生検査装置１１を搭載して、無人航空機５１によって移動しながら検査対象物に対する検査を行うことができる。
図１３には、検出装置１２を下方向に向けて植生検査装置１１を無人航空機５１に固定し、例えば、上空から真下にある畑の作物を平面的に広範囲に写した出力画像を取得する利用例が示されている。図１４には、検出装置１２を横方向に向けて植生検査装置１１を無人航空機５１に固定し、例えば、作物の高さなどの育成状態を、あぜ道などを移動しつつ広範囲に写した出力画像を取得する利用例が示されている。
なお、図１３および図１４において、実線の矩形は、検出装置１２により１回の露光で取得される複数枚の画像を表しており、破線の矩形は、それらの画像をステッチして生成される出力画像を表している。また、白抜きの矢印は、無人航空機５１の移動経路を示している。
このように、植生検査装置１１を搭載した無人航空機５１を移動させながら連続的に複数枚の画像を取得することで、植生検査装置１１は、検査対象物が広範囲かつ高解像度で写された１枚の出力画像を取得することができる。従って、この出力画像を用いて、畑などの広い範囲における作物の植生を詳細に検査することができる。
また、植生検査装置１１が、無人航空機５１が備えるセンサの情報を取得することができる場合、無人航空機５１の位置および姿勢の情報にも基づいてステッチ処理部２４によるステッチを行うことで、高精度にステッチされた出力画像を得ることができる。
なお、植生検査装置１１では、検出装置１２のサイズや、植生検査装置１１を移動させる速度などに応じて、それぞれの波長域の検出領域のサイズを適切に選択することができる。また、植生検査装置１１では、検出装置１２により検出する波長域の数（即ち、色フィルタの色数）は、植生検査装置１１による検査の用途に応じて、必要な数の波長域を適切に選択することができる。
例えば、図１３および図１４を参照して上述したように、無人航空機５１を利用して広い畑の全体を検査する用途では、無人航空機５１の移動の量や方向にある程度のブレが発生することが想定される。そのため、分割画像を確実にステッチするためには、検出領域それぞれのサイズを大きくする（より多くの画素を含む）ようにすることが好ましい。一方、例えば、小さな精密部品の小さな傷を発見する用途などのように、植生検査装置１１を高精細に微小に移動させて検査を行う用途では、検出領域のサイズを小さくしてもよい。
さらに、本技術は、植生検査装置１１のような装置単体で構成する他、例えば、ネットワークを介して接続される植生検査システムに適用することができる。例えば、ネットワークを介して検出装置１２および信号処理装置１３を接続し、信号処理装置１３から出力される出力画像を、ネットワークを介して、表示装置や解析装置など送信するように構成することができる。これにより、遠隔地にある多くの畑などを検査対象物として、どこでも検査をおこなうことができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
また、上述した一連の処理（信号処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
（１）
行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、
複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される
検査装置。
（２）
前記検出領域は、第１の方向に沿って細長い矩形形状に形成され、
前記第１の方向に対して直交する第２の方向に沿って見たときに、検出される全ての波長域の前記検出領域が、少なくとも１カ所以上に配置される
上記（１）に記載の検査装置。
（３）
前記第２の方向は、検査の対象となる検査対象物に対して相対的な移動が行われる移動方向である
上記（２）に記載の検査装置。
（４）
行方向および列方向に沿って見たときに、検出される全ての前記検出領域が、少なくとも１カ所以上に配置される
上記（１）から（３）までのいずれかに記載の検査装置。
（５）
行方向に４個かつ列方向に４個で配置される少なくとも１６個の前記センサ素子からなる前記検出領域が、それぞれの波長域の最小検出領域とされる
上記（１）から（４）までのいずれかに記載の検査装置。
（６）
前記センサ素子によって、少なくとも３方向以上の偏光方向の光が検出される
上記（１）から（５）までのいずれかに記載の検査装置。
（７）
赤色の波長領域の光を検出する前記検出領域、緑色の波長領域の光を検出する前記検出領域、青色の波長領域の光を検出する前記検出領域、および近赤外の波長領域の光を検出する前記検出領域
を備える上記（１）から（６）までのいずれかに記載の検査装置。
（８）
無偏光かつ全波長域の光を検出する検出領域
をさらに備える上記（１）から（７）までのいずれかに記載の検査装置。
（９）
無偏光、かつ、赤色の波長領域の光を検出するセンサ素子、緑色の波長領域の光を検出するセンサ素子、および青色の波長領域の光を検出するセンサ素子がベイヤ配列で配置された検出領域
をさらに備える上記（１）から（７）までのいずれかに記載の検査装置。
（１０）
４方向の偏光方向の光を検出する４個の前記センサ素子を１セットとして、行×列が４×４となるように前記センサ素子が配置される
上記（１）から（９）までのいずれかに記載の検査装置。
（１１）
前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行う信号処理部をさらに備える
上記（１）から（１０）までのいずれかに記載の検査装置。
（１２）
行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される検査装置の検査方法であって、
前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行う
ステップを含む検査方法。
（１３）
行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される検査装置に実行させるプログラムであって、
前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行う
ステップを含む処理をコンピュータに実行させるプログラム。
（１４）
隣接するセンサ素子が互いに異なる偏光方向の光を検出する複数のセンサ素子からなり、同一の波長域の光を検出する検出領域を前記波長域ごとに複数備えた検出部の出力に基づき、前記検出領域ごとに構成される画像から特徴点を検出する特徴点検出部と、
検出された前記特徴点に基づいて、前記検出領域ごとの画像をステッチし、前記検出部により取得可能な１枚分の画像よりも大きな画像を構築する画像処理部と
を備える信号処理装置。
（１５）
検査の対象となる検査対象物の表面における光の偏光状態を表す偏光パラメータを抽出する偏光パラメータ抽出部と、
前記偏光パラメータに基づいて、前記検査対象物の表面における鏡面反射成分を前記画像から除去する鏡面反射成分除去部と
をさらに備える上記（１４）に記載の信号処理装置。
（１６）
前記センサ素子は、前記偏光方向の数に応じた個数のセットごとに隣接して配置され、
前記偏光パラメータ抽出部は、１セットの前記センサ素子における前記偏光方向の違いに応じた前記センサ素子の出力の差に基づいて、前記偏光パラメータを抽出する
上記（１５）に記載の信号処理装置。
（１７）
前記偏光パラメータ抽出部により抽出された前記偏光パラメータをマッピングした画像から特徴点を検出する偏光パラメータ特徴点検出部
をさらに備え、
前記画像処理部は、前記偏光パラメータ特徴点検出部により検出された特徴点にも基づいて、前記検出領域ごとの画像をステッチする
上記（１５）または（１６）に記載の信号処理装置。
（１８）
前記検出領域ごとに前記画像を分割する分割部
をさらに備える上記（１５）から（１７）までのいずれかにに記載の信号処理装置。
（１９）
前記偏光パラメータ抽出部により前記偏光パラメータが抽出された後に、前記分割部による前記検出領域ごとの分割が行われる
上記（１８）に記載の信号処理装置。
（２０）
前記分割部により前記画像が前記検出領域ごとに分割された後に、前記偏光パラメータ抽出部による前記偏光パラメータの抽出が行われる
上記（１８）に記載の信号処理装置。
（２１）
前記画像に対する解析を行う解析部と、
前記偏光パラメータ抽出部により前記偏光パラメータが抽出された後に、前記分割部による前記検出領域ごとの分割が行われる第１の処理、および、前記分割部により前記画像が前記検出領域ごとに分割された後に、前記偏光パラメータ抽出部による前記偏光パラメータの抽出が行われる第２の処理のいずれか一方を、前記解析部による解析結果に従って選択する処理選択部
をさらに備える上記（１８）に記載の信号処理装置。
（２２）
前記解析部は、取得可能な１枚分の画像を構成する画素値のヒストグラムを求めて、前記検出領域ごとに、特定の基準値よりも小さな前記画素値の個数を解析結果として求め、
前記処理選択部は、
全ての前記検出領域において、特定の基準値よりも小さな前記画素値の個数が閾値以上である場合、前記第１の処理を選択し、
いずれかの前記検出領域において、特定の基準値よりも小さな前記画素値の個数が閾値未満である場合、前記第２の処理を選択する
上記（２１）に記載の信号処理装置。
（２３）
前記第１の処理では、前記偏光パラメータ抽出部により抽出された前記偏光パラメータに基づいて前記鏡面反射成分除去部により鏡面反射成分が除去された前記画像が、前記分割部により分割される
上記（２１）または（２２）に記載の信号処理装置。
（２４）
前記第２の処理では、前記分割部により分割された前記画像から前記偏光パラメータ抽出部により抽出された前記偏光パラメータに基づいて、前記分割部により分割された前記画像ごとに前記鏡面反射成分除去部により鏡面反射成分が除去される
上記（２１）または（２２）に記載の信号処理装置。
（２５）
隣接するセンサ素子が互いに異なる偏光方向の光を検出する複数のセンサ素子からなり、同一の波長域の光を検出する検出領域を前記波長域ごとに複数備えた検出部の出力に基づき、前記検出領域ごとに構成される画像から特徴点を検出し、
検出された前記特徴点に基づいて、前記検出領域ごとの画像をステッチし、前記検出部により取得可能な１枚分の画像よりも大きな画像を構築する
ステップを含む信号処理方法。
（２６）
隣接するセンサ素子が互いに異なる偏光方向の光を検出する複数のセンサ素子からなり、同一の波長域の光を検出する検出領域を前記波長域ごとに複数備えた検出部の出力に基づき、前記検出領域ごとに構成される画像から特徴点を検出し、
検出された前記特徴点に基づいて、前記検出領域ごとの画像をステッチし、前記検出部により取得可能な１枚分の画像よりも大きな画像を構築する
ステップを含む信号処理をコンピュータに実行させるプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 植生検査装置， １２ 検出装置， １３ 信号処理装置， ２１ 画像データ解析部， ２２ 画像処理選択部， ２３ａ 第１の画像処理部， ２３ｂ 第２の画像処理部， ２４ ステッチ処理部， ３１ａおよび３１ｂ 偏光パラメータ抽出部， ３２ａおよび３２ｂ 鏡面反射成分除去部， ３３ａおよび３３ｂ 画像分割部， ３４ａおよび３４ｂ 第１の特徴点検出部， ３５ａおよび３５ｂ 第２の特徴点検出部， ５１ 無人航空機

Claims (13)

  1. 行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、
    複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される
    検査装置。
  2. 前記検出領域は、第１の方向に沿って細長い矩形形状に形成され、
    前記第１の方向に対して直交する第２の方向に沿って見たときに、検出される全ての波長域の前記検出領域が、少なくとも１カ所以上に配置される
    請求項１に記載の検査装置。
  3. 前記第２の方向は、検査の対象となる検査対象物に対して相対的な移動が行われる移動方向である
    請求項２に記載の検査装置。
  4. 行方向および列方向に沿って見たときに、検出される全ての前記検出領域が、少なくとも１カ所以上に配置される
    請求項１に記載の検査装置。
  5. 行方向に４個かつ列方向に４個で配置される少なくとも１６個の前記センサ素子からなる前記検出領域が、それぞれの波長域の最小検出領域とされる
    請求項１に記載の検査装置。
  6. 前記センサ素子によって、少なくとも３方向以上の偏光方向の光が検出される
    請求項１に記載の検査装置。
  7. 赤色の波長領域の光を検出する前記検出領域、緑色の波長領域の光を検出する前記検出領域、青色の波長領域の光を検出する前記検出領域、および近赤外の波長領域の光を検出する前記検出領域
    を備える請求項１に記載の検査装置。
  8. 無偏光かつ全波長域の光を検出する検出領域
    をさらに備える請求項７に記載の検査装置。
  9. 無偏光、かつ、赤色の波長領域の光を検出するセンサ素子、緑色の波長領域の光を検出するセンサ素子、および青色の波長領域の光を検出するセンサ素子がベイヤ配列で配置された検出領域
    をさらに備える請求項７に記載の検査装置。
  10. ４方向の偏光方向の光を検出する４個の前記センサ素子を１セットとして、行×列が４×４となるように前記センサ素子が配置される
    請求項１に記載の検査装置。
  11. 前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行う信号処理部をさらに備える
    請求項１に記載の検査装置。
  12. 行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される検査装置の検査方法であって、
    前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行う
    ステップを含む検査方法。
  13. 行列状に配置された、同一の波長域の光を検出する複数のセンサ素子からなる検出領域を、前記波長域ごとに複数備え、複数の前記センサ素子は、互いに異なる偏光方向の光を検出するセンサ素子が隣接するとともに、偏光方向の数からなるセットごとに配置される検査装置に実行させるプログラムであって、
    前記センサ素子により検出された検出値に基づいて、１回に検出可能な大きさよりも広い範囲の画像を生成する信号処理を行う
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2016159854A 2016-08-17 2016-08-17 検査装置、検査方法、およびプログラム Active JP6697681B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016159854A JP6697681B2 (ja) 2016-08-17 2016-08-17 検査装置、検査方法、およびプログラム
KR1020197003298A KR20190039110A (ko) 2016-08-17 2017-08-03 검사 장치, 검사 방법, 및 프로그램
CN201780047672.XA CN109565578B (zh) 2016-08-17 2017-08-03 检查设备和检查方法
EP17826593.0A EP3501169A1 (en) 2016-08-17 2017-08-03 Examination device, examination method, and program
PCT/JP2017/028290 WO2018034167A1 (en) 2016-08-17 2017-08-03 Examination device, examination method, and program
US16/301,987 US10893221B2 (en) 2016-08-17 2017-08-03 Imaging sensor with wavelength detection regions and pre-determined polarization directions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016159854A JP6697681B2 (ja) 2016-08-17 2016-08-17 検査装置、検査方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2018029251A true JP2018029251A (ja) 2018-02-22
JP2018029251A5 JP2018029251A5 (ja) 2019-08-29
JP6697681B2 JP6697681B2 (ja) 2020-05-27

Family

ID=60953922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016159854A Active JP6697681B2 (ja) 2016-08-17 2016-08-17 検査装置、検査方法、およびプログラム

Country Status (6)

Country Link
US (1) US10893221B2 (ja)
EP (1) EP3501169A1 (ja)
JP (1) JP6697681B2 (ja)
KR (1) KR20190039110A (ja)
CN (1) CN109565578B (ja)
WO (1) WO2018034167A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168141A1 (ja) * 2018-03-02 2019-09-06 Ｊｆｅスチール株式会社 分光特性測定装置、分光特性測定方法、及び炉の制御方法
WO2021039900A1 (ja) * 2019-08-28 2021-03-04 公立大学法人兵庫県立大学 試料測定装置および試料測定方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN113315934A (zh) * 2019-04-23 2021-08-27 Oppo广东移动通信有限公司 一种单色偏振式cis及图像处理方法、存储介质
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
CN112629655A (zh) * 2019-10-09 2021-04-09 北京小米移动软件有限公司 移动终端
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
CN111161283B (zh) * 2019-12-26 2023-08-04 可牛网络技术（北京）有限公司 一种处理图片资源的方法、装置及电子设备
CN113835135B (zh) * 2020-06-23 2022-11-22 同方威视技术股份有限公司 太赫兹安检机器人
EP4172598A1 (en) * 2020-06-24 2023-05-03 Rubens IP Pty Ltd Detecting plant product properties

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149489A1 (ja) * 2007-05-31 2008-12-11 Panasonic Corporation 画像処理装置
WO2015015722A1 (ja) * 2013-07-29 2015-02-05 パナソニックＩｐマネジメント株式会社 光学フィルタおよびそれを用いた偏光撮像装置
JP2017228988A (ja) * 2016-06-24 2017-12-28 日立造船株式会社 偏光カメラ及び画像処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4932978B1 (ja) 1969-06-10 1974-09-04
JPS4932978A (ja) 1972-07-26 1974-03-26
US8463078B2 (en) * 2007-08-23 2013-06-11 Lockheed Martin Corporation Multi-bank TDI approach for high-sensitivity scanners
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2010144866A2 (en) * 2009-06-11 2010-12-16 The Arizona Board Of Regents On Behalf Of The University Of Arizona Microgrid imaging polarimeters with frequency domain reconstruction
WO2012017600A1 (ja) * 2010-08-04 2012-02-09 パナソニック株式会社 撮像素子および撮像装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5764747B2 (ja) * 2011-09-02 2015-08-19 パナソニックＩｐマネジメント株式会社 偏光撮像素子および内視鏡
US20130070140A1 (en) * 2011-09-21 2013-03-21 Robert Gove Image sensors with multiple lenses of varying polarizations
JP5820794B2 (ja) * 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置
JP5807192B2 (ja) * 2013-01-21 2015-11-10 パナソニックＩｐマネジメント株式会社 測定装置および測定方法
WO2015015717A1 (ja) * 2013-07-30 2015-02-05 パナソニックＩｐマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
US9686487B1 (en) * 2014-04-30 2017-06-20 Lockheed Martin Corporation Variable scan rate image generation
US20160006954A1 (en) * 2014-07-03 2016-01-07 Snap Vision Technologies LLC Multispectral Detection and Processing From a Moving Platform
US9876972B1 (en) * 2014-08-28 2018-01-23 Lockheed Martin Corporation Multiple mode and multiple waveband detector systems and methods
JP2016049102A (ja) * 2014-08-29 2016-04-11 株式会社リコー 圃場管理システム、圃場管理方法、プログラム
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
EP3315928B1 (en) * 2015-06-26 2021-05-05 Sony Corporation Inspection apparatus, sensing apparatus, sensitivity control apparatus, inspection method, and program
US10559616B2 (en) * 2015-07-30 2020-02-11 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and electronic device
US10460422B2 (en) * 2015-11-10 2019-10-29 Sony Corporation Image processing device and image processing method
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149489A1 (ja) * 2007-05-31 2008-12-11 Panasonic Corporation 画像処理装置
WO2015015722A1 (ja) * 2013-07-29 2015-02-05 パナソニックＩｐマネジメント株式会社 光学フィルタおよびそれを用いた偏光撮像装置
JP2017228988A (ja) * 2016-06-24 2017-12-28 日立造船株式会社 偏光カメラ及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168141A1 (ja) * 2018-03-02 2019-09-06 Ｊｆｅスチール株式会社 分光特性測定装置、分光特性測定方法、及び炉の制御方法
WO2021039900A1 (ja) * 2019-08-28 2021-03-04 公立大学法人兵庫県立大学 試料測定装置および試料測定方法

Also Published As

Publication number Publication date
CN109565578B (zh) 2022-03-11
US20190174077A1 (en) 2019-06-06
JP6697681B2 (ja) 2020-05-27
CN109565578A (zh) 2019-04-02
WO2018034167A1 (en) 2018-02-22
US10893221B2 (en) 2021-01-12
KR20190039110A (ko) 2019-04-10
EP3501169A1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
JP6697681B2 (ja) 検査装置、検査方法、およびプログラム
JP6697680B2 (ja) 信号処理装置、信号処理方法、およびプログラム
CN102685511B (zh) 图像处理设备和图像处理方法
WO2014103719A1 (ja) 欠陥検査方法および欠陥検査装置
JP2018029251A5 (ja)
US9648302B2 (en) RGB-D imaging system and method using ultrasonic depth sensing
JP2018029250A5 (ja)
CN103369347A (zh) 相机瑕疵缺陷检测
US11158039B2 (en) Using 3D vision for automated industrial inspection
KR20170001648A (ko) 자동화된 산업 검사용 3d 비전 사용
CN103813095B (zh) 测试图及其使用方法
JP2013092885A (ja) 画像処理装置、方法、及びプログラム
KR20140119089A (ko) 주사형 전자 현미경의 화상 처리 장치 및 주사 방법
US11049249B2 (en) Method, apparatus and system for cell detection
Yao et al. Calculation and restoration of lost spatial information in division-of-focal-plane polarization remote sensing using polarization super-resolution technology
Rosenberger Multispectral edge detection algorithms for industrial inspection tasks
JP5686376B2 (ja) 画像処理装置、方法、及びプログラム
JP2020003878A (ja) マーカおよび画像処理装置
KR102476701B1 (ko) 구조물 외관 조사망도 구축 시스템 및 방법
WO2023032318A1 (ja) 撮像システムおよびその制御方法
WO2020194541A1 (ja) 検査装置
Laveglia et al. A Method for Multispectral Images Alignment at Different Heights on the Crop
JP2008047607A (ja) 撮像素子の欠陥検出方法及びプログラム
JP2022088785A5 (ja)
Pan et al. A robust approach for repairing color composite DMC images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200408

R151 Written notification of patent or utility model registration

Ref document number: 6697681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151