JP2021048464A - 撮像デバイス、撮像システム及び撮像方法 - Google Patents

Abstract

【課題】簡単な構成で、且つ、高速に、分光画像の合成画像を得ることができる、撮像装置、撮像システム、及び撮像方法を提供する。【解決手段】移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像部と、前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成部と、を備える、撮像デバイスが提供される。【選択図】図２

Description

本開示は、撮像デバイス、撮像システム及び撮像方法に関する。

生産現場等において、製品を出荷する際、撮像画像に基づいて製品の外観等を検査する検査装置が用いられている。例えば、検査装置は、ＲＧＢカメラによる製品外観の撮像画像に基づいて、製品が良品であるか、不良品であるかを検査することができる。しかしながら、このような幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出するＲＧＢカメラによる撮像画像からは、製品の外観を正確に捉えることが難しい場合がある。そこで、製品の外観をより正確に捉えるために、被写体象に係る光の波長を細かく複数に分けて検出することによって得られた分光画像を用いることが提案されている。より具体的には、上述のようにして得られた複数の分光画像を１つに合成し、合成した画像を用いることにより、製品の外観をより正確に捉えようとするものである。例えば、分光画像を取得する撮像装置としては、下記特許文献１及び特許文献２に記載された撮像装置を挙げることができる。

特開２０１５−４１７８４号公報 特開２０１５−１２６５３７号公報

しかしながら、上記特許文献１及び特許文献２に記載された撮像装置は、その構成が複雑となることを避けることが難しく、さらには、１つの合成画像を得るための処理時間の増加を抑えることが難しい。

そこで、本開示では、簡単な構成で、且つ、高速に、分光画像の合成画像を得ることができる、撮像装置、撮像システム、及び撮像方法を提案する。

本開示によれば、移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像部と、前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成部とを備える、撮像デバイスが提供される。

また、本開示によれば、被写体を移動させる移動装置と、移動する前記被写体の位置に応じて異なる波長を有する照射光を、前記被写体に間欠的に順次照射する照射装置と、前記照射により当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像装置と、前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成装置とを備える、撮像システムが提供される。

さらに、本開示によれば、移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成することと、前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成することとを含む、撮像方法が提供される。

本開示の第１の実施形態に係る撮像システム１０の構成の一例を説明するための説明図である。 同実施形態に係る撮像モジュール１００の機能的構成の一例を示すブロック図である。 同実施形態に係る撮像素子１３４の平面構成例を示す説明図である。 同実施形態に係る撮像方法の一例を説明するフローチャートである。 同実施形態に係る撮像方法の一例を説明するための説明図（その１）である。 同実施形態に係る撮像方法の一例を説明するための説明図（その２）である。 同実施形態に係る撮像方法の一例を説明するための説明図（その３）である。 同実施形態に係る撮像方法の一例を説明するための説明図（その４）である。 本開示の第２の実施形態に係る撮像方法の一例を説明するフローチャートである。 同実施形態に係る撮像方法の一例を説明するための説明図である。 本開示の第３の実施形態に係る撮像方法の一例を説明するフローチャートである。 同実施形態に係る撮像方法の一例を説明するための説明図（その１）である。 同実施形態に係る撮像方法の一例を説明するための説明図（その２）である。 同実施形態に係る撮像方法の一例を説明するための説明図（その３）である。 本開示の第４の実施形態に係る撮像方法の一例を説明するフローチャートである。 同実施形態に係る撮像方法の一例を説明するための説明図である。 本開示の第５の実施形態に係る撮像方法の一例を説明するフローチャートである。 同実施形態に係る撮像方法の一例を説明するための説明図である。 本開示の第６の実施形態に係る電子機器９００の一例を示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１． 本発明者が本開示の実施形態を創作するに至った背景
２． 第１の実施形態
２．１ 撮像システムの概略
２．２ 撮像モジュールの詳細構成
２．３ 撮像方法
２．４ 変形例１
２．５ 変形例２
３． 第２の実施形態
３．１ 撮像モジュールの詳細構成
３．２ 撮像方法
４． 第３の実施形態
４．１ 撮像モジュールの詳細構成
４．２ 撮像方法
５． 第４の実施形態
５．１ 撮像モジュールの詳細構成
５．２ 撮像方法
６． 第５の実施形態
６．１ 撮像モジュールの詳細構成
６．２ 撮像方法
７． 第６の実施形態
８． 移動体への応用例
９． まとめ
１０． 補足

以下に説明する実施形態は、製造現場等に設置された製造ラインにおいて、傷の有無、異物の混入の有無、製造品の外観が出荷に適した合格品かどうかを、製品の外観の画像に基づいて検査を行う、検査装置に適用されるものとして説明する。しかしながら、本実施形態は、検査装置に適用されることに限定されるものではなく、他の装置や他の目的に適用されてもよい。

さらに、以下に説明する実施形態は、グローバルシャッタ方式で動作する撮像モジュールに適用されるものとして説明する。なお、以下の説明において、グローバルシャッタ方式とは、撮像モジュールの各撮像素子で得られた撮像信号（信号情報）を一括して読み出し、読み出した撮像信号に基づき、１フレーム画像を生成する方式のことを意味する。しかしながら、本実施形態は、グローバルシャッタ方式の撮像モジュールに適用されることに限定されるものではなく、他の方式の撮像モジュールに適用されてもよい。

また、以下の説明において、１フレームとは、１回の読み出しことを意味し、従って、上記１フレーム画像は、上記撮像信号の一括読み出しを１回行うことで生成される画像のこととなる。

＜＜１． 本発明者が本開示の実施形態を創作するに至った背景＞＞
先に説明したように、製品の外観をより正確に捉えるために、例えば、被写体象に係る光の波長を細かく複数に分けて検出することによって得られた複数の分光画像を１つに合成し、合成した画像を用いることが提案されている。

詳細には、分光画像を得る方法の一例としては、撮像モジュールは、回折格子やミラー等の光学部品を使用して、１水平ライン分として垂直方向に光を分光し、検出する。さらに、被写体又は撮像モジュールを水平方向に等速移動（スキャン）させて、上述の分光、検出を行うことにより、光の波長ごとの２次元画像を取得する。

また、上記特許文献１では、波長の異なるストロボ光を被写体に連続照射し、空間的に分離された被写体からの反射光を、撮像モジュールの複数の撮像素子が並ぶ受光面における異なる位置に入射させることで検出している。しかしながら、上記特許文献１では、上述したように、空間的に反射光を分離するために、回折格子やミラー等の多数の光学部品を必要とし、構成が複雑であることや、撮像モジュールの製造コストが増加することを避けることが難しい。

また、上記特許文献２では、フレーム毎に、光源から発せられる光の波長を切り替えることにより、波長ごとの画像を検出している。具体的には、上記特許文献２では、３つの異なる波長の画像を得ようとする場合、３フレーム分の撮像時間がかかることとなる。従って、上記特許文献２では、画像を得るための処理時間の増加を抑えることが難しく、リアルタイム性が乏しい。

そこで、このような状況を鑑みて、簡単な構成で、且つ、高速に、分光画像の合成画像を得ることができる、本開示の実施形態を創作するに至った。詳細には、本開示の実施形態によれば、回折格子やミラー等の多数の光学部品を必要とせず、構成が複雑になることや撮像モジュールの製造コストが増加することを避けることができ、さらには、１フレーム分の撮像時間で、複数の分光画像を１つに合成した画像を生成することができる。以下に、本発明者が創作した本開示の実施形態の詳細を順次説明する。

＜＜２． 第１の実施形態＞＞
＜２．１ 撮像システムの概略＞
まずは、本開示の実施形態に係る撮像システム１０の構成について、図１を参照して説明する。図１は、本実施形態に係る撮像システム１０の構成の一例を説明するための説明図である。図１に示すように、本実施形態に係る撮像システム１０は、例えば、撮像モジュール１００と、制御サーバ２００と、ベルトコンベア（移動装置）３００とを主に含むことができる。すなわち、上記ベルトコンベア３００は、製造ラインに設けられており、製造品（以下の説明においては、被写体８００と呼ぶ）を搬送する。また、撮像モジュール１００は、傷の有無、異物の混入の有無、製造品の外観が出荷に適した合格品かどうかを、製品の外観の画像に基づいて検査を行う、検査装置に適用される。以下に、撮像システム１０に含まれる各装置の概略について順次説明する。

（撮像モジュール１００）
撮像モジュール１００は、光を被写体８００に照射し、被写体８００からの反射光を受光し、１フレーム画像を生成し、当該１フレーム画像から合成画像を生成する。当該撮像モジュール１００の詳細構成については後述する。

（制御サーバ２００）
制御サーバ２００は、撮像モジュール１００を制御し、さらには、後述するベルトコンベア３００の走行スピードや、ベルトコンベア３００上の被写体８００の位置等を監視したり、制御したりすることができる。制御サーバ２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のハードウェアにより実現される。

（ベルトコンベア３００）
ベルトコンベア３００は、制御サーバ２００による制御に応じて、被写体８００を移動させることができる移動装置である。もしくは、ベルトコンベア３００は、制御サーバ２００によって走行速度が監視され、且つ、被写体８００を移動させることができる移動装置である。なお、本実施形態においては、移動装置は、ベルトコンベア３００に限定されるものではなく、被写体８００を移動させることができる移動装置であれば特に限定されるものではない。

なお、本実施形態に係る撮像システム１０内の各装置は、互いにネットワーク（図示省略）を介して通信可能に接続される。詳細には、例えば、撮像モジュール１００と、制御サーバ２００と、ベルトコンベア３００とは、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のアクセスポイント等）を介して上記ネットワークに接続されることができる。なお、上記ネットワークで用いられる通信方式は、有線又は無線（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。

＜２．２ 撮像モジュールの詳細構成＞
次に、本実施形態に係る撮像モジュール１００の構成について、図２を参照して説明する。図２は、本実施形態に係る撮像モジュール１００の機能的構成の一例を示すブロック図である。図２に示すように、本実施形態に係る撮像モジュール１００は、例えば、照射部１１０と、撮像デバイス１２０とを主に含むことができる。以下に、撮像モジュール１００に含まれる各ブロックの詳細について説明する。なお、以下の説明においては、照射部１１０と撮像デバイス１２０とは一体の撮像モジュール１００として構成されているものとして説明するが、本実施形態においては、このように一体のものとして構成されていることに限定されるものではない。すなわち、本実施形態においては、照射部１１０と撮像デバイス１２０とは別体のものとして構成されていてもよい。

（照射部１１０）
照射部１１０は、移動する被写体８００の位置に応じて異なる波長（例えば、波長λ_１〜λ_７）を有する照射光を、被写体８００に間欠的に順次照射することができる（パルス照射）。詳細には、図２に示すように、照射部１１０は、互いに異なる位置に設けられた（詳細には、ベルトコンベア３００の進行方向に沿って異なる位置に設けられた）、互いに異なる波長の光を発光することが可能な複数の発光素子（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ；ＬＥＤ）１１２を有する。そして、本実施形態においては、これら複数の発光素子１１２は、被写体８００の位置に応じて、言い換えると、被写体８００が各発光素子１１２の照射可能な位置に到達したことに同期して、該当する発光素子１１２が該当する波長の光を順次照射する。例えば、複数の発光素子１１２は、近赤外光（波長８００ｎｍから１７００ｎｍ程度）を発光する複数のＬＥＤ発光ダイオードを含むことができる。より具体的には、図２の例では、発光素子１１２ａは、波長が９００ｎｍの近赤外光を発光し、発光素子１１２ｂは、波長が１２００ｎｍの近赤外光を発光し、発光素子１１２ｃは、波長が１５００ｎｍの近赤外光を発光することができる。

（撮像デバイス１２０）
撮像デバイス１２０は、図２に示すように、単一の撮像装置からなり、撮像部１３０と、合成部１４０と、制御部１５０とを主に有することができる。なお、図２に示す例では、撮像部１３０と、合成部１４０と、制御部１５０とは一体の装置として構成されているが、本実施形態においては、これに限定されるものではなく、これらが別個に設けられていてもよい。以下に、撮像デバイス１２０に含まれる各機能部の詳細について順次説明する。

〜撮像部１３０〜
撮像部１３０は、移動する被写体８００で反射された各波長（例えば、波長λ_１〜λ_７）を有する反射光を順次受光することができる。さらに、撮像部１３０は、各波長の反射光の受光に基づく各撮像信号（信号情報）を一時的に順次保持し、次いで、保持した前記各撮像信号を一括して読み出すことにより、１フレーム画像を生成することができる。詳細には、撮像部１３０は、レンズ部１３２、絞り機構（図示省略）、ズームレンズ（図示省略）及びフォーカスレンズ（図示省略）等により構成される光学系機構（図示省略）を有する。さらに、撮像部１３０は、上記光学系機構で得られた光を光電変換して撮像信号を生成する複数の撮像素子１３４と、生成された撮像信号を一時的に保持する複数のメモリ部１３６と、複数のメモリ部１３６から撮像信号を一括して読み出す読出部１３８とを有する。なお、図２においては、撮像素子１３４及びメモリ部１３６は１つずつ描かれているが、本実施形態に係る撮像部１３０においては、撮像素子１３４及びメモリ部１３６はそれぞれ複数個設けられることができる。

より具体的には、上記光学系機構は、上述のレンズ部１３２等を用いて、被写体８００からの反射光を光学像として複数の撮像素子１３４上に集光させる。例えば、撮像素子１３４は、例えば、近赤外光を検出することが可能なＩｎＧａＡｓフォトダイオード（ＩｎＧａＡｓ撮像素子）といった化合物センサであることができ、もしくは、可視光を検出することが可能なシリコンフォトダイオードであることができる。そして、複数の撮像素子１３４は、受光面（結像する面）上にマトリックス状に並んでおり、それぞれ、結像された光学像を画素単位（撮像素子単位）で光電変換し、各画素の信号を撮像信号として生成する。そして、複数の撮像素子１３４は、生成された撮像信号を例えば画素単位で設けられたメモリ部１３６へ出力する。当該メモリ部１３６は、出力された撮像信号を一時的に保持することができる。さらに、読出部１３８は、複数のメモリ部１３６から撮像信号を一括して読み出すことにより、１フレーム画像を合成部１４０へ出力することができる。すなわち、本実施形態においては、撮像部１３０は、各メモリ部１３６に保持された撮像信号を一括して読み出すグローバルシャッタ方式で動作することができる。

また、本実施形態においては、例えばベルトコンベア３００により被写体８００が撮像位置に到達したことをトリガにして、上述した照射部１１０による照射と、撮像部１３０によるグローバルシャッタ方式の撮像（多重露光）とが同期するようにして行われることとなる。

さらに、図３を参照して、上述した複数の撮像素子１３４の平面構成例を以下に説明する。図３は、本実施形態に係る撮像素子１３４の平面構成例を示す説明図である。図３に示すように、本実施形態に係る複数の撮像素子１３４は、例えばシリコンからなる半導体基板５００上の受光面にマトリック状に配置されている。詳細には、本実施形態に係る撮像モジュール１００は、複数の撮像素子１３４が配置された画素アレイ部４１０と、当該画素アレイ部４１０を取り囲むように設けられた周辺回路部４８０とを有する。さらに、上記周辺回路部４８０は、垂直駆動回路部４３２、カラム信号処理回路部４３４、水平駆動回路部４３６、出力回路部４３８、制御回路部４４０等を含む。以下に、画素アレイ部４１０及び周辺回路部４８０の詳細について説明する。

画素アレイ部４１０は、半導体基板５００上にマトリックス状に２次元配置された複数の撮像素子（画素）１３４を有する。さらに、複数の画素１３４には、画像生成用の画素信号を生成する通常画素と、焦点検出用の画素信号を生成する１対の位相差検出用画素とが含まれていてもよい。各画素１３４は、複数のＩｎＧａＡｓ撮像素子（光電変換素子）と、複数の画素トランジスタ（例えばＭＯＳ（Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタ）（図示省略）とを有している。さらに詳細には、当該画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタ等を含むことができる。

垂直駆動回路部４３２は、例えばシフトレジスタによって形成され、画素駆動配線４４２を選択し、選択された画素駆動配線４４２に画素１３４を駆動するためのパルスを供給し、行単位で画素１３４を駆動する。すなわち、垂直駆動回路部４３２は、画素アレイ部４１０の各画素１３４を行単位で順次垂直方向（図３中の上下方向）に選択走査し、各画素１３４の光電変換素子の受光量に応じて生成された電荷に基づく画素信号を、垂直信号線４４４を通して後述するカラム信号処理回路部４３４に供給する。

カラム信号処理回路部４３４は、画素１３４の列ごとに配置されており、１行分の画素１３４から出力される画素信号に対して画素列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路部４３４は、画素固有の固定パターンノイズを除去するためにＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング)及びＡＤ（Ａｎａｌｏｇ−Ｄｅｇｉｔａｌ）変換等の信号処理を行うことができる。

水平駆動回路部４３６は、例えばシフトレジスタによって形成され、水平走査パルスを順次出力することによって、上述したカラム信号処理回路部４３４の各々を順番に選択し、カラム信号処理回路部４３４の各々から画素信号を水平信号線４４６に出力させることができる。

出力回路部４３８は、上述したカラム信号処理回路部４３４の各々から水平信号線４４６を通して順次に供給される画素信号に対し、信号処理を行い出力することができる。出力回路部４３８は、例えば、バッファリング（ｂｕｆｆｅｒｉｎｇ）を行う機能部として機能してもよく、もしくは、黒レベル調整、列ばらつき補正、各種デジタル信号処理等の処理を行ってもよい。なお、バッファリングとは、画素信号のやり取りの際に、処理速度や転送速度の差を補うために、一時的に画素信号を保存することをいう。また、入出力端子４４８は、外部装置との間で信号のやり取りを行うための端子であり、本実施形態においては必ずしも設けられていなくてもよい。

制御回路部４４０は、入力クロックと、動作モードなどを指令するデータを受け取り、また画素１３４の内部情報等のデータを出力することができる。すなわち、制御回路部４４０は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路部４３２、カラム信号処理回路部４３４及び水平駆動回路部４３６等の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路部４４０は、生成したクロック信号や制御信号を、垂直駆動回路部４３２、カラム信号処理回路部４３４及び水平駆動回路部４３６等に出力する。

なお、本実施形態に係る撮像素子１３４の平面構成例は、図３に示される例に限定されるものではなく、例えば、他の回路部等を含んでもよく、特に限定されるものではない。

〜合成部１４０〜
合成部１４０は、撮像部１３０から出力された１フレーム画像から、各波長（例えば、波長λ_１〜λ_７）の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の被写体象を重ねあわせて、合成画像を生成する。合成部１４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。詳細には、合成部１４０は、図２に示すように、２値化処理部１４２と、撮像領域特定部１４４と、合成処理部１４６とを主に有する。以下に、合成部１４０に含まれる各機能部の詳細について順次説明する。

２値化処理部１４２は、撮像部１３０から出力された１フレーム画像を２段階の色調に変換する２値化処理を行うことにより、２段階色調画像（例えば、白黒画像）を生成することができる。例えば、２値化処理部１４２は、濃淡のある１フレーム画像内の各画素単位（詳細には各画素）の撮像信号を所定の閾値と比較し、当該閾値を挟んで、一方の範囲内の撮像信号を持つ画素単位を白色、他方の範囲内の撮像信号を持つ画素単位を黒色に変換することにより、白黒画像を生成することができる。本実施形態においては、このように、濃淡のある１フレーム画像に対して２値化処理を行い白黒画像に変換することにより、１フレーム画像内の被写体８００の撮像の輪郭が明確化され、後述する被写体象の特定を容易に、且つ、精度よく行うことができるようになる。

撮像領域特定部１４４は、上記１フレーム画像内の、各波長（例えば、波長λ_１〜λ_７）の反射光に対応する被写体象（例えば、ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ））をそれぞれ特定する。詳細には、撮像領域特定部１４４は、例えば、２値化処理部１４２で生成した２段階色調画像内に含まれる各被写体８００の撮像の輪郭を検出することにより、上記１フレーム画像内における各被写体８００の撮像の中心座標（例えば、Ｘ、Ｙ座標）を特定することできる。さらに、撮像領域特定部１４４は、特定した中心座標に基づき、各波長の反射光に対応する被写体８００の撮像の領域であるＲＯＩを特定することができる。例えば、撮像領域特定部１４４は、予め設定された、被写体８００の撮像を含むことが可能なサイズを持つ矩形状の抽出枠の中心を、特定した各中心座標に重ねることにより、１フレーム画像内における各ＲＯＩを特定することができる。なお、本実施形態においては、上記抽出枠は、矩形状であることに限定されるものではなく、被写体８００の撮像を含むことが可能なサイズを持っていれば、多角形状や円形状、もしくは、被写体８００の形状と同一又は類似する形状であってもよい。また、本実施形態においては、ＲＯＩの特定は、上記中心座標に基づいて行うことに限定されるものではなく、例えば、検出した各被写体８００の撮像の輪郭に基づいて行ってもよく、特に限定されるものではない。

また、本実施形態においては、撮像領域特定部１４４は、２段階色調画像を用いることなく、上記１フレーム画像内の、被写体８００の表面に設けられた識別マーカ（図示省略）の撮像の位置を特定することにより、各ＲＯＩを特定してもよい。さらに、本実施形態においては、撮像領域特定部１４４は、２段階色調画像を用いることなく、上記１フレーム画像内の、予めユーザが指定した複数の所定の領域（例えば、予め領域の各頂点の座標が設定されている）に基づいて、各ＲＯＩを特定してもよい。

そして、合成処理部１４６は、撮像領域特定部１４４で特定した各ＲＯＩに基づいて、１フレーム画像から、各ＲＯＩをそれぞれ切り出し、切り出した複数のＲＯＩを重ねあわせて合成画像を生成する。具体的には、合成処理部１４６は、各ＲＯＩに含まれる被写体８００の撮像の中心と輪郭とが一致するように位置合わせして複数のＲＯＩを重ねあわせ、合成画像を生成する。なお、本実施形態においては、合成処理部１４６は、各ＲＯＩに含まれる、被写体８００の表面に設けられた識別マーカ（図示省略）の撮像が一致するようにして複数のＲＯＩを重ねあわせて、合成画像を生成してもよく、特に限定されるものではない。さらに、合成処理部１４６は、合成画像を生成する際に、各波長（例えば、波長λ_１〜λ_７）にあらかじめ割り当てられた色情報（色彩情報）を参照して（例えば、可視光帯域の赤、緑、青を割り当てる）、疑似カラー画像を生成することができる。本実施形態においては、このように疑似カラー画像の合成画像を生成することで、画像内の細部の視認性を向上させることができる。なお、疑似カラー画像の生成の詳細については、後述する。

〜制御部１５０〜
制御部１５０は、撮像部１３０に対して、照射部１１０の照射と同期させて、反射光の受光を行わせるように制御することができる。制御部１５０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。

以上のように、本実施形態に係る撮像モジュール１００によれば、回折格子やミラー等の多数の光学部品を必要とせず、構成が複雑になることや撮像モジュール１００の製造コストが増加することを避けることができる。すなわち、本実施形態によれば、簡単な構成の撮像モジュール１００を提供することができる。

＜２．３ 撮像方法＞
以上、本実施形態に係る撮像システム１０及び当該撮像システム１０に含まれる各装置の構成について詳細に説明した。次に、本実施形態に係る撮像方法について、図４から図８を参照して説明する。図４は、本実施形態に係る撮像方法の一例を説明するフローチャートである。図５から図８は、本実施形態に係る撮像方法の一例を説明するための説明図である。図４に示すように、本実施形態に係る撮像方法には、ステップＳ１０１からステップＳ１２１までの複数のステップが含まれる。以下に、本実施形態に係る撮像方法に含まれる各ステップの詳細を説明する。

（ステップＳ１０１）
制御部１５０は、例えば、制御サーバ２００と協働して、ベルトコンベア３００の走行スピード（例えば、等速に制御される）、又は、ベルトコンベア３００上の被写体８００の位置を監視する。

（ステップＳ１０３）
制御部１５０は、被写体８００が撮影開始位置に到達したかどうかを判定する。本実施形態においては、被写体８００が撮影開始位置に到達した場合には、次のステップＳ１０５へ進み、被写体８００が撮影開始位置に到達していない場合には、前のステップＳ１０１へ戻る。すなわち、本実施形態においては、上述したように、ベルトコンベア３００の走行と同期させて、照射／受光の動作を行うこととなる。なお、本実施形態においては、被写体８００が撮影開始位置に到達したことをトリガにして、処理を進めることに限定されるものではなく、ほかの事象等をトリガにしてもよい。また、本実施形態においては、トリガとなる事象の取得も、撮像システム１０内の各装置から取得してもよく、もしくは、撮像システム１０の外部の装置から取得してもよく、特に限定されるものではない。

（ステップＳ１０５）
制御部１５０は、被写体８００の位置に対応する発光素子１１２を制御して、被写体８００に所定の波長（例えば、波長λ_１〜λ_７）を有する光（例えば、所定の波長を有する近赤外光）を照射させる。具体的には、図５に示すように、各発光素子１１２ａ〜ｃは、被写体８００が自身の下方に到達した場合には、当該被写体８００に向けて所定の波長を有する光を照射する。

（ステップＳ１０７）
制御部１５０は、ステップＳ１０５での発光素子１１２の照射と同期させるようにして、複数の撮像素子１３４を制御して、被写体８００からの反射光を受光させる。例えば、図５に示すように、複数の撮像素子１３４（Ｐｈｏｔｏｄｉｏｄｅ；ＰＤ）は、各発光素子１１２ａ〜ｃの照射と同期して、受光を行い、受光により得られた被写体の撮像８０２を撮像信号として生成し、生成された撮像信号を各メモリ部１３６（Ｍｅｍｏｒｙ：ＭＥＭ）へ出力する。さらに、当該各メモリ部１３６は、一時的に撮像信号を保持する。なお、撮像信号は、ステップＳ１０５で発光素子１１２が照射した光の各波長（例えば、波長λ_１〜λ_７）に対応する被写体８００の撮像８０２に対応し、当該各撮像８０２は、後述する１フレーム画像に含まれることとなる（すなわち、多重露光）。

（ステップＳ１０９）
制御部１５０は、該当する発光素子１１２を制御して、照射を終了させる。

（ステップＳ１１１）
制御部１５０は、全ての発光素子１１２が照射を行ったかどうかを判定する。本実施形態においては、全ての発光素子１１２が照射を行った場合には、次のステップＳ１１３へ進み、全ての発光素子１１２が照射を行っていない場合には、前のステップＳ１０５へ戻る。

すなわち、本実施形態においては、図６の上段に示すように、照射部１１０は、移動する被写体８００に対して、互いに異なる波長（例えば、λ_１〜λ_７）を有する光を順次パルス照射する。そして、本実施形態においては、図６の中段に示すように、照射タイミングと同期して、撮像素子１３４による被写体８００からの反射光の受光、撮像信号のメモリ部１３６へ転送、及び、メモリ部１３６による撮像信号の一時的な保持を順次実行する。次いで、図６の下段に示すように、この後のステップにおいて、各メモリ部１３６から撮像信号を一括して読み出すことにより、言い換えると、被写体８００の軌跡を捉える多重露光を行うことにより、各波長に対応する被写体８００の撮像８０２（分光画像）を含む１フレーム画像を取得することができる。

（ステップＳ１１３）
制御部１５０は、読出部１３８を制御して、各メモリ部１３６に格納された撮像信号を一括して読み出し、各波長（例えば、波長λ_１〜λ_７）に対応する被写体８００の撮像８０２（分光画像）を含む１フレーム画像を取得し、合成部１４０に出力する（グローバルシャッタ方式）。

（ステップＳ１１５）
制御部１５０は、合成部１４０の２値化処理部１４２を制御して、ステップＳ１１３で取得した１フレーム画像を２段階の色調に変換して、２段階色調画像を生成する２値化処理を行う。例えば、当該ステップＳ１１５においては、図７の中段に示すような白黒画像を得ることができる。さらに、制御部１５０は、合成部１４０の撮像領域特定部１４４を制御して、２値化処理後の画像に含まれる輪郭等を検出することにより、各被写体８００の撮像８０２の位置を検出する。例えば、当該ステップＳ１１５においては、図７の中段に示すように、白黒画像から、各被写体８００の撮像８０２の中心座標（Ｘ，Ｙ）を検出する。

（ステップＳ１１７）
制御部１５０は、図７の下段に示すように、合成部１４０の合成処理部１４６を制御して、上記ステップＳ１１５で検出した被写体８００の各撮像８０２の位置に基づき、事前に定められた抽出枠を有する各ＲＯＩを切り出す。

（ステップＳ１１９）
制御部１５０は、図７の下段に示すように、合成処理部１４６を制御して、各ＲＯＩに含まれる被写体８００の撮像の中心と輪郭とが一致するように位置合わせして、切り出した複数のＲＯＩを重ねあわせる。さらに、制御部１５０は、合成処理部１４６を制御して、各波長（例えば、波長λ_１〜λ_７）にあらかじめ割り当てられた色情報を参照して、合成画像として、疑似カラー画像を生成する。

以下に、本実施形態における疑似カラー画像の生成方法の一例を説明する。ここで、わかりやすくするために、波長λ_１〜λ_３の３つの波長に対応する被写体８００の撮像８０２（分光画像）を含む１フレーム画像を取得するものとして、疑似カラー画像の生成方法を説明する。

当該例においては、上記色情報として、波長λ_１には赤色が、波長λ_２には緑色が、波長λ_３には青色が事前に割り当てられているものとする。さらに、本実施形態においては、疑似カラー画像を生成する際、撮像モジュール１００の、複数の撮像素子１３４が可視光を検出することができるものと仮定する。すなわち、撮像モジュール１００の、複数の撮像素子１３４がマトリックス状に配置されている受光面においては、赤色を検出する撮像素子、緑色を検出する撮像素子、及び青色を検出する撮像素子がベイヤー配列に従って並んでいるものと仮定する。

そして、本実施形態においては、上述した割り当て及び仮定の条件の下で、以下のように疑似カラー画像を合成することができる。詳細には、まずは、図８の上段左側に示すように、波長λ_１に対応するＲＯＩの画像データをベイヤー配列上の赤色（Ｒ）の位置に割り当て、画素データ群８０４ａを生成する。次に、図８の中段左側に示すように、波長λ_２に対応するＲＯＩの画像データをベイヤー配列上の緑色（Ｇ）の位置に割り当て、画素データ群８０４ｂを生成する。さらに、図８の下段左側に示すように、波長λ_３に対応するＲＯＩの画像データをベイヤー配列上の青色（Ｂ）の位置に割り当て、画素データ群８０４ｃを生成する。そして、本実施形態においては、各色の位置に画像データが割り当てられた画素データ群８０４ａ、８０４ｂ、８０４ｃを合成することにより、図８の右側に示す疑似カラー画像８０６を合成することができる。本実施形態においては、このように疑似カラー画像８０６の合成画像を生成することで、画像内の細部の視認性を向上させることができる。

なお、本実施形態においては、疑似カラー画像８０６の合成は、上述の例に限定されるものではなく、色彩パラメータ等の画素ごとの加算平均を用いる等の他の手法を用いて実施されてもよい。

（ステップＳ１２１）
制御部１５０は、合成処理部１４６を制御して、制御部１５０に生成した合成画像を出力する。さらに、出力した合成画像は、制御部１５０にて適切なフォーマットに変換され、例えば、制御サーバ２００等に出力される。

以上のように、本実施形態によれば、１フレーム画像を用いて合成画像を生成することから、１フレーム分の撮像時間で、複数の分光画像を１つに合成した画像を生成することができる。すなわち、本実施形態によれば、高速に、分光画像の合成画像を得ることができる。

＜２．４ 変形例１＞
なお、本実施形態においては、変形例として、先に説明したように、２段階色調画像を用いることなく、上記１フレーム画像内の、予めユーザが指定した複数の所定の領域に基づいて、各ＲＯＩを特定することもできる。

＜２．５ 変形例２＞
なお、上述した説明においては、切り出した複数のＲＯＩを重ねあわせて合成画像を生成するものとして説明したが、本実施形態及び変形例１は、これに限定されるものではない。例えば、本実施形態及び変形例１においては、上記１フレーム画像そのものを出力してもよく、もしくは、上記１フレーム画像から切り出したＲＯＩを出力してもよい。例えば、この場合、光の各波長に対応する画像を別々に取得、解析することができることから、該当する波長に対する成分の有無や分布等を容易に認識することが可能となる。

＜＜３． 第２の実施形態＞＞
上述の第１の実施形態においては、互いに異なる波長の光を照射するために複数の発光素子１１２を設けていたが、複数のフィルタ１６２（図１０ 参照）を用いることにより、白色光を発光する１つの発光素子１１２ｄ（図１０ 参照）でも、上述の実施形態と同様に合成画像を得ることができる。このようにすることで、本実施形態においては、複数のフィルタ１６２を用いることにより、照射部１１０の構成が複雑になることや照射部１１０の製造コストが増加することを避けることができる。そこで、複数のフィルタ１６２からなるフィルタ部１６０（図１０ 参照）を設けた実施形態を、本開示の第２の実施形態として、図９及び図１０を参照して説明する。図９は、本実施形態に係る撮像方法の一例を説明するフローチャートであり、図１０は、本実施形態に係る撮像方法の一例を説明するための説明図である。

＜３．１ 撮像モジュールの詳細構成＞
まずは、本開示の第２の実施形態に係る撮像モジュール１００の詳細構成について説明する。以下の説明においては、上述した第１の実施形態と共通する点については説明を省略し、異なる点のみを説明する。本実施形態においては、撮像モジュール１００の照射部１１０は、被写体８００に白色光を照射することができる発光素子１１２ｄ（図１０ 参照）を有する。なお、本実施形態においては、発光素子１１２ｄであることに限定されるものではなく、例えば、照射部１１０の代わりに室内灯等を用いてもよく、自然光であってもよい（この場合、照射部１１０自体が不要となる）。すなわち、本実施形態によれば、特別な構成を持つ照射部１１０は不要となり、一般的な照明装置等を用いることが可能となる。

また、本実施形態に係る撮像デバイス１２０の撮像部１３０は、レンズ部１３２の被写体８００側に、フィルタ部１６０（図１０ 参照）をさらに有する。詳細には、フィルタ部１６０は、図１０に示すように、ベルトコンベア３００の進行方向（移動方向）に沿って順次並ぶように設けられた複数のフィルタ１６２ａ、１６２ｂ、１６２ｃを有する（なお、図１０においては、３つのフィルタ１６２ａ〜ｃが描かれているが、本実施形態においては、３つのフィルタに限定されるものではなく、複数個設けることができる）。各フィルタ１６２ａ、１６２ｂ、１６２ｃは、狭帯域のＯＣＣＦ（Ｏｎ Ｃｈｉｐ Ｃｏｌｏｒ Ｆｉｌｔｅｒ）又はプラズモンフィルタ（表面プラズモンを用いて、特定の波長のみを透過させるフィルタ）からなり、互いに異なる波長の光を透過させることができる。例えば、各フィルタ１６２ａ、１６２ｂ、１６２ｃは、第１の実施形態における各波長λ_１〜λ_７を有する光をそれぞれ透過させることができる。

また、本実施形態においては、例えばベルトコンベア３００により被写体８００が撮像位置に到達したことをトリガにして、撮像部１３０によるグローバルシャッタ方式の撮像（多重露光）が行われることとなる。

このように、本実施形態においては、複数のフィルタ１６２を用いることにより１種類の発光素子１１２ｄがあればよいことから、照射部１１０の構成が複雑になることや照射部１１０の製造コストが増加することを避けることができる。また、本実施形態においては、一般的な室内灯や自然光等を用いることにより、照射部１１０を不要にすることができる。すなわち、本実施形態によれば、特別な構成を持つ照射部１１０は不要となり、一般的な照明装置等を用いることが可能となる。

＜３．２ 撮像方法＞
以上、本実施形態に係る撮像モジュール１００の詳細構成に説明した。次に、本実施形態に係る撮像方法について、図９及び図１０を参照して説明する。図９に示すように、本実施形態に係る撮像方法には、ステップＳ２０１からステップＳ２１７までの複数のステップが含まれる。以下に、本実施形態に係る撮像方法に含まれる各ステップの詳細を説明する。

まず、本実施形態においては、上述の発光素子１１２ｄは、光の照射を開始する。

（ステップＳ２０１からステップＳ２０５）
本実施形態に係るステップＳ２０１からステップＳ２０５は、図４に示す第１の実施形態に係るステップＳ１０１、ステップＳ１０３、ステップＳ１０７とそれぞれ同様であるため、ここでは説明を省略する。

（ステップＳ２０７）
制御部１５０は、撮像部１３０が全ての波長の反射光を受光したかどうかを判定する。本実施形態においては、全ての波長の反射光を受光した場合には、次のステップＳ２０９へ進み、全ての波長の反射光を受光していない場合には、前のステップＳ２０５へ戻る。

本実施形態においては、図１０の上段に示すように、移動する被写体８００に対して、例えば白色光が照射される。そして、図１０の中段に示すように、被写体８００が各フィルタ１６２ａ〜ｃの上に到達するタイミングと同期して、撮像素子１３４による被写体８００からの反射光の受光、撮像信号のメモリ部１３６へ転送、及び、メモリ部１３６による撮像信号の一時的な保持を順次実行する。次いで、第１の実施形態と同様に、図１０の下段に示すように、この後のステップにおいて、各メモリ部１３６から撮像信号を一括して読み出すことにより、各波長に対応する被写体８００の撮像８０２を含む１フレーム画像を取得することができる。

（ステップＳ２０９からステップＳ２１７）
本実施形態に係るステップＳ２０９からステップＳ２０７は、図４に示す第１の実施形態に係るステップＳ１１３からステップＳ１２１とそれぞれ同様であるため、ここでは説明を省略する。

＜＜４． 第３の実施形態＞＞
上述の第１の実施形態においては、各波長（例えば、波長λ_１〜λ_７）の反射光に対応する被写体８００の撮像８０２を含む１フレーム画像を２段階色調画像に変換して、１フレーム画像内における各被写体８００の撮像８０２の位置を特定していた。一方、以下に説明する本開示の第３の実施形態においては、位置の検出の精度をより高めるために、可視光（基準光）の反射光に対応する被写体８００の撮像８０２を含む１フレーム画像を用いて、可視光以外の各波長の反射光に対応する被写体８００の撮像８０２の位置を特定してもよい。このようにすることで、本実施形態においては、２段階色調画像において撮像８０２の輪郭が検出しやすい可視光象等を用いることができることから、精度よく、可視光以外の近赤外等の反射光に対応する被写体８００の撮像８０２の位置を検出することができる。そこで、このような第３の実施形態を、図１１から図１４を参照して説明する。図１１は、本実施形態に係る撮像方法の一例を説明するフローチャートであり、図１２から図１４は、本実施形態に係る撮像方法の一例を説明するための説明図である。

＜４．１ 撮像モジュールの詳細構成＞
まずは、本実施形態に係る撮像モジュール１００の詳細構成について説明する。以下の説明においては、上述した第１の実施形態と共通する点については説明を省略し、異なる点のみを説明する。本実施形態においては、第１の実施形態と比べて、照射部１１０は、被写体８００に可視光（基準光）を照射することができる発光素子（基準光発光素子）１１２ｆ（図１２ 参照）をさらに有する。詳細には、本実施形態においては、例えば、異なる波長（例えば、波長λ_１〜λ_７）を有する例えば近赤外光を照射する複数の発光素子１１２ａ、１１２ｂの間に、可視光を照射することができる発光素子１１２ｆが設けられている。なお、図１２においては、複数の発光素子１１２ｆが描かれているが、本実施形態においては、発光素子１１２ｆは複数個に限定されるものではなく、１個であってもよい。そして、本実施形態においては、例えば、発光素子１１２ａ、１１２ｂによって異なる波長を有する近赤外光の照射と、発光素子１１２ｆによる可視光の照射とを、交互に行うこととなる。また、以下の説明においては、発光素子１１２ｆは、基準光として可視光（例えば、波長λ_ｒｅｆを有する）を照射するものとして説明するが、本実施形態においては、可視光に限定されるものではなく、例えば、近赤外光以外の所定の波長を有する光を照射してもよい。

また、本実施形態においても、例えばベルトコンベア３００により被写体８００が撮像位置に到達したことをトリガにして、上記発光素子１１２ｆを含む照射部１１０による照射と、撮像部１３０によるグローバルシャッタ方式の撮像（多重露光）とが同期するようにして行われることとなる。

＜４．２ 撮像方法＞
以上、本実施形態に係る撮像モジュール１００の詳細構成に説明した。次に、本実施形態に係る撮像方法について、図１１から図１４を参照して説明する。図１１に示すように、本実施形態に係る撮像方法には、ステップＳ３０１からステップＳ３２１までの複数のステップが含まれる。以下に、本実施形態に係る撮像方法に含まれる各ステップの詳細を説明する。なお、本実施形態においては、被写体８００は、ベルトコンベア３００により等速に移動するものとする。

（ステップＳ３０１及びステップＳ３０３）
本実施形態に係るステップＳ３０１及びステップＳ３０３は、図４に示す第１の実施形態に係るステップＳ１０１及びステップＳ１０３とそれぞれ同様であるため、ここでは説明を省略する。

（ステップＳ３０５）
制御部１５０は、被写体８００の位置に対応する発光素子１１２を制御して、被写体８００に、可視光（例えば、波長λ_ｒｅｆ）を有する光、及び、所定の波長（例えば、波長λ_１〜λ_７）を有する近赤外光を交互に照射させる。具体的には、図１２に示すように、各発光素子１１２ａ、１１２ｂ、１１２ｆは、被写体８００が自身の下方に到達した場合には、当該被写体８００に向けて可視光又は近赤外光を照射する。

（ステップＳ３０７）
制御部１５０は、ステップＳ３０５での発光素子１１２の照射と同期させるようにして、複数の撮像素子１３４を制御して、被写体８００からの反射光を受光させる。例えば、図１２に示すように、複数の撮像素子１３４は、各発光素子１１２ａ、１１２ｂ、１１２ｆの照射と同期して、受光を行い、受光により得られた被写体の撮像８０２を撮像信号として生成し、生成された撮像信号を各メモリ部１３６へ出力する。さらに、当該各メモリ部１３６は、一時的に撮像信号を保持する。なお、撮像信号は、ステップＳ３０５で発光素子１１２ａ、１１２ｂ、１１２ｆが照射した光の各波長（例えば、波長λ_１〜λ_７、λ_ｒｅｆ）に対応する被写体８００の撮像８０２に対応し、当該各撮像８０２は、後述する１フレーム画像に含まれることとなる。

（ステップＳ３０９からステップＳ３１３）
本実施形態に係るステップＳ３０９からステップＳ３１３は、図４に示す第１の実施形態に係るステップＳ１０９からステップＳ１１３とそれぞれ同様であるため、ここでは説明を省略する。

（ステップＳ３１５）
制御部１５０は、合成部１４０の２値化処理部１４２を制御して、ステップＳ３１３で取得した１フレーム画像を２段階の色調に変換して、２段階色調画像を生成する２値化処理を行う（例えば、白黒画像化する）。

さらに、制御部１５０は、図１４の中段に示すように、合成部１４０の撮像領域特定部１４４を制御して、２値化処理後の画像に含まれる、可視光に対応する被写体８００の各撮像８０２の輪郭を検出する。次いで、制御部１５０は、合成部１４０の撮像領域特定部１４４を制御して、２つの、可視光に対応する被写体８００の各撮像８０２の位置から、これら撮像８０２に挟まれた、近赤外光に対応する被写体８００の撮像８０２の中心座標（Ｘ，Ｙ）を検出する。本実施形態においては、被写体８００は、ベルトコンベア３００により等速に移動していることから、１フレーム画像内においては、２つの、可視光に対応する被写体８００の各撮像８０２の間の中心に、近赤外光に対応する被写体８００の撮像８０２は位置しているはずである。そこで、本実施形態においては、２段階色調画像において輪郭を検出することが容易な、可視光に対応する２つの撮像８０２を用いて、これら２つの撮像８０２の中心を算出することにより、精度よく、近赤外光等に対応する被写体８００の撮像８０２の中心座標（Ｘ，Ｙ）を検出することができる。

（ステップＳ３１７からステップＳ３２１）
本実施形態に係るステップＳ３１７からステップＳ３２１は、図４に示す第１の実施形態に係るステップＳ１１７からステップＳ１２１とそれぞれ同様であるため、ここでは説明を省略する。

このように、本実施形態においては、２段階色調画像において輪郭を検出することが容易な、可視光に対応する２つの撮像８０２を用いて、これら２つの撮像８０２の中心を算出することにより、精度よく、近赤外光等に対応する被写体８００の撮像８０２の位置を検出することができる。

＜＜５． 第４の実施形態＞＞
上述の第１の実施形態においては、２段階色調画像を用いて、近赤外光等に対応する被写体８００の撮像８０２の位置を検出していた。一方、以下に説明する実施形態においては、上記１フレーム画像内の被写体８００の撮像８０２の位置が予め分かっている場合には、上記１フレーム画像内の、予めユーザが指定した複数の所定の領域に基づいて、最初から各ＲＯＩ内に対応する画素（撮像素子１３４）からの撮像信号のみを取得するようにしてもよい。このようにすることで、本実施形態においては、読出部１３８が一括して読み出す撮像信号量を減らし、その後の処理の負担を軽くすることができる。そこで、このような本開示の第４の実施形態を、図１５及び図１６を参照して説明する。図１５は、本実施形態に係る撮像方法の一例を説明するフローチャートであり、図１６は、本実施形態に係る撮像方法の一例を説明するための説明図である。

＜５．１ 撮像モジュールの詳細構成＞
本実施形態に係る撮像モジュール１００の詳細構成は、合成部１４０に、２値化処理部１４２及び撮像領域特定部１４４を設けていないこと以外は、上述した第１の実施形態と共通することから、ここでは説明を省略する。

＜５．２ 撮像方法＞
次に、本実施形態に係る撮像方法について、図１５及び図１６を参照して説明する。図１５に示すように、本実施形態に係る撮像方法には、ステップＳ４０１からステップＳ４１７までの複数のステップが含まれる。以下に、本実施形態に係る撮像方法に含まれる各ステップの詳細を説明する。なお、本実施形態においては、１フレーム画像内の被写体８００の撮像８０２の位置が予め分かっているものとする。

（ステップＳ４０１からステップＳ４０５）
本実施形態に係るステップＳ４０１からステップＳ４０５は、図４に示す第１の実施形態に係るステップＳ１０１からステップＳ１０５とそれぞれ同様であるため、ここでは説明を省略する。

（ステップＳ４０７）
制御部１５０は、第１の実施形態と同様に、ステップＳ４０５での発光素子１１２の照射と同期させるようにして、複数の撮像素子１３４を制御して、被写体８００からの反射光を受光させる。本実施形態においては、図１６に示すように、予めユーザが指定した複数の所定の領域に対応する各ＲＯＩ８０４内に対応する撮像素子１３４が、各発光素子１１２ａ〜ｃの照射と同期して、受光を行い、受光により得られた被写体の撮像８０２を撮像信号（信号情報の一部）として生成し、生成された撮像信号を各メモリ部１３６へ出力する。さらに、当該各メモリ部１３６は、一時的に上記撮像信号を保持する。なお、撮像信号は、ステップＳ４０５で発光素子１１２が照射した光の各波長（例えば、波長λ_１〜λ_７）のＲＯＩ８０４に対応し、当該各ＲＯＩ８０４は、後述する１フレーム画像に含まれることとなる（すなわち、ＲＯＩ露光）。すなわち、本実施形態においては、予めユーザが指定した複数の所定の領域に対応する各ＲＯＩ８０４内に対応する撮像信号のみを読み出すことから、読出部１３８が一括して読み出す撮像信号量を減らし、その後の処理の負担を軽くすることができる。

（ステップＳ４０９及びステップＳ４１１）
本実施形態に係るステップＳ４０９及びステップＳ４１１は、図４に示す第１の実施形態に係るステップＳ１０９及びステップＳ１１１とそれぞれ同様であるため、ここでは説明を省略する。

（ステップＳ４１３）
制御部１５０は、合成部１４０の合成処理部１４６を制御して、１フレーム画像に含まれる各ＲＯＩを切り出す。

（ステップＳ４１５及びステップＳ４１７）
本実施形態に係るステップＳ４１５及びステップＳ４１７は、図４に示す第１の実施形態に係るステップＳ１１９及びステップＳ１２１とそれぞれ同様であるため、ここでは説明を省略する。

このように、本実施形態においては、上記１フレーム画像内の被写体８００の撮像８０２の位置が予め分かっている場合には、上記１フレーム画像内の、予めユーザが指定した複数の所定の領域に基づいて、最初から各ＲＯＩ８０４内に対応する画素からの撮像信号のみを取得する。このようにすることで、本実施形態によれば、読出部１３８が一括して読み出す撮像信号量を減らし、その後の処理の負担を軽くすることができる。

＜＜６． 第５の実施形態＞＞
また、本開示においては、上述した第４の実施形態に係る撮像方法を、第２の実施形態に係る撮像モジュール１００に適用することもできる。このようにすることで、以下に説明する実施形態によれば、読出部１３８が一括して読み出す撮像信号量を減らし、その後の処理の負担を軽くすることができるばかりか、特別な構成を持つ照射部１１０は不要となり、一般的な照明装置等を用いることが可能となる。そこで、このような本開示の第５の実施形態を、図１７及び図１８を参照して説明する。図１７は、本実施形態に係る撮像方法の一例を説明するフローチャートであり、図１８は、本実施形態に係る撮像方法の一例を説明するための説明図である。

＜６．１ 撮像モジュールの詳細構成＞
本実施形態に係る撮像モジュール１００の詳細構成は、合成部１４０に、２値化処理部１４２及び撮像領域特定部１４４を設けていないこと以外は、上述した第２の実施形態と共通することから、ここでは説明を省略する。

＜６．２ 撮像方法＞
次に、本実施形態に係る撮像方法について、図１７及び図１８を参照して説明する。図１７に示すように、本実施形態に係る撮像方法には、ステップＳ５０１からステップＳ５１３までの複数のステップが含まれる。以下に、本実施形態に係る撮像方法に含まれる各ステップの詳細を説明する。なお、本実施形態においても、１フレーム画像内の被写体８００の撮像８０２の位置が予め分かっているものとする。

（ステップＳ５０１及びステップＳ５０３）
本実施形態に係るステップＳ５０１及びステップＳ５０３は、図４に示す第１の実施形態に係るステップＳ１０１及びステップＳ１０３とそれぞれ同様であるため、ここでは説明を省略する。

（ステップＳ５０５）
制御部１５０は、複数の撮像素子１３４を制御して、被写体８００からの反射光を受光させる。本実施形態においては、上述の第４の実施形態と同様に、図１８に示すように、予めユーザが指定した複数の所定の領域に対応する各ＲＯＩ８０４内に対応する撮像素子１３４が、受光を行い、受光により得られた被写体の撮像８０２を撮像信号（信号情報の一部）として生成し、生成された撮像信号を各メモリ部１３６へ出力する。さらに、当該各メモリ部１３６は、一時的に上記撮像信号を保持する。なお、撮像信号は、各フィルタ１６２ａ〜ｃが透過した光の各波長（例えば、波長λ_１〜λ_７）のＲＯＩ８０４に対応し、当該各ＲＯＩ８０４は、後述する１フレーム画像に含まれることとなる（すなわち、ＲＯＩ露光）。すなわち、本実施形態においては、予めユーザが指定した複数の所定の領域に対応する各ＲＯＩ８０４内に対応する撮像信号のみを読み出すことから、読出部１３８が一括して読み出す撮像信号量を減らし、その後の処理の負担を軽くすることができる。

（ステップＳ５０７）
本実施形態に係るステップＳ５０７は、図９に示す第２の実施形態に係るステップＳ２０７と同様であるため、ここでは説明を省略する。

（ステップＳ５０９）
本実施形態に係るステップＳ５０９は、図１５に示す第４の実施形態に係るステップＳ４１３と同様であるため、ここでは説明を省略する。

（ステップＳ５１１及びステップＳ５１３）
本実施形態に係るステップＳ５１１及びステップＳ５１３は、図４に示す第１の実施形態に係るステップＳ１１９及びステップＳ１２１とそれぞれ同様であるため、ここでは説明を省略する。

このように、本実施形態によれば、読出部１３８が一括して読み出す撮像信号量を減らし、その後の処理の負担を軽くすることができるばかりか、特別な構成を持つ照射部１１０は不要となり、一般的な照明装置等を用いることが可能となる。

＜＜７． 第６の実施形態＞＞
上述した本開示の実施形態に係る技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に撮像装置を用いる複写機等、画像取込部に撮像装置を用いる電子機器全般に対して適用可能である。さらに、本開示の技術は、自動車、ロボット、航空機、ドローン、各種検査機器（例えば、食品検査等）、医療機器（内視鏡）等にも適用可能である。以下に、本開示の実施形態に係る技術を適用した電子機器９００の一例を、本開示の第６の実施形態として、図１９を参照して説明する。図１９は、本実施形態に係る電子機器９００の一例を示す説明図である。

図１９に示すように、電子機器９００は、撮像装置９０２、光学レンズ（図２のレンズ部１３２に対応）９１０、シャッタ機構９１２、駆動回路ユニット（図２の制御部１５０に対応）９１４、及び、信号処理回路ユニット（図２の合成部１４０に対応）９１６を有する。光学レンズ９１０は、被写体からの像光（入射光）を撮像装置９０２の受光面上の複数の撮像素子１３４（図２ 参照）に結像させる。これにより、撮像装置９０２のメモリ部１３６（図２ 参照）内に、一定期間、信号電荷が蓄積される。シャッタ機構９１２は、開閉することにより、撮像装置９０２への光照射期間及び遮光期間を制御する。駆動回路ユニット９１４は、撮像装置９０２の信号の転送動作やシャッタ機構９１２のシャッタ動作等を制御する駆動信号をこれらに供給する。すなわち、撮像装置９０２は、駆動回路ユニット９１４から供給される駆動信号（タイミング信号）に基づいて信号転送を行うこととなる。信号処理回路ユニット９１６は、各種の信号処理を行うことができる。

なお、本開示の実施形態は、製造現場等に設置された製造ラインにおいて、傷の有無、異物の混入の有無、製造品の外観が出荷に適した合格品かどうかを、製品の外観の画像に基づいて検査を行う、検査装置に適用されることに限定されるものではない。例えば、本実施形態は、工業製品の外観検査（傷の有無、製造品の外観の出荷適合判定）等に適用することができる。また、本実施形態は、様々な波長の光を用いることができることから、物質特有の吸光特性に基づき、例えば、医薬品及び食品の異物混入検査等に用いることもできる（異物特有の吸光特性を利用することができる）。さらに、本実施形態においては、様々な波長の光を用いることができることから、例えば、可視光では認識が難しい、色認識や、傷又は異物の位置する深さ等を検出することができる。

＜＜８． 移動体への応用例＞＞
また、本開示の実施形態は、被写体８００が移動する代わりに、撮像モジュール１００を移動体に搭載し、撮像モジュール１００側が移動するようにしてもよい。例えば、撮像モジュール１００をドローン等の移動体に搭載した場合、撮像モジュール１００の発光素子１１２の真下に被写体８００が位置した場合に所定の波長の光を照射するようにしてもよい。このような場合、本実施形態により、地表等における特定成分の分布を検出したり、農作物の状態を検出したりすることができる。すなわち、本実施形態に係る撮像モジュール１００は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２１は、撮像部１２０３１の設置位置の例を示す図である。

図２１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１等に適用され得る。

＜＜９． まとめ＞＞
以上説明したように、本開示の各実施形態によれば、回折格子やミラー等の多数の光学部品を必要とせず、構成が複雑になることや撮像モジュール１００の製造コストが増加することを避けることができる。さらに、本開示の各実施形態によれば、１フレーム画像を用いて合成画像を生成することから、１フレーム分の撮像時間で、複数の分光画像を１つに合成した画像を生成することができる。すなわち、本実施形態によれば、簡単な構成で、且つ、高速に、分光画像の合成画像を得ることができる。

なお、上述した本開示の各実施形態及び変形例においては、切り出した複数のＲＯＩを重ねあわせて合成画像を生成するものとして説明したが、本開示の各実施形態及び変形例は、これに限定されるものではない。例えば、各実施形態では、上記１フレーム画像そのものを出力してもよく、もしくは、上記１フレーム画像から切り出したＲＯＩを出力してもよい。例えば、このような場合、光の各波長に対応する画像を別々に取得、解析することができることから、該当する波長に対する成分の有無や分布等を容易に認識することが可能となる。

＜＜１０． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る撮像システム１０として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の撮像方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像部と、
前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成部と、
を備える、撮像デバイス。
（２）
前記撮像部は、複数の画素を有し、
前記各画素は、
前記反射光を受光して、前記信号情報を生成する撮像素子と、
前記撮像素子からの前記信号情報を一時的にそれぞれ保持するメモリ部と、
を含む、
上記（１）に記載の撮像デバイス。
（３）
前記撮像部は、前記各メモリ部に保持された前記信号情報を一括して読み出すグローバルシャッタ方式で動作する、
上記（２）に記載の撮像デバイス。
（４）
前記画素は、近赤外光を検出するＩｎＧａＡｓ撮像素子を含む、上記（２）又は（３）に記載の撮像デバイス。
（５）
前記合成部は、前記１フレーム画像から予め指定した複数の所定の領域を切り出すことにより、前記各波長の反射光に対応する被写体象をそれぞれ切り出す、上記（２）〜（４）のいずれか１つに記載の撮像デバイス。
（６）
前記合成部は、前記１フレーム画像内の、前記各波長の反射光に対応する被写体象をそれぞれ特定する撮像領域特定部を有する、上記（２）〜（４）のいずれか１つに記載の撮像デバイス。
（７）
前記合成部は、前記１フレーム画像を２段階の色調に変換して、２段階色調画像を生成する２値化処理部をさらに有し、
前記撮像領域特定部は、前記２段階色調画像に基づいて、前記各波長の反射光に対応する被写体象をそれぞれ特定する、上記（６）に記載の撮像デバイス。
（８）
前記撮像部は、
前記各照射光の照射の前後に、所定の方向に沿って等速移動する前記被写体に間欠的に順次照射されることにより当該被写体で反射された各基準光を順次受光し、
前記各基準光に基づく前記信号情報を一時的に順次保持し、保持した当該各信号情報を一括して読み出すことにより、前記基準光に対応する被写体象を含む前記１フレーム画像を生成し、
前記撮像領域特定部は、２つの前記基準光に対応する被写体象に基づき、当該２つの基準光に対応する被写体象の間に位置する、前記各波長の反射光に対応する被写体象を特定する、
上記（６）に記載の撮像デバイス。
（９）
前記合成部は、
前記各波長に対応するように事前に設定された色彩情報と、前記各波長の反射光に対応する被写体象における前記各画素の信号情報とに基づき、前記各波長の反射光に対応する被写体象における前記各画素の色彩パラメータを算出し、前記複数の被写体象における前記色彩パラメータの加算平均を前記画素ごとに算出し、算出した前記加算平均に基づき、前記合成画像としてカラー画像を生成する、合成処理部を有する、
上記（２）〜（８）のいずれか１つに記載の撮像デバイス。
（１０）
前記撮像部は、前記被写体と対向するように設けられ、前記被写体の移動方向に沿って順次並ぶ、互いに異なる波長の光を透過させる複数のフィルタを有する、
上記（１）〜（９）のいずれか１つに記載の撮像デバイス。
（１１）
前記複数のフィルタは、オンチップカラーフィルタ又はプラズモンフィルタである、上記（１０）に記載の撮像デバイス。
（１２）
移動する前記被写体の位置に応じて異なる波長を有する前記照射光を、前記被写体に間欠的に順次照射する照射部をさらに備える、上記（１）〜（９）のいずれか１つに記載の撮像デバイス。
（１３）
前記照射部は、互いに異なる波長の光を発光する複数の発光素子を有する、上記（１２）に記載の撮像デバイス。
（１４）
前記複数の発光素子は、近赤外光を発光する複数の発光ダイオードを含む、上記（１３）に記載の撮像デバイス。
（１５）
前記複数の発光素子は、近赤外光以外の所定の波長を有する基準光を発光する基準光発光素子を含む、上記（１３）又は（１４）に記載の撮像デバイス。
（１６）
前記基準光発光素子は、前記基準光として可視光を発光する、上記（１５）に記載の撮像デバイス。
（１７）
前記撮像部に対して、前記照射部の照射と同期させて、前記反射光の受光を行わせるように制御する制御部をさらに備える、上記（１２）〜（１６）のいずれか１つに記載の撮像デバイス。
（１８）
移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報のうち、予め指定した複数の所定の領域に対応する前記信号情報の一部を一括して読み出すことにより、１フレーム画像を生成する撮像部と、
前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成部と、
を備える、撮像デバイス。
（１９）
被写体を移動させる移動装置と、
移動する前記被写体の位置に応じて異なる波長を有する照射光を、前記被写体に間欠的に順次照射する照射装置と、
前記照射により当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像装置と、
前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成装置と、
を備える、撮像システム。
（２０）
移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成することと、
前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成することと、
を含む、撮像方法。

１０ 撮像システム
１００ 撮像モジュール
１１０ 照射部
１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｆ 発光素子
１２０ 撮像デバイス
１３０ 撮像部
１３２ レンズ部
１３４ 撮像素子
１３６ メモリ部
１３８ 読出部
１４０ 合成部
１４２ ２値化処理部
１４４ 撮像領域特定部
１４６ 合成処理部
１５０ 制御部
１６０ フィルタ部
１６２ａ、１６２ｂ、１６２ｃ フィルタ
２００ 制御サーバ
３００ ベルトコンベア
４１０ 画素アレイ部
４３２ 垂直駆動回路部
４３４ カラム信号処理回路部
４３６ 水平駆動回路部
４３８ 出力回路部
４４０ 制御回路部
４４２ 画素駆動配線
４４４ 垂直信号線
４４６ 水平信号線
４４８ 入出力端子
４８０ 周辺回路部
５００ 半導体基板
８００ 被写体
８０２ 撮像
８０４ ＲＯＩ
８０４ａ、８０４ｂ、８０４ｃ 画素データ群
８０６ 疑似カラー画像
９００ 電子機器
９０２ 撮像装置
９１０ 光学レンズ
９１２ シャッタ機構
９１４ 駆動回路ユニット
９１６ 信号処理回路ユニット

Claims (20)

1. 移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像部と、
   前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成部と、
   を備える、撮像デバイス。
2. 前記撮像部は、複数の画素を有し、
   前記各画素は、
   前記反射光を受光して、前記信号情報を生成する撮像素子と、
   前記撮像素子からの前記信号情報を一時的にそれぞれ保持するメモリ部と、
   を含む、
   請求項１に記載の撮像デバイス。
3. 前記撮像部は、前記各メモリ部に保持された前記信号情報を一括して読み出すグローバルシャッタ方式で動作する、
   請求項２に記載の撮像デバイス。
4. 前記画素は、近赤外光を検出するＩｎＧａＡｓ撮像素子を含む、請求項２に記載の撮像デバイス。
5. 前記合成部は、前記１フレーム画像から予め指定した複数の所定の領域を切り出すことにより、前記各波長の反射光に対応する被写体象をそれぞれ切り出す、請求項２に記載の撮像デバイス。
6. 前記合成部は、前記１フレーム画像内の、前記各波長の反射光に対応する被写体象をそれぞれ特定する撮像領域特定部を有する、請求項２に記載の撮像デバイス。
7. 前記合成部は、前記１フレーム画像を２段階の色調に変換して、２段階色調画像を生成する２値化処理部をさらに有し、
   前記撮像領域特定部は、前記２段階色調画像に基づいて、前記各波長の反射光に対応する被写体象をそれぞれ特定する、請求項６に記載の撮像デバイス。
8. 前記撮像部は、
   前記各照射光の照射の前後に、所定の方向に沿って等速移動する前記被写体に間欠的に順次照射されることにより当該被写体で反射された各基準光を順次受光し、
   前記各基準光に基づく前記信号情報を一時的に順次保持し、保持した当該各信号情報を一括して読み出すことにより、前記基準光に対応する被写体象を含む前記１フレーム画像を生成し、
   前記撮像領域特定部は、２つの前記基準光に対応する被写体象に基づき、当該２つの基準光に対応する被写体象の間に位置する、前記各波長の反射光に対応する被写体象を特定する、
   請求項６に記載の撮像デバイス。
9. 前記合成部は、
   前記各波長に対応するように事前に設定された色彩情報と、前記各波長の反射光に対応する被写体象における前記各画素の信号情報とに基づき、前記各波長の反射光に対応する被写体象における前記各画素の色彩パラメータを算出し、前記複数の被写体象における前記色彩パラメータの加算平均を前記画素ごとに算出し、算出した前記加算平均に基づき、前記合成画像としてカラー画像を生成する、合成処理部を有する、
   請求項２に記載の撮像デバイス。
10. 前記撮像部は、前記被写体と対向するように設けられ、前記被写体の移動方向に沿って順次並ぶ、互いに異なる波長の光を透過させる複数のフィルタを有する、
    請求項１に記載の撮像デバイス。
11. 前記複数のフィルタは、オンチップカラーフィルタ又はプラズモンフィルタである、請求項１０に記載の撮像デバイス。
12. 移動する前記被写体の位置に応じて異なる波長を有する前記照射光を、前記被写体に間欠的に順次照射する照射部をさらに備える、請求項１に記載の撮像デバイス。
13. 前記照射部は、互いに異なる波長の光を発光する複数の発光素子を有する、請求項１２に記載の撮像デバイス。
14. 前記複数の発光素子は、近赤外光を発光する複数の発光ダイオードを含む、請求項１３に記載の撮像デバイス。
15. 前記複数の発光素子は、近赤外光以外の所定の波長を有する基準光を発光する基準光発光素子を含む、請求項１３に記載の撮像デバイス。
16. 前記基準光発光素子は、前記基準光として可視光を発光する、請求項１５に記載の撮像デバイス。
17. 前記撮像部に対して、前記照射部の照射と同期させて、前記反射光の受光を行わせるように制御する制御部をさらに備える、請求項１２に記載の撮像デバイス。
18. 移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報のうち、予め指定した複数の所定の領域に対応する前記信号情報の一部を一括して読み出すことにより、１フレーム画像を生成する撮像部と、
    前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成部と、
    を備える、撮像デバイス。
19. 被写体を移動させる移動装置と、
    移動する前記被写体の位置に応じて異なる波長を有する照射光を、前記被写体に間欠的に順次照射する照射装置と、
    前記照射により当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成する撮像装置と、
    前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成する合成装置と、
    を備える、撮像システム。
20. 移動する被写体の位置に応じて異なる波長を有する各照射光を当該被写体に間欠的に順次照射することにより当該被写体で反射された各反射光を順次受光し、各波長の前記反射光に基づく各信号情報を一時的に順次保持し、保持した前記各信号情報を一括して読み出すことにより、１フレーム画像を生成することと、
    前記１フレーム画像から、前記各波長の反射光に対応する被写体象をそれぞれ切り出し、切り出した複数の前記被写体象を重ねあわせて、合成画像を生成することと、
    を含む、撮像方法。

Images