JP2019095376A - 画像処理システム - Google Patents

Abstract

【課題】パターン光を切替えて高速に撮像でき、形状データを高速に生成できる画像処理システムを提供する。【解決手段】画像処理システムは、対象物にｎ枚のパターン光を切替えて投影可能な照明と、対象物をパターン光の投影と同期して撮像速度Ｆ（ｆｐｓ）で撮像し、ｎ枚のパターン投影画像を取得する撮像手段と、ｎ枚のパターン投影画像を記憶する記憶手段と、記憶手段から読み出したｎ枚のパターン投影画像を基に対象物の形状データを生成する計算手段と、を備え、形状データをＦ／ｎ（ｆｐｓ）以下の速度で出力する。【選択図】図１

Description

本発明は、対象物の３次元形状を取得する画像処理システム、画像処理方法に関する。

対象物にパターン光を投影し、その変位を計測するパターン投影型の３次元計測手法が従来から知られている。パターン投影手法は、周囲の環境や対象物の形状等に影響されにくいためマシンビジョン等の分野で広く用いられている。パターン投影手法の中でも高精度な３次元計測が可能な手法として位相シフト法が知られている。この位相シフト法では、対象物を固定、つまり静止した状態に保ち、対象物の全体にわたって縞状パターンを位相シフトさせながら投影してエリアカメラで対象物のパターン投影画像を撮影していた。

しかし、対象物が移動している場合、一般的に３次元計測は困難となる。特に位相シフト法等の一部のパターン投影手法では、対象物について複数の異なるパターン投影画像の撮像を複数回行う必要があるため、動体の計測には適切な方法とは考えられていなかった。具体的には、位相シフト法で動体を計測するためには、高速に複数枚の位相シフト画像を取得する必要がある。

従来、複数の位相シフト画像を高速に、実質的には同時に取得する手法が提案されている。例えば、入射光を直線偏光化し、その偏光方向を回転させることによって、高速化を図る試みがなされている（例えば、特許文献１参照。）。また、波長成分の異なる第１、第２、第３の波長成分について、各波長成分の一又は二を透光する領域を順に縞状に配列したフィルタ格子縞板を用い、位相シフト法によって三次元計測する装置が開示されている（例えば、特許文献２参照。）。また、モアレ光学系を用いた形状測定装置であって、光学系と被検物の相対速度と受光素子の操作周期と複数配置された光源の点灯の時間を同期させる形状測定装置が開示されている（例えば、特許文献３参照。）。

一方、高速現象の可視化・解析を目的として秒間１０００〜数十万コマ以上で撮像可能な高速度カメラが従来から知られている。これらの高速度カメラを用いることで複数のパターン投影画像を高速に撮像することも考えられる。

特許第３７４７４７１号公報（国際公開ＷＯ２００３／０７４９６７号） 特許第４８０８０７２号公報（特開２００６−２２７６５２号公報） 特許第３９２１４３２号公報（特開２００４−１０８８２９号公報）

しかし、上記の手法では、それぞれ偏光子回転機構の機械的耐久性、対象物の波長特性、光量減等の課題がある。また、高速度カメラは、撮像自体は高速であるが、一旦録画したデータを後から読み出す方式であるため、カメラからの画像読出し速度は低速である。そのため、画像読出しが律速となり、高速な３次元形状の生成には適さない。

そこで、本発明の目的は、パターン光を切替えて高速に撮像でき、高速に対象物の形状データを生成できる画像処理システムを提供することである。

本発明に係る画像処理システムは、対象物にｎ枚のパターン光を切替えて投影可能な照明と、
前記対象物を前記パターン光の投影と同期して撮像速度Ｆ（ｆｐｓ）で撮像し、ｎ枚のパターン投影画像を取得する撮像手段と、
ｎ枚の前記パターン投影画像を記憶する記憶手段と、
前記記憶手段から読み出したｎ枚の前記パターン投影画像を基に前記対象物の形状データを生成する計算手段と、
を備え、
前記形状データをＦ／ｎ（ｆｐｓ）以下の速度で出力する。

本発明に係る画像処理システムによれば、パターン光を切替えて対象物を高速に撮像でき、対象物の形状データを高速に生成できる。

実施の形態１に係る画像処理システムの構成を示す概略図である。 （ａ）〜（ｄ）は、４つの投影パターンの例である。 図１の画像処理システムの制御部の機能的構成を示すブロック図である。 図３Ａの制御部の物理的構成を示すブロック図である。 実施の形態１に係る画像処理方法のフローチャートである。 図４の画像処理方法によって、６枚のパターン投影画像から１枚の形状データを生成し、出力する過程を示す概略図である。 ６枚のパターン投影画像の撮影から出力までの処理のタイミングと処理時間の関係を示す図である。 図４の画像処理方法の変形例によって、６枚のパターン投影画像から１枚の形状データを生成し、出力する過程を示す概略図である。

第１の態様に係る画像処理システムは、対象物にｎ枚のパターン光を切替えて投影可能な照明と、
前記対象物を前記パターン光の投影と同期して撮像速度Ｆ（ｆｐｓ）で撮像し、ｎ枚のパターン投影画像を取得する撮像手段と、
ｎ枚の前記パターン投影画像を記憶する記憶手段と、
前記記憶手段から読み出したｎ枚の前記パターン投影画像を基に前記対象物の形状データを生成する計算手段と、
を備え、
前記形状データをＦ／ｎ（ｆｐｓ）以下の速度で出力する。

第２の態様に係る画像処理システムは、上記第１の態様において、前記撮像手段は、１０００ｆｐｓ以上の撮像速度Ｆで撮像してもよい。

第３の態様に係る画像処理システムは、上記第１又は第２の態様において、前記計算手段は、ハードウェアによる計算回路であってもよい。

以下、実施の形態に係る画像処理システムについて、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。

（実施の形態１）
＜画像処理システム＞
図１は、実施の形態１に係る画像処理システム３０の構成を示す概略図である。
この画像処理システム３０は、照明１０と、撮像素子（撮像手段）２２と、記憶部（記憶手段）２３と、計算部（計算手段）２４と、制御部２６と、を備える。照明１０によって対象物２にｎ枚のパターン光を切替えて投影可能である。撮像素子２２によってパターン光の投影された対象物２を撮像可能である。また、撮像素子２２によって、対象物２をパターン光の投影と同期して撮像速度Ｆ（ｆｐｓ）で撮像し、ｎ枚のパターン投影画像を取得する。記憶部２３によって、ｎ枚の前記パターン投影画像を記憶する。計算部２４によって、記憶手段２３から読み出したｎ枚のパターン投影画像を基に対象物２の形状データを生成する。その後、計算部２４から形状データをＦ／ｎ（ｆｐｓ）以下の速度で出力する。なお、制御部２６は照明１０とカメラ２０とを制御する。
この画像処理システム３０によってパターン光を切替えて対象物を高速に撮像でき、形状データを高速に生成できる。

以下に、この画像処理システム３０を構成する構成要素について説明する。

＜照明＞
図２は、４つの投影パターン（ａ）〜（ｄ）の例を示している。この照明１０によって対象物（シャツ）２にｎ枚のパターン光を切替えて投影可能である。照明１０は、例えば、光源１２と、格子１４と、を備える。図２の例では、格子１４を動かすことで位相がシフトした４つの格子パターン（図２（ａ）〜（ｄ））を投影できる。格子パターンとして、図２（ａ）〜（ｄ）では縦縞模様であるが、これに限られず、縦横の縞が交差する模様、縦縞、横縞等の一方向に周期的な模様も含む。なお、位相をシフトしたパターンを投影する方法はこれに限らない。例えば、照明としてプロジェクタを用いることで格子パターンを切替えながら投影することも可能である。この場合、格子１４は不要である。好ましくは、格子１４は固定式で、光源１２を複数のＬＥＤで構成したスイッチング光源とする。これにより、ＬＥＤの点灯位置を切替えながら格子パターンの位相をシフトできるため、より高速なパターン光切替え制御が可能となる。

また、上記ｎは、１以上の整数である。例えば、ｎが１の場合には、ランダムドットパターン法によって形状データを生成できる。ｎが２の場合には、空間コード化法によって形状データを生成できる。ｎが３以上の場合には、上記位相シフト法によって形状データを生成できる。一般的に投影するパターン数が多いほど、生成する形状データの精度は高くなり、対象物のより詳細な形状を取得することができる。ｎとしては、３以上の整数が好ましく、４以上の整数がより好ましい。さらに好ましくはｎは６以上である。対象物の形状をより高精度に生成可能だからである。また、パターン数が多過ぎると、ｎ枚のトータル撮像時間が長くなり動体計測にとっては不利になる。従ってｎは１２以下が好ましい。

＜カメラ＞
カメラ２０は、レンズ２１と撮像素子２２と記憶部２３と計算部２４とを有する。

＜レンズ＞
レンズ２１は、撮像素子２２上に対象物の像を結像させることができるものであればよく、通常使用できるものであればよい。

＜撮像素子＞
撮像素子２２は、例えば、画素が２次元配列されたＣＭＯＳイメージセンサである。撮像素子２２の画素数は特に限定されないが、生産ラインやロボットビジョン等で用いることを考慮すると少なくとも１００万画素以上が好ましい。撮像素子２２としては、１０００ｆｐｓ以上の撮像速度Ｆで撮像できることが好ましい。撮像速度Ｆは、より好ましくは１２００ｆｐｓ以上、さらに好ましくは１５００ｆｐｓ以上である。撮像速度Ｆが１０００ｆｐｓ以上の高速高感度の撮像素子２２を用いることによって、対象物２が静止物体でなく動体の場合であっても、その移動速度に対して十分高速な撮像速度Ｆで撮像できる。これによって、対象物２が「実質的に止まった状態」、つまり、対象物２が動いている場合であっても、撮像素子上に結像する対象物の像の移動量が画素幅の１／２以下であれば、各パターン投影画像の間での対象物の移動を無視し得るｎ枚のパターン投影画像を得ることができる。

＜記憶部＞
記憶部２３は、ｎ枚のパターン投影画像を記録できる容量の半導体メモリであればよい。例えば、ＳＤＲＡＭであってもよい。具体的には、ＤＤＲ ＳＤＲＡＭ、ＤＤＲ２ ＳＤＲＡＭ、ＤＤＲ３ ＳＤＲＡＭ等であってもよい。記憶部２３は、撮像素子２２からの転送速度がより速いほうが好ましい。また、記憶部２３は、少なくともｎ個のメモリモジュールで構成することが好ましい。ｎ枚のパターン投影画像に並列でアクセス可能となり、より高速な処理が可能となるためである。

＜計算部＞
計算部２４において、取得したｎ枚のパターン投影画像を基に対象物の形状データを生成する。例えば、取得したｎ枚のパターン投影画像を基に、位相シフト法、フーリエ変換格子法等によって画素毎の位相値を形状データとして演算する。さらにこの位相値及び撮像素子と光源との位置関係を基に三角測量の原理で対象物の３次元座標を算出できる。例えば、特開２０１２−１５００１８号公報に記載の位相シフト法によれば、光源の点灯制御によって高速に投影パターンを切替えることができるため、本発明をより好適に用いることができる。
なお、形状データとしては、対象物の３次元座標に限られず、画素値が位相値である位相画像、画素値が対象物までの距離情報である距離画像等の形状に関する情報を含むものであればよい。出力するのが３次元座標の場合、１点あたりＸ・Ｙ・Ｚの各座標値を出力するため、位相画像や距離画像の形式に比べて出力するデータ量がおおよそ３倍に増加する。そのため、出力する点数を間引きしたり、部分的な領域だけを切り出して出力（ＲＯＩ出力）してもよい。一方、出力するのが位相画像や距離画像であれば、出力するのは画素数分のデータで済むが、出力後に外部で３次元座標の計算を別途行う必要がある。出力形式は用途や対象物に応じて適宜選択すればよい。

また、この計算部２４では、例えば、図５および図６に示すように、６枚の投影画像を１セットとして形状データを生成する。図６の場合には、１セット分の撮像時間４ｍｓで形状データをリアルタイムに出力していくためには、６枚のパターン投影画像を取得した後から次の１セットの撮像開始までの間に形状データを生成し、出力を完了する必要がある。このため、計算手段２４には、記憶部からの読出し、形状データの生成、出力の一連の処理を画素単位でパイプライン処理可能な高速なハードウェアによる計算回路を用いることが好ましい。ハードウェアによる計算回路としては、例えば、ＦＰＧＡ、ＡＳＩＣ、ＬＳＩがある。なお、これらに限られず、高速なハードウェアによる計算回路であればよい。また、撮像素子と記憶部間および記憶部と計算部間は、それぞれ処理速度に応じた十分な帯域のバスラインで接続されている。なお、計算部２４において、１ラインバッファ等の２次記憶手段（図５：２５）を備えてもよい。これによってメモリアクセスを効率化し、計算処理に係る時間を短縮することができる。２次記憶手段を用いる場合は、記憶部２３のメモリモジュールは１つでもよい。

＜制御部＞
図３Ａは、図１の画像処理システム３０の制御部２６の機能的構成を示すブロック図である。図３Ｂは、図３Ａの制御部２６の物理的構成を示すブロック図である。制御部２６によって照明１０とカメラ２０とを制御する。制御部２６は、例えば、同期制御部２７を有する。また、制御部２６は、電気回路によって物理的な構成として実現してもよいし、コンピュータ上で動作するコンピュータソフトウェアによって実現してもよい。コンピュータで構成される場合には、例えばＣＰＵ３１、メモリ３２、記憶媒体３３、入出力部３４等のうち必要最小限の機能を備える。なお、制御部２６の機能の全部または一部をカメラ２０内に実装してもよい。

＜同期制御部＞
同期制御部２７によってパターン光の切替えタイミングと撮像のタイミングとの同期を制御する。同期制御部２７は、電気的機構によって同期を制御してもよく、あるいはコンピュータプログラムによって同期を制御してもよい。後者の場合には、同期制御部２７は、コンピュータプログラムによって構成してもよい。ここで、同期とはタイミングが完全に一致している必要はない。少なくともパターン光の切替えタイミングと撮像素子の露光のタイミングとが連動していればよく、多少のディレイがあってもよい。

＜画像処理方法＞
図４は、実施の形態１に係る画像処理方法のフローチャートである。図５は、図４の画像処理方法によって、６枚のパターン投影画像から１枚の形状データを生成し、出力する過程を示す概略図である。図６は、６枚のパターン投影画像の撮影から出力までの処理のタイミングと処理時間の関係を示す図である。
（１）対象物にｎ枚のパターン光を切替えて投影する（Ｓ０１）。図６の場合には、４ｍｓの間で６枚のパターン光を切り替えて投影している。
（２）パターン光が投影された対象物を撮像素子でパターン光の投影と同期させて撮像速度Ｆ（ｆｐｓ）で撮像し、ｎ枚（ｎフレーム）のパターン投影画像を取得する（Ｓ０２）。図６の場合には、１枚のパターン投影画像の撮像に要する時間は０．６７ｍｓであるので、各パターン投影画像の撮像速度Ｆは１５００ｆｐｓとなる。撮像速度Ｆが１５００ｆｐｓ以上の高速高感度の撮像素子を用いることによって、対象物が静止物体でなく動体の場合であっても、その移動速度に対して十分高速な撮像速度Ｆで撮像できる。これによって、対象物が「実質的に止まった状態」、つまり、対象物が動いている場合であっても各パターン投影画像の間での対象物の移動を無視し得る６枚（６フレーム）のパターン投影画像を得ることができる。

（３）ｎ枚のパターン投影画像を記憶する（Ｓ０３）。図５および図６の場合には、撮像素子から出力された６枚のパターン投影画像を記憶手段２３で記憶（バッファ）する。この記憶手段２３は、１次バッファとして機能する。この記憶手段２３としては、例えば、ＤＤＲ−ＳＤＲＡＭを用いることができる。この記憶手段２３には、撮像素子からの転送速度及び計算手段２４への転送速度が十分に速いものが用いられる。なお、記憶手段２３としては、さらに転送速度の速いＤＤＲ２ ＳＤＲＡＭ、ＤＤＲ３ ＳＤＲＡＭ等を用いてもよい。
（４）記憶手段２３から読み出したｎ枚のパターン投影画像を基に対象物の形状データを生成する（Ｓ０４）。図５および図６の場合には、計算手段２４で１セット６枚のパターン投影画像を処理して、形状データを生成し、次の１セットのパターン投影画像の取得中に出力する。つまり、１セット分の４ｍｓ以内の遅れで形状データをリアルタイムに出力していくためには、６枚のパターン投影画像を取得した４ｍｓの次の１セット４ｍｓの間に形状データを生成して出力する必要がある。このため、計算手段２４には、マイクロ秒オーダで形状データを生成できるような高速なハードウェアによるものを用いる。計算手段２４としては、図５では、ＦＰＧＡを用いているが、これに限定されず、高速なハードウェア、例えば、ＡＳＩＣ、ＬＳＩであってもよい。なお、計算手段２４において、画像の１ライン分のデータをバッファ可能な２次記憶手段２５を画像枚数分備えてもよい。
（５）形状データをＦ／ｎ（ｆｐｓ）以下の速度で出力する（Ｓ０５）。図６の場合には、１枚の形状データを２５０ｆｐｓの速度で出力する。つまり、６枚のパターン投影画像を取得した１セット４ｍｓの次の１セットを撮像している４ｍｓの間に形状データを出力する。図６の実施例では１フレーム分の形状データを約２ｍｓで出力している。
以上によって、１セット６枚のパターン投影画像を高速に取得し、６枚のパターン投影画像から１枚の形状データを高速に生成し、順次出力することができる。また、この場合には、撮像素子、記憶手段、計算手段を備えたカメラ内でパターン投影画像の取得から形状データの生成まで連続して行うことができる。

仮に計算部２４を設けず、これらの処理を外部の装置（パソコンや画像処理装置等）で行おうとした場合、パターン投影画像を１０００ｆｐｓ以上の速度で外部に出力することになる。例えば、撮像素子の画素数を１３０万画素とすると、１枚の画像のデータ量はモノクロ８ビットで約１．３ＭＢｙｔｅｓである。従って、１３００ＭＢｙｔｅｓ／ｓ以上の伝送速度が必要となる。しかし、現在ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）用カメラで標準的に用いられているＣａｍｅｒａ Ｌｉｎｋ等のインターフェースの伝送速度は、最大でも１０００ＭＢｙｔｅｓ／ｓ程度である。特殊な規格を用いればさらなる高速化は可能であるが、その場合、ケーブル数が増加したり、周辺機器が高コストになったりして、現実的ではない。これに対し、本発明に係る画像処理システムは計算部２４を備えているので、パターン投影画像を外部に出力する必要がない。これにより通信インターフェースの制約を受けることなく、システム内部で高速に形状データを計算することができる。

（変形例）
図７は、図４の画像処理方法の変形例によって、６枚のパターン投影画像から１枚の形状データを生成し、出力する過程を示す概略図である。
図７では、図５および図６と対比すると、各セットの６枚のパターン投影画像の取得が連続して行われず、１セットと次の１セットとの間に８．５ｍｓの間隔を置いている点で相違している。例えば、形状が時間経過によって大きく変化しないような場合に図７の画像処理を行うことができる。図７では、１セット内の各パターン投影画像は１５００ｆｐｓの高速な撮像速度Ｆで取得するが、１セットと次の１セットとの間にパターン投影画像の取得を行わない８．５ｍｓの間隔を置いている。この８．５ｍｓの間隔の中で形状データを出力している。つまり、４ｍｓと８．５ｍｓとを合わせた１２．５ｍｓごと、８０ｆｐｓの速度で出力している。
さらに、形状データによってロボットの動作制御等を行う用途の場合には、受け手側のパソコンやロボットコントローラ等の制御装置においてあまり高速で信号を受信できないという受信の速度制限がある。そこで、このような場合には、さらに低速の３０〜６０ｆｐｓの速度で出力してもよい。

また、本発明は、位相シフト法やフーリエ変換格子法以外にも、複数のパターン光を切り替えて投影する種々の３次元計測手法に適用可能である。例えば、空間にコード化された複数の光パターンを投影し、三角測量の原理で対象物までの距離を求める空間コード化パターン法等に適用できる。

なお、本開示においては、前述した様々な実施の形態及び／又は実施例のうちの任意の実施の形態及び／又は実施例を適宜組み合わせることを含むものであり、それぞれの実施の形態及び／又は実施例が有する効果を奏することができる。

本発明に係る画像処理システムによれば、パターン光を切替えて高速に撮像でき、形状データを高速に生成できる。

１ パターン光投影
２ 対象物
４ 格子パターン
６ 撮像
１０ 照明
１２ 光源（スイッチング光源）
１４ 格子
２０ カメラ
２１ レンズ
２２ 撮像素子（イメージセンサ）
２３ 記憶部（記憶手段）
２４ 計算部（計算手段）
２５ ２次記憶手段（１ラインバッファ）
２６ 制御部
２７ 同期制御部
３０ 画像処理システム
３１ ＣＰＵ
３２ メモリ
３３ 記憶媒体
３４ 入出力部

Claims (3)

1. 対象物にｎ枚のパターン光を切替えて投影可能な照明と、
   前記対象物を前記パターン光の投影と同期して撮像速度Ｆ（ｆｐｓ）で撮像し、ｎ枚のパターン投影画像を取得する撮像手段と、
   ｎ枚の前記パターン投影画像を記憶する記憶手段と、
   前記記憶手段から読み出したｎ枚の前記パターン投影画像を基に前記対象物の形状データを生成する計算手段と、
   を備え、
   前記形状データをＦ／ｎ（ｆｐｓ）以下の速度で出力する、
   画像処理システム。
2. 前記撮像手段は、１０００ｆｐｓ以上の撮像速度Ｆで撮像する、請求項１に記載の画像処理システム。
3. 前記計算手段は、ハードウェアによる計算回路である、請求項１又は２に記載の画像処理システム。