JP2016004017A - 情報取得装置及び画像処理方法 - Google Patents

Abstract

【課題】対象空間に存在する物体の表面が光沢を有する場合でも欠落部分が少ない良質な画像を取得することができる情報取得装置及び画像処理方法を提供する。
【解決手段】
情報取得装置１０は、距離画像センサ４０を搭載し、距離画像センサ４０は、所定パターンの照射光を対象空間に照射する照射装置４２と、対象空間の物体に投射された照射光のパターンを撮影する撮像装置４４と、撮像装置４４から出力された画像に基づいて距離画像を生成する距離画像生成部４６とを備える。
また、情報取得装置１０は、照射装置４２と撮像装置４４を振動させる振動発生装置８０と、距離画像センサ４０により順次取得された複数コマ分ずつの距離画像に基づいて距離画像を補正する補正部４８を備える。
【選択図】図３

Description

本発明は、情報取得装置及び画像処理方法に係り、特に対象空間に存在する物体の距離画像等の画像を取得する情報取得装置及び画像処理方法に関する。

対象空間を撮像装置により撮像し、対象空間に存在する物体（物体表面）までの距離を画素値とした距離画像を取得する距離画像センサが知られている。このような距離画像センサは、ロボット等の自動機械に視覚を持たせ、作業対象の三次元位置や姿勢を検出・識別し、自動機械に動作を行なわせるロボットビジョンシステムなどに用いられている。

距離画像センサの種類としては、あらかじめ決められたパターンの光を対象空間に照射し、その反射光の歪みによってセンサと対象空間に存在する物体との距離を測定するパターン照射方式（特許文献１等参照）や、対象空間の物体に対して光を照射し、光が物体表面に反射して戻ってくるまでの所要時間によってセンサと物体表面との距離を測定するＴＯＦ（Time of Flight）方式（特許文献２等参照）などが知られている。

また、特許文献３、４には、撮像装置の撮像素子の解像度よりも高い解像度の画像を取得する技術が開示されている。特許文献３によれば、カメラを振動させながら同一被写体の複数コマ分の画像を取得し、それらの複数コマ分の画像を用いて所定の高解像度化処理を施すことで１コマ分の高解像度の画像を得ることが開示されている。また、特許文献４によれば、レンズを介して撮像素子に結像される画像の位置をフィルタにより１／２画像ピッチ分変位させて撮像することで、変位前の変位後の画像を併せてこと高解像度の画像を得ることが開示されている。

特開２０１１−１６９７０１号公報 特開２００６-０４６９６１号公報 特開２００７−３２４６５５号公報 特開平０７−２８４００２号公報

ところで、撮像装置により撮像する物体の表面が光沢を有する場合に、物体表面に照射された光が一部の方向のみに強く反射するため、物体表面の一部の領域で反射した反射光が、撮像装置の光学系にほとんど入射しないという場合が生じる。その場合には、撮像装置により取得された画像上において、物体表面の一部の領域の画像が欠落するという事態が生じる。

また、この場合とは逆に、物体の表面が光沢を有する場合に、物体表面の一部の領域で反射した光が撮像装置の光学系に直接入射すると、その強度が強すぎるためにレンズフレア等が発生し、それによって撮像装置により取得される画像上において物体表面の一部の領域の画像が欠落するという事態が生じる。

このようなことから、従来、撮像装置により撮像する物体が表面に光沢を有する金属やプラスチックのような場合に、欠落のない物体表面の良質な画像を取得することが難しいという問題がある。特に距離画像センサの場合には物体表面の欠落部分の距離画像として誤った距離情報が得られることになり、ロボットビジョンシステムなどにおいて物体の３次元位置の検出に誤りが生じるという問題がある。

特許文献３、４には、撮像装置で取得される画像の解像度を複数コマ分の画像を用いて向上させることが開示されているが、いずれも解像度の向上を図るものであり、光沢を有する物体表面に対して、欠落部分の少ない良質な画像を取得できるようにした技術について開示したものではない。

本発明はこのような事情に鑑みてなされたものであり、対象空間に存在する物体の表面が光沢を有する場合でも欠落部分が少ない良質な画像を取得することができる情報取得装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る情報取得装置は、対象空間を撮像した画像を順次出力する撮像装置と、前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する補正部であって、前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、前記補正画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、前記補正画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、前記補正画像の各画素の画素値を前記決定部により決定した画素値とした補正画像を順次生成して出力する補正画像生成部と、を有する補正部を備える。

本発明によれば、撮像装置を振動させながら対象空間を撮像することで、撮像装置により対象空間を異なる位置から撮像したときの複数コマ分の画像を取得することができる。そのため、対象空間に存在する物体の表面が光沢を有する場合に、ある位置で撮像した画像において欠落している物体表面の画像を他の位置で撮像した画像において得ることができる。そして、補正部による補正により、それらの複数コマ分の画像の各々の欠落部分の画像を相互に補った補正画像を得ることができ、対象空間の物体の表面が光沢を有する場合であっても、欠落部分が少ない良質な画像を取得することができる。

本発明の一態様に係る情報取得装置において、所定のパターンを有する赤外領域の波長の照射光を前記対象空間に照射する照射装置を備え、前記撮像装置は、前記照射装置により前記対象空間に存在する物体の表面に投射された前記照射光のパターンを撮像した画像を順次出力し、かつ、前記補正部は、前記照射光のパターンを撮像した画像に対する補正画像を順次生成して出力し、前記補正部により順次生成されて出力された補正画像に基づいて前記物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次生成して出力する距離画像生成部を備えた態様とすることができる。

本態様は、パターン投射方式の距離画像センサにより対象空間の距離画像を取得する形態を示す。そして、本態様によれば、照射装置により対象空間の物体の表面に投射された照射光のパターンを撮像装置により撮像し、そのパターンを撮像した画像（パターン投射画像というものとする）に対する補正画像が補正部により得られることになる。したがって、対象空間の物体の表面が光沢を有する場合であっても、欠落部分が少ないパターン投射画像を補正部による補正画像として得ることができる。そして、距離画像生成部により補正画像に基づく距離画像を生成することで、欠落部分の少ない良質な距離画像を取得することができる。

本発明の他の態様に係る情報取得装置は、対象空間に照射光を照射する照射装置と、前記対象空間を撮像した画像を順次出力する撮像装置と、前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する補正部であって、前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、前記補正画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、前記補正画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、前記補正画像の各画素の画素値を前記決定部により決定した画素値とした補正画像を順次生成して出力する補正画像生成部と、を有する補正部を備える。

本態様によれば、照射装置及び撮像装置の少なくともいずれか一方を振動させながら対象空間を撮像することで、照射装置により対象空間に異なる位置から照射光を照射したときの複数コマ分の画像、又は、撮像装置により対象空間を異なる位置から撮像したときの複数コマ分の画像を取得することができる。そのため、対象空間に存在する物体の表面が光沢を有する場合に、ある画像において欠落している物体表面の画像を他の画像において得ることができる。そして、補正部による補正により、それらの複数コマ分の画像の各々の欠落部分の画像を相互に補った補正画像を得ることができ、対象空間の物体の表面が光沢を有する場合であっても、欠落部分が少ない良質な画像を取得することができる。

本発明の他の態様に係る情報取得装置において、前記照射装置は、所定のパターンを有する赤外領域の波長の照射光を前記対象空間に照射し、前記撮像装置は、前記照射装置により前記対象空間に存在する物体の表面に投射された前記照射光のパターンを撮像した画像を順次出力し、かつ、前記補正部は、前記照射光のパターンを撮像した画像に対する補正画像を順次生成して出力し、前記補正部により順次生成されて出力される補正画像に基づいて前記物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次生成して出力する距離画像生成部を備えた態様とすることができる。

本態様は、パターン投射方式の距離画像センサにより対象空間の距離画像を取得する形態を示し、例えば、対象空間に所定のパターンを有する赤外領域の波長の照射光を照射する照射装置を振動させることによっても欠落部分の少ない良質な距離画像を取得することができる。

本発明の他の態様に係る情報取得装置において、前記補正部は、前記画像蓄積部に蓄積された前記複数コマ分の画像における同一位置の画素が、前記対象空間に存在する物体の表面の同一位置の情報を表す画素となるように、前記画像蓄積部に蓄積された前記複数コマ分の画像の各々の相対的な位置を補正する位置ずれ補正部を有する態様とすることができる。

本態様によれば、複数コマ分の画像の各々における物体表面の位置ずれを補正することができ、それらの画像から生成した補正画像における解像度の低下を防止することができる。

本発明の更に他の態様に係る情報取得装置は、対象空間を撮像する撮像装置を有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する補正部であって、前記撮像装置により順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、前記補正距離画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、前記補正距離画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、前記補正距離画像の各画素の画素値を前記決定部により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成部と、を有する補正部を備える。

本態様によれば、距離画像センサの撮像装置を振動させながら対象空間を撮像することで、撮像装置により対象空間を異なる位置から撮像したときの複数コマ分の距離画像を取得することができる。そのため、対象空間に存在する物体の表面が光沢を有する場合に、ある位置で撮像することによって得られた距離画像において欠落している物体表面の画像を他の位置で撮像することによって得られた距離画像において得ることができる。そして、補正部による補正により、それらの複数コマ分の距離画像の各々の欠落部分の画像を相互に補った補正距離画像を得ることができ、対象空間の物体の表面が光沢を有する場合であっても、欠落部分が少ない良質な距離画像を取得することができる。

本発明の更に他の態様に係る情報取得装置は、対象空間に赤外領域の波長の照射光を照射する照射装置と、赤外領域の波長の光により前記対象空間を撮像する撮像装置とを有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する補正部であって、前記撮像装置により順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、前記補正距離画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、前記補正距離画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、前記補正距離画像の各画素の画素値を前記決定部により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成部と、を有する補正部を備える。

本態様によれば、距離画像センサの照射装置及び撮像装置の少なくともいずれか一方を振動させながら対象空間を撮像することで、照射装置により対象空間に異なる位置から照射光を照射したときの複数コマ分の距離画像、又は、撮像装置により対象空間を異なる位置から撮像したときの複数コマ分の距離画像を取得することができる。そのため、対象空間に存在する物体の表面が光沢を有する場合に、ある距離画像において欠落している物体表面の画像を他の距離画像において得ることができる。そして、補正部による補正により、それらの複数コマ分の距離画像の各々の欠落部分の画像を相互に補った補正距離画像を得ることができ、対象空間の物体の表面が光沢を有する場合であっても、欠落部分が少ない良質な距離画像を取得することができる。

本発明の他の態様に係る情報取得装置において、前記照射装置は、所定のパターンを有する赤外領域の波長の照射光を前記対象空間に照射し、前記撮像装置は、前記照射装置により前記対象空間に存在する物体の表面に投射された前記照射光のパターンを撮像した画像を順次出力し、前記距離画像センサは、前記撮像装置により順次出力された画像に基づいて前記物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次生成して出力する距離画像生成部を備えた態様とすることができる。

本態様は、パターン投射方式の距離画像センサにより対象空間の距離画像を取得する形態を示す。

本発明の他の態様に係る情報取得装置において、前記補正部は、前記画像蓄積部に蓄積された前記複数コマ分の距離画像における同一位置の画素が、前記対象空間に存在する物体の表面の同一位置の情報を表す画素となるように、前記画像蓄積部に蓄積された前記複数コマ分の距離画像の各々の相対的な位置を補正する位置ずれ補正部を有する態様とすることができる。

本態様によれば、複数コマ分の距離画像の各々における物体表面の位置ずれを補正することができ、それらの距離画像から生成した補正距離画像における解像度の低下を防止することができる。

また、上記目的を達成するために、本発明の一態様に係る画像処理方法は、対象空間を撮像した画像を順次出力する撮像装置と、前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、を備えた情報取得装置において、前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する画像処理方法であって、前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、前記補正画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、前記補正画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、前記補正画像の各画素の画素値を前記決定工程により決定した画素値とした補正画像を順次生成して出力する補正画像生成工程と、を有する。

本発明の他の態様に係る画像処理方法は、対象空間に照射光を照射する照射装置と、前記対象空間を撮像した画像を順次出力する撮像装置と、前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、を備えた情報取得装置において、前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する画像処理方法であって、前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、前記補正画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、前記補正画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、前記補正画像の各画素の画素値を前記決定工程により決定した画素値とした補正画像を順次生成して出力する補正画像生成工程と、を有する。

本発明の更に他の態様に係る画像処理方法は、対象空間を撮像する撮像装置を有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、を備えた情報取得装置において、前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する画像処理方法であって、前記距離画像センサにより順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、前記補正距離画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、前記補正距離画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、前記補正距離画像の各画素の画素値を前記決定工程により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成工程と、を有する。

本発明の更に他の態様に係る画像処理方法は、対象空間に赤外領域の波長の照射光を照射する照射装置と、赤外領域の波長の光により前記対象空間を撮像する撮像装置とを有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、を備えた情報取得装置において、前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する画像処理方法であって、前記距離画像センサにより順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、前記補正距離画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、前記補正距離画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、前記補正距離画像の各画素の画素値を前記決定工程により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成工程と、を有する。

本発明によれば、対象空間に存在する物体の表面が光沢を有する場合でも欠落部分が少ない良質な画像を取得することができる。

本発明が適用された情報取得装置を用いたロボットビジョンシステムの構成を示した図 図１の情報取得装置を示した斜視図 情報取得装置の構成を示したブロック図 パターン投射画像を例示した図 光沢を有していない物体表面に照射光を照射したときの様子を示した図 光沢を有していない物体表面のパターン投射画像及び距離画像の様子を例示した図 光沢を有する物体表面に照射光を照射したときの様子を示した図 光沢を有する物体表面のパターン投射画像及び距離画像の様子を例示した図 図７における距離画像センサの位置を変化させたときの様子を示した図 距離画像の補正処理の処理手順を示したフローチャート 距離画像の位置ずれ補正の処理手順を示したフローチャート 補正部の構成要素を示したブロック図 距離画像の位置ずれ補正の説明に使用した説明図 距離画像の補正処理の説明に使用した説明図 みかんの模型がばら積みされた対象空間を可視光カメラで撮影した場合の画像を示した図 振動発生装置の駆動を停止させ、かつ、補正部を無効にして図１５と同じ対象物の距離画像を距離画像センサにより取得した場合の距離画像を示した図 振動発生装置を駆動させ、かつ、補正部を有効にして図１５と同じ対象物の距離画像を距離画像センサにより取得した場合の距離画像を示した図 情報取得装置の他の実施の形態の構成を示した図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

図１は、本発明が適用された情報取得装置を用いたロボットビジョンシステムの構成を示した図である。

同図に示す情報取得装置１０は、ばら積みされた部品等の複数の対象物（物体Ｍ）をピンキング（仕分け）するピッキングシステム１において、ロボット１２のロボットビジョンシステムの構成要素として用いられる。

ピッキングシステム１は、対象物がばら積みされた対象空間、即ち、距離情報等を取得する対象空間の撮影可能な位置に配置される情報取得装置１０と、対象物を掴むことが可能な位置に配置されるロボット１２と、ピッキング作業を阻害しない任意の位置に配置されるコントローラ１４とを備える。

詳細を後述する情報取得装置１０は、いわゆる距離画像センサを搭載しており、対象空間を撮像して対象空間に存在する物体Ｍの距離画像を取得する。そして、取得した距離画像のデータ（距離画像データ）を距離画像データ出力用の不図示の出力端子から出力する。

また、本実施の形態の情報取得装置１０は、通常のカメラ（可視光により被写体を撮影するカメラであって、以下、可視光カメラという）を搭載する。可視光カメラは、結像光学系に入射した可視領域の波長の像光を結像光学系により結像し、その光像を撮像素子により電気信号に変換して被写体の画像（可視画像という）を取得する撮像装置を示す。情報取得装置１０は、その可視光カメラにより取得した可視画像のデータ（可視画像データ）も可視画像データ出力用の不図示の出力端子から出力する。

コントローラ１４は、距離画像データ入力用及び可視画像データ入力用の不図示の入力端子を有し、それらの入力端子の各々に、情報取得装置１０の距離画像データ出力用及び可視画像データ出力用の出力端子の各々が信号ケーブル１６を介して接続される。これにより、情報取得装置１０から出力された距離画像データ及び可視画像データが信号ケーブル１６を介してコントローラ１４に取得される。

なお、信号ケーブル１６は、情報取得装置１０とコントローラ１４との間の端子間を接続する１又は複数の信号ケーブルを抽象的に示したものであり、距離画像データと可視画像データとを別体信号ケーブルにより伝送するようにしてもよいし、それ以外のどのような形態であってもよい。

また、情報取得装置１０とコントローラ１４との間では画像データ以外にも各種信号のやり取りを行うことが可能であり、例えば、コントローラ１４から情報取得装置１０には、情報取得装置１０の制御に関する制御信号が信号ケーブル１６を介して与えられ、情報取得装置１０はその制御信号にしたがった動作、処理を実行する。

コントローラ１４は、情報取得装置１０から取得した距離画像データ及び可視画像データに基づいて対象空間に存在する各対象物の３次元的な位置や種類等を特定し、対象空間の各対象物に関する情報を取得する。

また、コントローラ１４は、対象空間の各対象物に関する情報と、ユーザにより事前に設定されるピッキング条件とに基づいて、ピッキング作業の動作をロボットに実行させるための制御信号（目標座標等）を制御信号出力用の不図示の出力端子から出力する。

例えば、コントローラ１４は、対象空間の各対象物に関する情報と、ユーザにより事前に設定されるピッキング条件とに基づいて、次のピッキング作業においてピッキングする対象物（ピッキング対象物という）を決定し、そのピッキング対象物の掴み位置や置き位置を決定する。

そして、ピッキング対象物を掴み位置から置き位置へと移動させるための動作をロボット１２に実行させるための制御信号（目標座標等）を制御信号出力用の出力端子から出力する。

なお、コントローラ１４は、市販のパーソナルコンピュータにおいて専用のソフトウェアを実行させることにより構成することができ、ユーザが各種情報を入力するための入力手段やユーザに各種情報を出力する出力手段を備える。

ロボット１２は、例えば６軸ロボットであり６自由度のアーム１８を有する。アーム１８の先端には対象物を掴持するためのクランプ２０が設けられる。

また、ロボット１２は、制御信号入力用の不図示の入力端子を有し、その入力端子に、コントローラ１４の制御信号出力用の出力端子が信号ケーブル２２を介して接続される。これにより、コントローラ１４から出力された制御信号が信号ケーブル２２を介してロボット１２に取得される。なお、信号ケーブル２２は、ロボット１２とコントローラ１４との間の端子間を接続する１又は複数の信号ケーブルを抽象的に示したものであり、ロボット１２とコントローラ１４との間の接続形態はどのようなものでもよい。

ロボット１２は、コントローラ１４から与えられる制御信号にしたがってアーム１８及びクランプ２０を動かす。例えば、上述のようにピッキング対象物の掴み位置から置き位置への移動に関する制御信号がコントローラ１４から与えられた場合、その制御信号に従い、アーム１８が動作してクランプ２０が掴み位置に移動し、ピッキング対象物がクランプ２０により掴持される。そして、アーム１８が動作してクランプ２０が置き位置に移動し、クランプ２０からピッキング対象物が解放されてピッキング対象物が置き位置に置かれる。

なお、図１に示したロボット１２の形態及び動作は一例であってこれに限るものではない。

次に、図１のロボットビジョンシステムのように対象空間に存在する対象物の３次元的な位置を検出するために使用される情報取得装置１０について説明する。

情報取得装置１０は、図２に示すように距離画像を取得するためのいわゆる距離画像センサと可視光カメラとを内蔵した本体部３０を有する。

本体部３０は、矩形状のケースにより全体が被覆されており、本体部３０の下面には、例えば本体部３０を支持する不図示の台座が設けられ、その台座を介して本体部３０が所定の配置面上に載置される。なお、情報取得装置１０は、台座を有していなくてもよく、本体部３０を配置面上に直接的に載置してもよいし、本体部３０を支持アームなどで支持し、本体部３０を配置面上に載置することなく所定位置に配置するようにしてもよい。

また、本体部３０の上面には、本体部３０に対して機械的な微小振動を付加するための振動発生装置８０が設置される。振動発生装置８０の作用効果等については後述するが、本体部３０を振動させることで、対象空間に存在する物体表面の光学的特性（表面反射特性）にかかわらず良質な距離画像を得ることを可能にする。

なお、振動発生装置８０は、本体部３０の上面以外の箇所に設置しても同様の効果を得ることができ、振動発生装置８０の設置位置は特定箇所に限定されない。

本体部３０の前面には、本体部３０内の距離画像センサが赤外領域の波長の照射光を対象空間に投光するための投光窓３２と、投光窓３２から投光されて対象空間の物体表面で反射した照射光を本体部３０内の距離画像センサに取り込むための受光窓３４とが設けられる。

なお、本体部３０が空間に配置される姿勢にかかわらず、投光窓３２と受光窓３４との位置関係を水平（左右）の位置関係とする。

また、本体部３０の前面には、本体部３０内の可視光カメラが対象空間を撮影するための撮影窓３６、即ち、対象空間の物体表面で反射した環境光等による可視光を本体部３０内の可視光カメラに取り込むための撮影窓３６が設けられる。

ここで、距離画像センサは、距離画像センサの構成要素である撮像装置（受光部）の撮影範囲内に含まれる物体表面の各点までの撮像装置からの距離を検出し、その物体表面の各点までの距離を表す情報を画像形式で表した距離画像を取得する装置である。

一般的に知られている距離画像センサの分類として、対象空間（計測対象）にレーザ光などの照射光を照射するアクティブ方式と、照射光を照射しないパッシブ方式とがある。本発明は、いずれの方式に対しても有効であるが、本実施の形態では、情報取得装置１０がアクティブ方式の距離画像センサを搭載した場合を示す。

また、アクティブ方式に分類される距離画像センサの種類として、パターン照射方式やＴＯＦ（Time of Flight）方式などが知られており、これらの種類のいずれに対しても本発明は有効であるが、本実施の形態では、情報取得装置１０がパターン照射方式の距離画像センサを搭載しているものとする。

パターン照射方式の距離画像センサは、原理として、所定のパターン（ドットパターン等）を有する赤外領域の波長の光を照射光として対象空間に照射し、対象空間の物体表面に投射された照射光のパターン（光模様）を撮像装置で撮像する。そして、撮像装置により得られた画像上の各位置におけるパターンの歪み具合に基づいて物体表面の各点までの撮像装置からの距離を検出する。

なお、本明細書において、距離画像とは、２次元平面上に配列された多数の画素からなる画像上において、物体表面の各点に対応する各画素（物体表面の各点の情報を表示する各画素）の画素値を物体表面の各点までの撮像装置からの距離を表す値としたものに限らない。例えば、物体表面の各点に対応する各画素の画素値を各点の明るさを示す輝度値とした可視画像に対して、物体表面の各点までの距離を表す値を各点に対応する各画素に対応付けたものなど、対象空間の物体表面の各点の２次元画像上での位置と、物体表面の各点までの距離の情報とを対応付けたものは、その表現形態にかかわらず本明細書における距離画像に含まれるものとする。

また、撮像装置から物体表面の各点までの距離の代わりに任意の基準位置から物体表面の各点までの距離を距離画像における距離の情報としてもよい。以下において基準位置を特に問題としない場合には、例えば撮像装置の位置を基準位置であるものとして基準位置を明示せずに物体表面の各点までの距離、又は、各点の距離等と記載するものとする。

図３は、情報取得装置１０の構成を示したブロック図である。なお、可視光カメラについては省略している。

同図に示すように情報取得装置１０は、距離画像を取得する距離画像センサ４０と、距離画像センサ４０の駆動等を制御する制御部７０と、機械的振動を発生させる振動発生装置８０を備える。

距離画像センサ４０は、所定パターンの照射光を対象空間に照射する照射装置４２と、対象空間の物体表面に投射された照射光のパターンを撮像する撮像装置４４と、撮像装置４４により得られた画像（後述のパターン投射画像）から距離画像を生成する距離画像生成部４６とを有する。

照射装置４２は、レーザダイオード等のレーザ光源５０から赤外領域の波長（８３０ｎｍ程度）のレーザ光を出射し、照射光となる光を発生させる。そして、レーザ光源５０から発生したレーザ光を投光光学系５２により所定のパターン（光模様）を有する照射光に変換してその照射光を図２に示した投光窓３２から対象空間に照射する。

レーザ光源５０は制御部７０からの駆動信号により発光し、レーザ光源５０の発光と消灯とは制御部７０により切り替えられる。

ここで、制御部７０は、距離画像センサ４０を起動する場合にレーザ光源５０を発光させ、距離画像センサ４０の動作を停止させる場合にレーザ光源５０を消灯させる。制御部７０における距離画像センサ４０の起動と停止の判断は、例えば、情報取得装置１０が接続されるコントローラ１４（図１参照）から与えられる距離画像データの送信要求の有無や、情報取得装置１０に操作部を設けた場合のその操作部のユーザ操作等に基づく。

なお、照射光の光源はレーザダイオード等のレーザ光源５０に限らず発光ダイオード（ＬＥＤ）等のレーザ光以外の光を発生させる光源であってもよく、特定の種類の光源に限らない。

投光光学系５２は、例えば、ドットパターンを有する照射光を投光窓３２から対象空間に照射する。図２には、対象空間に仮想的に配置した平坦な平面スクリーンＳが示されている。平面スクリーンＳは、投光光学系５２の光軸に対して直交している。

同図に示すように、投光光学系５２から投光窓３２を介して対象空間に照射されたドットパターンの照射光は、平面スクリーンＳにおいて光点Ｄを上下方向及び左右方向（直交する２方向）に略等間隔で配列した光模様を形成する。

このようなドットパターンの照射光を形成する場合の投光光学系５２は、例えば、図３のようにコリメータレンズ５４と回折光学素子５６とを有する。投光光学系５２は、コリメータレンズ５４によりレーザ光源５０から出射されたレーザ光を投光光学系５２の光軸に平行して進行する平行光に変換する。そして、その平行光を回折光学素子５６により回折させてドットパターンを有する照射光に変換して投光窓３２から対象空間に照射する。

ただし、ドットパターンの照射光を形成する投光光学系５２の構成はこれに限定されない。また、図２に示したようなドットパターン以外のパターンの照射光を投光光学系５２により形成して対象空間に照射してもよい。

距離画像センサ４０の撮像装置４４は、不図示の可視光カメラと同様の構成を有しており、受光窓３４から入射した像光を通過させることにより対象空間の物体の像を結像する結像光学系５８と、結像光学系５８により結像された光像を撮像し、電気信号に変換するＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのような撮像素子６０とを有する。

また、結像光学系５８の一部、又は、撮像素子６０の受光面の前面等において、照射装置４２から照射される照射光と略同一波長となる赤外領域の波長の光のみを通過させるフィルタが配置される。

これによって、受光窓３４から入射した像光のうち、照射装置４２から照射された照明光による赤外領域の波長の像光のみが、結像光学系５８を通過して撮像素子６０の撮像面に光像を形成する。

したがって、撮像装置４４は赤外領域の波長の光（赤外光）により被写体を撮影する赤外線カメラに相当し、対象空間に存在する物体表面に投射された照射光のパターン（光点Ｄ）の光像が撮像素子６０の撮像面に結像される。そして、そのパターンを撮像した画像（パターン投射画像というものとする）が撮像素子６０（撮像装置４４）から撮像信号として出力される。

また、撮像素子６０は制御部７０からの駆動信号により動作し、レーザ光源５０と同様に、制御部７０は、距離画像センサ４０を起動する場合に撮像素子６０を動作させ、距離画像センサ４０の動作を停止させる場合に撮像素子６０を停止させる。

更に、撮像素子６０は、例えば１／３０秒ごとに露光（電荷蓄積）及び電荷掃き出しを繰り返し行い、一定時間置きに１コマずつのパターン投射画像を順次撮像し、その撮像信号を順次出力する。

距離画像センサ４０の距離画像生成部４６は、撮像装置４４（撮像素子６０）から順次出力される撮像信号を取得し、その撮像信号が示すパターン投射画像に基づいて距離画像を順次生成し、出力する。距離画像生成部４６から出力された距離画像データは、情報取得装置１０の距離画像データ出力用の出力端子から出力され、図１に示したように信号ケーブル１６を通じてコントローラ１４に伝送される。

ここで、撮像装置４４の結像光学系５８の光軸は、照射装置４２の投光光学系５２の光軸と平行に配置され、撮像装置４４は照射装置４２が配置される側を水平方向（左右方向）の右側として撮影を行うように配置される。

したがって、撮像装置４４により取得されるパターン投射画像は、照射装置４２の左側において照射装置４２の投光光学系５２の光軸と平行な方向を撮影方向として、物体表面に投射されたパターンを撮像したときの画像を示す。

例えば、図２に示したように対象空間に仮想的に配置した平面スクリーンＳに投射される照射光のドットパターンを撮像装置４４により撮影した場合、そのときに得られるパターン投射画像には、図４（Ａ）のように平面スクリーンＳにおける投射光の歪みのないドットパターンの画像が略そのまま写り込む。

一方、図２に示すよう例えば表面を球面とする球体が物体Ｍとして対象空間に存在したとする。そして、その物体Ｍに照射光を照射して物体Ｍの表面に投射されたドットパターンを撮像装置４４により撮像した場合、そのときに得られるパターン投射画像には、図４（Ｂ）のように歪みが生じたドットパターンの画像が写り込む。

即ち、詳細な説明は省略するが、物体の表面に投射された照射光の各光点Ｄの撮像装置４４からの距離が平面スクリーンＳまでの距離よりも遠い場合、その距離が遠くなるほど、パターン投射画像上における各光点Ｄの位置が、図４（Ａ）のパターン投射画像における位置よりも左側に移動し、そのシフト量が大きくなる。逆に、物体Ｍに表面に投射されたパターンの各光点Ｄの撮像装置４４からの距離が平面スクリーンＳまでの距離よりも近い場合、その距離が近くなるほど、パターン投射画像上における各光点Ｄの位置が、図４（Ａ）のパターン投射画像における位置よりも右側に移動し、そのシフト量が大きくなる。

したがって、パターン投射画像におけるパターンの歪み具合として、パターン投射画像上の各光点Ｄの上記シフト量、即ち、パターン投射画像上の各光点Ｄの位置を検出することで、各光点Ｄが投射される物体Ｍの表面の各点までの距離を算出することができる。なお、このようなパターン投射画像に基づく距離の算出は三角測量の原理に基づくもので周知の算出方法を用いることができる。

このように、距離画像生成部４６は、撮像装置４４から取得したパターン投射画像に基づいて照射光の各光点Ｄが照射された物体表面の各点までの距離を算出する。そして、２次元平面上に配列された画素からなる画像上において、物体表面の各点に対応する位置の各画素の画素値を、物体表面の各点までの距離を表す値とした距離画像を生成する。

また、距離画像は、撮像装置４４から１コマ分のパターン投射画像を取得するごとに順次生成され、順次生成された距離画像のデータは、距離画像データとして情報取得装置１０の距離画像データ出力用の出力端子から出力される。

なお、撮像装置４４により得られるパターン投射画像の画素数と、距離画像の画素数とは必ずしも一致しない。例えば、縦横に所定画素分の大きさを有する単位領域でパターン投射画像を区画し、単位領域ごとに、各々に対応する物体表面の領域までの距離を１つずつ算出する。そして、各単位領域を１つの画素としてその画素値を距離の値とした距離画像を生成する態様とすることができる。このような場合には、距離画像の画素数はパターン投射画像の画素数よりも少なくなる。

また、照射光のパターンは、図２のように光点Ｄを縦横に等間隔に配列したドットパターンとするのではなく、光点をランダムに配列したランダムドットパターンとしてもよい。この場合に、照射光の全体のランダムドットパターンを複数の部分に分割したときの各々の部分は、複数の光点からなる固有の部分パターンを有し、全体のランダムドットパターンの中の任意の位置から抽出したいずれの部分とも合致しないパターンを有する。そして、このようなランダムドットパターンの照射光を対象空間に照射して得られたパターン投射画像において、各々の部分パターンに合致する領域をパターンマッチング等により検出し、各部分パターンが検出された領域の位置に基づいて各部分パターンの照射光が照射された物体表面の領域までの距離を算出し、距離画像を生成することができる。

図３に示す振動発生装置８０と補正部４８は、距離画像センサ４０に対して、良質な距離画像を取得するための追加されたものであり、振動発生装置８０は、図１に示したように情報取得装置１０の本体部３０の上面に設置され、補正部４８は、コントローラ１４に搭載される。

これらの振動発生装置８０及び補正部４８の配置は、既存の情報取得装置に対して大幅な変更を要しないことを考慮したものであり、振動発生装置８０は、情報取得装置１０の本体部３０のケース内に内蔵されていてもよい。また、補正部４８は、本実施の形態では情報取得装置１０の外部に配置されるが、補正部４８も本体部３０のケース内に内蔵されていてもよいし、距離画像生成部４６の機能の一部として組み込むこともできる。更に、補正部４８は、図１のコントローラ１４以外において、情報取得装置１０を使用する任意のシステムにおける任意の処理装置に組み込むこともできる。なお、本明細書においては、補正部４８が配置される場所にかかわらず情報取得装置１０の構成要素であるものとする。

振動発生装置８０は、例えば、ケースに内蔵された偏心モータを有する。偏心モータは、偏心した錘が回転軸に固着されたモータであり、電力が供給されて回転軸が回転し、錘が偏心回転することで機械的振動を発生させる。その振動数は、例えば、撮像装置４４の撮像素子６０により１秒間あたりに撮像される画像のコマ数（例えば３０コマ）、即ち、フレームレートに対して数分の１から数倍の値となる振動数（Ｈｚ）であることが望ましい。

振動発生装置８０により発生した振動は、情報取得装置１０の本体部３０に伝達し、本体部３０に微小な振動を生じさせる。これによって、本体部３０に搭載された距離画像センサ４０全体がランダムな方向に微小振動する。即ち、距離画像センサ４０の照射装置４２及び撮像装置４４が微小振動する。また、その振動数は振動発生装置８０で発生する振動数と同等である。

振動発生装置８０により照射装置４２及び撮像装置４４が振動する方向については特別な制御は必要なく、直交する３軸の方向及びその３軸周りの方向の全ての方向に振動するものであってもよいし、いずれか一つ又は複数の方向にのみ振動するものであってもよい。少なくとも照射装置４２及び撮像装置４４のうちの少なくとも一方の位置が対象空間に対して変化するものであればよい。ただし、所定の方向にのみ振動するようにしてもよい。

また、振動発生装置８０は、距離画像センサ４０が動作している際、即ち、撮像装置４４が撮像を行っている撮像時において継続的に駆動され、撮像装置４４は、その振動によって対象空間を異なる位置から撮像したパターン投射画像を順次取得する。

なお、振動発生装置８０は、機械的振動の発生するものであれば偏心モータでなくてもよく、例えば、圧電素子によって機械的振動を発生するものであってもよい。

また、距離画像センサ４０の振動の大きさとしては、対象空間の物体表面の所定点に対応する距離画像上の位置がその振動によって数画素変位する程度であることが望ましく、また、被写体深度によって変化させることが望ましいが、特にこれに限定されない。

補正部４８は、距離画像センサ４０（距離画像生成部４６）から順次出力された距離画像データを取得し、複数コマ分ずつの距離画像に基づいて１コマ分の良質な距離画像を補正距離画像として順次生成して出力する。補正部４８から出力された補正距離画像は、情報取得装置１０から取得する最終的な距離画像のデータであり、コントローラ１４は、補正部４８から出力された補正距離画像に基づいて対象空間に存在する物体の３次元的な位置の特定などの所要の処理を実施する。

ここで、振動発生装置８０（偏心モータ）は、制御部７０からの駆動信号により駆動され、振動発生装置８０の駆動と停止とは制御部７０により切り替えられる。制御部７０は、距離画像センサ４０を動作させている間は振動発生装置８０を駆動し、距離画像センサ４０の動作を停止させる場合に振動発生装置８０の駆動を停止させる。

一方、補正部４８は、コントローラ１４の不図示の制御部（ＣＰＵ等）からの指示により、距離画像の補正の実施と停止とを切り替える。コントローラ１４の制御部は、情報取得装置１０の制御部７０に対して距離画像センサ４０の起動を指示して距離画像センサ４０を動作させている場合には、補正部４８における補正を実施させ、距離画像センサ４０を停止させる場合には、補正部４８における補正を停止させる。

ただし、振動発生装置８０の駆動及び補正部４８の補正は良質な距離画像が得られない場合に行うようにすればよく、ユーザが振動発生装置８０の駆動及び補正部４８の補正を行うか否かを判断してコントローラ１４の入力手段により指示する形態としてもよい。また、振動発生装置８０に駆動と停止とを切り替える操作部（スイッチ等）を設けてユーザがその操作部を直接操作して振動発生装置８０の駆動と停止を切り替えるようにしてもよい。

次に、振動発生装置８０と補正部４８の作用効果、及び、補正部４８の処理内容について説明する。

図５に示すように対象空間に例えば球体の物体Ｍが存在する場合に、情報取得装置１０における距離画像センサ４０の照射装置４２から照射光を対象空間に照射すると、照射光のドットパターンが物体Ｍの表面に投射される。このとき物体Ｍの表面に投射されたドットパターンの１つの光点Ｄに着目すると、その光点Ｄを形成する照射装置４２からの入射光λｉに対して物体Ｍの表面反射特性に応じた強度及び方向の反射光が発生する。同図の一点鎖線は入射光λｉが鏡面反射したときの正反射方向ｒを示す。

物体Ｍの表面が光沢を有さず、拡散反射する表面反射特性を有する場合、同図に示すように入射光λｉに対する光点Ｄからの反射光λｒは、正反射方向の周辺角度に制限されることなく広い角度範囲の方向にわたって略均等な強度で拡散反射する。このとき、反射光λｒの一部が距離画像センサ４０の撮像装置４４の結像光学系５８に入射する。

したがって、光点Ｄの像がパターン投射画像に写り込むため、物体Ｍの表面の光点Ｄまでの距離が適切に算出される。即ち、この場合、撮像装置４４により例えば図６（Ａ）のようなパターン投射画像が得られる。これによれば、パターン投射画像には、物体Ｍの表面に投射された照射光のパターンが欠落なく写り込んでいる。

このとき、距離画像センサ４０の距離画像生成部４６により図６（Ｂ）のような距離画像が得られる。なお、図面上に示す距離画像における濃度は、距離を示す値の画素値の大きさを示す（近いほど濃い）。これによれば、物体Ｍの表面に略欠落のない良質な距離画像が得られる。

一方、物体Ｍの表面が光沢を有する場合（かつ、拡散反射の少ない表面反射特性を有する場合）、図７に示すように、入射光λｉに対する光点Ｄからの反射光λｒは、正反射方向ｒの角度周辺の狭い角度範囲の方向にのみ強く反射する。この場合、撮像装置４４の位置によっては光点Ｄからの反射光λｒが撮像装置４４の結像光学系５８にほとんど入射しないという事態が生じ得る。また、反射光λｒが撮像装置４４の結像光学系５８に入射する場合であっても、結像光学系５８に入射する反射光λｒの強度（光量）が強すぎると結像光学系５８におけるレンズ内面での再反射等によりフレアが生じ、光点Ｄの像がパターン投射画像において検出できないという事態も生じ得る。

したがって、パターン投射画像における光点Ｄの位置を検出することができないため、物体Ｍの表面の光点Ｄまでの距離を適切に算出することができないという事態が生じ得る。即ち、前者の場合、撮像装置４４により例えば図８（Ａ）のようなパターン投射画像が得られる。これによれば、パターン投射画像には、物体Ｍの表面の一部分に投射された光点Ｄの像のみが写り込んでいる。

このとき、距離画像生成部４６により図８（Ｂ）のような距離画像が得られる。これによれば、物体Ｍの表面に大きな欠落が生じた距離画像が得られる。したがって、良質な距離画像を取得できないという事態が生じ得る。なお、後者の場合については省略する。

物体Ｍの表面反射特性は、表面の材質の赤外線反射率や吸収率、表面の滑らかさや均一さの影響を受けるが、一般的に金属やプラスチック素材は、表面に光沢を有するものが多く、良質な距離画像を取得できないことが生じやすい。

そこで、そのような光沢を有する物体に対しても良質な距離画像を取得できるようにするため、本実施の形態の情報取得装置１０は、振動発生装置８０により距離画像センサ４０を振動させることにより、対象空間に対する距離画像センサ４０の位置、即ち、照射装置４２及び撮像装置４４の位置を微小に変化させながら、撮像装置４４によりパターン投射画像を順次撮像して距離画像を取得する。これによって、照射装置４２により対象空間に異なる位置から照射光を照射し、撮像装置４４により対象空間を異なる位置から撮像したときのパターン投射画像及び距離画像を取得する。

例えば、図７に示したように物体Ｍの表面における光点Ｄからの反射光λｒが撮像装置４４の結像光学系５８に入射しない状態が生じたとしても、振動発生装置８０による振動により距離画像センサ４０の位置が変化することによって図９のように光点Ｄからの反射光λｒの一部が撮像装置４４の結像光学系５８に適切に入射し、光点Ｄの像がパターン投射画像に適切に写り込む状態が生じ得る。

また、撮像装置４４の結像光学系５８に入射する光点Ｄからの反射光λｒの強度が強すぎる状態が生じたとしても、振動発生装置８０による振動により距離画像センサ４０の位置が変化することによって撮像装置４４の結像光学系５８に入射する光点Ｄからの反射光λｒの強度が適切な強さとなる状態が生じ、光点Ｄの像がパターン投射画像に適切に写り込む状態が生じ得る。

したがって、距離画像センサ４０を振動させて距離画像センサ４０の複数の位置でパターン投射画像を撮像することで、それらのうちのいずれかのパターン投射画像により光点Ｄまでの距離を適切に算出することができる。

なお、照射光のパターンの複数の光点の各々に関しても同様のことが当てはまるが、複数の光点の各々までの距離を適切に算出することができる距離画像センサ４０の変位位置が同じであるとは限らない。

一方、補正部４８は、図１０、図１１のフローチャートに示す処理手順に従って次のように距離画像を補正して上述の補正距離画像を生成し出力する。図１２は、補正部４８の構成要素を示し、これを用いて説明する。

まず、図１０のステップＳ１０の処理として、図１２の画像蓄積部９２は、距離画像センサ４０の距離画像生成部４６から順次出力される距離画像（距離画像データ）を取得すると共に蓄積（記憶）する。

次に、ステップＳ１２の処理として、画像蓄積部９２は、予め決められた複数コマ分の距離画像を蓄積したか否かを判定する。本実施の形態では例えば１０コマ分の距離画像を蓄積するが、これに限らない。この判定においてＮＯとなる間はステップＳ１０の処理を繰り返す。ＹＥＳとなった場合には、ステップＳ１４に移行する。

なお、画像蓄積部９２は、ステップＳ１４以降の処理が行われている際においても距離画像センサ４０の距離画像生成部４６から順次出力される距離画像を取得して蓄積しており、ステップＳ１４以降の全ての処理が終了すると、不要になった１０コマ分の距離画像を削除して、その後に蓄積された距離画像が１０コマ分蓄積されたか否かを、次のループでのステップＳ１２において判定する。なお、画像蓄積部９２の他の処理形態として、１０コマ分の距離画像を蓄積した後、新たな距離画像を１コマ分取得した際に、最も古い距離画像を１コマ分削除して新たな距離画像を追加した１０コマ分の距離画像を蓄積するものとしてもよく、ステップＳ１４以降の全ての処理が終了した時点で、画像蓄積部９２が蓄積している１０コマ分の距離画像を用いて次のループでのステップＳ１４以降の処理を行うようにしてもよい。例えば、距離画像生成部４６（撮像装置４４）により順次出力された画像を予め決められた複数コマ分ずつ蓄積するという場合には、このような画像蓄積部９２における処理形態も含まれるものとし、また、他の形態であってもよいものとする。

次に、ステップＳ１４の処理として、図１２の位置ずれ補正部９４は、画像蓄積部９２に蓄積された１０コマ分の距離画像に関しての位置ずれを補正する。

即ち、振動発生装置８０による距離画像センサ４０の振動により、１０コマ分の距離画像における同一位置の画素が、対象空間の物体表面の同一位置の情報（距離）を表す画素とはなっていないため、それらの画素が同一位置の情報を表す画素となるように各距離画像の相対的な位置を補正する。

距離画像の位置ずれを補正する処理の一例について図１１のフローチャート及び図１３の説明図に従って説明する。例えば、図１３（Ａ）、（Ｂ）に示すように距離画像の横方向をＸ軸、縦方向をＹ軸として、各画素の位置をＸ座標値Ａｘ及びＹ座標値Ａｙを用いて（Ａｘ、Ａｙ）として表すものとする。ただし、距離画像の横方向の画素数をＮ、縦方向の画素数をＭとし、Ａｘを０〜Ｎ−１の整数、Ａｙを０〜Ｍ−１の整数とし、左上隅の画素の位置を（０、０）、右下隅の画素の位置を（Ｎ−１、Ｍ−１）とする。

そして、図１３（Ａ）は、ステップＳ１０において蓄積した１０コマ分の距離画像のうちの基準の距離画像とする任意の１コマの距離画像を示し、図１３（Ｂ）は、基準の距離画像以外の任意の１コマの距離画像を示すものとする。

また、対象空間には図５と同様に球体の物体Ｍが存在するものとし、図１３（Ａ）の基準の距離画像における物体Ｍの位置と、図１３（Ｂ）の距離画像における物体Ｍの位置とが相違しているものとする。

まず、図１１に示すステップＳ４０の処理として、位置ずれ補正部９４は、図１３（Ａ）の基準の距離画像における物体Ｍの重心位置（Ａｘ０、Ａｙ０）と、図１３（Ｂ）の距離画像における物体Ｍの重心位置（Ａｘ１、Ａｙ１）とを求める。たとえば、距離画像の各画素値（距離を示す値）を所定の閾値を堺に０と１とに変換して距離画像を２値画像に変換する。そして、その２値画像により距離画像における物体Ｍの存在を検出して、その物体Ｍが占める領域を認識する。その物体Ｍの領域から重心位置を求める。

次に、ステップＳ４２の処理として、位置ずれ補正部９４は、図１３（Ｂ）の距離画像における物体Ｍの重心位置（Ａｘ１、Ａｙ１）が、図１３（Ａ）の基準の距離画像における物体Ｍの重心位置（Ａｘ０、Ａｙ０）に対して移動した移動量（移動方向及び大きさを示す移動ベクトル）を算出する。即ち、（Ａｘ１−Ａｘ０、Ａｙ１−Ａｘ０）をその移動ベクトルとして算出する（図１３（Ｂ）参照）。

次に、ステップＳ４４の処理として、ステップＳ４２で算出した移動ベクトル（Ａｘ１−Ａｘ０、Ａｙ１−Ａｘ０）に対する逆ベクトル（Ａｘ０−Ａｘ１、Ａｙ０−Ａｘ１）分だけ、図１３（Ｂ）の距離画像を全体的に移動させ、各画素の位置を移動させる。即ち、図１３（Ｂ）の距離画像の位置（Ａｘ、Ａｙ）の画素の画素値（２値化する前の距離を示す値）を、位置（Ａｘ＋Ａｘ０−Ａｘ１、Ａｙ＋Ａｙ０−Ａｘ１）の画素の画素値とした図１３（Ｃ）の距離画像を、図１３（Ｂ）の距離画像に代えたものとする。

これによって、図１３（Ｃ）の距離画像における物体Ｍの重心位置が図１３（Ａ）の基準の距離画像における物体Ｍの重心位置（Ａｘ０、Ａｙ０）と一致し、図１３（Ａ）の基準の距離画像と図１３（Ｃ）の距離画像における同一位置の画素が、対象空間における物体表面の同一位置の情報を表す画素となる。

このように位置ずれ補正部９４は、画像蓄積部９２に蓄積された基準の距離画像以外の９コマ分の距離画像の全てについて位置ずれを補正する。なお、図１３では対象空間に球体の物体Ｍのみが存在する場合について例示したが、複数の物体が存在する場合に、ステップＳ４０の処理として、いずれか１つの物体のみに関して各距離画像において占める領域を識別して重心位置を求め、その重心位置に基づくステップＳ４２及びステップＳ４４の処理により距離画像の位置ずれを補正することができる。また、ステップＳ４０の処理として、距離画像における物体の一部分に関して各距離画像において占める領域をパターンマッチング等により識別して重心位置を求め、その重心位置に基づくステップＳ４２及びステップＳ４４の処理により各距離画像の位置ずれを補正することもできる。

次に、ステップＳ４６の処理として、位置ずれ補正部９４は、位置ずれ補正後の１０コマ分の距離画像（ただし、そのうちの１コマは基準の距離画像）を重ねた場合に、全ての距離画像の画素が重なる領域に対して、予め決められアスペクト比（縦横比）の画像領域を画像切出範囲として設定する。そして、各距離画像の画像切出範囲の画像を以下の処理で使用する距離画像とする。

以上により図１０のステップＳ１４の距離画像の位置ずれを補正する処理が終了する。

次に、ステップＳ１６の処理として、図１２の選出部９６は、画像蓄積部９２に蓄積された１０コマ分の距離画像の各々から第ｔの位置の画素の画素値を抽出する。なお、第ｔの位置とは、各距離画像の各画素の位置に対して所定の順序で１〜Ｔ（Ｔは整数）の番号を付したときの各画素の位置をその番号で表したものであり、ｔの初期値を１とする。

即ち、本フローチャートの処理によって補正部４８が生成する補正距離画像の各画素の位置に対しても各距離画像と同様に番号を付すものとすると、画像蓄積部９２に蓄積された１０コマ分の距離画像の各々から補正距離画像の第ｔの位置に対応する位置の画素の画素値を抽出する。

次に、ステップＳ１８の処理として、選出部９６は、ステップＳ１６において抽出した画素値（１０個）を比較し、異常値を除外してそれ以外の正常値のみを有効な画素値として選出する。

図１４は、横軸を時間軸、縦軸を画素値として、各距離画像が取得された時間の位置に各距離画像から抽出された画素値を例示した図である。同図に示すように一部の画素値が、最小値０と最大値２５５との間の中間的な値を示す場合には、最小値０と最大値２５５を示す画素値は異常値として除外し、中間的な値を示す画素値のみを有効な画素値として選出する。なお、中間的な値であっても、他の中間的な値との差が一つだけ突出して大きい場合にはその画素値も異常値として除外する。

例えば、抽出された１０個の画素値のうち、最小値０又はこれに相当する範囲の値以外の画素値であり、かつ、最大値２５５又はこれに相当する範囲の値以外の事前に決められた値範囲（第１範囲）の画素値であって、画素値の差が事前に決められた値範囲（第２範囲：第２範囲＜第１範囲）となる画素値が複数（予め決められた個数分）存在する場合には、それらを画素値を正常値として（それ以外の画素値を異常値として）選出し、有効な画素値とする。ただし、正常値とする画素値の選出方法はこれに限らない。

次に、ステップＳ２０の処理として、図１２の決定部９８は、選出部９６により有効な画素値として選出された画素値に基づいて１つの画素値を決定する。たとえば、選出された画素値の最大値と最小値との中間値、又は、選出された画素値の平均値を１つの画素値として決定する。

次に、ステップＳ２２の処理として、図１２の補正画像生成部１００は、補正距離画像における第ｔの位置の画素の画素値を、ステップＳ２０において決定部９８により決定された画素値に設定する。

次に、ステップＳ２４の処理として、第ｔの位置が第Ｔの位置か否かを判定する。即ち、補正距離画像の全ての画素の画素値を設定したか否かを判定する。ＮＯと判定した場合には、ｔの値を１増加させてステップＳ２６に移行する。

一方、ＹＥＳと判定した場合には、補正距離画像の全ての画素値が設定され、補正距離画像の生成が終了したため、補正画像生成部１００は、ステップＳ２６の処理として、生成した補正距離画像を出力する。そして、ステップＳ１０に移行する。

以上のステップＳ１０〜ステップＳ２６の処理が繰り返し行われて、補正画像生成部１００から補正距離画像が順次出力される。

なお、各距離画像の位置ずれは大きくないためステップＳ１４における距離画像の位置ずれを補正する処理及び位置ずれ補正部９４を有しない形態としてもよい。

以上の振動発生装置８０及び補正部４８を備えた情報取得装置１０により実際に計測を行った結果を示す。図１５は、対象空間を可視光カメラで撮像した白黒画像を示し、同図に示すように、対象空間にみかんの模型をばら積みして配置した。

これに対して、振動発生装置８０の駆動を停止させると共に、補正部４８による距離画像の補正を行うことなく、図１５と同じ対象物の距離画像を距離画像センサ４０により取得した場合、図１６のような距離画像が得られた。なお、図面上における距離画像の濃度は距離を示す値の画素値の大きさを示す。これによれば、みかんの模型の表面には光沢があるため、みかんの表面の一部の画像が欠落しているのがわかる。

一方、振動発生装置８０を駆動させると共に、補正部４８による距離画像の補正を有効し、図１５と同じ対象物の距離画像（補正距離画像）を距離画像センサ４０及び補正部４８により取得した場合、図１７のような距離画像が得られた。これによれば、みかんの模型の表面の画像がほぼ欠落なく得られているのがわかる。このように、対象空間の物体表面が光沢を有する場合でも、振動発生装置８０及び補正部４８により良質な距離画像が得られるという効果が確認された。

以上、上記実施の形態における補正部４８は、距離画像以外の任意の画像（可視画像、パターン投射画像等）に対しても、複数コマ分の画像に基づいて欠落部分を低減させた１コマ分の画像を生成する処理部として用いることができる。したがって、情報取得装置１０の他の実施の形態の構成として図１８に示すように、撮像装置４４の後段で、かつ、距離画像生成部４６の前段に補正部４８を配置した形態としてもよい。これによれば、撮像装置４４から順次出力される複数コマ分ずつのパターン投射画像に基づいて１コマ分の補正パターン投射画像が補正部４８により順次生成され、補正部４８から順次出力された補正パターン投射画像に基づいて距離画像が距離画像生成部４６により順次生成されて出力される。この形態によっても上記実施の形態と同様に、対象空間に存在する物体表面が光沢を有する場合であっても欠落部分の少ない良質な距離画像を得ることができる。

また、上記実施の形態では、距離画像センサ４０としてパターン投射方式の距離画像センサを採用した情報取得装置１０の構成を示したが、上述したように、距離画像センサ４０としてＴＯＦ方式など、対象空間に赤外領域の波長の照射光を照射する照射装置と、赤外領域の波長の光により対象空間を撮像する撮像装置とを有するアクティブ方式の任意の種類の距離画像センサを採用した情報取得装置においても上記実施の形態の同様に振動発生装置８０及び補正部４８を備えることで上記実施の形態と同様の効果が得られる。照射装置が不要で撮像装置のみを有するパッシブ方式の任意の種類の距離画像センサを採用した情報取得装置においても上記実施の形態の同様に振動発生装置８０及び補正部４８を備えることで上記実施の形態と同様の効果が得られる。

また、上記実施の形態において、距離画像を取得する距離画像センサ４０の代わりに、任意の種類の画像（可視画像等）を撮像する撮像装置を構成要素とした場合、または、その撮像装置とともに対象空間に照射光（照明光等）を照射する照射装置を構成要素とした場合においても本発明は有効である。即ち、振動発生装置８０により撮像装置を振動させながら、または、照射装置を備える場合には撮像装置と共に照射装置を振動させながら、対象空間を撮像し、撮像装置により順次出力される複数コマ分ずつの画像に基づいて補正部４８により補正画像を生成して出力するもとしてもよい。このような撮像装置の例として、上記実施の形態の情報取得装置１０が備える可視光カメラが該当する。これにより、欠落部分が少ない良質な画像を取得することができ、また、撮像した画像においてＲＧＢの色情報の位置ずれによる偽色が発生するようなカメラであっても本発明によって偽色の発生を低減することができる。なお、補正画像にシャープネス処理を施して画質の向上を更に図るようにしてもよい。

また、上記実施の形態においては、照射装置４２と撮像装置４４の両方を振動発生装置８０により振動させるようにしたが、撮像装置と照射装置の両方を有する情報取得装置においては、少なくともいずれか一方の位置を振動によって変化させるようにすれば上述の効果を得ることができるため、必ずしも両方を振動させる必要はなくいずれか一方のみを振動させる構成としてもよい。また、必ずしも照射装置と撮像装置の各々の全体を振動させる必要はなく、照射装置を振動させるということの解釈には、照射装置の一部の構成要素のみ（例えば、光源のみ）を振動させることを含み、撮像装置を振動させるということの解釈には、撮像装置の一部の構成要素のみ（例えば、結像光学系）を振動させることを含む。

また、上記実施の形態では、本発明をロボットビジョンシステムにおける情報取得装置及び画像処理方法に適用する場合について例示したが、任意のシステム、装置における情報取得装置及び画像処理方法として同様に適用することができる。例えば，工場内の産業用カメラは金属部品やプラスチック部品等の光沢を有する物体を撮影する機会が多く、光の表面反射で物体の正確な色、明るさ，形状を認識できないことがある。このような産業用カメラに対して本発明を適用することで、金属部品やプラスチック部品等の部品認識や表面検査等を可能にすることできる。

Ｄ…光点、Ｍ…物体、Ｓ…平面スクリーン、λｉ…入射光、λｒ…反射光、１…ピッキングシステム、１０…情報取得装置、１２…ロボット、１４…コントローラ、１６，２２…信号ケーブル、１８…アーム、２０…クランプ、３０…本体部、３２…投光窓、３４…受光窓、３６…撮影窓、４０…距離画像センサ、４２…照射装置、４４…撮像装置、４６…距離画像生成部、４８…補正部、５０…レーザ光源、５２…投光光学系、５８…結像光学系、６０…撮像素子、７０…制御部、８０…振動発生装置、９２…画像蓄積部，９４…位置ずれ補正部、９６…選出部、９８…決定部、１００…補正画像生成部

Claims (13)

1. 対象空間を撮像した画像を順次出力する撮像装置と、
   前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、
   前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する補正部であって、
   前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、
   前記補正画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、
   前記補正画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、
   前記補正画像の各画素の画素値を前記決定部により決定した画素値とした補正画像を順次生成して出力する補正画像生成部と、
   を有する補正部を備えた情報取得装置。
2. 所定のパターンを有する赤外領域の波長の照射光を前記対象空間に照射する照射装置を備え、
   前記撮像装置は、前記照射装置により前記対象空間に存在する物体の表面に投射された前記照射光のパターンを撮像した画像を順次出力し、かつ、前記補正部は、前記照射光のパターンを撮像した画像に対する補正画像を順次生成して出力し、
   前記補正部により順次生成されて出力された補正画像に基づいて前記物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次生成して出力する距離画像生成部を備えた請求項１に記載の情報取得装置。
3. 対象空間に照射光を照射する照射装置と、
   前記対象空間を撮像した画像を順次出力する撮像装置と、
   前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、
   前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する補正部であって、
   前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、
   前記補正画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、
   前記補正画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、
   前記補正画像の各画素の画素値を前記決定部により決定した画素値とした補正画像を順次生成して出力する補正画像生成部と、
   を有する補正部を備えた情報取得装置。
4. 前記照射装置は、所定のパターンを有する赤外領域の波長の照射光を前記対象空間に照射し、
   前記撮像装置は、前記照射装置により前記対象空間に存在する物体の表面に投射された前記照射光のパターンを撮像した画像を順次出力し、かつ、前記補正部は、前記照射光のパターンを撮像した画像に対する補正画像を順次生成して出力し、
   前記補正部により順次生成されて出力される補正画像に基づいて前記物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次生成して出力する距離画像生成部を備えた請求項３に記載の情報取得装置。
5. 前記補正部は、前記画像蓄積部に蓄積された前記複数コマ分の画像における同一位置の画素が、前記対象空間に存在する物体の表面の同一位置の情報を表す画素となるように、前記画像蓄積部に蓄積された前記複数コマ分の画像の各々の相対的な位置を補正する位置ずれ補正部を有する請求項１から４のうちのいずか１項に記載の情報取得装置。
6. 対象空間を撮像する撮像装置を有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、
   前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、
   前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する補正部であって、
   前記撮像装置により順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、
   前記補正距離画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、
   前記補正距離画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、
   前記補正距離画像の各画素の画素値を前記決定部により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成部と、
   を有する補正部を備えた情報取得装置。
7. 対象空間に赤外領域の波長の照射光を照射する照射装置と、赤外領域の波長の光により前記対象空間を撮像する撮像装置とを有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、
   前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、
   前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する補正部であって、
   前記撮像装置により順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積部と、
   前記補正距離画像の画素ごとに、前記画像蓄積部に蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出部と、
   前記補正距離画像の画素ごとに、前記選出部により選出された有効な画素値に基づいて１つの画素値を決定する決定部と、
   前記補正距離画像の各画素の画素値を前記決定部により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成部と、
   を有する補正部を備えた情報取得装置。
8. 前記照射装置は、所定のパターンを有する赤外領域の波長の照射光を前記対象空間に照射し、
   前記撮像装置は、前記照射装置により前記対象空間に存在する物体の表面に投射された前記照射光のパターンを撮像した画像を順次出力し、
   前記距離画像センサは、前記撮像装置により順次出力された画像に基づいて前記物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次生成して出力する距離画像生成部を備えた請求項７に記載の情報取得装置。
9. 前記補正部は、前記画像蓄積部に蓄積された前記複数コマ分の距離画像における同一位置の画素が、前記対象空間に存在する物体の表面の同一位置の情報を表す画素となるように、前記画像蓄積部に蓄積された前記複数コマ分の距離画像の各々の相対的な位置を補正する位置ずれ補正部を有する請求項６、７、又は８に記載の情報取得装置。
10. 対象空間を撮像した画像を順次出力する撮像装置と、前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、を備えた情報取得装置において、前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する画像処理方法であって、
    前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、
    前記補正画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、
    前記補正画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、
    前記補正画像の各画素の画素値を前記決定工程により決定した画素値とした補正画像を順次生成して出力する補正画像生成工程と、
    を有する画像処理方法。
11. 対象空間に照射光を照射する照射装置と、前記対象空間を撮像した画像を順次出力する撮像装置と、前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、を備えた情報取得装置において、前記撮像装置により順次出力された複数コマ分ずつの画像に基づいて１コマ分の補正画像を順次生成して出力する画像処理方法であって、
    前記撮像装置により順次出力された画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、
    前記補正画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の画像から前記補正画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、
    前記補正画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、
    前記補正画像の各画素の画素値を前記決定工程により決定した画素値とした補正画像を順次生成して出力する補正画像生成工程と、
    を有する画像処理方法。
12. 対象空間を撮像する撮像装置を有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、前記撮像装置の撮像時において前記撮像装置を振動させる振動発生装置と、を備えた情報取得装置において、前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する画像処理方法であって、
    前記距離画像センサにより順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、
    前記補正距離画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、
    前記補正距離画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、
    前記補正距離画像の各画素の画素値を前記決定工程により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成工程と、
    を有する画像処理方法。
13. 対象空間に赤外領域の波長の照射光を照射する照射装置と、赤外領域の波長の光により前記対象空間を撮像する撮像装置とを有し、該撮像装置により得られた画像に基づいて前記対象空間に存在する物体の表面の各点までの距離を示す値を前記物体の表面の各点に対応する位置の画素の画素値とする距離画像を順次出力する距離画像センサと、前記撮像装置の撮像時において前記照射装置及び前記撮像装置のうちの少なくとも一方を振動させる振動発生装置と、を備えた情報取得装置において、前記距離画像センサにより順次出力された複数コマ分ずつの距離画像に基づいて１コマ分の補正距離画像を順次生成して出力する画像処理方法であって、
    前記距離画像センサにより順次出力された距離画像を予め決められた複数コマ分ずつ蓄積する画像蓄積工程と、
    前記補正距離画像の画素ごとに、前記画像蓄積工程により蓄積された前記複数コマ分の距離画像から前記補正距離画像の各画素の位置に対応する位置の画素の画素値を抽出し、該抽出した画素値の中から異常値を除外した正常値のみを有効な画素値として選出する選出工程と、
    前記補正距離画像の画素ごとに、前記選出工程により選出された有効な画素値に基づいて１つの画素値を決定する決定工程と、
    前記補正距離画像の各画素の画素値を前記決定工程により決定した画素値とした補正距離画像を順次生成して出力する補正画像生成工程と、
    を有する画像処理方法。