JP2021113756A - 推定装置、物体搬送システム、推定方法、およびプログラム - Google Patents

Abstract

【課題】容易な方法で計測を行って被写体の特性を推定することができる推定装置、物体搬送システム、推定方法、およびプログラムを提供することである。【解決手段】推定装置は、制御部と、推定部とを持つ。制御部は、被写体に照射する照射光の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える。推定部は、それぞれの前記複数の制御条件下において、一つ以上の受光ゲートによって受光することで取得された前記被写体に関する被写体データに基づいて、前記被写体の特性を推定する。【選択図】図１

Description

本発明の実施形態は、推定装置、物体搬送システム、推定方法、およびプログラムに関する。

従来から、物体に対して光パルスを照射し、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を検出した時刻との時間差を計測することにより、物体との距離を計測する技術がある。この技術は、光パルスの飛行時間によって物体との距離を計測する技術であり、タイム・オブ・フライト（Time- of- Flight：ＴｏＦ）と呼ばれる。このタイム・オブ・フライトの技術は、例えば、物体との距離を計測するためのカメラ（以下、「ＴｏＦカメラ」という）などにおいて実用化されている。

ところで、ＴｏＦ技術を利用した距離の計測における課題として、計測対象の物体の材質によって計測した距離に差が生じてしまうということが挙げられる。例えば、液体や固体（半固体を含む）などの内容物が収められている半透明のプラスチック容器に紙のラベルが貼り付けられている場合、このプラスチック容器と紙のラベルとは同じ位置に置かれているものとして同じ距離を計測する必要があるが、プラスチック容器と紙のラベルとで計測した距離が異なるというようなことが発生する。これは、プラスチック容器と紙のラベルとでは、照射した光パルスが物体の表面で反射して反射光として戻ってくるまでに時間差が生じていることによるものである。より具体的には、半透明のプラスチック容器では、プラスチック容器と収められた内容物との間において光パルスが反射する際に光の散乱が起こり、この光の散乱によって紙のラベルからの反射光を検出する時間とプラスチック容器からの反射光を検出する時間とに時間差が生じてしまうことによるものである。また、光の散乱は、物体の色などによっても異なるため、同じ位置に置かれている同じ材質の物体であっても、色の差によって計測した距離に差が出てしまうこともある。

これに関し、物体の材質により発生する計測した距離の差を低減する方法に関する技術が開示されている。

Shuochen Su、Felix Heide、Robin Swanson、Jonathan Klein、Clara Callenberg、Matthias Hullin、Wolfgang Heidrich、"Material Classification Using Raw Time-of-Flight Measurements"、IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、２０１６、ｐ．３５０３〜３５１１ 岩口 優也、田中 賢一郎、青砥 隆仁、久保 尋之、舩冨 卓哉、向川 康博、"ＴｏＦカメラの距離計測歪みを手掛かりとした半透明物体の分類"、情報処理学会研究報告（IPSJ SIG Technical Report）、Ｖｏｌ．２０１６−ＣＶＩＭ−２０３ Ｎｏ．１２、ｐ．１〜７、２０１６年０９月０５日 Kenichiro Tanaka、Yasuhiro Mukaigawa、Takuya Funatomi、Hiroyuki Kubo、Yasuyuki Matsushita、Yasushi Yagi、"Material Classification using Frequency- and Depth-Dependent Time-of-Flight Distortion"、IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、２０１７、ｐ．７９〜８８

しかしながら、一般的なＴｏＦカメラには、照射する光パルスの変調周波数や位相遅延量を変更することができるものが存在しない。このため、現在実現されているＴｏＦカメラを改良することが必要になり、従来の技術を容易に適用することができない。また、一般的なＴｏＦカメラにおいても、ＴｏＦカメラと被写体間の距離を変えることはできると考えられるが、例えば、空間的な制約などによって容易に距離を変えることができない場合がある。

本発明は、上記の課題認識に基づいてなされたものであり、容易な方法で計測を行って被写体の特性を推定することができる推定装置、物体搬送システム、推定方法、およびプログラムを提供することである。

実施形態の推定装置は、被写体に照射する照射光の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える制御部と、それぞれの前記複数の制御条件下において、一つ以上の受光ゲートによって受光することで取得された前記被写体に関する被写体データに基づいて、前記被写体の特性を推定する推定部と、を備える。

第１の実施形態の推定装置の構成の一例を示すブロック図。 制御部において設定する照射パターンと受光パターンとを説明する図。 記憶部に記憶するテーブルの作成方法を説明する図。 第１の実施形態の推定装置における推定の動作の流れを示すフローチャート。 第２の実施形態の推定装置の構成の一例を示すブロック図。 第２の実施形態の推定装置における推定の動作の流れを示すフローチャート。 第３の実施形態の推定装置の構成の一例を示すブロック図。 画像処理部において特性画像を生成する画像処理の一例を示す図。 推定装置を採用した物体搬送システムの構成の一例を模式的に示す図。

以下、実施形態の推定装置、物体搬送システム、推定方法、およびプログラムを、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態の推定装置の構成の一例を示すブロック図である。推定装置１は、例えば、光源部１０と、受光部２０と、算出部３０と、制御部４０と、推定部５０と、記憶部６０と、を備える。

また、推定装置１が備える算出部３０と、制御部４０と、推定部５０とのうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予めＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで、記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶装置にインストールされてもよい。

なお、図１においては、それぞれの構成要素をまとめて推定装置１として構成している一例を示したが、これはあくまで一例であり、推定装置１においてこれらの構成要素の一部または全部は、分散的に配置されてもよい。例えば、光源部１０と、受光部２０と、算出部３０とをまとめてカメラ装置１Ａとして構成し、制御部４０と推定部５０とをまとめて制御装置１Ｂとして構成し、記憶部６０を記憶装置１Ｃとして構成してもよい。さらに、例えば、カメラ装置１Ａが分離され、制御装置１Ｂと記憶装置１Ｃとが一体に配置されてもよい。以下の説明においては、推定装置１が備えるそれぞれの構成要素を機能的にまとめて、カメラ装置１Ａと、制御装置１Ｂと、記憶装置１Ｃとのそれぞれに分かれて構成されている場合を一例として説明する。

カメラ装置１Ａは、タイム・オブ・フライト（Time- of- Flight：ＴｏＦ）の技術によって被写体との間の距離を計測するＴｏＦカメラである。図１には、推定装置１において特性を推定する対象であり、カメラ装置１Ａによって配置されている距離を計測する被写体Ｓを併せて示している。図１に示した被写体Ｓは、例えば、液体や固体（半固体を含む）などの内容物が収められている半透明のプラスチック容器であり、プラスチック容器の表面に紙のラベルＬが貼り付けられている物体である。なお、被写体Ｓの材質は、プラスチックに限定されるものではなく、例えば、段ボールなどの紙や、ビニール、金属、布など、いかなる材質であってもよい。また、ラベルＬの材質も同様に、いかなる材質であってもよい。

光源部１０は、推定装置１において特性を推定する対象の被写体Ｓが存在する空間に照射光ＩＬを照射する。照射光ＩＬは、例えば、近赤外の波長帯域の光である。光源部１０は、例えば、ＬＥＤ（Light Emitting Diode：発光ダイオード）などの発光モジュールである。光源部１０は、例えば、垂直共振器面発光レーザー（Vertical Cavity Surface Emitting Laser：ＶＣＳＥＬ）などの面発光型の半導体レーザーモジュールであってもよい。光源部１０は、制御部４０により設定された後述する制御条件に応じたパルス状の光（以下、「照射パルス」という）を照射光ＩＬとして照射する。光源部１０は、例えば、拡散板（不図示）によって、発光モジュールが発光した光を、特性を推定する被写体Ｓが存在する空間における所定の広さの面に拡散させて照射してもよい。

なお、光源部１０は、照射光ＩＬの波長帯域を変更することができるものであってもよい。この場合、光源部１０は、制御部４０により設定された後述する制御条件に応じた波長帯域の照射光ＩＬを照射する。

受光部２０は、光源部１０が照射した照射光ＩＬの照射パルスが被写体Ｓで反射された反射光ＲＬを受光し、受光した反射光ＲＬの光量を表すデータ（以下、「受光データ」という）を出力する。受光部２０は、例えば、１箇所の距離を計測するために反射光ＲＬを受光する画素が一つ以上の受光ゲートを備える距離画像センサ（以下、「ＴｏＦセンサ」という）である。受光部２０は、例えば、複数の画素が二次元の行列状に配置されていてもよい。受光部２０は、例えば、入射した光を受光部２０に導く光学レンズ（不図示）によって集光された反射光ＲＬを受光してもよい。受光部２０は、入射した反射光ＲＬを、制御部４０により設定された後述する制御条件に応じたタイミングでそれぞれの受光ゲートが受光し、それぞれの受光ゲートが受光した反射光ＲＬの光量を表す受光データを算出部３０に出力する。

算出部３０は、受光部２０により出力されたそれぞれの受光ゲートからの受光データを取得する。算出部３０は、取得したそれぞれの受光データに基づいて、被写体Ｓに関するデータを求め、求めたデータ（以下、「被写体データ」という）を推定部５０に出力する。より具体的には、算出部３０は、取得したそれぞれの受光データを四則演算して、カメラ装置１Ａと推定装置１において特性を推定する対象の被写体Ｓとの間の距離を算出する。算出部３０は、算出した被写体Ｓとの間の距離の値（以下、「距離値」ともいう）を表す被写体データを、推定部５０に出力する。

制御装置１Ｂは、カメラ装置１Ａが備える光源部１０による照射光ＩＬの照射タイミングと、受光部２０が備えるそれぞれの受光ゲートにおける反射光ＲＬの受光タイミングとを制御する。制御装置１Ｂは、カメラ装置１Ａが備える算出部３０により出力された被写体データ（距離値）に基づいて、被写体Ｓの特性を推定する。

制御部４０は、推定装置１において被写体Ｓの特性を推定する際に、制御条件の設定を設定する。制御部４０は、カメラ装置１Ａが照射光ＩＬを被写体Ｓに照射する際の照射パルスの制御条件を光源部１０に設定し、カメラ装置１Ａが反射光ＲＬを受光する際のそれぞれの受光ゲートの制御条件を受光部２０に設定する。制御部４０では、照射光ＩＬの照射タイミングを変更するための照射パルスに関する複数の所定パターン（以下、「照射パターン」という）と、それぞれの受光ゲートにおける反射光ＲＬの受光タイミングを変更するためのゲートパルスに関する複数の所定パターン（以下、「受光パターン」という）とが、予め定められている（登録されている）。

制御部４０は、予め定められている照射パターンと受光パターンとの少なくとも一つが互いに異なるように組み合わせた制御条件を、カメラ装置１Ａが備える光源部１０と受光部２０とのそれぞれに設定する。照射パターンと受光パターンとの組み合わせは、カメラ装置１Ａが、同じ状態の被写体Ｓで反射された反射光ＲＬを受光した場合でも、受光データが表す反射光ＲＬの光量が異なるようにした組み合わせである。このため、受光データが表す反射光ＲＬの光量が同じとなる照射パターンと受光パターンとの組み合わせは一つのみである。推定装置１では、制御部４０が制御条件を複数回切り替えることにより、被写体Ｓの特性を推定する。このため、制御部４０は、推定装置１において被写体Ｓの特性を推定する際に、照射パターンと受光パターンとの組み合わせを変更した条件を複数回設定する。制御部４０は、光源部１０と受光部２０とのそれぞれに設定した制御条件（照射パターンと受光パターンとの組み合わせ）の情報を、推定部５０に出力する。

推定部５０は、制御部４０が光源部１０および受光部２０に設定した制御条件の情報と、算出部３０により出力された被写体データが表す距離値ｄとに基づいて、被写体Ｓの特性を推定する。推定部５０は、例えば、算出部３０により出力された被写体データが表す距離値ｄを補正し、カメラ装置１Ａと被写体Ｓとの間の距離を推定する。また、推定部５０は、例えば、算出部３０により出力された被写体データが表す距離値ｄに基づいて、被写体Ｓの材質を推定する。また、推定部５０は、例えば、算出部３０により出力された被写体データが表す距離値ｄに基づいて、被写体Ｓの属性を推定する。被写体Ｓの属性とは、例えば、被写体Ｓの反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報である。

推定部５０は、被写体Ｓの特性を推定する際に、記憶部６０に記憶された後述する特性データを参照する。より具体的には、推定部５０は、制御部４０が設定した制御条件に対応する特性データを選択し、算出部３０により出力された距離値ｄを選択した特性データと比較することにより、被写体Ｓの特性を推定する。推定部５０は、推定したカメラ装置１Ａと被写体Ｓとの間の距離や、被写体Ｓの材質、被写体Ｓの属性を、推定した被写体Ｓの特性のデータ（以下、「推定データ」という）として出力する。以下の説明において、推定部５０が推定して出力する推定データのそれぞれを区別する場合には、カメラ装置１Ａと被写体Ｓとの間の距離を表す推定データを「推定距離Ｄ」といい、被写体Ｓの材質を表す推定データを「推定材質Ｍ」といい、被写体Ｓの属性を表す推定データを「推定属性Ａ」という。

記憶装置１Ｃは、記憶部６０に、制御装置１Ｂが備える推定部５０が被写体Ｓの特性を推定する際に用いる特性データを記憶している。記憶部６０は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなど、特性データを記憶する記憶装置（非一過性の記憶媒体を備える記憶装置）である。なお、特性データは、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶部６０が備えるドライブ装置に装着されることで、推定部５０により参照されてもよい。また、特性データは、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶部６０に記憶されてもよい。

特性データは、例えば、制御条件と任意の被写体の特性との対応関係を定めたテーブルである。テーブルは、推定装置１の運用を開始する前に、被写体Ｓを想定した物体を実際に計測することによって作成する。テーブルを作成する際の被写体Ｓを想定した物体の計測は、例えば、実験室など、試験を行う環境で行ってもよい。例えば、推定装置１において被写体Ｓとの間の距離を推定する範囲内に被写体Ｓを想定した物体を実際に置いて、その物体の位置を所定の距離幅で変更しながら、算出部３０が求めた距離値ｄを、制御部４０が光源部１０や受光部２０に設定した制御条件（照射パターンと受光パターンとの組み合わせ）と対応付けて収集する。つまり、推定装置１における被写体Ｓとの間の距離の推定可能範囲内で、カメラ装置１Ａと被写体Ｓを想定した物体との間の実際の距離を所定の距離幅で変更しながら、複数の制御条件の距離値ｄを収集する。例えば、推定装置１における被写体Ｓとの間の距離の推定可能範囲が１００［ｃｍ］である場合、被写体Ｓを想定した物体を置く位置を数［ｃｍ］刻みで移動させ、それぞれの位置において制御条件を複数回（例えば、数十回程度）変更して、それぞれの制御条件での距離値ｄを収集する。この場合、例えば、数百個程度の距離値ｄを収集することになる。

距離値ｄを収集するために所定の距離に置く被写体Ｓを想定した物体としては、例えば、推定装置１において推定する被写体Ｓの材質や色などが同様の物体を用いる。そして、同じ物体に対して収集した複数の距離値ｄのそれぞれをデータとして、計測に用いた物体に対応するテーブルを作成する。また、物体の材質（例えば、紙、プラスチック、ビニール、金属、布など）や色などを異なるものに変更して同様に算出部３０が求めた距離値ｄを制御条件と対応付けて収集することにより、他の物体に対応するテーブルを作成する。このようにして、推定装置１において推定する対象の被写体Ｓの推定距離Ｄ、推定材質Ｍ、推定属性Ａをより正確に導き出すための複数のテーブルを、推定する対象の被写体Ｓの材質や色などの特性ごとに作成する。記憶部６０には、このようにして作成した材質や色などが異なる物体に対応する複数のテーブルを記憶している。

次に、制御部４０がカメラ装置１Ａに設定する照射パターンと受光パターンとの一例について説明する。図２は、制御部４０において設定する照射パターンと受光パターンとを説明する図である。図２に示した一例は、受光部２０の画素が、反射光ＲＬを受光する二つの受光ゲート（以下、それぞれの受光ゲートを「受光ゲートＧ１」、「受光ゲートＧ２」といって区別する）を備える構成である場合の一例である。図２には、制御部４０が光源部１０に設定する照射パルスＩＰと、照射パルスＩＰに応じて光源部１０が照射する照射光ＩＬと、被写体Ｓにより照射光ＩＬが反射されて受光部２０に入射される反射光ＲＬと、制御部４０が受光部２０の受光ゲートＧ１に設定するゲートパルスＧＰ１、および受光ゲートＧ２に設定するゲートパルスＧＰ２とにおける時間的な変化の一例を示している。図２において、横軸は時間である。また、図２において、照射パルスＩＰ、ゲートパルスＧＰ１、およびゲートパルスＧＰ２の縦軸は、それぞれのパルスの信号レベルであり、照射光ＩＬおよび反射光ＲＬの縦軸は、それぞれの光の強さ（光強度）である。なお、以下の説明においては、受光ゲートＧ１と受光ゲートＧ２とを区別しない場合には、「受光ゲートＧ」といい、ゲートパルスＧＰ１とゲートパルスＧＰ２とを区別しない場合には、「ゲートパルスＧＰ」という。

照射パターンは、照射光ＩＬの照射時間を表す照射パルスＩＰのパルス長Ｔｉと、照射する照射光ＩＬの強度（光強度）を表す照射パルスＩＰの信号レベルＬｓとを組み合わせたパルス形状で定められる。制御部４０では、パルス長Ｔｉと信号レベルＬｓとの少なくとも一つが異なるように複数の照射パターンを予め定めておく。

なお、照射パターンは、一般的なＴｏＦカメラにおいても変更することができるものとして予め準備されているパラメータと同様、または予め準備されているパラメータを用いて設定することができるものである。

光源部１０は、制御条件として設定された照射パターンに定められた照射パルスＩＰのパルス長Ｔｉと信号レベルＬｓとを再現するような照射光ＩＬを照射する。なお、理想的な照射光ＩＬのパルス形状は、照射パターンで定められた照射パルスＩＰと同様の矩形の形状である。しかし、光源部１０を構成する発光モジュールにおける発光は、必ずしも照射パルスＩＰと同様の矩形の形状になるとは限らない。これは、発光モジュールが実際に発光する光には、照射パルスＩＰが表す立ち上がり（発光開始）や立ち下がり（発光終了）のタイミングから実際に照射パルスＩＰが表す状態（発光状態または消光状態）になるまでに所定の遷移時間を要するためである。このため、照射光ＩＬが被写体Ｓで反射して受光部２０に入射する反射光ＲＬの光量にも、照射光ＩＬと同様の時間的な遷移が含まれることになる。

図２には、照射パルスＩＰに応じて光源部１０が照射する照射光ＩＬの光量の時間的な遷移の一例を示している。また、図２には、反射光ＲＬの光量の時間的な遷移の一例を示している。なお、図２に示した反射光ＲＬの一例では、照射光ＩＬが全て被写体Ｓによって反射して反射光ＲＬとして戻ってくる場合を示しているが、被写体Ｓにおいて照射光ＩＬの散乱が起こった場合には、照射した照射光ＩＬが全て反射光ＲＬとして戻らず、反射光ＲＬの光量やパルス形状は、照射光ＩＬと異なるものとなる。なお、照射光ＩＬと反射光ＲＬとの時間差ｔは、カメラ装置１Ａと被写体Ｓとの間の距離によるものである。

なお、光源部１０が照射する照射光ＩＬの波長帯域を変更することができる構成である場合、照射パターンにおいて照射光ＩＬの波長帯域を予め定めておいてもよい。また、図２では、照射パルスＩＰが一つの矩形パルスである場合を示したが、照射パルスＩＰは、パルス長Ｔｉや信号レベルＬｓ（照射光ＩＬの波長帯域を含んでもよい）が異なる複数の矩形パルスが連続した形状であってもよい。

受光パターンは、入射した反射光ＲＬを受光するそれぞれの受光ゲートＧが反射光ＲＬを受光する受光時間を表すゲートパルスＧＰのパルス長Ｔｇと、ゲートパルスＧＰにおける照射パルスＩＰからの相対的時刻差Ｔｄとの組み合わせで定められる。ゲートパルスＧＰのパルス長Ｔｇは、それぞれの受光ゲートＧの感度に係る応答時間である。また、ゲートパルスＧＰの相対的時刻差Ｔｄは、照射パルスＩＰの開始時刻（立ち上がりタイミング）からゲートパルスＧＰの開始時刻（立ち上がりタイミング）までの間の遅れ時間である。制御部４０では、ゲートパルスのパルス長Ｔｇと相対的時刻差Ｔｄとの少なくとも一つが異なるように複数の受光パターンを予め定めておく。

なお、受光パターンは、受光部２０が備えるそれぞれの受光ゲートＧごとに定める。このとき、相対的時刻差Ｔｄは、時間的に先のゲートパルスＧＰ（図２では、ゲートパルスＧＰ１）に対して定め、このゲートパルスＧＰ（ゲートパルスＧＰ１）の終了時刻と同じ時刻を、ゲートパルスＧＰ２に対応する相対的時刻差、つまり、照射パルスＩＰの開始時刻（立ち上がりタイミング）から、時間的に後のゲートパルスＧＰ（図２では、ゲートパルスＧＰ２）の開始時刻（立ち上がりタイミング）までの間の遅れ時間としてもよい。また、パルス長Ｔｇは、ゲートパルスＧＰ１とゲートパルスＧＰ２とにおいて同じパルス長Ｔｇであってもよい。

また、図２では、受光パターンにおけるそれぞれのゲートパルスＧＰが一つの矩形パルスである場合を示したが、それぞれのゲートパルスＧＰは、パルス長Ｔｇや信号レベルが異なる複数の矩形パルスが連続した形状であってもよい。この場合、それぞれの受光ゲートＧにおける反射光ＲＬの受光時間に応じた重み付けをした処理をすることができる。

なお、受光パターンは、一般的なＴｏＦカメラにおいても変更することができるものとして予め準備されているパラメータと同様、または予め準備されているパラメータを用いて設定することができるものである。

受光部２０の画素は、制御条件として設定された受光パターンに定められたそれぞれの受光ゲートＧのパルス長Ｔｇと相対的時刻差Ｔｄとを再現した期間に、入射した反射光ＲＬを受光する。そして、それぞれの受光ゲートＧは、受光した反射光ＲＬの光量を表す受光データを算出部３０に出力する。受光データは、例えば、受光ゲートＧが受光した反射光ＲＬの光量に応じて発生した電荷を蓄積（積分）した電荷量である。図２には、受光ゲートＧ１がゲートパルスＧＰ１の期間中に発生して積分した積分電荷Ｉ１の受光データを出力し、受光ゲートＧ２がゲートパルスＧＰ２の期間中に発生して積分した積分電荷Ｉ２の受光データを出力する状態を示している。

算出部３０は、受光部２０により出力されたそれぞれの受光ゲートＧからの受光データを四則演算して被写体Ｓとの間の一つの距離値を求める。このとき、まず、算出部３０は、積分電荷Ｉ１と、積分電荷Ｉ２と、照射パルスＩＰのパルス長Ｔｉとのそれぞれを下式（１）に代入して、照射光ＩＬと反射光ＲＬとの時間差ｔを求める。

その後、算出部３０は、上式（１）により求めた時間差ｔと、光速ｃとのそれぞれを下式（２）に代入して、被写体Ｓとの間の距離値ｄを求める。

なお、受光部２０の画素は、反射光ＲＬを受光する受光ゲートＧの他に、推定装置１において被写体Ｓの特性を推定する環境の光（環境光）を受光する受光ゲート（以下、「受光ゲートＧＢ」という）を備える構成も考えられる。この場合、算出部３０は、上式（１）に代えて下式（３）により、環境光の影響を低減させた状態の時間差ｔを求めることができる。

上式（３）において、ＩＢは、受光ゲートＧＢがゲートパルスＧＰ２の後のゲートパルスＧＰＢの期間中に発生して積分した積分電荷である。なお、ゲートパルスＧＰＢのパルス長Ｔｇおよび相対的時刻差Ｔｄも、受光パターンによって予め定められている。このとき、ゲートパルスＧＰＢのパルス長Ｔｇおよび相対的時刻差Ｔｄも、ゲートパルスＧＰ２のパルス長Ｔｇおよび相対的時刻差Ｔｄの考え方と同様に、ゲートパルスＧＰ２との関係に基づいて定めてもよい。

算出部３０は、上式（２）により求めた距離値ｄを表す被写体データを、推定部５０に出力する。

なお、推定装置１では、被写体Ｓの特性を推定する際に、制御部４０が光源部１０および受光部２０に設定する制御条件を複数回切り替える。つまり、推定装置１では、被写体Ｓの特性を１回の推定する際に、算出部３０は、制御部４０が照射パターンや受光パターンを複数回切り替えることによりそれぞれの受光ゲートＧにより出力された複数の受光データを取得する。このため、算出部３０は、取得した複数の受光データの一部または全て、或いは二つ以上の受光データを要素とした多次元のベクトルに基づいて、被写体データを求めてもよい。より具体的には、算出部３０は、積分電荷Ｉ１と積分電荷Ｉ２とのそれぞれに対応する、複数の積分電荷Ｉを要素とした多次元のベクトルを四則演算して、距離値ｄを求めてもよい。ここで、積分電荷Ｉ１に対応する多次元のベクトルｖ_Ｉ１は、例えば、下式（４）のように表される。

上式（４）において、多次元のベクトルｖ_Ｉ１の各要素の右下の数字は、積分電荷Ｉ１であることを意味し、各要素の右上の数字は、制御条件（照射パターンや受光パターン）を識別する識別番号を意味している。なお、識別番号＝ｎは、制御条件の総数、つまり、推定装置１における１回の被写体Ｓの特性の推定において、制御部４０が制御条件をｎ回切り替えたことを意味している。

なお、多次元のベクトルは、例えば、下式（５）のように、距離値ｄの相関を表す時間差ｔで表したものであってもよい。

上式（５）において、多次元のベクトルｖ_ｔの各要素の右上の数字は、上式（４）と同様に、制御条件を識別する識別番号を意味している。

また、多次元のベクトルは、例えば、下式（６）のように、上式（４）で表される多次元のベクトルｖ_Ｉ１と、上式（５）で表される多次元のベクトルｖ_ｔとを組み合わせたものであってもよい。

上式（６）において、多次元のベクトルｖ_Ｉ１ｔの各要素の右下の数字と右上の数字との意味は、上式（４）と同様である。

次に、記憶部６０に記憶する特性データ（テーブル）の作成方法の一例について説明する。図３は、記憶部６０に記憶するテーブルの作成方法を説明する図である。図３には、制御条件としてのパルス長Ｔｉと、算出部３０が求めた距離値ｄとに基づいて、カメラ装置１Ａと被写体Ｓとの間の推定距離Ｄを推定するためのテーブルを作成する場合の一例を示している。

特性データ（テーブル）を作成する場合、被写体Ｓを想定した計測物体ＳＯを推定装置１から被写体Ｓとの間の推定可能範囲内の位置に置き、制御部４０によって所定の制御条件を設定して、距離値ｄを計測する。図３では、計測物体ＳＯを推定装置１から距離Ｄｐだけ離れた位置に置いて距離値ｄを計測している状態を示している。さらに、計測物体ＳＯを同じ位置に置いた状態で、制御部４０によって制御条件の設定を変更して、同様に距離値ｄを計測する。この計測物体ＳＯを同じ位置に置いた状態で制御条件を変更した距離値ｄの計測を、予め定めた回数だけ繰り返して、距離値ｄを収集する。ここで、テーブルを作成する際に収集する距離値ｄの個数、つまり、制御条件を変更する回数は、同じ位置に置いた計測物体ＳＯからの反射光ＲＬを受光ゲートＧが受光して出力する積分電荷Ｉが異なる値となる照射パターンと受光パターンとの組み合わせの数分である。

なお、照射パターンと受光パターンとの組み合わせは、推定装置１を運用する際に一つの被写体Ｓの特性を推定するために制御部４０が変更する（切り替える）照射パターンと受光パターンとの組み合わせの数分であってもよい。なお、ここで収集される距離値ｄは、制御条件が異なるが、推定装置１と計測物体ＳＯとの間の距離は同じ距離を表すものである。例えば、計測物体ＳＯを推定装置１から３０［ｃｍ］離れた位置に配置した状態で収集される距離値ｄは、制御条件が異なっても、推定装置１と計測物体ＳＯとの間の距離が３０［ｃｍ］であることを表す。しかし、例えば、測定誤差など、制御条件の違いによる距離値ｄの差が表れる。このような制御条件の違いによる距離値ｄの差を低減させる（補正する）ために、それぞれの制御条件でテーブルを作成するための距離値ｄを収集するのである。

その後、計測物体ＳＯを置く位置を所定の距離幅だけ変更して、同様に距離値ｄを収集する。この距離値ｄの収集作業を、推定装置１における推定可能範囲内で計測物体ＳＯを置く位置を所定の距離幅で順次変更しながら繰り返す。

このようにしてテーブルを作成するための距離値ｄを収集する。なお、距離値ｄは、制御部４０が光源部１０および受光部２０に設定する制御条件を複数回切り替えて収集したものである。このため、収集した複数の距離値ｄの一部または全て、或いは二つ以上の距離値ｄを要素として、例えば、下式（７）のような多次元のベクトルｖ_ｄとして表すことができる。

上式（７）において、多次元のベクトルｖ_ｄの各要素の右上の数字は、制御条件（照射パターンや受光パターン）を識別する識別番号であることを意味している。なお、識別番号＝ｎは、制御条件の総数、つまり、テーブルを作成するための距離値ｄを収集する際に制御部４０が制御条件をｎ回切り替えたことを意味している。

テーブルは、収集した多次元のベクトルｖ_ｄに基づいて生成する。図３には、作成するテーブルの特徴を容易に示すため、横軸を制御条件（ここでは、パルス長Ｔｉ）、縦軸を算出部３０が求めた距離値ｄとしたグラフ上に多次元のベクトルｖ_ｄの各要素である距離値ｄをプロットした形式で作成したテーブルの一例を示している。推定装置１の運用においては、図３に示したグラフにおける縦軸の値が推定距離Ｄとなる。

なお、特性データ（テーブル）は、図３に示した右側のグラフのように、プロットした多次元のベクトルｖ_ｄの各要素に基づいて、多次元のベクトルｖ_ｄを、例えば、下式（８）のように近似することにより表される、下式（９）のような特徴量（以下、「特徴量＾ｖ_ｄ」という）としてもよい。

なお、多次元のベクトルｖ_ｄを特徴量＾ｖ_ｄで表すための近似式は、上式（８）のような一次元の近似式に限定されるものではなく、例えば、二次元の近似式で多次元のベクトルｖ_ｄを近似してもよい。つまり、直線近似に限定されるものではなく、曲線近似であってもよい。

なお、特徴量は、上式（９）と受光ゲートＧが受光して出力する積分電荷Ｉとを組み合わせて、下式（１０）としてもよい。

ここで、上式（１０）の右辺の第３の要素は、積分電荷Ｉ１に対応する要素であり、下式（１１）であるものとする。

また、特徴量は、上式（７）の多次元のベクトルｖ_ｄから一つ以上の要素を抽出して、下式（１２）としてもよい。

また、特徴量は、上式（７）の多次元のベクトルｖ_ｄにおいて隣接する要素同士の差分として、下式（１３）としてもよい。

このように、推定装置１と計測物体ＳＯとの間の距離（ここでは、距離Ｄｐ）と、制御部４０により光源部１０および受光部２０に設定する制御条件とを複数回変更しながら、被写体Ｓを想定した計測物体ＳＯを実際に計測した距離値ｄを、テーブルを作成するための距離値ｄとして収集することにより、一種類の被写体Ｓに対応するテーブルを作成する。また、他の種類の被写体Ｓに対応するテーブルを作成する際には、計測物体ＳＯを他の種類の材質（例えば、紙、プラスチック、ビニール、金属、布など）や色の物体に交換した後、同様に距離値ｄを収集して他の種類の被写体Ｓに対応するテーブルを作成する。

ここで作成されたテーブルは、想定される被写体Ｓの材質や色などに対応したテーブルである。このため、推定装置１の運用において推定部５０は、記憶部６０に記憶されたテーブルを参照し、推定装置１を運用して計測した距離値ｄに基づいて、材質や色などの影響が軽減された被写体Ｓの特性を得て、推定データとして出力することができる。つまり、推定部５０は、推定装置１を運用して計測した距離値ｄに基づいて、複数の材質や色が組み合わされて構成された被写体において、その材質や色の影響によって受光ゲートＧが受光する反射光ＲＬが変化した場合でも、同じ物体であり、同じ位置に置かれているものとして特性を推定した推定データを出力することができる。図１に示した被写体Ｓでは、推定部５０は、液体や固体（半固体を含む）などの内容物が収められた半透明のプラスチック容器の本体と、プラスチック容器の表面に貼り付けられている紙のラベルＬとが、同じ被写体Ｓに属するものであり、同じ位置に置かれているものとして特性を推定した推定データを出力することができる。

次に、推定装置１の運用における動作について説明する。図４は、第１の実施形態の推定装置１における推定の動作の流れを示すフローチャートである。なお、以下の説明においては、推定部５０が被写体Ｓの特性を推定するために用いるテーブルが、すでに記憶部６０に記憶されているものとする。推定装置１を運用する場合、制御部４０は、テーブルを作成したときと同じ制御条件をカメラ装置１Ａに設定し（つまり、同じ回数繰り替えて）、推定部５０が、テーブルを参照して、算出部３０により出力された被写体データに基づいて被写体Ｓの特性を推定する。以下の説明においては、制御部４０がカメラ装置１Ａに設定する制御条件をｎ回切り替え、算出部３０が、上式（７）で表される多次元のベクトルｖ_ｄと同様の形式の多次元のベクトルを被写体データとして推定部５０に出力するものとする。

推定装置１が被写体Ｓの特性を推定する動作を開始すると、制御部４０は、カメラ装置１Ａが備える光源部１０および受光部２０に最初の制御条件（照射パターンと受光パターンとの組み合わせ）を設定する（ステップＳ１０１）。これにより、光源部１０は、制御条件として設定された照射パターンに応じた照射光ＩＬを被写体Ｓに照射する。また、受光部２０は、制御条件として設定された受光パターンに応じたタイミングでそれぞれの受光ゲートＧが受光した反射光ＲＬの光量を表す受光データを算出部３０に出力する。

続いて、算出部３０は、受光部２０により出力されたそれぞれの受光ゲートＧからの受光データを取得する（ステップＳ１０２）。そして、算出部３０は、取得したそれぞれの受光データに基づいて、今回の制御条件における被写体データ（距離値ｄ）を求める。

続いて、制御部４０は、光源部１０および受光部２０に設定する制御条件の繰り返しがｎ回終了したか否かを判定する（ステップＳ１０３）。ステップＳ１０３において、制御条件の設定の繰り返しがｎ回終了していない場合、制御部４０は、処理をステップＳ１０１に戻して、次の制御条件（照射パターンと受光パターンとの別の組み合わせ）を設定する。

一方、ステップＳ１０３において、制御条件の設定の繰り返しがｎ回終了した場合、制御部４０は、例えば、被写体Ｓの受光データの取得を終了することを光源部１０および受光部２０に通知する。これにより、光源部１０は、照射光ＩＬの被写体Ｓへの照射を終了し、受光部２０は、受光ゲートＧにおける反射光ＲＬの受光と受光データに出力とを終了する。また、算出部３０は、それぞれの制御条件において求めたｎ回分の被写体データを含む多次元のベクトルを、被写体Ｓの被写体データとして推定部５０に出力する（ステップＳ１０４）。

続いて、推定部５０は、制御部４０により出力された制御条件の情報に基づいて、記憶部６０に記憶されている、対応するテーブルを選択して取得する（ステップＳ１０５）。このとき、推定部５０は、複数のテーブルを選択して記憶部６０から取得してもよい。そして、推定部５０は、記憶部６０から取得したテーブルに表されたデータと、算出部３０により出力された被写体データ（多次元のベクトル）が表すそれぞれの制御条件の距離値ｄとを比較して、被写体Ｓの特性を推定する。推定部５０は、推定した被写体Ｓの特性の推定データを出力する（ステップＳ１０６）。

ここで、推定部５０における被写体Ｓの特性の推定方法の一例について説明する。以下の説明においては、被写体Ｓの特性として、カメラ装置１Ａと被写体Ｓとの間の推定距離Ｄを推定するものとする。

推定部５０は、算出部３０により出力された被写体データが表す距離値ｄを、記憶部６０から取得したテーブルの入力とする。そして、推定部５０は、テーブルに含まれる推定距離Ｄに対応するそれぞれの距離値ｄ（推定装置１の運用を開始する前に計測物体ＳＯを計測して得た距離値ｄ：以下、「テーブル距離値ｄＴ」という）と、入力とする被写体データが表す距離値ｄとの類似度を求める。推定部５０は、類似度が最も高い一つのテーブル距離値ｄＴに対応する推定距離Ｄを、今回の計測した被写体Ｓとカメラ装置１Ａ、つまり、推定装置１との間の距離として、推定データを出力する。

なお、推定部５０における被写体Ｓの特性の推定は、最も類似度が高いテーブルのデータとする方法に限定されない。推定部５０は、例えば、テーブルの入力となる算出部３０により出力された距離値ｄと、テーブルに含まれる複数（例えば、二つ）のテーブル距離値ｄＴとの間で、類似度に基づいた距離の重み付け係数による計算を行って得た値（ここでは、距離値）を、推定データとして出力してもよい。この重み付け係数による計算は、例えば、下式（１４）によって行う。

上式（１４）において、ｒ_ｋは、入力となる距離値ｄのｋ番目の近傍データを計算したときの距離を意味し、Ｓ_ｋは、入力となる距離値ｄとｋ番目の近傍データとのベクトル間距離（つまり、類似度）を意味し、Ｋは、重み付けの計算に用いるデータの数を意味している。

なお、ベクトル間距離は、例えば、ブレイカーティス（BrayCurtis）距離、キャンベラ（Canberra）距離、シェビシェフ（Chebyshev）距離、マンハッタン距離（Ｌ１ノルム）、ユークリッド距離（Ｌ２ノルム）、マハラノビス（Mahalanobis）距離、ミンコフスキー（Minkowski）距離、ワッサースタイン（Wasserstein）距離、コサイン類似度、およびヒストグラム交差法（Histogram Intersection）の少なくとも一つ以上の重み付け和である。

このような処理によって、推定部５０は、記憶部６０に記憶された特性データ（テーブル）を参照して、カメラ装置１Ａと被写体Ｓとの間の推定距離Ｄを推定する。

上述したように、第１の実施形態の推定装置１では、制御部４０が、カメラ装置１Ａが備える光源部１０および受光部２０を動作させる際の制御条件（照射パターンおよび受光パターン）を複数回変更する（切り替える）。そして、第１の実施形態の推定装置１では、推定部５０が、予め記憶部６０に記憶しておいたテーブルを参照して、カメラ装置１Ａが備える算出部３０により出力された被写体データに基づいて、対象の被写体Ｓの特性を推定する。これにより、第１の実施形態の推定装置１では、対象の被写体Ｓの特性の推定に関して、高精度な計測結果（または補正結果）を得ることができる。

しかも、第１の実施形態の推定装置１において推定部５０が光源部１０および受光部２０に対して設定を複数回切り替える制御条件は、一般的なＴｏＦカメラにおいても変更することができるものとして予め準備されているパラメータ、または予め準備されているパラメータを用いて設定することができるパラメータのパターンを、照射パターンおよび受光パターンとして複数準備しておいたものである。このため、第１の実施形態の推定装置１では、一般的なＴｏＦカメラに対して難易度の高い変更や改良をしたものをカメラ装置１Ａとして備えるのではなく、従来からあるＴｏＦカメラを、被写体Ｓとの間の距離値ｄを計測するカメラ装置１Ａとして利用することができる。言い換えれば、第１の実施形態の推定装置１では、ＴｏＦカメラに対して従来から行っているそれぞれのパラメータを設定する処理と同様の処理を、制御部４０が制御条件を設定する処理として複数回行う（切り替える）ことにより、必要なカメラ装置１Ａの機能を実現することができる。これにより、第１の実施形態の推定装置１では、容易な方法で計測を行って被写体Ｓの特性を推定することができる。

なお、第１の実施形態の推定装置１では、推定部５０が、被写体Ｓの特性として、カメラ装置１Ａと被写体Ｓとの間の推定距離Ｄを推定する場合を説明した。しかし、上述したように、推定部５０は、被写体Ｓの推定距離Ｄの他にも、例えば、被写体Ｓの材質（推定材質Ｍ）や、被写体Ｓの属性（推定属性Ａ）を推定することができる。ただし、この場合の推定部５０における推定の処理も、上述した推定距離Ｄを推定する処理と同様に考えることができる。従って、推定部５０における推定距離Ｄ以外の推定処理に関する詳細な説明は省略する。

（第１の実施形態の変形例）
なお、第１の実施形態の推定装置１では、記憶部６０に記憶しておく特性データとして、推定装置１の運用を開始する前に作成したテーブルを記憶している場合について説明した。しかし、記憶部６０に記憶しておく特性データは、上述したテーブルに限定されない。例えば、ニューラルネットワークや、ディープニューラルネットワーク、畳み込みニューラルネットワークなどの機械学習の技術を用いて学習した学習済みモデルのネットワーク構造やパラメータを、記憶部６０に記憶しておいてもよい。学習済みモデルは、例えば、制御部４０が光源部１０および受光部２０に設定した制御条件の情報と、算出部３０により出力された被写体データが表す距離値ｄとが入力されると、入力された距離値ｄが表す被写体Ｓの特性を結果として出力するように機械学習されたモデルである。学習済みモデルが出力する被写体Ｓの特性の結果は、例えば、距離値ｄの差を低減させるための補正された距離値ｄや、被写体Ｓの材質、色などである。

この学習済みモデルも、テーブルを作成するときと同様の方法で、被写体Ｓを想定した物体を実際に計測することによって作成する（図３を参照）。このとき、機械学習モデルの入力側に、制御条件の情報と距離値ｄとを入力データとして入力し、機械学習モデルの出力側に、推定装置１と計測物体ＳＯとの間の距離（距離Ｄｐ）、計測物体ＳＯの材質や色などの情報を教師データとして入力して、機械学習モデルを学習させて学習済みモデルを作成する。この場合、推定部５０は、制御部４０により出力された制御条件の情報と、算出部３０により出力された距離値ｄとのそれぞれを学習済みモデルに入力し、距離値ｄが表す被写体Ｓの特性を学習済みモデルが推定した結果を得て、推定データとして出力する。

また、例えば、算出部３０により出力された被写体データが表す距離値ｄに基づいて推定する被写体Ｓの属性として、被写体Ｓの属性を表す情報を含み、この被写体Ｓの属性を推定するための、テーブルや学習済みモデルを記憶部６０に記憶しておいてもよい。被写体Ｓの属性とは、例えば、被写体Ｓの反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報である。この場合も、推定部５０は、上述した推定距離Ｄを推定する際の処理と同様の処理によって、推定した被写体Ｓの属性を、推定データとして出力する。

上記説明したように、推定装置１は、被写体Ｓに照射する照射光ＩＬの照射パターンと、照射光ＩＬが被写体Ｓで反射された反射光ＲＬを受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える制御部４０と、それぞれの複数の制御条件下において、一つ以上の受光ゲートＧによって受光することで取得された被写体に関する被写体データに基づいて、被写体Ｓの特性を推定する推定部５０と、を備える。

また、上記説明したように、推定装置１において、照射パターンは、照射光ＩＬの照射パルスのパルス長Ｔｉと信号レベルＬｓとの少なくとも一つが異なるように設定され、受光パターンは、受光ゲートＧが反射光ＲＬを受光する際の感度に係る時間応答を定めるゲートパルスのパルス長Ｔｇと、照射パルスの開始時刻から当該ゲートパルスの開始時刻までの相対的時刻差Ｔｄとの少なくとも一つが異なるように設定されてもよい。

また、上記説明したように、推定装置１は、複数の制御条件と被写体Ｓの特性との対応関係を定めた特性データを記憶する記憶部６０、をさらに備え、推定部５０は、被写体データを取得する際に用いた制御条件に基づいて選択した特性データに基づいて、取得した被写体データが表す被写体Ｓの特性を推定してもよい。

また、上記説明したように、推定装置１において、推定部５０は、取得した被写体データが表す被写体Ｓの特性と、選択した特性データに対応付けられた被写体Ｓの特性との類似度に基づいた重み係数によって、特性データに対応付けられた二つ以上の被写体Ｓの特性を重み付けした和を、被写体データが表す被写体Ｓの特性として推定してもよい。

また、上記説明したように、推定装置１において、特性データは、受光ゲートＧが受光した反射光ＲＬの一部または全てを表すデータ、或いは二つ以上のデータを要素とする多次元のベクトルを四則演算した結果であってもよい。

また、上記説明したように、推定装置１において、特性データは、多次元のベクトルをさらに変換した少なくとも一つ以上の要素からなる特徴量であってもよい。

また、上記説明したように、推定装置１において、推定部５０は、複数の制御条件に基づいて被写体Ｓの特性を推定するニューラルネットワークを記憶する記憶部６０、をさらに備え、推定部５０は、被写体データと、当該被写体データを取得する際に用いた制御条件とをニューラルネットワークに入力して、取得した被写体データが表す被写体Ｓの特性を推定してもよい。

また、上記説明したように、推定装置１において、被写体Ｓの特性は、被写体Ｓとの間の距離を含んでもよい。

また、上記説明したように、推定装置１において、被写体Ｓの特性は、被写体Ｓの材質を含んでもよい。

また、上記説明したように、推定装置１において、被写体Ｓの特性は、被写体Ｓの属性を表す情報を含んでもよい。

また、上記説明したように、推定装置１において、被写体Ｓの属性を表す情報は、被写体Ｓの反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報であってもよい。

また、推定装置１は、ＣＰＵ、ＧＰＵなどのプロセッサや、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡなどのハードウェア、専用のＬＳＩなどによって実現され、ＲＯＭやＲＡＭ、ＨＤＤ、フラッシュメモリなどの記憶装置を備え、プロセッサが、光源部１０により照射された照射光ＩＬが被写体Ｓで反射された反射光ＲＬを一つ以上の受光ゲートＧによって受光することで取得される、被写体Ｓに関する被写体データを出力し、照射光ＩＬの照射パターンと、反射光ＲＬの受光パターンとの少なくとも一つが互いに異なるように設定した複数の制御条件を切り替え、それぞれの複数の制御条件下において取得した被写体データに基づいて被写体Ｓの特性を推定する、推定方法を実行する装置であってもよい。

また、推定装置１は、ＣＰＵ、ＧＰＵなどのプロセッサや、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡなどのハードウェア、専用のＬＳＩなどによって実現され、ＲＯＭやＲＡＭ、ＨＤＤ、フラッシュメモリなどの記憶装置を備え、記憶装置には、プロセッサに、光源部１０により照射された照射光ＩＬが被写体Ｓで反射された反射光ＲＬを一つ以上の受光ゲートＧによって受光することで取得される、被写体Ｓに関する被写体データを出力させ、照射光ＩＬの照射パターンと、反射光ＲＬの受光パターンとの少なくとも一つが互いに異なるように設定した複数の制御条件を切り替えさせ、それぞれの複数の制御条件下において取得した被写体データに基づいて被写体Ｓの特性を推定させる、プログラムが記憶された装置であってもよい。

（第２の実施形態）
以下、第２の実施形態の推定装置について説明する。図５は、第２の実施形態の推定装置の構成の一例を示すブロック図である。推定装置２は、例えば、光源部１０と、受光部２０と、算出部３０と、制御部４２と、推定部５２と、記憶部６０と、調整部７０と、を備える。

推定装置２は、図１に示した第１の実施形態の推定装置１に調整部７０が追加されている。そして、推定装置２では、推定装置１が備える制御装置１Ｂに調整部７０が追加されて制御装置２Ｂとなっている。このため、推定装置２では、推定装置１が備える制御部４０が制御部４２に代わり、推定部５０が推定部５２に代わっている。推定装置２が備えるその他の構成要素は、第１の実施形態の推定装置１が備える構成要素と同様の構成要素である。従って、以下の説明においては、推定装置２が備える構成要素において、第１の実施形態の推定装置１の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。

制御装置２Ｂも、推定装置１が備える制御装置１Ｂと同様に、カメラ装置１Ａが備える光源部１０による照射光ＩＬの照射タイミングと、受光部２０が備えるそれぞれの受光ゲートＧにおける反射光ＲＬの受光タイミングとを制御し、算出部３０により出力された被写体データ（距離値ｄ）に基づいて、被写体Ｓの特性を推定する。

制御部４２は、推定装置１が備える制御部４０と同様に、推定装置２において被写体Ｓの特性を推定する際に、光源部１０と受光部２０とのそれぞれに制御条件の設定を設定する。また、制御部４２は、設定した制御条件（照射パターンと受光パターンとの組み合わせ）の情報を、調整部７０にも出力する。

調整部７０は、算出部３０により出力された被写体データが表す距離値ｄとに基づいて、被写体データの時間的または空間的な揺らぎ、つまり、距離値ｄのばらつきを判定する。このとき、調整部７０は、制御部４２により出力された制御条件の情報を参照してもよい。調整部７０は、判定した被写体データの揺らぎに応じて、制御部４２が光源部１０および受光部２０に設定する制御条件を変更する回数や、推定部５２が被写体Ｓの特性を推定するために記憶部６０から取得して参照する特性データ（テーブル）の数、重み付け係数の少なくとも一つ以上の条件を調整する。

例えば、被写体データの時間的な揺らぎが大きい場合、調整部７０は、制御部４２が制御条件を変更する回数（上式（４）〜上式（６）における「ｎ」の数）を多くするように調整する。この場合、制御部４２は、推定装置１の運用において制御条件を設定する回数を、特性データ（テーブル）を作成したときよりも少なくしておき、調整部７０が制御条件を変更する回数を多くするように調整した場合に、制御条件を設定する回数が特性データ（テーブル）を作成したときと同じ回数になるようにしてもよい。また、例えば、被写体データの時間的な揺らぎが大きい場合、調整部７０は、制御部４２が設定した一つの制御条件で計測する距離値ｄの回数を多くするように調整してもよい。また、例えば、被写体データの時間的な揺らぎが少ない場合、調整部７０は、今回の被写体Ｓに対する距離値ｄの計測を終了させるように調整してもよい。また、例えば、被写体データの時間的な揺らぎが少ない場合、調整部７０は、制御部４２が設定した一つの制御条件での距離値ｄの計測を終了して次の制御条件での計測を開始するように調整してもよい。このとき、調整部７０は、制御部４２により出力された制御条件の情報に基づいて、変更する条件を指定するようにしてもよい。

推定部５２は、推定装置１が備える推定部５０と同様に、制御部４２により出力された制御条件の情報と、算出部３０により出力された被写体データが表す距離値ｄとに基づいて、被写体Ｓの特性を推定する。このとき、推定部５２は、調整部７０により調整された数の特性データ（テーブル）や重み付け係数で被写体Ｓの特性を推定する。推定部５２も、推定した被写体Ｓの特性（推定距離Ｄ、推定材質Ｍ、推定属性Ａ）を推定データとして出力する。

次に、推定装置２の運用における動作について説明する。図６は、第２の実施形態の推定装置２における推定の動作の流れを示すフローチャートである。なお、以下の説明においても、推定部５２が被写体Ｓの特性を推定するために用いるテーブルが、すでに記憶部６０に記憶されているものとする。推定装置２を運用する場合、制御部４２は、特性データ（テーブル）を作成したときと同じ制御条件をカメラ装置１Ａに設定し（つまり、同じ回数繰り替えて）、推定部５２が、調整部７０により調整された特性データ（テーブル）を参照して、算出部３０により出力された被写体データに基づいて被写体Ｓの特性を推定する。以下の説明においても、制御部４２がカメラ装置１Ａに設定する制御条件をｎ回切り替え、算出部３０が、上式（７）で表される多次元のベクトルｖ_ｄと同様の形式の多次元のベクトルを被写体データとして推定部５２と調整部７０とのそれぞれに出力するものとする。また、以下の説明においては、調整部７０が、推定部５２が被写体Ｓの特性を推定するために記憶部６０から取得する特性データ（テーブル）の数を調整するものとする。

なお、図６に示した推定装置２の動作の流れを示すフローチャートには、第１の実施形態の推定装置１の動作の流れを示すフローチャートと同様の動作（処理）を含んでいる。従って、以下の説明においては、推定装置２の動作の流れを示すフローチャートにおいて、推定装置１の動作の流れを示すフローチャートと同様の動作（処理）には、同一のステップ番号を付与し、異なる動作（処理）に重点をおいて説明する。

推定装置２が被写体Ｓの特性を推定する動作を開始すると、制御部４２は、カメラ装置１Ａが備える光源部１０と受光部２０とのそれぞれに制御条件を設定する（ステップＳ１０１）。これにより、光源部１０は被写体Ｓに照射光ＩＬを照射し、受光部２０はそれぞれの受光ゲートＧが受光した反射光ＲＬの光量を表す受光データを算出部３０に出力する。そして、算出部３０は、受光部２０により出力されたそれぞれの受光データを取得し（ステップＳ１０２）、取得したそれぞれの受光データに基づいて被写体データ（距離値ｄ）を求める。

制御部４２は、設定する制御条件の繰り返しがｎ回終了した場合（ステップＳ１０３の「ＹＥＳ」）、制御条件の変更（切り替え）を終了し、算出部３０は、それぞれの制御条件において求めたｎ回分の被写体データを含む多次元のベクトルを、被写体Ｓの被写体データとして推定部５２と調整部７０とのそれぞれに出力する。

続いて、調整部７０は、算出部３０により出力された被写体データ（多次元のベクトル）が表すそれぞれの制御条件の距離値ｄのばらつきを判定する。そして、調整部７０は、判定した距離値ｄのばらつきに基づいて、推定部５２が被写体Ｓの特性を推定するために記憶部６０から取得するテーブルの数を決定する（ステップＳ２０４）。調整部７０は、決定したテーブルの数を推定部５２に出力する。

続いて、推定部５２は、制御部４２により出力された制御条件の情報に基づいて記憶部６０に記憶されている対応するテーブルを選択し、調整部７０により出力された数のテーブルを取得する（ステップＳ２０５）。そして、推定部５２は、記憶部６０から取得したテーブルに表されたデータと、算出部３０により出力された被写体データ（多次元のベクトル）が表すそれぞれの制御条件の距離値ｄとを比較して、被写体Ｓの特性を推定する。推定部５２は、推定した被写体Ｓの特性の推定データを出力する（ステップＳ１０６）。

上述したように、第２の実施形態の推定装置２でも、第１の実施形態の推定装置１と同様に、制御部４２が、カメラ装置１Ａが備える光源部１０および受光部２０を動作させる際の制御条件（照射パターンおよび受光パターン）を複数回変更する（切り替える）。そして、第２の実施形態の推定装置２では、調整部７０が、カメラ装置１Ａが備える算出部３０により出力された被写体データのばらつきを判定し、制御部４２がカメラ装置１Ａに設定する制御条件を変更する回数や、推定部５２が被写体Ｓの特性を推定するために記憶部６０から取得する特性データ（テーブル）の数、重み付け係数などを調整する。その後、第２の実施形態の推定装置２でも、第１の実施形態の推定装置１と同様に、推定部５２が、記憶部６０から取得したテーブルを参照し、カメラ装置１Ａが備える算出部３０により出力された被写体データに基づいて、対象の被写体Ｓの特性を推定する。これにより、第２の実施形態の推定装置２でも、第１の実施形態の推定装置１と同様に、容易な計測方法で、対象の被写体Ｓの特性の推定に関して、高精度な計測結果（または補正結果）を得ることができる。さらに、第２の実施形態の推定装置２では、被写体データのばらつきを判定することにより、例えば、被写体Ｓの特性を計測する環境の変動（環境光の変動）などの外乱に対して耐性（ロバスト性）が高い計測結果（または補正結果）を得ることができる。

なお、第２の実施形態の推定装置２では、調整部７０が、推定部５２が被写体Ｓの特性を推定するために記憶部６０から取得する特性データ（テーブル）の数を調整する場合を説明した。しかし、上述したように、調整部７０は、制御部４２が設定する制御条件を変更する回数や、推定部５２が被写体Ｓの特性を推定する際の重み付け係数なども調整することができる。ただし、この場合の調整部７０における調整の処理も、上述した特性データ（テーブル）の数を調整する処理と同様に考えることができる。従って、調整部７０における特性データ（テーブル）の数の調整処理に関する詳細な説明は省略する。また、第１の実施形態の推定装置１と同様に、推定部５２における推定距離Ｄ以外の推定処理に関する詳細な説明も省略する。

上記説明したように、推定装置２は、被写体データにおける時間的または空間的なばらつきに応じて、推定部５０が被写体Ｓの特性を推定する際に用いる被写体データの数を調整する調整部７０、をさらに備えてもよい。

また、上記説明したように、推定装置２は、被写体データにおける時間的または空間的なばらつきに応じて、推定部５０が選択する特性データの数、または重み係数を調整する調整部７０、をさらに備えてもよい。

（第３の実施形態）
以下、第３の実施形態の推定装置について説明する。第１の実施形態の推定装置１および第２の実施形態の推定装置２では、推定部５０または推定部５２により出力された推定データの利用については詳細に説明していなかった。第３の実施形態の推定装置では、推定部５０により出力された推定データの利用の一例について説明する。以下の説明においては、受光部２０が、距離を計測するために反射光ＲＬを受光する画素が二次元の行列状に複数配置されている距離画像センサであり、それぞれの画素により出力された受光データに基づく推定データを用いて、被写体Ｓの特性を画像として表した特性画像を生成する場合について説明する。

図７は、第３の実施形態の推定装置の構成の一例を示すブロック図である。推定装置３は、例えば、光源部１０と、受光部２０と、算出部３０と、制御部４０と、推定部５０と、記憶部６０と、画像処理部８０と、を備える。

推定装置３は、図１に示した第１の実施形態の推定装置１に画像処理部８０が追加されている。そして、推定装置３では、画像処理部８０が分散的に配置され、処理装置３Ｄとして構成されている。推定装置３が備えるその他の構成要素は、第１の実施形態の推定装置１が備える構成要素と同様の構成要素である。従って、以下の説明においては、推定装置３が備える構成要素において、第１の実施形態の推定装置１の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。

処理装置３Ｄが備える画像処理部８０は、推定部５０により出力された推定データに対して所定の画像処理を施して特性画像を生成する。また、画像処理部８０は、生成した特性画像に対してさらにフィルタ処理を行って別の特性画像を生成する。例えば、推定部５０により出力された推定データに、カメラ装置１Ａと被写体Ｓとの間の距離を推定した推定距離Ｄと、被写体Ｓの材質を推定した推定材質Ｍが含まれている場合、画像処理部８０は、推定距離Ｄと推定材質Ｍとのそれぞれに基づいて生成した画像に対してフィルタ処理を行って特性画像を生成する。より具体的には、画像処理部８０は、推定データに含まれる推定距離Ｄに基づいてカメラ装置１Ａと被写体Ｓとの間の距離を表す特性画像（以下、「距離画像」という）を生成する。また、画像処理部８０は、推定データに含まれる推定材質Ｍに基づいて被写体Ｓの材質を表す特性画像（以下、「材質画像」という）を生成する。さらに、画像処理部８０は、生成した距離画像と材質画像とに対してフィルタ処理を行って特性画像を生成する。画像処理部８０は、生成した特性画像を出力する。なお、画像処理部８０は、最終的な特性画像を生成する過程で生成した他の特性画像（ここでは、距離画像や材質画像）を出力してもよい。

ここで、画像処理部８０が、被写体Ｓの距離と材質とを表す特性画像を生成する画像処理（フィルタ処理）の一例について説明する。図８は、画像処理部８０において特性画像を生成する画像処理の一例を示す図である。図８には、カメラ装置１Ａによって撮影する、つまり、受光部２０が反射光ＲＬを受光する環境の被写体Ｓの画像（以下、「被写体画像」という）ＳＩの一例を示している。また、図８には、画像処理部８０が、推定部５０により出力された推定データに含まれる推定距離Ｄに基づいて生成する距離画像ＤＩと、推定データに含まれる推定材質Ｍに基づいて生成する材質画像ＭＩとの一例を示している。さらに、図８には、画像処理部８０が、距離画像ＤＩと材質画像ＭＩとに対してフィルタ処理を行って生成する特性画像ＣＩの一例を示している。

画像処理部８０は、推定データに含まれる、受光部２０が備えるそれぞれの画素の位置の推定距離Ｄを、画像の範囲内の対応する位置に配置する画像処理を行って距離画像ＤＩを生成する。同様に、画像処理部８０は、推定データに含まれるそれぞれの推定材質Ｍを画像の範囲内の対応する位置に配置する画像処理を行って材質画像ＭＩを生成する。その後、画像処理部８０は、生成した材質画像ＭＩを参照画像として距離画像ＤＩに対してフィルタ処理を行って、特性画像ＣＩを生成する。

画像処理部８０が行うフィルタ処理は、例えば、バイラテラル（bilateral）フィルタ、ガイデット（guided）フィルタ、ノン−ローカル・ミーン（non-local means）フィルタなどの原理に基づいた平滑化フィルタ処理である。

画像処理部８０が行うフィルタ処理が、例えば、バイラテラルフィルタに基づいたフィルタ処理である場合、このフィルタ処理は、下式（１５）および下式（１６）に示す計算式によって実行される。

上式（１５）および上式（１６）において、＾Ｉはフィルタ処理をした後の距離画像ＤＩ、Ｉはフィルタ処理をする前の距離画像ＤＩ、ｐは距離画像ＤＩ内の注目画素、ｑは距離画像ＤＩ内の参照画素、ｗ（ｐ，ｑ）はフィルタ処理の重み関数、Ｓ（ｐ）は注目画素の周辺の参照画素の集合、Ａは材質画像ＭＩ（参照画像）、σ_ｓは材質画像ＭＩ内の空間方向の平滑化係数、σ_ｒは材質画像ＭＩが表す材質における平滑化係数をそれぞれ意味している。

従って、上式（１６）における右辺の第２項の「Ａ（ｐ）−Ａ（ｑ）」は、距離画像ＤＩ内の注目画素ｐと、距離画像ＤＩ内の参照画素ｑとの材質が同じ材質であるか否かを表す２値の値となる。

画像処理部８０は、上述したバイラテラルフィルタに基づいたフィルタ処理のような平滑化フィルタ処理を行って、特性画像ＣＩを生成する。

なお、画像処理部８０は、推定部５０により出力された推定データに含まれる推定属性Ａに基づいて被写体Ｓの属性を表す特性画像（以下、「属性画像」という）を生成してもよい。そして、画像処理部８０は、距離画像ＤＩと生成した属性画像に対してフィルタ処理を行って特性画像を生成してもよい。この場合、上式（１６）における右辺の第２項の「Ａ（ｐ）−Ａ（ｑ）」は、距離画像ＤＩ内の注目画素ｐと、距離画像ＤＩ内の参照画素ｑとの属性の値の差を表す連続値となる。

上述したように、第３の実施形態の推定装置３でも、第１の実施形態の推定装置１と同様に、制御部４０が、カメラ装置１Ａが備える光源部１０および受光部２０を動作させる際の制御条件（照射パターンおよび受光パターン）を複数回変更する（切り替える）。そして、第３の実施形態の推定装置３でも、第１の実施形態の推定装置１と同様に、推定部５０が、記憶部６０から取得したテーブルを参照し、カメラ装置１Ａが備える算出部３０により出力された被写体データに基づいて、対象の被写体Ｓの特性を推定する。その後、第３の実施形態の推定装置３では、画像処理部８０が、推定部５０が推定した被写体Ｓの特性を画像として表した特性画像ＣＩを生成する。これにより、第３の実施形態の推定装置３でも、第１の実施形態の推定装置１と同様に、容易な計測方法で、対象の被写体Ｓの特性の推定に関して、高精度な計測結果（または補正結果）を得ることができる。さらに、第３の実施形態の推定装置３では、推定データに基づいた特性画像（距離画像や、材質画像、属性画像であってもよい）を生成して出力することにより、被写体Ｓの特性を視覚的に表し、確認の容易性を向上させることができる。

なお、第３の実施形態の推定装置３では、画像処理部８０が、バイラテラルフィルタに基づいたフィルタ処理によって特性画像を生成する場合を説明した。しかし、上述したように、画像処理部８０におけるフィルタ処理には、バイラテラルフィルタ以外のフィルタ処理もある。しかし、この場合の画像処理部８０におけるフィルタ処理は、上述したバイラテラルフィルタに基づいたフィルタ処理の方法と、それぞれのフィルタ処理の原理に基づいて容易に理解することができる。従って、画像処理部８０における他のフィルタ処理による特性画像の生成処理に関する詳細な説明は省略する。

上記説明したように、推定装置３は、それぞれの受光ゲートＧに対応する被写体Ｓの特性に基づいて被写体Ｓの特性画像を生成し、生成した特性画像に対して被写体Ｓの材質または被写体Ｓの属性の少なくとも一方に基づいたフィルタ処理を施す画像処理部８０、をさらに備えてもよい。

上記に述べたとおり、各実施形態の推定装置では、推定装置の運用を開始する前に、特性を推定する対象の被写体を想定した計測物体を用いて特性データを作成しておく。このとき、各実施形態の推定装置では、制御部が、光源部および受光部を動作させる際の制御条件（照射パターンおよび受光パターン）を複数回変更して（切り替えて）特性データを作成する。その後、各実施形態の推定装置では、推定装置１の運用の際に、制御部が、特性データを作成したときと同じ制御条件を光源部および受光部に設定して（同じ回数繰り替えて）、推定部が、対象の被写体の特性を推定する。これにより、各実施形態の推定装置では、対象の被写体の特性を、高精度に推定することができる。

（推定装置の適用例）
以下、実施形態の推定装置の適用例について説明する。推定装置は、荷物の搬入、搬出を自動で行う物流倉庫における物流用の物体搬送システム（例えば、物流用のハンドリングシステム（ピッキングシステム））や、産業用ロボットシステム、その他のシステムなどに広く適用することができる。以下の説明においては、第１の実施形態の推定装置１を、物流用の物体搬送システムに適用する場合の一例について説明する。

図９は、推定装置１を採用した物体搬送システムの構成の一例を模式的に示す図である。物体搬送システム１００は、例えば、ハンドリング装置１１０と、一つ以上の物体検出器１２０と、管理装置１３０と、を備える。ハンドリング装置１１０は、例えば、移動機構１１１と、保持部１１２と、制御部１１３と、を備える。移動機構１１１は、例えば、複数のアーム部材１１１Ａと、複数のアーム部材１１１Ａを回動可能に連結した複数の回動部１１１Ｂと、を備える。保持部１１２は、例えば、先端部１１２Ａと、回動部１１２Ｂと、を備える。

物体搬送システム１００では、移動元ＭＯに置かれている搬送対象物Ｏを、移動先ＭＡに移動させる。なお、物体搬送システム１００は、製品組立や別の目的の一部として物体の搬送（移動）を行う装置やシステムも含む。

移動元ＭＯは、搬送対象物Ｏが置いてあるものと場所である。移動元ＭＯは、例えば、各種のコンベアや各種のパレット、またはトートや、ビン、オリコンのようなコンテナなどである。なお、移動元ＭＯは、これらのものに限定されない。移動元ＭＯには、大きさや、重さ、形状、材質が異なる多種類の搬送対象物Ｏがランダムに置かれている。搬送対象物Ｏには、例えば、５［ｃｍ］角のような小さなものから、３０［ｃｍ］角のような大きなものまで、種々の大きさのものがある。また、搬送対象物Ｏには、数十［ｇ］のような軽いものから数［ｋｇ］のような重いものまで、種々の重さのものがある。また、搬送対象物Ｏには、多角形のものや、筒型のもの、丸形のものなど、種々の形状のものがある。また、搬送対象物Ｏには、例えば、段ボールなどの紙や、プラスチック、ビニール、金属、布など、種々の材質のものがある。さらに、搬送対象物Ｏの材質には、段ボール箱にビニール製のラベルが貼られているなど、複数の材質が使用されているものがある。なお、搬送対象物Ｏの大きさや、重さ、形状、材質は、上述したものに限定されない。

移動先ＭＡは、搬送対象物Ｏの搬送先の場所である。移動先ＭＡは、例えば、トートやオリコンのようなコンテナである。「コンテナ」とは、搬送対象物Ｏを収容可能な部材（例えば、箱状の部材）を広く意味する。なお、移動先ＭＡは、コンテナに限定されない。従って、物体搬送システム１００およびハンドリング装置１１０は、コンテナ以外の移動先ＭＡに搬送対象物Ｏを移動させるものであってもよい。

ハンドリング装置１１０は、例えば、ロボット装置である。ハンドリング装置１１０は、移動元ＭＯに位置する搬送対象物Ｏを保持し、保持した搬送対象物Ｏを移動先ＭＡに移動させる。このとき、ハンドリング装置１１０は、有線通信または無線通信によって管理装置１３０との間で通信を行い、管理装置１３０により指定された搬送対象物Ｏを、管理装置１３０により指定された移動元ＭＯから移動先ＭＡに移動させる。

移動機構１１１は、保持部１１２を所望の位置に移動させる機構である。移動機構１１１は、例えば、６軸の垂直多関節ロボットアームである。なお、移動機構１１１は、この構成に限定されない。移動機構１１１は、例えば、３軸の直交ロボットアームでもよいし、その他の構成により保持部１１２を所望の位置に移動させる機構であってもよい。また、移動機構１１１は、各関節の関節角度（例えば、回動部１１１Ｂ回転角度など）を検出するセンサなどを備えてもよい。また、移動機構１１１は、例えば、回転翼により保持部１１２を持ち上げて移動させる飛行体（例えば、ドローン）などであってもよい。

保持部１１２は、移動元ＭＯに位置する搬送対象物Ｏを先端部１１２Ａに保持する保持機構である。保持部１１２は、回動部１１２Ｂを介して移動機構１１１に連結されている。先端部１１２Ａは、複数の挟持部材により搬送対象物Ｏを挟持する機構である。なお、先端部１１２Ａは、搬送対象物Ｏを挟持する機構に限定されない。先端部１１２Ａは、例えば、吸着部と、この吸着部に連通した吸引装置とを備え、吸着により搬送対象物Ｏを保持する機構であってもよい。また、先端部１１２Ａは、その他の機構により搬送対象物Ｏを保持する機構であってもよい。また、保持部１１２または先端部１１２Ａは、例えば、制御部１１３または管理装置１３０による指示に従って、自動で交換可能な構成であってもよい。

制御部１１３は、ハンドリング装置１１０の全体の動作を制御する。制御部１１３は、管理装置１３０からの制御に応じて、移動機構１１１が備えるアーム部材１１１Ａや回動部１１１Ｂ、保持部１１２が備える先端部１１２Ａや回動部１１２Ｂを制御することにより、搬送対象物Ｏを先端部１１２Ａに挟持（保持）させる。

物体検出器１２０は、移動元ＭＯの近く（例えば、移動元ＭＯの直上や斜め上方）、移動先ＭＡの近く（例えば、移動先ＭＡの直上や斜め上方）に配置されているカメラまたは各種センサである。物体検出器１２０は、推定装置１のカメラ装置１Ａを備える。この場合、物体検出器１２０（カメラ装置１Ａ）は、搬送対象物Ｏを計測した被写体データを、管理装置１３０に出力する。なお、カメラ装置１Ａは、例えば、ハンドリング装置１１０のアーム部材１１１Ａや、保持部１１２の先端部１１２Ａなど、搬送対象物Ｏを計測することができるハンドリング装置１１０の一部の位置に設けられてもよい。この場合、カメラ装置１Ａは、搬送対象物Ｏを計測した被写体データを、制御部１１３に出力してもよいし、制御部１１３を介して管理装置１３０に出力してもよい。

管理装置１３０は、物体搬送システム１００の全体の管理および制御を行う。管理装置１３０は、物体検出器１２０により検出された情報を取得し、取得した情報に基づいてハンドリング装置１１０を制御し、搬送対象物Ｏを移動元ＭＯから移動先ＭＡに搬送（移動）させる。管理装置１３０は、推定装置１の制御装置１Ｂと記憶装置１Ｃとを備える。管理装置１３０は、物体検出器１２０（カメラ装置１Ａ）により出力された被写体データに基づいて、先端部１１２Ａと搬送対象物Ｏとの間の距離と材質とを推定する。そして、管理装置１３０は、推定した搬送対象物Ｏの材質に応じて、先端部１１２Ａによる搬送対象物Ｏの挟持（保持）を制御する。

例えば、搬送対象物Ｏが段ボール箱やプラスチック容器である場合、管理装置１３０は、搬送対象物Ｏを挟持または吸着させるように先端部１１２Ａを制御する。このとき、管理装置１３０は、搬送対象物Ｏを挟持させるように先端部１１２Ａを制御する場合において、例えば、段ボール箱を挟持させるときの力量を、プラスチック容器を挟持させるときの力量よりも低くなるように制御してもよい。また、例えば、搬送対象物Ｏが段ボール箱にビニール製のラベルが貼られている場合、管理装置１３０は、搬送対象物Ｏを吸着させずに挟持のみをさせるように先端部１１２Ａを制御する。これにより、吸着によって段ボール箱に貼られているビニール製のラベルが剥がれてしまうのを防止することができる。なお、移動機構１１１に連結されている現在の保持部１１２の先端部１１２Ａが、吸着により搬送対象物Ｏを保持する機構のものである場合、管理装置１３０は、搬送対象物Ｏを挟持する機構の先端部１１２Ａを備える保持部１１２に交換させるように制御してもよい。

なお、カメラ装置１Ａがハンドリング装置１１０の一部の位置に設けられている場合、推定装置１の制御装置１Ｂは、例えば、制御部１１３に備えてもよい。この場合、制御部１１３が備える制御装置１Ｂが、カメラ装置１Ａにより出力された被写体データに基づいて先端部１１２Ａと搬送対象物Ｏとの間の距離と材質とを推定する。なお、このとき、推定装置１の記憶装置１Ｃは、制御装置１Ｂがテーブルを参照することができれば、例えば、管理装置１３０、制御部１１３、または他の装置など、いずれに備えてもよい。そして、制御部１１３は、推定したすデータを管理装置１３０に出力し、管理装置１３０からの制御に応じて搬送対象物Ｏを先端部１１２Ａに挟持（保持）させる。

このように、推定装置１を物体搬送システム１００に適用した場合、搬送対象物Ｏの材質に応じて、搬送対象物Ｏを先端部１１２Ａに挟持（保持）させるときの制御をすることができる。これにより、物体搬送システム１００では、より丁寧に搬送対象物Ｏを扱うことができる。

なお、推定装置の適用例では、推定装置１を物流用の物体搬送システムに適用した場合を説明した。しかし、上述したように、実施形態の推定装置は、他のシステムに適用することができる、しかし、実施形態の推定装置を他のシステムにした場合の推定装置の配置や推定装置が推定した推定データの利用方法は、上述した物流用の物体搬送システムに適用した場合と同様な考え方で容易に理解することができる。従って、実施形態の推定装置を他のシステムにした場合に関する詳細な説明は省略する。

上記説明したように、物体搬送システム１００は、例えば、推定装置１と、推定装置１が推定した被写体Ｓの特性に基づいて認識した物体（例えば、搬送対象物Ｏ）を保持し、搬送対象物Ｏを所定の位置（例えば、移動先ＭＡ）に移動させる保持機構（例えば、ハンドリング装置１１０や、保持部１１２など）と、を備えてもよい。

上記に述べたとおり、各実施形態の推定装置を適用した搬送システムでは、推定装置が備える少なくともカメラ装置（上述した推定装置の適用例では、物体検出器）を、推定する対象の物体を計測することができる位置に配置する。そして、各実施形態の推定装置を適用した搬送システムでは、推定装置が備える制御装置が、記憶装置に記憶されている特性データを参照して、カメラ装置により出力された被写体データに基づいて、対象の物体の特性を推定する。これにより、各実施形態の推定装置を適用した搬送システムでは、対象の物体の特性を高精度に推定し、物体の特性に適した搬送方法に制御して搬送することができる。

以上説明した少なくともひとつの実施形態によれば、被写体（Ｓ）に照射する照射光（ＩＬ）の照射パターンと、照射光（ＩＬ）が被写体（Ｓ）で反射された反射光（ＲＬ）を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える制御部（４０）と、それぞれの複数の制御条件下において、一つ以上の受光ゲート（Ｇ）によって受光することで取得された被写体（Ｓ）に関する被写体データ（例えば、距離値ｄ）に基づいて、被写体（Ｓ）の特性を推定する推定部（５０）と、を持つことにより、容易な方法で計測を行って被写体（Ｓ）の特性を推定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，２，３・・・推定装置、１Ａ・・・カメラ装置、１Ｂ，２Ｂ・・・制御装置、１Ｃ・・・記憶装置、１０・・・光源部、２０・・・受光部、３０・・・算出部、３Ｄ・・・処理装置、４０，４２・・・制御部、５０，５２・・・推定部、６０・・・記憶部、７０・・・調整部、８０・・・画像処理部、１００・・・物体搬送システム、１１０・・・ハンドリング装置、１１１・・・移動機構、１１１Ａ・・・アーム部材、１１１Ｂ・・・回動部、１１２・・・保持部、１１２Ａ・・・先端部、１１２Ｂ・・・回動部、１１３・・・制御部、１２０・・・物体検出器、１３０・・・管理装置、ＩＬ・・・照射光、ＲＬ・・・反射光、Ｓ・・・被写体、Ｌ・・・ラベル、ＳＯ・・・計測物体、Ｏ・・・搬送対象物

Claims (17)

1. 被写体に照射する照射光の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替える制御部と、
   それぞれの前記複数の制御条件下において、一つ以上の受光ゲートによって受光することで取得された前記被写体に関する被写体データに基づいて、前記被写体の特性を推定する推定部と、
   を備える推定装置。
2. 前記照射パターンは、前記照射光の照射パルスのパルス長と信号レベルとの少なくとも一つが異なるように設定され、
   前記受光パターンは、前記受光ゲートが前記反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と、前記照射パルスの開始時刻から当該ゲートパルスの開始時刻までの相対的時刻差との少なくとも一つが異なるように設定される、
   請求項１に記載の推定装置。
3. 前記複数の制御条件と前記被写体の特性との対応関係を定めた特性データを記憶する記憶部、
   をさらに備え、
   前記推定部は、前記被写体データを取得する際に用いた前記制御条件に基づいて選択した前記特性データに基づいて、取得した前記被写体データが表す前記被写体の特性を推定する、
   請求項１または請求項２に記載の推定装置。
4. 前記推定部は、取得した前記被写体データが表す前記被写体の特性と、選択した前記特性データに対応付けられた前記被写体の特性との類似度に基づいた重み係数によって、前記特性データに対応付けられた二つ以上の前記被写体の特性を重み付けした和を、前記被写体データが表す前記被写体の特性として推定する、
   請求項３に記載の推定装置。
5. 前記特性データは、前記受光ゲートが受光した前記反射光の一部または全てを表すデータ、或いは二つ以上の前記データを要素とする多次元のベクトルを四則演算した結果を含む、
   請求項３または請求項４に記載の推定装置。
6. 前記特性データは、前記多次元のベクトルをさらに変換した少なくとも一つ以上の要素からなる特徴量を含む、
   請求項５に記載の推定装置。
7. 前記複数の制御条件に基づいて前記被写体の特性を推定するニューラルネットワークを記憶する記憶部、
   をさらに備え、
   前記推定部は、前記被写体データと、当該前記被写体データを取得する際に用いた前記制御条件とを前記ニューラルネットワークに入力して、取得した前記被写体データが表す前記被写体の特性を推定する、
   請求項１または請求項２に記載の推定装置。
8. 前記被写体データにおける時間的または空間的なばらつきに応じて、前記推定部が前記被写体の特性を推定する際に用いる前記被写体データの数を調整する調整部、
   をさらに備える、
   請求項１から請求項７のうちいずれか１項に記載の推定装置。
9. 前記被写体データにおける時間的または空間的なばらつきに応じて、前記推定部が選択する前記特性データの数、または前記重み係数を調整する調整部、
   をさらに備える、
   請求項４に記載の推定装置。
10. 前記被写体の特性は、前記被写体との間の距離を含む、
    請求項１から請求項９のうちいずれか１項に記載の推定装置。
11. 前記被写体の特性は、前記被写体の材質を含む、
    請求項１から請求項１０のうちいずれか１項に記載の推定装置。
12. 前記被写体の特性は、前記被写体の属性を表す情報を含む、
    請求項１から請求項１１のうちいずれか１項に記載の推定装置。
13. 前記被写体の属性を表す情報は、前記被写体の反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を表す情報である、
    請求項１１に記載の推定装置。
14. それぞれの前記受光ゲートに対応する前記被写体の特性に基づいて前記被写体の特性画像を生成し、生成した前記特性画像に対して前記被写体の材質または前記被写体の属性の少なくとも一方に基づいたフィルタ処理を施す画像処理部、
    をさらに備える、
    請求項１１から請求項１３のうちいずれか１項に記載の推定装置。
15. 請求項１から請求項１４のうちいずれか１項に記載の推定装置と、
    前記推定装置が推定した前記被写体の特性に基づいて認識した物体を保持し、前記物体を所定の位置に移動させる保持機構と、
    を備える物体搬送システム。
16. コンピュータが、
    被写体に照射する照射光の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替え、
    それぞれの前記複数の制御条件下において、一つ以上の受光ゲートによって受光することで取得された前記被写体に関する被写体データに基づいて、前記被写体の特性を推定する、
    推定方法。
17. コンピュータに、
    被写体に照射する照射光の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する受光パターンと、の少なくとも一つが互いに異なるように設定した複数の制御条件を切り替えさせ、
    それぞれの前記複数の制御条件下において、一つ以上の受光ゲートによって受光することで取得された前記被写体に関する被写体データに基づいて、前記被写体の特性を推定させる、
    プログラム。

Images