JP2022161328A - 情報処理システム、情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】演算量を低減することが可能な情報処理システム、情報処理装置および情報処理方法を提供する。【解決手段】本開示の一側面に係る情報処理システムは、第１センサ部と、第１センサ部から得られた第１センサデータを処理する第１処理部と、第２センサ部と、第２センサ部から得られた第２センサデータを処理する第２処理部とを備えている。第１処理部は、第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域を設定するための設定情報を生成する。第２処理部は、設定情報に基づいて、第２処理部によって処理する第２センサデータの処理領域を設定する。【選択図】図１

Description

本開示は、情報処理システム、情報処理装置および情報処理方法に関する。

車両の自動運転や移動型ロボットの走行などでは、複数のセンサを用いて、障害となり得る物体の認識や、周囲の環境状況を把握し、経路計画等を行う情報処理システムが広く知られている（例えば、特許文献１参照）。

特開２０１８－５０５０号公報

このような情報処理システムでは、リアルタイム性や省エネの観点から、演算量を低減することが望ましい。従って、演算量を低減することが可能な情報処理システム、情報処理装置および情報処理方法を提供することが望ましい。

本開示の第１の側面に係る情報処理システムは、第１センサ部と、第１センサ部から得られた第１センサデータを処理する第１処理部と、第２センサ部と、第２センサ部から得られた第２センサデータを処理する第２処理部とを備えている。第１処理部は、第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域を設定するための設定情報を生成する。第２処理部は、設定情報に基づいて、第２処理部によって処理する第２センサデータの処理領域を設定する。

本開示の第１の側面に係る情報処理システムでは、第１センサ部から得られた第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域が設定される。これにより、第１センサデータを用いずに第２センサ部の出力を処理する場合と比べて、少ない演算量で第２センサ部の出力の処理領域を設定することができる。

本開示の第２の側面に係る情報処理システムは、第１センサ部と、第１センサ部から得られた第１センサデータを処理する第１処理部と、第２センサ部と、第２センサ部を制御する制御部とを備えている。第１処理部は、第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成する。制御部は、設定情報に基づいて、第２センサ部のセンシング領域を設定する。

本開示の第２の側面に係る情報処理システムでは、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域が設定される。これにより、第１センサデータを用いずに広範囲に第２センサ部をセンシングさせた場合と比べて、少ない演算量で第２センサ部のセンシング領域を設定することができる。

本開示の第３の側面に係る情報処理装置は、生成部と、設定部とを備えている。生成部は、第１センサ部から得られた第１センサデータに基づいて、第２センサ部から得られた第２センサデータの処理領域を設定するための設定情報を生成する。設定部は、設定情報に基づいて、第２センサデータの処理領域を設定する。

本開示の第３の側面に係る情報処理装置では、第１センサ部から得られた第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域が設定される。これにより、第１センサデータを用いずに第２センサ部の出力を処理する場合と比べて、少ない演算量で第２センサ部の出力の処理領域を設定することができる。

本開示の第４の側面に係る情報処理装置は、生成部と、設定部とを備えている。生成部は、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成する。設定部は、設定情報に基づいて、前記第２センサ部のセンシング領域を設定する。

本開示の第４の側面に係る情報処理装置では、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域が設定される。これにより、第１センサデータを用いずに広範囲に第２センサ部をセンシングさせた場合と比べて、少ない演算量で第２センサ部のセンシング領域を設定することができる。

本開示の第５の側面に係る情報処理方法は、以下の２つを含む。
（Ａ１）第１センサ部から得られた第１センサデータに基づいて、第２センサ部から得られた第２センサデータの処理領域を設定するための設定情報を生成すること
（Ａ２）設定情報に基づいて、第２センサデータの処理領域を設定すること

本開示の第５の側面に係る情報処理方法では、第１センサ部から得られた第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域が設定される。これにより、第１センサデータを用いずに第２センサ部の出力を処理する場合と比べて、少ない演算量で第２センサ部の出力の処理領域を設定することができる。

本開示の第６の側面に係る情報処理方法は、以下の２つを含む。
（Ｂ１）第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成すること
（Ｂ２）設定情報に基づいて、前記第２センサ部のセンシング領域を設定すること

本開示の第６の側面に係る情報処理方法では、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域が設定される。これにより、第１センサデータを用いずに広範囲に第２センサ部をセンシングさせた場合と比べて、少ない演算量で第２センサ部のセンシング領域を設定することができる。

本開示の第１の実施の形態に係る情報処理システムの概略構成例を表す図である。 図１の情報処理システムにおける情報処理手順例を表す図である。 画像データおよびデプスデータの一例を表す図である。 図１の情報処理システムの概略構成の一変形例を表す図である。 図４の情報処理システムにおける補正量の導出例を表す図である。 本開示の第２の実施の形態に係る情報処理システムの概略構成例を表す図である。 図６の情報処理システムにおける情報処理手順例を表す図である。 熱画像データおよびデプスデータの一例を表す図である。 本開示の第３の実施の形態に係る情報処理システムの概略構成例を表す図である。 図９の情報処理システムにおける補正量の導出例を表す図である。 図９の情報処理システムにおける情報処理手順例を表す図である。 本開示の第４の実施の形態に係る情報処理システムの概略構成例を表す図である。 図１２の情報処理システムにおける情報処理手順例を表す図である。 通常の画像および偏光画像の一例を表す図である。 本開示の第５の実施の形態に係る情報処理システムの概略構成例を表す図である。 図１５の情報処理システムにおける補正量の導出例を表す図である。 図１５の情報処理システムにおける情報処理手順例を表す図である。 本開示の第６の実施の形態に係る情報処理システムの概略構成例を表す図である。 本開示の第７の実施の形態に係る情報処理システムの概略構成例を表す図である。 本開示の第８の実施の形態に係る情報処理システムの概略構成例を表す図である。

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．第１の実施の形態（図１～図３）
ＲＧＢセンサ部およびデプスセンサ部を用いた例
２．第１の実施の形態の変形例（図４，図５）
ＲＧＢセンサ部とデプスセンサ部との間の位置ズレを補正する例
３．第２の実施の形態（図６～図８）
熱画像センサ部およびデプスセンサ部を用いた例
４．第３の実施の形態（図９～図１１）
画像センサ部および超音波センサ部を用いた例
５．第４の実施の形態（図１２～図１４）
偏光センサ部および超音波センサ部を用いた例
６．第５の実施の形態（図１５～図１７）
デプスセンサ部およびドップラーセンサ部を用いた例
７．第６の実施の形態（図１８）
ＲＧＢセンサ部、デプスセンサ部および熱画像センサ部を用いた例
８．第７の実施の形態（図１９）
ＲＧＢセンサ部、デプスセンサ部および超音波センサ部を用いた例
９．第８の実施の形態（図２０）
ＲＧＢセンサ部、熱画像センサ部および超音波センサ部を用いた例

＜１．第１の実施の形態＞
[構成]
図１は、本開示の第１の実施の形態に係る情報処理システム１００の概略構成例を表したものである。情報処理システム１００は、２つのセンサを備えており、具体的には、ＲＧＢセンサ部１１０およびデプスセンサ部１３０を備えている。情報処理システム１００は、さらに、２つのデータ処理部を備えており、具体的には、データ処理部１２０，１４０を備えている。データ処理部１２０は、ＲＧＢセンサ部１１０で得られた画像センサデータ１１０Ａを処理する。データ処理部１４０は、デプスセンサ部１３０で得られたデプスセンサデータ１３０Ａを処理する。

ＲＧＢセンサ部１１０が本開示の「第１センサ部」「画像センサ」の一具体例に相当する。データ処理部１２０が本開示の「第１処理部」の一具体例に相当する。デプスセンサ部１３０が本開示の「第２センサ部」「デプスセンサ」の一具体例に相当する。データ処理部１４０が本開示の「第２処理部」の一具体例に相当する。

ＲＧＢセンサ部１１０は、例えば、単願もしくは双眼の可視光画像センサ（カメラ）である。ＲＧＢセンサ部１１０は、外部の所定の領域を撮像対象領域（センシング領域）として撮像し、それにより画像センサデータ１１０Ａを画素ごとに取得する。ＲＧＢセンサ部１１０は、取得したｎ画素分の画像センサデータ１１０Ａをデータ処理部１２０に出力する。

データ処理部１２０は、ＲＧＢセンサ部１１０から入力されたｎ画素分の画像センサデータ１１０Ａを処理する。データ処理部１２０は、例えば、ｎ画素分の画像センサデータ１１０Ａを処理し、それにより、画像データ１２０Ａを生成する。データ処理部１２０は、例えば、必要に応じて、画像データ１２０Ａに対して所定の画像処理（例えば、ガンマ補正やホワイトバランス補正など）を行ってもよい。データ処理部１２０は、生成した画像データ１２０Ａを外部に出力する。

データ処理部１２０は、さらに、画像データ１２０Ａに対して１または複数の領域を設定する。この場合、画像データ１２０Ａに対して設定される領域は、ＲＯＩ（Region Of Interest）と呼ばれる。以下では、画像データ１２０Ａに対して設定される領域を「ＲＯＩ」と称する。また、ＲＯＩについての情報を「ＲＯＩ情報１２０Ｂ」と称する。ＲＯＩ情報１２０Ｂは、例えば、画像データ１２０Ａに対して設定される１または複数のＲＯＩの、画像データ１２０Ａ内での位置についての情報を含む。そのような情報には、例えば、ＲＯＩの左上隅のＸＹ座標、ＲＯＩのＸ方向の幅、ＲＯＩのＹ方向の幅などが含まれる。

ＲＯＩの設定には、例えば、パターンマッチングや、ニューラルネットワークなどの機械学習モデルが用いられ得る。データ処理部１２０は、例えば、所定の対象物についての画像データ（以下、「比較対象画像データ」と称する。）と、パターンマッチングを行うプログラムと、このプログラムを実行する実行部とを有している。このプログラムには、例えば、画像データ１２０Ａに、比較対象画像データに対応する特定のパターンが出現するか否か、さらに、どこに出現するかを特定し、特定した位置についての情報を出力するための一連の手順が含まれる。データ処理部１２０は、例えば、ニューラルネットワークを有している。このニューラルネットワークは、例えば、学習用の画像データと、学習用の画像データに含まれる所定の対象物の位置についての情報とを教示データとして学習した学習モデルである。このニューラルネットワークは、画像データ１２０Ａが入力されると、入力された画像データ１２０Ａに含まれる所定の対象物の位置についての情報を出力する。

なお、物体の種類に応じてＲＯＩを設定する領域を変更してもよい。例えば、物体が人である場合に、人の背景まで含むようにＲＯＩを設定すると、ＲＯＩに、背景がノイズとして入り込んでしまう。そこで、物体の種類に応じて、例えば、ＲＯＩの横幅を物体の横幅の５０％に設定し、ＲＯＩの縦幅を物体の縦幅の７０％に設定することで、ノイズ（背景）を含まないＲＯＩを設定することが可能である。このようにすることで、センサの検知精度を向上させることが可能となる。

データ処理部１２０は、画像データ１２０Ａに対して１または複数のＲＯＩを設定し、設定した１または複数のＲＯＩについてのＲＯＩ情報１２０Ｂを生成する。ＲＯＩ情報１２０Ｂが、本開示の「設定情報」の一具体例に相当する。データ処理部１２０は、生成したＲＯＩ情報１２０Ｂをデータ処理部１４０に出力する。

デプスセンサ部１３０は、外部の所定の照射領域（センシング領域）に対して光を照射し、それにより照射領域から反射した反射光を受光する。照射領域は撮像対象領域の少なくとも一部を含む領域に相当する。本実施の形態では、照射領域が撮像対象領域と一致しているものとする。デプスセンサ部１３０は、例えば、ステレオカメラ、ミリ波レーダー、ＬｉＤＡＲ（Light Detection and Ranging）、ＴｏＦ（Time of Flight）センサなどである。デプスセンサ部１３０は、受光によりデプスセンサデータ１３０Ａを画素ごとに取得する。デプスセンサ部１３０がｍ画素の受光素子を含んで構成されている場合、デプスセンサ部１３０は、ｍ画素分のデプスセンサデータ１３０Ａを取得する。デプスセンサ部１３０は、取得したｍ画素分のデプスセンサデータ１３０Ａをデータ処理部１４０に出力する。

データ処理部１４０は、ｍ画素分のデプスセンサデータ１３０Ａを処理し、それにより、デプスデータ１４０Ａを生成する。データ処理部１４０は、例えば、ｍ画素分のデプスセンサデータ１３０Ａを用いて、照射領域までの距離に対応するデプス値を算出し、算出したデプス値を画素値として格納したデプスデータ１４０Ａを生成する。データ処理部１４０は、ＲＯＩ情報１２０Ｂがデータ処理部１２０から入力された場合には、入力されたＲＯＩ情報１２０Ｂに基づいて、ｍ画素分のデプスセンサデータ１３０Ａを処理し、それにより、デプスデータ１４０Ａを生成する。データ処理部１４０は、例えば、ｍ画素分のデプスセンサデータ１３０Ａの中から、ＲＯＩ情報１２０Ｂに対応する画素のデータだけを選択的に抽出する。データ処理部１４０は、例えば、抽出したデータを用いて、照射領域までの距離に対応するデプス値を算出し、算出したデプス値を画素値として格納したデプスデータ１４０Ａを生成する。このとき、デプスデータ１４０Ａにおいて、ＲＯＩ情報１２０Ｂに対応する画素以外の画素（つまり、ＲＯＩ情報１２０Ｂに非対応の画素）に対応するデプス値は規定の値（例えば、データ無しを意味する数値）となっている。データ処理部１４０は、生成したデプスデータ１４０Ａを外部に出力する。

[データ処理手順]
次に、情報処理システム１００におけるデータ処理手順について説明する。図２は、情報処理システム１００におけるデータ処理手順の一例を表したものである。

まず、ＲＧＢセンサ部１１０が、撮像対象領域（センシング領域）を撮像し、それによりｎ画素分の画像センサデータ１１０Ａを取得する（ステップＳ１０１）。ＲＧＢセンサ部１１０は、取得したｎ画素分の画像センサデータ１１０Ａをデータ処理部１２０に出力する。デプスセンサ部１３０は、ＲＧＢセンサ部１１０における撮像と同期して、照射領域（センシング領域）に対して光を照射し、それにより、ｎ画素分のデプスセンサデータ１３０Ａを取得する（ステップＳ１０５）。

データ処理部１２０は、ｎ画素分の画像センサデータ１１０Ａを処理する（ステップＳ１０２）。具体的には、データ処理部１２０は、ｎ画素分の画像センサデータ１１０Ａを処理し、それにより、画像データ１２０Ａを生成する。データ処理部１２０は、生成した画像データ１２０Ａに対して１または複数のＲＯＩを設定し、設定した１または複数のＲＯＩについてのＲＯＩ情報１２０Ｂを生成する（ステップＳ１０４、図３（Ａ））。なお、図３（Ａ）には、画像データ１２０Ａに５つのＲＯＩ（ＲＯＩ（ａ），ＲＯＩ（ｂ），ＲＯＩ（ｃ），ＲＯＩ（ｄ），ＲＯＩ（ｅ））が含まれている場合が例示されている。図３（Ａ）には、さらに、ＲＯＩ（ａ）の左上隅のＸＹ座標が（Ｘａ，Ｙａ）となっており、ＲＯＩ（ｄ）の左上隅のＸＹ座標が（Ｘｃ，Ｙｃ）となっている場合が例示されている。データ処理部１２０は、生成したＲＯＩ情報１２０Ｂをデータ処理部１４０に出力する。データ処理部１２０は、さらに、画像データ１２０Ａを外部に出力する（ステップＳ１０３）。

データ処理部１４０は、データ処理部１２０から入力されたＲＯＩ情報１２０Ｂに基づいて、ｍ画素分のデプスセンサデータ１３０Ａを処理する（ステップＳ１０６）。データ処理部１４０は、ｍ画素分のデプスセンサデータ１３０Ａに対して、ＲＯＩ情報１２０Ｂに含まれる全てのＲＯＩについての情報に基づく処理を行うことで、デプスデータ１４０Ａを生成し、外部に出力する（ステップＳ１０７；Ｙ、ステップＳ１０８、図３（Ｂ））。データ処理部１４０は、例えば、ｍ画素分のデプスセンサデータ１３０Ａのうち、ＲＯＩ情報１２０Ｂに対応する画素のデータだけを選択的に抽出する。データ処理部１４０は、さらに、例えば、抽出したデータを用いて、照射領域までの距離に対応するデプス値を算出し、算出したデプス値を画素値として格納したデプスデータ１４０Ａを生成する。このとき、データ処理部１４０は、例えば、デプスデータ１４０Ａにおいて、ＲＯＩ情報１２０Ｂに対応する画素以外の画素（つまり、ＲＯＩ情報１２０Ｂに非対応の画素）に対応するデプス値として、規定の値（例えば、データ無しを意味する数値）を設定する。なお、図３（Ｂ）では、ｍ画素分のデプスセンサデータ１３０Ａから抽出されたデータに基づいてデプス値が生成された箇所が白抜きで表現されており、デプス値が規定の値となっている箇所がグレーの色で表現されている。このようにして、情報処理システム１００におけるデータ処理が行われる。

[効果]
車両の自動運転や移動型ロボットの走行などでは、複数のセンサを用いて、障害となり得る物体の認識や、周囲の環境状況を把握し、経路計画等を行う情報処理システムが広く知られている。そのような情報処理システムでは、例えばＲＧＢカメラによる画像認識や、デプスセンサ、超音波センサによる周辺物体との距離把握などが行われる。従来では、センサ毎にセンサデータの処理を行い、処理されたデータを統合してシステム制御に利用している。ここで、カメラのような広範囲をセンシングするセンサを利用した場合には、不要なデータの処理が多く含まれるので、演算時間や消費エネルギーが増大したり、大きなメモリ容量が必要になったりする。その結果、このような技術を、リアルタイム性や省エネが求められる移動ロボティクスシステムへ実装することが困難になる。一方で、超音波センサなどの狭い領域を検知するセンサを利用した場合には、最適な検知点の探索が必要となる。

周囲の環境状況を把握する目的でセンサを利用する場合、当初は適したセンシング領域が不明である。そのため、取得したセンサデータを用いて周囲の状況を把握し、把握した周囲の状況に基づいて（つまり、センサデータ取得後に）、適したセンシング領域が判明する。カメラのような広範囲をセンシングするセンサでは、取得したデータ全体を処理する必要がある。一方で、超音波センサなどの狭い領域を検知するセンサでは、一定の範囲を検出した後に最適な検知点とそのデータが取得できるため、長い検出時間が必要である。

一方、本実施の形態では、ＲＧＢセンサ部１１０の出力データに基づいてＲＯＩ情報１２０Ｂが生成され、生成されたＲＯＩ情報１２０Ｂに基づいてデプスセンサ部１３０の出力の処理領域が設定される。これにより、ＲＯＩ情報１２０Ｂを用いずにデプスセンサ部１３０の出力を処理する場合と比べて、少ない演算量でデプスセンサ部１３０の出力の処理領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜２．第１の実施の形態の変形例＞
以下、上記実施の形態に係る情報処理システム１００の変形例について説明する。以下の変形例では、上記実施の形態と共通の構成に同一の符号を付して説明する。

上記実施の形態において、デプスセンサ部１３０の照射領域（センシング領域）がＲＧＢセンサ部１１０の撮像対象領域（センシング領域）に一致していなくてもよい。この場合、画像データ１２０ＡにおけるＲＯＩの位置と、ｍ画素分のデプスセンサデータ１３０Ａから生成されるデプスデータにおけるＲＯＩの位置とが互いに一致しない。そこで、上記実施の形態において、情報処理システム１００が、ＲＯＩ情報１２０Ｂに含まれるＲＯＩの位置と、ｍ画素分のデプスセンサデータ１３０Ａから生成されるデプスデータにおけるＲＯＩの位置とを対応付けるデータを備えていてもよい。情報処理システム１００は、例えば、図４に示したように、ＲＯＩ情報１２０Ｂに含まれるＲＯＩの位置情報と、上記デプスデータにおけるＲＯＩの位置とを対応付けるデータが格納されたメモリ１５０を備えていてもよい。

図５（Ａ）は、デプスデータ１４０ＡにおけるＲＯＩの一例を表したものである。図５（Ａ）に記載のＲＯＩの位置（Ｘｂ，Ｙｂ）は、図３（Ａ）に記載のＲＯＩの位置（Ｘａ，Ｙａ）と比べると、紙面左右方向（Ｘ方向）に＋ΔＸだけオフセットされており、紙面上下方向（Ｙ方向）に＋ΔＹだけオフセットされている。つまり、画像データ１２０ＡにおけるＲＯＩの位置（Ｘａ，Ｙａ）に対して補正量（ΔＸ，ΔＹ）を加えることにより、デプスデータ１４０ＡにおけるＲＯＩの位置（Ｘｂ，Ｙｂ）を導出することができる。

本変形例では、メモリ部１５０に対して、例えば、補正量（ΔＸ，ΔＹ）が格納されている。補正量（ΔＸ，ΔＹ）は、例えば、撮像対象領域および照射領域に共通のマーカを設置して取得した画像データ１２０Ａおよびデプスセンサデータ１３０Ａに基づいて取得することが可能である。データ処理部１４０は、画像データ１２０ＡにおけるＲＯＩの位置（Ｘａ，Ｙａ）に対して、メモリ部１５０から読み出した補正量（ΔＸ，ΔＹ）を加えることにより、デプスデータ１４０ＡにおけるＲＯＩの位置（Ｘｂ，Ｙｂ）を導出する。これにより、画像データ１２０ＡにおけるＲＯＩの位置と、デプスデータ１４０ＡにおけるＲＯＩの位置との間にオフセットが存在する場合であっても、補正量（ΔＸ，ΔＹ）を用いることで、デプスデータ１４０ＡにおけるＲＯＩの位置を精度よく導出することができる。その結果、補正量（ΔＸ，ΔＹ）を用いずにデプスデータ１４０Ａを処理することで、デプスデータ１４０ＡにおけるＲＯＩを設定する場合と比べて、少ない演算量でデプスデータ１４０ＡにおけるＲＯＩを設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

図５（Ｂ）は、デプスデータ１４０ＡにおけるＲＯＩの他の例を表したものである。図５（Ｂ）に記載のデプスデータ１４０Ａの縮尺と、図３（Ａ）に記載の画像データ１２０Ａの縮尺とが互いに異なっている。図５（Ｂ）に記載のデプスデータ１４０Ａは、図３（Ａ）に記載の画像データ１２０Ａを、左上隅を基準に紙面左右方向（Ｘ方向）にＬｘ２／Ｌｘ１だけ縮小するとともに、左上隅を基準に紙面上下方向（Ｙ方向）にＬｙ２／Ｌｙ１だけ縮小した画像データに対応している。このとき、図５（Ｂ）に記載のＲＯＩの位置（Ｘｄ，Ｙｄ）は、図３（Ａ）に記載のＲＯＩの位置（Ｘｃ，Ｙｃ）と比べると、紙面左右方向（Ｘ方向）に－Ｘｃ×（１－Ｌｘ２／Ｌｘ１）だけオフセットされており、紙面上下方向（Ｙ方向）に－Ｙｃ×（１－Ｌｙ２／Ｌｙ１）だけオフセットされている。つまり、画像データ１２０ＡにおけるＲＯＩの位置（Ｘａ，Ｙａ）に対して補正量（－Ｘｃ×（１－Ｌｘ２／Ｌｘ１），－Ｙｃ×（１－Ｌｙ２／Ｌｙ１））を加えることにより、デプスデータ１４０ＡにおけるＲＯＩの位置（Ｘｂ，Ｙｂ）を導出することができる。

本変形例では、メモリ部１５０に対して、例えば、補正量（－（１－Ｌｘ２／Ｌｘ１），－（１－Ｌｙ２／Ｌｙ１））が格納されている。補正量（－（１－Ｌｘ２／Ｌｘ１），－（１－Ｌｙ２／Ｌｙ１））は、例えば、撮像対象領域および照射領域に共通のマーカを設置して取得した画像データ１２０Ａおよびデプスセンサデータ１３０Ａに基づいて取得することが可能である。データ処理部１４０は、画像データ１２０ＡにおけるＲＯＩの位置（Ｘｃ，Ｙｃ）に対して、メモリ部１５０から読み出した補正量（－（１－Ｌｘ２／Ｌｘ１），－（１－Ｌｙ２／Ｌｙ１））を掛けることにより、デプスデータ１４０ＡにおけるＲＯＩの位置（Ｘｄ，Ｙｄ）を導出する。これにより、画像データ１２０Ａの縮尺と、デプスデータ１４０Ａの縮尺とが互いに異なる場合であっても、補正量（－（１－Ｌｘ２／Ｌｘ１），－（１－Ｌｙ２／Ｌｙ１））を用いることで、デプスデータ１４０ＡにおけるＲＯＩの位置を精度よく導出することができる。その結果、補正量（－（１－Ｌｘ２／Ｌｘ１），－（１－Ｌｙ２／Ｌｙ１））を用いずにデプスデータ１４０Ａを処理することで、デプスデータ１４０ＡにおけるＲＯＩを設定する場合と比べて、少ない演算量でデプスデータ１４０ＡにおけるＲＯＩを設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜３．第２の実施の形態＞
[構成]
図６は、本開示の第２の実施の形態に係る情報処理システム２００の概略構成例を表したものである。情報処理システム２００は、２つのセンサを備えており、具体的には、熱画像センサ部２１０およびデプスセンサ部１３０を備えている。情報処理システム２００は、さらに、熱画像センサ部２１０で得られた熱画像センサデータ２１０Ａを処理するデータ処理部２２０と、デプスセンサ部１３０で得られたデプスセンサデータ１３０Ａを処理するデータ処理部１４０とを備えている。

熱画像センサ部２１０が本開示の「第１センサ部」「画像センサ」の一具体例に相当する。データ処理部２２０が本開示の「第１処理部」の一具体例に相当する。デプスセンサ部１３０が本開示の「第２センサ部」「デプスセンサ」の一具体例に相当する。データ処理部１４０が本開示の「第２処理部」の一具体例に相当する。

熱画像センサ部２１０は、例えば、サーモアレイセンサ（サーモグラフィ）である。熱画像センサ部２１０は、外部の所定の領域を撮像対象領域（センシング領域）として撮像し、それにより熱画像センサデータ２１０Ａを画素ごとに取得する。熱画像センサ部２１０は、取得したｎ画素分の熱画像センサデータ２１０Ａをデータ処理部２２０に出力する。

データ処理部２２０は、熱画像センサ部２１０から入力されたｎ画素分の熱画像センサデータ２１０Ａを処理する。データ処理部２２０は、例えば、ｎ画素分の熱画像センサデータ２１０Ａを処理し、それにより、熱画像データ２２０Ａを生成する。データ処理部２２０は、例えば、必要に応じて、熱画像データ２２０Ａに対して所定の画像処理（例えば、ガンマ補正やホワイトバランス補正など）を行ってもよい。データ処理部２２０は、生成した熱画像データ２２０Ａを外部に出力する。

データ処理部２２０は、さらに、熱画像データ２２０Ａに対して１または複数の領域を設定する。この場合、熱画像データ２２０Ａに対して設定される領域は、ＲＯＩと呼ばれる。以下では、熱画像データ２２０Ａに対して設定される領域を「ＲＯＩ」と称する。また、ＲＯＩについての情報を「ＲＯＩ情報２２０Ｂ」と称する。ＲＯＩ情報２２０Ｂは、例えば、熱画像データ２２０Ａに対して設定される１または複数のＲＯＩの、熱画像データ２２０Ａ内での位置についての情報を含む。そのような情報には、例えば、ＲＯＩの左上隅のＸＹ座標、ＲＯＩのＸ方向の幅、ＲＯＩのＹ方向の幅などが含まれる。

ＲＯＩの設定には、例えば、パターンマッチングや、ニューラルネットワークなどの機械学習モデルが用いられ得る。データ処理部２２０は、例えば、所定の対象物についての画像データ（以下、「比較対象画像データ」と称する。）と、パターンマッチングを行うプログラムと、このプログラムを実行する実行部とを有している。このプログラムには、例えば、熱画像データ２２０Ａに、比較対象画像データに対応する特定のパターンが出現するか否か、さらに、どこに出現するかを特定し、特定した位置についての情報を出力するための一連の手順が含まれる。データ処理部２２０は、例えば、ニューラルネットワークを有している。このニューラルネットワークは、例えば、学習用の熱画像データと、学習用の熱画像データに含まれる所定の対象物の位置についての情報とを教示データとして学習した学習モデルである。このニューラルネットワークは、熱画像データ２２０Ａが入力されると、入力された熱画像データ２２０Ａに含まれる所定の対象物の位置についての情報を出力する。

データ処理部２２０は、熱画像データ２２０Ａに対して１または複数のＲＯＩを設定し、設定した１または複数のＲＯＩについてのＲＯＩ情報２２０Ｂを生成する。データ処理部２２０は、生成したＲＯＩ情報２２０Ｂをデータ処理部２４０に出力する。

データ処理部１４０は、ＲＯＩ情報２２０Ｂがデータ処理部２２０から入力された場合には、入力されたＲＯＩ情報２２０Ｂに基づいて、ｍ画素分のデプスセンサデータ１３０Ａを処理し、それにより、デプスデータ１４０Ａを生成する。データ処理部１４０は、例えば、ｍ画素分のデプスセンサデータ１３０Ａの中から、ＲＯＩ情報２２０Ｂに対応する画素のデータだけを選択的に抽出する。データ処理部１４０は、例えば、抽出したデータを用いて、照射領域までの距離に対応するデプス値を算出し、算出したデプス値を画素値として格納したデプスデータ１４０Ａを生成する。このとき、デプスデータ１４０Ａにおいて、ＲＯＩ情報２２０Ｂに対応する画素以外の画素（つまり、ＲＯＩ情報２２０Ｂに非対応の画素）に対応するデプス値は規定の値（例えば、データ無しを意味する数値）となっている。データ処理部１４０は、生成したデプスデータ１４０Ａを外部に出力する。

[データ処理手順]
次に、情報処理システム２００におけるデータ処理手順について説明する。図７は、情報処理システム２００におけるデータ処理手順の一例を表したものである。

まず、熱画像センサ部２１０が、撮像対象領域を撮像し、それによりｎ画素分の熱画像センサデータ２１０Ａを取得する（ステップＳ２０１）。熱画像センサ部２１０は、取得したｎ画素分の熱画像センサデータ２１０Ａをデータ処理部２２０に出力する。デプスセンサ部１３０は、熱画像センサ部２１０における撮像と同期して、照射領域に対して光を照射し、それにより、ｍ画素分のデプスセンサデータ１３０Ａを取得する（ステップＳ２０５）。

データ処理部２２０は、ｎ画素分の熱画像センサデータ２１０Ａを処理する（ステップＳ２０２）。具体的には、データ処理部２２０は、ｎ画素分の熱画像センサデータ２１０Ａを処理し、それにより、熱画像データ２２０Ａを生成する。データ処理部２２０は、生成した熱画像データ２２０Ａに対して１または複数のＲＯＩを設定し、設定した１または複数のＲＯＩについてのＲＯＩ情報２２０Ｂを生成する（ステップＳ２０４、図８（Ａ））。なお、図８（Ａ）には、熱画像データ２２０Ａに２つのＲＯＩ（ＲＯＩ（ａ），ＲＯＩ（ｂ））が含まれている場合が例示されている。データ処理部２２０は、生成したＲＯＩ情報２２０Ｂをデータ処理部１４０に出力する。データ処理部２２０は、さらに、熱画像データ２２０Ａを外部に出力する（ステップＳ２０３）。

データ処理部１４０は、データ処理部２２０から入力されたＲＯＩ情報２２０Ｂに基づいて、ｍ画素分のデプスセンサデータ１３０Ａを処理する（ステップＳ２０６）。データ処理部２４０は、ｍ画素分のデプスセンサデータ１３０Ａに対して、ＲＯＩ情報２２０Ｂに含まれる全てのＲＯＩについての情報に基づく処理を行うことで、デプスデータ１４０Ａを生成し、外部に出力する（ステップＳ２０７；Ｙ、ステップＳ２０８、図８（Ｂ））。データ処理部１４０は、例えば、ｍ画素分のデプスセンサデータ１３０Ａのうち、ＲＯＩ情報２２０Ｂに対応する画素のデータだけを選択的に抽出する。データ処理部１４０は、さらに、例えば、抽出したデータを用いて、照射領域までの距離に対応するデプス値を算出し、算出したデプス値を画素値として格納したデプスデータ１４０Ａを生成する。このとき、データ処理部１４０は、例えば、デプスデータ１４０Ａにおいて、ＲＯＩ情報２２０Ｂに対応する画素以外の画素（つまり、ＲＯＩ情報２２０Ｂに非対応の画素）に対応するデプス値として、規定の値（例えば、データ無しを意味する数値）を設定する。なお、図８（Ｂ）では、ｍ画素分のデプスセンサデータ１３０Ａから抽出されたデータに基づいてデプス値が生成された箇所が白抜きで表現されており、デプス値が規定の値となっている箇所がグレーの色で表現されている。このようにして、情報処理システム２００におけるデータ処理が行われる。

[効果]
本実施の形態では、熱画像センサ部２１０の出力データに基づいてＲＯＩ情報２２０Ｂが生成され、生成されたＲＯＩ情報２２０Ｂに基づいてデプスセンサ部１３０の出力の処理領域が設定される。これにより、ＲＯＩ情報２２０Ｂを用いずにデプスセンサ部１３０の出力を処理する場合と比べて、少ない演算量でデプスセンサ部１３０の出力の処理領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜４．第３の実施の形態＞
[構成]
図９は、本開示の第３の実施の形態に係る情報処理システム３００の概略構成例を表したものである。情報処理システム３００は、２つのセンサを備えており、具体的には、ＲＧＢセンサ部１１０および超音波センサ部１７０を備えている。情報処理システム３００は、さらに、ＲＧＢセンサ部１１０で得られた画像センサデータ１１０Ａを処理するデータ処理部１２０と、超音波センサ部１７０を制御する制御部１６０と、超音波センサ部１７０で得られた超音波センサデータ１７０Ａを処理するデータ処理部１８０とを備えている。

ＲＧＢセンサ部１１０が本開示の「第１センサ部」「画像センサ」の一具体例に相当する。データ処理部１２０が本開示の「第１処理部」の一具体例に相当する。制御部１６０が本開示の「制御部」の一具体例に相当する。超音波センサ部１７０が本開示の「第２センサ部」「超音波センサ」の一具体例に相当する。

データ処理部１２０は、画像データ１２０Ａに含まれるターゲットＴＧを検出し、それにより、ターゲットＴＧの位置についての情報（ターゲット情報１２０Ｃ）を生成する。ターゲットＴＧは、超音波センサ部１７０による超音波照射対象である。ターゲット情報１２０Ｃは、例えば、ターゲットＴＧの、画像データ１２０Ａ内での位置についての情報を含む。ターゲット情報１２０Ｃは、例えば、ターゲットＴＧの左上隅のＸＹ座標、Ｘ方向の幅およびＹ方向の幅を含む。

ターゲットＴＧの検出には、例えば、パターンマッチングや、ニューラルネットワークなどの機械学習モデルが用いられ得る。データ処理部１２０は、例えば、ターゲットＴＧについての画像データ（以下、「ターゲット画像データ」と称する。）と、パターンマッチングを行うプログラムと、このプログラムを実行する実行部とを有している。このプログラムには、例えば、画像データ１２０Ａに、ターゲット画像データに対応する特定のパターンが出現するか否か、さらに、どこに出現するかを特定し、特定した位置についての情報を出力するための一連の手順が含まれる。データ処理部１２０は、例えば、ニューラルネットワークを有している。このニューラルネットワークは、例えば、学習用の画像データと、学習用の画像データに含まれるターゲットＴＧの位置についての情報とを教示データとして学習した学習モデルである。このニューラルネットワークは、画像データ１２０Ａが入力されると、入力された画像データ１２０Ａに含まれるターゲットＴＧの位置についての情報を出力する。

データ処理部１２０は、生成したターゲット情報１２０Ｃと、照射基準位置ＩＰの、画像データ１２０Ａ内の位置についての情報（以下、「照射基準位置情報１２０Ｄ）とに基づいて、補正量Ｃを生成する。補正量Ｃが、本開示の「設定情報」の一具体例に相当する。照射基準位置ＩＰは、超音波センサ部１７０の照射位置を初期設定値に設定したときに超音波が照射される領域の中心位置であり、例えば、ＲＧＢセンサ部１１０の撮像対象領域内に設定されている（図１０参照）。照射基準位置ＩＰの、画像データ１２０Ａ内の位置は、例えば、照射基準位置ＩＰに所定のマーカを設置した状態でＲＧＢセンサ部１１０による撮像を行うことにより得られた画像データ１２０Ａ内のマーカの座標を導出することにより得られる。図１０には、照射基準位置ＩＰの位置座標がＸ２，Ｙ２となっており、ターゲットＴＧの左上隅のＸＹ座標がＸ１，Ｙ１となっている場合が例示されている。

データ処理部１２０は、画像データ１２０Ａにおける、ターゲットＴＧの位置座標と、照射基準位置ＩＰの座標との差分を取ることにより、補正量Ｃを生成する。データ処理部１２０は、例えば、ターゲットＴＧの左上隅のＸＹ座標（Ｘ１，Ｙ１）と、照射基準位置ＩＰの座標（Ｘ２，Ｙ２）との差分（Ｘ１－Ｘ２，Ｙ１－Ｙ２）を補正量Ｃとする。データ処理部１２０は、生成した補正量Ｃを制御部１６０に出力する。

制御部１６０は、例えば、超音波センサ部１７０を駆動するドライバと、超音波センサ部１７０から出射される超音波の出射方向を調整するマシンアクチュエータとを有している。制御部１６０は、補正量Ｃがデータ処理部１２０から入力された場合には、入力された補正量Ｃに基づいて、超音波センサ部１７０の超音波照射方向（センシング領域）を設定する。制御部１６０は、例えば、超音波センサ部１７０の照射位置の初期設定値（Ｘ０，Ｙ０）に、補正量Ｃ（Ｘ１－Ｘ２，Ｙ１－Ｙ２）を加えることにより得られた設定値に基づいて、超音波センサ部１７０の超音波照射方向を設定する。制御部１６０は、向きが調整された超音波センサ部１７０に対して、超音波センサ部１７０を駆動する制御情報１６０Ａを出力する。

超音波センサ部１７０は、制御部１６０から入力された制御情報１６０Ａに基づいて、外部の所定の照射領域（センシング領域）に対して超音波を照射し、それにより照射領域から反射した反射波を受信する。超音波センサ部１７０の照射領域（センシング領域）は、ＲＧＢセンサ部１１０の撮像対象領域（センシング領域）内の一部分の領域に相当する。つまり、超音波センサ部１７０の照射領域（センシング領域）は、ＲＧＢセンサ部１１０の撮像対象領域（センシング領域）の一部だけと重なっている。超音波センサ部１７０は、受信により超音波センサデータ１７０Ａを画素ごとに取得する。超音波センサ部１７０がｍ画素の受信素子を含んで構成されている場合、超音波センサ部１７０は、ｍ画素分の超音波センサデータ１７０Ａを取得する。超音波センサ部１７０は、取得したｍ画素分の超音波センサデータ１７０Ａをデータ処理部１８０に出力する。

データ処理部１８０は、ｍ画素分の超音波センサデータ１７０Ａを処理し、それにより、距離データ１８０Ａを生成する。データ処理部１８０は、例えば、ｍ画素分の超音波センサデータ１７０Ａを用いて、照射領域までの距離に対応する距離値を算出し、算出した距離値を画素値として格納した距離データ１８０Ａを生成する。データ処理部１８０は、生成した距離データ１８０Ａを外部に出力する。

[データ処理手順]
次に、情報処理システム３００におけるデータ処理手順について説明する。図１１は、情報処理システム３００におけるデータ処理手順の一例を表したものである。

まず、ＲＧＢセンサ部１１０が、撮像対象領域を撮像し、それによりｎ画素分の画像センサデータ１１０Ａを取得する（ステップＳ３０１）。ＲＧＢセンサ部１１０は、取得したｎ画素分の画像センサデータ１１０Ａをデータ処理部１２０に出力する。

データ処理部１２０は、ｎ画素分の画像センサデータ１１０Ａを処理する（ステップＳ３０２）。具体的には、データ処理部１２０は、ｎ画素分の画像センサデータ１１０Ａを処理し、それにより、画像データ１２０Ａを生成する。データ処理部１２０は、生成した画像データ１２０Ａを外部に出力する（ステップＳ３０３）。データ処理部１２０は、生成した画像データ１２０Ａに含まれるターゲットＴＧについての情報（ターゲット情報１２０Ｃ）を生成する。データ処理部１２０は、生成したターゲット情報１２０Ｃと、照射基準位置ＩＰの、画像データ１２０Ａ内の位置についての情報（以下、「照射基準位置情報１２０Ｄ）とに基づいて、補正量Ｃを生成する（ステップＳ３０４）。データ処理部１２０は、生成した補正量Ｃを制御部１６０に出力する。

制御部１６０は、入力された補正量Ｃに基づいて、超音波センサ部１７０の超音波照射方向を設定する（ステップＳ３０５）。制御部１６０は、向きが調整された超音波センサ部１７０に対して、超音波センサ部１７０を駆動する制御情報１６０Ａを出力する。超音波センサ部１７０は、制御部１６０から入力された制御情報１６０Ａに基づいて、外部の所定の領域（照射領域）に対して超音波を照射し、それによりｍ画素分の超音波センサデータ１７０Ａを取得する（ステップＳ３０６）。超音波センサ部１７０は、取得したｍ画素分の超音波センサデータ１７０Ａをデータ処理部１８０に出力する。

データ処理部１８０は、ｍ画素分の超音波センサデータ１７０Ａを処理する（ステップＳ３０７）。それにより、データ処理部１８０は、距離データ１８０Ａを生成する。データ処理部１８０は、生成した距離データ１８０Ａを外部に出力する（ステップＳ３０８）。このようにして、情報処理システム３００におけるデータ処理が行われる。

[効果]
本実施の形態では、ＲＧＢセンサ部１１０の出力データに基づいて補正量Ｃが生成され、生成された補正量Ｃに基づいて超音波センサ部１７０の超音波照射方向が設定される。これにより、補正量Ｃを用いずに広範囲に超音波をスキャン走査する場合と比べて、少ない演算量で超音波センサ部１７０の超音波照射領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜５．第４の実施の形態＞
[構成]
図１２は、本開示の第４の実施の形態に係る情報処理システム４００の概略構成例を表したものである。情報処理システム３００は、２つのセンサを備えており、具体的には、偏光センサ部４１０および超音波センサ部１７０を備えている。情報処理システム４００は、さらに、２つのデータ処理部を備えており、具体的には、データ処理部４２０，１８０を備えている。データ処理部４２０は、偏光センサ部４１０で得られた偏光センサデータ４１０Ａを処理する。データ処理部１８０は、超音波センサ部１７０で得られた超音波センサデータ１７０Ａを処理する。情報処理システム４００は、さらに、超音波センサ部１７０を制御する制御部１６０を備えている。

偏光センサ部４１０が本開示の「第１センサ部」「画像センサ」の一具体例に相当する。データ処理部４２０が本開示の「第１処理部」の一具体例に相当する。制御部１６０が本開示の「制御部」の一具体例に相当する。超音波センサ部１７０が本開示の「第２センサ部」「超音波センサ」の一具体例に相当する。

偏光センサ部４１０は、偏光センサ（カメラ）である。偏光センサ部４１０は、外部の所定の領域を撮像対象領域（センシング領域）として撮像し、それにより偏光センサデータ４１０Ａを画素ごとに取得する。偏光センサ部４１０は、取得したｎ画素分の偏光センサデータ４１０Ａをデータ処理部４２０に出力する。

データ処理部４２０は、偏光センサ部４１０から入力されたｎ画素分の偏光センサデータ４１０Ａを処理する。データ処理部４２０は、例えば、ｎ画素分の偏光センサデータ４１０Ａを処理し、それにより、偏光画像データ４２０Ａを生成する。データ処理部４２０は、例えば、必要に応じて、画像データ４２０Ａに対して所定の画像処理（例えば、ガンマ補正やホワイトバランス補正など）を行ってもよい。データ処理部４２０は、生成した偏光画像データ４２０Ａを外部に出力する。

データ処理部４２０は、偏光画像データ４２０Ａに対して１または複数の領域を設定する。この場合、偏光画像データ４２０Ａに対して設定される領域は、ＲＯＩと呼ばれる。以下では、偏光画像データ４２０Ａに対して設定される領域を「ＲＯＩ」と称する。また、ＲＯＩについての情報を「ＲＯＩ情報４２０Ｂ」と称する。ＲＯＩ情報４２０Ｂは、例えば、偏光画像データ４２０Ａに対して設定される１または複数のＲＯＩの、偏光画像データ４２０Ａ内での位置についての情報を含む。そのような情報には、例えば、ＲＯＩの左上隅のＸＹ座標、ＲＯＩのＸ方向の幅、ＲＯＩのＹ方向の幅などが含まれる。ＲＯＩの設定には、例えば、パターンマッチングや、ニューラルネットワークなどの機械学習モデルが用いられ得る。偏光画像データ４２０Ａに対して設定されるＲＯＩの対象としては、例えば、ガラスや鏡上の傷や、指紋などの汚れなどが挙げられる。

データ処理部４２０は、偏光画像データ４２０Ａに対して１または複数のＲＯＩを設定し、設定した１または複数のＲＯＩについてのＲＯＩ情報４２０Ｂを生成する。データ処理部４２０は、生成したＲＯＩ情報４２０Ｂと、照射基準位置ＩＰの、偏光画像データ４２０Ａ内の位置についての情報（以下、「照射基準位置情報４２０Ｄ）とに基づいて、補正量Ｃを生成する。補正量Ｃが、本開示の「設定情報」の一具体例に相当する。照射基準位置ＩＰは、超音波センサ部１７０の照射位置を初期設定値に設定したときに超音波が照射される領域の中心位置であり、例えば、偏光センサ部４１０の撮像対象領域内に設定されている。照射基準位置ＩＰの、偏光画像データ４２０Ａ内の位置は、例えば、照射基準位置ＩＰに所定のマーカを設置した状態で偏光センサ部４１０による撮像を行うことにより得られた偏光画像データ４２０Ａ内のマーカの座標を導出することにより得られる。

データ処理部４２０は、ＲＯＩ情報４２０Ｂと、照射基準位置ＩＰの座標とに基づいて補正量Ｃを生成する。データ処理部４２０は、例えば、偏光画像データ４２０Ａにおける、所定のＲＯＩの位置座標と、照射基準位置ＩＰの座標との差分を取ることにより、補正量Ｃを生成する。データ処理部１２０は、例えば、所定のＲＯＩの左上隅のＸＹ座標（Ｘ１，Ｙ１）と、照射基準位置ＩＰの座標（Ｘ２，Ｙ２）との差分（Ｘ１－Ｘ２，Ｙ１－Ｙ２）を補正量Ｃとする。データ処理部４２０は、生成した補正量Ｃを制御部１６０に出力する。

制御部１６０は、例えば、超音波センサ部１７０を駆動するドライバと、超音波センサ部１７０から出射される超音波の出射方向を調整するマシンアクチュエータとを有している。制御部１６０は、補正量Ｃがデータ処理部１２０から入力された場合には、入力された補正量Ｃに基づいて、超音波センサ部１７０の超音波照射方向（センシング領域）を設定する。制御部１６０は、例えば、超音波センサ部１７０の照射位置の初期設定値（Ｘ０，Ｙ０）に、補正量Ｃ（Ｘ１－Ｘ２，Ｙ１－Ｙ２）を加えることにより得られた設定値に基づいて、超音波センサ部１７０の超音波照射方向を設定する。制御部１６０は、向きが調整された超音波センサ部１７０に対して、超音波センサ部１７０を駆動する制御情報１６０Ａを出力する。

超音波センサ部１７０は、制御部１６０から入力された制御情報１６０Ａに基づいて、外部の所定の照射領域（センシング領域）に対して超音波を照射し、それにより照射領域から反射した反射波を受信する。超音波センサ部１７０の照射領域（センシング領域）は、偏光センサ部４１０の撮像対象領域内の一部分の領域に相当する。つまり、超音波センサ部１７０の照射領域（センシング領域）は、偏光センサ部４１０の撮像対象領域（センシング領域）の一部だけと重なっている。超音波センサ部１７０は、受信により超音波センサデータ１７０Ａを画素ごとに取得する。超音波センサ部１７０がｍ画素の受信素子を含んで構成されている場合、超音波センサ部１７０は、ｍ画素分の超音波センサデータ１７０Ａを取得する。超音波センサ部１７０は、取得したｍ画素分の超音波センサデータ１７０Ａをデータ処理部１８０に出力する。

データ処理部１８０は、ｍ画素分の超音波センサデータ１７０Ａを処理し、それにより、距離データ１８０Ａを生成する。データ処理部１８０は、例えば、ｍ画素分の超音波センサデータ１７０Ａを用いて、照射領域までの距離に対応する距離値を算出し、算出した距離値を画素値として格納した距離データ１８０Ａを生成する。データ処理部１８０は、生成した距離データ１８０Ａを外部に出力する。なお、偏光画像データ４２０Ａに対して設定されるＲＯＩの対象がガラスや鏡上の傷や、指紋などの汚れである場合には、距離データ１８０Ａに含まれる距離値は、超音波センサ部１７０からガラスや鏡までの距離に相当する。

[データ処理手順]
次に、情報処理システム４００におけるデータ処理手順について説明する。図１３は、情報処理システム４００におけるデータ処理手順の一例を表したものである。

まず、偏光センサ部４１０が、撮像対象領域を撮像し、それによりｎ画素分の偏光センサデータ４１０Ａを取得する（ステップＳ４０１）。偏光センサ部４１０は、取得したｎ画素分の偏光センサデータ４１０Ａをデータ処理部４２０に出力する。

データ処理部４２０は、ｎ画素分の偏光センサデータ４１０Ａを処理する（ステップＳ４０２）。具体的には、データ処理部４２０は、ｎ画素分の偏光センサデータ４１０Ａを処理し、それにより、偏光画像データ４２０Ａを生成する。データ処理部４２０は、生成した偏光画像データ４２０Ａを外部に出力する（ステップＳ４０３）。データ処理部４２０は、生成した偏光画像データ４２０Ａに含まれる１または複数のＲＯＩについてのＲＯＩ情報４２０Ｂを生成する。データ処理部４２０は、ＲＯＩ情報４２０Ｂと、照射基準位置ＩＰの座標とに基づいて補正量Ｃを生成する（ステップＳ４０４）。データ処理部４２０は、生成した補正量Ｃを制御部１６０に出力する。

制御部１６０は、入力された補正量Ｃに基づいて、超音波センサ部１７０の超音波照射方向を設定する（ステップＳ４０５）。制御部１６０は、向きが調整された超音波センサ部１７０に対して、超音波センサ部１７０を駆動する制御情報１６０Ａを出力する。超音波センサ部１７０は、制御部１６０から入力された制御情報１６０Ａに基づいて、外部の所定の照射領域（センシング領域）に対して超音波を照射し、それによりｍ画素分の超音波センサデータ１７０Ａを取得する（ステップＳ４０６）。超音波センサ部１７０は、取得したｍ画素分の超音波センサデータ１７０Ａをデータ処理部１８０に出力する。

データ処理部１８０は、ｍ画素分の超音波センサデータ１７０Ａを処理する（ステップＳ４０７）。それにより、データ処理部１８０は、距離データ１８０Ａを生成する。データ処理部１８０は、生成した距離データ１８０Ａを外部に出力する（ステップＳ４０８）。このようにして、情報処理システム４００におけるデータ処理が行われる。

[効果]
本実施の形態では、偏光センサ部４１０の出力データに基づいて補正量Ｃが生成され、生成された補正量Ｃに基づいて超音波センサ部１７０の超音波照射方向が設定される。これにより、補正量Ｃを用いずに広範囲に超音波をスキャン走査する場合と比べて、少ない演算量で超音波センサ部１７０の超音波照射領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

ところで、ＲＧＢセンサなどでは、例えば、図１４（Ａ）に示したように、ガラスや鏡を検出することが難しい。しかし、本実施の形態では、偏光センサ部４１０が用いられるので、偏光画像データ４２０Ａに対して設定されるＲＯＩの対象を、例えば、図１４（Ｂ）に示したように、ガラスや鏡上の傷や、指紋などの汚れに対するものとすることにより、ＲＧＢセンサなどでは識別が難しいガラスまでの距離を精度良く計測することができる。

＜６．第５の実施の形態＞
[構成]
図１５は、本開示の第５の実施の形態に係る情報処理システム５００の概略構成例を表したものである。情報処理システム５００は、２つのセンサを備えており、具体的には、デプスセンサ部５１０およびドップラーセンサ部５４０を備えている。情報処理システム５００は、さらに、デプスセンサ部５１０で得られたデプスセンサデータ１３０Ａを処理するデータ処理部５２０と、ドップラーセンサ部５４０を制御する制御部５３０と、ドップラーセンサ部５４０で得られたドップラーセンサデータ５４０Ａを処理するデータ処理部５５０とを備えている。

デプスセンサ部５１０が本開示の「第１センサ部」「画像センサ」の一具体例に相当する。データ処理部５２０が本開示の「第１処理部」の一具体例に相当する。制御部５３０が本開示の「制御部」の一具体例に相当する。ドップラーセンサ部５４０が本開示の「第２センサ部」の一具体例に相当する。

デプスセンサ部５１０は、外部の所定の照射領域（センシング領域）に対して光を照射し、それにより照射領域から反射した反射光を受光する。デプスセンサ部５１０は、受光によりデプスセンサデータ５１０Ａを画素ごとに取得する。デプスセンサ部５１０がｍ画素の受光素子を含んで構成されている場合、デプスセンサ部５１０は、ｍ画素分のデプスセンサデータ５１０Ａを取得する。デプスセンサ部５１０は、取得したｍ画素分のデプスセンサデータ５１０Ａをデータ処理部５２０に出力する。

データ処理部５２０は、ｎ画素分のデプスセンサデータ５１０Ａを処理し、それにより、デプスデータ５２０Ａを生成する。データ処理部５２０は、例えば、ｎ画素分のデプスセンサデータ５１０Ａを用いて、照射領域までの距離に対応するデプス値を算出し、算出したデプス値を画素値として格納したデプスデータ５２０Ａを生成する。データ処理部５２０は、生成したデプスデータ５２０Ａを外部に出力する。

データ処理部５２０は、デプスデータ５２０Ａに含まれるターゲットＴＧを検出し、それにより、ターゲットＴＧの位置についての情報（ターゲット情報５２０Ｃ）を生成する。ターゲットＴＧは、ドップラーセンサ部５４０によるマイクロ波照射対象である。ターゲット情報５２０Ｃは、例えば、ターゲットＴＧの、デプスデータ５２０Ａ内での位置についての情報を含む。ターゲット情報５２０Ｃは、例えば、ターゲットＴＧの左上隅のＸＹ座標、Ｘ方向の幅およびＹ方向の幅を含む。データ処理部５２０は、例えば、デプスデータ５２０Ａに含まれる、デプスセンサ部５１０の視点に対する法線面を検出し、それにより検出された法線面をターゲットＴＧとする。

データ処理部５２０は、生成したターゲット情報５２０Ｃと、照射基準位置ＩＰの、デプスデータ５２０Ａ内の位置についての情報（以下、「照射基準位置情報５２０Ｄ）とに基づいて、補正量Ｃを生成する。補正量Ｃが、本開示の「設定情報」の一具体例に相当する。照射基準位置ＩＰは、ドップラーセンサ部５４０のマイクロ波照射位置を初期設定値に設定したときにマイクロ波が照射される領域の中心位置であり、例えば、デプスセンサ部５１０の撮像対象領域内に設定されている（図１６参照）。照射基準位置ＩＰの、デプスデータ５２０Ａ内の位置は、例えば、照射基準位置ＩＰに所定のマーカを設置した状態でデプスセンサ部５１０による撮像を行うことにより得られたデプスデータ５２０Ａ内のマーカの座標を導出することにより得られる。図１６には、照射基準位置ＩＰの位置座標がＸ２，Ｙ２となっており、ターゲットＴＧの左上隅のＸＹ座標がＸ１，Ｙ１となっている場合が例示されている。

データ処理部５２０は、デプスデータ５２０Ａにおける、ターゲットＴＧの位置座標と、照射基準位置ＩＰの座標との差分を取ることにより、補正量Ｃを生成する。データ処理部５２０は、例えば、ターゲットＴＧの左上隅のＸＹ座標（Ｘ１，Ｙ１）と、照射基準位置ＩＰの座標（Ｘ２，Ｙ２）との差分（Ｘ１－Ｘ２，Ｙ１－Ｙ２）を補正量Ｃとする。データ処理部５２０は、生成した補正量Ｃを制御部５３０に出力する。

制御部５３０は、例えば、ドップラーセンサ部５４０を駆動するドライバと、ドップラーセンサ部５４０から出射されるマイクロ波の出射方向を調整するマシンアクチュエータとを有している。制御部５３０は、補正量Ｃがデータ処理部５２０から入力された場合には、入力された補正量Ｃに基づいて、ドップラーセンサ部５４０のマイクロ波照射方向（センシング領域）を設定する。制御部５３０は、例えば、ドップラーセンサ部５４０の照射位置の初期設定値（Ｘ０，Ｙ０）に、補正量Ｃ（Ｘ１－Ｘ２，Ｙ１－Ｙ２）を加えることにより得られた設定値に基づいて、ドップラーセンサ部５４０のマイクロ波照射方向を設定する。制御部５３０は、向きが調整されたドップラーセンサ部５４０に対して、ドップラーセンサ部５４０を駆動する制御情報５３０Ａを出力する。

ドップラーセンサ部５４０は、制御部５３０から入力された制御情報５３０Ａに基づいて、外部の所定の照射領域（センシング領域）に対してマイクロ波を照射し、それにより照射領域から反射した反射波を受信する。ドップラーセンサ部５４０の照射領域（センシング領域）は、デプスセンサ部５１０の撮像対象領域内の一部分の領域に相当する。つまり、ドップラーセンサ部５４０の照射領域（センシング領域）は、デプスセンサ部５１０の撮像対象領域（センシング領域）の一部だけと重なっている。ドップラーセンサ部５４０は、発射した周波数と受信した周波数の差についてのドップラーセンサデータ５４０Ａを画素ごとに取得する。ドップラーセンサ部５４０がｍ画素の受信素子を含んで構成されている場合、ドップラーセンサ部５４０は、ｍ画素分のドップラーセンサデータ５４０Ａを取得する。ドップラーセンサ部５４０は、取得したｍ画素分のドップラーセンサデータ５４０Ａをデータ処理部５５０に出力する。

データ処理部５５０は、ｍ画素分のドップラーセンサデータ５４０Ａを処理し、それにより、速度データ５５０Ａを生成する。データ処理部５５０は、例えば、ｍ画素分のドップラーセンサデータ５４０Ａを用いて、ターゲットＴＧの速度値を算出し、算出した速度値を画素値として格納した速度データ５５０Ａを生成する。データ処理部５５０は、生成した速度データ５５０Ａを外部に出力する。

[データ処理手順]
次に、情報処理システム５００におけるデータ処理手順について説明する。図１７は、情報処理システム５００におけるデータ処理手順の一例を表したものである。

まず、デプスセンサ部５１０が、撮像対象領域を撮像し、それによりｎ画素分のデプスセンサデータ５１０Ａを取得する（ステップＳ５０１）。デプスセンサ部５１０は、取得したｎ画素分のデプスセンサデータ５１０Ａをデータ処理部５２０に出力する。

データ処理部５２０は、ｎ画素分のデプスセンサデータ５１０Ａを処理する（ステップＳ５０２）。具体的には、データ処理部５２０は、ｎ画素分のデプスセンサデータ５１０Ａを処理し、それにより、デプスデータ５２０Ａを生成する。データ処理部５２０は、生成した画像データ１２０Ａを外部に出力する（ステップＳ３０３）。データ処理部１２０は、生成したデプスデータ５２０Ａに含まれるターゲットＴＧについての情報（ターゲット情報５２０Ｃ）を生成する。データ処理部５２０は、生成したターゲット情報５２０Ｃと、照射基準位置ＩＰの、デプスデータ５２０Ａ内の位置についての情報（以下、「照射基準位置情報５２０Ｄ）とに基づいて、補正量Ｃを生成する（ステップＳ５０４）。データ処理部５２０は、生成した補正量Ｃを制御部５３０に出力する。

制御部５３０は、入力された補正量Ｃに基づいて、ドップラーセンサ部５４０のマイクロ波照射方向を設定する（ステップＳ５０５）。制御部５３０は、向きが調整されたドップラーセンサ部５４０に対して、ドップラーセンサ部５４０を駆動する制御情報５３０Ａを出力する。ドップラーセンサ部５４０は、制御部５３０から入力された制御情報５３０Ａに基づいて、外部の所定の照射領域（センシング領域）に対してマイクロ波を照射し、それによりｍ画素分のドップラーセンサデータ５４０Ａを取得する（ステップＳ５０６）。ドップラーセンサ部５４０、取得したｍ画素分のドップラーセンサデータ５４０Ａをデータ処理部５５０に出力する。

データ処理部５５０は、ｍ画素分のドップラーセンサデータ５４０Ａを処理する（ステップＳ５０７）。それにより、データ処理部５５０は、速度データ５５０Ａを生成する。データ処理部５５０は、生成した速度データ５５０Ａを外部に出力する（ステップＳ５０８）。このようにして、情報処理システム５００におけるデータ処理が行われる。

[効果]
本実施の形態では、デプスセンサ部５１０の出力データに基づいて補正量Ｃが生成され、生成された補正量Ｃに基づいてドップラーセンサ部５４０のマイクロ波照射方向が設定される。これにより、補正量Ｃを用いずに広範囲にマイクロ波を照射する場合と比べて、少ない演算量でドップラーセンサ部５４０のマイクロ波照射領域を設定することができる。また、ドップラーセンサ部５４０の照射領域を狭くすることで、ドップラ波密度が高くなり、センシング精度が向上する。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜７．第６の実施の形態＞
図１８は、本開示の第６の実施の形態に係る情報処理システム６００の概略構成例を表したものである。情報処理システム６００は、３つのセンサを備えており、具体的には、ＲＧＢセンサ部１１０、デプスセンサ部１３０および熱画像センサ部６１０を備えている。情報処理システム６００は、さらに、３つのデータ処理部を備えており、具体的には、データ処理部１２０，１４０，６２０を備えている。データ処理部６２０は、熱画像センサ部６１０で得られた熱画像センサデータ６１０Ａを処理する。

熱画像センサ部６１０は、例えば、サーモアレイセンサ（サーモグラフィ）である。熱画像センサ部６１０は、外部の所定の領域を撮像対象領域（センシング領域）として撮像し、それにより熱画像センサデータ６１０Ａを画素ごとに取得する。熱画像センサ部６１０は、取得したｎ画素分の熱画像センサデータ６１０Ａをデータ処理部６２０に出力する。データ処理部１２０は、生成したＲＯＩ情報１２０Ｂをデータ処理部１４０，６２０に出力する。

データ処理部６２０は、ＲＯＩ情報１２０Ｂがデータ処理部１２０から入力された場合には、入力されたＲＯＩ情報１２０Ｂに基づいて、ｎ画素分の熱画像センサデータ６１０Ａを処理し、それにより、熱画像データ６２０Ａを生成する。データ処理部６２０は、例えば、ｎ画素分の熱画像センサデータ６１０Ａの中から、ＲＯＩ情報１２０Ｂに対応する画素のデータだけを選択的に抽出する。データ処理部６２０は、例えば、抽出したデータを用いて、熱画像データ６２０Ａを生成する。このとき、熱画像データ６２０Ａにおいて、ＲＯＩ情報１２０Ｂに対応する画素以外の画素（つまり、ＲＯＩ情報１２０Ｂに非対応の画素）に対応する値は規定の値（例えば、データ無しを意味する数値）となっている。データ処理部６２０は、生成した熱画像データ６２０Ａを外部に出力する。

本実施の形態では、ＲＧＢセンサ部１１０の出力データに基づいてＲＯＩ情報１２０Ｂが生成され、生成されたＲＯＩ情報１２０Ｂに基づいてデプスセンサ部１３０および熱画像センサ部６１０の出力の処理領域が設定される。これにより、ＲＯＩ情報１２０Ｂを用いずにデプスセンサ部１３０および熱画像センサ部６１０の出力を処理する場合と比べて、少ない演算量でデプスセンサ部１３０および熱画像センサ部６１０の出力の処理領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜８．第７の実施の形態＞
図１９は、本開示の第７の実施の形態に係る情報処理システム７００の概略構成例を表したものである。情報処理システム７００は、３つのセンサを備えており、具体的には、ＲＧＢセンサ部１１０、デプスセンサ部１３０および超音波センサ部１７０を備えている。情報処理システム７００は、さらに、３つのデータ処理部を備えており、具体的には、データ処理部１２０，１４０，１８０を備えている。データ処理部１２０は、生成したＲＯＩ情報１２０Ｂをデータ処理部１４０に出力する。データ処理部１２０は、さらに、生成した補正量Ｃをデータ処理部１６０に出力する。

本実施の形態では、ＲＧＢセンサ部１１０の出力データに基づいてＲＯＩ情報１２０Ｂが生成され、生成されたＲＯＩ情報１２０Ｂに基づいてデプスセンサ部１３０の出力の処理領域が設定される。本実施の形態では、さらに、ＲＧＢセンサ部１１０の出力データに基づいて補正量Ｃが生成され、生成された補正量Ｃに基づいて超音波センサ部１７０の超音波照射方向が設定される。これにより、ＲＯＩ情報１２０Ｂを用いずにデプスセンサ部１３０の出力を処理する場合と比べて、少ない演算量でデプスセンサ部１３０の出力の処理領域を設定することができる。さらに、補正量Ｃを用いずに広範囲に超音波をスキャン走査する場合と比べて、少ない演算量で超音波センサ部１７０の超音波照射領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

＜９．第８の実施の形態＞
図２０は、本開示の第８の実施の形態に係る情報処理システム８００の概略構成例を表したものである。情報処理システム８００は、３つのセンサを備えており、具体的には、ＲＧＢセンサ部１１０、熱画像センサ部２１０および超音波センサ部１７０を備えている。情報処理システム８００は、さらに、３つのデータ処理部を備えており、具体的には、データ処理部１２０，２２０，１８０を備えている。データ処理部１２０は、生成したＲＯＩ情報１２０Ｂをデータ処理部２２０に出力する。データ処理部２２０は、さらに、生成した補正量Ｃを制御部１６０に出力する。

本実施の形態では、ＲＧＢセンサ部１１０の出力データに基づいてＲＯＩ情報１２０Ｂが生成され、生成されたＲＯＩ情報１２０Ｂに基づいて熱画像センサ部２１０の出力の処理領域が設定される。本実施の形態では、さらに、熱画像センサ部２１０の出力データに基づいて補正量Ｃが生成され、生成された補正量Ｃに基づいて超音波センサ部１７０の超音波照射方向が設定される。これにより、ＲＯＩ情報１２０Ｂを用いずに熱画像センサ部２１０の出力を処理する場合と比べて、少ない演算量で熱画像センサ部２１０の出力の処理領域を設定することができる。さらに、補正量Ｃを用いずに広範囲に超音波をスキャン走査する場合と比べて、少ない演算量で超音波センサ部１７０の超音波照射領域を設定することができる。また、データ処理時間や、電力消費量を低減することもでき、データ処理の間にデータを保持するために必要なメモリリソースを削減することもできる。

以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

また、例えば、本開示は以下のような構成を取ることができる。
（１）
第１センサ部と、
前記第１センサ部から得られた第１センサデータを処理する第１処理部と、
第２センサ部と、
前記第２センサ部から得られた第２センサデータを処理する第２処理部と
を備え、
前記第１処理部は、前記第１センサデータに基づいて、前記第２処理部によって処理する前記第２センサデータの処理領域を設定するための設定情報を生成し、
前記第２処理部は、前記設定情報に基づいて、当該第２処理部によって処理する前記第２センサデータの処理領域を設定する
情報処理システム。
（２）
前記第１処理部は、前記第１センサデータに含まれる１または複数のＲＯＩ（Region Of Interest）についての情報を前記設定情報とする
（１）に記載の情報処理システム。
（３）
前記第１センサ部のセンシング領域と、前記第２センサ部のセンシング領域との間にオフセットもしくは縮尺の相違が存在しており、
前記第１処理部は、前記第１センサデータに含まれる１または複数のＲＯＩ（Region Of Interest）に対して、前記オフセットもしくは前記縮尺の相違に対応する補正を行うことにより得られた情報を前記設定情報とする
（１）に記載の情報処理システム。
（４）
前記第１センサ部は、画像センサであり、
前記第２センサ部は、デプスセンサである
（１）ないし（３）のいずれか１つに記載の情報処理システム。
（５）
前記デプスセンサは、ステレオカメラ、レーダー、ＬｉＤＡＲ、超音波センサ、またはＴｏＦセンサである
（４）に記載の情報処理システム。
（６）
前記第１処理部は、パターンマッチングにより、前記第１センサデータに含まれる前記１または複数のＲＯＩを設定する
（２）に記載の情報処理システム。
（７）
前記第１処理部は、ニューラルネットワークを用いることにより、前記第１センサデータに含まれる前記１または複数のＲＯＩを設定する
（２）に記載の情報処理システム。
（８）
第３センサ部と、
前記第３センサ部から得られた第３センサデータを処理する第３処理部と
を更に備え、
前記第３処理部は、前記設定情報に基づいて、当該第３処理部によって処理する前記第３センサデータの処理領域を設定する
（１）ないし（７）のいずれか１つに記載の情報処理システム。
（９）
第１センサ部と、
前記第１センサ部から得られた第１センサデータを処理する第１処理部と、
第２センサ部と、
前記第２センサ部を制御する制御部と
を備え、
前記第１処理部は、前記第１センサデータに基づいて、前記第２センサ部のセンシング領域を設定するための設定情報を生成し、
前記制御部は、前記設定情報に基づいて、前記第２センサ部のセンシング領域を設定する
情報処理システム。
（１０）
前記第１処理部は、前記第１センサデータに含まれる、前記第２センサ部のターゲットについての情報と、前記第２センサ部の照射基準についての情報とに基づいて、前記設定情報を生成する
（９）に記載の情報処理システム。
（１１）
前記第２センサ部のセンシング領域は、前記第１センサ部のセンシング領域の一部だけと重なっている
（９）または（１０）に記載の情報処理システム。
（１２）
前記第１センサ部は、画像センサであり、
前記第２センサ部は、超音波センサまたはドップラーセンサである
（９）ないし（１１）のいずれか１つに記載の情報処理システム。
（１３）
第１センサ部から得られた第１センサデータに基づいて、第２センサ部から得られた第２センサデータの処理領域を設定するための設定情報を生成する生成部と、
前記設定情報に基づいて、前記第２センサデータの処理領域を設定する設定部と
を備えた
情報処理装置。
（１４）
第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成する生成部と、
前記設定情報に基づいて、前記第２センサ部のセンシング領域を設定する設定部と
を備えた
情報処理装置。
（１５）
第１センサ部から得られた第１センサデータに基づいて、第２センサ部から得られた第２センサデータの処理領域を設定するための設定情報を生成することと、
前記設定情報に基づいて、前記第２センサデータの処理領域を設定することと
を含む
情報処理方法。
（１６）
第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成することと、
前記設定情報に基づいて、前記第２センサ部のセンシング領域を設定することと
を含む
情報処理方法。

本開示の第１の側面に係る情報処理システムでは、第１センサ部から得られた第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域が設定される。これにより、第１センサデータを用いずに第２センサ部の出力を処理する場合と比べて、少ない演算量で第２センサ部の出力の処理領域を設定することができる。その結果、演算量を低減することが可能な情報処理システムを提供することができる。

本開示の第２の側面に係る情報処理システムでは、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域が設定される。これにより、第１センサデータを用いずに広範囲に第２センサ部をセンシングさせた場合と比べて、少ない演算量で第２センサ部のセンシング領域を設定することができる。その結果、演算量を低減することが可能な情報処理システムを提供することができる。

本開示の第３の側面に係る情報処理装置では、第１センサ部から得られた第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域が設定される。これにより、第１センサデータを用いずに第２センサ部の出力を処理する場合と比べて、少ない演算量で第２センサ部の出力の処理領域を設定することができる。その結果、演算量を低減することが可能な情報処理システムを提供することができる。

本開示の第４の側面に係る情報処理装置では、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域が設定される。これにより、第１センサデータを用いずに広範囲に第２センサ部をセンシングさせた場合と比べて、少ない演算量で第２センサ部のセンシング領域を設定することができる。その結果、演算量を低減することが可能な情報処理システムを提供することができる。

本開示の第５の側面に係る情報処理方法では、第１センサ部から得られた第１センサデータに基づいて、第２処理部によって処理する第２センサデータの処理領域が設定される。これにより、第１センサデータを用いずに第２センサ部の出力を処理する場合と比べて、少ない演算量で第２センサ部の出力の処理領域を設定することができる。その結果、演算量を低減することが可能な情報処理システムを提供することができる。

本開示の第６の側面に係る情報処理方法では、第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域が設定される。これにより、第１センサデータを用いずに広範囲に第２センサ部をセンシングさせた場合と比べて、少ない演算量で第２センサ部のセンシング領域を設定することができる。その結果、演算量を低減することが可能な情報処理システムを提供することができる。

１００，２００，３００，４００，５００，６００，７００，８００…情報処理システム、１１０…ＲＧＢセンサ部、１１０Ａ…画像センサデータ、１２０，１４０，１８０，２２０，４２０，５２０，５５０，６２０…データ処理部、１２０Ａ…画像データ、１３０…デプスセンサ部、１３０Ａ…デプスセンサデータ、１４０…データ処理部、１４０Ａ…デプスデータ、１５０…メモリ部、１６０，５３０…制御部、１６０Ａ…制御情報、１７０…超音波センサ部、１７０Ａ…超音波センサデータ、２１０，６１０…熱画像センサ部、４１０…偏光センサ部、５１０…デプスセンサ部、５４０…ドップラーセンサ部。

Claims (16)

1. 第１センサ部と、
   前記第１センサ部から得られた第１センサデータを処理する第１処理部と、
   第２センサ部と、
   前記第２センサ部から得られた第２センサデータを処理する第２処理部と
   を備え、
   前記第１処理部は、前記第１センサデータに基づいて、前記第２処理部によって処理する前記第２センサデータの処理領域を設定するための設定情報を生成し、
   前記第２処理部は、前記設定情報に基づいて、当該第２処理部によって処理する前記第２センサデータの処理領域を設定する
   情報処理システム。
2. 前記第１処理部は、前記第１センサデータに含まれる１または複数のＲＯＩ（Region Of Interest）についての情報を前記設定情報とする
   請求項１に記載の情報処理システム。
3. 前記第１センサ部のセンシング領域と、前記第２センサ部のセンシング領域との間にオフセットもしくは縮尺の相違が存在しており、
   前記第１処理部は、前記第１センサデータに含まれる１または複数のＲＯＩ（Region Of Interest）に対して、前記オフセットもしくは前記縮尺の相違に対応する補正を行うことにより得られた情報を前記設定情報とする
   請求項１に記載の情報処理システム。
4. 前記第１センサ部は、画像センサであり、
   前記第２センサ部は、デプスセンサである
   請求項１に記載の情報処理システム。
5. 前記デプスセンサは、ステレオカメラ、レーダー、ＬｉＤＡＲ、超音波センサ、またはＴｏＦセンサである
   請求項４に記載の情報処理システム。
6. 前記第１処理部は、パターンマッチングにより、前記第１センサデータに含まれる前記１または複数のＲＯＩを設定する
   請求項２に記載の情報処理システム。
7. 前記第１処理部は、ニューラルネットワークを用いることにより、前記第１センサデータに含まれる前記１または複数のＲＯＩを設定する
   請求項２に記載の情報処理システム。
8. 第３センサ部と、
   前記第３センサ部から得られた第３センサデータを処理する第３処理部と
   を更に備え、
   前記第３処理部は、前記設定情報に基づいて、当該第３処理部によって処理する前記第３センサデータの処理領域を設定する
   請求項１に記載の情報処理システム。
9. 第１センサ部と、
   前記第１センサ部から得られた第１センサデータを処理する第１処理部と、
   第２センサ部と、
   前記第２センサ部を制御する制御部と
   を備え、
   前記第１処理部は、前記第１センサデータに基づいて、前記第２センサ部のセンシング領域を設定するための設定情報を生成し、
   前記制御部は、前記設定情報に基づいて、前記第２センサ部のセンシング領域を設定する
   情報処理システム。
10. 前記第１処理部は、前記第１センサデータに含まれる、前記第２センサ部のターゲットについての情報と、前記第２センサ部の照射基準についての情報とに基づいて、前記設定情報を生成する
    請求項９に記載の情報処理システム。
11. 前記第２センサ部のセンシング領域は、前記第１センサ部のセンシング領域の一部だけと重なっている
    請求項９に記載の情報処理システム。
12. 前記第１センサ部は、画像センサであり、
    前記第２センサ部は、超音波センサまたはドップラーセンサである
    請求項１１に記載の情報処理システム。
13. 第１センサ部から得られた第１センサデータに基づいて、第２センサ部から得られた第２センサデータの処理領域を設定するための設定情報を生成する生成部と、
    前記設定情報に基づいて、前記第２センサデータの処理領域を設定する設定部と
    を備えた
    情報処理装置。
14. 第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成する生成部と、
    前記設定情報に基づいて、前記第２センサ部のセンシング領域を設定する設定部と
    を備えた
    情報処理装置。
15. 第１センサ部から得られた第１センサデータに基づいて、第２センサ部から得られた第２センサデータの処理領域を設定するための設定情報を生成することと、
    前記設定情報に基づいて、前記第２センサデータの処理領域を設定することと
    を含む
    情報処理方法。
16. 第１センサ部から得られた第１センサデータに基づいて、第２センサ部のセンシング領域を設定するための設定情報を生成することと、
    前記設定情報に基づいて、前記第２センサ部のセンシング領域を設定することと
    を含む
    情報処理方法。

Images