JP2021189146A - 測距装置、電子機器、センサシステム及び制御方法 - Google Patents

Abstract

【課題】センサが劣化した場合でも正確な情報を取得する。【解決手段】実施形態に係る測距装置は、測距情報を取得するセンサと、前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡ（Field-Programmable Gate Array）と、前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリとを備える。【選択図】図２

Description

本開示は、測距装置、電子機器、センサシステム及び制御方法に関する。

近年、ＩｏＴ（Internet of Things）の社会への浸透に伴い、センサやデバイスといった「モノ」がインターネットを通じてクラウドやフォグやサーバなどに接続して情報交換することで、「モノ」同士で相互に制御するシステムの開発が盛んになってきている。また、ＩｏＴにより収集したビッグデータを活用して様々なサービスをユーザに提供するシステムの開発が盛んに行なわれている。

特開２０００−２３５６４４号公報 特開２０１８−２６６８２号公報

しかしながら、ＩｏＴに限らず、カメラなどのセンサを用いて情報を取得する場合、センサ自体が使用や経年等で劣化することで、正確な情報を収集することができないという課題が存在する。

そこで本開示では、センサが劣化した場合でも正確な情報を取得することを可能にする測距装置、電子機器、センサシステム及び制御方法を提案する。

上記の課題を解決するために、本開示に係る一形態の測距装置は、測距情報を取得するセンサと、前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡ（Field-Programmable Gate Array）と、前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリとを備える。

第１の実施形態に係るセンサシステムの概略構成例を示す模式図である。 第１の実施形態に係る電子機器としての通信デバイスにおける測距センサの概略構成例を示すブロック図である。 第１の実施形態に係るセンサチップのスタック構成例を示す模式図である。 第１の実施形態に係るＦＰＧＡとロジック回路とが分離した領域にそれぞれ作り込まれている場合を例示する図である。 第１の実施形態に係るロジック回路の一部にＦＰＧＡが作り込まれている場合を例示する図である。 第１の実施形態に係るセンサチップの他のスタック構成例を示す模式図である。 第１の実施形態に係るセンサチップの第１変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第２変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第３変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第４変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第５変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第６変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第７変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第８変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第９変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第１０変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第１１変形例に係るスタック構成を示す模式図である。 第１の実施形態に係るセンサチップの第１２変形例に係るスタック構成を示す模式図である。 第１の実施形態に係る測距センサの側視図である。 第１の実施形態に係る測距センサにおける画素の１周期の駆動例を示す波形図である。 第１の実施形態に係る測距センサの動作例を示すフロー図である。 第１の実施形態に係る通信デバイスの概略動作例を示すフローチャートである。 第１の実施形態に係るサーバの概略動作例を示すフローチャートである。 測距センサの劣化原因の例を示す図である。 従来型のデバイス構成を示すブロック図である。 図２５に例示したデバイス構成でデータを処理する際の流れを説明するための図である。 図２５に例示したデバイス構成で１０００個のデータを処理する際に要するクロックサイクル数を示す図である。 第１の実施形態に係る測距センサのデバイス構成を示すブロック図である。 第１の実施形態に係る測距センサがデータを処理する際の流れを説明するための図である。 第１の実施形態に係る測距センサで１０００個のデータを処理する際に要するクロックサイクル数を示す図である。 第２の実施形態に係る測距センサの概略構成例を示すブロック図である。 第３の実施形態に係る測距センサの概略構成例を示すブロック図である。 第３の実施形態に係るセンサチップの第１変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第２変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第３変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第４変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第５変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第６変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第７変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第８変形例に係るスタック構成を示す模式図である。 第２の実施形態に係るセンサチップの第９変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第１０変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第１１変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るセンサチップの第１２変形例に係るスタック構成を示す模式図である。 第３の実施形態に係るＤＮＮ／ＣＮＮ解析処理（機械学習処理）の一例を説明するための図である。 第３の実施形態に係る動作の概略例を示すフローチャートである。 第４の実施形態に係る測距センサの概略構成例を示すブロック図である。 第４の実施形態に係るセンサチップの第１変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第２変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第３変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第４変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第５変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第６変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第７変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第８変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第９変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第１０変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第１１変形例に係るスタック構成を示す模式図である。 第４の実施形態に係るセンサチップの第１２変形例に係るスタック構成を示す模式図である。 第１及び第２の実施形態に係るセンサシステムの概略構成例を示す模式図である。 第３及び第４の実施形態に係るセンサシステムの概略構成例を示す模式図である。 第５の実施形態に係るセンサシステムの概略構成例を示す模式図である。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合のユースケースとＦＡに適用した場合のユースケースとを示す図である。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その１）。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その２）。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その３）。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その４）。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その５）。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その６）。 第１〜第５の実施形態に係るセンサシステムをＩＣＭに適用した場合を説明するための図である（その７）。 図６３に示すＩＣＭのユースケース１を説明するための図である（その１）。 図６３に示すＩＣＭのユースケース１を説明するための図である（その２）。 図６３に示すＩＣＭのユースケース２を説明するための図である。 図６３に示すＩＣＭのユースケース３を説明するための図である（その１）。 図６３に示すＩＣＭのユースケース３を説明するための図である（その２）。 図６３に示すＩＣＭのユースケース３を説明するための図である（その３）。 図６３に示すＩＣＭのユースケース５を説明するための図である（その１）。 図６３に示すＩＣＭのユースケース５を説明するための図である（その２）。 図６３に示すＩＣＭのユースケース５を説明するための図である（その３）。 図６３に示すＩＣＭのユースケース５を説明するための図である（その４）。 図６３に示すＩＣＭのユースケース６を説明するための図である（その１）。 図６３に示すＩＣＭのユースケース６を説明するための図である（その２）。 図６３に示すＩＣＭのユースケース６を説明するための図である（その３）。 図６３に示すＩＣＭのユースケース７を説明するための図である（その１）。 図６３に示すＩＣＭのユースケース７を説明するための図である（その２）。 第１〜第５の実施形態に係るセンサシステムをＦＡに適用した場合を説明するための図である（その１）。 第１〜第５の実施形態に係るセンサシステムをＦＡに適用した場合を説明するための図である（その２）。 図６３に示すＦＡのユースケース５を説明するための図である（その１）。 図６３に示すＦＡのユースケース５を説明するための図である（その２）。 図６３に示すＦＡのユースケース５を説明するための図である（その３）。 図６３に示すＦＡのユースケース６を説明するための図である（その１）。 図６３に示すＦＡのユースケース６を説明するための図である（その２）。 図６３に示すＦＡのユースケース６を説明するための図である（その２）。 図６３に示すＦＡのユースケース７を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

また、以下に示す項目順序に従って本開示を説明する。
１．はじめに
２．第１の実施形態
２．１ システム構成
２．２ デバイス構成
２．３ センサチップのスタック構成例
２．４ スタック構成の他の具体例
２．４．１ 第１変形例
２．４．２ 第２変形例
２．４．３ 第３変形例
２．４．４ 第４変形例
２．４．５ 第５変形例
２．４．６ 第６変形例
２．４．７ 第７変形例
２．４．８ 第８変形例
２．４．９ 第９変形例
２．４．１０ 第１０変形例
２．４．１１ 第１１変形例
２．４．１２ 第１２変形例
２．５ センシングの動作例
２．６ 各処理とチップとの関係
２．７ 測距センサ１００の劣化補正
２．８ 劣化補正の手順
２．９ デプス性能の解析（機械学習）
２．１０ 動作フロー
２．１０．１ 通信デバイス２の動作例
２．１０．２ サーバ３の動作例
２．１１ 測距センサ１００の劣化要因
２．１２ 高速処理の手法
２．１３ 作用・効果
３．第２の実施形態
３．１ デバイス構成
３．２ 作用・効果
４．第３の実施形態
４．１ デバイス構成
４．２ センサチップのスタック構成例
４．３ ＤＮＮ／ＣＮＮ解析処理
４．４ 補正処理
４．５ 作用・効果
５．第４の実施形態
５．１ デバイス構成
５．２ センサチップのスタック構成例
５．３ 作用・効果
６．第５の実施形態
７．ユースケース
７．１ インキャビンモニタリングシステム（ＩＣＭ）のユースケース
７．１．１ ユースケース１
７．１．２ ユースケース２
７．１．３ ユースケース３
７．１．４ ユースケース５
７．１．５ ユースケース６
７．１．６ ユースケース７
７．２ ＦＡのユースケース
７．２．１ ユースケース１
７．２．２ ユースケース２
７．２．３ ユースケース３
７．２．４ ユースケース４
７．２．５ ユースケース５
７．２．６ ユースケース６
７．２．７ ユースケース７
８．応用例

１．はじめに
現在、カメラモジュールや測距センサ１００などのセンサを搭載するデバイスとしては、例えば、スマートフォンや携帯電話機などのウェアラブル端末、定点カメラや監視カメラなどの固定されたデバイス、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション（ＦＡ）ロボット、監視ロボット、自律ロボットなどの移動するデバイス、医療機器等、種々のデバイスが存在するが、これらのデバイスでは、仕様頻度や使用年数が増えることにより、センサの経年劣化が発生する。例えば、測距センサ１００が経年劣化した場合に浮上する問題としては、以下のような項目を例示することができる。

第１に、間接ＴＯＦ（Time-of-Flight）センサモジュールで測距情報を取得する場合、センサモジュール自体が長時間の動作や経年等で劣化することで、正確なデプス性能（デプスノイズ、デプスエラー、信頼性等）を収集することができなくなる。このような問題を解決するためには、新品に交換したり、再キャリブレーションを実施して調整を行ったりする必要があり、解決までに長い時間や多大な手間を要するといった課題が発生する。また、経年劣化によりデプス性能が低下した場合、リアルタイムにデプス性能を必要とするデバイス、例えば、ドローン、自動車、ファクトリーオートメーション（ＦＡ）ロボットなどの移動するデバイス等では、その安全性が損なわれ得るという問題も発生してしまう。

第２に、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション（ＦＡ）ロボット、監視ロボット、自律ロボットなど、リアルタイム処理が要求される移動デバイス等では、ＭＰＵ（Microprocessor）やＧＰＵ（Graphics Processing Unit）などの情報処理装置で従来型の演算処理を行うことで、複雑のプログラムをフレキシブルに実行することが可能となる。しかしながら、従来型の演算処理は演算器の間でメモリ１５をシェアする仕組みのため、割り込み処理が入った場合、処理時間が冗長されてしまうという問題が存在する。また、回路規模の増大、機械学習等の処理の複雑化等により、消費電力の増大や、熱問題（すなわち、安全性問題）などが発生するという課題も存在する。さらに、リアルタイム処理を行う場合、外部のＩＳＰ（Image Signal Processor）やＡＰＰ（Application Processor）やＧＰＵ等を用いてセンサモジュールを制御する必要があるため、デバイスが大型化してしまう。その結果、コストやシステム面積や重量等が増加し、デバイスの小型化が困難になるという課題が発生する。

第３に、一般的な測距センサ１００は、センサモジュールで取得されたロウデータを専用のソフトウエアがポーティングされた後段ＩＣ（Integrated Circuit）で演算することで、測距情報を出力する構成であるが、後段ＩＣが変更されると、ソフトウエアのバージョン等を考慮しつつドライバやポーティングの合わせ込みを行わなければならないため、デバイス構成の変更時に発生する作業工数が増大するという問題も存在する。

そこで、以下の実施形態では、測距センサ１００などのセンサが使用や経年等で劣化した場合でも正確な情報を取得することを可能にする測距装置、電子機器、センサシステム及び制御方法について、例を挙げて説明する。

２．第１の実施形態
まず、第１の実施形態について、図面を参照して詳細に説明する。なお、本実施形態では、劣化を補正する対象のセンサを測距センサ１００とし、それを搭載するデバイスを通信デバイス２とした場合を例示する。ただし、センサは、測距センサ１００に限られず、イメージセンサや温度センサや湿度センサや放射線計測器などの種々のセンサを適用することが可能である。

２．１ システム構成
図１は、本実施形態に係るセンサシステムの概略構成例を示す模式図である。図１に示すように、センサシステム１は、通信機能を備えた１台以上の通信デバイス２と、サーバ３とが、ネットワーク４を介して接続された構成を備える。

通信デバイス２は、測距機能の他に、上述したように、ネットワーク４を介してサーバ３と通信するための通信機能を備えている。なお、通信デバイス２としては、スマートフォンや携帯電話機などのウェアラブル端末、定点カメラや監視カメラなどの固定されたデバイス、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション（ＦＡ）ロボット、監視ロボット、自律ロボットなどの移動するデバイス、医療機器等、センシング機能と通信機能とを備える種々のデバイスを適用することが可能である。

サーバ３は、例えば、クラウドサーバやフォグサーバやエッジサーバなど、ネットワークに接続された種々のサーバであってよい。また、ネットワーク４には、例えば、インターネットやＬＡＮ（Local Area Network）や移動体通信網や公衆回線網など、種々のネットワークを適用することが可能である。

２．２ デバイス構成
図２は、本実施形態に係る電子機器としての通信デバイスにおける測距センサの概略構成例を示すブロック図である。図２に示すように、通信デバイス２は、例えば、固体撮像装置としての測距センサ１００と、送受信部２０とを備える。本説明では、測距センサ１００が間接ＴＯＦ方式の測距センサである場合を例示するが、これに限定されず、直接ＴＯＦ方式の測距センサなど、種々の測距センサを適用することができる。

測距センサ１００は、例えば、センサチップ１０と、ＡＦ／ＯＩＳドライバ１６と、不揮発性メモリ１７と、レーザドライバ１８と、発光部１９とを備える。なお、本例では、ＡＦ／ＯＩＳドライバ１６、不揮発性メモリ１７、レーザドライバ１８及び発光部１９がセンサチップ１０外に配置された場合が例示されているが、これに限られず、これらのうちの１以上がセンサチップ１０内に配置されてもよい。また、測距センサ１００が固定焦点（Fixed Focus：ＦＦ）の場合、ＡＦ／ＯＩＳドライバ１６は省略されてもよい。

（センサチップ１０）
センサチップ１０は、例えば、受光部１１と、信号処理回路１２と、フレキシブルロジック回路１３と、メインプロセッサ１４と、メモリ１５を含んで構成される。

・受光部１１
受光部１１は、例えば、複数の光電変換素子が２次元格子状に配列した光センサアレイ１１１（図３参照）を備える。各光電変換素子は、例えば、２つの読出し端子ＴａｐＡ及びＴａｐＢを備える。以下の説明では、簡略化のため、読出し端子ＴａｐＡから読み出された画素信号をＴａｐＡとし、読出し端子ＴａｐＢから読み出された画素信号をＴａｐＢとする。ただし、受光部１１の構成はこれに限定されず、隣接する２つの画素から互いに位相が１８０°異なる画素信号ＴａｐＡ及びＴａｐＢを読み出す構成であってもよい。

・信号処理回路１２
信号処理回路１２は、例えば、光センサアレイ１１１の各光電変換素子の２つの読出し端子ＴａｐＡ及びＴａｐＢそれぞれからデプス情報である電荷量（光量に相当）を読み出して画素信号ＴａｐＡ及びＴａｐＢとして出力する画素回路１２１（図３参照）と、画素回路１２１で読み出されたアナログの画素信号ＴａｐＡ及びＴａｐＢをデジタルの画素信号ＴａｐＡ及びＴａｐＢに変換するＡＤＣ（Analog-to-Digital Converter）などのアナログ回路１２２（図３参照）と、デジタルに変換された画素信号ＴａｐＡ及びＴａｐＢに基づいてＣＤＳ（Correlated Double Sampling）処理などを実行するロジック回路１２３（図３参照）とを含む。

・メモリ１５
メモリ１５は、信号処理回路１２から出力されたデジタルの画素信号ＴａｐＡ及びＴａｐＢを格納する。また、メモリ１５は、後述するフレキシブルロジック回路１３やメインプロセッサ１４で所定の処理が施されたデプスデータを格納する。

さらに、メモリ１５は、フレキシブルロジック回路１３に含まれるＦＰＧＡ（Field-Programmable Gate Array）に所定の回路構成を実現するための各種データも格納する。以下、ＦＰＧＡの論理コンポーネントを接続して回路構成を実現するためのデータを回路データと称し、回路データにより実現された回路構成に対して与えるパラメータを設定データと称する。

・フレキシブルロジック回路１３
フレキシブルロジック回路１３は、上述したように、ＦＰＧＡを含み、後述するメインプロセッサ１４と連携することで、メモリ１５に格納されたデジタルデータ（画素信号ＴａｐＡ及びＴａｐＢ）に対して、位相データ処理、輝度データ処理、周期的誤差補正、温度補正、歪み補正、視差補正、制御系補正、自動露光（ＡＥ）、自動フォーカス（ＡＦ）、キズ補正、ノイズ補正、（フィルタ加算）、フライングピクセル補正、デプス計算、同期処理出力インタフェース（Ｉ／Ｆ）処理など、各種処理を実行することで、測距結果であるデプスデータを生成する。

・メインプロセッサ１４
メインプロセッサ１４は、通信デバイス２内の各部を制御する。また、メインプロセッサ１４は、フレキシブルロジック回路１３と連携して動作することで、上記列挙した各種処理をパイプライン処理として実行する。すなわち、フレキシブルロジック回路１３が回路変更を実行してアクセラレータとして機能することで、上記処理がパイプラインで実行される。

・不揮発性メモリ１７
不揮発性メモリ１７は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などで構成され、レーザドライバ１８が発光部１９を駆動する際のパラメーラを記憶する。また、不揮発性メモリ１７は、必要に応じて、ＡＦ／ＯＩＳドライバ１６が受光部１１内の読出し回路及びアクチュエータや信号処理回路１２内の各種回路等を制御する際のパラメータ等も記憶する。

・レーザドライバ１８
レーザドライバ１８は、フレキシブルロジック回路１３で生成されて不揮発性メモリ１７に記憶されているパラメータに基づいて、発光部１９を所定の周期で発光させるための周期的な発光制御信号を生成する。

・発光部１９
発光部１９は、例えば、ＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）やＬＥＤ（Light Emitting Diode）などで構成され、レーザドライバ１８から入力された発光制御信号に従って発光する。

・ＡＦ／ＯＩＳドライバ１６
ＡＦ／ＯＩＳドライバ１６は、例えば、垂直駆動回路や水平転送回路やタイミング制御回路等を含み、信号処理回路１２における後述する画素回路を駆動することで、受光部１１における読出し回路に光電変換素子からの画素信号ＴａｐＡ及びＴａｐＢの読出しを実行させる。また、ＡＦ／ＯＩＳドライバ１６は、受光部１１におけるレンズやシャッタなどの光学系を駆動するアクチュエータの制御も実行する。

・送受信部２０
送受信部２０は、ネットワーク４を介してサーバ３と通信するための通信部であり（図１参照）、例えば、送信データをＤＡ（Digital to Analog）変換するＤＡＣ２１と、ＤＡ変換されたデータをネットワークへ送信する送信アンテナ２２と、ネットワークからデータを受信する受信アンテナ２４と、受信アンテナ２４で受信されたデータをＡＤ（Analog to Digital）変換するＡＤＣ２３とを備える。ただし、送受信部２０１８は、無線に限定されず、有線であってもよい。有線接続の場合は、送受信部２０は、例えば、インタフェース部に置き換えられ、アプリケーションプロセッサやＥＣＵ（Electronic Control Unit）等に接続されてもよい。

２．３ センサチップのスタック構成例
図３は、本実施形態に係るセンサチップ１０のスタック構成例を示す模式図である。図３に示すように、センサチップ１０における、例えば、受光部１１、信号処理回路１２、フレキシブルロジック回路１３、メインプロセッサ１４及びメモリ１５は、それぞれ１つのダイで構成されている。

受光部１１は、半導体基板よりなる受光チップ１１０に光センサアレイ１１１が作り込まれた構成を備える。

信号処理回路１２は、半導体基板よりなるアナログ・ロジックチップ１２０に、画素回路１２１とアナログ回路１２２とロジック回路１２３とが作り込まれた構成を備える。

フレキシブルロジック回路１３は、半導体基板よりなるフレキシブルロジックチップ１３０にＦＰＧＡ１３１が作り込まれた構成を備える。すなわち、フレキシブルロジック回路１３は、例えば、ＳｏＣ（System- on-a-Chip）構造を有している。

メインプロセッサ１４は、半導体基板よりなるプロセッサチップ１４０にＭＰＵ（Micro Processing Unit）１４１が作り込まれた構成を備える。なお、プロセッサチップ１４０に形成されるＭＰＵ１４１は、１つに限られず、複数であってもよい。

メモリ１５は、半導体基板よりなるメモリチップ１５０にＳＲＡＭ（Static RAM）やＤＲＡＭ（Dynamic RAM）などのメモリ領域１５１が作り込まれた構成を備える。メモリ領域１５１における一部の領域は、ＦＰＧＡ１３１に回路構成を設定するための回路データやその設定データを格納するためのメモリ領域（以下、プログラマブルメモリ領域という）１５２として使用される。

各チップ１１０、１２０、１３０、１４０及び１５０は、図３に示す順序で上から積層される。したがって、センサチップ１０は、受光チップ１１０と、アナログ・ロジックチップ１２０と、メモリチップ１５０と、フレキシブルロジックチップ１３０と、プロセッサチップ１４０とが順に積層されたスタック構造を備える。

なお、測距センサ１００を構成する他の構成、例えば、レーザドライバ１８及び不揮発性メモリ１７は、それぞれ独立又は共通のチップに作り込まれてもよいし、チップ１１０、１２０、１３０、１４０及び１５０における何れかのチップに作り込まれてもよい。同様に、送受信部２０は、独立のチップに作り込まれてもよいし、上記チップの何れかに作り込まれてもよい。

また、フレキシブルロジックチップ１３０には、ＦＰＧＡ１３１だけでなく、図４及び図５に例示するように、ロジック回路１３２が作り込まれていてもよい。なお、図４は、ＦＰＧＡ１３１とロジック回路１３２とが分離した領域にそれぞれ作り込まれている場合を例示し、図５は、ロジック回路１３２の一部にＦＰＧＡ１３１が作り込まれている場合を例示している。

さらに、本実施形態では、それぞれ個別のチップ１１０、１２０、１３０、１４０及び１５０に作り込まれた受光部１１、信号処理回路１２、フレキシブルロジック回路１３、メインプロセッサ１４及びメモリ１５を積層したスタック構造を例示しているが、上述する実施形態にあるように、スタック構造は、種々変形することが可能である。例えば、高速なデプス処理が要求されないデバイスを通信デバイス２とした場合、図６に例示するように、信号処理回路１２とメインプロセッサ１４とフレキシブルロジック回路１３とメモリ１５とを１つのチップ１６０とすることも可能である。その場合、各チップ１２０〜１５０の製造工程数や貼り合わせの工程を削減することができるため、製造コストを抑えることが可能となる。また、用途によっては、図６におけるチップ１６０からメインプロセッサ１４を省略することも可能である。

２．４ スタック構成の他の具体例
また、センサチップ１０のスタック構成は、以下のようにも変形することが可能である。ただし、上述した具体例及び以下で例示する具体例は、単なる例であって、必要に応じて種々変形することが可能である。なお、以下の説明では、光の入射面に近い層、すなわち、受光部１１が設けられるチップ（受光チップ１１０に相当）を第１層とする。

２．４．１ 第１変形例
図７は、センサチップの第１変形例に係るスタック構成を示す模式図である。図７に示すように、第１変形例では、センサチップ１０が２層構造を有し、第１層のチップＴ１に受光部１１が配置され、第２層のチップＴ２に信号処理回路１２とフレキシブルロジック回路１３とメモリ１５とが配置されてもよい。

２．４．２ 第２変形例
図８は、センサチップの第２変形例に係るスタック構成を示す模式図である。図８に示すように、第２変形例では、第１変形例に係るセンサチップ１０（図７参照）と同様のスタック構成において、第２層にさらにメインプロセッサ１４が追加されてもよい。

２．４．３ 第３変形例
図９は、センサチップの第３変形例に係るスタック構成を示す模式図である。図９に示すように、第３変形例では、センサチップ１０が３層構造を有し、第１層のチップＴ１に受光部１１が配置され、第２層のチップＴ２にメモリ１５が配置され、第３層のチップＴ３に信号処理回路１２とフレキシブルロジック回路１３とが配置されてもよい。

２．４．４ 第４変形例
図１０は、センサチップの第４変形例に係るスタック構成を示す模式図である。図１０に示すように、第４変形例では、第３変形例に係るセンサチップ１０（図９参照）と同様の構成において、第２層のチップＴ２と第３層のチップＴ３とが入れ替わっている。すなわち、第３変形例では、第２層のチップＴ２に信号処理回路１２とフレキシブルロジック回路１３とが配置され、第３層のチップＴ３にメモリ１５が配置されてもよい。

２．４．５ 第５変形例
図１１は、センサチップの第５変形例に係るスタック構成を示す模式図である。図１１に示すように、第５変形例では、第３変形例に係るセンサチップ１０（図９参照）と同様のスタック構成において、第３層にさらにメインプロセッサ１４が追加されてもよい。

２．４．６ 第６変形例
図１２は、センサチップの第６変形例に係るスタック構成を示す模式図である。図１２に示すように、第６変形例では、第４変形例に係るセンサチップ１０（図１０参照）と同様のスタック構成において、第２層にさらにメインプロセッサ１４が追加されてもよい。

２．４．７ 第７変形例
図１３は、センサチップの第７変形例に係るスタック構成を示す模式図である。図１３に示すように、第７変形例では、第１変形例に係るセンサチップ１０（図７参照）と同様のスタック構成において、信号処理回路１２が第２層のチップＴ２ではなく第１層のチップＴ１に配置されてもよい。

２．４．８ 第８変形例
図１４は、センサチップの第８変形例に係るスタック構成を示す模式図である。図１４に示すように、第８変形例では、第７変形例に係るセンサチップ１０（図１３参照）と同様のスタック構成において、第２層にさらにメインプロセッサ１４が追加されてもよい。

２．４．９ 第９変形例
図１５は、センサチップの第９変形例に係るスタック構成を示す模式図である。図１５に示すように、第９変形例では、第３変形例に係るセンサチップ１０（図９参照）と同様のスタック構成において、信号処理回路１２が第３層のチップＴ１ではなく第１層のチップＴ１に配置されてもよい。

２．４．１０ 第１０変形例
図１６は、センサチップの第１０変形例に係るスタック構成を示す模式図である。図１６に示すように、第１０変形例では、第９変形例に係るセンサチップ１０（図１５参照）と同様の構成において、第２層のチップＴ２と第３層のチップＴ３とが入れ替わっている。すなわち、第３変形例では、第２層のチップＴ２にフレキシブルロジック回路１３が配置され、第３層のチップＴ３にメモリ１５が配置されてもよい。

２．４．１１ 第１１変形例
図１７は、センサチップの第１１変形例に係るスタック構成を示す模式図である。図１７に示すように、第１１変形例では、第５変形例に係るセンサチップ１０（図１１参照）と同様のスタック構成において、第３層にさらにメインプロセッサ１４が追加されてもよい。

２．４．１２ 第１２変形例
図１８は、センサチップの第１２変形例に係るスタック構成を示す模式図である。図１８に示すように、第１２変形例では、第１１変形例に係るセンサチップ１０（図１７参照）と同様のスタック構成において、第２層にさらにメインプロセッサ１４が追加されてもよい。

２．５ センシングの動作例
つづいて、図２に示す通信デバイス２における測距センサ１００の動作例について説明する。図１９は、本実施形態に係る測距センサの側視図である。図１９に示すように、測距センサ１００は、ベース基板ＢＳ１上にセンサチップ１０と１以上の発光部１９とが設けられた構成を備え、発光部１９から出射された照射光Ｌ１の反射光Ｌ２をセンサチップ１０で検出することで、物体までの距離を計測する。

図２０は、本実施形態に係る測距センサにおける画素の１周期の駆動例を示す波形図である。図２０に示すように、発光部１９は、各周期において５０％のデューティ比で発光する。図２０に示す例では、タイミングｔ１〜ｔ５の周期内において、タイミングｔ１〜ｔ３の期間、発光部１９は発光して照射光Ｌ１を出力する。これに対し、受光部１１の各画素では、各周期の前半に相当するタイミングｔ１〜ｔ３の期間、読出し端子ＴａｐＡへの電荷蓄積が実行され、後半に相当するタイミングｔ３〜ｔ５の期間、読出し端子ＴａｐＢへの電荷蓄積が実行される。

ここで、反射光Ｌ２がタイミングｔ１から時間Ｐ１遅れて受光部１１に入射したとすると、読出し端子ＴａｐＡには、タイミングｔ２〜ｔ３の期間、反射光Ｌ２を光電変換することで生じた電荷が蓄積され、読出し端子ＴａｐＢには、タイミングｔ３〜ｔ４の期間、反射光Ｌ２を光電変換することで生じた電荷が蓄積される。この光電変換によりそれぞれの読出し端子ＴａｐＡ及びＴａｐＢに蓄積された電荷が、画素信号ＴａｐＡ及びＴａｐＢとして読み出される。

図２１は、本実施形態に係る測距センサの動作例を示すフロー図である。図２１に示すように、測距センサ１００が実行する動作は、大まかに、光電変換ステップＳ１００、信号処理ステップＳ２００、位相変換ステップＳ３００、キャリブレーションステップＳ４００、制御系ステップＳ５００、及び、フィルタリングステップＳ６００の６段階に分けることができる。

光電変換ステップＳ１００では、受光部１１の光電変換素子において、時間を変え入射した反射光Ｌ２の光電変換１０１が実行される。

信号処理ステップＳ２００では、光電変換素子の読出し端子ＴａｐＡ及びＴａｐＢそれぞれに蓄積された電荷が、信号処理回路１２における画素回路１２１（図３参照）によりアナログの画素信号ＴａｐＡ及びＴａｐＢとして読み出される。なお、信号処理回路１２は、例えば、行単位で画素信号を読み出す方式など、複数の画素から同時に画素信号を読み出すことが可能な方式が採用された信号処理回路１２であってよい。

読み出されたアナログの画素信号ＴａｐＡ及びＴａｐＢは、信号処理回路１２におけるロジック回路１２３（図３参照）のＡＤＣにてデジタルの画素信号ＴａｐＡ及びＴａｐＢに変換される（２０１）。そして、ＡＤ変換された画素信号ＴａｐＡ及びＴａｐＢに対し、信号処理回路１２におけるＣＤＳ回路がＣＤＳ処理を実行するこれにより、ノイズが除去された画素信号ＴａｐＡ及びＴａｐＢが生成される（２０１）。生成された画素信号ＴａｐＡ及びＴａｐＢは、一時、メモリ１５に格納されてもよい。

位相変換ステップＳ３００では、画素信号ＴａｐＡ及びＴａｐＢに対し、位相成分計算（Ｉ，Ｑ）３０１が実行されて、デプスデータを生成するための位相データ（例えば、０°、９０°、１８０°及び２７０°の位相データ）が生成される。続いて、生成された位相データに対し、位相データ処理３０２及び輝度データ処理３０３がそれぞれ実行される。位相データ処理３０２により、測距結果であるデプスデータが生成される。一方、輝度データ処理３０３が実行された位相データは、サーバ３へ送信され、レーザドライバ１８を駆動する際の電圧値などのパラメータを調整するために使用されてもよい。

位相データ処理３０２により生成されたデプスデータは、キャリブレーションステップＳ４００に入力される。キャリブレーションステップＳ４００では、デプスデータに対し、サイクルエラー補正４０１、温度補正４０２、歪み補正４０３、視差補正４０４が順次実行される。

制御系ステップＳ５００では、例えば、発光部１９の発光制御や受光部１１の光軸制御等が実行される。

フィルタリングステップＳ６００では、自動露光（ＡＥ）／自動フォーカス（ＡＦ）６０１、キズ補正６０２、ノイズ補正（フィルタ加算）６０３、フライングピクセル補正６０４、デプス計算６０５が実行される。デプス計算６０５では、例えば、物体までの距離、デプスノイズ、エラー、照度等の情報がデプスデータとして算出される。

なお、出力Ｉ／Ｆ処理６０６は、例えば、一旦メモリ１５に格納されたデプスデータを外部へ出力してもよいし、フレキシブルロジック回路１３又はメインプロセッサ１４から出力されたデプスデータを直接出力してもよい。出力Ｉ／Ｆ処理６０６から出力されたデプスデータは、例えば、送受信部２０を介してサーバ３へ送信される。また、上述したステップＳ２００、Ｓ３００、Ｓ４００及びＳ５００それぞれから出力された処理結果（画素信号、位相データ、発光部１９及び受光部１１を駆動するためのパラメータ等）も、送受信部２０を介してサーバ３へ送信されてよい。

２．６ 各処理とチップとの関係
図２１を用いて説明したフローにおいて、光電変換ステップＳ１００は、例えば、受光部１１の光センサアレイ１１１（図３参照）において実行される。また、ＡＤ変換及びＣＤＳ処理（２０１）は、例えば、信号処理回路１２のアナログ回路１２２におけるＡＤＣ及びロジック回路１２３におけるＣＤＳ回路において実行される。

位相変換ステップＳ３００、キャリブレーションステップＳ４００、制御系ステップＳ５００、制御系ステップＳ５００及びフィルタリングステップＳ６００の各処理は、例えば、フレキシブルロジック回路１３のＦＰＧＡ１３１に１以上の回路構成を実現するための回路データをメモリ１５のプログラマブルメモリ領域１５２から読み出し、これをＦＰＧＡ１３１に設定するとともに、各回路構成に対する設定データを対応するレジスタに登録することで実行される。したがって、設定データや回路データを変更することで、各処理の入力に対する出力を調整することができる。

なお、図５又は図６に例示したように、フレキシブルロジック回路１３の一部をＦＰＧＡ１３１とし、残りをロジック回路１３２とした場合では、ＦＰＧＡ１３１で特定の処理を実行し、残りの処理をロジック回路１３２で事項するように構成することも可能である。

また、メインプロセッサ１４は、フレキシブルロジック回路１３が実行する各処理をパイプライン処理するように、フレキシブルロジック回路１３と連携して動作してもよい。

２．７ 測距センサ１００の劣化補正
上述した構成において、測距センサ１００の例えば光センサアレイ１１１は、仕様頻度や使用年数が増えることにより経年劣化する。このような測距センサ１００の劣化は、例えば、ＦＰＧＡ１３１の回路構成やそのパラメータを変更することで補正することができる。

そこで本実施形態では、測距センサ１００の劣化の状態を常時、定期的又は任意のタイミングで検出し、検出された劣化の状態に応じて、ＦＰＧＡ１３１の回路構成及び／又はそのパラメータを変更する。これにより、測距センサ１００を劣化状態に応じてカスタマイズすることが可能となるため、測距センサ１００が使用や経年等で劣化した場合でも正確な情報（例えば、測距データ）を取得することが可能となる。

測距センサ１００の劣化補正は、例えば、測距センサ１００で取得されたデプスデータ等（画素信号、位相データ、発光部１９及び受光部１１を駆動するためのパラメータ等を含み得る。以下、デプス性能ともいう）を、ネットワーク４を介してサーバ３へ送信することで実行される。サーバ３は、例えば、ネットワーク４を介して通信デバイス２から受信したデプス性能を解析することで、測距センサ１００における劣化箇所や劣化原因を特定する。そして、サーバ３は、特定された劣化箇所や劣化原因の補正を目的として、測距センサ１００のフレキシブルロジック回路１３のＦＰＧＡ１３１に設定する設定データ及び／又は回路データを生成し、生成した設定データ及び／又は回路データ（以下、新たに生成された設定データ及び／又は回路データを更新データともいう）を、ネットワーク４を介して通信デバイス２へ送信（フィードバック）する。

サーバ３から設定データ及び／又は回路データを受信した通信デバイス２は、これを測距センサ１００におけるメモリ１５のプログラマブルメモリ領域１５２に格納する。測距センサ１００は、プログラマブルメモリ領域１５２に格納された設定データ及び／又は回路データをＦＰＧＡ１３１に設定することで、劣化箇所や劣化原因を補正する。

なお、劣化箇所や劣化原因を補正するための設定データ及び／又は回路データは、例えば、新たに取得されたデータ及び／又は過去に取得済みのデプス性能を機械学習することで得られた学習済みモデルを利用して生成することができる。

２．８ 劣化補正の手順
サーバ３側でデプス性能を解析して通信デバイス２におけるフレキシブルロジック回路１３の設定及び／又は回路構成を変更する手順としては、以下のような手法を例示することができる。

まず第１に、通信デバイス２が、デプス計算６０５で算出されたデプス性能（距離、デプスノイズ、エラー、照度等）をサーバ３へ送信する。

第２に、サーバ３が、受信したデプス性能（距離、デプスノイズ、エラー、照度等）を解析する（機械学習）。

第３に、サーバ３が、解析結果に基づいて設定データ及び／又は回路データを生成する。

第４に、サーバ３が、生成された設定データ及び／又は回路データを通信デバイス２へフィードバックする（バイナリデータ転送）。

第５に、通信デバイス２が、受信した設定データ及び／又は回路データをメモリ１５のプログラマブルメモリ領域１５２における所定の番地に書き込む。

第６に、通信デバイス２が、プログラマブルメモリ領域１５２内の設定データ及び／又は回路データを読み出し、回路データをＦＰＧＡ１３１に設定するとともに、設定データをレジスタに登録することで、ＦＰＧＡ１３１に新規回路を構成したり、ＦＰＧＡ１３１に実現された回路構成のパラメータを変更したりする。

以上のような動作を、例えば、フレームごとに実行することで、ＦＰＧＡ１３１の更新を常時行うことができる。

なお、フレキシブルロジックのレイヤ構成としては、ＦＰＧＡ１３１のみで構成されているもの（図３又は図４参照）、ＦＰＧＡ１３１とロジック回路１３２とで構成されているもの（図５参照）、ＦＰＧＡ１３１とロジック回路１３２とが混載しているもの（ベースのロジック回路１３２に対してＦＰＧＡ１３１で回路変更を行っていくもの。図６参照）など、用途によって適宜変更することが可能である。

また、サーバ３側における機械学習の結果に基づき、ＦＰＧＡ１３１に新規回路を追加することや、スピード向上のためにＦＰＧＡ１３１の回路構成を変更すること（例えば、一部機能の削減）などを実現することも可能である。例えば、信号処理回路１２から出力されるデータを１０ビットのデプスデータから１４ビットのデプスデータに変更したり、８ビットのデプスデータに変更したりすることも、ＦＰＧＡ１３１の回路構成を変更することで可能となる。

２．９ デプス性能の解析（機械学習）
測距センサ１００の劣化の状態は、上述したように、例えば、測距センサ１００で取得されたデプス性能を解析することで、判断することができる。デプス性能の解析では、例えば、測距センサ１００で取得されたデプス性能をサーバ側で保管しておき、デプス性能の解析時に、保管しておいたデプス性能と新たに取得されたデプス性能とを比較することで、測距センサ１００が劣化しているか否かを判断することが可能である。

その際、サーバ３側に保管しておくデプス性能としては、通信デバイス２の出荷前に取得しておいたデプス性能や、通信デバイス２がユーザの手に渡った際の初期設定時に取得しておいたデプス性能など、測距センサ１００の経年劣化が小さい段階でのデプス性能を利用するとよい。

また、劣化判断のために通信デバイス２からサーバ３へ送信するデプス性能は、任意のタイミングで取得されたデプス性能であってもよいし、所定の条件が満たされた際に取得されたデプス性能であってもよい。なお、所定の条件としては、サーバ３において保管されているデプス性能と同じ領域を撮像した際に得られたデプス性能であることや、サーバ３において保管されているデプス性能を撮像した際と同じ照度条件の下で撮像することで得られたデプス性能であることなどとすることができる。

若しくは、例えば、測距センサ１００が機械シャッタを備えている場合には、機械シャッタを閉じた状態で取得したデプス性能をサーバ３側に保管しておき、劣化判断時には、同じく機械シャッタを閉じた状態でデプス性能を取得し、そのデプス性能をサーバ３へ送信するように構成されてもよい。その場合、黒レベルやノイズや欠陥画素等から測距センサ１００の劣化状態を確認することが可能となる。

また、デプス性能の解析においては、例えば、機械学習によりデプス性能の劣化の状態とその原因とを学習して学習済みモデルを構築しておくことで、後の解析時における原因究明の正確性と迅速性とを上場することが可能となる。なお、機械学習の手法としては、ＲＮＮ（Recurrent Neural Network）やＣＮＮ（Convolution Neural Network）、ＤＮＮ（Deep learning Neural Network）など、種々の手法を利用することが可能である。

２．１０ 動作フロー
つづいて、測距センサ１００の劣化を検出して補正する際の動作を、フローチャートを用いて詳細に説明する。図２２は、本実施形態に係る通信デバイスの概略動作例を示すフローチャートである。図２３は、本実施形態に係るサーバの概略動作例を示すフローチャートである。

２．１０．１ 通信デバイス２の動作例
図２２に示すように、通信デバイス２は、まず、常時又は定期的に、サーバ３に対して、測距センサ１００で取得されたデプス性能の解析を要求し（ステップＳ１０１）、サーバ３から解析の許可応答を受信するのを待機する（ステップＳ１０２のＮＯ）。サーバ３から解析の許可応答を受信すると（ステップＳ１０２のＹＥＳ）、通信デバイス２は、解析の繰返し回数を管理する値Ｎに１をセットする（ステップＳ１０３）。つづいて、通信デバイス２は、測距センサ１００を駆動してデプス性能を取得する（ステップＳ１０４）。この際に取得されるデプス性能は、図２１に例示した各段階の処理が施されたデプス性能であってよい。

次に、通信デバイス２は、デプス性能をアナログデータにＤＡ変換後に暗号化する（ステップＳ１０５）。なお、暗号化は、例えば、メインプロセッサ１４又は不図示のアプリケーションプロセッサ（暗号化部）において実行されてよい。つづいて、通信デバイス２は、暗号化済みのデプス性能を、ネットワーク４を介してサーバ３へ送信し（ステップＳ１０６）、サーバ３からの応答を待機する（ステップＳ１０７のＮＯ）。これに対し、サーバ３は、後述において図２３を用いて説明するように、通信デバイス２から受信したデプス性能を解析し、デプス性能劣化があると認められる場合には、当該デプス性能劣化を解消するためにＦＰＧＡ１３１に設定する設定データを生成する。

サーバ３からデプス性能劣化無しの解析結果を受信した場合（ステップＳ１０７のＹＥＳ）、通信デバイス２は、本動作を終了する。一方、デプス性能劣化がある旨の解析結果を受信した場合（ステップＳ１０７のＮＯ）、通信デバイス２は、サーバ３からネットワーク４を介して暗号化済みの設定データを受信し（ステップＳ１０８）、受信した暗号化済み設定データの暗号化を解除する（ステップＳ１０９）。なお、暗号化の解除（復号）は、例えば、メインプロセッサ１４又は不図示のアプリケーションプロセッサ（復号部）において実行されてよい。つづいて、通信デバイス２は、暗号化が解除された設定データで、メモリ領域１５１のプログラマブルメモリ領域１５２に格納されているＦＰＧＡ１３１の設定データを更新し（ステップＳ１１０）、更新した設定データをＦＰＧＡ１３１に設定する（ステップＳ１１１）。なお、受信した設定データに発光部１９のレーザドライバ１８や受光部１１のＡＦ／ＯＩＳドライバ１６や光学系を駆動するアクチュエータや信号処理回路１２の各部に対する設定データが含まれていた場合には、通信デバイス２は、この設定データで不揮発性メモリ１７内の所定のパラメータを更新する。これにより、レーザドライバ１８及び／又はＡＦ／ＯＩＳドライバ１６による各部の駆動が調整される。

次に、通信デバイス２は、繰返し回数Ｎを１インクリメントし（ステップＳ１１２）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１１３）。繰返し回数Ｎが上限値以下である場合（ステップＳ１１３のＮＯ）、通信デバイス２は、ステップＳ１０４へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１１３のＹＥＳ）、通信デバイス２は、ステップＳ１１４へ進む。

ステップＳ１１４では、通信デバイス２は、繰返し回数Ｎを１にリセットする。つづいて、通信デバイス２は、上述のステップＳ１０４〜１０７と同様に、測距センサ１００から取得したデプス性能をＤＡ変換後に暗号化してサーバ３へ送信し（ステップＳ１０６）、その後、サーバ３からの応答を待機する（ステップＳ１１５〜Ｓ１１８のＮＯ）。これに対し、サーバ３は、後述において図８を用いて説明するように、通信デバイス２から受信したデプス性能を解析し、デプス性能劣化があると認められる場合には、当該デプス性能劣化を解消するためにＦＰＧＡ１３１に組み込む回路データを生成する。

サーバ３からデプス性能劣化無しの解析結果を受信した場合（ステップＳ１１８のＹＥＳ）、通信デバイス２は、本動作を終了する。一方、デプス性能劣化がある旨の解析結果を受信した場合（ステップＳ１１８のＮＯ）、通信デバイス２は、サーバ３からネットワーク４を介して暗号化済みの回路データを受信し（ステップＳ１１９）、受信した暗号化済み回路データの暗号化を解除する（ステップＳ１２０）。つづいて、通信デバイス２は、暗号化が解除された回路データで、プログラマブルメモリ領域に格納されているＦＰＧＡ１３１の回路データを更新し（ステップＳ１２１）、更新した回路データをＦＰＧＡ１３１に組み込むことで、ＦＰＧＡ１３１の回路構成を変更する（ステップＳ１２２）。

次に、通信デバイス２は、繰返し回数Ｎを１インクリメントし（ステップＳ１２３）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１２４）。繰返し回数Ｎが上限値以下である場合（ステップＳ１２４のＮＯ）、通信デバイス２は、ステップＳ１１５へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１２４のＹＥＳ）、通信デバイス２は、本動作を終了する。

２．１０．２ サーバ３の動作例
図２３に示すように、サーバ３は、本動作を起動後、通信デバイス２から解析要求を受信するまで待機し（ステップＳ１３１のＮＯ）、解析要求を受信すると（ステップＳ１３１のＹＥＳ）、まず、解析要求を送信した通信デバイス２を特定する（ステップＳ１３２）。

次に、サーバ３は、解析要求を送信した通信デバイス２の特定に成功すると、特定した通信デバイス２のプログラマブルメモリ領域１５２に格納されている回路データ及び／又は設定データを、所定の記憶装置から読み出すとともに（ステップＳ１３３）、解析要求を送信した通信デバイス２に対して、解析の許可応答を送信する（ステップＳ１３４）。なお、サーバ３の記憶装置には、登録済みの通信デバイス２のプログラマブルメモリ領域１５２に格納されている回路データ及び／又は設定データが、通信デバイス２ごとに格納されている。すなわち、各通信デバイス２の回路データ及び／又は設定データは、通信デバイス２とサーバ３とで共有されている。

次に、サーバ３は、繰返し回数Ｎに１をセットし（ステップＳ１３５）、その後、通信デバイス２から暗号化済みのデプス性能を受信するまで待機する（ステップＳ１３６のＮＯ）。暗号化済みのデプス性能を受信すると（ステップＳ１３６のＹＥＳ）、サーバ３は、暗号化済みのデプス性能の暗号化を解除し（ステップＳ１３７）、暗号化が解除されたデプス性能を解析し（ステップＳ１３８）、その結果に基づいて、デプス性能劣化があるか否かを判定する（ステップＳ１３９）。

デプス性能劣化がない場合（ステップＳ１３９のＮＯ）、サーバ３は、デプス性能劣化がないことを通信デバイス２へ通知し（ステップＳ１５７）、ステップＳ１５８へ進む。一方、デプス性能劣化がある場合（ステップＳ１３９のＹＥＳ）、ステップＳ１３８の解析結果に基づいて、測距センサ１００におけるデプス性能劣化の原因となる箇所を特定し、特定された箇所の新たな設定データを生成する（ステップＳ１４０）。そして、サーバ３は、生成した設定データを通信デバイス２に対応付けて所定の記憶装置に保存する（ステップＳ１４１）とともに、生成した設定データを暗号化し（ステップＳ１４２）、暗号化済みの設定データをネットワーク４を介して通信デバイス２へ送信する（ステップＳ１４３）。なお、新たな設定データを生成には、上述したように、新たに取得されたデータ及び／又は過去に取得済みのデプス性能に対する機械学習により得られた学習済みモデルが用いられてよい。

次に、サーバ３は、繰返し回数Ｎを１インクリメントし（ステップＳ１４４）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１４５）。繰返し回数Ｎが上限値以下である場合（ステップＳ１４５のＮＯ）、サーバ３は、ステップＳ１３６へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１４５のＹＥＳ）、サーバ３は、ステップＳ１４６へ進む。

ステップＳ１４６では、サーバ３は、繰返し回数Ｎを１にリセットする。つづいて、サーバ３は、通信デバイス２から暗号化済みデプス性能を受信するまで待機する（ステップＳ１４７のＮＯ）。暗号化済みデプス性能を受信すると（ステップＳ１４７のＹＥＳ）、サーバ３は、暗号化済みデプス性能の暗号化を解除し（ステップＳ１４８）、暗号化が解除されたデプス性能を解析し（ステップＳ１４９）、その結果に基づいて、デプス性能劣化があるか否かを判定する（ステップＳ１５０）。

デプス性能劣化がない場合（ステップＳ１５０のＮＯ）、サーバ３は、デプス性能劣化がないことを通信デバイス２へ通知し（ステップＳ１５７）、ステップＳ１５８へ進む。一方、デプス性能劣化がある場合（ステップＳ１５０のＹＥＳ）、ステップＳ１４９の解析結果に基づいて、測距センサ１００におけるデプス性能劣化の原因となる箇所を特定し、特定された箇所の新たな回路データを生成する（ステップＳ１５１）。そして、サーバ３は、生成した回路データを通信デバイス２に対応付けて所定の記憶装置に保存する（ステップＳ１５２）とともに、生成した回路データを暗号化し（ステップＳ１５３）、暗号化済みの回路データをネットワーク４を介して通信デバイス２へ送信する（ステップＳ１５４）。なお、新たな回路データを生成には、上述したように、新たに取得されたデータ及び／又は過去に取得済みのデプス性能に対する機械学習により得られた学習済みモデルが用いられてよい。

次に、サーバ３は、繰返し回数Ｎを１インクリメントし（ステップＳ１５５）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１５６）。繰返し回数Ｎが上限値以下である場合（ステップＳ１５６のＮＯ）、サーバ３は、ステップＳ１４７へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１５６のＹＥＳ）、サーバ３は、ステップＳ１５８へ進む。

ステップＳ１５８では、サーバ３は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１５８のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ１５８のＮＯ）、サーバ３は、ステップＳ１３１へリターンし、以降の動作を実行する。

以上のような動作を実行することで、通信デバイス２のフレキシブルロジック回路１３におけるＦＰＧＡ１３１の回路構成及び／又はパラメータがカスタマイズされて、測距センサ１００の劣化が補正される。それにより、通信デバイス２において、良好な状態のデプスデータを取得することが可能となる。

なお、通信デバイス２からサーバ３へデプス性能をアップロードする頻度は、適宜変更されてよい。また、例えば、リアルタイム性が重要となるＦＡやドローンや自動車やロボットなどでは、通信デバイス２からサーバ３へ送信するデプス性能のデータ量は小さい方が好ましい。そのような場合には、デプス性能のデータ量を低減するために、送信対象のデプス性能をＶＧＡレベルやＱＶＧＡレベルで圧縮したり、ビニングなどでデータを圧縮したりしてもよい。

２．１１ 測距センサ１００の劣化要因
図２４に示すように、劣化の原因には、測距センサ１００の光センサアレイ１１１における光電変換素子によるものや、レンズやアクチュエータなどの光学系のＲｘモジュールによるものや、発光部１９及びレーザドライバ１８等の発光系のＴｘモジュールによるものなどが存在する。

そこで本実施形態のように、設定データの変更及び／又は回路データの変更を実行することで、例えば、像高８０パーセント以上の領域でデプス性能劣化を抑制することが可能となる。なお、メモリ１５を追加したい場合には、メモリ１５を追加することが可能なように構成されてもよい。

２．１２ 高速処理の手法
次に、本実施形態に係る通信デバイス２が実行する高速処理の手法について、従来と比較しつつ説明する。

図２５は、従来型のデバイス構成を示すブロック図である。図２６は、図２５に例示したデバイス構成でデータを処理する際の流れを説明するための図である。図２７は、図２５に例示したデバイス構成で１０００個のデータを処理する際に要するクロックサイクル数を示す図である。一方、図２８は、本実施形態に係る測距センサ１００のデバイス構成を示すブロック図である。図２９は、本実施形態に係る測距センサ１００がデータを処理する際の流れを説明するための図である。図３０は、本実施形態に係る測距センサ１００で１０００個のデータを処理する際に要するクロックサイクル数を示す図である。

図２５に示すように、ロジック回路９１３、メインプロセッサ９１４及びメモリ９１５がバス９１９を介して接続されている従来型のデバイス構成では、１つのレイヤにロジック回路９１３とメインプロセッサ９１４とメモリ９１５とが混載している。そのため、シーケンシャルな処理により、複雑のプログラムをフレキシブルに実行することができる。

ただし、各処理を実行する回路（演算器ともいう）間でメモリ９１５をシェアする仕組みであるため、プロセッサコアの増加に伴い性能が落ちたり、並列処理に時間がかかったりなどのデメリットが発生する。例えば、図２１に例示した各処理を実行する際には、メインプロセッサ９１４がバス９１９を介してメモリ９１５から対象の１つずつデータを吸い上げ、これをロジック回路９１３に順次入力して処理を実行する必要がある。したがって、従来型のデバイス構造では、図２６に例示するように、各データＤに対する処理が順次行なわれるような、シーケンシャルな処理の流れとなる。

そのため、例えば、同じレベルの１０００個の命令を処理する場合には、１クロックあたりに実行できる命令数が１であることから、図２７に示すように、全ての命令を処理するためには、少なくとも１０００クロックサイクルが必要となってしまう。

これに対し、本実施形態に係る測距センサ１００は、各処理を実行するチップ１１０、１２０、１３０、１４０及び１５０が積層されたスタック構造を備える。そのため、測距センサ１００では、図２８に示すように、フレキシブルロジック回路１３がメモリ１５から直接データを吸い上げて処理することが可能となる。

このようなスタック構造であることの利点を生かすことで、複雑なプログラムをフレキシブルに実行することが可能になることや、メインプロセッサ１４で待機中のデータを吸い上げ、フレキシブルロジック回路１３でレジスタと演算回路を生成して並列処理に処理することなどのメリットが得られる。例えば、図２９に示すように、測距センサ１００では、複数のデータＤを並列に処理するパイプライン処理が可能となる。

このように、並列処理を可能とすることで、リアルタイム性能を向上することが可能となる。また、次処理が別処理の場合でも、ＦＰＧＡの回路構成を変更して複雑なプログラムもフレキシブルに実行することが可能となる。

また、パイプライン処理については、フレキシブルロジック部のＦＰＧＡの回路を変更することにより、１つのレイヤでも並列処理を実施することが可能である。

例えば、１クロックあたりに実行できる命令数を２とした場合には、すなわち、パイプライン処理の並列度を２とした場合には、図３０に示すように、同じレベルの１０００個の命令を処理するのに要するクロックサイクル数を、例えば、図２７に例示した従来型のデバイス構造と比較して、半分の５００クロックサイクルとすることが可能となる。すなわち、パイプライン処理の並列度をさらに上げることで、同じレベルの命令を処理するのに要するクロックサイクル数をその倍数分の１程度に低減することが可能である。

また、図２９に示すように、１回目の処理Ｓ１を機械学習しておくことで、２回目以降の処理Ｓ２において、処理すべきデータＤの数を低減することが可能となるため、より高速な処理を実現することも可能となる。

なお、ＦＰＧＡ１３１への新規回路の追加、処理スピード向上のための回路構成の変更（並列処理の改善、一部機能の削減等）などは、サーバ３側におけるデプス性能の解析による機械学習によって行われてよい。

２．１３ 作用・効果
以上で説明したように、本実施形態によれば、測距センサ１００で取得されたデプス性能に基づき、デプス性能劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、測距センサ１００が劣化した場合でも正確なデプス性能を取得することが可能になる。

また、本実施形態によれば、フレキシブルロジックチップにより、複雑のプログラムをフレキシブルに動かせたり、メインプロセッサ１４の待機中にデータを吸い上げてＦＰＧＡ１３１側でレジスタと演算回路を生成したり、各処理をパイプラインにて並列処理したりすることが可能となる。それにより、リアルタイム性能の向上や、複雑なプログラムに対するフレキシブルな対応が可能になる。

３．第２の実施形態
上述した実施形態では、測距センサ１００で取得されたデプス性能をサーバ３側で解析することでその劣化の原因を特定し、特定された劣化原因に基づいて、サーバ３がＦＰＧＡ１３１の設定データ及び／又は回路データの更新データを生成する場合について例示した。これに対し、第２の実施形態では、通信デバイス２側でデプス性能の解析から更新データの生成までを実行する場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。

３．１ デバイス構成
図３１は、本実施形態に係る測距センサの概略構成例を示すブロック図である。図３１に示すように、本実施形態に係る通信デバイス２における測距センサ２００は、例えば、第１の実施形態において図２を用いて説明した測距センサ２００と同様の構成を備える。ただし、本実施形態では、例えば、メインプロセッサ１４が、メモリ１５内に格納されているデプス性能を解析してその劣化の原因を特定し、特定された劣化原因に基づいて、ＦＰＧＡ１３１の設定データ及び／又は回路データの更新データを生成する。生成された設定データ及び／又は回路データの更新データは、上述した実施形態と同様に、メモリ１５における所定のプログラマブルメモリ領域１５２内に格納され、ＦＰＧＡ１３１に設定される。

なお、メインプロセッサ１４は、上述した実施形態におけるサーバ３と同様に、新たに取得されたデータ及び／又は過去に取得済みのデプス性能を機械学習することで学習済みモデルを生成し、生成した学習済みモデルを利用して設定データ及び／又は回路データの更新データを生成するように構成されてもよい。

３．２ 作用・効果
以上のように、本実施形態によれば、デプス性能の解析から更新データの生成までを通信デバイス２側で行なう構成とした場合でも、上述した実施形態と同様に、測距センサ２００で取得されたデプス性能に基づき、デプス性能劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、測距センサ２００が劣化した場合でも正確なデプス性能を取得することが可能になる。

その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

４．第３の実施形態
上述した第２の実施形態では、メインプロセッサ１４が機械学習を実行して学習済みモデルを作成し、それを用いて設定データ及び／又は回路データの更新データを生成する場合について例示したが、このように、通信デバイス２側でデプス性能の解析から更新データの生成までを実行する場合、通信デバイス２内に機械学習を実行する専用のチップが設けられてもよい。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。

４．１ デバイス構成
図３２は、本実施形態に係る測距センサの概略構成例を示すブロック図である。図３２に示すように、本実施形態に係る通信デバイス２における測距センサ１００は、例えば、第２の実施形態において図３１を用いて説明した測距センサ２００と同様の構成に対し、ＤＮＮ（Deep Neural Network）及び／又はＣＮＮ（Convolutional Neural Network）などの機械学習を実行して測距センサ３００により取得されたデプス性能（画素信号、位相データ、発光部１９及び受光部１１を駆動するためのパラメータ、デプスデータ等）を解析する解析回路３１が追加された構成を備える。

４．２ センサチップのスタック構成例
本実施形態に係るセンサチップ１０のスタック構成は、例えば、第１の実施形態において図３を用いて説明したスタック構成と同様の構成において、フレキシブルロジックチップ１３０とプロセッサチップ１４０との間に、解析回路３１が作り込まれたＤＮＮチップが配置されたスタック構成であってもよい。ただし、これに限定されず、例えば、図３３〜図４４に例示するように、センサチップ１０のスタック構成を変形することも可能である。

図３３は、センサチップの第１変形例に係るスタック構成を示す模式図であり、図７に例示した第１の実施形態の第１変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図３４は、センサチップの第２変形例に係るスタック構成を示す模式図であり、図８に例示した第１の実施形態の第２変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図３５は、センサチップの第３変形例に係るスタック構成を示す模式図であり、図９に例示した第１の実施形態の第３変形例に係るセンサチップ１０と同様のスタック構成において、第３層に解析回路３１が追加されている。

図３６は、センサチップの第４変形例に係るスタック構成を示す模式図であり、図１０に例示した第１の実施形態の第４変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図３７は、センサチップの第５変形例に係るスタック構成を示す模式図であり、図１１に例示した第１の実施形態の第５変形例に係るセンサチップ１０と同様のスタック構成において、第３層に解析回路３１が追加されている。

図３８は、センサチップの第６変形例に係るスタック構成を示す模式図であり、図１２に例示した第１の実施形態の第６変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図３９は、センサチップの第７変形例に係るスタック構成を示す模式図であり、図１３に例示した第１の実施形態の第７変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図４０は、センサチップの第８変形例に係るスタック構成を示す模式図であり、図１４に例示したい第１の実施形態の第８変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図４１は、センサチップの第９変形例に係るスタック構成を示す模式図であり、図１５に例示した第１の実施形態の第９変形例に係るセンサチップ１０と同様のスタック構成において、第３層に解析回路３１が追加されている。

図４２は、センサチップの第１０変形例に係るスタック構成を示す模式図であり、図１６に例示した第１の実施形態の第１０変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

図４３は、センサチップの第１１変形例に係るスタック構成を示す模式図であり、図１７に例示した第１の実施形態の第１１変形例に係るセンサチップ１０と同様のスタック構成において、第３層に解析回路３１が追加されている。

図４４は、センサチップの第１２変形例に係るスタック構成を示す模式図であり、図１８に例示した第１の実施形態の第１２変形例に係るセンサチップ１０と同様のスタック構成において、第２層に解析回路３１が追加されている。

なお、第１の実施形態と同様に、本実施形態では、それぞれ個別のチップ１１０、１２０、１３０、１４０及び１５０に作り込まれた受光部１１、信号処理回路１２、フレキシブルロジック回路１３、メインプロセッサ１４及びメモリ１５を積層したスタック構造を例示しているが、上述する実施形態にあるように、スタック構造は、種々変形することが可能である。例えば、高速なデプス処理が要求されないデバイスを通信デバイス２とした場合、第１の実施形態において図６を用いて説明したように、信号処理回路１２とメインプロセッサ１４とフレキシブルロジック回路１３とメモリ１５とを１つのチップ１６０とすることも可能である。その場合、各チップ１２０〜１５０の製造工程数や貼り合わせの工程を削減することができるため、製造コストを抑えることが可能となる。また、用途によっては、図６におけるチップ１６０からメインプロセッサ１４を省略することも可能である。

４．３ ＤＮＮ／ＣＮＮ解析処理
つづいて、本実施形態に係る解析回路３１が実行する機械学習処理について、例を挙げて説明する。なお、以下の説明では、解析回路３１がＤＮＮ及び／又はＣＮＮによる解析処理を実行する場合を例示するが、これに限定されず、解析回路３１は目的に応じた種々の解析処理を実行してもよい。

図４５は、本実施形態に係るＤＮＮ／ＣＮＮ解析処理（機械学習処理）の一例を説明するための図である。図４５に示すように、ＤＮＮ／ＣＮＮ解析ステップＳ７００では、例えば、第１の実施形態において図２１を用いて例示した、光電変換ステップＳ１００、信号処理ステップＳ２００、位相変換ステップＳ３００、キャリブレーションステップＳ４００、制御系ステップＳ５００及びフィルタリングステップＳ６００の６つのステップのうち、信号処理ステップＳ２００〜フィルタリングステップＳ６００それぞれの処理の結果が入力層に与えられる。ＤＮＮ／ＣＮＮ解析ステップＳ７００は、入力層から隠れ層を介して出力層までの各層のノード（ニューロンともいう）間を結ぶ各エッジの重みを求めることで、デプスデータの劣化を低減するのに最適となる設定データ及び／又は回路データを出力層に出現させる学習済みモデルが作成される。

解析回路３１及び／又はメインプロセッサ１４は、以上のようにして作成された学習済みモデルを用いることで、デプスデータの劣化を低減するのに最適となる設定データ及び／又は回路データの更新データを生成し、作成した更新データを、メモリ１５のプログラマブルメモリ領域１５２に格納する。

４．４ 補正処理
つづいて、測距センサ１００の劣化を検出して補正する際の動作を、フローチャートを用いて詳細に説明する。図４６は、本実施形態に係る動作の概略例を示すフローチャートである。

図４６に示すように、本動作では、まず、メインプロセッサ１４が、解析の繰返し回数を管理する値Ｎに１をセットする（ステップＳ２０１）。つづいて、信号処理回路１２を制御することで、受光部１１からデプスデータが読み出される（ステップＳ２０１）。

次に、メインプロセッサ１４及びフレキシブルロジック回路１３が、取得したデプスデータに対して、図２１に例示した各段階の処理を施し、それぞれの段階の結果を解析回路３１に入力することで、デプスデータを解析する（ステップＳ２０３）。そして、メインプロセッサ１４は、解析結果に基づいて、デプス性能劣化があるか否かを判定する（ステップＳ２０４）。

デプス性能劣化がない場合（ステップＳ２０４のＮＯ）、メインプロセッサ１４は、本動作を終了する。一方、デプス性能劣化がある場合（ステップＳ２０４のＹＥＳ）、メインプロセッサ１４及び解析回路３１は、ステップＳ２０３の解析結果に基づいて、測距センサ１００におけるデプス性能劣化の原因となる箇所を解析し（ステップＳ２０５）、その解析結果に基づいて、新たな設定データ及び／又は回路データを生成する（ステップＳ２０６）。

次に、メインプロセッサ１４は、生成した設定データ及び／又は回路データで、メモリ１５のプログラマブルメモリ領域１５２に格納されているＦＰＧＡ１３１の設定データ及び／又は回路データを更新し（ステップＳ２０７）、更新した設定データをＦＰＧＡ１３１に設定するとともに、更新した回路データをＦＰＧＡ１３１に組み込むことで、ＦＰＧＡ１３１の回路構成を変更する（ステップＳ２０８）。なお、発光部１９を駆動するレーザドライバ１８や、受光部１１の光学系を駆動するアクチュエータや信号処理回路１２の各部に対する設定データを更新する場合には、この設定データで不揮発性メモリ１７内の所定のパラメータが更新される。これにより、レーザドライバ１８やアクチュエータ等による各部の駆動が調整される。

次に、メインプロセッサ１４は、繰返し回数Ｎを１インクリメントし（ステップＳ２０９）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ２１０）。繰返し回数Ｎが上限値以下である場合（ステップＳ２１０のＮＯ）、メインプロセッサ１４は、ステップＳ２０２へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ２１０のＹＥＳ）、メインプロセッサ１４は、本動作を終了する。

４．５ 作用・効果
以上のように、本実施形態によれば、解析回路３１を通信デバイス２側に組み込むことで、通信デバイス２側で機械学習に基づいて、デプスデータの解析から更新データの生成までを行なうことが可能となる。それにより、測距センサ１００が劣化した場合でも正確なデプスデータを取得することが可能になる。

なお、本実施形態において、メインプロセッサ１４は必須の構成ではなく、省略されてもよい。その場合、フレキシブルロジック回路１３及び解析回路３１によって各種データ処理が実行されてよい。

その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

５．第４の実施形態
なお、第３の実施形態に係る解析回路３１は、ＦＰＧＡで構成されてもよい。その場合、解析回路３１は、例えば、フレキシブルロジック回路１３内に実装されてもよい。それにより、消費電流を低減することが可能となる。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。

５．１ デバイス構成
図４７は、本実施形態に係る測距センサの概略構成例を示すブロック図である。図４７に示すように、本実施形態に係る通信デバイス２における測距センサ４００は、例えば、第３の実施形態において図３２を用いて説明した測距センサ３００と同様の構成において、解析回路３１が省略され、代わりにフレキシブルロジック回路１３が解析回路３１を含むフレキシブルロジック回路４３に置き換えられた構成を備える。

５．２ センサチップのスタック構成例
本実施形態に係るセンサチップ１０のスタック構成は、例えば、第３の実施形態において図３を用いて説明したスタック構成と同様の構成において、フレキシブルロジック回路１３の代わりに、フレキシブルロジック回路４３がフレキシブルロジックチップ１３０に作りこまれた構成であってよい。ただし、これに限定されず、例えば、図４８〜図５９に例示するように、第１の実施形態において図７〜図１８を用いて説明した第１〜第１２変形例に係るスタック構成におけるフレキシブルロジック回路１３を、フレキシブルロジック回路４３に置き換えた構成とすることも可能である。

なお、第１の実施形態と同様に、本実施形態では、それぞれ個別のチップ１１０、１２０、１３０、１４０及び１５０に作り込まれた受光部１１、信号処理回路１２、フレキシブルロジック回路４３、メインプロセッサ１４及びメモリ１５を積層したスタック構造を例示しているが、上述する実施形態にあるように、スタック構造は、種々変形することが可能である。例えば、高速なデプス処理が要求されないデバイスを通信デバイス２とした場合、第１の実施形態において図６を用いて説明したように、信号処理回路１２とメインプロセッサ１４とフレキシブルロジック回路１３とメモリ１５とを１つのチップ１６０とすることも可能である。その場合、各チップ１２０〜１５０の製造工程数や貼り合わせの工程を削減することができるため、製造コストを抑えることが可能となる。また、用途によっては、図６におけるチップ１６０からメインプロセッサ１４を省略することも可能である。

５．３ 作用・効果
以上のように、本実施形態によれば、解析回路３１をフレキシブルロジック回路４３内に組み込むことで、通信デバイス２側で機械学習に基づいて、デプスデータの解析から更新データの生成までを行なうことが可能となる。それにより、測距センサ４００が劣化した際の調整を低消費電流で行うことが可能となる。

なお、本実施形態において、メインプロセッサ１４は必須の構成ではなく、省略されてもよい。その場合、フレキシブルロジック回路４３によって各種データ処理が実行されてよい。

その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

６．第５の実施形態
上述した第１及び第２の実施形態では、図６０に示すように、デプス性能／デプスデータ（以下、簡略化のため、単にデプスデータ又は測距情報という）の解析から更新データの生成までを実行する解析回路５１をサーバ３に設け、サーバ３側でデプスデータの解析から更新データの生成までを実行する場合を例示した。また、第３及び第４の実施形態では、図６１に示すように、通信デバイスに解析回路３１又は解析回路３１を含むフレキシブルロジック回路４３を設け、通信デバイス２側でデプスデータの解析から更新データの生成までを実行する場合を例示した。ただし、デプスデータの解析から更新データの生成までを実行する構成は、サーバ３と通信デバイス２との何れか一方に限定されない。例えば、図６２に例示するように、デプスデータの解析から更新データの生成までを実行する構成を、サーバ３と通信デバイス２とから選択できる構成とすることも可能である。

具体的には、例えば、通信デバイス２がドローンやＦＡや自動車や自律ロボットなどの移動するデバイスである場合、移動中は通信デバイス２内でデプスデータの解析から更新データの生成までを実施し、停止中はサーバ３側でデプスデータの解析から更新データの生成までを実施する等、適宜切り替えて実行するように構成することも可能である。

若しくは、図６２に例示する構成において、デプスデータの解析から更新データの生成までの処理のうち、一部をサーバ３側で実行し、残りを通信デバイス２側で実行するように構成することも可能である。

デプスデータの解析から更新データの生成までの処理のうちの少なくとも一部をサーバ３側で実行するか通信デバイス２側で実行するかの切替えは、例えば、メインプロセッサ１４又は不図示のアプリケーションプロセッサ（切替部）で実行されてよい。

以上のように、本実施形態によれば、解析回路３１／４３内のＦＰＧＡ１３１が実現する回路構成を変更することが可能であるため、通信デバイス２の用途に応じて、センサチップ１０の回路構成を変更することで、第１又は第２の実施形態に係るセンサシステム１（図６０参照）と、第３又は第４の実施形態に係るセンサシステム１（図６１参照）とのいずれにも対応することが可能である。

それにより、以下のような効果を奏することが可能となる。
・各通信デバイス２による画質の固体調整が定期的に可能
・低消費電流化が可能
・目的に特化した特殊な環境で特定の作業を高速に安定して画像処理することが可能
・スマートフォンなどの携帯型端末や自動車などの移動デバイスなど、様々なデバイスに対して応用することが可能。

また、通信デバイス２がドローンや自動車や自律ロボットなどの移動するデバイスである場合には、以下のような効果をさらに奏することも可能となる。
・移動中はセンサチップ１０内で画像データの解析から更新データの生成までを実施し、停止中はサーバ３側で画像データの解析から更新データの生成までを実施する等、適宜切り替えて実行するように設計することが可能
・画像データの解析から更新データの生成までの処理のうち、一部をサーバ３側で実行し、残りを通信デバイス２側で実行するように設計することが可能

その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

７．ユースケース
つづいて、上述した実施形態に係るセンサシステム１のユースケースについて、いくつか例を挙げて説明する。なお、以下の説明では、ユースケースとして、インキャビンモニタリング（In-Cabin Monitoring）システム（以下、ＩＣＭという）とＦＡとを例に挙げる。図６３は、ＩＣＭでの上述した実施形態のユースケースと、ＦＡでの上述した実施形態のユースケース１〜７とをまとめた表である。以下、図６３に示す表における各ユースケースについて詳細に説明する。

７．１ インキャビンモニタリングシステム（ＩＣＭ）のユースケース
まず、図６３の上段に示されたＩＣＭのユースケースについて説明する。なお、本ユースケースでは、上述した実施形態に係る測距センサ１００／２００／３００／４００（以下、簡略化のため、測距センサ１００とする）が搭載された広角の測距装置（通信デバイス２に相当）を車両ＡＭのフロントミラー／前方天井に取り付け、前列シートのドライバ及びパセンジャの状態をモニタリングする場合が例示される。なお、後方の天井にも測距センサ１００が搭載された広角の測距装置（他の通信デバイス２に相当）を取り付けることで、後列シートのパセンジャや後列シートに置かれている物体のモニタリング（物体の場合は物体検知）を行ってもよい。

図６４〜図６９は、ＩＣＭのユースケースを説明するための図であり、図６４は、車両ＡＭの前列シートをモニタする測距装置（通信デバイス２に相当。以下、前列車載センサという）により撮像されたデプス画像Ｇ１の例を示す図であり、図６５は、図６４の前列車載センサの水平画角を示し、図６６は、図６４の前列車載センサの垂直画角を示している。また、図６７は、車両ＡＭの後列シートをモニタする後列車載センサ（通信デバイス２に相当）により撮像されたデプス画像Ｇ２の例を示す図であり、図６８は、図６７の前列車載センサ及び後列車載センサそれぞれの水平画角を示し、図６９は、図６７の前列車載センサ及び後列車載センサそれぞれの垂直画角を示している。なお、図６７の前列車載センサで撮影されたデプス画像の例は、図６４に示すデプス画像Ｇ１と同様であってよい。

図７０は、ＩＣＭの自動運転レベルごとの主な検知対象と目的と示すテーブルである。例えば、レベル２では、ドライバの集中低下を通知するため、ドライバの顔の表情の検出、目の視差の検出、目の開／閉の確認が実行される。レベル２〜３では、ドライバの運転姿勢や状態を監視した姿勢検知が実行される。レベル４では、快適な空間を実現させるために、感情センシング等が実施される。このように、自動運転では、レベルが上がることにより、単独のセンシングデータ（例えば、視線等）のみでなく、人間工学に基づく様々なデータからドライバの状態を判断する必要がある。それにより、人為的ミスを検知して事故を抑制することが可能となる。

７．１．１ ユースケース１
図７１及び図７２は、ＩＣＭにおけるユースケース１を説明するための図である。ユースケース１では、測距センサ１００における発光部１９の出力が低下した場合であって、発光部１９の駆動電流の上限値に余裕がある場合の自動制御方法を例示する。

図７１は、測距センサの検出範囲例を示す模式図である。図７２は、発光部（Ｔｘ）から出力される照射光のパルス波形と受光部（Ｒｘ）の蓄積期間との関係を示すタイミングチャートであり、（ａ）は、正常時のタイミングチャートを示し、（ｂ）は、発光部１９の出力が低下した際のタイミングチャートを示し、（ｃ）は、本開示による発光部１９の出力調整後のタイミングチャートを示している。

また、図７２には、正常時の駆動電流を４Ａ（アンペア）、照射光Ｌ１のデューティ比を３０％として発光部１９を駆動し、蓄積期間を３００μｓ（マイクロ秒）として受光部１１を駆動した場合が例示されている。

図７１に示すように、例えば、発光部１９の出力が何らかの理由で低下した場合、測距センサ１００の検出範囲Ｄ１は、より距離の短い検出範囲Ｄ２に変化する。それにより、図７２の（ａ）〜（ｂ）に示すように、出力低下後の照射光Ｌ１のパルス強度が低下してしまう。その結果、デプスノイズやデプスエラー等が増加してＳＮ比が悪化するため、顔認証、ジェスチャー認証、姿勢検知、感情センシング等の検出精度が低下してしまう可能性が生じる。

そこで本ユースケースでは、発光部１９の駆動電流の上限値に余裕があるため、上述した実施形態に係る手法を用いることで、発光部１９の電流設定を上げるように、不揮発性メモリ１７に格納されているレーザドライバ１８の駆動用のパラメータを更新する。それにより、図７２の（ｃ）に示すように、発光部１９から出力される照射光Ｌ１のパルス強度を正常時の値に修正することが可能となる。

なお、発光部１９が複数の発光素子が２次元格子状に配列した構造を備える場合で会って、配列面の一部に劣化等による出力の低下が発生した場合、デプスデータからレーザドライバ１８における出力が低下した領域をデプスデータから特定し、特定された領域に対応する駆動回路に対するパラメータを調整するように、更新データを生成してもよい。

７．１．２ ユースケース２
図７３は、ＩＣＭにおけるユースケース２を説明するための図である。ユースケース２では、測距センサ１００における発光部１９の出力が低下した場合であって、発光部１９の駆動電流の上限値に余裕がない場合の自動制御方法を例示する。

図７３は、発光部から出力される照射光のパルス波形と受光部の蓄積期間との関係を示すタイミングチャートであり、（ａ）は、発光部１９のデューティ比（すなわち、照射光Ｌ１のデューティ比）を調整することで検出精度を維持する場合のタイミングチャートを示し、（ｂ）は、受光部１１の蓄積期間を調整することで検出精度を維持する場合のタイミングチャートを示し、（ｃ）は、発光部１９のデューティ比と受光部１１の蓄積期間を調整することで検出精度を維持する場合のタイミングチャートを示している。なお、測距センサ１００の検出範囲は、図７１に例示する検出範囲Ｄ１／Ｄ２と同様であってよい。

図７３の（ａ）〜（ｃ）に示すように、発光部１９の駆動電流の上限値に余裕がない場合、発光部１９のデューティ比及び受光部１１の蓄積期間のいずれか一方又は両方を調整するように、不揮発性メモリ１７に格納されているレーザドライバ１８及びセンサチップ１０の駆動用のパラメータを更新する。それにより、検出精度を維持するように測距センサ１００を調整することが可能となる。

なお、発光部１９が複数の発光素子が２次元格子状に配列した構造を備える場合であって、配列面の一部に劣化等による出力の低下が発生した場合、ユースケース１と同様に、デプスデータからレーザドライバ１８における出力が低下した領域をデプスデータから特定し、特定された領域に対応する駆動回路に対するパラメータを調整するように、更新データを生成してもよい。

７．１．３ ユースケース３
図７４〜図７６は、ＩＣＭにおけるユースケース３を説明するための図である。ユースケース３では、発光部１９が複数の光源より構成されている場合であって、複数の光源間で発光タイミング（位相）がズレた場合の位相ズレ制御による自動デプス性能改善方法を示している。

図７４は、発光部を構成する複数の光源の照射範囲例を示す模式図である。図７５及び図７６は、発光部の複数の光源（Ｔｘ１〜Ｔｘ３）から出力される照射光のパルス波形と受光部（Ｒｘ）の蓄積期間との関係を示すタイミングチャートであり、図７５の（ａ）は、正常時のタイミングチャートを示し、（ｂ）は、複数の光源Ｔｘ１〜Ｔｘ３のうちの１つの光源Ｔｘ２の位相がズレた場合のタイミングチャートを示し、図７６は、本開示による発光部１９の位相調整後のタイミングチャートを示している。

図７４及び図７５の（ａ）に示すように、発光部１９の複数の光源Ｔｘ１〜Ｔｘ３は、それぞれ重複する照射範囲Ａ１〜Ａ３に、互いに同位相の照射光Ｌ１を照射している。この状態で、図７５の（ｂ）に示すように、発光部１９からレーザドライバ１８までの構成の劣化（発光部１９とレーザドライバ１８とを接続するフレキシブル接続部分の影響も含む）の影響で一部の光源Ｔｘ２で位相ズレが発生した場合、本開示では、デプスデータを解析することで、光量が減衰している領域からどの光源が位相ズレを起こしているかを特定する。そして、例えば、光源Ｔｘ２が位相ズレを起こしている場合、他の光源Ｔｘ１及びＴｘ３の位相を遅らせて光源Ｔｘ２の位相に合わせるとともに、受光部１１の蓄積期間を各光源Ｔｘ１〜Ｔｘ３の位相に合わせて遅らせるように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより。発光部１９の全ての光源Ｔｘ１〜Ｔｘ３で位相をそろえることが可能となるため、面内の測距性能やデプス性能を改善することが可能となる。

７．１．４ ユースケース５
図７７〜図８０は、ＩＣＭにおけるユースケース５を説明するための図である。ユースケース５では、複数のＩＣＭ間で干渉した場合又はＩＣＭが他の車載システム（例えば、ドライビングモニタリングシステム等）と干渉した場合であって、干渉を起こす複数のＩＣＭ又はＩＣＭと他の車載システムとが重複する波長帯の照射光を使用している場合の干渉を抑制するための自動制御方法を示している。なお、図７７〜図７９において、ドットのハッチングがなされた扇状の領域は、ＩＣＭ及び他の車載システムの照射光の照射領域を示している。

図７７及び図７８は、複数のＩＣＭ間で照射領域が重複する場合を例示し、図７９は、ＩＣＭと他の車載システムとの間で照射領域が重複する場合が例示されている。図７７〜図７９に示すように、照射光の照射領域が重複する場合、それぞれの発光タイミングが重なっていると、図８０の（ａ）に示すように、互いの照射光が他のＩＣＭ又は他の車載システムに干渉する干渉区間が発生する。

そこで本開示では、図８０の（ｂ）に示すように、デプスデータを解析することで得られたデプス性能解析結果から干渉の影響で面内の少なくとも一部のデプス性能が低下したことが判明した場合、発光部１９の発光期間をシフトさせるように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより、複数のＩＣＭ又はＩＣＭと他の車載システムとの間で干渉が発生することを抑制することが可能となる。

７．１．５ ユースケース６
図８１〜図８３は、ＩＣＭにおけるユースケース６を説明するための図である。ユースケース６では、ユースケース５と同様に、複数のＩＣＭ間で干渉した場合又はＩＣＭが他の車載システム（例えば、ドライビングモニタリングシステム等）と干渉した場合であって、干渉を起こす複数のＩＣＭ又はＩＣＭと他の車載システムとが重複する波長帯の照射光を使用している場合の干渉を抑制するための自動制御方法を示している。ただし、ユースケース６では、少なくとも本開示に係るＩＣＭが照射光の波長変更機能を備えている。

図８１及び図８２は、複数のＩＣＭ間で照射領域が重複する場合を例示し、図８３は、ＩＣＭと他の車載システムとの間で照射領域が重複する場合が例示されている。図８１〜図８３において、ドットのハッチングがなされた扇状の領域は、第１の波長（例えば、９４０ｎｍ）の照射光で照射されている領域であり、斜線のハッチングがなされた領域は、第１の波長とは異なる第２の波長（例えば、８５０ｎｍ）の照射光が照射されている領域であるとする。

図８１〜図８３に示すように、デプスデータを解析することで得られたデプス性能解析結果から干渉の影響で面内の少なくとも一部のデプス性能が低下したことが判明した場合、発光部１９から出力される照射光Ｌ１を、干渉を生じない若しくは干渉の程度が小さい他の波長帯の照射光Ｌ１に変更するように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより、複数のＩＣＭ又はＩＣＭと他の車載システムとの間で干渉が発生することを抑制することが可能となる。

なお、上述したユースケース５とユースケース６とを組み合わせることで、より複雑に干渉が生じている場合でも、的確に干渉が発生することを抑制することが可能となる。

７．１．６ ユースケース７
図８４及び図８５は、ＩＣＭにおけるユースケース７を説明するための図である。ユースケース７では、測距センサ１００とカラー画像を取得可能なイメージセンサとを組み合わせて３次元のカラー画像を取得する３Ｄフュージョンを説明する。図８４及び図８５において、ハッチングされた矩形の領域は、正確なデプス情報が与えられていない領域であるとする。

図８４及び図８５に示すように、例えば、測距センサ１００のデプス性能の劣化により面内の一部の画像がおかしくなった場合、デプスデータを解析することで得られたデプス性能解析結果に基づいて不揮発性メモリ１７に格納されているパラメータを更新することで、３Ｄフュージョンにより取得される３次元カラー画像を自動で改善することが可能となる。また、測距センサ１００の少なくとも一部の劣化や故障が解析から分かった際は、フレキシブルロジック回路１３でＦＰＧＡ１３１を変更して補正することで、自動的に測距センサ１００の改善や修繕を行うことができる。

また、ユースケース７は、ドライバの顔の表情の検出、目の視差の検出、目の開／閉の確認、レベル２〜３のドライバの運転姿勢や状態を監視した姿勢検知、レベル４の快適な空間を実現させるための感情センシング等を実施するために３次元画像を作成する際にも応用することができる。その場合、図８４又は図８５と同様に、測距センサ１００のデプス性能の劣化で面内の一部の画像が乱れた場合、デプスデータを解析することで得られたデプス性能解析結果に基づいて不揮発性メモリ１７に格納されているパラメータを更新することで、生成される３次元画像を自動で改善することが可能となる。また、測距センサ１００の少なくとも一部の劣化や故障が解析から分かった際は、フレキシブルロジック回路１３でＦＰＧＡ１３１を変更して補正することで、自動的に測距センサ１００の改善や修繕を行うことができる。

７．２ ＦＡのユースケース
次に、図６３の下段に示されたＦＡのユースケースについて説明する。なお、本ユースケースでは、上述した実施形態に係る測距センサ１００／２００／３００／４００（以下、簡略化のため、測距センサ１００とする）が搭載された広角の測距装置（通信デバイス２に相当）をＦＡ搬送ロボットの目として取り付け、ＦＡ搬送ロボットが工場内などの領域内の障害物をモニタリングしつつ自走する場合が例示される。なお、測距センサ１００における発光部１９は、用途等に応じて複数設けられてもよい。

７．２．１ ユースケース１
ユースケース１では、測距センサ１００における発光部１９の出力が低下した場合であって、発光部１９の駆動電流の上限値に余裕がある場合の自動制御方法を例示する。この場合、ＩＣＭのユースケース１と同様に、発光部１９の駆動電流の上限値に余裕があるため、上述した実施形態に係る手法を用いることで、発光部１９の電流設定を上げるように、不揮発性メモリ１７に格納されているレーザドライバ１８の駆動用のパラメータを更新する。それにより、発光部１９から出力される照射光Ｌ１のパルス強度を正常時の値に修正することが可能となる。

７．２．２ ユースケース２
ユースケース２では、測距センサ１００における発光部１９の出力が低下した場合であって、発光部１９の駆動電流の上限値に余裕がない場合の自動制御方法を例示する。この場合、ＩＣＭのユースケース２と同様に、発光部１９のデューティ比及び受光部１１の蓄積期間のいずれか一方又は両方を調整するように、不揮発性メモリ１７に格納されているレーザドライバ１８及びセンサチップ１０の駆動用のパラメータを更新する。それにより、検出精度を維持するように測距センサ１００を調整することが可能となる。

７．２．３ ユースケース３
ユースケース３では、発光部１９が複数の光源より構成されている場合であって、複数の光源間で発光タイミング（位相）がズレた場合の位相ズレ制御による自動デプス性能改善方法を例示する。この場合、ＩＣＭのユースケース３と同様に、デプスデータを解析することで、光量が減衰している領域からどの光源が位相ズレを起こしているかを特定する。そして、例えば、光源Ｔｘ２が位相ズレを起こしている場合、他の光源Ｔｘ１及びＴｘ２の位相を遅らせて光源Ｔｘ２の位相に合わせるとともに、受光部１１の蓄積期間を各光源Ｔｘ１〜Ｔｘ３の位相に合わせて遅らせるように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより。発光部１９の全ての光源Ｔｘ１〜Ｔｘ３で位相をそろえることが可能となるため、面内の測距性能やデプス性能を改善することが可能となる。

７．２．４ ユースケース４
図８６及び８７は、ＦＡにおけるユースケース４を説明するための図である。ユースケース４では、ＦＡ搬送ロボットのスピードアップに伴う測距性能自動変更について説明する。ＦＡ搬送ロボットが速度を上昇させた場合、障害物検知のエリアを広げる必要が生じるため、測距センサ１００による検出距離を大きくする必要がある。そこで本開示では、デプスデータから現在のＦＡ搬送ロボットの速度を認識し、予め設定していた所定の速度以上であった場合、発光部１９の発光周期（周波数）を落とし、測距の距離を長くする。一例として、図８６及び図８７に示すように、ＦＡ搬送ロボットの速度が１５ｋｍ／ｈ未満の場合、例えば、１．５ｍの測距範囲となる１００ＭＨｚで発光部１９を駆動し、１５ｋｍ／ｈ以上３０ｋｍ／ｈ未満の場合、２．５ｍの測距距離となる、３０ｋｍ／ｈ以上の場合、３．７５ｍの測距距離となる４０ＭＨｚで発光部を駆動するように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより、ＦＡ搬送ロボットの速度に応じて自動で測距距離を調整することが脳となるため、障害物等への衝突を抑制することが可能となる。

７．２．５ ユースケース５
図８８〜図９０は、ＦＡにおけるユースケース５を説明するための図である。ユースケース５では、複数のＦＡ搬送ロボット間で干渉した場合又はＦＡ搬送ロボットが他のモニタリングシステム（例えば、エリアモニタリングシステム等）と干渉した場合であって、干渉を起こす複数のＦＡ搬送ロボット又はＦＡ搬送ロボットと他のモニタリングシステムとが重複する波長帯の照射光を使用している場合の干渉を抑制するための自動制御方法を示している。なお、図８８〜図９０において、斜線のハッチングがなされた扇状の領域は、ＦＡ搬送ロボット及び他のモニタリングシステムの照射光の照射領域を示している。

このような場合、ＩＣＭのユースケース５と同様に、発光部１９の発光期間をシフトさせるように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより、複数のＦＡ搬送ロボット又はＦＡ搬送ロボットと他のモニタリングシステムとの間で干渉が発生することを抑制することが可能となる。

７．２．６ ユースケース６
図９１〜図９３は、ＦＡにおけるユースケース６を説明するための図である。ユースケース６では、ユースケース５と同様に、複数のＦＡ搬送ロボット間で干渉した場合又はＦＡ搬送ロボットが他のモニタリングシステム（例えば、エリアモニタリングシステム等）と干渉した場合であって、干渉を起こす複数のＦＡ搬送ロボット又はＦＡ搬送ロボットと他のモニタリングシステムとが重複する波長帯の照射光を使用している場合の干渉を抑制するための自動制御方法を示している。ただし、ユースケース６では、少なくとも本開示に係るＦＡ搬送ロボットが照射光の波長変更機能を備えている。

図９１〜９２は、複数のＦＡ搬送ロボット間で照射領域が重複する場合を例示し、図９３は、ＦＡ搬送ロボットと他のモニタリングシステムとの間で照射領域が重複する場合が例示されている。図９１〜図９３において、左斜線のハッチングがなされた扇状の領域は、第１の波長（例えば、９４０ｎｍ）の照射光で照射されている領域であり、右斜線のハッチングがなされた領域は、第１の波長とは異なる第２の波長（例えば、８５０ｎｍ）の照射光が照射されている領域であるとする。

このような場合、ＩＣＭのユースケース６と同様に、発光部１９から出力される照射光Ｌ１を、干渉を生じない若しくは干渉の程度が小さい他の波長帯の照射光Ｌ１に変更するように、不揮発性メモリ１７に格納されているパラメータを更新する。これにより、複数のＦＡ搬送ロボット又はＦＡ搬送ロボットと他のモニタリングシステムとの間で干渉が発生することを抑制することが可能となる。

７．２．７ ユースケース７
図９４は、ＦＡにおけるユースケース７を説明するための図である。ユースケース７では、測距センサ１００とカラー画像を取得可能なイメージセンサとを組み合わせて３次元のカラー画像を取得する３Ｄフュージョンを説明する。図９４において、塗りつぶされた矩形の領域は、正確なデプス情報が与えられていない領域であるとする。

図９４に示すように、例えば、測距センサ１００のデプス性能の劣化により面内の一部の画像がおかしくなった場合、ＩＣＭのユースケース７と同様に、デプスデータを解析することで得られたデプス性能解析結果に基づいて不揮発性メモリ１７に格納されているパラメータを更新することで、３Ｄフュージョンにより取得される３次元カラー画像を自動で改善することが可能となる。また、測距センサ１００の少なくとも一部の劣化や故障が解析から分かった際は、フレキシブルロジック回路１３でＦＰＧＡ１３１を変更して補正することで、自動的に測距センサ１００の改善や修繕を行うことができる。

また、ＦＡのユースケース７は、デプスデータを物体検知を実施するために３次元画像を作成する際にも応用することができる。その場合、ＩＣＭのユースケース７と同様に、測距センサ１００のデプス性能の劣化で面内の一部の画像が乱れた場合、デプスデータを解析することで得られたデプス性能解析結果に基づいて不揮発性メモリ１７に格納されているパラメータを更新することで、生成される３次元画像を自動で改善することが可能となる。また、測距センサ１００の少なくとも一部の劣化や故障が解析から分かった際は、フレキシブルロジック回路１３でＦＰＧＡ１３１を変更して補正することで、自動的に測距センサ１００の改善や修繕を行うことができる。

８．応用例
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図９５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図９５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図９５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図９６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図９６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図９５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図９５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１を用いて説明した本実施形態に係るセンサシステム１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図２を用いて説明した本実施形態に係る通信デバイス２は、図９５に示した応用例の統合制御ユニット７６００に適用することができる。例えば、通信デバイス２のメインプロセッサ１４、メモリ１５、送受信部２０は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。

また、図２を用いて説明した通信デバイス２の少なくとも一部の構成要素は、図９５に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。さらに、図１を用いて説明したセンサシステム１は、図９５に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
測距情報を取得するセンサと、
前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡ（Field-Programmable Gate Array）と、
前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
を備える測距装置。
（２）
前記メモリ内の前記データは、前記測距情報の解析結果に応じて更新される前記（１）に記載の測距装置。
（３）
前記所定の処理が実行された前記測距情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記測距情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
をさらに備え、
前記メモリ内の前記データは、前記更新データで更新される
前記（１）又は（２）に記載の測距装置。
（４）
前記送信部は、無線により前記測距情報を所定のネットワークへ送信し、
前記受信部は、無線により前記所定のネットワークから前記更新データを受信する
前記（３）に記載の測距装置。
（５）
前記測距情報を暗号化する暗号化部と、
前記更新データの暗号化を解除する復号部と、
をさらに備える前記（４）に記載の測距装置。
（６）
前記測距情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成し、当該生成された更新データで前記メモリ内の前記データを更新するプロセッサをさらに備える前記（１）〜（５）の何れか１項に記載の測距装置。
（７）
ＤＮＮ（Deep Neural Network）及びＣＮＮ（Convolutional Neural Network）のうちの少なくとも１つを用いる機械学習により前記測距情報を解析する解析回路をさらに備え、
前記プロセッサは、前記解析回路による前記機械学習の結果に基づいて前記測距情報を解析する前記（６）に記載の測距装置。
（８）
前記ＦＰＧＡは、ＤＮＮ（Deep Neural Network）及びＣＮＮ（Convolutional Neural Network）のうちの少なくとも１つを用いる機械学習により前記測距情報を解析する解析回路を含み、
前記プロセッサは、前記解析回路による前記機械学習の結果に基づいて前記測距情報を解析する前記（６）に記載の測距装置。
（９）
ＤＮＮ（Deep Neural Network）及びＣＮＮ（Convolutional Neural Network）のうちの少なくとも１つを用いる機械学習により前記測距情報を解析する解析回路をさらに備え、
前記メモリ内の前記データは、前記機械学習の結果に基づいて前記測距情報を解析することで得られた結果に基づいて更新される
前記（１）〜（５）の何れか１項に記載の測距装置。
（１０）
前記ＦＰＧＡは、ＤＮＮ（Deep Neural Network）及びＣＮＮ（Convolutional Neural Network）のうちの少なくとも１つを用いる機械学習により前記測距情報を解析する解析回路を含み、
前記メモリ内の前記データは、前記機械学習の結果に基づいて前記測距情報を解析することで得られた結果に基づいて更新される
前記（１）〜（５）の何れか１項に記載の測距装置。
（１１）
前記所定の処理が実行された前記測距情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記測距情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
前記測距情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成するプロセッサと、
前記測距情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と
をさらに備え、
前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
前記（１）〜（１０）の何れか１項に記載の測距装置。
（１２）
前記測距情報は、測距データであり、
前記センサは、複数の光電変換素子を備える受光部と、前記受光部から測距データを読み出す信号処理回路とを含む
前記（１）〜（１１）の何れか１項に記載の測距装置。
（１３）
前記所定の処理は、ＣＤＳ、ＡＤ変換、黒レベル処理、位相成分計算、位相データ処理、輝度データ処理、サイクルエラー補正、温度補正、歪み補正、視差補正、前記センサを制御する制御系の補正、自動露光、自動フォーカス、キズ補正、ノイズ補正、フライングピクセル補正、及び、デプス計算のうち少なくとも１つを含む前記（１）〜（１２）の何れか１項に記載の測距装置。
（１４）
前記データは、前記ＦＰＧＡに前記所定の処理を実行する回路構成を組み込むための回路データと、前記回路構成に設定するパラメータを含む設定データとを含む前記（１）〜（１３）の何れか１項に記載の測距装置。
（１５）
前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサをさらに備える前記（１）〜（１４）の何れか１項に記載の測距装置。
（１６）
前記センサを備える第１チップと、
前記ＦＰＧＡを備える第２チップと、
前記メモリを備える第３チップと、
をさらに備え、
前記第１〜第３チップが積層されたスタック構造を備える
前記（１）〜（１５）の何れか１項に記載の測距装置。
（１７）
前記第３チップは、前記第１チップと前記第２チップとの間に位置する前記（１６）に記載の測距装置。
（１８）
前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサを備える第４チップをさらに備え、
前記スタック構造は、前記第１〜第４チップが積層された構造を備える
前記（１６）又は（１７）の何れか１項に記載の測距装置。
（１９）
前記第１チップは、前記スタック構造の最上層に位置し、
前記第４チップは、前記スタック構造の最下層に位置する
前記（１８）に記載の測距装置。
（２０）
前記センサを備える第１チップと、
前記ＦＰＧＡ及び前記メモリを備える第２チップと、
をさらに備え、
前記第１〜第２チップが積層されたスタック構造を備える
前記（１）〜（１５）の何れか１項に記載の測距装置。
（２１）
前記センサを備える第１チップと、
前記ＦＰＧＡと前記メモリと前記プロセッサとを備える第２チップと、
をさらに備え、
前記第１〜第２チップが積層されたスタック構造を備える
前記（１５）に記載の測距装置。
（２２）
前記測距情報は、デプスデータであり、
前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含み、
前記第１チップは、前記受光部を備える第５チップと、前記信号処理回路を備える第６チップとを含む
前記（１６）〜（２１）の何れか１項に記載の測距装置。
（２３）
測距情報を取得するセンサと、
前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡと、
前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
を備える電子機器。
（２４）
電子機器とサーバとが所定のネットワークを介して接続されたセンサシステムであって、
前記電子機器は、
測距情報を取得するセンサと、
前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡと、
前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
前記所定の処理が実行された前記測距情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記測距情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
を備え、
前記サーバは、前記所定のネットワークを介して前記電子機器から受信した前記測距情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための前記更新データを生成し、当該生成された更新データを前記所定のネットワークへ送信し、
前記メモリ内の前記データは、前記受信部が前記所定のネットワークを介して受信した前記更新データで更新される
センサシステム。
（２５）
センサで取得された測距情報を解析するステップと、
前記測距情報の解析結果に応じて、前記測距情報に所定の処理を実行するＦＰＧＡの回路構成及び前記回路構成の設定値のうちの少なくとも１つを変更するステップと、
を備える制御方法。

１ センサシステム
２ 通信デバイス
３ サーバ
４ ネットワーク
１０ センサチップ
１１ 受光部
１２ 信号処理回路
１３ フレキシブルロジック回路
１４ メインプロセッサ
１５ メモリ
１６ ＡＦ／ＯＩＳドライバ
１７ 不揮発性メモリ
１８ レーザドライバ
１９ 発光部
２０ 送受信部
２１ ＤＡＣ
２２ 送信アンテナ
２３ ＡＤＣ
２４ 受信アンテナ
３１、５１ 解析回路
４３ フレキシブルロジック回路（解析回路）
１００、２００、３００、４００ 測距センサ
１０１ 光電変換
１１０ 受光チップ
１１１ 光センサアレイ
１２０ アナログ・ロジックチップ
１２１ 画素回路
１２２ アナログ回路
１２３ ロジック回路
１３０ フレキシブルロジックチップ
１３１ ＦＰＧＡ
１３２ ロジック回路
１４０ プロセッサチップ
１４１ ＭＰＵ
１５０ メモリチップ
１５１ メモリ領域
１５２ プログラマブルメモリ領域
１６０、Ｔ１〜Ｔ３ チップ
２０１ Ａ／Ｄ，ＣＤＳ
３０１ 位相成分計算（Ｉ，Ｑ）
３０２ 位相データ処理
３０３ 輝度データ処理
４０１ サイクルエラー補正
４０２ 温度補正
４０３ 歪み補正
４０４ 視差補正
５０１ 制御系補正
６０１ ＡＥ，ＡＦ
６０２ キズ補正
６０３ ノイズ補正（フィルタ加算）
６０４ フライングピクセル補正
６０５ デプス計算
６０６ 出力Ｉ／Ｆ処理
Ｓ１００ 光電変換ステップ
Ｓ２００ 信号処理ステップ
Ｓ３００ 位相変換ステップ
Ｓ４００ キャリブレーションステップ
Ｓ５００ 制御系ステップ
Ｓ６００ フィルタリングステップ
Ｓ７００ ＤＮＮ／ＣＮＮ解析ステップ

Claims (20)

1. 測距情報を取得するセンサと、
   前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡ（Field-Programmable Gate Array）と、
   前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
   を備える測距装置。
2. 前記メモリ内の前記データは、前記測距情報の解析結果に応じて更新される請求項１に記載の測距装置。
3. 前記所定の処理が実行された前記測距情報を所定のネットワークへ送信する送信部と、
   前記所定のネットワークへ送信された前記測距情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
   をさらに備え、
   前記メモリ内の前記データは、前記更新データで更新される
   請求項１に記載の測距装置。
4. 前記送信部は、無線により前記測距情報を所定のネットワークへ送信し、
   前記受信部は、無線により前記所定のネットワークから前記更新データを受信する
   請求項３に記載の測距装置。
5. 前記測距情報を暗号化する暗号化部と、
   前記更新データの暗号化を解除する復号部と、
   をさらに備える請求項４に記載の測距装置。
6. 前記測距情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成し、当該生成された更新データで前記メモリ内の前記データを更新するプロセッサをさらに備える請求項１に記載の測距装置。
7. ＤＮＮ（Deep Neural Network）及びＣＮＮ（Convolutional Neural Network）のうちの少なくとも１つを用いる機械学習により前記測距情報を解析する解析回路をさらに備え、
   前記プロセッサは、前記解析回路による前記機械学習の結果に基づいて前記測距情報を解析する請求項６に記載の測距装置。
8. 前記ＦＰＧＡは、ＤＮＮ（Deep Neural Network）及びＣＮＮ（Convolutional Neural Network）のうちの少なくとも１つを用いる機械学習により前記測距情報を解析する解析回路を含み、
   前記プロセッサは、前記解析回路による前記機械学習の結果に基づいて前記測距情報を解析する請求項６に記載の測距装置。
9. 前記所定の処理が実行された前記測距情報を所定のネットワークへ送信する送信部と、
   前記所定のネットワークへ送信された前記測距情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
   前記測距情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成するプロセッサと、
   前記測距情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と
   をさらに備え、
   前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
   請求項１に記載の測距装置。
10. 前記測距情報は、測距データであり、
    前記センサは、複数の光電変換素子を備える受光部と、前記受光部から測距データを読み出す信号処理回路とを含む
    請求項１に記載の測距装置。
11. 前記所定の処理は、ＣＤＳ、ＡＤ変換、黒レベル処理、位相成分計算、位相データ処理、輝度データ処理、サイクルエラー補正、温度補正、歪み補正、視差補正、前記センサを制御する制御系の補正、自動露光、自動フォーカス、キズ補正、ノイズ補正、フライングピクセル補正、及び、デプス計算のうち少なくとも１つを含む請求項１に記載の測距装置。
12. 前記データは、前記ＦＰＧＡに前記所定の処理を実行する回路構成を組み込むための回路データと、前記回路構成に設定するパラメータを含む設定データとを含む請求項１に記載の測距装置。
13. 前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサをさらに備える請求項１に記載の測距装置。
14. 前記センサを備える第１チップと、
    前記ＦＰＧＡを備える第２チップと、
    前記メモリを備える第３チップと、
    をさらに備え、
    前記第１〜第３チップが積層されたスタック構造を備える
    請求項１に記載の測距装置。
15. 前記センサを備える第１チップと、
    前記ＦＰＧＡ及び前記メモリを備える第２チップと、
    をさらに備え、
    前記第１〜第２チップが積層されたスタック構造を備える
    請求項１に記載の測距装置。
16. 前記センサを備える第１チップと、
    前記ＦＰＧＡと前記メモリと前記プロセッサとを備える第２チップと、
    をさらに備え、
    前記第１〜第２チップが積層されたスタック構造を備える
    請求項１３に記載の測距装置。
17. 前記測距情報は、デプスデータであり、
    前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含み、
    前記第１チップは、前記受光部を備える第５チップと、前記信号処理回路を備える第６チップとを含む
    請求項１４に記載の測距装置。
18. 測距情報を取得するセンサと、
    前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡと、
    前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
    を備える電子機器。
19. 電子機器とサーバとが所定のネットワークを介して接続されたセンサシステムであって、
    前記電子機器は、
    測距情報を取得するセンサと、
    前記センサで取得された前記測距情報に所定の処理を実行するＦＰＧＡと、
    前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
    前記所定の処理が実行された前記測距情報を所定のネットワークへ送信する送信部と、
    前記所定のネットワークへ送信された前記測距情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
    を備え、
    前記サーバは、前記所定のネットワークを介して前記電子機器から受信した前記測距情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための前記更新データを生成し、当該生成された更新データを前記所定のネットワークへ送信し、
    前記メモリ内の前記データは、前記受信部が前記所定のネットワークを介して受信した前記更新データで更新される
    センサシステム。
20. センサで取得された測距情報を解析するステップと、
    前記測距情報の解析結果に応じて、前記測距情報に所定の処理を実行するＦＰＧＡの回路構成及び前記回路構成の設定値のうちの少なくとも１つを変更するステップと、
    を備える制御方法。

Images