JP2023085575A - 測距装置 - Google Patents
測距装置 Download PDFInfo
- Publication number
- JP2023085575A JP2023085575A JP2020077489A JP2020077489A JP2023085575A JP 2023085575 A JP2023085575 A JP 2023085575A JP 2020077489 A JP2020077489 A JP 2020077489A JP 2020077489 A JP2020077489 A JP 2020077489A JP 2023085575 A JP2023085575 A JP 2023085575A
- Authority
- JP
- Japan
- Prior art keywords
- semiconductor element
- distance
- substrate
- light
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
Abstract
【課題】高速かつ低消費電力で距離計測等の信号処理を行うことが可能な測距装置を提供する。【解決手段】測距装置は、光を受光して光電変換を行って電気信号を生成する第1受光部を有する第1半導体素子と、前記電気信号に基づいて、物体までの距離情報の算出を行う距離算出部を有する第2半導体素子と、前記距離算出部の出力信号に基づいて所定の情報処理を行う信号処理部を有する第3半導体素子と、を備える。【選択図】図1A
Description
本開示は、測距装置に関する。
自動運転や顔認証、デプス情報検出などのために、光飛行時間に基づいて非接触で距離計測を行うToF(Time of Flight)方式が注目されている。ToF方式には、パルス状の光信号の飛行時間を直接計測する直接ToF方式と、光信号の位相差を利用して間接的に距離を計測する間接ToF方式がある。
直接ToF方式は、比較的長い距離を計測するのに向いているのに対して、間接ToF方式は、数10cm以下の短い距離を計測するのに向いている。最近のスマートフォンは、顔認証やデプス情報等を取得するために間接ToF方式のセンサを搭載するケースが増えている。
間接ToF方式は、直接ToF方式よりも信号処理が複雑であり、ソフトウェア処理で距離を計測することが多い。例えば、間接ToF方式のセンサを搭載したスマートフォンではアプリケーションプロセッサ(AP)からの指示で、信号処理プロセッサ(以下、DSP:Digital Signal processor)がソフトウェア処理にて距離計測を行うのが一般的である。
しかしながら、スマートフォン等の携帯機器に搭載されているDSPは、PC(Personal Computer)用のCPUなどと比べて処理性能が低く、距離計測処理などの負荷の大きい信号処理を行うと、発熱してしまう。スマートフォン等の携帯機器には、温度センサが設けられており、筐体内の温度が上がりすぎると、フレームレートを下げてDSPの処理負荷を軽減する処理が自動的に行われる。このため、距離計測等の信号処理に時間にかかるという問題がある。
また、距離計測等の信号処理をソフトウェア処理で行うと、消費電力が増えるという問題がある。スマートフォン等の携帯機器は、バッテリで駆動しており、消費電力が増えると使い勝手が悪くなる。
そこで、本開示では、高速かつ低消費電力で距離計測等の信号処理を行うことが可能な測距装置を提供するものである。
上記の課題を解決するために、本開示によれば、光を受光して光電変換を行って電気信号を生成する第1受光部を有する第1半導体素子と、
前記電気信号に基づいて、物体までの距離情報の算出を行う距離算出部を有する第2半導体素子と、
前記距離算出部の出力信号に基づいて所定の情報処理を行う信号処理部を有する第3半導体素子と、を備える、測距装置が提供される。
前記電気信号に基づいて、物体までの距離情報の算出を行う距離算出部を有する第2半導体素子と、
前記距離算出部の出力信号に基づいて所定の情報処理を行う信号処理部を有する第3半導体素子と、を備える、測距装置が提供される。
前記第2半導体素子は、迂回回路を有し、
前記信号処理部は、前記迂回回路を介して出力された前記電気信号に対して前記情報処理を行ってもよい。
前記信号処理部は、前記迂回回路を介して出力された前記電気信号に対して前記情報処理を行ってもよい。
前記迂回回路は、前記第1半導体素子から出力された前記電気信号を、前記距離算出部での処理を行わずに出力してもよい。
前記第1半導体素子は、物体までの距離に応じて位相差が変化する複数相からなる前記電気信号を出力し、
前記距離算出部は、前記複数相からなる前記電気信号に基づいて、前記距離情報を算出してもよい。
前記距離算出部は、前記複数相からなる前記電気信号に基づいて、前記距離情報を算出してもよい。
前記距離算出部は、発光部が光を発光したタイミングから前記第1受光部が光を受光するタイミングまでの時間差により、前記距離情報を算出してもよい。
前記第1受光部からの制御により光を発光する発光部を備えてもよい。
前記第1半導体素子と前記発光部は、同一の基板に実装されてもよい。
前記第1半導体素子が実装される第1基板と、
前記第2半導体素子が実装される第2基板と、を備え、
前記第1基板と前記第2基板とは、互いに積層されてもよい。
前記第2半導体素子が実装される第2基板と、を備え、
前記第1基板と前記第2基板とは、互いに積層されてもよい。
前記第1基板と前記第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又はWoW(Wafer on Wafer)方式のいずれかで貼り合わされてもよい。
前記第2基板に実装され、前記距離算出部が前記距離情報の算出を行う際に使用するメモリを備えてもよい。
前記距離算出部が前記距離情報の算出を行う際に使用するメモリが実装される第3基板を備え、
前記第1基板、前記第2基板及び前記第3基板は、所定の順序で積層されてもよい。
前記第1基板、前記第2基板及び前記第3基板は、所定の順序で積層されてもよい。
前記メモリは、揮発メモリ、又は書き換え可能な不揮発メモリであってもよい。
前記距離算出部は、前記距離情報の算出を含めて、前記電気信号に対するデジタル信号処理を行うデジタル回路を有してもよい。
光を受光して光電変換を行って電気信号を生成する第2受光部を有する第4半導体素子を備えてもよい。
前記第2受光部から出力された電気信号は、前記第2半導体素子を経由せずに、前記第3半導体素子に入力されてもよい。
前記第3半導体素子は、前記第1受光部から出力される電気信号と、前記第2受光部から出力される電気信号とを同期させるか否かを制御してもよい。
前記第4半導体素子は、前記第2受光部から出力される電気信号に同期した同期信号を、前記第1半導体素子及び前記第2半導体素子に送信してもよい。
前記第1受光部と前記第2受光部とは、受光する光の波長帯域が互いに異なってもよい。
以下、図面を参照して、測距装置の実施形態について説明する。以下では、測距装置の主要な構成部分を中心に説明するが、測距装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
図1Aは一実施形態による測距装置10の概略構成を示すブロック図である。図1Aの測距装置10は、第1半導体素子11と、第2半導体素子12と、第3半導体素子13とを備えている。
第1半導体素子11は、光を受光して光電変換を行って電気信号を生成する第1受光部11aを有する。第1半導体素子11は、物体までの距離に応じて位相差が変化する複数相からなるPhase信号、すなわち間接ToF方式のPhase信号を出力してもよい。あるいは、第1半導体素子11は、後述する発光部が光を発光したタイミングから第1受光部11aが光を受光するタイミングまでの時間差を示す信号を出力してもよい。
第2半導体素子12は、第1半導体素子11から出力された電気信号に基づいて、物体までの距離情報の算出を含む信号処理を行う信号処理回路12aを有する。第2半導体素子12は、第1半導体素子11から出力された電気信号を、信号処理回路12aでの信号処理を行わずに出力する、後述する迂回経路(迂回回路)を有してもよい。例えば、第2半導体素子12の処理能力が第3半導体素子13よりも劣っている場合に、第2半導体素子12では処理負荷の大きい信号処理を行う必要がある場合、第1半導体素子11から出力された電気信号を、迂回経路を通して第3半導体素子13に送る。これにより、第2半導体素子12の代わりに、第2半導体素子12よりも処理能力の高い第3半導体素子13にて、信号処理を行うことができる。
第3半導体素子13は、第2半導体素子12が算出した距離情報に基づいて所定の情報処理を行う。第3半導体素子13は、第2半導体素子12内の信号処理回路12aよりも、高度な信号処理機能を持っていてもよい。第3半導体素子13の一具体例は、高性能のアプリケーションプロセッサ(AP)又はCPU(Central Processing Unit)である。
第3半導体素子13が行う情報処理の具体的な内容は任意である。例えば、第3半導体素子13は、第2半導体素子12が算出した距離情報に基づいて、物体までの距離に応じて色や輝度を変えた距離画像を生成してもよい。あるいは、第3半導体素子13は、距離情報に基づいて、物体のジェスチャ動作を推測してもよい。あるいは、第3半導体素子13は、距離情報に基づいて、三次元画像を生成してもよい。
図1Aの例では、第1半導体素子11と第2半導体素子12を共通の基板(以下、第1基板21)上に実装し、第3半導体素子13を第1基板(第1モジュール)21とは離隔して配置される第2基板(第2モジュール)22上に実装している。図1Aの基板構成は一例であり、第1半導体素子11、第2半導体素子12及び第3半導体素子13を、共通の基板上に実装してもよい。あるいは、第1半導体素子11と第2半導体素子12を別々の基板上に配置してもよい。
図1Aに示すように、第2基板22には、第3半導体素子13の他に、電源IC25、DRAMチップ26、FRASHメモリチップ27等を実装してもよい。DRAMチップ26とFRASHメモリ27は、場合によっては、第3半導体素子13の内部に設けてもよい。
図1Aの測距装置10は、その内部に発光部を備えていないが、光を利用して測距を行うには、発光部が必要であり、発光部は図1Aの測距装置10とは別個に設けられる。発光部15は、例えば、第1半導体素子11に近接して配置される。発光部15と第1半導体素子11を近接して配置することで、発光部15から射出された光が物体で反射された反射光を、効率よく受光部で受光できるようになる。測距装置10と発光部とを分離することで、ユーザは、任意の発光波長の光を発光する発光部を必要に応じて交換又は選択することがでいる。一方、測距装置の内部に発光部を配置する構成も考えられる。
図1Bは発光部15を備えた測距装置10aの概略構成を示すブロック図である。図1Bの例では、発光部15と第1半導体素子11を同一のサブ基板26上に配置し、このサブ基板26をさらに第1基板21に実装している。サブ基板26には、発光部15と第1半導体素子11が実装されている。このように、サブ基板26をToFセンサモジュールとして、第1基板21上に実装することで、測距装置10Bの製造が容易になる。
第1半導体素子11は、その内部に第1受光部11aを有する他に、不図示の通信部などを有する。第1半導体素子11は、複数の入出力端子を有する。第1半導体素子11が有する入出力端子は、例えば、I2C端子、XVS端子、MIPI_Tx端子、INCK端子、XCLR端子、LED_EN端子、及びSPI_Master端子などである。
I2C端子は、第3半導体素子13から、I2C(Inter-Integrated Circuit)通信用の2つの信号を受信する端子である。2つの信号のうち一方はクロック信号であり、他方はシリアル信号である。図1A及び図1Bの測距装置10、10aでは、第3半導体素子13がI2C通信のマスタとなり、第1半導体素子11と第2半導体素子12がスレーブとなる。よって、第1半導体素子11と第2半導体素子12は、第3半導体素子13からの指令に応じて、シリアル信号の送受を行う。
XVS端子は、同期信号を受信する端子である。XVS端子で同期信号を受信することにより、第1半導体素子11は、同期信号を送信した他の半導体素子(例えば、第4半導体素子14)と同期して動作することができる。XVS端子は、複数の半導体素子同士を同期化する場合に同期信号を送受する。同期化の具体例は後述する。
MIPI_Tx端子は、MIPI(Mobile Industry Processor Interface)規格に準拠して、第1半導体素子11の出力信号(例えば複数相のPhase信号)を送信する端子である。
INCK端子は、第2半導体素子12から出力された内部クロック信号を受信する端子である。第1半導体素子11は、この内部クロック信号に同期させて動作する。これにより、第1半導体素子11は、第2半導体素子12に同期して動作することができる。
XCLR端子は、第2半導体素子12から出力されたクリア信号を受信する端子である。このクリア信号は、第1半導体素子11を初期化する信号である。
LED_EN端子は、発光部15をイネーブル状態にするためのイネーブル信号を出力する端子である。SPI_Master端子は、SPI(Serial Peripheral Interface)バスを介して、マスタである第1半導体素子11から、スレーブである発光部15にシリアル信号を送信する端子である。
第2半導体素子12は、第1半導体素子11と各種信号の送受を行う端子として、XVS端子、MIPI_Rx端子、INCK端子、及びXCLR端子などを有する。
XVS端子は、上述したように、他の半導体素子と同期化するための同期信号を受信する端子である。
MIPI_Rx端子は、MIPI規格に準拠して、例えば複数相Phase信号等を受信する端子である。INCK端子は、第1半導体素子11に対して内部クロック信号を送信する端子である。XCLR端子は、第1半導体素子11に対してクリア信号を送信する端子である。
また、第2半導体素子12は、第3半導体素子13と各種信号の送受を行う端子として、I2C_Slave端子、INCK端子、XCLR端子、MIPI_Tx端子、SPI_Rx端子、及びGPI/O端子を有する。
I2C_Slave端子は、第3半導体素子13からI2C通信用の2つの信号を受信する端子である。INCK端子は、第3半導体素子13からの内部クロック信号を受信する端子である。XCLR端子は、第3半導体素子13からのクリア信号を受信する端子である。MIPI_Tx端子は、第3半導体素子13に対してMIPI規格にて距離情報を送信する端子である。SPI_Rx端子は、第3半導体素子13からSPIバスを介してシリアル信号を受信する端子である。GPI/O端子は、第3半導体素子13に対して汎用I/Oインタフェースにて各種信号を送信する端子である。
第3半導体素子13は、I2C_Master端子、INCK端子、XCLR端子、MIPI_Rx端子、SPI_Tx端子、及びGPI/O端子を有する。
I2c_Master端子は、第3半導体素子13からI2C通信用の2つの信号を第1半導体素子11と第2半導体素子12に送信する端子である。
INCK端子は、第2半導体素子12に対して内部クロック信号を送信する端子である。XCLR端子は、第2半導体素子12に対してクリア信号を送信する端子である。MIPI_Rx端子は、MIPI規格にて第2半導体素子12からの距離情報等を受信する端子である。SPI_Tx端子は、第2半導体素子12に対してSPIバスを介してシリアル信号を送信する端子である。GPI/O端子は、汎用I/Oインタフェースにて第2半導体素子12からの各種信号を受信する端子である。
発光部15は、SPI_Slave端子と、LED_EN端子と、LDD_XCLR端子とを有する。SPI_Slave端子は、SPIバスを介して、マスタである第1半導体素子11からのシリアル信号を受信する端子である。LED_EN端子は、第1半導体素子11からのイネーブル信号を受信する端子である。イネーブル信号が所定の論理になると、発光部15は発光を行うことができる。LDD_XCLR端子は、第2半導体素子12からのクリア信号を受信する端子である。
本実施形態による測距装置10、10aは、図1A及び図1Bに示すように、第1~第3半導体素子11~13の他に、第4半導体素子14を備えていてもよい。第4半導体素子14は、光を受光して光電変換を行って電気信号を生成する第2受光部14aを有する。
第4半導体素子14は、第1基板21又は第2基板22に実装してもよいし、第1基板21及び第2基板22とは別の第3基板23に実装してもよい。第4半導体素子14内の第2受光部14aから出力された電気信号は、第2半導体素子12を経由せずに、第3半導体素子13に入力される。したがって、第2受光部14aから出力された電気信号は、第3半導体素子13にて各種の信号処理が行われる。あるいは、第4半導体素子14内の第2受光部14aから出力された電気信号を第2半導体素子12に入力して、第2半導体素子12にて信号処理を行ってもよい。
第1半導体素子11内の第1受光部11aから出力される電気信号と、第4半導体素子14内の第2受光部14aから出力される電気信号とは、同期化していてもよいし、非同期であってもよい。両方の電気信号を同期化するには、例えば、第4半導体素子14から同期信号を第1半導体素子11と第2半導体素子12に送信して、同期化することが考えられる。この場合、同期信号は、第4半導体素子14のXVS端子から出力されて、第1半導体素子11と第2半導体素子12のXVS端子に入力される。なお、逆に、第1半導体素子11から第2半導体素子12と第4半導体素子14に同期信号を送信してもよい。
第1半導体素子11内の第1受光部11aが受光する光の波長帯域は、第4半導体素子14内の第2受光部14aが受光する光の波長帯域とは異なっていてもよい。例えば、第1半導体素子11内の第1受光部11aの受光帯域は、赤外光波長帯域である800~2000nmであるのに対し、第4半導体素子14内の第2受光部14aの受光帯域は、可視光波長帯域である360~800nmであってもよい。
このように、第4半導体素子14内の第2受光部14aは、カメラ等で汎用的に用いられるイメージセンサであってもよい。
第1受光部11aから出力される電気信号と、第2受光部14aから出力される電気信号とを同期化することで、例えば、可視光の撮影画像内の少なくとも一部の画素にデプス情報を付加することができ、三次元画像を生成することができる。
第4半導体素子14は、I2C端子と、XVS端子とを有する。I2C端子は、第3半導体素子13から、I2C通信用の上述した2つの信号を受信する端子である。XVS端子は、同期信号を送信する端子である。
本来、第1半導体素子11内の第1受光部11aと第4半導体素子14内の第2受光部14aは非同期に受光動作を行うが、第3半導体素子13から、I2C通信にて、同期化の指令があると、第4半導体素子14内の第2受光部14aは、XVS端子を介して同期信号を送信する。この同期信号は、第1半導体素子11のXVS端子に入力され、第1受光部11aは、第2受光部14aに同期して受光動作を行い、Phase信号を出力する。これにより、Phase信号も、同期信号に同期化した信号になる。Phase信号は、MIPIの規格に準拠して第2半導体素子12に入力され、また、同期信号も第2半導体素子12のXVS端子に入力される。これにより、第2半導体素子12も、第4半導体素子14内の第2受光素子の受光動作に同期化して信号処理を行い、距離情報を生成する。生成された距離情報も、第4半導体素子14内の第2受光部14aの受光動作に同期化したものになる。
第4半導体素子14内の第2受光部14aは、例えば1秒間に60フレームで画像データを更新する。上述した同期信号で同期化することで、第2半導体素子12は、第2受光部14aが出力する画像データのタイミングに合わせて距離情報を生成可能となる。第3半導体素子13が例えば三次元画像を生成するには、第4半導体素子14内の第2受光部14aが出力する画像データと第2半導体素子12が出力する距離情報とを同期化する必要があり、このような場合に、第3半導体素子13は、I2C通信にて、第4半導体素子14に同期化を指示する。
図2は図1A及び図1Bの第2半導体素子12の内部構成の一例を示すブロック図である。図2に示すように、第2半導体素子12は、ハードウェアである信号処理回路12aにて距離情報の算出を含む信号処理を行う。従来は、例えばDSPがソフトウェア処理にて距離情報の算出を行っていたが、DSPが実行していたソフトウェア処理をハードウェア化することにより、距離情報の算出を高速かつ低消費電力で行うことができる。信号処理回路12aは、論理演算ゲートやF/Fなどを用いたデジタル回路で構成できるため、消費電力を抑制できるとともに、論理合成ツール等を用いて設計の自動化及び最適化を容易に行うことができる。
図2に示す第2半導体素子12は、信号処理回路12aの他に、処理制御回路12bと、メモリ12cとを有する。
処理制御回路12bは、CPU12d、ROM12e、RAM12fなどを有する。複数のCPU12dを用いて並列的な処理を行ってもよい。処理制御回路12bの内部構成は、任意であり、種々の変形例が考えられる。
信号処理回路12aは、MIPI_Rx12gと、MIPI_Rx_IF12hと、信号処理部12iと、MIPI_Tx_IF12jと、MIPI_Tx12kと、迂回経路(迂回回路)12mとを有する。
MIPI_Rx12gは、第1半導体素子11から出力された信号を受信する。より具体的には、MIPI_Rx12gは、間接ToF方式のPhase信号などを受信する。
MIPI_Rx_IF12hは、第1半導体素子11から出力された信号を、信号処理部12iに送るか、迂回経路12mに送るかを切り替える。
信号処理部12iは、ノイズ処理、キャリブレーション処理、前処理、後処理、補間処理などを行う。信号処理回路12aは、Phase信号から距離情報を算出する処理だけでなく、他の汎用的な信号処理、例えばシェーディング処理などを行ってもよい。
迂回経路12mは、第1半導体素子11から出力された信号を、信号処理回路12a内での信号処理を行うことなく、第2半導体素子12から出力させるための信号経路である。迂回経路12mは、例えば、信号処理回路12aで行うには処理負荷が大きすぎる信号処理や、信号処理回路12aでは十分な性能が得られない信号処理などを行う必要がある場合に、後段の第3半導体素子13で信号処理を行わせるために設けられている。迂回回路12m上には、必要に応じて、抵抗、インダクタ又はキャパシタなどが接続されていてもよい。
MIPI_Tx12k_IF12jは、信号処理部12iの出力信号と、迂回経路12mの出力信号との一方を選択する。選択された信号は、MIPI_Tx12kを介して、第2半導体素子12から出力される。
図3は本実施形態による測距装置10、10aの基本的な構成を示すブロック図である。図3に示すように、本実施形態による測距装置10、10aは、最小限の構成として、第1受光部11aを有する第1半導体素子11と、信号処理回路12aを有する第2半導体素子12と、第3半導体素子13とを備えている。第3半導体素子13は、第2半導体素子12よりも高度な信号処理能力を持っていることを想定しており、例えば高性能のAP又はCPU12dが実装されている。
信号処理回路12aは、例えば、距離情報の算出を含む信号処理を行う。第2半導体素子12内の信号処理回路12aには、上述したように迂回経路12mが設けられていてもよい。
オプションの機能として、第1半導体素子11には、発光部15が実装又は接続されていてもよい。同様に、本実施形態による測距装置10、10aは、オプションの機能として、第2受光部14aを有する第4半導体素子14を備えていてもよい。この場合、第1受光部11aと第2受光部14aは、同期して受光動作を行ってもよいし、非同期で受光動作を行ってもよい。
測距装置10、10a内の各半導体素子は、I2C通信により、マスタ-スレーブ間の通信を行う。第3半導体装置がマスタであり、その他の半導体素子がスレーブである。マスタである第3半導体素子13は、他の半導体素子に対して、制御信号を送信する。第1、第2及び第4半導体素子11、12、14は、第3半導体素子13の制御の元で、各種信号の送受を行う。
また、第1受光部11aと第2受光部14aが受光して光電変換した電気信号は、MIPIの規格に準拠して送信される。
本実施形態による測距装置10は、積層型のチップで構成することができる。測距装置10は、図1Aに示すように、発光部を測距装置10内に設けずに、測距装置10とは別個に設けることが多い。この場合、図4Aに示すように、基板7上に別個に実装される2つの半導体装置(以下、第1半導体装置8と第2半導体装置9)で構成することが考えられる。第1半導体装置8は、図1Aに示す測距装置10を内蔵する積層チップである。第2半導体装置9は、発光部を内蔵するチップである。
図4Bは図4Aの第1半導体装置8を構成する積層チップの第1例を示す図であり、第1チップ(第1基板)31と第2チップ(第2基板)32の2層構造になっている。第1チップ31には、第1受光部11aを有する第1半導体素子11が実装される。発光部15を第1チップ31に実装してもよい。
図4Bは図4Aの第1半導体装置8を構成する積層チップの第1例を示す図であり、第1チップ(第1基板)31と第2チップ(第2基板)32の2層構造になっている。第1チップ31には、第1受光部11aを有する第1半導体素子11が実装される。発光部15を第1チップ31に実装してもよい。
第2チップ32には、第2半導体素子12が実装される。第2半導体素子12が使用するメモリ12cを第2チップ32に実装してもよい。第3半導体素子13は、第1チップ31及び第2チップ32とは、別個の基板に実装されることが考えられるが、第3半導体素子13を第2チップ32に実装してもよい。あるいは、第3半導体素子13を第1チップ31及び第2チップ32とは別の層に積層してもよい。
第1チップ31と第2チップ32は、ビア(VIA)、Cu-Cu接合、バンプなどの接続部を介して電気的に接続される。すなわち、第1チップ31と第2チップ32とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又はWoW(Wafer on Wafer)方式のいずれかで貼り合わされる。
図4Cは図4Aの第1半導体装置8を構成する積層チップの第2例を示す図である。図4Cは、第2半導体素子12が使用するメモリ12cを別の第3チップ(第3基板)33にして、3層構造にしたものである。図4Cでは、第2チップ32の下方に第3チップ33を配置した例を示している。第2チップ32と第3チップ33は、上述したように、ビアやCu-Cu接合、バンプ等により接続される。図4Cのチップ構成は、メモリ12cの容量が大きくて、第2チップ32内に実装できない場合などに採用される。
図4Dは図4Aの第1半導体装置8を構成する積層チップの第3例を示す図である。図4Dでは、第1チップ31上に、第1半導体素子11と第4半導体素子14を実装している。第2チップ32は、図4Bと同様である。
図4Eは図4Aの第1半導体装置8を構成する積層チップの第4例を示す図である。図4Eは、第2受光部14aを有する第4半導体素子14を実装する第4チップ(第4基板)34を、第1チップ31とは別個に設けたものである。第4半導体素子14の実装面積が大きくて、第1半導体素子11と同一チップにすることが困難な場合等に、図4Eのチップ構成が採用される。図4Eでは、第1チップ31の上に第4チップ34を積層しているが、積層順序は逆でもよい。第1チップ31と第4チップ34は、上述したように、ビアやCu-Cu接合、バンプ等により接続される。
図4Eの一変形例として、図4Cのように、メモリ12cを実装する第3チップ33を設けてもよい。この場合は、4つのチップが積層された構造になる。
このように、本実施形態では、間接ToF方式のPhase信号から距離情報を算出するなどの信号処理をハードウェアで行う信号処理回路12aを有する第2半導体素子12を設けるため、ソフトウェア処理により信号処理を行うよりも、高速かつ低消費電力で信号処理を行うことができる。
また、第2半導体素子12には迂回経路12mを設けるため、第2半導体素子12内の信号処理回路12aの処理性能では不足するような信号処理については、信号処理回路12aを迂回させて、後段の第3半導体素子13で信号処理を行うことができる。これにより、第2半導体素子12の処理性能を必要以上に向上させる必要がなく、測距装置10、10aのハードウェアコストを削減できる。
(電子機器の構成例)
図5および図6は、本開示による測距装置10,10aを搭載する電子機器の例を示している。図5は、電子機器1をz軸正方向側から視たときの構成を示している。一方、図6は、電子機器1をz軸負方向側から視たときの構成を示している。電子機器1は、例えば、略平板状であり、少なくともひとつの面(ここでは、z軸正方向側の面)に表示部1aを有する。表示部1aは、例えば、液晶、マイクロLED、有機エレクトロルミネッセンス方式によって画像を表示することができる。ただし、表示部1aにおける表示方式を限定するものではない。また、表示部1aは、タッチパネル、指紋センサを含んでいてもよい。
図5および図6は、本開示による測距装置10,10aを搭載する電子機器の例を示している。図5は、電子機器1をz軸正方向側から視たときの構成を示している。一方、図6は、電子機器1をz軸負方向側から視たときの構成を示している。電子機器1は、例えば、略平板状であり、少なくともひとつの面(ここでは、z軸正方向側の面)に表示部1aを有する。表示部1aは、例えば、液晶、マイクロLED、有機エレクトロルミネッセンス方式によって画像を表示することができる。ただし、表示部1aにおける表示方式を限定するものではない。また、表示部1aは、タッチパネル、指紋センサを含んでいてもよい。
電子機器1のz軸負方向側の面には、第1撮像部110、第2撮像部111、第1発光部112および第2発光部113が実装されている。第1撮像部110は、例えば、カラー画像の撮影が可能なカメラモジュールである。カメラモジュールは、例えば、レンズ系と、レンズ系によって集光された光の光電変換を行う撮像素子とを含む。第1発光部112は、例えば、第1撮像部110のフラッシュとして使用される光源である。第1発光部112として、例えば、白色LEDを使うことができる。ただし、第1発光部112として使われる光源の種類を限定するものではない。
第2撮像部111は、例えば、間接ToF方式による測距が可能な撮像素子である。第2撮像部111として、例えば、本開示による撮像素子を実装することができる。第2撮像部111は、例えば、図1Bの第1受光部11aに相当する。第2発光部113は、間接ToF方式による測距に使用することが可能で光源である。第2発光部113は、例えば、図1Bの発光部15に相当する。すなわち、電子機器1には、図1Bの測距装置10aが実装されていてもよい。電子機器1は、測距装置10aから出力される距離画像に基づいて各種の処理を実行することができる。
ここでは、本開示による電子機器がスマートフォンまたはタブレットである場合を説明した。ただし、本開示による電子機器は、例えば、ゲーム機、車載機器、PC、監視カメラなどその他の種類の装置であってもよい。
本開示による測距装置10,10aは、信号生成器と、縦続接続された複数のフリップフロップと、回路ブロックと、画素アレイと、信号処理部とを備えていてもよい。信号生成器は、クロック信号を生成するように構成されている。回路ブロックは、クロック信号に応じて第1信号を複数のフリップフロップのそれぞれのクロック端子に供給し、第2信号を複数のフリップフロップの初段フリップフロップの入力端子に供給するように構成されている。画素アレイは、複数のフリップフロップの異なる段から供給されたパルス信号によって駆動されるように構成された画素を含む。信号処理部は、画素アレイの画素において光電変換によって発生した電荷に基づいて距離画像を生成するように構成されている。
本開示による電子機器は、信号生成器と、縦続接続された複数のフリップフロップと、回路ブロックと、画素アレイとを備えていてもよい。信号生成器は、クロック信号を生成するように構成されている。回路ブロックは、クロック信号に応じて第1信号を複数のフリップフロップのそれぞれのクロック端子に供給し、第2信号を複数のフリップフロップの初段フリップフロップの入力端子に供給するように構成されている。画素アレイは、複数のフリップフロップの異なる段から供給されたパルス信号によって駆動されるように構成された画素を含む。
(移動体への応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図7は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図7に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図7の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図8は、撮像部12031の設置位置の例を示す図である。
図8では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図8には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、撮像部12031に、本開示による撮像素子を実装することができる。撮像部12031に、本開示に係る技術を適用することにより、電磁ノイズの発生を抑制しつつ、距離画像の解像度を向上させることができ、車両12100の機能性および安全性を高めることができる。
なお、本技術は以下のような構成を取ることができる。
(1)光を受光して光電変換を行って電気信号を生成する第1受光部を有する第1半導体素子と、
前記電気信号に基づいて、物体までの距離情報の算出を行う距離算出部を有する第2半導体素子と、
前記距離算出部の出力信号に基づいて所定の情報処理を行う信号処理部を有する第3半導体素子と、を備える、測距装置。
(2)前記第2半導体素子は、迂回回路を有し、
前記信号処理部は、前記迂回回路を介して出力された前記電気信号に対して前記情報処理を行う、(1)に記載の測距装置。
(3)前記迂回回路は、前記第1半導体素子から出力された前記電気信号を、前記距離算出部での処理を行わずに出力する、(2)に記載の測距装置。
(4)前記第1半導体素子は、物体までの距離に応じて位相差が変化する複数相からなる前記電気信号を出力し、
前記距離算出部は、前記複数相からなる前記電気信号に基づいて、前記距離情報を算出する、(1)乃至(3)のいずれか一項に記載の測距装置。
(5)前記距離算出部は、発光部が光を発光したタイミングから前記第1受光部が光を受光するタイミングまでの時間差により、前記距離情報を算出する、(1)乃至(3)のいずれか一項に記載の測距装置。
(6)前記第1受光部からの制御により光を発光する発光部を備える、(1)乃至(5)のいずれか一項に記載の測距装置。
(7)前記第1半導体素子と前記発光部は、同一の基板に実装される、(6)に記載の測距装置。
(8)前記第1半導体素子が実装される第1基板と、
前記第2半導体素子が実装される第2基板と、を備え、
前記第1基板と前記第2基板とは、互いに積層される、(1)乃至(7)のいずれか一項に記載の測距装置。
(9)前記第1基板と前記第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又はWoW(Wafer on Wafer)方式のいずれかで貼り合わされる、(8)に記載の測距装置。
(10)前記第2基板に実装され、前記距離算出部が前記距離情報の算出を行う際に使用するメモリを備える、(8)又は(9)に記載の測距装置。
(11)前記距離算出部が前記距離情報の算出を行う際に使用するメモリが実装される第3基板を備え、
前記第1基板、前記第2基板及び前記第3基板は、所定の順序で積層される、(8)又は(9)に記載の測距装置。
(12)前記メモリは、揮発メモリ、又は書き換え可能な不揮発メモリである、(10)又は(11)に記載の測距装置。
(13)前記距離算出部は、前記距離情報の算出を含めて、前記電気信号に対するデジタル信号処理を行うデジタル回路を有する、(1)乃至(12)のいずれか一項に記載の測距装置。
記載の撮像装置。
(14)光を受光して光電変換を行って電気信号を生成する第2受光部を有する第4半導体素子を備える、(1)乃至(13)のいずれか一項に記載の測距装置。
(15)前記第2受光部から出力された電気信号は、前記第2半導体素子を経由せずに、前記第3半導体素子に入力される、(14)に記載の測距装置。
(16)前記第3半導体素子は、前記第1受光部から出力される電気信号と、前記第2受光部から出力される電気信号とを同期させるか否かを制御する、(14)又は(15)に記載の測距装置。
(17)前記第4半導体素子は、前記第2受光部から出力される電気信号に同期した同期信号を、前記第1半導体素子及び前記第2半導体素子に送信する、(16)に記載の測距装置。
(18)前記第1受光部と前記第2受光部とは、受光する光の波長帯域が互いに異なる、(14)乃至(17)のいずれか一項に記載の測距装置。
(1)光を受光して光電変換を行って電気信号を生成する第1受光部を有する第1半導体素子と、
前記電気信号に基づいて、物体までの距離情報の算出を行う距離算出部を有する第2半導体素子と、
前記距離算出部の出力信号に基づいて所定の情報処理を行う信号処理部を有する第3半導体素子と、を備える、測距装置。
(2)前記第2半導体素子は、迂回回路を有し、
前記信号処理部は、前記迂回回路を介して出力された前記電気信号に対して前記情報処理を行う、(1)に記載の測距装置。
(3)前記迂回回路は、前記第1半導体素子から出力された前記電気信号を、前記距離算出部での処理を行わずに出力する、(2)に記載の測距装置。
(4)前記第1半導体素子は、物体までの距離に応じて位相差が変化する複数相からなる前記電気信号を出力し、
前記距離算出部は、前記複数相からなる前記電気信号に基づいて、前記距離情報を算出する、(1)乃至(3)のいずれか一項に記載の測距装置。
(5)前記距離算出部は、発光部が光を発光したタイミングから前記第1受光部が光を受光するタイミングまでの時間差により、前記距離情報を算出する、(1)乃至(3)のいずれか一項に記載の測距装置。
(6)前記第1受光部からの制御により光を発光する発光部を備える、(1)乃至(5)のいずれか一項に記載の測距装置。
(7)前記第1半導体素子と前記発光部は、同一の基板に実装される、(6)に記載の測距装置。
(8)前記第1半導体素子が実装される第1基板と、
前記第2半導体素子が実装される第2基板と、を備え、
前記第1基板と前記第2基板とは、互いに積層される、(1)乃至(7)のいずれか一項に記載の測距装置。
(9)前記第1基板と前記第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又はWoW(Wafer on Wafer)方式のいずれかで貼り合わされる、(8)に記載の測距装置。
(10)前記第2基板に実装され、前記距離算出部が前記距離情報の算出を行う際に使用するメモリを備える、(8)又は(9)に記載の測距装置。
(11)前記距離算出部が前記距離情報の算出を行う際に使用するメモリが実装される第3基板を備え、
前記第1基板、前記第2基板及び前記第3基板は、所定の順序で積層される、(8)又は(9)に記載の測距装置。
(12)前記メモリは、揮発メモリ、又は書き換え可能な不揮発メモリである、(10)又は(11)に記載の測距装置。
(13)前記距離算出部は、前記距離情報の算出を含めて、前記電気信号に対するデジタル信号処理を行うデジタル回路を有する、(1)乃至(12)のいずれか一項に記載の測距装置。
記載の撮像装置。
(14)光を受光して光電変換を行って電気信号を生成する第2受光部を有する第4半導体素子を備える、(1)乃至(13)のいずれか一項に記載の測距装置。
(15)前記第2受光部から出力された電気信号は、前記第2半導体素子を経由せずに、前記第3半導体素子に入力される、(14)に記載の測距装置。
(16)前記第3半導体素子は、前記第1受光部から出力される電気信号と、前記第2受光部から出力される電気信号とを同期させるか否かを制御する、(14)又は(15)に記載の測距装置。
(17)前記第4半導体素子は、前記第2受光部から出力される電気信号に同期した同期信号を、前記第1半導体素子及び前記第2半導体素子に送信する、(16)に記載の測距装置。
(18)前記第1受光部と前記第2受光部とは、受光する光の波長帯域が互いに異なる、(14)乃至(17)のいずれか一項に記載の測距装置。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 電子機器、10 測距装置、11 第1半導体素子、12 第2半導体素子、13 第3半導体素子、21 第1基板、22 第2基板、23 第3基板、25 電源IC、26 DRAMチップ、27 FRASHメモリチップ、31 第1チップ、32 第2チップ、33 第3チップ、34 第4チップ、110 第1撮像部、111 第2撮像部、112 第1発光部、113 第2発光部、
Claims (18)
- 光を受光して光電変換を行って電気信号を生成する第1受光部を有する第1半導体素子と、
前記電気信号に基づいて、物体までの距離情報の算出を行う距離算出部を有する第2半導体素子と、
前記距離算出部の出力信号に基づいて所定の情報処理を行う信号処理部を有する第3半導体素子と、を備える、測距装置。 - 前記第2半導体素子は、迂回回路を有し、
前記信号処理部は、前記迂回回路を介して出力された前記電気信号に対して前記情報処理を行う、請求項1に記載の測距装置。 - 前記迂回回路は、前記第1半導体素子から出力された前記電気信号を、前記距離算出部での処理を行わずに出力する、請求項2に記載の測距装置。
- 前記第1半導体素子は、物体までの距離に応じて位相差が変化する複数相からなる前記電気信号を出力し、
前記距離算出部は、前記複数相からなる前記電気信号に基づいて、前記距離情報を算出する、請求項1に記載の測距装置。 - 前記距離算出部は、発光部が光を発光したタイミングから前記第1受光部が光を受光するタイミングまでの時間差により、前記距離情報を算出する、請求項1に記載の測距装置。
- 前記第1受光部からの制御により光を発光する発光部を備える、請求項1に記載の測距装置。
- 前記第1半導体素子と前記発光部は、同一の基板に実装される、請求項6に記載の測距装置。
- 前記第1半導体素子が実装される第1基板と、
前記第2半導体素子が実装される第2基板と、を備え、
前記第1基板と前記第2基板とは、互いに積層される、請求項1に記載の測距装置。 - 前記第1基板と前記第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又はWoW(Wafer on Wafer)方式のいずれかで貼り合わされる、請求項8に記載の測距装置。
- 前記第2基板に実装され、前記距離算出部が前記距離情報の算出を行う際に使用するメモリを備える、請求項8に記載の測距装置。
- 前記距離算出部が前記距離情報の算出を行う際に使用するメモリが実装される第3基板を備え、
前記第1基板、前記第2基板及び前記第3基板は、所定の順序で積層される、請求項8に記載の測距装置。 - 前記メモリは、揮発メモリ、又は書き換え可能な不揮発メモリである、請求項10に記載の測距装置。
- 前記距離算出部は、前記距離情報の算出を含めて、前記電気信号に対するデジタル信号処理を行うデジタル回路を有する、請求項1に記載の測距装置。
- 光を受光して光電変換を行って電気信号を生成する第2受光部を有する第4半導体素子を備える、請求項1に記載の測距装置。
- 前記第2受光部から出力された電気信号は、前記第2半導体素子を経由せずに、前記第3半導体素子に入力される、請求項14に記載の測距装置。
- 前記第3半導体素子は、前記第1受光部から出力される電気信号と、前記第2受光部から出力される電気信号とを同期させるか否かを制御する、請求項14に記載の測距装置。
- 前記第4半導体素子は、前記第2受光部から出力される電気信号に同期した同期信号を、前記第1半導体素子及び前記第2半導体素子に送信する、請求項16に記載の測距装置。
- 前記第1受光部と前記第2受光部とは、受光する光の波長帯域が互いに異なる、請求項14に記載の測距装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020077489A JP2023085575A (ja) | 2020-04-24 | 2020-04-24 | 測距装置 |
PCT/JP2021/015370 WO2021215314A1 (ja) | 2020-04-24 | 2021-04-14 | 測距装置 |
US17/918,474 US20230145578A1 (en) | 2020-04-24 | 2021-04-14 | Distance measurement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020077489A JP2023085575A (ja) | 2020-04-24 | 2020-04-24 | 測距装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023085575A true JP2023085575A (ja) | 2023-06-21 |
Family
ID=78269210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020077489A Pending JP2023085575A (ja) | 2020-04-24 | 2020-04-24 | 測距装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230145578A1 (ja) |
JP (1) | JP2023085575A (ja) |
WO (1) | WO2021215314A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4836424B2 (ja) * | 2004-09-14 | 2011-12-14 | 株式会社東芝 | マルチプロセッサ信号処理装置 |
WO2017119098A1 (ja) * | 2016-01-07 | 2017-07-13 | 株式会社日立製作所 | 計算機システム及び計算機の制御方法 |
JP2017173153A (ja) * | 2016-03-24 | 2017-09-28 | 株式会社豊田中央研究所 | 時間測定装置及びレーザレーダシステム |
EP3591437A4 (en) * | 2017-02-28 | 2020-07-22 | Sony Semiconductor Solutions Corporation | DISTANCE MEASURING DEVICE, DISTANCE MEASURING METHOD AND DISTANCE MEASURING SYSTEM |
JP7100518B2 (ja) * | 2017-08-31 | 2022-07-13 | キヤノン株式会社 | 固体撮像素子及び撮像装置 |
EP3622314A4 (en) * | 2017-08-31 | 2021-04-14 | SZ DJI Technology Co., Ltd. | SYSTEMS AND METHODS FOR A SOLID SEMICONDUCTOR LASER RADAR WITH APD NETWORK |
EP3572833B1 (en) * | 2017-09-29 | 2021-11-24 | Sony Semiconductor Solutions Corporation | Time measurement device and time measurement apparatus |
-
2020
- 2020-04-24 JP JP2020077489A patent/JP2023085575A/ja active Pending
-
2021
- 2021-04-14 WO PCT/JP2021/015370 patent/WO2021215314A1/ja active Application Filing
- 2021-04-14 US US17/918,474 patent/US20230145578A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021215314A1 (ja) | 2021-10-28 |
US20230145578A1 (en) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021085128A1 (ja) | 測距装置、測定方法、および、測距システム | |
JP7414440B2 (ja) | 測距センサ | |
JP7305535B2 (ja) | 測距装置、及び、測距方法 | |
WO2017195459A1 (ja) | 撮像装置、および撮像方法 | |
US20230408692A1 (en) | Distance measuring sensor and distance measuring system | |
US11670625B2 (en) | Imaging unit having a stacked structure and electronic apparatus including the imaging unit | |
WO2021241360A1 (ja) | 検出装置、検出システム及び検出方法 | |
WO2021085125A1 (ja) | 測距システム、駆動方法、および、電子機器 | |
TWI757751B (zh) | 測距感測器、信號處理方法及測距模組 | |
WO2019198385A1 (ja) | 撮像装置およびその製造方法、電子機器 | |
WO2021065500A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021106624A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
JP2023085575A (ja) | 測距装置 | |
WO2021065494A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2022044686A1 (ja) | Apdセンサ及び測距システム | |
WO2022153671A1 (ja) | 半導体パッケージ、電子装置、および、半導体パッケージの製造方法 | |
US20240111033A1 (en) | Photodetection device and photodetection system | |
CN114424084A (zh) | 照明设备、照明设备控制方法以及距离测量模块 | |
WO2021106623A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
WO2021065495A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021145212A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
WO2022254792A1 (ja) | 受光素子およびその駆動方法、並びに、測距システム | |
US20220413144A1 (en) | Signal processing device, signal processing method, and distance measurement device | |
JP2019161046A (ja) | 半導体装置、撮像装置、および電子機器 | |
WO2023079830A1 (ja) | 測距装置、および、光検出素子 |