JP2023132322A - 受光素子、および電子機器 - Google Patents

受光素子、および電子機器 Download PDF

Info

Publication number
JP2023132322A
JP2023132322A JP2022037567A JP2022037567A JP2023132322A JP 2023132322 A JP2023132322 A JP 2023132322A JP 2022037567 A JP2022037567 A JP 2022037567A JP 2022037567 A JP2022037567 A JP 2022037567A JP 2023132322 A JP2023132322 A JP 2023132322A
Authority
JP
Japan
Prior art keywords
circuit
counter
light receiving
receiving element
detection circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022037567A
Other languages
English (en)
Inventor
拓也 関口
Takuya Sekiguchi
一輝 中井
Kazuki Nakai
孝之 村上
Takayuki Murakami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2022037567A priority Critical patent/JP2023132322A/ja
Priority to PCT/JP2023/002873 priority patent/WO2023171176A1/ja
Publication of JP2023132322A publication Critical patent/JP2023132322A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Light Receiving Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】カウンタ回路の飽和を抑制可能な受光素子、および電子機器を提供する。【解決手段】本開示によれば、複数の画素を備えた受光素子であって、画素は、フォトンの入射を検出可能な検知回路と、検知回路が出力するパルスをカウントするカウンタ回路と、を有し、第１モードでは、複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子が提供される。【選択図】図７

Description

本開示は、受光素子、および電子機器に関する。
光子の有無を検出するＳＰＡＤ（Ｓｉｎｇｌｅ－Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を有する検知回路と、光子数を計数するカウンタ回路を画素毎に設けた受光素子が知られている。ところが、背景光量が大きな場合にカウンタ回路が飽和する恐れがある。
特開２０２０－１００９３号公報
そこで、本開示では、カウンタ回路の飽和を抑制可能な受光素子、および電子機器を提供する。
上記の課題を解決するために、本開示によれば、
複数の画素を備えた受光素子であって、
前記画素は、
フォトンの入射を検出可能な検知回路と、
前記検知回路が出力するパルスをカウントするカウンタ回路と、を有し、
第１モードでは、前記複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、前記複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子が提供される。
第２モードでは、前記第１カウンタ回路は、前記複数の画素が有する複数の検知回路の中の対応する第１検知回路のパルス信号をカウントしてもよい。
前記第１モードでは、前記第２カウンタ回路は、前記複数の画素が有する複数の検知回路の中の前記第１検知回路と異なる第２検知回路のパルス信号をカウントしてもよい。
前記複数の画素を制御処理する制御処理回路を更に備えてもよい。
前記制御処理回路は、前記第２モードで制御している場合に、前記第１カウンタ回路、又は前記第２カウンタ回路のカウンタ値が所定の上限値を越えた場合に応じて、前記第１モードで前記第１カウンタ回路、及び前記第２カウンタ回路に対応する第１複数画素を制御してもよい。
前記制御処理回路は、前記第１モードで前記第１複数画素を制御している場合に、前記第１カウンタ回路、及び前記第２カウンタ回路のカウンタ値が所定の上限値を越えない場合に応じて、前記第２モードで前記第１複数画素を制御してもよい。
前記制御処理回路は、前記複数のカウンタ回路がそれぞれ出力するカウンタ数を所定の周期でカウントし、時系列に前記カウンタ数が並ぶヒストグラムを生成するヒストグラム生成部を有してもよい。
前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値と、前記第２カウンタ回路の出力値と、を合算した第１ヒストグラムを生成してもよい。
前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値に基づくヒストグラムと、前記第２カウンタ回路の出力値に基づく第２ヒストグラムと、を生成する、請求項８してもよい。
前記制御処理回路は、前記第１ヒストグラム又は前記第２ヒストグラムを表示部に表示させる表示制御部を更に有してもよい。
前記第１カウンタ回路は、
前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
を有し、
前記制御処理回路は、前記第１モードでは、前記第２カウンタ回路の出力信号を選択させ、前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に行ってもよい。
前記第１カウンタ回路は、
前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
を有し、
前記制御処理回路は、
前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に第１周期で行い、
前記第１モードでは、前記第１検知回路と、前記第２カウンタ回路の出力信号と、を交互に選択させる制御を第１周期の倍の第２周期で行ってもよい。
前記第２カウンタ回路は、
前記第２検知回路と、前記第１カウンタ回路とからそれぞれ信号を入力される第２選択素子と、
前記第２選択素子の出力信号に基づきカウントする第２ビットカウンタと、
を有し、
前記制御処理回路は、
前記第１モードでは、前記第１カウンタ回路と、前記第２検知回路の出力信号と、を交互に選択させる制御を前記第２周期で行うってもよい。
前記第１検知回路は、
アバランシェフォトダイオードと、
電源端子と接地端子との間において前記アバランシェフォトダイオードに直列に接続された抵抗と、
前記アバランシェフォトダイオードの出力信号を前記パルスに成形する波形成形回路と、
を有してもよい。
前記制御処理回路は、第１撮像部から取得した画像データに基づき、平均輝度値が高い第１領域を選択し、前記第１領域内に対応する領域から前記第２検知回路を選択してもよい。
前記制御処理回路は、前記第１領域外に対応する領域から前記第１検知回路を選択してもよい。
前記制御処理回路は、第２撮像部から取得した画像データに基づき、輝度値の変化が高い第３領域を選択し、前記第３領域内に対応する領域から前記第２検知回路を選択してもよい。
前記制御処理回路は、前記第３領域外に対応する領域から前記第１検知回路を選択してもよい。
前記複数の画素は、それぞれが独立して駆動が可能であり、前記検知回路が対応する第１画素群と、第２画素群と、を有し、
前記第１モードでは、
前記第１画素群の中からは、前記第２検知回路を含む第１検知回路群からのパルス信号を取得し、
前記第２画素群の中からは、前記第１検知回路群と対応しない第２検知回路群からのパルス信号を取得してもよい。
前記第１検知回路と前記第２検知回路の組合わせを複数有し、
前記制御処理回路は、前記第１モードでは、
優先度に従い、前記組合わせの中から選択してもよい。
前記制御処理回路は、前記第１モードでは、
前記第２検知回路に隣接する検知回路に対応するカウンタ回路が所定の上限値を越えている場合には、前記所定の上限値を越えている検知回路を前記第１検知回路として選択してもよい。
上記の課題を解決するために、本開示によれば、
上述の受光素子と、
前記受光素子に戻り光を供給する光学系と備える、電子機器が提供される。
電子機器の一構成例を示すブロック図。 受光素子の積層構造の一例を示す図。 受光チップの一構成例を示す平面図。 ロジックチップの一構成例を示す平面図。 光学素子の回路構成例を模式的に示すブロック図。 ストグラム生成部が生成したヒストグラムの例を示す図。 光学素子内のより詳細な構成例を示す図。 測距点の組合わせ例を示す図。 図７で示する測距点の制御回路による制御例を示すタイムチャ－ト。 図７で示す測距点の制御回路による制御例を示すフローチャ－ト。 表示部に表示制御部が表示させるヒストグラム画像の例を示す図。 別の例のヒストグラム画像の例を示す図。 第２実施形態に係る電子機器の外観の概略図。 第２実施形態に係る処理回路の構成を示すブロック図。 第１領域抽出部の処理例を模式的に示す図。 第１領域抽出部の処理例を示すフローチャート。 第３実施形態に係る電子機器の外観の概略図。 第３実施形態に係る処理回路の構成を示すブロック図。 第２領域抽出部の処理例を模式的に示す図。 第２領域抽出部９５ｂの処理例を示すフローチャート。 第４実施形態に係る電子機器の外観の概略図。 第４実施形態に係る受光素子の積層構造の一例を示す図。 第１カウンタ部、及び第２カウンタ部の制御回路からの制御系統例を示す図。 第４実施形態に係る受光素子における測距点のＤＲ拡張時の動作例を示す図。 ＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスを示す図。 測距点のペアの組合わせ例を示す図。 距点ペアにおける別の組合わせ例を示す図。 記録部に予め記録されるペアの組み合わせの優先度を模式的に示す図。 制御部による連結の制御例を示す図。 飽和している測定点を選択する効果を模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１実施形態）
［電子機器の構成例］
図１は、本実施の形態における電子機器１の一構成例を示すブロック図である。この電子機器１は、例えば距離画像データを生成可能な機器である。すなわち、電子機器１は、照射部１０５、光学系１１０、受光素子２００、記録部１２０、撮像制御部１３０、及び表示部１５０を備える。電子機器１としては、例えば、スマートフォン、デジタルカメラ、パーソナルコンピュータ、車載カメラやＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）カメラが想定される。
照射部１０５は、撮像制御部１３０の制御に従って、パルス状のレーザ光を、予め設定された間隔で繰り返し照射すると共に、その照射タイミングを受光素子２００に通知する。なお、本実施形態ではレーザ光を照射する周期を、バンク（ＢＡＮＫ）時間と称する。
光学系１１０は、例えば撮像レンズを有し、レーザの戻り光を集光して受光素子２００に導くものである。受光素子２００は、撮像制御部１３０の制御に従って、距離画像データを撮像する。この受光素子２００は、撮像した距離画像データを記録部１２０に供給する。記録部１２０は、距離画像データなどを記録する。
撮像制御部１３０は、受光素子２００を制御して距離画像データを撮像させる。この撮像制御部１３０は、例えば、周期信号ＦＹＮＣなどの同期信号を照射部１０５、及び受光素子２００に供給する。なお、電子機器１は、インターフェースをさらに備え、そのインターフェースにより画像データを外部に送信してもよいし、表示部１５０に画像データを表示してもよい。
［受光素子の構成例］
図２は、本技術の実施の形態における受光素子２００の積層構造の一例を示す図である。この受光素子２００は、受光チップ２０１と、その受光チップ２０１に積層されたロジックチップ２０２とを備える。これらのチップ間には、信号を伝送するための信号線が設けられる。この受光素子２００は、所謂フォトンカウンティング式の撮像素子である。
［受光チップの構成例］
図３は、本技術の実施の形態における受光チップ２０１の一構成例を示す平面図である。この受光チップ２０１には、二次元格子状に複数の検知回路２１１が設けられる。また、検知回路２１１のそれぞれは、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を有する。ＳＰＡＤでは、降伏電圧よりも大きい電圧を印加した状態で、高電界のＰＮ接合領域へ１個の光子が入ると、アバランシェ増幅が発生する。検知回路２１１すなわち、受光チップ２０１では、ＳＰＡＤを用いた検知回路２１１を行列状に配置した画素アレイが採用される。複数の検知回路２１１のそれぞれは、検知した光子に応じてパルス信号を出力する。また、複数の検知回路２１１は、ＳＰＡＤセンサ２０を構成する。
［ロジックチップの構成例］
図４は、本実施の形態におけるロジックチップ２０２の一構成例を示す平面図である。このロジックチップ２０２には、複数のカウンタ回路２１２と、制御処理回路２１３とが設けられる。複数のカウンタ回路２１２は、複数の検知回路２１１に対応している。これにより、複数のカウンタ回路２１２のそれぞれは、対応する検知回路２１１が出力するパルス信号の数をカウントすることが可能である。
カウンタ回路２１２は、例えば８ビットのカウンタである。また、複数のカウンタ回路２１２は、それぞれ一対のペアとなるカウンタ回路２１２を連結可能に構成されている。一対のカウンタ回路２１２を連結した場合には、一方のカウンタ回路２１２の最上位ビット（ＭＳＢ）を、他方のカウンタ回路２１２の最下位ビット（ＬＳＢ）として入力可能に構成される。これにより、一対のカウンタ回路２１２を連結した場合には、パルス数を１６ビットまでカウントすることが可能である。この場合、例えば連結した一対のカウンタ回路２１２の内の一方に対応する検知回路２１１のパルス信号をカウントする。これから分かるように、カウンタ回路２１２を連結した場合には、ダイナミックレンジ（ＤＲ）が倍となる。一方で、連結した場合の解像度は、連結しない場合の１／２となる。なお、複数のカウンタ回路２１２は、カウンタ部３０を構成する。また、本実施形態に係る検知回路２１１と対応するカウンタ回路２１２との構成を画素と称する。すなわち、１画素は、検知回路２１１と対応するカウンタ回路２１２とを有する。
制御処理回路２１３は、複数の検知回路２１１、及び複数のカウンタ回路２１２を制御する。また、制御処理回路２１３は、複数のカウンタ回路２１２の出力に基づき、複数の検知回路２１１に対応する距離値を生成し、複数の検知回路２１１の位置に対応する二次元座標の距離画像データを生成する。
［光学素子２００内の回路構成例］
図５は、本実施の形態における光学素子２００の回路構成例を模式的に示すブロック図である。光学素子２００は、上述のようにＳＰＡＤセンサ２０と、カウンタ部３０と、制御処理回路２１３とを備える。また、制御処理回路２１３は、例えばＣＰＵを含んで構成され、クロック発生器４０と、制御回路５０と、処理回路６０とを有する。処理回路６０は、ヒストグラム生成部７０と、距離値生成部８０と、表示制御部９０とを有する。
クロック発生器４０は、クロック信号を生成する。制御回路５０は、クロック信号に基づき、ＳＰＡＤセンサ２０と、カウンタ部３０と、処理回路６０とを制御する。制御回路５０は、例えば、周期信号ＦＹＮＣなどの同期信号に同期させ所定の時間間隔ｂｉｎ毎に、カウンタ部３０の複数のカウンタ回路２１２のカウンタ値を出力させる。
また、制御回路５０は、各カウンタ回路２１２が飽和（オーバフロー）したか否かを判定する。すなわち、この制御回路５０は、カウンタ回路２１２のいずれかが飽和、例えば所定の上限値である２５６（例えば８ビット）を越えた場合に、一対のカウンタ回路２１２を連結させる制御を行うことが可能である。
ヒストグラム生成部７０は、カウンタ回路２１２毎に対応するヒストグラムを生成する。図６は、ヒストグラム生成部７０が生成したヒストグラムの例を示す図である。横軸は時間を示し、縦軸は、カウンタ回路２１２のカウンタ値である。カウント上限値は、例えば２５６に対応する。時間間隔ｂｉｎ０～ｂｉｎ９１を加算した時間が、上述のバンク（ＢＡＮＫ）時間に対応する。すなわち、照射部１０５が、撮像制御部１３０の制御に従って、パルス状のレーザ光を照射したタイミングで、ｂｉｎ０が開始する。そして、次のパルス状のレーザ光は、ｂｉｎ９１が終了した時点で照射される。
図６に示すように、制御回路５０は、時間間隔ｂｉｎ０～ｂｉｎ９１毎に、複数のカウンタ回路２１２のカウンタ値をヒストグラム生成部７０に出力させる。そして、複数のカウンタ回路２１２をリセットし、次のｂｉｎのカウントを開始させる。このように、制御回路５０は、時間間隔ｂｉｎ０～ｂｉｎ９１毎に、複数のカウンタ回路２１２のカウンタ値の出力とリセットを繰り返させる。
距離値生成部８０は、ヒストグラム生成部７０が生成した各ヒストグラムの最大値を示すｂｉｎを時間間隔ｂｉｎ０～ｂｉｎ９１の中から選択する。例えば、選択されたｂｉｎがパルス状のレーザ光を照射したタイミングから反射した光子が戻ってきたタイミングに対応する。これらから分かる様に、選択されたｂｉｎに対応する時間に光速を乗算し、２で割った値が距離値に対応する。すなわち、距離値生成部８０は、選択されたｂｉｎに対応する距離値をカウンタ回路２１２毎に生成する。そして、距離値生成部８０は、各距離値を二次元座標に対応させた距離画像データを生成する。複数の検知回路２１１のそれぞれは、２次元座標に対応するので、距離値生成部８０は、各距離値を二次元座標に対応させた距離画像データを生成することが可能である。
表示制御部９０は、表示部１５０に距離画像データを表示させる。また、表示制御部９０は、表示部１５０に後述するヒストグラム画像を表示させることが可能である。
図７は、光学素子２００内のより詳細な構成例を示す図である。図７では、簡単のため、一対のペアとなる検知回路２１１ａ及びカウンタ回路２１２ａと検知回路２１１ｂ及びカウンタ回路２１２ｂとを図示しているが、他の検知回路２１１及びカウンタ回路２１２も同様の構成である。検知回路２１１ａ及びカウンタ回路２１２ａは、後述する図８で示す測距点ＭＰ０内の検知回路２１１及びカウンタ回路２１２の例を示す。同様に、検知回路２１１ｂ及びカウンタ回路２１２ｂは、後述する図８で示す測距点ＭＰ１内の検知回路２１１及びカウンタ回路２１２の例を示す。
図７に示すように、検知回路２１１ａ、ｂは、アバランシェフォトダイオード（ＡＰＤ）１１１と、クエンチ抵抗１１２と、波形整形回路１１３と、を有する。すなわち、検知回路２１１はＳＰＡＤを構成する。カウンタ回路２１２ａは、マルチプレクサ１１４ａと、複数ビットカウンタ１１５ａとを有する。同様に、カウンタ回路２１２ｂは、マルチプレクサ１１４ｂと、複数ビットカウンタ１１５ｂとを有する。
ＡＰＤ１１１にはクエンチ抵抗１１２を介して降伏電圧以上のバイアス電圧ＶＡＰＤが印加されている。この状態でＡＰＤ１１１に光子が入射すると、アバランシェ増倍によって大きな光電流が流れ、クエンチ抵抗１１２で電圧降下が発生する。これにより、ＡＰＤ１１１に印加されるバイアス電圧ＶＡＰＤが低下し、バイアス電圧ＶＡＰＤが降伏電圧まで降下するとアバランシェ増倍は停止する。その結果、光電流が流れなくなり、ＡＰＤ１０１には再びバイアス電圧ＶＡＰＤが印加される状態に戻る。クエンチ抵抗１１２はＡＰＤ１１１のアバランシェ増倍を停止するための抵抗素子である。
波形整形回路１１３は、ＡＰＤ１１１とクエンチ抵抗１１２との接続点の電圧を増幅したのちにエッジ検出することにより、光子の入射によって生じる電圧変化から電圧パルスをパルス信号として生成する。このように、ＡＰＤ１１１、クエンチ抵抗１１２、および波形整形回路１０３は、単一フォトンの入射を検出可能な検知回路２１１を形成する。
マルチプレクサ１１４ａは、一方の入力端子には、対となる複数ビットカウンタ１１５ｂの最上位ビットの一方の端子が接続され、他方の入力端子には、対応する検知回路２１１ａの波形整形回路１１３が接続される。また、マルチプレクサ１１４の出力端子は複数ビットカウンタ１１５ａに接続される。なお、本実施形態に係るマルチプレクサ１１４ａが選択素子に対応する。
複数ビットカウンタ１１５ａの最上位ビットの端子は、マルチプレクサ１１４ｂの一方の入力端子に接続され、キャリービット端子は、制御回路５０に接続される。マルチプレクサ１１４ｂ、及び複数ビットカウンタ１１５ｂも同様の接続である。すなわち、複数ビットカウンタ１１５ｂの最上位ビットの端子は、マルチプレクサ１１４ａの一方の入力端子に接続され、キャリービット端子は、制御回路５０に接続される。
（通常測距）
通常測距時には、制御回路５０は、マルチプレクサ１１４ａ、１１４ｂへの入力を対応する波形整形回路１１３とする。また、複数ビットカウンタ１１５ａ、ｂのそれぞれはキャリービットを制御回路５０に出力する。
（ＤＲ拡張Ａ）
一方で、ダイナミックレンジ（ＤＲ）拡張時（連結撮像時）には、制御回路５０は、検知回路２１１ａを使用する場合に、マルチプレクサ１１４ａへの入力を対応する波形整形回路１１３とする。また、マルチプレクサ１１４ｂへの入力を複数ビットカウンタ１１５ａの最上位ビットの端子とする。
（ＤＲ拡張Ｂ）
同様に、ＤＲ拡張時に検知回路２１１ｂを使用する場合には、制御回路５０は、マルチプレクサ１１４ｂへの入力を対応する波形整形回路１１３とする。また、マルチプレクサ１１４ａへの入力を複数ビットカウンタ１１５ｂの最上位ビットの端子とする。なお、本実施形態に係るＤＲ拡張が第１モードに対応し、通常測距が第２モードに対応する。
図８は、本実施形態に係る測距点ＭＰ０～ＭＰ５の組合わせ例を示す図である。図８に示すように、本実施形態では、縦方向に隣接する３つの検知回路２１１を組として測距点ＭＰとする。図８では、測距点ＭＰ０とＭＰ１とがペアであり、測距点ＭＰ２とＭＰ３とがペアであり、測距点ＭＰ４とＭＰ５とがペアである。例えばペアである測距点ＭＰ０とＭＰ１内の、マルチプレクサ１１４及び複数ビットカウンタ１１５は、同様の接続関係を有する。これにより、ＤＲ拡張時には、縦方向に隣接する３つの検知回路２１１毎に撮像、非撮像が制御回路５０により制御される。なお、各測距点ＭＰには、レーザの戻り光（撮像光）の受光範囲が対応している。
図９は、図７で示する測距点ＭＰ０とＭＰ１の制御回路５０による制御例を示すタイムチャ－トである。上から状態（ＳＴＡＴ）、オーバフローフラグ（ＯＶＦ Ｆｌｇ）、周期信号（ＦＹＮＣ）、測距点ＭＰ０の選択信号（ＭＰＯのｓｅｌ）、測距点ＭＰ１の選択信号（ＭＰ１のｓｅｌ）、バンク（ＢＡＮＫ）のシーケンス（Ｓｅｑ）を示す。横軸は時間を示す。
状態（ＳＴＡＴ）の通常測距時には、上述の（通常測距）の駆動動作を行う。一方で、状態（ＳＴＡＴ）のＤＲ拡張時には、上述の（ＤＲ拡張Ａ）又は（ＤＲ拡張Ｂ）の駆動制御を行う。
オーバフローフラグは、制御回路５０の検出結果に基づく信号である。ハイレベル信号は、測距点ＭＰ０とＭＰ１内のカウンタ２１１のいずれかがオーバーフロー、すなわち例えば２５６の値を超えていることを示す。一方で、ロウレベル信号は、測距点ＭＰ０とＭＰ１内のカウンタ２１１のいずれもオーバーフローしていないことを示す。例えば、制御回路５０は、オーバーフローの検知には各カウンタ２１１のキャリービットを用いることが可能である。
周期信号ＦＹＮＣは、上述のように、撮像制御部１３０が出力する同期信号であり、電子機器１全体を同期させる信号である。撮像制御部１３０は、通常測距時には、８バンクとし、ＤＲ拡張時には、１６バンクとする。すなわち、撮像制御部１３０は、制御回路５０の制御情報に応じて、周期信号ＦＹＮＣの周期を変更可能である。
測距点ＭＰ０の選択信号（ＭＰＯのｓｅｌ）は、ハイレベル信号である場合には、ＭＰＯ内の検知回路２１１ａ（図６参照）を使用することを示す。つまり、上述の（ＤＲ拡張Ａ）の駆動制御が行われる。
一方で、測距点ＭＰ１の選択信号（ＭＰ１のｓｅｌ）は、ハイレベル信号である場合には、ＭＰ１内の検知回路２１１ｂ図６参照）を使用することを示す。つまり、上述の（ＤＲ拡張Ｂ）の駆動制御が行われる。このように、制御回路５０は、オーバーフローした測距点ＭＰ０、及びＭＰ１内のマルチプレクサ１１４ａ、ｂをＭＰＯのｓｅｌ信号、及びＭＰ１のｓｅｌ信号にしたがい制御し、入力信号を選択させる。
バンク（ＢＡＮＫ）のシーケンス（Ｓｅｑ）のシーケンスは、各バンク（ＢＡＮＫ）時間を示す。上述のように、１バンクは、レーザ光を照射する周期に対応する。つまり、通常測距時には、８バンクの測距が繰り返される。一方で、ＤＲ拡張時には、１６バンクの測距が、（ＤＲ拡張Ａ）及び（ＤＲ拡張Ｂ）を交互に繰り返される。なお、本実施形態では、測距点ＭＰ０とＭＰ１内のカウンタ２１１がオーバーフローした場合には、測距点ＭＰ０とＭＰのみをＤＲ拡張の駆動とするが、これに限定されない。例えば、測距点ＭＰ２とＭＰ３とのペア、及び測距点ＭＰ４とＭＰ５とのペアもＤＲ拡張の駆動としてもよい。
図１０は、図７で示す測距点ＭＰ０とＭＰ１の制御回路５０による制御例を示すフローチャ－トである。図１０に示すように、制御回路５０は、通常測距の状態から撮像を開始する（ステップＳ１００）。通常測距であるので、ＭＰＯのｓｅｌ、及びＭＰ１のｓｅｌをロウレベル（＝０）として、マルチプレクサ１１４ａ、ｂをそれぞれの対応する検知回路２１１側とし、８バンク分の処理を行う。
次に、制御回路５０は、周期信号ＦＹＮＣがハイレベルの時にオーバフローフラグがハイレベル（＝１）であるか否かを判定する（ステップＳ１０２）。オーバフローフラグがロウレベル（＝０）である場合（ステップＳ１０２のＮ）、通常測距であるので、ＭＰＯのｓｅｌ、及びＭＰ１のｓｅｌをロウレベル（＝０）として、マルチプレクサ１１４ａ、ｂをそれぞれの対応する検知回路２１１側とし、８バンク分の処理を行う。
（ステップＳ１０４～Ｓ１１０）
一方で、オーバフローフラグがハイレベル（＝１）である場合（ステップＳ１０２のＹ）、ＤＲ拡張であるので、制御回路５０は、ＭＰＯのｓｅｌをロウレベル（＝０）、及びＭＰ１のｓｅｌをハイレベル（＝１）として１バンク分の（ＤＲ拡張Ａ）の制御駆動を行う（ステップＳ１１２）。続けて、制御回路５０は、ＭＰＯのｓｅｌをハイレベル（＝１）、及びＭＰ１のｓｅ ｌをロウレベル（＝０）として１バンク分の（ＤＲ拡張Ｂ）の制御駆動を行う（ステップＳ１１４）、そして、（ＤＲ拡張Ａ）と、（ＤＲ拡張Ｂ）との駆動を交互に１４バンク分繰り返す（ステップＳ１１６～ステップＳ１１８）。そして、ステップＳ１０２からの処理を、電子機器１の撮像が終了するまで、繰り返す。
このように、制御回路５０は、測距点ＭＰ０、ＭＰ１内のカウンタ２１１のいずれかがオーフローすると、ペアとなる二つのカウンタ２１１を連結した駆動を行うことにより、ダイナミックレンジを拡張する。これにより、背景光の光量が増加した場合にも、より精度の高い側距を行うことが可能である。また、オーフローした場合には、一対の組となる検知回路２１１の出力を交互に用いることにより、距離画像データの解像度の低下を抑制できる。換言すると、測距点ＭＰ０、ＭＰ１の数を落とさずに撮像が可能である。さらにまた、測距点ＭＰ０、ＭＰ１内のカウンタ２１１のいずれもがオーフローしていない場合には、一対の組となる検知回路２１１のそれぞれの出力を用いることにより、解像度をより高めることが可能となる。
図１１は、ＤＲ拡張Ａの駆動をしている場合の表示部１５０に表示制御部９０が表示させるヒストグラム画像Ｚ４０の例を示す図である。画像Ｚ４０内には、ヒストグラム測距点ＭＰ０内のカウンタ２１１ａのキャリービットのヒストグラムＺ２４０ａと、カウンタ２１１ｂのキャリービットのヒストグラムＺ２４０ｂとが上下に並べて表示される。これにより、オーバーフローしたｂｉｎとそのときの値の把握が容易となる。
図１２は、ＤＲ拡張Ａの駆動をしている場合の表示部１５０に表示制御部９０が表示させる別の例のヒストグラム画像Ｚ４２の例を示す図である。画像Ｚ４２内には、カウンタ２１１ａのキャリービットの値と、カウンタ２１１ｂのキャリービットの値を合算したヒストグラムが表示される。これにより、オーバーフローしたｂｉｎと全体の値を一図で把握可能となる。図１０、又は図１１の表示例は設定により、選択可能である。
以上説明したように、本実施形態によれば、制御回路５０は、測距点ＭＰ０、ＭＰ１内のカウンタ２１１のいずれかがオーバーフローすると、対となる二つのカウンタ２１１を連結した駆動を行うこととした。これにより、測定ビット数が倍となり、ダイナミックレンジを拡張することが可能となる。このため、光量が増加した場合にも、より精度の高い側距を行うことが可能である。また、オーバーフローした場合には、一対の組となる検知回路２１１の出力を交互に用いるので、距離画像データの解像度の低下を抑制できる。
（第２実施形態）
第２実施形態に係る電子機器１は、可視撮像センサ（ＲＧＢセンサ）の情報を用いて、予めＤＲ拡張を行う範囲を設定可能である点で第１実施形態に係る電子機器１と相違する。以下では、第１実施形態に係る電子機器１と相違する点を説明する。
図１３は、第２実施形態に係る電子機器１の外観の概略図である。図１３に示すように、第２実施形態に係る電子機器１は、可視撮像センサ（ＲＧＢセンサ）３００を更に有する。可視撮像センサ（ＲＧＢセンサ）の撮像領域の座標と、複数の検知回路２１１とはそれぞれ対応関係があり、例えば予め記録部１２０（図１参照）に記録されている。
図１４は、第２実施形態に係る処理回路６０の構成を示すブロック図である。図１４に示すように、第２実施形態に係る処理回路６０は、第１領域抽出部９５ａを更に有する。
図１５は、第１領域抽出部９５ａの処理例を模式的に示す図である。第１領域抽出部９５ａは、可視撮像センサ（ＲＧＢセンサ）３００の撮像画像Ｃｉ４４と、複数の検知回路２１１を有するＳＰＡＤセンサ２０（図２参照）におけるＭＰの領域Ｒ４６を示す。図１６は、第１領域抽出部９５ａの処理例を示すフローチャートである。
図１５を参照にしつつ、図１６に基づき、第１領域抽出部９５ａの処理例を説明する。図１６に示すように、まず、第１領域抽出部９５ａは、撮像画像Ｃｉ４４を可視撮像センサ（ＲＧＢセンサ）３００から取得し、測距点ＭＰ１～Ｎに対応する領域１～Ｎの輝度値の平均値を算出する（ステップＳ２００）。
次に、第１領域抽出部９５ａは、領域１～Ｎの中から輝度値の平均値が閾値Ｔｈ１を越える範囲Ａ４４ａを抽出する（ステップＳ２０２）。続けて、第１領域抽出部９５ａは、平均値に対して閾値Ｔｈ１をパラメータとしてＳＰＡＤセンサ２０側でオーバーフローする測距点ＭＰを推測し、測距点ＭＰの位置情報を制御部５０に出力する（ステップＳ２０４）。
そして、制御部５０は、領域Ａ４６ｂの測距点ＭＰの検出回路２１１を検出に使用し、ＤＲ拡張する（ステップＳ２０４）。これにより、領域Ａ４６ｂに対応するカウンタ回路２１２とペアとなる領域Ａ４６ｃのカウンタ回路２１２がＤＲ拡張に使用される。この場合、常に領域Ａ４６ｂの測距点ＭＰの検出回路２１１が測距に使用されるので、例えば撮像周期は８バンクが維持される。このように、被写体の輝度値が高い箇所の測距点ＭＰ（領域Ａ４６ｂ）だけを有効にさせることで、強背景光下でもフレームレートを下げずに測距が可能となる。また、次の、可視撮像センサ（ＲＧＢセンサ）３００の撮像に応じて、被写体が動作している箇所の測距点ＭＰを自動的に切り替えることも可能となる。
以上説明したように、本実施形態によれば、予め撮像した撮像画像Ｃｉ４４を、可視撮像センサ（ＲＧＢセンサ）３００から取得し、輝度値の平均値が大きい領域に対応する測距点の領域Ａ４６ｂの検出回路２１１を測距に使用し、領域Ａ４６ｂのカウンタ２１１とペアとなる領域Ａ４６ｃのカウンタ２１１をＤＲ拡張に使用する。これにより、輝度値の平均値が大きい領域のダイナミックレンジを予め拡張できるので、対象物が存在する可能性が高い領域Ａ４６ｂをオーバーフローすることなく測定可能となる。
（第３実施形態）
第３実施形態に係る電子機器１は、イベントベースビジョンセンサ（ＥＶＳ）の情報を用いて、予めＤＲ拡張を行う範囲を更に設定可能である点で第２実施形態に係る電子機器１と相違する。以下では、第２実施形態に係る電子機器１と相違する点を説明する。
図１７は、第３実施形態に係る電子機器１の外観の概略図である。図１７に示すように、第３実施形態に係る電子機器１は、イベントベースビジョンセンサ３０２を更に有する。イベントベースビジョンセンサ３０２の撮像領域の座標と、複数の検知回路２１１とはそれぞれ対応関係があり、例えば予め記録部１２０（図１参照）に記録されている。
図１８は、第３実施形態に係る処理回路６０の構成を示すブロック図である。図１８に示すように、第３実施形態に係る処理回路６０は、第２領域抽出部９５ｂを更に有する。
図１９は、第２領域抽出部９５ｂの処理例を模式的に示す図である。イベントベースビジョンセンサ３０２の撮像画像Ｃｉ４５と、ＳＰＡＤセンサ２０（図２参照）における測距点ＭＰの領域Ｒ４６を示す。図２０は、第２領域抽出部９５ｂの処理例を示すフローチャートである。
図１９を参照にしつつ、図２０に基づき、第２領域抽出部９５ｂの処理例を説明する。図２０に示すように、まず、第２領域抽出部９５ｂは、撮像画像Ｃｉ４５をイベントベースビジョンセンサ３００から取得し、測距点ＭＰ１～Ｎに対応する領域１～Ｎの輝度値の変化を算出する（ステップＳ３００）。
次に、第２領域抽出部９５ｂは、領域１～Ｎの中から輝度値の変化が閾値Ｔｈ２を越える範囲Ａ４５ａを抽出する（ステップＳ３０２）。続けて、第２領域抽出部９５ｂは、範囲Ａ４５ａに対応する領域Ａ４７ｂの測距点ＭＰを抽出し、制御部５０に出力する。そして、制御部５０は、領域Ａ４７ｂの測距点ＭＰの検出回路２１１を検出に使用し、ＤＲ拡張する（ステップＳ３０４）。これにより、領域Ａ４７ｂに対応するカウンタ回路２１２とペアとなる領域Ａ４７ｃのカウンタ回路２１２がＤＲ拡張に使用される。この場合、常に領域Ａ４６ｂの測距点ＭＰの検出回路２１１が測距に使用されるので、例えば撮像周期は８バンクが維持される。このように、被写体が動作している箇所の測距点ＭＰ（領域Ａ４７ｂ）だけを有効にさせることで、強背景光下で動いている領域が少ないときにフレームレートを下げずに測距が可能となる。また、次の、イベントベースビジョンセンサ３００の撮像に応じて、被写体が動作している箇所の測距点ＭＰを自動的に切り替えることも可能となる。
以上説明したように、本実施形態によれば、予め撮像した撮像画像Ｃｉ４４をベントベースビジョンセンサ３００から取得し、輝度値の変化が大きい領域に対応する測距点の領域Ａ４６ｂの検出回路２１１を測距に使用し、領域Ａ４６ｂのカウンタ２１１とペアとなる領域Ａ４６ｃのカウンタ２１１をＤＲ拡張に使用する。これにより、輝度値の変化が大きい領域のダイナミックレンジを予め拡張できるので、対象物が存在する可能性が高い領域Ａ４６ｂをオーバーフローすることなく測定可能となる。
（第４実施形態）
第４実施形態に係る電子機器１は、複数のＳＰＡＤセンサと、複数のカウンタ部を備える点で第３実施形態に係る電子機器１と相違する。以下では、第３実施形態に係る電子機器１と相違する点を説明する。
図２１は、第４実施形態に係る電子機器１の外観の概略図である。図２１に示すように、第４実施形態に係る電子機器１は、複数の照射部１０５ａ、ｂと、複数の受光光学系１１０ａ、ｂを有する。
［受光素子の構成例］
図２２は、第４実施形態に係る受光素子２００ａの積層構造の一例を示す図である。この受光素子２００ａは、受光チップ２０１ａと、その受光チップ２０１ａに積層されたロジックチップ２０２ａとを備える。また、この受光チップ２０１ａには、二次元格子状に複数の検知回路２１１が設けられる第１ＳＰＡＤセンサ２０ａと、二次元格子状に複数の検知回路２１１が設けられる第２ＳＰＡＤセンサ２０ｂとを有する。
第１ＳＰＡＤセンサ２０ａは、照射部１０５ａの照射したパルス光の反射光を受光光学系１１０ａを介して受光する。同様に、第２ＳＰＡＤセンサ２０ｂは、照射部１０５ｂの照射したパルス光の反射光を受光光学系１１０ｂを介して受光する。
また、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとの複数の検知回路２１１は対応関係を有する。すなわち、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとでは、ＳＰＡＤを用いた検知回路２１１を行列状に配置した画素アレイが採用される。さらにまた、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとは、独立に駆動することも、同期して駆動することも可能である。
ロジックチップ２０２ａには、第１カウンタ部３０ａと、第２カウンタ部３０ｂと、制御処理回路２１３（図５参照）が設けられる。第１カウンタ部３０ａは、第１ＳＰＡＤセンサ２０ａの検知回路２１１に対応する複数のカウンタ回路２１２を有する。同様に、第２カウンタ部３０ｂは、第２ＳＰＡＤセンサ２０ｂの検知回路２１１に対応する複数のカウンタ回路２１２を有する。
図２３は、第１カウンタ部３０ａ、及び第２カウンタ部３０ｂの制御回路５０からの制御系統例を示す図である。図２３に示すように、第１カウンタ部３０ａと、第２カウンタ部３０ｂとは、制御回路５０の制御に従い、独立に駆動することも、同期して駆動することも可能である。
ここで、図２４、及び図２５を用いて、ＤＲ拡張時の第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとの同期駆動に関して説明する。
図２４は、第４実施形態に係る受光素子２００ａにおける測距点ＭＰのＤＲ拡張時の動作例を示す図である。第１ＳＰＡＤセンサ２０ａで用いる検知回路２１１の測距点はＭＰ１、２、５、６、９、１０、１３であり、第２ＳＰＡＤセンサ２０ｂで用いる検知回路２１１の測距点は、ＭＰ０、１、３、４、７、８、１１、１２である。また、第１ＳＰＡＤセンサ２０ａ側で連携されるカウンタ回路２１２の測距点は、ＭＰ０、１、３、４、７、８、１１、１２に対応するカウンタ回路２１２であり、第２ＳＰＡＤセンサ２０ｂ側で連携されるカウンタ回路２１２の測距点は、ＭＰ１、２、５、６、９、１０、１３である。このように、使用する測距点ＭＰを、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとで相補的に用いる。これにより、ＤＲ拡張時でも解像度の低下が抑制される。
図２５は、ＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスを示す図である。上側が第１カウンタ部３０ａにおけるＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスであり、下側が第２カウンタ部３０ｂにおけるＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスである。このように、ＤＲ拡張時には、制御回路５０は、第１ＳＰＡＤセンサ２０ａ及び第１カウンタ部と、２ＳＰＡＤセンサ２０ｂ及び第２カウンタ部３０ｂとを、同期させる。また、解像度も維持されるため、バンク数８で周期的に撮像される。
以上説明したように、本実施形態によれば、受光素子２００ａは、複数の第１ＳＰＡＤセンサ２０ａ及び第１カウンタ部と、２ＳＰＡＤセンサ２０ｂ及び第２カウンタ部３０ｂとを有することとし、ＤＲ拡張時に使用する測距点ＭＰを、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとで相補的に用いることとした。これにより、解像度を維持した状態でダイナミックレンジの拡張が可能となる。
（第５実施形態）
第５実施形態に係る電子機器１は、測距点ＭＰ０～ＭＰｎのペアの組み方に優先度を設ける点で
第４実施形態に係る電子機器１と相違する。以下では、第４実施形態に係る電子機器１と相違する点を説明する。
図２６は、測距点ＭＰ０～ＭＰｎのペアの組合わせ例を示す図である。図２６では、ｎは１３である。図２６では、ペアを上下に組合わせる例を示している。
図２７は、測距点ＭＰ０～ＭＰｎペアにおける別の組合わせ例を示す図である。図２７では、ｎは１３である。図２７では、ペアを斜めに組合わせる。このように、第２実施形態に係る電子機器１では、ペアの組合わせ方法を横方向意外にも複数有する。
図２８は、記録部１２０（図１参照）に予め記録されるペアの組み合わせの優先度を模式的に示す図である。図２８に示すように、横連結が優先度１であり、縦連結が優先度２であり、斜め連結が優先度３である。これらの優先度は、隣接する測距点が飽和していない場合の例である。
図２９は、制御部５０による連結の制御例を示す図である。例えば、測距点ＭＰ２の飽和が検知されている場合である。この場合、隣接する測距点が飽和していない場合には、図２９で示す優先度で連結する。ところが、隣接する測距点Ｍ５も飽和しているので、この場合には測距点Ｍ５のカウンタ回路２１２と連結させる。これにより、測距点Ｍ５も飽和しているので、測距点Ｍ５のカウンタを使用しても、撮像情報量の低下が抑制される。
一方で、飽和が検知された測距点ＭＰ１３では、隣接する測距点の飽和が検知されていない場合である。この場合、優先度にしたがい連結される。すなわち、横連結が優先度１であり、横連結が選択される。
図３０は、隣接する測距点が飽和している場合に、飽和している測定点を選択する効果を模式的に示す図である。図３０では、測定点ＭＰ１とＭＰ５が飽和している。この場合、優先度１に従いＭＰ０と、ＭＰ４と連結させると、飽和していないＭＰ０と、ＭＰ４の検知回路２１１が使用できなくなり、解像度が低下してしまう。これに対して、優先度は２番目であるが測定点ＭＰ１とＭＰ５を連結させると、もともと使用できないＭＰ５の検知回路２１１に対応するカウンタ２１１が使用でき、解像度の低下を抑制できる。
以上説明したように本実施形態によれば、飽和している測定点ＭＰがある場合に、隣接する測定点ＭＰが飽和していない場合には、優先度にしたがいカウンタ２１１を連結させることにした。これにより、飽和している測定点ＭＰが複数ある場合にも規則的にカウンタ２１１を連結させることができ、解像度に不規則な低下が生じることを抑制できる。また、飽和している測定点ＭＰがある場合に、隣接する測定点ＭＰが飽和している場合には、飽和している定点ＭＰ同士のカウンタ回路２１２を連結させることとした。これにより、もともと使用できない測定点ＭＰの検知回路２１１に対応するカウンタ２１１が使用でき、解像度の低下を抑制できる。
＜＜１．応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図３２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３２には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図３１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ ｉｎ Ｖｅｈｉｃｌｅ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インターフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、又はＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインターフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
なお、図１を用いて説明した本実施形態に係る電子機器１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る電子機器１は、図３１に示した応用例の撮像部７４１０に適用することができる。
また、図１を用いて説明した電子機器１の少なくとも一部の構成要素は、図３１に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した電子機器１が、図３１に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
なお、本技術は以下のような構成を取ることができる。
（１）
複数の画素を備えた受光素子であって、
前記画素は、
フォトンの入射を検出可能な検知回路と、
前記検知回路が出力するパルスをカウントするカウンタ回路と、を有し、
第１モードでは、前記複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、前記複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子。
（２）
第２モードでは、前記第１カウンタ回路は、前記複数の画素が有する複数の検知回路の中の対応する第１検知回路のパルス信号をカウントする、（１）に記載の受光素子。
（３）
前記第１モードでは、前記第２カウンタ回路は、前記複数の画素が有する複数の検知回路の中の前記第１検知回路と異なる第２検知回路のパルス信号をカウントする、（２）に記載の受光素子。
（４）
前記複数の画素を制御処理する制御処理回路を更に備える、（３）に記載の受光素子。
（５）
前記制御処理回路は、前記第２モードで制御している場合に、前記第１カウンタ回路、又は前記第２カウンタ回路のカウンタ値が所定の上限値を越えた場合に応じて、前記第１モードで前記第１カウンタ回路、及び前記第２カウンタ回路に対応する第１複数画素を制御する、（４）に記載の受光素子。
（６）
前記制御処理回路は、前記第１モードで前記第１複数画素を制御している場合に、前記第１カウンタ回路、及び前記第２カウンタ回路のカウンタ値が所定の上限値を越えない場合に応じて、前記第２モードで前記第１複数画素を制御する、（５）に記載の受光素子。
（７）
前記制御処理回路は、前記複数のカウンタ回路がそれぞれ出力するカウンタ数を所定の周期でカウントし、時系列に前記カウンタ数が並ぶヒストグラムを生成するヒストグラム生成部を有する、（６）に記載の受光素子。
（８）
前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値と、前記第２カウンタ回路の出力値と、を合算した第１ヒストグラムを生成する、（７）に記載の受光素子。
（９）
前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値に基づくヒストグラムと、前記第２カウンタ回路の出力値に基づく第２ヒストグラムと、を生成する、（８)に記載の受光素子。
（１０）
前記制御処理回路は、前記第１ヒストグラム又は前記第２ヒストグラムを表示部に表示させる表示制御部を更に有する、（９）に記載の受光素子。
（１１）
前記第１カウンタ回路は、
前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
を有し、
前記制御処理回路は、前記第１モードでは、前記第２カウンタ回路の出力信号を選択させ、前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に行う、（４）に記載の受光素子。
（１２）
前記第１カウンタ回路は、
前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
を有し、
前記制御処理回路は、
前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に第１周期で行い、
前記第１モードでは、前記第１検知回路と、前記第２カウンタ回路の出力信号と、を交互に選択させる制御を第１周期の倍の第２周期で行う、（４）に記載の受光素子。
（１３）
前記第２カウンタ回路は、
前記第２検知回路と、前記第１カウンタ回路とからそれぞれ信号を入力される第２選択素子と、
前記第２選択素子の出力信号に基づきカウントする第２ビットカウンタと、
を有し、
前記制御処理回路は、
前記第１モードでは、前記第１カウンタ回路と、前記第２検知回路の出力信号と、を交互に選択させる制御を前記第２周期で行う、（１２）に記載の受光素子。
（１４）
前記第１検知回路は、
アバランシェフォトダイオードと、
電源端子と接地端子との間において前記アバランシェフォトダイオードに直列に接続された抵抗と、
前記アバランシェフォトダイオードの出力信号を前記パルスに成形する波形成形回路と、
を有する、（１２）に記載の受光素子。
（１５）
前記制御処理回路は、第１撮像部から取得した画像データに基づき、平均輝度値が高い第１領域を選択し、前記第１領域内に対応する領域から前記第２検知回路を選択する、（４）に記載の受光素子。
（１６）
前記制御処理回路は、前記第１領域外に対応する領域から前記第１検知回路を選択する、（１５）に記載の受光素子。
（１７）
前記制御処理回路は、第２撮像部から取得した画像データに基づき、輝度値の変化が高い第３領域を選択し、前記第３領域内に対応する領域から前記第２検知回路を選択する、（４）に記載の受光素子。
（１８）
前記制御処理回路は、前記第３領域外に対応する領域から前記第１検知回路を選択する、（１７）に記載の受光素子。
（１９）
前記複数の画素は、それぞれが独立して駆動が可能であり、前記検知回路が対応する第１画素群と、第２画素群と、を有し、
前記第１モードでは、
前記第１画素群の中からは、前記第２検知回路を含む第１検知回路群からのパルス信号を取得し、
前記第２画素群の中からは、前記第１検知回路群と対応しない第２検知回路群からのパルス信号を取得する、（４）に記載の受光素子。
（２０）
前記第１検知回路と前記第２検知回路の組合わせを複数有し、
前記制御処理回路は、前記第１モードでは、
優先度に従い、前記組合わせの中から選択する、（４）に記載の受光素子。
（２１）
前記制御処理回路は、前記第１モードでは、
前記第２検知回路に隣接する検知回路に対応するカウンタ回路が所定の上限値を越えている場合には、前記所定の上限値を越えている検知回路を前記第１検知回路として選択する、（４）に記載の受光素子。
（２２）
（１）に記載の受光素子と、
前記受光素子に戻り光を供給する光学系と備える、電子機器。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
１：電子機器、
２０ａ：第１ＳＰＡＤセンサ（第１検知回路群）、
２０ｂ：第２ＳＰＡＤセンサ（第２検知回路群）、
７０：ヒストグラム生成部、
９０：表示制御部、
１１０：光学系、
１１１：アバランシェフォトダイオード、
１１２：クエンチ抵抗
１１３：波形整形回路、
１１４：マルチプレクサ（選択素子）、
１１５：複数ビットカウンタ、
２００：光学素子、
２１１：検知回路、
２１２：カウンタ回路、
２１３：制御処理回路、
３００：可視撮像センサ（ＲＧＢセンサ）、
３０２：イベントベースビジョンセンサ（ＥＶＳ）。

Claims (22)

  1. 複数の画素を備えた受光素子であって、
    前記画素は、
    フォトンの入射を検出可能な検知回路と、
    前記検知回路が出力するパルスをカウントするカウンタ回路と、を有し、
    第１モードでは、前記複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、前記複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子。
  2. 第２モードでは、前記第１カウンタ回路は、前記複数の画素が有する複数の検知回路の中の対応する第１検知回路のパルス信号をカウントする、請求項１に記載の受光素子。
  3. 前記第１モードでは、前記第２カウンタ回路は、前記複数の画素が有する複数の検知回路の中の前記第１検知回路と異なる第２検知回路のパルス信号をカウントする、請求項２に記載の受光素子。
  4. 前記複数の画素を制御処理する制御処理回路を更に備える、請求項３に記載の受光素子。
  5. 前記制御処理回路は、前記第２モードで制御している場合に、前記第１カウンタ回路、又は前記第２カウンタ回路のカウンタ値が所定の上限値を越えた場合に応じて、前記第１モードで前記第１カウンタ回路、及び前記第２カウンタ回路に対応する第１複数画素を制御する、請求項４に記載の受光素子。
  6. 前記制御処理回路は、前記第１モードで前記第１複数画素を制御している場合に、前記第１カウンタ回路、及び前記第２カウンタ回路のカウンタ値が所定の上限値を越えない場合に応じて、前記第２モードで前記第１複数画素を制御する、請求項５に記載の受光素子。
  7. 前記制御処理回路は、前記複数のカウンタ回路がそれぞれ出力するカウンタ数を所定の周期でカウントし、時系列に前記カウンタ数が並ぶヒストグラムを生成するヒストグラム生成部を有する、請求項６に記載の受光素子。
  8. 前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値と、前記第２カウンタ回路の出力値と、を合算した第１ヒストグラムを生成する、請求項７に記載の受光素子。
  9. 前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値に基づくヒストグラムと、前記第２カウンタ回路の出力値に基づく第２ヒストグラムと、を生成する、請求項８に記載の受光素子。
  10. 前記制御処理回路は、前記第１ヒストグラム又は前記第２ヒストグラムを表示部に表示させる表示制御部を更に有する、請求項９に記載の受光素子。
  11. 前記第１カウンタ回路は、
    前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
    前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
    を有し、
    前記制御処理回路は、前記第１モードでは、前記第２カウンタ回路の出力信号を選択させ、前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に行う、請求項４に記載の受光素子。
  12. 前記第１カウンタ回路は、
    前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
    前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
    を有し、
    前記制御処理回路は、
    前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に第１周期で行い、
    前記第１モードでは、前記第１検知回路と、前記第２カウンタ回路の出力信号と、を交互に選択させる制御を第１周期の倍の第２周期で行う、請求項４に記載の受光素子。
  13. 前記第２カウンタ回路は、
    前記第２検知回路と、前記第１カウンタ回路とからそれぞれ信号を入力される第２選択素子と、
    前記第２選択素子の出力信号に基づきカウントする第２ビットカウンタと、
    を有し、
    前記制御処理回路は、
    前記第１モードでは、前記第１カウンタ回路と、前記第２検知回路の出力信号と、を交互に選択させる制御を前記第２周期で行う、請求項１２に記載の受光素子。
  14. 前記第１検知回路は、
    アバランシェフォトダイオードと、
    電源端子と接地端子との間において前記アバランシェフォトダイオードに直列に接続された抵抗と、
    前記アバランシェフォトダイオードの出力信号を前記パルスに成形する波形成形回路と、
    を有する、請求項１２に記載の受光素子。
  15. 前記制御処理回路は、第１撮像部から取得した画像データに基づき、平均輝度値が高い第１領域を選択し、前記第１領域内に対応する領域から前記第２検知回路を選択する、請求項４に記載の受光素子。
  16. 前記制御処理回路は、前記第１領域外に対応する領域から前記第１検知回路を選択する、請求項１５に記載の受光素子。
  17. 前記制御処理回路は、第２撮像部から取得した画像データに基づき、輝度値の変化が高い第３領域を選択し、前記第３領域内に対応する領域から前記第２検知回路を選択する、請求項４に記載の受光素子。
  18. 前記制御処理回路は、前記第３領域外に対応する領域から前記第１検知回路を選択する、請求項１７に記載の受光素子。
  19. 前記複数の画素は、それぞれが独立して駆動が可能であり、前記検知回路が対応する第１画素群と、第２画素群と、を有し、
    前記第１モードでは、
    前記第１画素群の中からは、前記第２検知回路を含む第１検知回路群からのパルス信号を取得し、
    前記第２画素群の中からは、前記第１検知回路群と対応しない第２検知回路群からのパルス信号を取得する、請求項４に記載の受光素子。
  20. 前記第１検知回路と前記第２検知回路の組合わせを複数有し、
    前記制御処理回路は、前記第１モードでは、
    優先度に従い、前記組合わせの中から選択する、請求項４に記載の受光素子。
  21. 前記制御処理回路は、前記第１モードでは、
    前記第２検知回路に隣接する検知回路に対応するカウンタ回路が所定の上限値を越えている場合には、前記所定の上限値を越えている検知回路を前記第１検知回路として選択する、請求項４に記載の受光素子。
  22. 請求項１に記載の受光素子と、
    前記受光素子に戻り光を供給する光学系と備える、電子機器。
JP2022037567A 2022-03-10 2022-03-10 受光素子、および電子機器 Pending JP2023132322A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022037567A JP2023132322A (ja) 2022-03-10 2022-03-10 受光素子、および電子機器
PCT/JP2023/002873 WO2023171176A1 (ja) 2022-03-10 2023-01-30 受光素子、および電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022037567A JP2023132322A (ja) 2022-03-10 2022-03-10 受光素子、および電子機器

Publications (1)

Publication Number Publication Date
JP2023132322A true JP2023132322A (ja) 2023-09-22

Family

ID=87936576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022037567A Pending JP2023132322A (ja) 2022-03-10 2022-03-10 受光素子、および電子機器

Country Status (2)

Country Link
JP (1) JP2023132322A (ja)
WO (1) WO2023171176A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084801B2 (ja) * 2018-07-03 2022-06-15 キヤノン株式会社 撮像素子および撮像装置
JP7321723B2 (ja) * 2019-03-04 2023-08-07 キヤノン株式会社 撮像装置およびその制御方法
JP7463767B2 (ja) * 2020-03-02 2024-04-09 株式会社リコー 受光装置及び距離計測装置

Also Published As

Publication number Publication date
WO2023171176A1 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
US20200348416A1 (en) Ranging device and ranging method
WO2020022137A1 (ja) 受光装置及び測距装置
WO2020153275A1 (ja) 測距装置、車載システム及び測距方法
EP3896483A1 (en) Photodetection device and distance measurement device
JP2020106397A (ja) 測距装置
JP2021128084A (ja) 測距装置および測距方法
WO2021019939A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
US20220120875A1 (en) Photodetector, driving method of photodetector, and distance measuring device
WO2023171176A1 (ja) 受光素子、および電子機器
WO2021161858A1 (ja) 測距装置および測距方法
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2023145344A1 (ja) 受光素子、および電子機器
WO2023162734A1 (ja) 測距装置
US20230106211A1 (en) Distance measuring device and distance measuring method
JP7511562B2 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2023223928A1 (ja) 測距装置及び測距システム
WO2023162733A1 (ja) 測距装置及び測距方法
WO2023218798A1 (ja) 測距装置及びカウンタ
JP7407734B2 (ja) 光検出装置及び光検出装置の制御方法、並びに、測距装置
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2023219045A1 (ja) 受光装置、制御方法、及び測距システム
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2021200523A1 (ja) 撮像装置及び撮像方法