JP2021051015A - 測距装置、測距方法、並びにプログラム - Google Patents

測距装置、測距方法、並びにプログラム Download PDF

Info

Publication number
JP2021051015A
JP2021051015A JP2019174417A JP2019174417A JP2021051015A JP 2021051015 A JP2021051015 A JP 2021051015A JP 2019174417 A JP2019174417 A JP 2019174417A JP 2019174417 A JP2019174417 A JP 2019174417A JP 2021051015 A JP2021051015 A JP 2021051015A
Authority
JP
Japan
Prior art keywords
pixel
value
threshold value
difference
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019174417A
Other languages
English (en)
Inventor
敬文 藤田
Takafumi Fujita
敬文 藤田
小野　博明
Hiroaki Ono
博明 小野
弘長 佐野
Hironaga Sano
弘長 佐野
武笠　智治
Tomoharu Mukasa
智治 武笠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019174417A priority Critical patent/JP2021051015A/ja
Priority to DE112020004538.2T priority patent/DE112020004538T5/de
Priority to US17/760,897 priority patent/US20220357155A1/en
Priority to CN202080065934.7A priority patent/CN114424022B/zh
Priority to PCT/JP2020/036469 priority patent/WO2021060539A1/ja
Publication of JP2021051015A publication Critical patent/JP2021051015A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】測距をより精度良く行えるようにする。【解決手段】デプスマップ内の第１のピクセルと、第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、第１の判定部により、第１のピクセルと第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、第１のピクセルの信頼度と第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定する第２の判定部とを備え、第２の判定部により、第１のピクセルの信頼度と第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、第１のピクセルは、欠陥ピクセルであると確定する。本技術は、例えば、測距装置に適用できる。【選択図】図１

Description

本技術は測距装置、測距方法、並びにプログラムに関し、例えば、誤った測距結果を精度良く検出するようにした測距装置、測距方法、並びにプログラムに関する。
近年、半導体技術の進歩により、物体までの距離を測定する測距装置の小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距装置を搭載することが実現されている。対象物までの距離を測定する測距装置（センサ）としては、例えば、ＴＯＦ（Time Of Flight）センサがある（例えば、特許文献１を参照）。
特開2016-090268号公報
誤った測距結果があった場合に、その誤った測距結果を、精度良く検出することで、測距自体の精度を上げることが望まれている。
本技術は、このような状況に鑑みてなされたものであり、誤った測距結果を精度良く検出することができるようにするものである。
本技術の一側面の第１の測距装置は、デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、前記第１の判定部により、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定する第２の判定部とを備え、前記第２の判定部により、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する。
本技術の一側面の第２の測距装置は、デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、前記第１の判定部により、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定する第２の判定部とを備え、前記第２の判定部により、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する。
本技術の一側面の第１の測距方法は、測距する測距装置が、デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定し、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する。
本技術の一側面の第２の測距方法は、測距する測距装置が、デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定し、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する。
本技術の一側面の第１のプログラムは、コンピュータに、デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定し、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定するステップを含む処理を実行させる。
本技術の一側面の第２のプログラムは、コンピュータが、デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定し、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定するステップを含む処理を実行させる。
本技術の一側面の第１の測距装置、測距方法、並びにプログラムにおいては、デプスマップ内の第１のピクセルと、第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいと判定された場合、さらに第１のピクセルの信頼度と第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かが判定される。そして第１のピクセルの信頼度と第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、第１のピクセルは、欠陥ピクセルであると確定される。
本技術の一側面の第２の測距装置、測距方法、並びにプログラムにおいては、デプスマップ内の第１のピクセルと、第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいと判定された場合、さらに第１のピクセルの反射率と第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かが判定される。そして第１のピクセルの反射率と第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、第１のピクセルは、欠陥ピクセルであると確定される。
なお、測距装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術を適用した測距装置の一実施の形態の構成を示す図である。 受光部の構成例を示す図である。 画素の構成例を示す図である。 画素における電荷の振り分けを説明する図である。 ９０度毎に位相が遅れた４通りの受光の一例を示す図である。 位相遅れ０度の受光による検出期間での検出信号の一例を示す図である。 位相遅れ９０度の受光による検出期間での検出信号の一例を示す図である。 位相遅れ１８０度の受光による検出期間での検出信号の一例を示す図である。 位相遅れ２７０度の受光による検出期間での検出信号の一例を示す図である。 １フレームにおける検出信号について説明するための図である。 検出期間と検出信号の関係を説明するための図である。 １フレームにおける検出信号について説明するための図である。 １フレームにおける検出信号について説明するための図である。 フライングピクセルについて説明するための図である。 フライングピクセルについて説明するための図である。 フライングピクセルについて説明するための図である。 フライングピクセルについて説明するための図である。 フライングピクセルの検出に関わる第１の処理について説明するためのフローチャートである。 処理対象と周辺のピクセルとの関係について説明するための図である。 フライングピクセルの検出に関わる第２の処理について説明するためのフローチャートである。 閾値の設定について説明するための図である。 電子機器の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
本技術は、例えば間接ＴＯＦ方式により測距を行う測距システムを構成する受光素子や、そのような受光素子を有する撮像装置などに適用することが可能である。
例えば測距システムは、車両に搭載され、車外にある対象物までの距離を測定する車載用のシステムや、ユーザの手等の対象物までの距離を測定し、その測定結果に基づいてユーザのジェスチャを認識するジェスチャ認識用のシステムなどに適用することができる。この場合、ジェスチャ認識の結果は、例えばカーナビゲーションシステムの操作等に用いることができる。
＜測距装置の構成例＞
図１は、本技術を適用した測距装置の一実施の形態の構成例を示している。
測距装置１０は、レンズ１１、受光部１２、信号処理部１３、発光部１４、発光制御部１５、およびフィルタ部１６を備える。図１の測距装置１０は、物体に対して光を照射し、その光（照射光）が物体で反射した光（反射光）を受光することで物体までの距離を測定する。
測距装置１０の発光系は、発光部１４と発光制御部１５から成る。発光系においては、発光制御部１５が、信号処理部１３からの制御に従い、発光部１４により赤外光（ＩＲ）を照射させる。レンズ１１と受光部１２の間にＩＲバンドフィルタを設け、ＩＲバンドパスフィルタの透過波長帯に対応する赤外光を発光部１４が発光する構成とするようにしても良い。
発光部１４は、測距装置１０の筐体内に配置してもよいし、測距装置１０の筐体外部に配置してもよい。発光制御部１５は、発光部１４を、所定の周波数で発光させる。
信号処理部１３は、例えば、受光部１２から供給される検出信号（画素データ）に基づいて、測距装置１０から物体までの距離（デプス値）を算出する算出部として機能する。信号処理部１３は、受光部１２の各画素５０（図２）の画素値としてデプス値（奥行き情報）が格納されたデプスマップを生成してフィルタ部１６に出力する。また、信号処理部１３は、受光部１２の各画素５０について、算出したデプス値の信頼度も算出し、受光部１２の各画素５０の画素値として信頼度（輝度情報）を格納した信頼度マップを生成してフィルタ部１６に出力する。
＜撮像素子の構成＞
図２は、受光部１２の構成例を示すブロック図である。受光部１２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサとすることができる。
受光部１２は、画素アレイ部４１、垂直駆動部４２、カラム処理部４３、水平駆動部４４、およびシステム制御部４５を含む。画素アレイ部４１、垂直駆動部４２、カラム処理部４３、水平駆動部４４、およびシステム制御部４５は、図示しない半導体基板（チップ）上に形成されている。
画素アレイ部４１には、入射光量に応じた電荷量の光電荷を発生して内部に蓄積する光電変換素子を有する単位画素（例えば、図３の画素５０）が行列状に２次元配置されている。なお、以下では、入射光量に応じた電荷量の光電荷を、単に「電荷」と記述し、単位画素を、単に「画素」と記述する場合もある。
画素アレイ部４１にはさらに、行列状の画素配列に対して行毎に画素駆動線４６が図の左右方向（画素行の画素の配列方向）に沿って形成され、列毎に垂直信号線４７が図の上下方向（画素列の画素の配列方向）に沿って形成されている。画素駆動線４６の一端は、垂直駆動部４２の各行に対応した出力端に接続されている。
垂直駆動部４２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部４１の各画素を、全画素同時あるいは行単位等で駆動する画素駆動部である。垂直駆動部４２によって選択走査された画素行の各単位画素から出力される画素信号は、垂直信号線４７の各々を通してカラム処理部４３に供給される。カラム処理部４３は、画素アレイ部４１の画素列毎に、選択行の各単位画素から垂直信号線４７を通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
具体的には、カラム処理部４３は、信号処理として少なくとも、ノイズ除去処理、例えばCDS（Correlated Double Sampling;相関二重サンプリング）処理を行う。このカラム処理部４３による相関二重サンプリングにより、リセットノイズや増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。なお、カラム処理部４３にノイズ除去処理以外に、例えば、AD（アナログデジタル）変換機能を持たせ、信号レベルをデジタル信号で出力することも可能である。
水平駆動部４４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部４３の画素列に対応する単位回路を順番に選択する。この水平駆動部４４による選択走査により、カラム処理部４３で信号処理された画素信号が順番に信号処理部４８に出力される。
システム制御部４５は、各種のタイミング信号を生成するタイミングジェネレータ等によって構成され、タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部４２、カラム処理部４３、および水平駆動部４４などの駆動制御を行う。
画素アレイ部４１において、行列状の画素配列に対して、画素行毎に画素駆動線４６が行方向に沿って配線され、各画素列に２つの垂直信号線４７が列方向に沿って配線されている。例えば画素駆動線４６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。なお、図２では、画素駆動線４６について１本の配線として示しているが、１本に限られるものではない。画素駆動線４６の一端は、垂直駆動部４２の各行に対応した出力端に接続されている。
＜単位画素の構造＞
次に、画素アレイ部４１に行列状に配置されている単位画素５０の具体的な構造について説明する。
画素５０は、光電変換素子であるフォトダイオード６１（以下、ＰＤ６１と記述する）を備え、ＰＤ６１で発生した電荷がタップ５１−１およびタップ５１−２に振り分けられるように構成されている。そして、ＰＤ６１で発生した電荷のうち、タップ５１−１に振り分けられた電荷が垂直信号線４７−１から読み出されて検出信号ＳＩＧ１として出力される。また、タップ５１−２に振り分けられた電荷が垂直信号線４７−２から読み出されて検出信号ＳＩＧ２として出力される。
タップ５１−１は、転送トランジスタ６２−１、ＦＤ（Floating Diffusion）６３−１、リセットトランジスタ６４、増幅トランジスタ６５−１、および選択トランジスタ６６−１により構成される。同様に、タップ５１−２は、転送トランジスタ６２−２、ＦＤ６３−２、リセットトランジスタ６４、増幅トランジスタ６５−２、および選択トランジスタ６６−２により構成される。
なお、図３に示したようにリセットトランジスタ６４を、ＦＤ６３−１とＦＤ６３−２で共用する構成としても良いし、ＦＤ６３−１とＦＤ６３−２のそれぞれに設けられている構成としても良い。
ＦＤ６３−１とＦＤ６３−２のそれぞれにリセットトランジスタ６４を設ける構成とした場合、リセットのタイミングを、ＦＤ６３−１とＦＤ６３−２をそれぞれ個別に制御できるため、細かな制御を行うことが可能となる。ＦＤ６３−１とＦＤ６３−２に共通したリセットトランジスタ６４を設ける構成とした場合、リセットのタイミングを、ＦＤ６３−１とＦＤ６３−２で同一にすることができ、制御が簡便になり、回路構成も簡便化することができる。
以下の説明においては、ＦＤ６３−１とＦＤ６３−２に共通のリセットトランジスタ６４を設けた場合を例に挙げて説明を続ける。
図４を参照して、画素５０における電荷の振り分けについて説明する。ここで、振り分けとは、画素５０（ＰＤ６１）に蓄積された電荷を異なるタイミングで読み出すことで、タップ毎に読み出しを行うことを意味する。
図４に示すように、照射時間内に照射のオン／オフを繰り返すように変調（１周期＝Ｔｐ）された照射光が発光部１４から出力され、物体までの距離に応じた遅延時間Ｔｄだけ遅れて、ＰＤ６１において反射光が受光される。
転送制御信号TRT_Aは、転送トランジスタ６２−１のオン／オフを制御し、転送制御信号TRT_Bは、転送トランジスタ６２−２のオン／オフを制御する。図示するように、転送制御信号TRT_Aが、照射光と同一の位相である一方で、転送制御信号TRT_Bは、転送制御信号TRT_Aを反転した位相となっている。
従って、フォトダイオード６１が反射光を受光することにより発生する電荷は、転送制御信号TRT_Aに従って転送トランジスタ６２−１がオンとなっている間ではＦＤ部６３−１に転送される。また転送制御信号TRT_Bに従って転送トランジスタ６２−２のオンとなっている間ではＦＤ部６３−２に転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ６２−１を介して転送された電荷はＦＤ部６３−１に順次蓄積され、転送トランジスタ６２−２を介して転送された電荷はＦＤ部６３−２に順次蓄積される。
そして、電荷を蓄積する期間の終了後、選択信号ＳＥＬｍ１に従って選択トランジスタ６６−１がオンとなると、ＦＤ部６３−１に蓄積されている電荷が垂直信号線４７−１を介して読み出され、その電荷量に応じた検出信号Ａが受光部１２から出力される。同様に、選択信号ＳＥＬｍ２に従って選択トランジスタ６６−２がオンとなると、ＦＤ部６３−２に蓄積されている電荷が垂直信号線４７−２を介して読み出され、その電荷量に応じた検出信号Ｂが受光部１２から出力される。
ＦＤ部６３−１に蓄積されている電荷は、リセット信号RSTに従ってリセットトランジスタ６４がオンになると排出される。同様にＦＤ部６３−２に蓄積されている電荷は、リセット信号RSTに従ってリセットトランジスタ６４がオンになると排出される。
このように、画素５０は、フォトダイオード６１が受光した反射光により発生する電荷を、遅延時間Ｔｄに応じてタップ５１−１およびタップ５１−２に振り分けて、検出信号Ａおよび検出信号Ｂを出力することができる。そして、遅延時間Ｔｄは、発光部１４で発光した光が物体まで飛行し、物体で反射した後に受光部１２まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距装置１０は、検出信号Ａおよび検出信号Ｂに基づき、遅延時間Ｔｄに従って物体までの距離（デプス）を求めることができる。
＜受光側で位相をずらした測距＞
図５乃至図９を参照し、受信側で位相をずらして受光し、検出信号を取得する場合について説明する。
例えば、図５に示すように、９０度毎に位相が遅れた４通りの受光が行われる。即ち、照射側の位相とずれなく受光する位相遅れ０度の受光を基準として、位相遅れ９０度の受光、位相遅れ１８０度の受光、および、位相遅れ２７０度の受光が行われ、それぞれ検出信号Ａと検出信号Ｂを検出する期間（quad）が４回設けられる。
即ち、図６に示したように、例えば、位相遅れ０度の受光により反射光を検出する検出期間Ｑ０、位相遅れ９０度の受光により反射光を検出する検出期間Ｑ１、位相遅れ１８０度の受光により反射光を検出する検出期間Ｑ２、および、位相遅れ２７０度の受光により反射光を検出する検出期間Ｑ３が連続的に設けられる。
図６には、検出期間Ｑ０における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図６に示すように、照射光の発光開始と同タイミング（位相遅れ０度）で、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
このように位相遅れ０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ０における検出信号Ａ０および検出信号Ｂ０が出力される。
図７には、検出期間Ｑ１における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図７に示すように、照射光の発光開始から９０度位相が遅れたタイミングで、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
このように位相遅れ９０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ１における検出信号Ａ９０および検出信号Ｂ９０が出力される。
図８には、検出期間Ｑ２における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図８に示すように、照射光の発光開始から１８０度位相が遅れたタイミングで、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
このように位相遅れ１８０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ２における検出信号Ａ１８０および検出信号Ｂ１８０が出力される。
図９には、検出期間Ｑ３における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図９に示すように、照射光の発光開始から２７０度位相が遅れたタイミングで、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
このように位相遅れ２７０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ３における検出信号Ａ２７０および検出信号Ｂ２７０が出力される。
このように、検出期間Ｑ０では位相遅れ０度の受光で検出信号Ａ０および検出信号Ｂ０が検出され、検出期間Ｑ１では位相遅れ９０度の受光で検出信号Ａ９０および検出信号Ｂ９０が検出される。同様に、検出期間Ｑ２では位相遅れ１８０度の受光で検出信号Ａ１８０および検出信号Ｂ１８０が検出され、検出期間Ｑ３では位相遅れ２７０度の受光で検出信号Ａ２７０および検出信号Ｂ２７０が検出される。
照射側では、受光が開始される位相遅れにかかわらず、位相遅れなく、換言すれば常に同じタイミングで照射光の照射が開始される。
このように２つのタップ５１で４つの位相遅れの受光を行い、所定の物体までの距離を測距する場合、４つの検出期間により得られる信号に基づいて、信号処理部１３（図１）の処理が行われる。
＜距離の算出について＞
図１０に示すように、１フレームの検出期間は、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、検出期間Ｑ３から構成される。検出期間Ｑ０において、検出信号Ａ０と検出信号Ｂ０が取得され、検出期間Ｑ１において、検出信号Ａ９０と検出信号Ｂ９０が取得される。また、検出期間Ｑ２において、検出信号Ａ１８０と検出信号Ｂ１８０が取得され、検出期間Ｑ３において、検出信号Ａ２７０と検出信号Ｂ２７０が取得される。
信号処理部１３（図１）は、これらの検出信号を用いて、次式（１）に基づき、位相差θを算出し、次式（２）に基づき、距離Ｄを算出し、次式（３）に基づき信頼度ｃを算出する。
Figure 2021051015
Figure 2021051015
Figure 2021051015
式（１）において、Ｉは、検出信号Ａ０から検出信号Ｂ０を減算した値Ｃ０から、検出信号Ａ１８０から検出信号Ｂ１８０を減算した値Ｃ１８０を減算した値を表す。Ｑは、検出信号Ａ９０から検出信号Ｂ９０を減算した値Ｃ９０から、検出信号Ａ２７０から検出信号Ｂ２７０を減算した値Ｃ２７０を減算した値を表す。位相差θは、（Ｑ／Ｉ）のアークタンジェントを演算することで算出される。
式（２）において、Ｃは光速であり、Ｔｐはパルス幅を表す。位相差θに基づいて遅延時間Ｔｄを求めることができ、遅延時間Ｔｄにより対象物までの距離Ｄが求められる。
式（３）は、算出された距離の信頼度を表す値を算出するための式である。信頼度ｃは、Ｉの２乗とＱの２乗を加算した値の平方根を算出することで求められる。なお、信頼度ｃの演算は、距離Ｄの算出において不可欠な要素ではなく、省略することも可能である。また、信頼度ｃは、式（３）以外の式で算出されても良い。例えば、ＩとＱの絶対値の和を信頼度ｃとすることもできる。ここでは、式（３）で信頼度が算出されるとして説明を続けるが、他の計算式で算出される場合も、本技術の適用範囲である。
以下の説明では、２つのタップ５１で４つの位相差の照射光を用いて所定の物体までの距離を測距する場合（以下、適宜、２タップ４フェーズと称する）を例に挙げて説明を行うが、２つのタップ５１で２つの位相差の照射光を用いて所定の物体までの距離を測距する場合や、１つのタップ５１で４つの位相差の照射光を用いて所定の物体までの距離を測距する場合に対しても本技術を適用することはできる。
＜２タップ２フェーズについて＞
２つのタップ５１で２つの位相差の照射光を用いて、または２つの位相差で受光を行うことで、所定の物体までの距離を測距する場合（以下、適宜、２タップ２フェーズと称する）について簡便に説明を加える。ここでは、２つの位相差で受光を行うことで、所定の物体までの距離を測距する場合を例に挙げて説明を続ける。
図１１は、０度、９０度、１８０度、２７０度の４位相の露光タイミングを、位相差がわかりやすいように先頭を揃えて図示した図である。
実際には、図１０に示したように、検出信号Ａ０と検出信号Ｂ０を取得するための撮像が検出期間Ｑ０において行われ、検出信号Ａ９０と検出信号Ｂ９０を取得するための撮像が検出期間Ｑ１において行われ、検出信号Ａ１８０と検出信号Ｂ１８０を取得するための撮像が検出期間Ｑ２において行われ、検出信号Ａ２７０と検出信号Ｂ２７０を取得するための撮像が検出期間Ｑ３において行われる。
この時間方向に順次行われる撮像を、検出期間の先頭を揃えて縦方向に並べて図示すると図１１のようになる。検出期間Ｑ０の先頭から、検出信号Ａ０を撮像するための露光が行われ、その次に、検出信号Ｂ０を撮像するための露光が行われる。
検出期間Ｑ１の先頭から９０度位相がずれた時点から、検出信号Ａ９０を撮像するための露光が行われ、その次に、検出信号Ｂ９０を撮像するための露光が行われる。
検出期間Ｑ２の先頭から１８０度位相がずれた時点から、検出信号Ａ１８０を撮像するための露光が行われ、その次に、検出信号Ｂ１８０を撮像するための露光が行われる。
検出期間Ｑ３の先頭から２７０度位相がずれた時点から、検出信号Ａ２７０を撮像するための露光が行われ、その次に、検出信号Ｂ２７０を撮像するための露光が行われる。
ここで、検出期間Ｑ０における検出信号Ｂ０の露光時間と、検出期間Ｑ２における検出信号Ａ１８０の露光時間を比べると、同一のタイミングで露光が行われていることが読み取れる。よって、検出期間Ｑ２における検出信号Ａ１８０は、検出期間Ｑ０における検出信号Ｂ０で代用できる。同様に、検出期間Ｑ２における検出信号Ｂ１８０は、検出期間Ｑ０における検出信号Ａ０で代用できる。
同様に、検出期間Ｑ１における検出信号Ｂ９０の露光時間と、検出期間Ｑ３における検出信号Ａ２７０の露光時間を比べると、同一のタイミングで露光が行われていることが読み取れる。よって、検出期間Ｑ３における検出信号Ａ２７０は、検出期間Ｑ１における検出信号Ｂ９０で代用できる。同様に、検出期間Ｑ３における検出信号Ｂ２７０は、検出期間Ｑ１における検出信号Ａ９０で代用できる。
このことから、図１２に示すように、検出期間Ｑ０と検出期間Ｑ１を１フレームの検出期間とし、検出期間Ｑ０において、検出信号Ａ０と検出信号Ｂ０が取得されるようにする。
この検出期間Ｑ０において取得される検出信号Ａ０は、検出信号Ｂ１８０として用いることができる。また、検出期間Ｑ０において取得される検出信号Ｂ０は、検出信号Ａ１８０として用いることができる。よって、この場合、検出期間Ｑ０において、検出信号Ａ０、検出信号Ｂ０、検出信号Ａ１８０、検出信号Ｂ１８０が取得されたのと同等に扱うことができる。
また、検出期間Ｑ１において取得される検出信号Ａ９０は、検出信号Ｂ２７０として用いることができる。また、検出期間Ｑ１において取得される検出信号Ｂ９０は、検出信号Ａ２７０として用いることができる。よって、この場合、検出期間Ｑ１において、検出信号Ａ９０、検出信号Ｂ９０、検出信号Ａ２７０、検出信号Ｂ２７０が取得されたのと同等に扱うことができる。
よって、図１０を参照して説明した２タップ４フェーズの場合と同等に、図１２を参照して説明した２タップ２フェーズの場合も扱うことができる。
図１０を参照して説明した２タップ４フェーズにおける式（１）における値Ｉと値Ｑは、次式（４）のように表される。
Figure 2021051015
値Ｉは、検出信号Ａ０から検出信号Ｂ０を減算することで求められ、値Ｑは、検出信号Ａ９０から検出信号Ｂ９０を減算することで求められる。値Ｉと値Ｑが取得されるため、上記した２タップ方式の場合と同じく、式（１）により位相差θを算出することができ、式（２）により距離Ｄを算出することができる。
＜１タップ４フェーズについて＞
１つのタップ５１（１つのタップ５１を備える画素５０の構成は不図示）で４つの位相差の照射光を用いて、または４つの位相差で受光を行うことで、所定の物体までの距離を測距する場合（以下、適宜、１タップ４フェーズと称する）について簡便に説明を加える。
１タップ４フェーズにおける時間方向の撮像順を図１０と同じように表すと、図１３のようになる。検出期間Ｑ０において、上記した式（１）における値Ｃ０が取得される。検出期間Ｑ１において、上記した式（１）における値Ｃ９０が取得される。検出期間Ｑ２において、上記した式（１）における値Ｃ１８０が取得される。検出期間Ｑ３において、上記した式（１）における値Ｃ２７０が取得される。
上記した式（１）における値Ｉと値Ｑは、１タップ方式の場合、次式（５）のように表される。
Figure 2021051015
値Ｉと値Ｑが取得されるため、上記した２タップ方式の場合と同じく、式（１）により位相差θを算出することができ、式（２）により距離Ｄを算出することができる。
本技術は、上記した２タップ４フェーズ、２タップ２フェーズ、および１タップ４フェーズに対して適用できる。
＜フライングピクセルについて＞
測距対象としている環境内にある物体のエッジ付近で発生する誤検出について説明する。物体のエッジ付近で発生する誤検出されたピクセルは、欠陥ピクセルやフライングピクセルなどと称されることがある。
図１４、図１５に示すように、３次元の環境内に、２つの物体（オブジェクト）があり、その２つの物体の位置を測距装置１０で測距する場合を考える。図１４は、ｘｚ平面における前景オブジェクト１０１と背景オブジェクト１０２の位置関係を示す図であり、図１５は、ｘｙ平面における前景オブジェクト１０１と背景オブジェクト１０２の位置関係を示す図である。
図１４に示したｘｚ平面は、前景オブジェクト１０１、背景オブジェクト１０２、および測距装置１０を上から見たときの平面であり、図１５に示したｘｙ平面は、ｘｚ平面に対して垂直方向に位置する面であり、測距装置１０から前景オブジェクト１０１と背景オブジェクト１０２を見たときの面である。
図１４を参照するに、測距装置１０を基準としたとき、測距装置１０に近い側に前景オブジェクト１０１が位置し、測距装置１０から遠い側に背景オブジェクト１０２が位置している。また前景オブジェクト１０１と背景オブジェクト１０２は、測距装置１０の画角内に位置している。測距装置１０の画角は、図１４では、点線１１１と点線１１２で表している。
前景オブジェクト１０１の１辺、図１４では、図中右側の辺をエッジ１０３とする。このエッジ１０３付近にフライングピクセルが発生する可能性がある。
図１５を参照するに、測距装置１０からは、前景オブジェクト１０１と背景オブジェクト１０２に重なりがある状態で撮影される。このような場合、前景オブジェクト１０１の上辺（エッジ１０４とする）や、前景オブジェクト１０１の下辺（エッジ１０５とする）にも、フライングピクセルが発生する可能性がある。
フライングピクセルは、この場合、前景オブジェクト１０１のエッジの部分に属するピクセルであるとして検出されたり、前景オブジェクト１０１でも背景オブジェクト１０２でもない距離として検出されたりしたピクセルである。
図１６は、図１４に示した画像に対応するピクセルにより、前景オブジェクト１０１と背景オブジェクト１０２を表した図である。ピクセル群１２１は、前景オブジェクト１０１から検出されたピクセルであり、ピクセル群１２２は、背景オブジェクト１０２から検出されたピクセルである。ピクセル１２３とピクセル１２４は、フライングピクセルであり、誤検出されたピクセルである。
ピクセル１２３とピクセル１２４は、図１６に示したように前景オブジェクト１０１と背景オブジェクト１０２との間のエッジ上に位置している。これらのフライングピクセルは、いずれも前景オブジェクト１０１または背景オブジェクト１０２に属する可能性があるし、一方のみが前景オブジェクト１０１に属し、他方は背景オブジェクト１０２に属する可能性もある。
ピクセル１２３やピクセル１２４を、フライングピクセルであるとして検出し、適切に処理することで、例えば、図１７に示すように修正される。図１７を参照するに、ピクセル１２３（図１６）は、前景オブジェクト１０１に属するピクセル群１２１に属するピクセル１２３’に修正され、ピクセル１２３（図１６）は、背景オブジェクト１０２に属するピクセル群１２２に属するピクセル１２４’に修正される。
このように、フライングピクセルのような欠陥ピクセルを検出する処理について説明を加える。
＜フライングピクセルの検出に関わる第１の処理＞
図１８を参照して、フライングピクセルの検出に関わる第１の処理について説明する。フライングピクセルの検出は、フィルタ部１６（図１）において実行される。図１を再度参照するに、フィルタ部１６には、信号処理部１３からデプスマップと信頼度マップが供給される。フィルタ部１６は、デプスマップ（ピクセルの集まり）から、フライングピクセルを検出する。
ステップＳ１１において、フィルタ部１６は、供給されたデプスマップのうち処理対象（評価対象）とするピクセルを設定する。
ステップＳ１２において、処理対象とされたピクセルの距離（デプス値）と、周囲のピクセルの距離（デプス値）との差分が閾値以上であるか否かが判定される。図１６を参照するに、フライングピクセル、例えばピクセル１２３は、ピクセル群１２１やピクセル群１２２とは離れた位置にある。換言すれば、ピクセル１２３と、ピクセル１２３の周囲にあるピクセルは、距離的に離れた位置にある。よって、ピクセル１２３と周囲のピクセル（例えば、ピクセル群１２１内のピクセル）との距離の差分を算出した場合、所定の値以上になると想定される。
ステップＳ１２における判定処理についてさらに説明を加える。フライングピクセルを検出するために、処理対象としたピクセルに対応する１つの点の周りの方向導関数を用いる場合を例に挙げて説明する。
なお、以下の説明においては、方向導関数は、多方向で検討するようにすることもできるが、ここでは説明を簡単にするために、垂直方向と水平方向を例に挙げて説明する。しかしながら、垂直や水平方向以外の方向に対しても同じ原理を適用できることは言うまでもない。また、ここでは方向導関数を用いる場合を例に挙げて説明するが、他の方法を本技術に適用することも可能である。
ここで、「Ｐ」を、デプスマップ内の評価中のピクセルとし、「ａ」は、その平面内の選択された方向であるとする。この場合、ｄａ（Ｐ）は、ピクセル「Ｐ」における方向「ａ」での導関数の値になる。方向導関数の絶対値｜ｄａ（Ｐ）｜、および、｜ｄａ＋π（Ρ）｜が方向「ａ」のあらかじめ定義された閾値より大きく、かつ、ｄａ（Ｐ）およびｄａ＋π（Ρ）の符号が同じである場合、ピクセルはフライングピクセルであると検出される。なお、ａ＋πは、ａとは逆方向を指すことを示す。
方向導関数を用いることで、ノイズがあるピクセルを検出することもできる。評価中のピクセルに隣接する全てのピクセルのデプス値とは著しく異なるデプス値を、評価中のピクセルが有している場合、また少なくとも１つの方向導関数があらかじめ定義された閾値より大きく、かつ、少なくとも２つの方向導関数が反対の符号を有している場合、そのピクセルはノイズがあるピクセルであるとして検出される。
ここでは、ノイズがあるピクセルの検出についても説明を加えるが、フライングピクセルの検出に関わる第１の処理を実行する場合、以下に説明するノイズがあるピクセルの検出は、適宜省略可能な処理である。
ピクセル毎に、任意の数の方向について、ノイズがあるピクセルの検出または／およびフライングピクセルの検出を実施することができる。これらの方向は、単位円、すなわち、１ピクセルの半径の円をカバーするのが好まし。典型的には、ｉ＝１からｎである一組の方向｛ａ＿ｉ｝を使用することができ、
a_i＝(i-1)×π/n
である。
方向導関数は、有限差分によって推定することができる。図１９では、ピクセル１５０は、ピクセル「Ｐ」の上の「Ｔ」、左の「Ｌ」、右の「Ｒ」、および下の「Ｂ」のピクセルに対応するピクセル１５２、ピクセル１５４、ピクセル１５６、ピクセル１５８を用いて評価されているピクセル「Ｐ」である。
そのピクセル１５０が、フライングピクセルであるか否か、および、そのピクセルがノイズがあるピクセルであるか否かを、２つの方向、すなわち、角度０°およびπ／２（水平および垂直方向）で決定するために、ピクセル１５２，１５４，１５６，１５８の値を使用することができる。
水平および垂直方向の場合、ノイズがあるピクセルの検出は、
(|R-P|＜Thおよび|L-P|＜Th)または(|T-P|＜Thおよび|B-P|＜Th)
および
sign(R-P)≠sign(P-L)またはsign(T-P)≠sign(P-B)
の式が用いられて行われる。これらの式を式（６）とする。式（６）において、Ｔｈは閾値を表す。
式（６）において、Ｐは、ピクセル１５０のデプス値を表し、Ｔは、ピクセル１５２のデプス値を表し、Ｌは、ピクセル１５４のデプス値を表し、Ｒは、ピクセル１５６のデプス値を表し、Ｂは、ピクセル１５８のデプス値を表す。なお、以下に示す式（７）においても同様である。
また、以下の説明においては、閾値よりも小さい、または閾値よりも大きいとして説明するが、閾値以上、閾値以下などであっても良い。
(|R-P|＜Thおよび|L-P|＜Th)は、ピクセル１５０（図１９）の右側に位置するピクセル１５６とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈより小さく、ピクセル１５０の左側に位置するピクセル１５４とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈより小さいかを判定する式である。
この式により判定が行わる場合、sign(R-P)≠sign(P-L)であるか否かも判定される。sign(R-P)≠sign(P-L)は、ピクセル１５６のデプス値からピクセル１５０のデプス値を減算した値と、ピクセル１５４からピクセル１５０を減算した値の正負が同一ではないか否かを判定する式である。これら２式が満たされた場合、処理対象とされているピクセルは、ノイズのあるピクセルであるとして検出される。
垂直方向に注目して処理が行われる場合、(|T-P|＜Thおよび|B-P|＜Th)とsign(T-P)≠sign(P-B)が用いられる。(|T-P|＜Thおよび|B-P|＜Th)は、ピクセル１５０（図１９）の上側に位置するピクセル１５２とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈより小さく、ピクセル１５０の下側に位置するピクセル１５８とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈより小さいかを判定する式である。
この式により判定が行わる場合、sign(T-P)≠sign(P-B)であるか否かも判定される。sign(T-P)≠sign(P-B)は、ピクセル１５２のデプス値からピクセル１５０のデプス値を減算した値と、ピクセル１５８のデプス値からピクセル１５０のデプス値を減算した値の正負が同一ではないか否かを判定する式である。これら２式が満たされた場合、処理対象とされているピクセルは、ノイズのあるピクセルであるとして検出される。
フライングピクセルの検出は、
(|R-P|＞kThおよび|L-P|＞kTh)または(|T-P|＞kThおよび|B-P|＞kTh)
および
sign(R-P)＝sign(P-L)またはsign(T-P)＝sign(P-B)
の式が用いられて行われる。これらの式を式（７）とする。式（７）において、Ｔｈは閾値を表し、ｋは既定された重み係数を表す。
(|R-P|＞kThおよび|L-P|＞kTh)は、ピクセル１５０（図１９）の右側に位置するピクセル１５６とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈと重み係数ｋを乗算した値より大きく、ピクセル１５０の左側に位置するピクセル１５４とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈと重み係数ｋを乗算した値より大きいか否かを判定する式である。
この式により判定が行わる場合、sign(R-P)＝sign(P-L)であるか否かも判定される。sign(R-P)＝sign(P-L)は、ピクセル１５６のデプス値からピクセル１５０のデプス値を減算した値と、ピクセル１５４のデプス値からピクセル１５０のデプス値を減算した値の正負が同一であるか否かを判定する式である。これら２式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出される。
垂直方向に注目して処理が行われる場合、(|T-P|＞kThおよび|B-P|＞kTh)とsign(T-P)＝sign(P-B)が用いられる。(|T-P|＞kThおよび|B-P|＞kTh) は、ピクセル１５０（図１９）の上側に位置するピクセル１５２とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈと重み係数ｋを乗算した値より大きく、ピクセル１５０の下側に位置するピクセル１５８とピクセル１５０のデプス値の差分の絶対値が、閾値Ｔｈと重み係数ｋを乗算した値より大きいか否かを判定する式である。
この式により判定が行わる場合、sign(T-P)＝sign(P-B)であるか否かも判定される。sign(T-P)＝sign(P-B)は、ピクセル１５２のデプス値からピクセル１５０のデプス値を減算した値と、ピクセル１５８のデプス値からピクセル１５０のデプス値を減算した値の正負が同一であるか否かを判定する式である。これら２式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出される。
なお上記のフライングピクセル、ノイズがあるピクセルの検出の代替として、式（６）、式（７）の代わり次式（８）を用いることも可能である。
|L-R|＞Thおよび|T-B|＞Th
（|L-R|＞Thおよび|T-B|＞Th）は、評価対象とされているピクセル１５０の右側に位置するピクセル１５６と左側に位置するピクセル１５４のデプス値の差分の絶対値が、閾値Ｔｈより大きく、評価対象とされているピクセル１５０の上側に位置するピクセル１５２と下側に位置するピクセル１５８のデプス値の差分の絶対値が、閾値Ｔｈより大きいか否かを判定する式である。この式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出される。
この式（８）によると、評価中のピクセルを取り囲んでいる２つのピクセルの間の値が使用されるため、閾値Ｔｈは、上記した式（６）、式（７）で与えられる閾値Ｔｈより大きくてもよい。
ステップＳ１２（図１８）において、フィルタ部１６は、式（７）に基づき、処理対象としているピクセルは、フライングピクセルであるか否かを判定する。ステップＳ１２においては、周辺のピクセルのデプス値（距離）の差分が閾値より大きい（以上）か否かの判定処理が行われる。このステップＳ１２における処理だけでも、フライングピクセルを検出することはできるが、フライングピクセルではないピクセルが、フライングピクセルであるとして検出される可能性がある。
例えば、測距装置１０の方向ベクトルと平行する方向に近く、遠距離に存在する平面がフライングピクセルとして検出される可能性がある。このような平面から、ステップＳ１２の処理において、フライングピクセルであるとして検出されてしまうと、誤検出となる。ステップＳ１２において、仮に誤検出がされたとしても訂正する仕組みとして、ステップＳ１３の判定処理がなされる。
ステップＳ１２において、処理対象としたピクセルと周囲のピクセルとの距離の差分が閾値以上（より大きい）であると判定された場合、換言すれば、フライングピクセルである可能性があると判定された場合、ステップＳ１３に処理は進められる。
ステップＳ１３において、処理対象としたピクセルと周囲のピクセルの信頼度または反射率の差分が、閾値以上であるか否かが判定される。信頼度（confidence）は、式（３）で算出される値である。反射率（reflectance）は、次式（９）で算出される値である。なお信頼度は、上記したように、式（３）以外の式、例えば、ＩとＱの絶対値の和を信頼度としても良い。
reflectance ＝ confidence × depth2 ・・・（９）
反射率は、信頼度に、距離（デプス値）の２乗を乗算した値となる。
ステップＳ１３において、信頼度を用いるか、反射率を用いるかは、どちらでも良い。また、何らかの指標を導入し、信頼度を用いる場合と反射率を用いる場合とが切り替えられるような仕組みを設けても良い。
ステップＳ１３における判定処理を、信頼度を用いて行う場合、次式（１０）に基づき行われる。信頼度は、上記した式（３）に基づき算出される。
(|Rc-Pc|＞Thcおよび|Lc-Pc|＞Thc)
または
(|Tc-Pc|＞Thcおよび|Bc-Pc|＞Thc) ・・・（１０）
式（１０）において、Ｐｃはピクセル１５０の信頼度を表し、Ｔｃは、ピクセル１５２の信頼度を表し、Ｌｃは、ピクセル１５４の信頼度を表し、Ｒｃは、ピクセル１５６の信頼度を表し、Ｂｃは、ピクセル１５８の信頼度を表す。
(|Rc-Pc|＞Thcおよび|Lc-Pc|＞Thc)は、ピクセル１５０（図１９）の右側に位置するピクセル１５６の信頼度とピクセル１５０の信頼度との差分の絶対値が、閾値Ｔｈcより大きく、ピクセル１５０の左側に位置するピクセル１５４の信頼度とピクセル１５０の信頼度との差分の絶対値が、閾値Ｔｈcより大きいか否かを判定する式である。この式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出（確定）される。
垂直方向に注目して処理が行われる場合、(|Tc-Pc|＞Thcおよび|Bc-Pc|＞Thc)が用いられる。(|Tc-Pc|＞Thcおよび|Bc-Pc|＞Thc)は、ピクセル１５０（図１９）の上側に位置するピクセル１５２の信頼度とピクセル１５０の信頼度の差分の絶対値が、閾値Ｔｈcより大きく、ピクセル１５０の下側に位置するピクセル１５８の信頼度とピクセル１５０の信頼度の差分の絶対値が、閾値Ｔｈcより大きいか否かを判定する式である。この式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出（確定）される。
ステップＳ１３における判定処理を、反射率を用いて行う場合、次式（１１）に基づき行われる。反射率は、上記した式（９）に基づき算出される。
(|Rr-Pr|＞Thrおよび|Lr-Pr|＞Thr)
または
(|Tr-Pr|＞Thrおよび|Br-Pr|＞Thr) ・・・（１１）
式（１１）において、Ｐｒはピクセル１５０の反射率を表し、Ｔｒは、ピクセル１５２の反射率を表し、Ｌｒは、ピクセル１５４の反射率を表し、Ｒｒは、ピクセル１５６の反射率を表し、Ｂｒは、ピクセル１５８の反射率を表す。
(|Rr-Pr|＞Thrおよび|Lr-Pr|＞Thr)は、ピクセル１５０（図１９）の右側に位置するピクセル１５６の反射率とピクセル１５０の反射率との差分の絶対値が、閾値Ｔｈrより大きく、ピクセル１５０の左側に位置するピクセル１５４の反射率とピクセル１５０の反射率との差分の絶対値が、閾値Ｔｈrより大きいか否かを判定する式である。この式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出（確定）される。
垂直方向に注目して処理が行われる場合、(|Tr-Pr|＞Thrおよび|Br-Pr|＞Thr)が用いられる。(|Tr-Pr|＞Thrおよび|Br-Pr|＞Thr)は、ピクセル１５０（図１９）の上側に位置するピクセル１５２の反射率とピクセル１５０の反射率の差分の絶対値が、閾値Ｔｈrより大きく、ピクセル１５０の下側に位置するピクセル１５８の反射率とピクセル１５０の反射率の差分の絶対値が、閾値Ｔｈrより大きいか否かを判定する式である。この式が満たされた場合、処理対象とされているピクセルは、フライングピクセルであるとして検出（確定）される。
ステップＳ１３における判定処理は、信頼度を用いた判定であっても、反射率を用いた判定であっても、どちらでも良い。信頼度が、信号処理部１３（図１）で算出され、フィルタ部１６に供給される構成とした場合、フィルタ部１６は、供給される信頼度を用いて判定処理を行う。また、フィルタ部１６が、反射率を用いて判定処理を行う場合、信号処理部１３から供給される信頼度を用いて反射率を算出し、算出した反射率を用いて判定処理を行う。
式（１０）における閾値Ｔｈｃと式（１１）における閾値Ｔｈｒは、固定値であり、あらかじめ設定されている値である。なおここでは、閾値Ｔｈｃ（閾値Ｔｈｒ）より大きいとして説明をしたが、閾値Ｔｈｃ（閾値Ｔｈｒ）以上であるか否かが判定されるようにしても良い。
ステップＳ１３において、処理対象とされているピクセルと周囲のピクセルの信頼度または反射率の差分が閾値より大きいか否かが判定され、閾値より大きいと判定された場合、ステップＳ１４に処理は進められる。
ステップＳ１４において、フィルタ部１６は、処理対象（評価対象）としているピクセルをフライングピクセルであるとして確定する。フライングピクセルとして確定されたピクセルは、例えば、図１７を参照して説明したように、前景オブジェクト１０１のピクセル群１２１または背景オブジェクト１０２のピクセル群１２２に属するピクセルに変更されたり、削除されたりすることで、補正される。
一方、ステップＳ１３において、処理対象とされているピクセルと周囲のピクセルの信頼度または反射率の差分は閾値以下であると判定された場合、ステップＳ１５に処理は進められる。
ステップＳ１５には、ステップＳ１２において、フライングピクセルではないと判定された場合、ステップＳ１３において、フライングピクセルの可能性があるとして検出されたが、フライングピクセルではないと判定された場合、またはステップＳ１４において、フライングピクセルとして確定された場合に来る。
ステップＳ１５において、処理していないピクセルがあるか否かが判定される。ステップＳ１５において、処理していないピクセルがあると判定された場合、ステップＳ１１に処理が戻され、それ以降の処理が繰り返される。
一方、ステップＳ１５において、処理していないピクセルはないと判定された場合、フライングピクセルの検出に関わる第１の処理は終了される。
このように、ステップＳ１２において、フライングピクセルである可能性があるピクセルが検出され、ステップＳ１３において、フライングピクセルであると確定するための判定が行われる。すなわち、２段階で、フライングピクセルの検出（確定）が行われる。よって、フライングピクセルを誤って検出するようなことを低減することができ、精度を高めたフライングピクセルの検出を行うことができる。
＜フライングピクセルの検出に関わる第２の処理＞
フライングピクセルの検出に関わる第１の処理は、閾値Ｔｈｃ（式１０）と閾値Ｔｈｒ（式１１）が固定値である場合を例に挙げて説明したが、フライングピクセルの検出に関わる第２の処理として、閾値Ｔｈｃ（式１０）と閾値Ｔｈｒ（式１１）が可変値である場合を例に挙げて説明する。
図２０は、フライングピクセルの検出に関わる第２の処理について説明するためのフローチャートである。
ステップＳ３１，Ｓ３２の処理は、ステップＳ１１，Ｓ１２（図１８）の処理と同様であり、処理対象のピクセルが設定され、そのピクセルと、周囲のピクセルとの距離における差分値が閾値より大きいか否かが判定されることで、フライングピクセルの可能性があるピクセルが検出される。
ステップＳ３３において、閾値が算出される。閾値の設定の仕方については後述する。この閾値は、閾値Ｔｈｃ（式１０）または閾値Ｔｈｒ（式１１）である。ステップＳ３３において閾値が設定されると、その設定された閾値が用いられてステップＳ３４における処理が実行される。
ステップＳ３４において、処理対象としたピクセルと周囲のピクセルの信頼度または反射率の差分が、閾値より大きいか否かが判定される。ステップＳ３４における処理は、ステップＳ１３（図１８）と同様の処理であるが、閾値Ｔｈｃ（式１０）または閾値Ｔｈｒ（式１１）として、ステップＳ３３において算出された閾値が用いられる点が異なる。
フライングピクセルの検出に関わる第２の処理は、適応的に閾値を設定し、その閾値を用いてフライングピクセルを確定する判定が行われる点以外は、第１の処理と同様であり、ステップＳ３４乃至Ｓ３６は、ステップＳ１３乃至Ｓ１５（図２８）の処理と同様に行われる。
ここで、ステップＳ３３において実行される閾値の算出の仕方について説明を加える。
閾値の第１の設定方法
上下左右の信頼度または反射率の平均値のｘ倍を閾値に設定する。ｘは、例えば、０．１といった値に設定することができる。
ステップＳ３４における判定を信頼度で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の上方向にあるピクセル１５２の信頼度、下方向にあるピクセル１５８の信頼度、左方向にあるピクセル１５４の信頼度、および右方向にあるピクセル１５６の信頼度の平均値が算出される。その信頼度の平均値のｘ倍が、閾値Ｔｈｃに設定される。
ステップＳ３４における判定を反射率で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の上方向にあるピクセル１５２の反射率、下方向にあるピクセル１５８の反射率、左方向にあるピクセル１５４の反射率、および右方向にあるピクセル１５６の反射率の平均値が算出される。その反射率の平均値のｘ倍が、閾値Ｔｈｒに設定される。
なお、式（１０）や式（１１）のように、上下方向または左右方向の、どちらか一方の方向に位置するピクセルを用いて処理を行う場合、その方向のピクセルを用いて閾値が設定されるようにしても良い。すなわちここでは、上下左右のピクセルが用いられるとして説明したが、上下方向のピクセルまたは左右方向のピクセルが用いられて閾値が算出されるようにしても良い。
なお、以下の設定方法においても同様であり、上下左右のピクセルを用いた場合を例に挙げて説明を続けるが、上下または左右に位置するピクセルを用いて閾値を算出するようにしてももちろん良い。
閾値の第２の設定方法
上下左右の信頼度または反射率の標準偏差のｘ倍を閾値に設定する。ｘは、例えば、０．２といった値に設定することができる。
ステップＳ３４における判定を信頼度で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の上方向にあるピクセル１５２の信頼度、下方向にあるピクセル１５８の信頼度、左方向にあるピクセル１５４の信頼度、および右方向にあるピクセル１５６の信頼度の標準偏差が算出される。その信頼度の標準偏差のｘ倍が、閾値Ｔｈｃに設定される。
ステップＳ３４における判定を反射率で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の上方向にあるピクセル１５２の反射率、下方向にあるピクセル１５８の反射率、左方向にあるピクセル１５４の反射率、および右方向にあるピクセル１５６の反射率の標準偏差が算出される。その反射率の標準偏差のｘ倍が、閾値Ｔｈｒに設定される。
閾値の第３の設定方法
上下左右の信頼度または反射率の最大値と最小値の差のｘ倍を閾値に設定する。ｘは、例えば、０．２といった値に設定することができる。
ステップＳ３４における判定を信頼度で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の上方向にあるピクセル１５２の信頼度、下方向にあるピクセル１５８の信頼度、左方向にあるピクセル１５４の信頼度、および右方向にあるピクセル１５６の信頼度の内の最大値と最小値が検出される。そして、最大値と最小値の差分が算出される。さらに差分値のｘ倍が、閾値Ｔｈｃに設定される。
ステップＳ３４における判定を反射率で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の上方向にあるピクセル１５２の反射率、下方向にあるピクセル１５８の反射率、左方向にあるピクセル１５４の反射率、および右方向にあるピクセル１５６の反射率の内の最大値と最小値が検出される。そして、最大値と最小値の差分が算出される。さらに差分値のｘ倍が、閾値Ｔｈｒに設定される。
閾値の第４の設定方法
処理対象のピクセルの信頼度または反射率のｘ倍を閾値に設定する。ｘは、例えば、０．１といった値に設定することができる。
ステップＳ３４における判定を信頼度で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の信頼度のｘ倍が、閾値Ｔｈｃに設定される。
ステップＳ３４における判定を反射率で行う場合、図１９を参照するに、処理対象とされたピクセル１５０の反射率のｘ倍が、閾値Ｔｈｒに設定される。
閾値の第５の設定方法
処理対象のピクセルと隣接するピクセルの２個のピクセルの距離の２乗の和を、閾値に設定する。閾値の第５の設定方法は、ステップＳ３４における判定を反射率で行う場合に適用される。
処理対象のピクセル１５０（図１９）と、そのピクセル１５０の上部に位置するピクセル１５２（図１９）を用いて閾値を設定する場合、ピクセル１５０の距離（ｄ150とする）の２乗（ｄ150 2）と、ピクセル１５２の距離（ｄ152とする）の２乗（ｄ152 2）の和が閾値Ｔｈrに設定される。
閾値Ｔｈｒ＝（ｄ150 2）＋（ｄ152 2） ・・・（１２）
なお、ここでは、処理対象のピクセルの上側にあるピクセルを用いる場合を例に挙げて説明したが、処理対象のピクセルに隣接する上側以外の位置にあるピクセルを用いるようにしてももちろん良い。
第５の設定方法の導出過程について簡便に説明する。以下の説明においては、距離（デプス値）をｄ、信頼度の真値をｃ、信頼度の測定値をｃ’、反射率の真値をｒ、反射率の測定値をｒ’とする。
信頼度の誤差と、反射率の誤差は、以下の式（１３）ように表すことができる。
Figure 2021051015
例えば、処理対象とされているピクセル１５０の誤差、測定値、および真値の関係と、隣接するピクセル１５２と誤差と測定値の関係を図示すると、図２１に示すように表すことができる。
図２１の上部は、ピクセル１５０（処理対象）の関係図である。ピクセル１５０の反射率の測定値ｒ150’を中央にした場合、真値ｒ150は、（ｒ150’−ｄ150 2）から（ｒ150’＋ｄ150 2）の間に存在する。
図２１の下部は、ピクセル１５２（隣接するピクセル）の関係図である。ピクセル１５２の反射率の測定値ｒ152’を中央にした場合、真値ｒ152は、（ｒ152’−ｄ152 2）から（ｒ152’＋ｄ152 2）の間に存在する。
ピクセル１５０の反射率の真値ｒは、ピクセル１５０（処理対象）の関係図とピクセル１５２（隣接するピクセル）の関係図が重なる範囲Ａ内に存在すると考えられる。範囲Ａが存在するのは、次式（１４）が満たされるときである。
|ｒ150’−ｒ152’| ＜ ｄ150 2＋ｄ152 2 ・・・（１４）
すなわち、ピクセル１５０の反射率の測定値ｒ150’とピクセル１５２の反射率の測定値ｒ152’の差分の絶対値が、ピクセル１５０の距離ｄ150の２乗とピクセル１５２の距離ｄ152の２乗の和よりも小さい場合に、範囲Ａは存在する。
式（１４）が満たされるとき、真値ｒは存在すると想定できる。このことは、式（１４）が満たされないとき、真値ｒは存在しない可能性があるともいえる。式（１４）が満たされないときとは、例えば、式（１５）が満たされるときである。
|ｒ150’−ｒ152’| ＞ ｄ150 2＋ｄ152 2 ・・・（１５）
式（１５）が満たされる場合、真値rが存在しない可能性があるときであり、処理対象とされているピクセルは、欠陥ピクセルであると想定できる。この場合、フライングピクセルである可能性があると想定できる。
式（１５）と、式（１１）を比較する。ここで、式（１１）の一部（上下方向のピクセルを用いる場合の式）を再度記載する。
(|Tr-Pr|＞Thrおよび|Br-Pr|＞Thr) ・・・（１１）
式（１１）の例えば、（|Tr-Pr|＞Thr）に注目する。Ｔｒは、ピクセル１５２（図１９）の反射率の測定値であり、測定値ｒ152’に該当する。Ｐｒは、ピクセル１５０（図１９）の反射率の測定値であり、測定値ｒ150’に該当する。よって、|Tr-Pr|は、|ｒ150’−ｒ152’|となる。すなわち、式（１１）の左辺は、式（１５）の左辺と同等に扱うことができる。
よって、式（１１）の右辺でる閾値Ｔｈｒは、式（１５）の右辺である（ｄ150 2＋ｄ152 2）とすることができる。
このように、閾値の第５の設定方法として、処理対象のピクセルと隣接するピクセルの２個のピクセルの距離の２乗和を閾値Ｔｈｒに設定することができる。
ここでは、閾値の設定方法として、第１乃至第５の設定方法を例示したが、あくまで例示であり、限定を示す記載ではない。よって、他の方法により閾値が設定されるようにすることも可能である。
このように、欠陥ピクセルを２回の判定処理により検出、確定するようにすることで、欠陥ピクセルを誤検出するようなことを低減させることが可能となる。よって、測距の精度をより高めることができる。
＜電子機器の構成例＞
上述した測距装置１０は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
図２２は、測距装置１０を測距モジュールとして搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。
図２２に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。
測距モジュール２０２には、図１の測距装置１０が適用される。例えば、測距モジュール２０２は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。
撮像装置２０３は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。
ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
通信モジュール２０７は、通信ネットワークを介した通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図２４は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図２４では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
図２５は、図２４に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２７は、撮像部１２０３１の設置位置の例を示す図である。
図２７では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１）
デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、
前記第１の判定部により、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定する第２の判定部と
を備え、
前記第２の判定部により、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
測距装置。
（２）
前記第２の閾値は、固定値または可変値である
前記（１）に記載の測距装置。
（３）
前記第２の閾値は、複数の前記第２のピクセルの前記信頼度の平均値に、所定の値を乗算した値に設定される
前記（１）または（２）に記載の測距装置。
（４）
前記第２の閾値は、複数の前記第２のピクセルの前記信頼度の標準偏差に、所定の値を乗算した値に設定される
前記（１）または（２）に記載の測距装置。
（５）
前記第２の閾値は、複数の前記第２のピクセルの前記信頼度の最大値と最小値の差分に、所定の値を乗算した値に設定される
前記（１）または（２）に記載の測距装置。
（６）
前記第２の閾値は、前記第１のピクセルの信頼度に所定の値を乗算した値に設定される
前記（１）または（２）に記載の測距装置。
（７）
デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、
前記第１の判定部により、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定する第２の判定部と
を備え、
前記第２の判定部により、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
測距装置。
（８）
前記反射率は、信頼度にデプス値の２乗を乗算した値である
前記（７）に記載の測距装置。
（９）
前記第２の閾値は、固定値または可変値である
前記（７）または（８）に記載の測距装置。
（１０）
前記第２の閾値は、複数の前記第２のピクセルの前記反射率の平均値に、所定の値を乗算した値に設定される
前記（７）乃至（９）のいずれかに記載の測距装置。
（１１）
前記第２の閾値は、複数の前記第２のピクセルの前記反射率の標準偏差に、所定の値を乗算した値に設定される
前記（７）乃至（９）のいずれかに記載の測距装置。
（１２）
前記第２の閾値は、複数の前記第２のピクセルの前記反射率の最大値と最小値の差分に、所定の値を乗算した値に設定される
前記（７）乃至（９）のいずれかに記載の測距装置。
（１３）
前記第２の閾値は、前記第１のピクセルの反射率に所定の値を乗算した値に設定される
前記（７）乃至（９）のいずれかに記載の測距装置。
（１４）
前記第２の閾値は、前記第１のピクセルのデプス値の２乗と前記第２のピクセルのデプス値の２乗との和に設定される
前記（７）乃至（９）のいずれかに記載の測距装置。
（１５）
測距する測距装置が、
デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定し、
前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
測距方法。
（１６）
測距する測距装置が、
デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定し、
前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
測距方法。
（１７）
コンピュータに、
デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定し、
前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
ステップを含む処理を実行させるためのプログラム。
（１８）
コンピュータが、
デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定し、
前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
ステップを含む処理を実行させるためのプログラム。
１０ 測距装置， １１ レンズ， １２ 受光部， １３ 信号処理部， １４ 発光部， １５ 発光制御部， １６ フィルタ部， ３１ フォトダイオード， ４１ 画素アレイ部， ４２ 垂直駆動部， ４３ カラム処理部， ４４ 水平駆動部， ４５ システム制御部， ４６ 画素駆動線， ４７ 垂直信号線， ４８ 信号処理部， ５０ 画素， ５１ タップ， ６１ フォトダイオード， ６２ 転送トランジスタ， ６３ ＦＤ部， ６４ リセットトランジスタ， ６５ 増幅トランジスタ， ６６ 選択トランジスタ， １０１ 前景オブジェクト， １０２ 背景オブジェクト， １０３，１０４，１０５ エッジ， １１１，１１２ 点線， １２１ ピクセル群， １２２ ピクセル群， １２３，１２４ ピクセル， １５０，１５２，１５４，１５６，１５８ ピクセル

Claims (18)

  1. デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、
    前記第１の判定部により、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定する第２の判定部と
    を備え、
    前記第２の判定部により、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
    測距装置。
  2. 前記第２の閾値は、固定値または可変値である
    請求項１に記載の測距装置。
  3. 前記第２の閾値は、複数の前記第２のピクセルの前記信頼度の平均値に、所定の値を乗算した値に設定される
    請求項１に記載の測距装置。
  4. 前記第２の閾値は、複数の前記第２のピクセルの前記信頼度の標準偏差に、所定の値を乗算した値に設定される
    請求項１に記載の測距装置。
  5. 前記第２の閾値は、複数の前記第２のピクセルの前記信頼度の最大値と最小値の差分に、所定の値を乗算した値に設定される
    請求項１に記載の測距装置。
  6. 前記第２の閾値は、前記第１のピクセルの信頼度に所定の値を乗算した値に設定される
    請求項１に記載の測距装置。
  7. デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定する第１の判定部と、
    前記第１の判定部により、前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定する第２の判定部と
    を備え、
    前記第２の判定部により、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
    測距装置。
  8. 前記反射率は、信頼度にデプス値の２乗を乗算した値である
    請求項７に記載の測距装置。
  9. 前記第２の閾値は、固定値または可変値である
    請求項７に記載の測距装置。
  10. 前記第２の閾値は、複数の前記第２のピクセルの前記反射率の平均値に、所定の値を乗算した値に設定される
    請求項７に記載の測距装置。
  11. 前記第２の閾値は、複数の前記第２のピクセルの前記反射率の標準偏差に、所定の値を乗算した値に設定される
    請求項７に記載の測距装置。
  12. 前記第２の閾値は、複数の前記第２のピクセルの前記反射率の最大値と最小値の差分に、所定の値を乗算した値に設定される
    請求項７に記載の測距装置。
  13. 前記第２の閾値は、前記第１のピクセルの反射率に所定の値を乗算した値に設定される
    請求項７に記載の測距装置。
  14. 前記第２の閾値は、前記第１のピクセルのデプス値の２乗と前記第２のピクセルのデプス値の２乗との和に設定される
    請求項７に記載の測距装置。
  15. 測距する測距装置が、
    デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
    前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定し、
    前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
    測距方法。
  16. 測距する測距装置が、
    デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
    前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定し、
    前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
    測距方法。
  17. コンピュータに、
    デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
    前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいか否かを判定し、
    前記第１のピクセルの信頼度と前記第２のピクセルの信頼度の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
    ステップを含む処理を実行させるためのプログラム。
  18. コンピュータが、
    デプスマップ内の第１のピクセルと、前記第１のピクセルに隣接する第２のピクセルのデプス値の差分が第１の閾値より大きいか否かを判定し、
    前記第１のピクセルと前記第２のピクセルの距離の差分が第１の閾値より大きいと判定された場合、前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいか否かを判定し、
    前記第１のピクセルの反射率と前記第２のピクセルの反射率の差分が第２の閾値よりも大きいと判定された場合、前記第１のピクセルは、欠陥ピクセルであると確定する
    ステップを含む処理を実行させるためのプログラム。
JP2019174417A 2019-09-25 2019-09-25 測距装置、測距方法、並びにプログラム Pending JP2021051015A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019174417A JP2021051015A (ja) 2019-09-25 2019-09-25 測距装置、測距方法、並びにプログラム
DE112020004538.2T DE112020004538T5 (de) 2019-09-25 2020-09-25 Abstandsmessvorrichtung, abstandsmessverfahren, programm, elektronische einrichtung, lernmodell erzeugendes verfahren, herstellungsverfahren und tiefenkarte erzeugendes verfahren
US17/760,897 US20220357155A1 (en) 2019-09-25 2020-09-25 Distance measuring device, distance measuring method, program, electronic apparatus, learning model generating method, manufacturing method, and depth map generating method
CN202080065934.7A CN114424022B (zh) 2019-09-25 2020-09-25 测距设备，测距方法，程序，电子装置，学习模型生成方法，制造方法和深度图生成方法
PCT/JP2020/036469 WO2021060539A1 (ja) 2019-09-25 2020-09-25 測距装置、測距方法、プログラム、電子機器、学習モデル生成方法、製造方法、およびデプスマップ生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019174417A JP2021051015A (ja) 2019-09-25 2019-09-25 測距装置、測距方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2021051015A true JP2021051015A (ja) 2021-04-01

Family

ID=75157600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019174417A Pending JP2021051015A (ja) 2019-09-25 2019-09-25 測距装置、測距方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20220357155A1 (ja)
JP (1) JP2021051015A (ja)
CN (1) CN114424022B (ja)
DE (1) DE112020004538T5 (ja)
WO (1) WO2021060539A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176137A1 (ja) * 2022-03-14 2023-09-21 オムロン株式会社 センサシステムおよびその制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264942B2 (ja) * 2021-06-24 2023-04-25 ソフトバンク株式会社 データ処理装置、プログラム、及び通信方法
US20240051568A1 (en) * 2022-08-09 2024-02-15 Motional Ad Llc Discriminator network for detecting out of operational design domain scenarios
CN118314460A (zh) * 2024-04-18 2024-07-09 句容市家天下网络科技有限公司 供电电缆敷设场景鉴定系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4528850B2 (ja) * 2008-08-26 2010-08-25 シャープ株式会社 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011097542A (ja) * 2009-11-02 2011-05-12 Sony Corp 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
BR112013021276A2 (pt) * 2011-02-23 2018-06-12 Koninklijke Philips Nv dispositivo e método de processamento de sinal para processar dados da imagem tridimensional, gerador de ponto de vista, gerador dos dados de profundidade e programa de computador
CN103814306B (zh) * 2011-06-24 2016-07-06 索弗特凯耐提克软件公司 深度测量质量增强
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
JP6536008B2 (ja) 2014-10-30 2019-07-03 株式会社デンソー 車両用光飛行型測距装置
JP6559899B2 (ja) * 2015-12-21 2019-08-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像のための奥行きマップの処理
JP2017158018A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
CN111724430A (zh) * 2019-03-22 2020-09-29 株式会社理光 一种图像处理方法、装置及计算机可读存储介质
CN110400340B (zh) * 2019-07-11 2022-03-22 Oppo广东移动通信有限公司 深度图处理方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176137A1 (ja) * 2022-03-14 2023-09-21 オムロン株式会社 センサシステムおよびその制御方法

Also Published As

Publication number Publication date
WO2021060539A1 (ja) 2021-04-01
CN114424022A (zh) 2022-04-29
US20220357155A1 (en) 2022-11-10
CN114424022B (zh) 2024-08-02
DE112020004538T5 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
JP7022057B2 (ja) 撮像装置
US11543497B2 (en) Sensor chip, electronic equipment, and apparatus
US11847759B2 (en) Image processing device, image processing method, and image processing program
JP2021051015A (ja) 測距装置、測距方法、並びにプログラム
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
US11936979B2 (en) Imaging device
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
JPWO2020026856A1 (ja) 撮像装置および電子機器
JPWO2020170565A1 (ja) 信号処理方法および撮像装置
JP2019192802A (ja) 撮像素子および撮像素子の製造方法
JP2021034496A (ja) 撮像素子、測距装置
WO2021193266A1 (ja) 固体撮像装置
US11778345B2 (en) Information processing device, information processing method, and information processing program
JP7034925B2 (ja) 固体撮像装置および撮像方法
JP2020173128A (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2022009674A1 (ja) 半導体パッケージ及び半導体パッケージの製造方法
US11838656B2 (en) Imaging device and correction method for reducing image height dependency of a depth
US20230005993A1 (en) Solid-state imaging element
WO2021153429A1 (ja) 固体撮像装置及び電子機器
WO2020195180A1 (ja) 撮像素子および撮像装置
WO2021075116A1 (ja) 固体撮像装置及び電子機器
JPWO2020100697A1 (ja) 固体撮像素子、固体撮像装置及び電子機器
JP2021034743A (ja) 撮像装置
WO2022254845A1 (ja) 信号処理方法、信号処理装置および撮像装置
WO2023080011A1 (ja) 撮像装置及び電子機器