CN115176174A - 测距摄像装置 - Google Patents

测距摄像装置 Download PDF

Info

Publication number
CN115176174A
CN115176174A CN202080081588.1A CN202080081588A CN115176174A CN 115176174 A CN115176174 A CN 115176174A CN 202080081588 A CN202080081588 A CN 202080081588A CN 115176174 A CN115176174 A CN 115176174A
Authority
CN
China
Prior art keywords
exposure
signal
control pulse
distance
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080081588.1A
Other languages
English (en)
Inventor
高野遥
山田彻
西本雅彦
中村清治
西川真由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of CN115176174A publication Critical patent/CN115176174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/489Gain of receiver varied automatically during pulse-recurrence period

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

在测距摄像装置(10)中,驱动控制部(3)生成包含以所述发光控制脉冲的定时为基准的第一曝光控制脉冲、第二曝光控制脉冲以及第三曝光控制脉冲的曝光控制信号,第三曝光控制脉冲与发光控制脉冲的时间差比第二曝光控制脉冲与发光控制脉冲的时间差大,第二曝光控制脉冲与发光控制脉冲的时间差比第一曝光控制脉冲与发光控制脉冲的时间差大,摄像部(2)输出表示通过由所述第一曝光控制脉冲引起的曝光而产生的信号电荷量的第一曝光信号、表示通过由所述第二曝光控制脉冲引起的曝光而产生的信号电荷量的第二曝光信号、以及表示通过由所述第三曝光控制脉冲引起的曝光而产生的信号电荷量的第三曝光信号。

Description

测距摄像装置
技术领域
本公开涉及测距摄像装置。
背景技术
专利文献1公开了一种测距摄像装置,其通过照射脉冲光并接收来自对象物体的反射光来测定到对象物的距离。
在先技术文献
专利文献
专利文献1:国际公开第2007/150246号
发明内容
发明要解决的问题
根据现有技术,在不仅包含来自对象物的直接反射光还包含间接反射光的多通路环境中,存在测距精度劣化的问题。
本公开提供一种能够降低多通路环境中的测距精度的劣化的测距摄像装置。
解决问题的手段
本公开的一形态的测距摄像装置是通过照射脉冲光并接收来自对象物体的反射光来测定到对象物的距离的测距摄像装置,具备:驱动控制部,输出包含指示发光的发光控制脉冲的发光控制信号和包含指示曝光的曝光控制脉冲的曝光控制信号;光源部,在所述发光控制脉冲的定时进行所述脉冲光的照射;摄像部,将来自被照射了所述脉冲光的对象物体的反射光在所述曝光控制脉冲的定时进行曝光,并输出表示通过曝光产生的信号电荷量的曝光信号;以及运算部,将所述曝光信号作为输入来进行距离运算,并输出距离图像,所述驱动控制部生成曝光控制信号,所述曝光控制信号包含以所述发光控制脉冲的定时为基准的第一曝光控制脉冲、第二曝光控制脉冲以及第三曝光控制脉冲,所述第三曝光控制脉冲与所述发光控制脉冲的时间差比所述第二曝光控制脉冲与所述发光控制脉冲的时间差大,所述第二曝光控制脉冲与所述发光控制脉冲的时间差比所述第一曝光控制脉冲与所述发光控制脉冲的时间差大,所述摄像部输出表示通过由所述第一曝光控制脉冲引起的曝光而产生的信号电荷量的第一曝光信号、表示通过由所述第二曝光控制脉冲引起的曝光而产生的信号电荷量的第二曝光信号、以及表示通过由所述第三曝光控制脉冲引起的曝光而产生的信号电荷量的第三曝光信号。
发明的效果
根据本公开的测距摄像装置,能够降低多通路环境中的测距精度的劣化。
附图说明
图1是表示实施方式1的测距摄像装置的结构例的框图。
图2A是表示实施方式1的测距摄像装置的发光控制信号以及曝光控制信号的信号波形例的定时图。
图2B是表示实施方式1的测距摄像装置的发光控制信号以及曝光控制信号的其他信号波形例的定时图。
图3是表示图2A的发光控制信号和曝光控制信号的A0期间、A1期间和BG期间的信号波形例的图。
图4是表示实施方式1的测距摄像装置的发光控制信号和曝光控制信号、测定距离D的关系的图。
图5是表示实施方式2的测距摄像装置的结构例的框图。
图6A是表示实施方式2的测距摄像装置的动作例的定时图。
图6B是表示实施方式2的测距摄像装置的其他动作例的定时图。
图7是表示实施方式2的图6A的发光控制信号和曝光控制信号的帧A的A0期间、A1期间和BG期间的信号波形的图。
图8是表示实施方式2的图6A的发光控制信号和曝光控制信号的帧B的bA0期间、bA1期间、bBG期间的信号波形的图。
图9A是表示实施方式2的测距摄像装置的帧A中的来自对象物体的直接反射光和间接反射光及A0、A1曝光控制信号的时间关系、以及实际距离和测定距离D的关系的图。
图9B是表示实施方式2的测距摄像装置的帧B中的来自对象物体的调节反射光和间接反射光及A0、A1曝光控制信号的时间关系、以及实际距离和测定距离D的关系的图。
图9C是表示实施方式2的测距摄像装置的帧B中的来自另一对象物体的直接反射光和间接反射光及A0、A1曝光控制信号的时间关系、以及实际距离和测定距离D的另一关系的图。
图10是表示实施方式1和实施方式2的测距摄像装置的另一驱动的定时图,并且是表示A0期间、A1期间和BG期间的输出的图。
图11是表示实施方式1和实施方式2的测距摄像装置的驱动的定时图,并且是表示A0期间、A1期间和BG期间的另一输出的图。
图12是表示实施方式1和实施方式2的测距摄像装置的驱动的定时图,并且是表示A0期间、A1期间和BG期间的另一输出的图。
图13A是表示实施方式的测距摄像装置的像素识别信号的说明图。
图13B是表示实施方式的测距摄像装置的像素识别信号的说明图。
图14是表示实施方式1和实施方式2的测距摄像装置的驱动的定时图。
图15是表示实施方式1和实施方式2的测距摄像装置的驱动的定时图。
具体实施方式
(作为本公开的基础的见解)
本发明的发明人发现,关于在“背景技术”栏中记载的测距摄像装置,产生以下问题。
在现有的TOF测距方式中,从光源射出的照射光通常具有20度~150度左右的展幅。在对象物体和测距摄像装置的附近存在墙壁、天花板或障碍物等反射物体的情况下,具有展幅的照射光的一部分经由反射物体被对象物体反射,并作为间接反射光返回到测距摄像装置。其结果,被测距摄像装置观测的反射光的强度是强度强的直接反射光和强度低的间接反射光两者混合存在而曝光的。由于间接反射光的飞行距离比直接反射光长,所以间接反射光比直接反射光晚返回到测距摄像装置。此时,由于混合存在间接反射光,测距摄像装置和对象物体之间的被观测的距离会被观测为比由直接反射光导出的本来的距离更远。这样,在多通路环境中,间接反射光成为产生测定误差的原因,存在被测定的距离比实际的距离大的问题。
为了解决这样的问题,本公开的一形态的测距摄像装置是通过照射脉冲光并接收来自对象物体的反射光来测定到对象物的距离的测距摄像装置,具备:驱动控制部,输出包含指示发光的发光控制脉冲的发光控制信号和包含指示曝光的曝光控制脉冲的曝光控制信号;光源部,在所述发光控制脉冲的定时进行所述脉冲光的照射;摄像部,将来自被照射了所述脉冲光的对象物体的反射光在所述曝光控制脉冲的定时进行曝光,并输出表示通过曝光产生的信号电荷量的曝光信号;以及运算部,将所述曝光信号作为输入来进行距离运算,并输出距离图像,所述驱动控制部生成曝光控制信号,所述曝光控制信号包含以所述发光控制脉冲的定时为基准的第一曝光控制脉冲、第二曝光控制脉冲以及第三曝光控制脉冲,所述第三曝光控制脉冲与所述发光控制脉冲的时间差比所述第二曝光控制脉冲与所述发光控制脉冲的时间差大,所述第二曝光控制脉冲与所述发光控制脉冲的时间差比所述第一曝光控制脉冲与所述发光控制脉冲的时间差大,所述摄像部输出表示通过由所述第一曝光控制脉冲引起的曝光而产生的信号电荷量的第一曝光信号、表示通过由所述第二曝光控制脉冲引起的曝光而产生的信号电荷量的第二曝光信号、以及表示通过由所述第三曝光控制脉冲引起的曝光而产生的信号电荷量的第三曝光信号。
由此,在预定的测距范围的范围内,可以第一曝光信号和第二曝光信号主要包含对应于直接反射光的信号电荷,第三曝光信号主要包含对应于间接反射光的信号电荷。因此,测距摄像装置如果不仅使用第一曝光信号以及第二曝光信号还使用第三曝光信号来计算距离,则能够降低多通路环境中的测距精度的劣化。
例如,也可以是,所述运算部基于所述第二曝光信号的信号电荷量相对于所述第一曝光信号、所述第二曝光信号以及所述第三曝光信号各自的信号电荷量的合计的比率,来输出距离信息。
由此,能够基于相对于上述合计的上述比率,容易地计算降低了测距精度的劣化的距离信息。
例如,也可以是,所述驱动控制部使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成。
由此,通过对一次的发光进行两次曝光,能够得到第一曝光信号和第三曝光信号。此时,在第三曝光信号中可取得间接反射光的信号电荷。
例如,也可以是,所述驱动控制部使所述第一曝光控制脉冲与一个所述发光控制脉冲对应生成,使所述第二曝光控制脉冲与一个所述发光控制脉冲对应生成,使所述第三曝光控制脉冲与一个所述发光控制脉冲对应生成。
由此,通过对一次的发光进行一次曝光,能够得到第一曝光信号。同样地,通过对一次的发光进行一次曝光,能够得到第二曝光信号。此外,通过对一次的发光进行一次曝光,能够得到第三曝光信号。这样,通过对一次的发光进行一次曝光的单纯的控制,能够得到第一曝光信号、第二曝光信号以及第三曝光信号。第三曝光信号主要包含与间接反射光对应的信号电荷,因此能够降低多通路环境中的测距精度的劣化。
例如,也可以是,所述曝光控制信号包含第四曝光控制脉冲,所述第四曝光控制脉冲与所述发光控制脉冲的时间差比所述第三曝光控制脉冲与所述发光控制脉冲的时间差大,所述驱动控制部使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成,使所述第二曝光控制脉冲以及所述第四曝光控制脉冲与共同的一个所述发光控制脉冲对应生成。
由此,通过对一次的发光进行两次曝光,能够得到第一曝光信号和第三曝光信号。同样地,通过对一次的发光进行两次曝光,能够得到第二曝光信号和第四曝光信号。在得到第一曝光信号和第三曝光信号的动作和得到第二曝光信号和第四曝光信号的动作中使用1发光2曝光这样的同样的控制序列。因此,在上述的两个动作中,例如由于电源电压的变动等不产生显著的差异,因此能够进一步降低测距精度的劣化。
例如,也可以是,所述运算部基于第二合计相对于第一合计的比率来输出所述距离信息,所述第一合计为所述第一曝光信号、所述第二曝光信号、第三曝光信号以及第四曝光信号各自的信号电荷量相加所得,所述第二合计为所述第二曝光信号以及所述第四曝光信号各自的信号电荷量相加所得。
由此,使用所述第一曝光信号、所述第二曝光信号、所述第三曝光信号和所述第四曝光信号,能够得到降低了测距精度的劣化的距离信息。
例如,也可以是,所述运算部基于所述第二曝光信号的信号电荷量相对于所述第一曝光信号、所述第二曝光信号、第三曝光信号以及第四曝光信号各自的信号电荷量相加所得的合计的比率,来输出所述距离信息。
由此,能够使用第二曝光信号的信号电荷量来代替第二合计,所述第二合计是将所述第二曝光信号和第四曝光信号各自的信号电荷量相加而得到的。由此,也能够得到降低了测距精度的劣化的距离信息。
例如,也可以是,所述驱动控制部在输入指定包含第一动作模式和第二动作模式的多个动作模式中的某一个的识别信号,并且在所述识别信号指定所述第一动作模式时,控制基于第一动作的距离测定,所述第一动作使用包含从所述第一曝光控制脉冲到所述第三曝光控制脉冲的所述曝光控制信号,在所述识别信号指定所述第二动作模式时,控制基于不同于所述第一动作的第二动作的距离测定。
由此,由于分别在第一动作模式以及第二动作模式下进行距离测定,因此能够选择测定误差更小的距离信息。
例如,也可以是,所述距离图像生成部基于在所述第一动作中得到的第一距离信息和在所述第二动作中得到的第二距离信息,生成表示有无多通路的多通路检测信号,进一步地,基于所述第一距离信息与所述第二距离信息之差,输出表示所述第一距离信息或所述第二距离信息中包含的误差的大小的所述多通路检测信号。
由此,可以检测有无多通路和检测多通路引起的误差的大小。
例如,也可以是,所述距离图像生成部基于在所述第一动作中得到的第一距离信息和在所述第二动作中得到的第二距离信息,生成表示有无多通路的多通路检测信号。
由此,可以检测有无多通路。
例如,也可以是,所述距离图像生成部基于所述第一距离信息与所述第二距离信息之差,输出表示所述第一距离信息或所述第二距离信息中包含的误差的大小的所述多通路检测信号。
由此,可以检测多通路引起的误差的大小。
例如,也可以是,所述驱动控制部在所述第二动作模式中,生成包含第一脉冲以及第二脉冲作为所述曝光控制脉冲的所述曝光控制信号,所述第二脉冲和所述发光控制脉冲的时间差比所述第一脉冲和所述发光控制脉冲的时间差大。
由此,第二动作模式例如也可以用与现有相同的测距动作。
例如,也可以是,所述摄像部输出在先曝光信号和在后曝光信号,所述在先曝光信号表示通过由所述第一脉冲引起的曝光而产生的信号电荷量,所述在后曝光信号表示通过由所述第二脉冲引起的曝光而产生的信号电荷量。
由此,在第二动作模式中,可以根据在先曝光信号和在后曝光信号计算距离。
例如,也可以是,所述运算部基于所述在后曝光信号的信号电荷量相对于所述在先曝光信号和所述在后曝光信号各自的信号电荷量的合计的比率,来输出所述距离信息。
由此,在第二动作模式中,基于上述的比率计算距离信息。通过组合第二动作模式和第一动作模式,能够导出降低了测距精度的劣化的距离信息。
例如,也可以是,所述距离图像生成部基于在所述第一动作中得到的第一距离信息所示的距离值和在所述第二动作中得到的第二距离信息所示的距离值的相加,来生成所述距离图像。
由此,也可以根据第一距离信息与第二距离信息的相加值计算平均。
例如,也可以是,所述驱动控制部多次重复地执行所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的曝光处理,在所述多次中的规定次数的曝光处理中,去除(日文:間引く,英文:remove)所述第一曝光控制脉冲或所述第三曝光控制脉冲。
由此,在多次重复对一次的发光进行两次曝光的动作中以规定次数的动作将第一曝光控制脉冲去除的情况下,间接反射光能够被更多地曝光,因此能够提高检测多通路的精度。
例如,也可以是,所述驱动控制部多次重复执行使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的第一曝光处理,多次重复执行使所述第二曝光控制脉冲以及所述第四曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的第二曝光处理,在所述多次中的规定次数的对应的第一曝光处理以及第二曝光处理中,将所述第一曝光控制脉冲和所述第二曝光控制脉冲,或所述第三曝光控制脉冲和所述第四曝光控制脉冲去除。
由此,在多次重复对一次的发光进行两次曝光的动作中以规定次数的动作将第一曝光控制脉冲或第二曝光控制脉冲去除的情况下,生成曝光控制脉冲的驱动控制部3的负荷降低,能够供给更陡峭的曝光控制脉冲,可以使测距精度提高。
例如,也可以是,所述驱动控制部生成所述发光控制信号,使得与发光脉冲周期对应的占空比为33%以下。
由此,能够使脉冲光相对于背景光为高强度,能够使作为测距性能的耐光性提高。
例如,也可以是,所述运算部使用TOF原理运算并输出所述距离信息。
由此,输出基于TOF原理的距离信息。
此外,这些概括性或具体的形态可以通过系统、方法、集成电路、计算机程序来实现,也可以通过系统、方法、集成电路、计算机程序的任意组合来实现。
以下,使用附图对实施方式进行详细说明。另外,以下说明的实施方式均表示本公开的一个具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、驱动定时等是一例,主旨并非限定本公开。另外,关于以下的实施方式中的构成要素中的、没有记载于表示本公开的最上位概念的独立技术方案的构成要素,作为任意的构成要素进行说明。另外,各图并不一定是严格地进行图示的图。在各图中,对于实质上相同的结构,省略或简化重复的说明。
(实施方式1)
图1是表示实施方式1的测距摄像装置10的结构例的框图。在该图中,除了测距摄像装置10之外,还图示了对象物体和反射物体。对象物体表示距离测定的对象物的一例。反射物体产生间接反射光,表示多通路环境的一例。测距摄像装置10根据由摄像部曝光的信号量,计算由光源部射出的照射光由对象物体直接反射并作为直接反射光返回到摄像部2为止的光的飞行时间(TOF),并乘以适当的系数来导出距离。为此,测距摄像装置10具备光源部1、摄像部2、驱动控制部3以及运算部5。
光源部1在来自驱动控制部3的发光控制信号所包含的发光控制脉冲的定时进行脉冲光的照射。脉冲光在周围存在人的情况下优选为红外光,但在不存在人的情况下也可以是红外光以外的光。
摄像部2在曝光控制脉冲的定时对来自被照射了脉冲光的对象物体的反射光进行曝光,输出表示通过曝光产生的信号电荷量的曝光信号。摄像部2包含被称为图像传感器的固体摄像元件。摄像部2例如以2万像素~200万像素左右的分辨率进行摄像。
驱动控制部3输出包含指示发光的定时的发光控制脉冲的发光控制信号、和包含指示曝光的定时的曝光控制脉冲的曝光控制信号。图2A是表示实施方式1的测距摄像装置10的发光控制信号和曝光控制信号的信号波形例的定时图。在图2A的例子中,发光控制信号包含正逻辑发光控制脉冲。发光控制脉冲在高电平时使光源1发光。曝光控制信号包含负逻辑曝光控制脉冲。曝光控制脉冲在低电平时使摄像部2曝光。在该图中,在A0期间、A1期间、BG期间的每一个中进行曝光处理。在A0期间和A1期间,组合发光和曝光的定时不同。BG期间是曝光背景光的期间,不发光而仅进行曝光。在A0期间,发光控制信号是具有重复n次的发光控制脉冲的信号。因此,发光和曝光的组合也重复n次。n次可以是2以上的整数,例如几十次~几万次。A1期间的发光控制信号也同样。另外,驱动控制部3也可以代替图2A而如图2B所示那样生成发光控制信号和曝光控制信号。在图2B中,不使重复n次的单位处理连续,而是将A0期间的单位处理、A1期间的单位处理、B期间的单位处理分别各进行1次的处理重复m次。
驱动控制部3生成曝光控制信号,该曝光控制信号包含以发光控制脉冲的定时为基准的第一曝光控制脉冲、第二曝光控制脉冲、第三曝光控制脉冲和第四曝光控制脉冲。这里,第四曝光控制脉冲和发光控制脉冲的时间差比第三曝光控制脉冲和发光控制脉冲的时间差大。第三曝光控制脉冲和发光控制脉冲的时间差比第二曝光控制脉冲和发光控制脉冲的时间差大。第二曝光控制脉冲和发光控制脉冲的时间差比第一曝光控制脉冲和发光控制脉冲的时间差大。第一曝光控制脉冲和第三曝光控制脉冲包含在A0期间的单位处理中。第二曝光控制脉冲和第四曝光控制脉冲包含在A1期间的单位处理中。
摄像部2输出表示通过由第一曝光控制脉冲引起的曝光而产生的信号电荷量的第一曝光信号、表示通过由第二曝光控制脉冲引起的曝光而产生的信号电荷量的第二曝光信号、以及表示通过由第三曝光控制脉冲引起的曝光而产生的信号电荷量的第三曝光信号。
运算部5基于第二曝光信号的信号电荷量相对于第一曝光信号、第二曝光信号和第三曝光信号各自的信号电荷量的合计的比率,来输出距离信息。由此,能够抑制距离信息中的由于多通路引起的精度劣化。这是因为,由于在多通路环境中的间接反射光的一部分包含在第三曝光信号中,因此误差被抑制。
此外,将第一曝光信号、第二曝光信号和第三曝光信号各自的信号电荷量的合计、且是A0期间的通过重复单位处理而得到的信号电荷量表示为A0。将第二曝光信号的信号电荷量、且是A1期间的通过重复单位处理而得到的信号电荷量表示为A1。运算部5基于A1/(A0+A1)计算距离信息。其中,该式中的A0、A1的信号电荷量是减去了在BG期间得到的背景光的信号电荷量的量。在本公开中,该式中的信号电荷量A1包含与间接反射光的一部分对应的第三曝光信号,所以与现有技术相比,能够抑制由于多通路引起的精度劣化。
另外,脉冲光以低频率间歇发光。例如,脉冲光的发光的占空比可以为33%以下。由此,能够使脉冲光相对于来自周围的太阳或照明的背景光为高强度,能够使作为测距性能的耐光性提高。
运算部5将曝光信号作为输入,通过TOF运算输出距离信息。
接下来,说明本实施方式1的测距摄像装置10的动作。
图2A是表示实施方式1的测距摄像装置的动作例的定时图。
如图2A所示,驱动控制部3输出发光控制信号和曝光控制信号,光源部1在发光控制信号为高电平时输出脉冲光。
该A0、A1、BG的曝光期间的顺序可以调换,或者也可以如图2B所示,将各曝光期间缩短为相当于单位处理的1/m,重复m次A0期间/m、A1期间/m、BG期间/m的单位处理集。这里,n为2以上的整数。m为2以上n以下的整数。在这种情况下,由于测定距离运算中使用的三个曝光信号A0、A1、BG的时间差被缩短为1/m,所以具有即使对象物体运动也能够准确地进行测定距离运算的效果。
另外,曝光信号A0、A1中包含BG,减去BG后的成分成为照射光的真正的信号量。
另外,运算部5通过测定距离D=(A1-BG)/[(A0-BG)+(A1-BG)]来输出每个像素的测定距离D。测定距离D表示取0至1的值的归一化后的距离值。
图3详细示出了图2A及图2B的发光控制信号和曝光控制信号的A0期间、A1期间和BG期间的输出的一部分。
曝光控制信号相对于发光控制信号以3图案的相位关系输出发光控制信号、曝光控制信号A0e、A1e、BGe。A0期间和A1期间基本上对于一个发光控制信号输出两个曝光控制脉冲。在BG期间,发光控制信号始终为低电平(无发光)。以下,有时将低电平简称为L,将高电平简称为H。
与现有的测距摄像装置的驱动方法的较大不同之处在于,曝光控制信号A0e、A1e、BGe分别由两发连续的曝光控制脉冲(A0e0、A0e1、A1e0、A1e1、BGe0、BGe1)构成。曝光控制脉冲A0e0是第一曝光控制脉冲的具体例。曝光控制脉冲A1e0是第二曝光控制脉冲的具体例。曝光控制脉冲A0e1是第三曝光控制脉冲的具体例。曝光控制脉冲A1e1是第四曝光控制脉冲的具体例。
图4是表示实施方式1的测距摄像装置的曝光控制信号和曝光控制信号、测定距离D的关系的图。在图4中,示出了在光源部1与对象物体之间存在反射物体,不仅直接反射光,而且间接反射光也照射到摄像部2,从而产生多通路问题的情况。图4是示意性地表示来自对象物体的直接反射光脉冲DP、间接反射光脉冲MP和曝光控制信号A0e、A1e的时间关系以及实际距离和测定距离D的关系的图。在图4中,为了便于理解,同时记载了曝光控制信号A0e、A1e,但在A0期间,进行将发光控制信号和曝光控制信号A0e组合的单位处理。在A1期间,进行发光控制信号和曝光控制信号A0e的组合的单位处理。图中的距离DDP表示仅用直接反射光测定的情况的对象物的实际的距离例。距离D1MP表示在直接反射光和间接反射光混合存在的情况下在本实施方式中测定的距离例。距离DMP表示在直接反射光和间接反射光混合存在的情况下通过现有技术测定的距离例。
来自光源部1的照射光脉冲被分成直接被对象物体反射的直接反射光DP、和经由周围的反射物体被对象物体反射的间接反射光MP,入射到摄像部2。此时,间接反射光MP相对于直接反射光DP,往返的光路长度长,相应地飞行时间变长,并且由于多次散射反射,光强度降低。
对于这些反射光脉冲DP、MP,摄像部2在曝光控制信号A0e的第一脉冲A0e0为L时,主要测量由直接反射光DP引起的曝光信号A0DP,在曝光控制信号A0e的第二脉冲A0e1为L时,主要测量由间接反射光MP引起的曝光信号A0MP。此外,在曝光控制信号A1e的第一脉冲A1e0为L时,将由直接反射光DP引起的曝光信号A1DP和由间接反射光MP引起的曝光信号A1MP合起来测量。
另外,这里A0DP、A0MP、A1DP、A1MP都是减去BG后的真正的曝光信号。基于这些曝光信号,通过(A1DP+A1MP)/[(A0DP+A0MP)+(A1DP+A1MP)],输出多通路存在的情况下的每个像素的测定距离D1MP。
该测定距离D1MP当直接反射光DP飞行与曝光控制信号A0e的第一脉冲A0e0的L期间相同的时间时,曝光信号A0DP=0,测定距离D1MP=1,当飞行该时间以上的时间时,D1MP再次从1向0减少。因此,本实施方式1的可测距范围例如在曝光控制信号A0e的第一脉冲A0e0的L期间为10nsec的情况下,由于D1MP从零到1的光的往复飞行距离为约3m(=光速3.0E8m/s×10nsec),所以可测距范围与现有例相同,为其单程的约1.5m。
在本实施方式的测距方法中,将由间接反射光MP引起的曝光信号A1MP与由直接反射光DP引起的曝光信号A1DP相加,同时将由间接反射光MP引起的曝光信号A0MP与由直接反射光DP引起的曝光信号A0DP相加。通过将该曝光信号A0MP与A0DP相加,测定距离D1MP的分母变大,观测到的距离比现有例的测定距离DMP近,能够降低在多通路中在远方观测对象物体的现有例的测距方式的误差。
另外,为了使曝光控制信号A0e和BG信号量对齐来提高测定距离D1的计算精度,施加曝光控制信号A1e和BGe的第二脉冲A1e1、BGe1,但这不是必须的,即使为了简化曝光控制而去掉第二脉冲A1e1、BGe1,也能够降低现有例的测距方式的误差。
此外,上述曝光控制信号A0e的第一脉冲A0e0是第一曝光控制脉冲的具体例,第二脉冲A0e1是第三曝光控制脉冲的具体例。此外,曝光控制信号A1e的第一脉冲A1e0是第二曝光控制脉冲的具体例,第二脉冲A1e1是第四曝光控制脉冲的具体例。
(实施方式2)
在本实施方式中,说明测距摄像装置10,该测距摄像装置10通过分别在第一动作模式和第二动作模式中进行距离测定并合成或选择两个距离信息,来得到测定误差小的距离信息。
图5是实施方式2的测距摄像装置10的结构图。
该图的测距摄像装置10与图1的结构相比,不同之处在于追加了帧控制部4和帧合成部(距离图像生成部)6。以下,以不同之处为中心进行说明。
帧控制部4在第N帧中输出L,在第(N+1)帧时输出H作为帧识别信号。将与L的帧识别信号对应的帧称为帧A。将与H的帧识别信号对应的帧称为帧B。在帧A中,进行第一动作模式即与实施方式1同样的动作。在帧B中,进行第二动作模式。
距离图像生成部6通过合成或者选择分别在第一动作模式以及第二动作模式中测定出的距离信息,生成测定误差小的距离信息。
另外,从摄像部2向运算部5输出在由直接反射光引起的曝光信号上重叠了由间接反射光引起的曝光信号的3种曝光信号(A0DP+A0MP)、(A1DP+A1MP)、BG。接下来,说明实施方式2的测距摄像装置10的动作。
如图6A所示,帧控制部4在第N帧(帧A)时将L作为帧识别信号输出,在第N+1帧(帧B)时将H作为帧识别信号输出,驱动控制部3将帧识别信号作为输入,输出发光控制信号和曝光控制信号,光源部1在发光控制信号为H时输出照射光。
另外,帧识别信号的L和H也可以相反,发光控制信号包含几十~几万个发光控制脉冲。与发光控制脉冲对应的照射光可以是脉冲光。
另外,该脉冲光更优选为低频率间歇发光。由此,能够使照射光(脉冲光)相对于来自周围的太阳或照明的BG稳定光为高强度,能够使作为测距性能的耐光性提高。
此外,摄像部2具有图像传感器(固体摄像元件,例如以2万像素~2百万像素左右的分辨率进行摄像),对于照射光在对象物体上反射的光即反射光,仅在曝光控制信号为L的期间进行曝光,由摄像部2对L期间的曝光量的总和进行光电转换,按每个像素输出曝光信号A0、A1、BG。
可以调换该A0、A1和BG的曝光期间的顺序,或者如图6B所示,可以将曝光期间缩短到1/m,将A0期间/m、A1期间/m和BG期间/m的集重复m次。在这种情况下,由于测定距离运算中使用的三个曝光信号A0、A1、BG的时间差被缩短为1/m,所以具有即使对象物体运动也能够准确地进行测定距离运算的效果。
另外,曝光信号A0、A1中包含BG,减去BG后的成分成为照射光的真正的信号量。
另外,运算部5通过测定距离D=(A1-BG)/[(A0-BG)+(A1-BG)]来输出每个像素的测定距离D。
另外,帧合成部6设为测定距离D的阈值T=0.3左右,按每个像素,在帧B的测定距离<阈值T时,对帧A的测定距离乘以特定的系数(例如La=1500mm左右),作为距离图像输出。
另外,在帧B的测定距离≥阈值T时,对帧B的测定距离乘以特定的系数(例如Lb=4500mm左右),作为距离图像输出。
另外,根据帧A的测定距离乘以特定的系数La的结果与帧B的测定距离乘以特定的系数Lb的结果之差,作为多通路检测信号输出。
图7详细示出了图6A及图6B的发光控制信号和曝光控制信号在帧A的A0期间、A1期间和BG期间的输出的一部分。
曝光控制信号相对于发光控制信号以3图案的相位关系,输出曝光控制信号A0e、A1e、BGe。在A0期间、A1期间,对于一个发光控制信号输出两个曝光控制信号。BG期间的发光控制信号始终为L(无发光)。
与现有的测距摄像装置的驱动方法的较大不同之处在于,与实施方式1同样,曝光控制信号A0e、A1e、BGe分别由两发连续的曝光控制脉冲(A0e0和A0e1、A1e0和A1e1、BGe0和BGe1)构成。
接着,图8分别详细地示出了图6A及图6B的发光控制信号和曝光控制信号的帧B的bA0期间、bA1期间、bBG期间的输出的一部分。图8对应于第二动作模式。
图8所示的曝光控制信号,相对于发光控制信号以3图案的相位关系输出曝光控制信号bA0e、bA1e、bBGe0。在bA0期间、bA1期间,对于一个发光控制脉冲输出一个曝光控制脉冲。BG期间的发光控制信号始终为L(无发光)。
接着,详细说明多通路的检测。
图9A及图9B示出了在光源部1与对象物体之间存在反射物体,不仅直接反射光,间接反射光也照射到摄像部2,产生多通路问题的情况,是分别对帧A和帧B示意性示出来自对象物体的直接反射光脉冲DP和bDP、反射光脉冲MP和bMP和A0e、A1e、bA0e、bA1e曝光控制信号的时间关系以及实际距离与测定距离D的关系的图。图中的距离DDP表示仅用直接反射光测定的情况下的对象物的实际的距离例。距离D1MP表示在直接反射光和间接反射光混合存在的情况下,在本实施方式的帧A中测定的距离例。距离DMP表示在直接反射光和间接反射光混合存在的情况下通过现有技术测定的距离例。距离D2MP表示在直接反射光和间接反射光混合存在的情况下,在本实施方式的帧B中测定的距离例。
来自光源部1的照射光脉冲被分成直接被对象物体反射的直接反射光DP和bDP、以及经由周围的反射物体被对象物体反射的间接反射光MP和bMP,并入射到摄像部2。此时,间接反射光MP和bMP相对于直接反射光DP和bDP往返的光路长度长,相应地飞行时间变长,并且由于多次散射反射,光强度降低。
在图9A中,对于帧A的反射光脉冲DP和MP,摄像部2与实施方式1同样,在曝光控制信号A0e的第一脉冲A0e0为L时测量由直接反射光DP引起的曝光信号A0DP,在曝光控制信号A0e的第二脉冲A0e1为L时,测量由间接反射光MP引起的曝光信号A0MP。此外,在曝光控制信号A1e的第一脉冲A1e0为L时将由直接反射光DP引起的曝光信号A1DP和由间接反射光MP引起的曝光信号A1MP合起来测量。
另外,这里A0DP、A0MP、A1DP、A1MP都是减去BG后的真正的曝光信号。基于这些曝光信号,通过(A1DP+A1MP)/[(A0DP+A0MP)+(A1DP+A1MP)],输出多通路存在的情况下的每个像素的测定距离D1MP。
在图9B中,对于帧B中的反射光脉冲bDP、bMP,摄像部2在曝光控制信号bA0e为L时测量由直接反射光bDP引起的曝光信号bA0DP和由间接反射光bMP引起的曝光信号bA0MP。此外,在曝光控制信号bA1e为L时将由直接反射光DP引起的曝光信号bA1DP和由间接反射光bMP引起的曝光信号bA1MP合起来测量。
另外,这里bA0DP、bA0MP、bA1DP、bA1MP都是减去BG后的真正的曝光信号。基于这些曝光信号,通过(bA1DP+bA1MP)/[(bA0DP+bA0MP)+(bA1DP+bA1MP)],输出多通路存在的情况下的每个像素的测定距离D2MP。根据帧A和帧B各自的实际距离与测定距离D的关系,在实际距离的下限值为0m左右到实测值的上限值为1.5m左右的范围中,两帧的测定距离D均相对于实际距离单调增加,与此相对,在实际距离的下限值为1.5m左右到3m左右的范围中,帧B的测定距离D相对于实际距离单调增加,与此相对,帧A的测定距离D单调减少。
在此,在实际距离的下限值为0m左右到实测值的上限值为1.5m左右的范围中存在对象物体,且由多通路引起的间接反射光MP和bMP通过1.5m左右以上(即,实测值的上限值左右以上)的路径在各个帧中入射到摄像部2的情况下,帧B的测定距离D2MP被输出得更大,帧A的测定距离D1MP被输出得比帧B的测定距离D2MP小。
通过从帧B的测定距离D2MP减去帧A的测定距离D1MP,能够检测多通路成分。即,(D2MP-D1MP)越大,越能够检测出发生了大的多通路。
如上所述,根据实施方式2的测距摄像装置10,在实际距离的下限值为0m左右到实测值的上限值为1.5m左右的范围内存在对象物体,且由多通路引起的间接反射光MP和bMP通过1.5m左右以上(即,实测值的上限值左右以上)的路径在帧A和帧B中分别进入的情况下,可以检测在每个像素中混入的多通路成分的大小。另外,在实施方式2的测距方法中,在帧A中,与实施方式1同样地,将由间接反射光MP引起的曝光信号A1MP与由直接反射光DP引起的曝光信号A1DP相加,同时将由间接反射光MP引起的曝光信号A0MP与由直接反射光DP引起的曝光信号A0DP相加。通过将该曝光信号A0MP与A0DP相加,测定距离D1MP的分母变大,观测到的距离比现有例的测定距离DMP更近,能够降低在多通路中在远方观测对象物体的现有例的测距方式的误差。
进而,通过对图9A所示的帧A的由测距驱动所生成的测定距离、和图9B或图9C的由测距驱动所生成的测定距离进行合成,即使在1.5m左右以上的距离的情况下,也可以在抑制由多通路引起的距离误差的同时进行距离测定。即,在图9A所示的帧A中,在实际距离0~1.5m左右(短距离范围),D1MP从0→1单纯地增加,在实际距离1.5m左右~3.0m左右(中距离范围),D1MP从1→0单纯地减少,并且在实际距离3.0m左右~4.5m左右(远距离范围),D1MP再次从0→1单纯地减少。仅根据从帧A得到的测定距离D1MP,无法判断对象物体的实际距离处于短、中、长距离中的哪一个该范围(与实施方式1中的课题相同)。但是,在帧B中,通过组合图9B及图9C所示的由测距驱动得到的到对象物体为止的测定距离D,能够区分对象物体存在于帧A的短、中、长距离的哪个范围,在能够与实施方式1同样地抑制多通路导致的距离偏差的同时,能够大幅扩大测距范围。
另外,在实施方式2中,输出帧A和帧B这两种帧识别信号,但也可以输出三种以上的帧识别信号。
另外,在实施方式2中,设置为阈值T=0.3左右、特定的系数(La=1500左右)、特定的系数(Lb=4500左右),但这些数值可以任意设定。
另外,帧合成部6也可以将帧A的测定距离乘以特定的系数La的结果与帧B的测定距离乘以特定的系数Lb的结果进行平均,并将平均后的结果作为距离图像输出。
此外,也可以根据测定距离来变更帧A的测定距离乘以特定的系数La的结果与帧B的测定距离乘以特定的系数Lb的结果的平均的比率,并作为距离图像输出。
另外,如图10所示,也可以使用在帧A以外的帧中仅变更了帧A的发光控制信号和曝光控制信号的相位差的信号。在该情况下,通过变更相位差,能够使可测距的最短距离和最长距离滑动。
另外,如图11所示,对于帧A的一个发光控制脉冲,也可以混合存在两个曝光控制脉冲(A0e0和A0e1、A1e0和A1e1、BGe0和BGe1)和一个曝光控制脉冲(A0e1、A1e1、BGe1)。在这种情况下,由于包含更多多通路信息的曝光控制脉冲A0e1、A1e1、BGe1的曝光次数增多,所以能够更高精度地取得多通路信息。
另外,如图12所示,对于帧A的一个发光控制脉冲,也可以有两种曝光控制脉冲(A0e0和A0e1、A1e0和A1e1、BGe0和BGe1)。在该情况下,对一个发光控制脉冲施加一个曝光控制脉冲即可,生成曝光控制脉冲的驱动控制部3的负荷降低,能够供给更陡峭的曝光控制脉冲,可以使测距精度提高。
此外,如图13A所示,帧识别信号可以不以帧为单位切换,而是以奇数像素和偶数像素等像素单位、或者如图13B所示以奇数行和偶数行等行单位来切换。
此外,如图14所示,可以通过曝光控制信号A0e、A1e和A2e分别生成曝光信号A0、A1和A2,并通过将A2加到A0来计算测定距离D。
此外,如图15所示,可以通过根据曝光控制信号A0e、A1e、A2e和A3e分别生成曝光信号A0、A1、A2和A3,并将A2加到A0、将A3加到A1来计算测定距离D。
此外,图9B也可以如图9C所示,缩小帧B的发光控制信号和曝光控制信号的脉冲宽度,使曝光控制脉冲延迟,进行帧A的短距离范围、中距离范围、长距离范围的区域判定。
另外,图6A或图6B中的k可以是与n相同的值,也可以是不同的值。此外,图6B中的帧A中的m和帧B中的m可以是相同的值,也可以是不同的值。
如以上使用附图所说明,实施方式的测距摄像装置10是通过照射脉冲光并接收来自对象物体的反射光来测定到对象物的距离的测距摄像装置,具备:驱动控制部,输出包含指示发光的发光控制脉冲的发光控制信号和包含指示曝光的曝光控制脉冲的曝光控制信号;光源部,在所述发光控制脉冲的定时进行所述脉冲光的照射;摄像部,将来自被照射了所述脉冲光的对象物体的反射光在所述曝光控制脉冲的定时进行曝光,并输出表示通过曝光产生的信号电荷量的曝光信号;以及运算部,将所述曝光信号作为输入来进行距离运算,并输出距离图像,所述驱动控制部生成曝光控制信号,所述曝光控制信号包含以所述发光控制脉冲的定时为基准的第一曝光控制脉冲、第二曝光控制脉冲以及第三曝光控制脉冲,所述第三曝光控制脉冲与所述发光控制脉冲的时间差比所述第二曝光控制脉冲与所述发光控制脉冲的时间差大,所述第二曝光控制脉冲与所述发光控制脉冲的时间差比所述第一曝光控制脉冲与所述发光控制脉冲的时间差大,所述摄像部输出表示通过由所述第一曝光控制脉冲引起的曝光而产生的信号电荷量的第一曝光信号、表示通过由所述第二曝光控制脉冲引起的曝光而产生的信号电荷量的第二曝光信号、以及表示通过由所述第三曝光控制脉冲引起的曝光而产生的信号电荷量的第三曝光信号。
由此,在预定的测距范围内,可以第一曝光信号和第二曝光信号主要包含对应于直接反射光的信号电荷,第三曝光信号主要包含对应于间接反射光的信号电荷。因此,测距摄像装置如果不仅使用第一曝光信号以及第二曝光信号还使用第三曝光信号来计算距离,则能够降低多通路环境中的测距精度的劣化。
例如,也可以是,所述运算部基于所述第二曝光信号的信号电荷量相对于所述第一曝光信号、所述第二曝光信号以及第三曝光信号各自的信号电荷量的合计的比率,来输出距离信息。
由此,能够基于上述相对于上述的合计的比率,容易地计算降低了测距精度的劣化的距离信息。
例如,也可以是,所述驱动控制部使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成。
由此,通过对一次的发光进行两次曝光,能够得到第一曝光信号和第三曝光信号。此时,在第三曝光信号中可取得间接反射光的信号电荷。
例如,也可以是,所述驱动控制部使所述第一曝光控制脉冲与一个所述发光控制脉冲对应生成,使所述第二曝光控制脉冲与一个所述发光控制脉冲对应生成,使所述第三曝光控制脉冲与一个所述发光控制脉冲对应生成。
由此,通过对一次的发光进行一次曝光,能够得到第一曝光信号。同样地,通过对一次的发光进行一次曝光,能够得到第二曝光信号。此外,通过对一次的发光进行一次曝光,能够得到第三曝光信号。这样,通过对一次的发光进行一次曝光的简单控制,能够得到第一曝光信号、第二曝光信号以及第三曝光信号。第三曝光信号主要包含与间接反射光对应的信号电荷,因此能够降低多通路环境中的测距精度的劣化。
例如,也可以是,所述曝光控制信号包含第四曝光控制脉冲,所述第四曝光控制脉冲与所述发光控制脉冲的时间差比所述第三曝光控制脉冲与所述发光控制脉冲的时间差大,所述驱动控制部使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成,使所述第二曝光控制脉冲以及所述第四曝光控制脉冲与共同的一个所述发光控制脉冲对应生成。
由此,通过对一次的发光进行两次曝光,能够得到第一曝光信号和第三曝光信号。同样地,通过对一次的发光进行两次曝光,能够得到第二曝光信号和第四曝光信号。在得到第一曝光信号和第三曝光信号的动作和得到第二曝光信号和第四曝光信号的动作中使用1发光2曝光这样的同样的控制序列。因此,在上述的两个动作中,例如电源电压的变动等不产生显著的差异,因此能够进一步降低测距精度的劣化。
例如,也可以是,所述运算部基于第二合计相对于第一合计的比率来输出所述距离信息,所述第一合计为所述第一曝光信号、所述第二曝光信号、第三曝光信号以及第四曝光信号各自的信号电荷量相加所得,所述第二合计为所述第二曝光信号以及所述第四曝光信号各自的信号电荷量相加所得。
由此,使用所述第一曝光信号、所述第二曝光信号、第三曝光信号和第四曝光信号,能够得到降低了测距精度的劣化的距离信息。
例如,也可以是,所述运算部基于所述第二曝光信号的信号电荷量相对于所述第一曝光信号、所述第二曝光信号、第三曝光信号以及第四曝光信号各自的信号电荷量相加所得的合计的比率,来输出所述距离信息。
由此,能够使用第二曝光信号的信号电荷量来代替第二合计,所述第二合计是将所述第二曝光信号和第四曝光信号各自的信号电荷量相加而得到的。由此,也能够得到降低了测距精度的劣化的距离信息。
例如,也可以是,所述驱动控制部在输入指定包含第一动作模式和第二动作模式的多个动作模式中的某一个的识别信号,并且在所述识别信号指定所述第一动作模式时,控制基于第一动作的距离测定,所述第一动作使用包含从所述第一曝光控制脉冲到所述第三曝光控制脉冲的所述曝光控制信号,在所述识别信号指定所述第二动作模式时,控制基于不同于所述第一动作的第二动作的距离测定。
由此,由于分别在第一动作模式以及第二动作模式下进行距离测定,因此能够选择测定误差更小的距离信息。
例如,也可以是,所述距离图像生成部基于在所述第一动作中得到的第一距离信息和在所述第二动作中得到的第二距离信息,生成表示有无多通路的多通路检测信号,进一步地,基于所述第一距离信息与所述第二距离信息之差,输出表示所述第一距离信息或所述第二距离信息中包含的误差的大小的所述多通路检测信号。
由此,可以检测有无多通路和检测多通路引起的误差的大小。
例如,也可以是,所述距离图像生成部基于在所述第一动作中得到的第一距离信息和在所述第二动作中得到的第二距离信息,生成表示有无多通路的多通路检测信号。
由此,可以检测有无多通路。
例如,也可以是,所述距离图像生成部基于所述第一距离信息与所述第二距离信息之差,输出表示所述第一距离信息或所述第二距离信息中包含的误差的大小的所述多通路检测信号。
由此,可以检测多通路引起的误差的大小。
例如,也可以是,所述驱动控制部在所述第二动作模式中,生成包含第一脉冲以及第二脉冲作为所述曝光控制脉冲的所述曝光控制信号,所述第二脉冲和所述发光控制脉冲的时间差比所述第一脉冲和所述发光控制脉冲的时间差大。
由此,第二动作模式例如也可以用与现有相同的测距动作。
例如,也可以是,所述摄像部输出在先曝光信号和在后曝光信号,所述在先曝光信号表示通过由所述第一脉冲引起的曝光而产生的信号电荷量,所述在后曝光信号表示通过由所述第二脉冲引起的曝光而产生的信号电荷量。
由此,在第二动作模式中,可以根据在先曝光信号和在后曝光信号计算距离。
例如,也可以是,所述运算部基于所述在后曝光信号的信号电荷量相对于所述在先曝光信号和所述在后曝光信号各自的信号电荷量的合计的比率,来输出所述距离信息。
由此,在第二动作模式中,基于上述的比率计算距离信息。通过组合第二动作模式和第一动作模式,能够导出降低了测距精度的劣化的距离信息。
例如,也可以是,所述距离图像生成部基于在所述第一动作中得到的第一距离信息所示的距离值和在所述第二动作中得到的第二距离信息所示的距离值的相加,来生成所述距离图像。
由此,也可以根据第一距离信息与第二距离信息的相加值计算平均。
例如,也可以是,所述驱动控制部多次重复地执行所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的曝光处理,使得在所述多次中的规定次数的曝光处理中,去除所述第一曝光控制脉冲或所述第三曝光控制脉冲。
由此,在多次重复对一次的发光进行两次曝光的动作中以规定次数的动作将例如第一曝光控制脉冲去除的情况下,间接反射光能够被更多地曝光,因此能够提高检测多通路的精度。
例如,也可以是,所述驱动控制部多次重复执行使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的第一曝光处理,多次重复执行使所述第二曝光控制脉冲以及所述第四曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的第二曝光处理,使得在所述多次中的规定次数的对应的第一曝光处理以及第二曝光处理中,将所述第一曝光控制脉冲和所述第二曝光控制脉冲,或所述第三曝光控制脉冲和所述第四曝光控制脉冲去除。
由此,在多次重复对一次的发光进行两次曝光的动作中以规定次数的动作将例如第一曝光控制脉冲或第二曝光控制脉冲去除的情况下,生成曝光控制脉冲的驱动控制部3的负荷降低,能够供给更陡峭的曝光控制脉冲,可以使测距精度提高。
例如,也可以是,所述驱动控制部生成所述发光控制信号,使得与发光脉冲周期对应的占空比为33%以下。
由此,能够使脉冲光相对于背景光为高强度,能够使作为测距性能的耐光性提高。
例如,也可以是,所述运算部使用TOF原理运算并输出所述距离信息。
由此,输出基于TOF原理的距离信息。
工业上的可利用性
本公开的测距摄像装置可利用于例如相机。
附图标记说明
1 光源部
2 摄像部
3 驱动控制部
4 帧控制部
5 运算部(TOF运算部)
6 帧合成部(距离图像生成部)
10 测距摄像装置

Claims (19)

1.一种测距摄像装置,通过照射脉冲光并接收来自对象物体的反射光来测定到对象物的距离,其中,具备:
驱动控制部,输出包含指示发光的发光控制脉冲的发光控制信号和包含指示曝光的曝光控制脉冲的曝光控制信号;
光源部,在所述发光控制脉冲的定时进行所述脉冲光的照射;
摄像部,将来自被照射了所述脉冲光的对象物体的反射光在所述曝光控制脉冲的定时进行曝光,并输出表示通过曝光产生的信号电荷量的曝光信号;以及
运算部,将所述曝光信号作为输入来进行距离运算,并输出距离图像,
所述驱动控制部生成曝光控制信号,所述曝光控制信号包含以所述发光控制脉冲的定时为基准的第一曝光控制脉冲、第二曝光控制脉冲以及第三曝光控制脉冲,
所述第三曝光控制脉冲与所述发光控制脉冲的时间差比所述第二曝光控制脉冲与所述发光控制脉冲的时间差大,
所述第二曝光控制脉冲与所述发光控制脉冲的时间差比所述第一曝光控制脉冲与所述发光控制脉冲的时间差大,
所述摄像部输出表示通过由所述第一曝光控制脉冲引起的曝光而产生的信号电荷量的第一曝光信号、表示通过由所述第二曝光控制脉冲引起的曝光而产生的信号电荷量的第二曝光信号、以及表示通过由所述第三曝光控制脉冲引起的曝光而产生的信号电荷量的第三曝光信号。
2.根据权利要求1所述的测距摄像装置,其中,
所述运算部基于所述第二曝光信号的信号电荷量相对于所述第一曝光信号、所述第二曝光信号以及所述第三曝光信号各自的信号电荷量的合计的比率,来输出距离信息。
3.根据权利要求2所述的测距摄像装置,其中,
所述驱动控制部使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成。
4.根据权利要求2所述的测距摄像装置,其中,
所述驱动控制部,
使所述第一曝光控制脉冲与一个所述发光控制脉冲对应生成,
使所述第二曝光控制脉冲与一个所述发光控制脉冲对应生成,
使所述第三曝光控制脉冲与一个所述发光控制脉冲对应生成。
5.根据权利要求1所述的测距摄像装置,其中,
所述曝光控制信号包含第四曝光控制脉冲,
所述第四曝光控制脉冲与所述发光控制脉冲的时间差比所述第三曝光控制脉冲与所述发光控制脉冲的时间差大,
所述驱动控制部,
使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成,
使所述第二曝光控制脉冲以及所述第四曝光控制脉冲与共同的一个所述发光控制脉冲对应生成。
6.根据权利要求5所述的测距摄像装置,其中,
所述运算部基于第二合计相对于第一合计的比率来输出所述距离信息,所述第一合计为所述第一曝光信号、所述第二曝光信号、所述第三曝光信号以及第四曝光信号各自的信号电荷量相加所得,所述第二合计为所述第二曝光信号以及所述第四曝光信号各自的信号电荷量相加所得。
7.根据权利要求5所述的测距摄像装置,其中,
所述运算部基于所述第二曝光信号的信号电荷量相对于所述第一曝光信号、所述第二曝光信号、所述第三曝光信号以及第四曝光信号各自的信号电荷量相加所得的合计的比率,来输出所述距离信息。
8.根据权利要求1至7中任一项所述的测距摄像装置,其中,
所述驱动控制部在输入指定包含第一动作模式和第二动作模式的多个动作模式中的某一个的识别信号,并且所述识别信号指定所述第一动作模式时,控制基于第一动作的距离测定,所述第一动作使用包含从所述第一曝光控制脉冲到所述第三曝光控制脉冲的所述曝光控制信号,
在所述识别信号指定所述第二动作模式时,控制基于不同于所述第一动作的第二动作的距离测定。
9.根据权利要求8所述的测距摄像装置,其中,
所述距离图像生成部基于在所述第一动作中得到的第一距离信息和在所述第二动作中得到的第二距离信息,生成表示有无多通路的多通路检测信号,
进一步地,
基于所述第一距离信息与所述第二距离信息之差,输出表示所述第一距离信息或所述第二距离信息中包含的误差的大小的所述多通路检测信号。
10.根据权利要求8所述的测距摄像装置,其中,
所述距离图像生成部基于在所述第一动作中得到的第一距离信息和在所述第二动作中得到的第二距离信息,生成表示有无多通路的多通路检测信号。
11.根据权利要求8所述的测距摄像装置,其中,
所述距离图像生成部基于所述第一距离信息与所述第二距离信息之差,输出表示所述第一距离信息或所述第二距离信息中包含的误差的大小的多通路检测信号。
12.根据权利要求8至11中任一项所述的测距摄像装置,其中,
所述驱动控制部在所述第二动作模式中,生成包含第一脉冲以及第二脉冲作为所述曝光控制脉冲的所述曝光控制信号,
所述第二脉冲与所述发光控制脉冲的时间差比所述第一脉冲与所述发光控制脉冲的时间差大。
13.根据权利要求12所述的测距摄像装置,其中,
所述摄像部输出在先曝光信号和在后曝光信号,所述在先曝光信号表示通过由所述第一脉冲引起的曝光而产生的信号电荷量,所述在后曝光信号表示通过由所述第二脉冲引起的曝光而产生的信号电荷量。
14.根据权利要求13所述的测距摄像装置,其中,
所述运算部基于所述在后曝光信号的信号电荷量相对于所述在先曝光信号和所述在后曝光信号各自的信号电荷量的合计的比率,来输出所述距离信息。
15.根据权利要求8所述的测距摄像装置,其中,
所述距离图像生成部基于在所述第一动作中得到的第一距离信息所示的距离值与在所述第二动作中得到的第二距离信息所示的距离值的相加,来生成所述距离图像。
16.根据权利要求3或5所述的测距摄像装置,其中,
所述驱动控制部多次重复地执行使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的曝光处理,
在所述多次之中的规定次数的曝光处理中,去除所述第一曝光控制脉冲或所述第三曝光控制脉冲。
17.根据权利要求3或5所述的测距摄像装置,其中,
所述驱动控制部多次重复执行使所述第一曝光控制脉冲以及所述第三曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的第一曝光处理,
多次重复执行使所述第二曝光控制脉冲以及所述第四曝光控制脉冲与共同的一个所述发光控制脉冲对应生成的第二曝光处理,
在所述多次之中的规定次数的对应的第一曝光处理以及第二曝光处理中,将所述第一曝光控制脉冲和第二曝光控制脉冲,或所述第三曝光控制脉冲和所述第四曝光控制脉冲去除。
18.根据权利要求1至17中任一项所述的测距摄像装置,其中,
所述驱动控制部生成所述发光控制信号,使得与发光脉冲周期对应的占空比为33%以下。
19.根据权利要求1至18中任一项所述的测距摄像装置,其中,
所述运算部使用TOF原理运算并输出所述距离信息。
CN202080081588.1A 2019-11-27 2020-11-26 测距摄像装置 Pending CN115176174A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962941436P 2019-11-27 2019-11-27
US62/941,436 2019-11-27
PCT/JP2020/044071 WO2021107036A1 (ja) 2019-11-27 2020-11-26 測距撮像装置

Publications (1)

Publication Number Publication Date
CN115176174A true CN115176174A (zh) 2022-10-11

Family

ID=76129593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080081588.1A Pending CN115176174A (zh) 2019-11-27 2020-11-26 测距摄像装置

Country Status (4)

Country Link
US (1) US20220276358A1 (zh)
JP (1) JPWO2021107036A1 (zh)
CN (1) CN115176174A (zh)
WO (1) WO2021107036A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009739A1 (ja) * 2022-07-08 2024-01-11 ソニーグループ株式会社 光学式測距センサ、及び光学式測距システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107852470B (zh) * 2015-08-04 2020-11-03 松下半导体解决方案株式会社 固体摄像装置的驱动方法
US11307296B2 (en) * 2016-02-08 2022-04-19 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
CN109073754B (zh) * 2016-04-19 2022-07-01 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
CN111971578A (zh) * 2018-03-29 2020-11-20 松下半导体解决方案株式会社 距离信息取得装置、多路径检测装置及多路径检测方法
JP7154924B2 (ja) * 2018-10-03 2022-10-18 株式会社日立エルジーデータストレージ 測距撮像装置

Also Published As

Publication number Publication date
WO2021107036A1 (ja) 2021-06-03
JPWO2021107036A1 (zh) 2021-06-03
US20220276358A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP6701199B2 (ja) 測距撮像装置
JPWO2017130996A1 (ja) 距離測定装置
US10578741B2 (en) Distance detection device and distance detection method
WO2019188348A1 (ja) 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
JP6805504B2 (ja) 距離測定装置、移動体装置及び距離測定方法
JP6340852B2 (ja) 距離測定装置、移動体及び距離測定方法
JPWO2017061104A1 (ja) 撮像装置、およびそれに用いられる固体撮像素子
JP2017167120A (ja) 距離測定装置、移動体、ロボット、装置及び3次元計測方法
WO2020145035A1 (ja) 距離測定装置及び距離測定方法
JP2012501435A (ja) 深さ映像獲得装置および方法
KR102367123B1 (ko) 티오에프 방식의 거리 측정 장치에서 제어 방법
JP2020056698A (ja) 測距撮像装置
KR20210033545A (ko) 명확한 범위 토글링에 의해 비행 시간 시스템의 범위를 증가시키기 위한 방법 및 시스템
GB2275841A (en) Optoelectric distance measuring equipment
CN115176174A (zh) 测距摄像装置
CN109565553B (zh) 投光摄像装置及投光摄像方法
KR950019772A (ko) 위상 변화를 이용한 광학식 거리 측정 장치 및 그 방법
US11585936B2 (en) Range imaging camera and range imaging method
JP5216673B2 (ja) 距離計用受光装置および距離計
JPWO2021107036A5 (zh)
JP7257275B2 (ja) 3次元距離測定装置
EP3835720B1 (en) Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
CN115236633A (zh) 测距系统
JP7367339B2 (ja) 光測距装置およびその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination