CN113039456A - 投光控制设备及投光控制方法 - Google Patents
投光控制设备及投光控制方法 Download PDFInfo
- Publication number
- CN113039456A CN113039456A CN201980072260.0A CN201980072260A CN113039456A CN 113039456 A CN113039456 A CN 113039456A CN 201980072260 A CN201980072260 A CN 201980072260A CN 113039456 A CN113039456 A CN 113039456A
- Authority
- CN
- China
- Prior art keywords
- light
- light projection
- detection
- projection
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 70
- 238000001514 detection method Methods 0.000 claims abstract description 291
- 238000005259 measurement Methods 0.000 claims description 134
- 230000008859 change Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 20
- 230000009467 reduction Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 238000009825 accumulation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008685 targeting Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4868—Controlling received signal intensity or exposure of sensor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种光学距离测量系统,且其目的是通过提高与发光有关的功耗效率来实现功耗的降低。根据本技术的投光控制设备设置有:光接收单元,设置有多个光接收元件,多个光接收元件接收由光投射单元投射的光的反射光;对象检测单元,在距离可测量范围内执行对象检测,该范围是光接收单元能够接收反射光的范围;以及控制单元,根据对象检测单元是否检测到对象,进行控制以使从发光单元发出的光量不同,且如果对象检测单元已经检测到对象,使发光单元的发光模式在对象检测区域和非检测区域之间不同。
Description
技术领域
本发明涉及一种光学距离测量系统中的投光控制技术,该系统基于通过接收投射光的反射光而获取的光接收信号来获取距离图像,特别地,涉及一种基于对象检测结果进行投光控制的技术。
背景技术
作为用于进行对象的距离测量的技术,已知诸如结构光(STL)方法和飞行时间(ToF)方法的距离测量技术。应用了这种距离测量技术的光学距离测量系统包括:光投射部,投射光;以及光接收部,接收由光投射部投射的光的反射光,并配备有多个光接收元件,并配置为基于由光接收部获取的光接收信号来获取目标对象的距离图像(表示三维形状的图像)。
关于上述光学距离测量系统,在专利文献1中公开了一种技术,其根据距离测量目标中有/无对象(目标对象),控制由光投射部提供的光投射量。具体地,在上述专利文献1中公开了以如下方式控制光投射量的技术:在存在目标对象的情况下,将光投射部的光投射量设置为第一光量,并且在没有目标对象的情况下,将光投射部的光投射量设置为小于第一光量的第二光量。
引文清单
专利文件
专利文献1:日本特开2015-175712号公报
发明内容
本发明要解决的问题
在此,也可以将应用了上述ToF法等的光学距离测量系统安装在智能手机、平板终端等移动设备中,且希望降低功耗。
鉴于上述情况,设计了本技术,并且本发明的目的是通过使光学距离测量系统的光投射所需的功耗有效来降低功耗。
问题解决方案
根据本技术的投光控制设备包括:光接收部,设置有接收由光投射部投射的光的反射光的多个光接收元件;对象检测部,在距离可测量范围内进行目标的对象检测,所述距离可测量范围是所述光接收部能够操作以接收所述反射光的范围;以及控制部,执行以下控制:根据由所述对象检测部执行的有检测到/未检测到对象而使由所述光投射部提供的光投射量不同,并且在所述对象检测部检测到对象的情况下,在所述对象的检测区域和非检测区域之间使所述光投射部的投射模式不同。
如上所述,通过根据有检测到/未检测到对象而使光投射量不同,当未检测到作为距离测量目标的对象时,可以减小光投射量,从而设计防止不必要的功耗。另外,通过在检测到对象的情况下使非检测区域和检测区域之间的投射模式不同,可以使非检测区域中的光投射量(还包括每单位时间的光投射量)小于检测区域中的光投射量,因此可以减少进行检测对象的距离测量时的功耗。
在根据上述本技术的投光控制设备中,期望控制部执行以下控制:在对象检测状态下,使针对非检测区域的光投射频率低于针对检测区域的光投射频率。
利用这种布置,可以减少在对象非检测状态下消耗的功率以及在执行被检测对象的距离测量时所消耗的功率。另外,由于可以基于由光接收部获取的关于非检测区域的光接收信号来执行距离测量,因此可以检测到新出现在距离可测量范围内的对象,而无需单独提供用于对象检测的成像部。
在根据上述本技术的投光控制设备中,期望控制部执行以下控制:在对象检测状态下,使针对非检测区域的光投射功率低于针对检测区域的光投射功率。
利用这种布置,可以减少在对象非检测状态下消耗的功率以及还有在执行被检测对象的距离测量时所消耗的功率。另外,由于可以基于低功率并投射到非检测区域的光的反射光来执行距离测量,因此可以执行新出现在距离可测量范围内的对象的检测,而无需单独提供用于对象检测的成像部。
在根据上述本技术的投光控制设备中,期望的是,在对象检测状态下,控制部控制光投射部不向非检测区域投射光。
利用这种布置,可以最小化在执行被检测对象的距离测量时所消耗的功率。
在根据上述本技术的投光控制设备中,期望的是,在对象非检测状态下,控制部控制光投射部以比在对象检测状态下向检测区域投射的光的光投射量小的光投射量投射光。
利用这种布置,在对象非检测状态下,可以设计出通过降低光投射量来减少功耗,并且根据基于投射光的反射光获取的距离图像,可以执行对象检测。换句话说,不需要单独提供用于对象检测的成像部以使得能够在对象非检测状态下进行对象检测。
在根据上述本技术的投光控制设备中,期望控制部根据对象的移动来改变由光投射部执行的光投射的范围。
通过这种布置,在对象移动的情况下,可以防止对象的一部分没有投射到光且不能进行距离测量。
在根据上述本技术的投光控制设备中,在由对象检测部检测到的动态对象的检测区域与非检测区域之间,期望控制部使光投射部的投射模式不同。
通过这种布置,相对于距离测量的目标是动态对象的情况,可以降低用于静态对象的光投射量。
在根据上述本技术的投光控制设备中,期望光接收部被配置为可操作以在第一光接收模式(和第二光接收模式之间切换,并且在对象非检测状态下,控制部使光接收部以第二光接收模式操作,第一光接收模式用于距离测量的光接收模式,第二光接收模式用于红外图像获取的光接收模式。
通过这种布置,在对象非检测状态下不需要执行对象检测就可以进行光投射。另外,不需要单独设置用于对象检测的成像部以在不进行光投射的状态下能够进行对象检测。
在根据上述本技术的投光控制设备中,期望的是,还包括不必要区域设置部,在距离可测量范围内设置距离测量不必要区域,并且无论对象检测部是否有检测到/未检测到对象,控制部控制光投射部都不对距离测量不必要区域投射光。
通过这种布置,光不会投射到不必要距离测量的区域。
在根据上述本技术的投光控制设备中,期望的是,不必要区域设置部基于由光接收部获取的光接收信号来设置距离测量不必要区域。
通过使用光接收信号,可以检测到被估计未不需要进行距离测量的区域,例如在光未到达物理对象的距离处存在物理对象的区域(即,距离基本上不可测量的区域),且不需要手动设置距离测量不必要区域。
在根据上述本技术的投光控制设备中,期望的是,光接收部被配置为可操作以接收多个光投射部投射到距离可测量范围内的各个不同区域的光的反射光。
通过使用多个光投射部,可以使各个光投射部将整个广角距离可测量范围共享为光投射范围。
另外,根据本技术的投光控制方法包括:对象检测步骤,在所述对象检测步骤中在距离可测量范围内进行目标的对象检测,所述距离可测量范围是设置有多个光接收元件的所述光接收部能够操作以接收所述反射光的范围,所述光接收元件接收由光投射部投射的光的反射光;以及控制步骤,在所述控制步骤中执行以下控制:根据在所述对象检测步骤中执行的有检测到/未检测到对象而使由所述光投射部提供的光投射量不同,并且在所述对象检测步骤中检测到对象的情况下,在所述对象的检测区域和非检测区域之间使所述光投射部的投射模式不同。
同样通过将投光控制方法用作上述实施方式,可以获取与上述各实施方式的投光控制设备所获取的动作相似的动作。
附图说明
[图1]是示出根据本技术的作为第一实施方式的投光控制设备的配置示例的图。
[图2]是该实施方式中的待机模式和正常模式的说明图。
[图3]是关于ROI重点投光控制的第一示例的说明图。
[图4]是关于ROI重点投光控制的第二示例的说明图。
[图5]以比较方式示出了在第二示例中关于ROI和除了ROI之外的区域中的每一个的光投射功率ON时间段和光投射功率。
[图6]是关于ROI重点投光控制的第三示例的说明图。
[图7]以比较方式示出了在第三示例中关于ROI和除了ROI之外的区域中的每一个的光投射功率ON时间段和光投射功率。
[图8]是关于重点投射范围的跟踪功能的说明图。
[图9]是实施方式中的距离测量不必要区域的说明图。
[图10]是关于视角的扩大与光投射量之间的关系的说明图。
[图11]是示出第一实施方式中的用于在待机模式和重点投光控制之间切换的处理的流程图。
[图12]是示出与第一实施方式中的ROI重点投光控制有关的处理的流程图。
[图13]是实施方式中的动态对象检测的说明图。
[图14]是示出第二实施方式的投光控制设备的结构示例的图。
[图15]是示出第二实施方式中的与ROI重点投光控制有关的处理的流程图。
[图16]是示出第三实施方式的投光控制设备的结构例的图。
[图17]是第三实施方式中的ROI重点投光控制的说明图。
[图18]是实施方式中的投光控制设备的第一应用示例的说明图。
[图19]是实施方式中的投光控制设备的第二应用示例的说明图。
[图20]是关于设置有多个光投射部的结构的说明图。
[图21]是实施方式中的投光控制设备的第三应用示例的说明图。
具体实施方式
在下文中,参考附图,将以以下顺序描述根据本技术的实施方式。
<1.第一实施方式>
[1-1.投光控制设备的配置]
[1-2.作为第一实施方式的投光控制方法]
[1-3.处理步骤]
[1-4.动态对象的检测]
<2.第二实施方式>
<3.第三实施方式>
<4.第四实施方式>
<5.各实施方式的变形示例>
<6.实施方式的总结>
<7.现有技术>
<1.第一实施方式>
[1-1.投光控制设备的配置]
图1示出了作为根据本技术的投光控制设备的一个实施方式的投光控制设备1的配置示例。
如图1所示,投光控制设备1包括光投射部2、光接收部3、距离图像获取部4、距离图像输出部5、对象检测部6、不必要区域检测部7以及控制部8。
光投射部2具有发光部21和光投射光学系统22,并经由光投射光学系统22投射发光部21发出的光。在本实施方式中,发光部21由多个光源构成,并且具有垂直腔表面发射激光器(VCSEL)型发光元件作为光源,并且这些发光元件例如排列为预定状态,例如矩阵状态。VCSEL型发光元件是激光发射元件,其谐振器形成在垂直于半导体的基板表面的方向上,并且被构造成在垂直方向上发射激光。
光接收部3接收由光投射部2投射的光的反射光,即来自目标对象(距离测量的目标对象)的反射光。光接收部3具有飞行时间(ToF)传感器31,其具有接收上述反射光的多个光接收元件和光接收光学系统32,并且,上述反射光由ToF传感器31的光接收元件经由光接收光学系统32接收。
在本实施方式中,作为发光部21的发光元件,光投射部2构成为通过具有发出红外光的发光元件来射出红外光,且光接收部3的ToF传感器31还被配置为可操作来接收红外光。
在本实施方式中,对于ToF传感器31,采用采用间接ToF(iToF)方法作为ToF距离测量方法的配置。
这里,可以通过检测投射到目标对象的光的反射光(包括散射光)的系统来获取与用于距离测量的区域中的距离分布有关的信息。通过测量从光源发出光脉冲的时间到ToF传感器的光接收元件(即光检测单元)接收光脉冲的时间,即通过测量飞行时间,可以获取每个光接收元件(即,每个像素)的每条距离信息。这种距离测量方法称为直接ToF(dToF)方法。
另一方面,通过与光脉冲的发射同步地适当地控制ToF传感器的多个光检测单元的信号电荷的累积定时(换言之,可以称为“曝光”),可以根据到目标对象的距离来改变光检测单元中的信号累积量。这种控制允许基于光检测单元的信号累积量来获取距离分布。这种距离测量方法称为间接ToF方法。
在间接ToF方法中,在关于距离图像以例如大约几十赫兹(Hz)的帧率执行图像获取的前提下,光投射部2以比上述帧速率足够快的周期(例如,大约几十MHz到几百MHz的周期)连续投射光脉冲。在一个帧周期内的预定时间段内连续执行上述光脉冲的连续光投射。
ToF传感器31以与光脉冲的周期同步的周期间歇地执行光接收信号的信号电荷累积,并且获取光脉冲的每个不同相位(例如,零度、90度、180度和270度的每个相位)的每个电荷累积值(电荷积分值)。通过这种布置,对于每个一帧周期,可以对于每个光接收元件获取光脉冲的每个不同相位的每个电荷积分值。
众所周知,在间接ToF方法中,以预定方式计算针对每个光接收元件获取的每个相位的每个电荷积分值,并且可以获取每个像素的距离信息。
距离图像获取部4基于由光接收部3获取的光接收信号来获取距离图像。换句话说,在本实施方式中,通过采用上述间接ToF方法,基于光接收部3中的光接收元件的光接收信号,获取表示每个像素的距离信息的距离图像。
距离图像输出部5将由距离图像获取部4获取的距离图像输出到例如信号处理设备(诸如未示出的计算机设备)其使用该距离图像执行各种处理(例如,对象的分析处理)。
对象检测部6向其输入由距离图像获取部4获取的距离图像,并执行在作为检测目标范围的距离可测量范围Fv内进行的对象检测,该检测目标范围是光接收部3能够接收反射光(由光投射部2投射的光的反射光)的范围。具体而言,本实施方式的对象检测部6基于由距离图像获取部4获取的距离图像,进行在距离可测量范围Fv内进行的对象检测,作为检测目标范围。在本实施方式中,通过采用背景差分技术来进行对象检测。众所周知,在背景差分技术中,通过比较观察图像和先前获取的图像,提取在先前获取的图像中不存在的物理对象。
本实施方式中的对象检测部6将在距离图像内包含检测到的对象的图像区域设定为关注区域(ROI)。在本实施方式中,将表示由对象检测部6获取的对象检测结果的信息,即表示有/无ROI和位置(距离图像内的位置)的信息提供给控制部8。
不必要区域设置部7在距离可测量范围Fv内设定距离测量不必要区域An。
本实施方式中的不必要区域设置部7基于由距离图像获取部4获取的距离图像来设定距离测量不必要区域An。换句话说,根据基于由光接收部3获取的光接收信号的距离测量结果,来设定距离测量不必要区域An。由不必要区域设置部7设定的距离测量不必要区域An的信息被提供给控制部8。
注意,稍后将描述距离测量不必要区域An的细节。
例如,控制部8由具有中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等的微型计算机或诸如数字信号处理器(DSP)的计算机构成,并且控制光投射部2的操作和光接收部3的操作。
特别地,关于光投射部2的操作,根据对象检测部6执行的有检测到/未检测到对象,执行使由光投射部2投射的光投射量的不同的控制。另外,进行如下控制:在对象检测部6检测到对象的情况下,在对象的检测区域和非检测区域之间使光投射部2的投射模式不同。
[1-2.作为第一实施方式的投光控制方法]
以下,参照图2至图9,对作为第一实施方式的,由控制部8实现的投光控制方法进行说明。
首先,参考图2,将描述待机模式和正常模式作为与光投射部2进行的投射有关的模式。
首先,在图2A所示的正常模式下,假设如图2A所示那样定义由光投射部2投射的光的功率(图2A中的“光投射功率”)和光投射的周期(频率)。这里,正常模式下的光投射的周期是与ToF传感器31的正常帧速率相对应的周期。此处的正常帧速率为60fps(每秒帧数)。
这里,图2A中所示的光投射功率的每个ON时间段表示光投射部2执行用于距离测量的光投射的时间段,并且在如本实施方式中那样采用间接ToF方法的情况下,在该ON时间段内进行光脉冲的连续光投射(换句话说,以上述大约几十MHz到几百MHz的频率执行周期性的光投射)。
在图2A所示的正常模式下,以正常帧速率,光投射功率的ON时间段每帧出现一次。在间接ToF方法中,在光投射功率的该ON时间段之后,基于上述每个电荷积分值来计算每个光接收元件(每个像素)的距离信息,并且获取每个帧中每个像素的每个距离信息。
图2B,图2C和图2D分别是待机模式(A),待机模式(B)和待机模式(C)的说明图。
如图2所示,在待机模式(A)下,使光投射功率的ON时段比正常模式下的ON时段长,且换句话说,待机模式(A)是这样的模式,其中,虽然光投射部2进行光投射的频率小于正常模式下的频率,但是使每个ON时间段中的光投射功率与正常模式下的相同。
待机模式(B)是这样的模式,其中,虽然光投射功率的ON时段与正常模式下的相同,但是使每个ON时间段中的光投射功率低于正常模式下的功率。
待机模式(C)是这样的模式,其中,虽然使光投射功率的每个ON时段比正常模式下的周期长,但是使每个ON时间段内的光投射功率比正常模式下的更低,且可以说待机模式(C)是待机模式(A)和待机模式(B)混合的模式。
注意,尽管在图2中,关于待机模式(A)和待机模式(C),示出了待机模式下的光投射功率的ON时段是正常模式下的时段的两倍的示例,但是仅要求在每个待机模式下的ON时段比正常模式下的要长。
根据对象检测部6执行的有检测到/未检测到对象,控制部8将光投射部2的投射模式区分为正常模式和待机模式。具体地,在对象非检测状态下,控制部8控制光投射部2以待机模式(A)、(B)和(C)的任何投射模式进行光投射。通过在待机模式(A)、(B)和(C)的任何投射模式下进行光投射,在对象非检测状态下,光接收部3能够在光投射功率的ON时间段接收用于距离测量的投射光的反射光,并且对象检测部6可以基于距离图像进行对象检测。
这里,原则上,在待机模式(A)、(B)和(C)的任何一个中,进行光投射的范围是距离可测量范围Fv内的整个范围。然而,在设置距离测量不必要区域An的情况下,本实施方式不限于此(其细节将在后面描述)。
在对象检测部6在任一待机模式下检测到对象的情况下,控制部8控制光投射部2以正常模式进行光投射。
这里,尽管关于在检测到作为距离测量目标的对象的情况下的光投射,但是可以以距离可测量范围Fv内的整个范围为目标来执行正常模式下的光投射。为了结合在上述对象非检测状态下的任一待机模式中的低功耗来设计进一步的低功耗,在本实施方式中,关于对象检测状态下的光投射,在对象的检测区域和非检测区域之间使投射模式不同。
具体地,在本实施方式中,在对象检测状态下,在对象的检测区域中进行正常模式下的光投射,而在对象的非检测区域中,在使光投射量小于正常模式下的光投射量的投射模式下进行光投射。
在本实施方式中,对象检测区域是上述ROI,并且因此,如上所述,与非检测区域相比,对象检测区域的光投射量相对增加的控制可以称为重点ROI的光投射的控制(换句话说),并且在此意义上,在下文中,这种控制被称为“ROI重点投光控制”。
图3是关于ROI重点投光控制的第一示例的说明图。
注意,在下面的描述中,将距离测量的对象称为“对象Sb”。
在第一示例中,对作为对象Sb的检测区域的ROI进行正常模式下的光投射,并且对于除ROI之外的区域,即对象Sb的非检测区域,以类似于待机模式(B)(光投射功率的ON时段与正常模式相同,并且使光投射功率比正常模式低)的投射模式进行光投射。如图3所示,在检测到多个对象Sb的情况下,设置多个ROI,并且在这种情况下,对每个ROI进行正常模式下的光投射。
如上所述,在对象检测状态下,通过向对象非检测区域进行光投射,在对象新出现在距离可测量范围Fv内的情况下,对象检测部6可以基于距离图像(距离测量结果)来检测新对象。
在第一示例中,由于针对对象非检测区域的光投射ON时段与针对对象检测区域的光投射ON时段(即,正常帧速率)相同,因此可以防止对象Sb的检测延迟。
图4是关于ROI重点投光控制的第二示例的说明图。
在第二示例中,以与第一示例中类似的方式对对象Sb的检测区域(ROI)执行正常模式下的光投射,并且对于对象Sb的非检测区域,以固定的时间间隔发射闪光。
图5以比较方式示出了在第二示例中关于ROI以及除了ROI之外的区域的每个的光投射功率ON时间段和光投射功率,并且,在第二例中,对于ROI以外的区域,如在上述待机模式(A)中那样,在使光投射功率ON时间段的重复周期长于正常模式的投射模式下进行光投射。
在第二示例中,由于针对对象非检测区域的光投射功率与针对对象检测区域的光投射功率(即,用于正常距离测量的功率)相同,所以用于对象Sb的检测的距离的值的精度提高,并且对象Sb的检测精度提高。
图6是关于ROI重点投光控制的第三示例的说明图。
在第三示例中,以与第二示例中类似的方式,通过与正常模式相同的光投射功率,以一定的时间间隔对对象Sb的非检测区域发射闪光,并且在闪光之间,插入比正常模式功率低的每个光投射ON时间段。
图7以比较的方式示出了在第三示例中关于ROI和除了ROI之外的区域的每个的光投射功率ON时间段和光投射功率,且如上所述,在第三个示例中,尽管对于ROI以外的区域,投射功率ON时间段的重复周期与ROI的相同(即,与正常模式下相同),交替重复光投射功率与正常模式相同的时间段和光投射功率低于正常模式的时间段。
根据第三示例,与不区分对象Sb的检测区域和非检测区域而进行正常模式下的光投射的情况相比,因为关于对象非检测区域,插入了使光投射功率低于正常模式下的光投射功率的部分,可以设计低功耗。
另外,根据第三示例,由于基于距离测量结果的对象检测的周期可以与正常帧速率的周期相同,因此可以防止对象Sb的检测延迟。另外,在发射闪光的时间段中,可以提高对象Sb的检测精度。
在此,对象Sb可以是诸如人的移动对象(动态对象),并且在这种情况下,根据对象Sb的移动,由光投射部2执行的光投射的范围被改变。具体地,改变执行重点光投射的范围。
图8是关于重点投射范围的跟踪功能的说明图。在图8中,在距离可测量范围Fv中的每一个区域以矩阵方式被垂直和水平虚线划分,示意性地示出了光投射范围的最小变化单位,并且在下文中被称为“块”。在本实施方式的投光控制设备1中,使得不可能以小于该块的单元区分投射模式。
基于由对象检测部6进行的对象检测结果(在本实施方式中表示ROI的信息,以下称为ROI信息),控制部8检测对象Sb的行进方向Dp。基于在时间轴上多次获取的ROI信息(特别是指示ROI的位置的信息),可以检测该行进方向Dp。
另外,控制部8确定ROI的行进方向Dp的一侧的端侧位置是否已经接近图8中由“Ahn”指示的重点投射范围的行进方向Dp的一侧的另一个端侧位置,即,当前时间点的重点投射范围(即,本实施方式中的正常模式下的光投射范围,以下称为当前重点投射范围Ahn)(例如,两端侧位置之间的距离变为在预定距离内),在获取肯定结果的情况下,控制部8将与当前重点投射范围Ahn的行进方向Dp侧相邻的块添加到当前重点投射范围Ahn的范围设置为新的重点投射范围。此外,关于新设定的重点投射范围(新的当前重点投射范围Ahn),类似地,控制部8确定ROI的行进方向Dp侧的末端侧位置是否已经接近当前重点投射范围Ahn的行进方向Dp侧的另一末端侧位置,并且当获取肯定结果的情况下,控制部8将与当前重点投射范围Ahn的行进方向Dp侧相邻的块以重复方式添加到当前重点投射范围Ahn的范围设定为新的重点投射范围。在此期间,控制部8确定与ROI的行进方向Dp的一侧相对的一侧上的端侧位置是否已经超过构成当前重点投射范围Ahn的块中的块的行进方向Dp侧的另一末端侧位置,该块位于行进方向Dp侧的相对侧的端部(以下称为相反方向末端侧块),并且在获取肯定结果的情况下,控制部8设置从当前重点投射范围Ahn中排除相反方向的结束块的范围,作为新的重点投射范围。
通过这种布置,在根据对象Sb的移动执行进行重点光投射的范围的跟踪的同时,可以防止对对象Sb过去所在的所有块连续地执行重点光投射。换句话说,因此,既可以防止由于重点投射范围的跟踪而导致的距离测量对象的一部分的距离测量的无效(即,防止对距离测量目标的距离测量遗漏),又可以实现低功耗。
在此,在本实施方式的投光控制设备1中,在距离可测量范围Fv中(例如,关于基本上没有光到达的区域等)和不必要距离测量的距离测量不必要区域An中,无论对象检测6执行的有检测到/未检测到对象Sb,都不执行光投射。
图9是关于距离测量不必要区域An的说明图,且在图9的左侧,示意性地示出了执行距离测量的场景配置,且在图9的右侧,示意性地示出了在场景配置中获取的距离图像的图像平面。
在本实施方式中,距离测量不必要区域An是指例如距离测量被基本禁用的区域,诸如包括在距离可测量范围Fv之内并且是长距离的诸如天空的区域以及存在反射率极低的物理对象的区域。
在本实施方式中,不必要区域设置部7基于距离图像来设定距离测量不必要区域An。具体地,在距离图像内,例如,评估针对每个像素等的每个预定图像区域获取的距离的信息的可靠性,并且将可靠性低的图像区域设置为距离测量不必要区域An。
例如,关于投射光没有到达的长距离存在物理对象的区域和反射率极低的物理对象的区域,关于距离信息的可靠性的评估值低。因此,通过检测评价值降低到预定值或以下的区域,能够设定距离测量不必要区域An。
注意,基于光接收部3的光接收信号值的大小(在本实施方式中,上述电荷积分值),也可以设置距离测量不必要区域An。换句话说,可以至少基于光接收部3的光接收信号来设置距离测量不必要区域An。
在此,例如,认为在将投光控制设备1安装于应进行距离测量的位置时,进行了由不必要区域设置部7设置的距离测量不必要区域A。另外,为了在距离测量目标可以随时间变化的情况下或其他情况下适应性地设置距离测量不必要区域An,距离测量不必要区域An可以在时间轴上以恒定时间间隔或不规则间隔多次设置,例如以预定时间间隔重复设置距离测量不必要区域An。
通过在距离可测量范围Fv内不进行向距离测量不必要区域An的光投射,不会将光投射到不必要进行距离测量的区域(例如,距离测量基本上被禁用的区域),从而使光投射所需的功率消耗更加有效。
这里,在作为上述实施方式的这种投光控制方法中,可以减少距离测量所需的光投射量,并且这对于获取距离可测量范围Fv的广视角(广视野角)是有利的。
图10是关于这方面的说明图,且图10A示出了在标准视场角(例如,视场角=60度)的情况下所需的光投射范围的示例,并且图10B示出了在宽视角(例如,视场角=120度)的情况下所需的光投射范围的示例。注意,在图10中,示出了一米(m)的距离测量所需的光投射范围的示例。
如图10所示,在这种情况下,标准视场角的光投射范围是“2/√3m”,而广视角的光投射范围是“2√3m”。换句话说,为了将视场角放大两倍,需要将光投射范围放大大约三倍并且大大增加光投射量。另外,由根据视场角的增加,容易产生阴影的影响,因此为了在像帧端部获取充分的反射光量,也需要增加光投射量。
考虑到这些方面,采用投光控制方法作为允许减小距离测量所需的光投射量的实施方式,在获取距离可测量范围Fv的广视角方面是有利的。
[1-3.处理过程]
随后,将参照图11和图12所示的流程图描述为了实现上述实施方式的投光控制方法而应当执行的特定处理过程。
图11示出了用于在待机模式和重点投光控制之间切换的过程。
在本实施方式中,例如,将图11和图12所示的处理实现为具有微计算机的控制部8基于程序执行的软件处理。注意,类似于图11和图12所示的处理也可以通过硬件来实现。
在图11中,控制部8在步骤S101中设置任何待机模式。换句话说,在本实施方式中,控制部8执行控制以在参照图2描述的待机模式(A),(B)和(C)的任何投射模式下投射光并据此执行距离测量操作(对象检测操作)。此时,作为对光投射侧的控制,以这样的方式控制发光部21的发光操作,使得光投射功率ON时间段的重复周期(光脉冲的连续光投射ON时间段)和光投射功率的方式是参考图2B至2D描述的任何周期和光投射功率的任何方式。
另外,作为距离测量侧的控制,控制ToF传感器31的帧速率以调整光投射功率ON时间段的重复周期。
在此,在任何待机模式下,在由不必要区域设置部7设定了距离测量不必要区域An的情况下,控制部8控制光投射部2不向距离测量不必要区域An投射光。具体地,为了不将光投射到距离测量不必要区域An上,本实施方式中的控制部8以如下方式进行控制:在发光部21的发光元件中,作为投射到与距离测量不必要区域An相关联的块的光的光源的发光元件被设置为处于非发光状态。
在步骤S101之后的步骤S102中,控制部8待机以进行对象检测。换句话说,控制部8待机直到对象检测部6检测到对象Sb为止。
另外,在检测到对象Sb的情况下,控制部8进入步骤S103,且执行将ROI重点投光控制的执行标志FG设为ON的处理。该执行标志FG是在图12的处理中引用的标志,且执行标志FG=ON表示应执行ROI重点投光控制,而执行标志FG=OFF表示应完成ROI重点投光控制。
在步骤S103之后的步骤S104中,控制部8待机直到执行标志FG变为OFF。在此,执行标志FG根据在图12的处理中对象Sb已经丢失的情况而被变为OFF(参照步骤S207)。
当执行标志FG=OFF时,控制部8返回步骤S101。利用这种布置,根据对象Sb的检测开始ROI重点投光控制,且然后,在距离可测量范围Fv内对象已经丢失的情况下(即,多个检测对象变为零),则切换到任何待机模式。
图12示出了ROI重点投光控制的过程。
首先,在步骤S201中,控制部8执行待机直到执行标志FG=ON为止的处理,并且在执行标志FG=ON时,控制部8进入步骤S202并设定重点投射范围。换句话说,基于从对象检测部6获取的ROI信息,将与距离可测量范围Fv(以块为单位的范围)内的ROI相对应的范围设置为重点投射范围。
另外,在随后的步骤S203中,控制部8开始重点投光控制。换句话说,控制部8通过采用参考图3至图7描述的第一示例,第二示例和第三示例中的任何方法来执行处理以开始ROI重点投光控制。
这里,在采用第一示例至第三示例中的任何方法的情况下,在距离测量不必要范围An被设定的情况下,光也不会投射到距离测量不必要范围An。具体地,在第一示例至第三示例中的任何情况下,对于在距离可测量范围Fv(即,对象Sb的非检测区域)内除重点投射范围之外的范围,以不同于对重点投射范围进行光投射的投射模式的投射模式进行光投射,并且,除了重点投射范围之外,应该针对该区域执行的光投射针对排除距离测量不必要范围An的范围。
注意,在本实施方式中,为了在重点投射范围(对象Sb的检测区域)和除重点投射范围之外的范围(对象Sb的非检测区域)之间使投射模式不同,对于发光部21的发光元件,其是针对重点投射范围投射的光的光源,以及其发光元件,其是针对除重点投射范围以外的范围投射的光源,控制各个发光周期(在本实施方式中,光脉冲的周期发光时间段的重复周期)和各个发光功率水平以使其不同。
另外,由于在重点投光控制下,关于ROI,以正常帧速率执行距离测量,因此将ToF传感器31的帧速率设置为正常帧速率。
在步骤S203之后的步骤S204中,控制部8确定对象Sb是否已经丢失。换句话说,基于由对象检测部6获取的对象检测结果,确定是否未检测到对象Sb。
当没有丢失对象Sb时,控制部8进入步骤S205,并确定ROI信息是否已改变。本文所指的ROI信息的变化主要是ROI的位置的变化和ROI的数量的变化。
当ROI信息没有改变时,控制部8返回到步骤S204。换句话说,在处理步骤S204和S205中,处理对象Sb的丢失或ROI信息的改变中的任何一个的待机。
在步骤S205中,在ROI信息已改变的情况下,在步骤S206中,控制部8处理重点投射范围的调整。具体地,执行以下处理:如先前参考图8所述的实现光投射范围的跟踪的过程,即基于上述当前重点投射范围Ahn中的行进方向Dp侧的端侧位置,确定对象Sb的接近度,基于当前重点投射范围Ahn中在相反方向的端块中行进方向Dp侧的端侧位置,根据对象Sb的接近度确定和偏差确定的结果,增加重点投射范围,以及根据偏差确定的结果排除块。另外,在步骤S205中,在根据新对象Sb的检测而添加了ROI的情况下,还处理了根据所添加的ROI来添加重点投射范围。
根据步骤S206中的调整处理的执行,控制部8返回到步骤S204。利用这种布置,在直到对象Sb已经丢失的时间段中,每当ROI信息改变时,执行步骤S206中的调整处理。
另外,在步骤S204中,在对象Sb已经丢失的情况下,控制部8进入步骤S207,且设置执行标志FG=OFF,并结束图12所示的一系列处理。
通过这种布置,根据对象Sb的检测,开始ROI重点投光控制,且然后,在对象Sb丢失的情况下,模式返回到任何待机模式。
[1-4.动态对象的检测]
注意,尽管在以上描述中,列举了通过采用背景差分技术进行对象检测的示例,但是在这种情况下,可以将不移动的静态对象检测为对象。
与此相对,例如,如图13所示,可以进行仅检测到动态对象Sa(移动的对象)作为距离测量的目标对象的配置。在这种情况下,对象检测部6执行动态身体检测作为对象检测。
在这种情况下,基于由对象检测部6获取的对象检测结果,控制部8进行控制,以在检测到动态对象Sa的区域和未检测到动态对象Sa的区域之间使光投射部2的投射模式不同。利用这种布置,为了处理用于距离测量的目标是动态对象Sa的情况,可以降低向静态对象Ss的光投射量。
因此,使光投射所需的功耗更加有效。
<2.第二实施方式>
随后,将描述第二实施方式。
在第二实施方式中,作为ToF传感器,使用可操作以在用于距离测量的光接收模式和用于红外光图像获取的光接收模式之间切换的传感器。
注意,在以下描述中,已经描述的组件和处理由相同的附图标记和步骤编号表示,并且省略其描述。
图14示出了作为第二实施方式的投光控制设备1A的配置示例。
与图1所示的投光控制设备1的不同之处分别在于,代替光接收部3而设置有光接收部3A,代替对象检测部6而设置有对象检测部6A,并代替控制部8而设置有控制部8A。
光接收部3A与光接收部3的不同之处在于,代替ToF传感器31而设置有ToF传感器31A。ToF传感器31A被配置为可在用于距离测量的光接收模式(以下称为“距离测量模式”)和用于红外图像获取的光接收模式(以下称为“IR成像模式”)之间进行切换。具体地,在采用间接ToF方法的本实施方式的情况下,距离测量模式是在与上述光脉冲的周期同步的周期(本实施方式中为几十MHz~几百MHz的周期)进行间歇信号电荷累积的模式,且IR成像模式是不进行这样的短周期的间歇信号电荷累积,而是在一帧周期内在预定时间段内进行连续信号电荷累积(曝光)的模式。
在IR成像模式下,对象检测部6A与对象检测部6一样,能够基于距离图像进行对象检测,并且能够基于由ToF传感器31A获取的IR拍摄图像(红外线拍摄图像)进行对象检测。
控制部8A(每个都包括不对距离测量不必要区域An进行光投射的控制)与控制部8一样,根据由对象检测部6A执行的有检测到/未检测到对象,来设定待机模式并进行ROI重点投光控制。
但是,控制部8A进行ToF传感器31A的模式切换控制,并使待机模式下的投射模式与第一实施方式不同。
具体地,控制部8A将待机模式下的ToF传感器31A的模式设定为IR成像模式。
在此,在IR成像模式下,即使不将光投射到距离可测量范围Fv,也可以基于IR拍摄图像来检测对象。因此,在第二实施方式中,在任何待机模式期间,不执行用于对象检测的光投射。换句话说,在任何待机模式期间,控制部8A控制发光部21不将光投射到距离可测量范围Fv内。
另外,在任何待机模式下,控制部8A使对象检测部6A基于由设定为IR成像模式的ToF传感器31A获取的IR拍摄图像来检测对象。
作为在任何待机模式期间基于IR拍摄图像的对象检测的结果,在检测到对象的情况下,控制部8A与控制部8一样执行ROI重点投光控制。
在下文中,将描述由控制部8A执行的具体处理过程。
首先,控制部8A执行与图11所示的处理相同的处理。然而,关于在步骤S101中设置待机模式的处理,代替使光投射部2以参照图2描述的待机模式(A),(B)和(C)的任何投射模式进行光投射的过程,进行将发光部21的所有发光元件设定为非发光状态的处理。另外,与此同时,执行将ToF传感器31A切换到IR成像模式的处理和指示对象检测部6A基于由ToF传感器31A获取的IR拍摄图像执行对象检测的处理。
另外,控制部8A代替图12所示的处理而执行图15所示的处理。
与图12所示的处理的不同之处在于,在步骤S202和S203的处理之间插入步骤S301的处理,即,将ToF传感器31A切换为距离测量模式的处理。通过在步骤S301中执行该处理,控制部8A使对象检测部6A基于由距离图像获取部4获取的距离图像来执行对象检测。
注意,也可以在步骤S201和S202中的处理之间执行步骤S301中的处理。
由于步骤S203中的开始重点投光控制的处理和随后的处理与第一实施方式中的类似,因此避免了重复的描述。
如在第二实施方式中那样,通过提供可在距离测量模式和IR成像模式之间切换的ToF传感器31A并使ToF传感器31A在待机模式期间(即,在对象非检测状态中)在IR成像模式下操作,则在对象非检测状态下,光投射对于对象检测来说是不必要的。另外,不需要单独设置用于对象检测的成像部以使得在没有光投射的状态下能够进行对象检测(参照后述的第三实施方式)。
因此,虽然减少了在对象非检测状态下能够进行对象检测的系统组件的数量和系统成本,但是可以通过在对象非检测状态下不进行光投射来设计低功耗。
<3.第三实施方式>
图16示出了作为第三实施方式的投光控制设备1B的配置示例。
在第三实施方式中,用于对象检测的成像部10与用于距离测量的光接收部3分开设置。
投光控制设备1B与投光控制设备1的不同之处在于,设置有成像部10,代替对象检测部6而设置有对象检测部6B,并且代替控制部8而设置有控制部8B。
成像部10具有图像传感器11(由例如电荷耦合器件(CCD)图像传感器,互补金属氧化物半导体(CMOS)传感器等构成)和成像光学系统12。成像光学系统12收集来自被成像的对象的反射光,并将该反射光引导至图像传感器11的成像表面。图像传感器11接收来自对象的反射光(该光由成像光学系统12引导),进行光电转换并获取拍摄图像。在本实施方式中,作为图像传感器11,使用对可见光敏感的图像传感器。
成像部10的成像视场被设定为覆盖距离可测量范围Fv的范围。
对象检测部6B被配置为可操作以基于由成像部10获取的拍摄图像来执行对象检测。
控制部8B进行控制,以根据由对象检测部6B执行的有检测到/未检测到对象而使由光投射部2提供的光投射量不同。另外,在对象检测部6B检测到对象的情况下,控制部8B进行控制以在对象检测区域和非检测区域之间使光投射部2的投射模式不同。
在此,与投光控制设备1B相同,通过与用于距离测量的光接收部3单独提供用于对象检测的成像部10,为了在待机模式下能够进行对象检测,不需要光投射部2进行光投射,并且在对象检测状态下,不需要光投射部2进行光投射以检测新对象。因此,控制部8B进行如下所述的控制。
具体而言,与第二实施方式中的控制部8A相同,在待机模式下,即在对象检测部6B未检测到任何对象的状态下,控制部8B控制发光部21不将光投射到距离可测量范围Fv内。换句话说,对于图11中所示的处理,控制部8B执行与控制部8A执行的处理相似的处理。
另外,响应于由对象检测部6B执行的对象检测,控制部8B执行控制以在正常模式下投射用于作为目标的ROI的光,而不是将光投射到ROI以外的其他区域(如第一示例到第三示例所示)。换句话说,如图17所示,在这种情况下的对象检测状态下,尽管以正常模式进行了以ROI为目标的光投射,但是除了ROI以外的区域都没有进行光投射。
此时,与控制部8和控制部8A同样,控制部8B,基于从对象检测部6B获取的ROI信息,进行调整重点投射范围的处理。具体地,控制部8B执行与图12所示的处理类似的处理,并且在这种情况下,在重点投射范围设置(S202)、对象丢失判定(S204)和ROI信息变化判定(S205)中所参照的信息是作为由对象检测部6B基于由成像部10获取的拍摄图像执行的对象检测的结果而获取的信息。
注意,从以上描述可以理解,在步骤S203的处理中开始的重点投光控制中,控制光投射部2(发光部21)以在正常模式下投射针对重点投射范围的光,并且不投射除重点投射范围以外的范围的光。
注意,由于在投光控制设备1B中,在待机模式期间,光投射部2不进行光投射,以及因此,在重点投光控制期间,对于除了重点投射范围之外的范围也不执行光投射,所以考虑到距离测量不必要区域An,不需要执行投光控制。因此,也可以将投光控制设备1B构成为不具备不必要区域设置部7。
另外,在投光控制设备1B中,可以使用能够获取彩色图像的拍摄图像的RGB图像传感器作为图像传感器11。或者,也可以使用具有除拜耳阵列以外的阵列的图像传感器,例如RGB-IR传感器。另外,图像传感器11不限于可以获取彩色图像的拍摄图像的图像传感器,并且作为图像传感器11,可以获取单色图像的拍摄图像的图像传感器。
注意,不需要将成像部10设置在投光控制设备1B中,并且可以将成像部10设置在投光控制设备1B的外部。
<4.第四实施方式>
第四实施方式涉及投光控制设备的应用示例。
图18是关于第一应用示例的说明图。
在第一应用示例中,投光控制设备1被应用于诸如智能扬声器的家用物联网(IoT)设备。在这种情况下,将由距离图像获取部4获取的距离图像用于用户的识别(识别)和手势识别。另外,距离图像还可以用于记录用户等的活动日志。
例如,基于手势识别的结果,可以切换设备的操作。另外,基于有检测到/未检测到用户,例如,当用户离开设备所在的房间时,可以将设备切换到睡眠状态,而当用户进入房间时,也可以释放睡眠状态。
由于如上述各实施方式那样,对象检测状态下的距离图像是通过投光控制而成为对象检测区域的对象的图像,因此,与处理整个距离可测量范围Fv的情况下的数据量相比,数据量小,从而有助于减少处理负荷。
另外,由于通过将投光控制用作每个实施方式,因此可以设计宽视角并且可以由此在宽范围内进行距离测量,所以一个家用IoT设备可以覆盖整个房间。
此外,与通过立体相机进行距离测量的情况相比,ToF不需要基线长度,从而有助于家用IoT设备的小型化。
图19是关于第二应用示例的说明图。
第二应用示例是其中投光控制设备1用于诸如商店的商业设施中的顾客的活动分析的示例。
如图19所示,考虑到其中布置了陈列商品的陈列柜Sh的零售商店的应用。
在这种情况下,投光控制设备1例如在店铺内部的天花板Ce的下方,在预定的方向上在距离可测量范围Fv内,将橱柜Sh和作为顾客的对象Sa(动态对象)设置为顾客。例如,认为陈列柜Sh和对象Sa被设置为面向斜下方或正下方。
为了获取低功耗,期望在这种情况下,对象检测部6通过动态身体检测来检测动态对象。
在这种情况下,由投光控制设备1的距离图像获取部4获取的距离图像可以用于与对象Sa进行的购买有关的活动分析。例如,基于对象Sa在销售楼层之间的移动历史,可以检测到交通线。另外,例如,基于距离图像,可以执行作为对象Sa的人的骨骼估计(例如,诸如头部,躯干,手臂和腿的人体部分的估计),并且基于其结果,还可以分析陈列室Sh的台号及其放置对象Sa接触的商品的位置等。
同样在这种情况下,可以设计出如每个实施方式那样的通过投光控制获取的宽视角,从而允许一个投光控制设备1覆盖商店内部的宽范围。
这里,为了获取宽视角,还可以采用其中设置有多个光投射部2的构造。
例如,如图20所示,设有两个光投射部2,即光投射部2-1和光投射部2-2。这些光投射部2将光投射到距离可测量范围Fv内彼此不同的区域。在这种情况下,光接收部3被配置为可操作以接收由这些光投射部2中的每一个投射的光的反射光。
在图20中,示出了距离可测量范围Fv,光投射部2-1的光投射范围Ap1和光投射部2-2的光投射范围Ap2的关系,如图20中的重叠范围Ad所示,可能存在光投射范围Ap1和光投射范围Ap2彼此重叠的情况。在这种情况下,在进行距离测量时,光不会同时从多个光投射部2投射到重叠范围Ad。例如,通过控制作为投射到重叠范围Ad的光源的光投射部2-1和光投射部2-2中的任何一个的发光元件处于非发光状态,不执行到重叠范围Ad的并发光投射。由于如果多个光投射部2同时将光投射到同一区域,则发生多径传播并且由此降低距离测量精度,因此防止这种情况。
图21是关于第三应用示例的说明图。
第三应用示例是应用了图20所示的配置的示例。
在本应用示例中,包括光投射部2-1和光投射部2-2的投光控制设备1位于例如汽车的车室内,并且以乘员Sb为对象进行距离测量。在这种情况下,光投射部2-1,光投射部2-2和光接收部3位于车室内的前端部的高处,诸如车辆内部前端侧的车顶Rf附近,并且作为驾驶员座椅和乘客座椅的前排座椅和后排座椅包括在距离可测量范围Fv内。
在这种情况下,作为短距离的光投射部2的光投射部2-1被配置成对包括距离可测量范围Fv内的前排座椅的范围的光投射范围Ap1进行光投射,以及作为长距离的光投射部2的光投射部2-2被配置为对包括距离可测量范围Fv内的后排座椅的范围的光投射范围Ap2进行光投射。利用该布置,可以基于由光投射部2-1投射的光,对作为前排座椅上的乘员的对象Sb1(即,短距离侧的对象Sb)进行距离测量,并且可以基于由光投射部2-2投射的光,对作为后排座椅上的乘员的对象Sb2(即,长距离侧的对象Sb)进行距离测量。
注意,尽管在上述第一应用示例至第三应用示例的每一个中,描述了使用投光控制设备1的应用示例,但是在这些应用示例的每一个中,可以采用其中类似地使用投光控制设备1A和投光控制设备1B中的每一个的配置。
<5.各实施方式的变形示例>
尽管在以上描述中,描述了光投射部2具有多个VCSEL型发光元件的示例,但是光投射部2具有的光源不限于VCSEL,并且光投射部2具有的光源的数量不限于复数。
例如,作为光投射部2的构造,可以采用处理使用激光光源和微机电系统(MEMS)的光学扫描方法的构造,并且在这种情况下,光源的数量也可以是单数。注意,在采用光学扫描方法的情况下,通过不在对象检测区域以外的扫描位置上进行光投射,或降低除对象检测区域以外的扫描位置的光投射功率,通过使光投射功率ON时间段较长,可以使得在对象的非检测区域中的光投射量小于在对象的检测区域中的光投射量。
另外,作为光投射部2的结构,也可以采用将衍射光学元件(DOE)用作光投射光学系统22的结构。
另外,尽管在以上描述中,列举了基于ToF传感器31的光接收信号来设置距离测量不必要区域An的示例,但是也可以基于由用户进行的操作输入来设置距离测量不必要区域An。例如,使预定的显示设备显示由成像部10获取的距离图像和拍摄图像,并且接收由用户进行的指定距离测量不必要区域An的操作,即,接收用于指定应设置为图像帧内的距离测量不必要区域An的范围的操作,并且不必要区域设置部7基于通过操作指定的范围的信息来设置距离测量不必要区域An。
注意,在如上所述基于用户进行的操作输入来设置距离测量不必要区域An的情况下,距离测量不必要区域An不限于距离测量不必要的区域,例如偏远地区,并且考虑到距离测量的目的等,可以设置广泛不需要距离测量的区域,例如不需要执行距离测量的区域。
另外,尽管在以上描述中,列举了其中将根据本技术的投光控制方法应用于执行采用间接ToF方法的距离测量的情况的示例,但是根据本技术的投光控制方法也可以适当地应用于执行采用直接ToF的距离测量的情况或执行采用结构光(STL)方法的距离测量的情况。
<6.实施方式的总结>
如上所述,作为实施方式的每个投光控制设备(投光控制设备1、1A和1B)包括:光接收部(光接收部3和3A中的每一个),其设置有接收由光投射部(光投射部2)投射的光的反射光的多个光接收元件;对象检测部(对象检测部6、6A和6B中的每个),其执行以距离可测量范围为目标的对象检测,该范围是光接收部可操作以接收反射光的范围;以及控制部(控制部8、8A和8B中的每一个)其执行控制,以根据由对象检测部执行的有检测到/未检测到对象而使由光投射部提供的光投射量不同,并且在对象检测部检测到对象的情况下,在对象的检测区域和非检测区域之间使光投射部的投射模式不同。
如上所述,通过根据有检测到/未检测到对象而使光投射量不同,当未检测到作为距离测量目标的对象时,可以减小光投射量,从而设计防止不必要的功耗。另外,通过在检测到对象的情况下在非检测区域和检测区域之间使投射模式不同,可以使非检测区域中的光投射量(还包括每单位时间的光投射量)小于检测区域中的光投射量,因此可以减少进行检测对象的距离测量时的功耗。
因此,对于光学距离测量系统,可以使光投射所需的功耗有效,并且可以设计出低功耗。
另外,在各实施方式的投光控制设备中,控制部进行如下控制:在对象检测状态下,使针对非检测区域的光投射频率低于针对检测区域的光投射频率。
利用这种布置,可以减少在对象非检测状态下消耗的功率以及在执行被检测对象的距离测量时所消耗的功率。另外,由于可以基于由光接收部获取的关于非检测区域的光接收信号来执行距离测量,因此可以检测到新出现在距离可测量范围内的对象,而无需单独提供用于对象检测的成像部。
因此,可以实现通过使光投射所需的功率消耗高效而实现的低功率消耗,同时设计了能够在距离可测量范围内检测新出现的对象的减少系统组件的数量和降低系统成本的方案。
此外,在各实施方式的投光控制设备中,控制部执行以下控制:在检测到对象的状态下,使针对非检测区域的光投射功率低于针对检测区域的光投射功率。
利用这种布置,可以减少在对象非检测状态下消耗的功率以及还有在执行被检测对象的距离测量时所消耗的功率。另外,由于可以基于低功率并投射到非检测区域的光的反射光来执行距离测量,因此可以执行新出现在距离可测量范围内的对象的检测,而无需单独提供用于对象检测的成像部。
因此,可以实现通过使光投射所需的功率消耗高效而实现的低功率消耗,同时设计了能够在距离可测量范围内检测新出现的对象的减少系统组件的数量和降低系统成本的方案。
此外,在作为各实施方式的投光控制设备中,控制部(8B)控制光投射部,以使在对象检测状态下光不投射至非检测区域。
利用这种布置,可以最小化在检测的对象的距离测量时所消耗的功率。
因此,可以增强降低功耗的效果。
另外,在各实施方式的投光控制设备中,在对象非检测状态下,控制部控制光投射部以比在对象检测状态下对检测区域投射的光的光投射量小的光投射量投射光。
利用这种布置,在对象非检测状态下,可以设计出通过降低光投射量来减少功耗,并且根据基于投射光的反射光获取的距离图像,可以执行对象检测。换句话说,不需要单独提供用于对象检测的成像部以使得能够在对象非检测状态下进行对象检测。
因此,可以设计出通过降低对象非检测状态下的光投射量而实现的低功耗,同时,设计了能够在对象非检测状态下进行对象检测的减少系统组件的数量以及降低系统成本的方案。
此外,在作为每个实施方式的投光控制设备中,控制部根据对象的移动来改变由光投射部执行的光投射的范围。
通过这种布置,在对象移动的情况下,可以防止光没有投射到对象的一部分,并且使得距离测量变得不可能。
因此,可以增强距离测量性能。
此外,在作为每个实施方式的投光控制设备中,控制部在由对象检测部检测到的动态对象的检测区域和非检测区域之间使光投射部的投射模式不同。
通过这种布置,相对于距离测量的目标是动态对象的情况,可以降低用于静态对象的光投射量。
因此,可以使光投射所需的功耗更加有效,并且可以进一步设计功耗降低。
另外,在作为各实施方式的投光控制设备(投光控制设备1A)中,光接收部(光接收部3A)被配置为可操作以在作为用于距离测量的光接收模式的第一光接收模式和作为用于红外光图像获取的光接收模式的第二光接收模式之间切换,并且控制部(控制部8A)使得光接收部在对象非检测状态下以第二光接收模式运行。
通过这种布置,不必要在对象非检测状态下进行对象检测就可以进行光投射。另外,不需要单独设置用于对象检测的成像部以在不进行光投射的状态下能够进行对象检测。
因此,虽然减少了在对象非检测状态下能够进行对象检测的系统组件的数量和系统成本,但是可以通过在对象非检测状态下不进行光投射来设计低功耗。
此外,作为各实施方式的投光控制设备包括将距离测量不必要区域设定在距离可测量范围内的不必要区域设置部(不必要区域设置部7),并且控制部控制光投射部不投射用于距离测量不必要区域的光,而无论由对象检测部执行的有检测到/未检测到对象。
通过这种布置,光不会投射到不必要距离测量的区域。
因此,可以使光投射所需的功耗更加有效,并且可以进一步设计功耗的降低。
另外,在各实施方式的投光控制设备中,不必要区域设置部基于光接收部获取的光接收信号来设定距离测量不必要区域。
通过使用光接收信号,可以检测到估计不必要进行距离测量的区域,例如在光未到达物理对象的距离处存在物理对象的区域(即,距离基本上不可测量的区域),且不需要手动设置距离测量不必要区域。
因此,用户不需要指定距离测量不必要区域,并且可以减轻用户的负担。
另外,在作为每个实施方式的投光控制设备中,光接收部被配置为可操作以接收在距离可测量范围内的各个不同区域的多个光投射部投射的光的反射光。
通过使用多个光投射部,可以使各个光投射部将整个广角距离可测量范围共享为光投射范围。
因此,可以使以具有相同面积的距离可测量范围为目标的距离测量所需的光投射功率低于仅使用一个光投射部的情况下所需的功率,从而可以设计低功耗。换句话说,通过减少消耗功率的程度,可以扩大光投射范围,从而允许设计出距离可测量范围的宽视角。
另外,作为实施方式的投光控制方法包括:对象检测步骤可操作以接收反射光,其中该程序以距离可测量范围(该范围是在光接收部设置有接收由光投射部投射的光的反射光的多个光接收元件的范围)内的对象检测为目标;以及控制步骤,其中执行的是控制以根据在对象检测步骤执行的有检测到/未检测到对象而使由光投射部提供的光投射量不同,并且在对象检测步骤中检测到对象的情况下,在对象的检测区域和非检测区域之间使光投射部的投射模式不同。
同样通过将投光控制方法用作上述实施方式,可以获取与上述各实施方式的投光控制设备所获取的作用和效果相似的作用和效果。
注意,在本说明书中描述的效果仅是说明性的,并且该效果不限于此,并且还可以存在其他效果。
<7.现有技术>
注意,本技术还可以采用下述配置。
(1)一种投光控制设备,包括:
光接收部,设置有多个光接收元件,所述多个光接收元件接收由光投射部投射的光的反射光;
对象检测部,在距离可测量范围内进行目标的对象检测,所述距离可测量范围是所述光接收部能够操作以接收所述反射光的范围;以及
控制部,执行以下控制:根据由所述对象检测部执行的有检测到/未检测到对象而使由所述光投射部提供的光投射量不同,并且在所述对象检测部检测到对象的情况下,在所述对象的检测区域和非检测区域之间使所述光投射部的投射模式不同。
(2)根据上述(1)的投光控制设备,其中
所述控制部执行以下控制:在对象检测状态下,使针对所述非检测区域的光投射频率低于针对所述检测区域的光投射频率。
(3)根据上述(1)或(2)的投光控制设备,其中
所述控制部执行以下控制:在对象检测状态下,使针对所述非检测区域的光投射功率低于针对所述检测区域的光投射功率。
(4)根据上述(1)至(3)中任一项的投光控制设备,其中
在对象检测状态下,所述控制部控制所述光投射部不向所述非检测区域投射光。
(5)根据上述(1)至(3)中任一项的投光控制设备,其中
在对象非检测状态下,所述控制部控制所述光投射部,以比在所述对象检测状态下向所述检测区域投射的光的光投射量小的光投射量投射光。
(6)根据上述(1)至(5)中任一项的投光控制设备,其中
所述控制部根据所述对象的移动来改变由所述光投射部执行的光投射的范围。
(7)根据上述(1)至(6)中任一项的投光控制设备,其中,
在由所述对象检测部检测到的动态对象的检测区域与非检测区域之间,所述控制部使所述光投射部的所述投射模式不同。
(8)根据上述(1)至(4),(6)和(7)中任一项的投光控制设备,其中
所述光接收部被配置为能够操作而在第一光接收模式和第二光接收模式之间切换,所述第一光接收模式为用于距离测量的光接收模式,所述第二光接收模式为用于红外图像获取的光接收模式,并且
在对象非检测状态下,所述控制部使所述光接收部以所述第二光接收模式操作。
(9)根据上述(1)至(8)中任一项的投光控制设备,还包括
不必要区域设置部,在所述距离可测量范围内设置距离测量不必要区域,其中
无论所述对象检测部执行的有检测到/未检测到所述对象,所述控制部控制所述光投射部都不向所述距离测量不必要区域投射光。
(10)根据上述(9)的投光控制设备,其中
所述不必要区域设置部基于由所述光接收部获取的光接收信号来设置所述距离测量不必要区域。
(11)根据上述(1)至(10)中任一项的投光控制设备,其中
所述光接收部被配置为能够操作以接收多个所述光投射部投射到所述距离可测量范围内的各个不同区域的光的反射光。
参考标志列表
1、1A,1B 投光控制设备
2 光投射部
21 发光部
22 光投射光学系统
3、3A 光接收部
31、31A ToF传感器
32 光接收光学系统
4 距离图像获取部
6、6A,6B 对象检测部
7 不必要区域设置部
8、8A,8B 控制部
10 成像部
11 图像传感器
12 成像光学系统
Sb 对象
Fv 距离可测量范围
Dp 行进方向
An 距离测量不必要区域
Ahn 当前重点投射范围
Ap1,Ap2 光投射范围
Ad 重叠范围。
Claims (12)
1.一种投光控制设备,包括:
光接收部,设置有多个光接收元件,所述多个光接收元件接收由光投射部投射的光的反射光;
对象检测部,在距离可测量范围内进行目标的对象检测,所述距离可测量范围是所述光接收部能够操作以接收所述反射光的范围;以及
控制部,执行以下控制:根据由所述对象检测部执行的有检测到/未检测到对象而使由所述光投射部提供的光投射量不同,并且在所述对象检测部检测到对象的情况下,在所述对象的检测区域和非检测区域之间使所述光投射部的投射模式不同。
2.根据权利要求1所述的投光控制设备,其中,
所述控制部执行以下控制:在对象检测状态下,使针对所述非检测区域的光投射频率低于针对所述检测区域的光投射频率。
3.根据权利要求1所述的投光控制设备,其中,
所述控制部执行以下控制:在对象检测状态下,使针对所述非检测区域的光投射功率低于针对所述检测区域的光投射功率。
4.根据权利要求1所述的投光控制设备,其中,
在对象检测状态下,所述控制部控制所述光投射部不向所述非检测区域投射光。
5.根据权利要求1所述的投光控制设备,其中,
在对象非检测状态下,所述控制部控制所述光投射部,以比在所述对象检测状态下向所述检测区域投射的光的光投射量小的光投射量投射光。
6.根据权利要求1所述的投光控制设备,其中,
所述控制部根据所述对象的移动来改变由所述光投射部执行的光投射的范围。
7.根据权利要求1所述的投光控制设备,其中,
在由所述对象检测部检测到的动态对象的检测区域与非检测区域之间,所述控制部使所述光投射部的所述投射模式不同。
8.根据权利要求1所述的投光控制设备,其中,
所述光接收部被配置为能够操作而在第一光接收模式和第二光接收模式之间切换,所述第一光接收模式为用于距离测量的光接收模式,所述第二光接收模式为用于红外图像获取的光接收模式,并且
在对象非检测状态下,所述控制部使所述光接收部以所述第二光接收模式操作。
9.根据权利要求1所述的投光控制设备,还包括:
不必要区域设置部,在所述距离可测量范围内设置距离测量不必要区域,其中
无论所述对象检测部执行的有检测到/未检测到所述对象,所述控制部控制所述光投射部都不向所述距离测量不必要区域投射光。
10.根据权利要求9所述的投光控制设备,其中,
所述不必要区域设置部基于由所述光接收部获取的光接收信号来设置所述距离测量不必要区域。
11.根据权利要求1所述的投光控制设备,其中,
所述光接收部被配置为能够操作以接收多个所述光投射部投射到所述距离可测量范围内的各个不同区域的光的反射光。
12.一种投光控制方法,包括:
对象检测步骤,在所述对象检测步骤中在距离可测量范围内进行目标的对象检测,所述距离可测量范围是设置有多个光接收元件的所述光接收部能够操作以接收所述反射光的范围,所述光接收元件接收由光投射部投射的光的反射光;以及
控制步骤,在所述控制步骤中执行以下控制:根据在所述对象检测步骤中执行的有检测到/未检测到对象而使由所述光投射部提供的光投射量不同,并且在所述对象检测步骤中检测到对象的情况下,在所述对象的检测区域和非检测区域之间使所述光投射部的投射模式不同。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209456A JP2020076619A (ja) | 2018-11-07 | 2018-11-07 | 投光制御装置、投光制御方法 |
JP2018-209456 | 2018-11-07 | ||
PCT/JP2019/039651 WO2020095603A1 (ja) | 2018-11-07 | 2019-10-08 | 投光制御装置、投光制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113039456A true CN113039456A (zh) | 2021-06-25 |
Family
ID=70610964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980072260.0A Pending CN113039456A (zh) | 2018-11-07 | 2019-10-08 | 投光控制设备及投光控制方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220007482A1 (zh) |
JP (1) | JP2020076619A (zh) |
CN (1) | CN113039456A (zh) |
WO (1) | WO2020095603A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3910375B1 (en) * | 2020-05-15 | 2023-07-05 | Analog Devices International Unlimited Company | A continuous wave time of flight system |
JP2023111625A (ja) * | 2022-01-31 | 2023-08-10 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法、プログラム |
JP2023112940A (ja) | 2022-02-02 | 2023-08-15 | 富士フイルムビジネスイノベーション株式会社 | 測定装置および制御装置に関する。 |
JP2023112763A (ja) | 2022-02-02 | 2023-08-15 | 富士フイルムビジネスイノベーション株式会社 | 光検出装置、光距離計測装置、及び、光検出プログラム |
WO2023156034A1 (en) * | 2022-02-21 | 2023-08-24 | ams Sensors Germany GmbH | Integrated illumination module, monitoring arrangemenet and method of operating a monitoring arrangement |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120181934A1 (en) * | 2009-08-05 | 2012-07-19 | Koninklijke Philips Electronics N.V. | Light guiding system and a method for controlling the same |
KR20140145482A (ko) * | 2013-06-13 | 2014-12-23 | 주식회사 만도 | 차량용 tof 카메라 |
WO2015075926A1 (ja) * | 2013-11-20 | 2015-05-28 | パナソニックIpマネジメント株式会社 | 測距撮像システム |
WO2015137050A1 (ja) * | 2014-03-14 | 2015-09-17 | 株式会社メガチップス | 光学的位置検出システム、制御装置、位置検出装置、制御プログラムおよび測距システム |
CN104978011A (zh) * | 2014-04-02 | 2015-10-14 | 联想(北京)有限公司 | 电子设备及其控制方法 |
US20170273161A1 (en) * | 2016-03-16 | 2017-09-21 | Tadashi Nakamura | Object detection apparatus and moveable apparatus |
JP2017173298A (ja) * | 2016-03-16 | 2017-09-28 | 株式会社リコー | 物体検出装置及び移動体装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4768020A (en) * | 1985-12-24 | 1988-08-30 | Paul E. Yarbrough, Jr. | Hot body intrusion activated light control unit with daylight photocell deactivation override |
JP3823796B2 (ja) * | 2001-09-28 | 2006-09-20 | 日産自動車株式会社 | 物体検出装置 |
JP2004106648A (ja) * | 2002-09-17 | 2004-04-08 | Mitsubishi Electric Corp | 車両用補助装置の制御装置 |
JP3846410B2 (ja) * | 2002-11-21 | 2006-11-15 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4402400B2 (ja) * | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
DE102004055376A1 (de) * | 2004-11-08 | 2006-05-11 | E.G.O. Elektro-Gerätebau GmbH | Bedieneinrichtung, Elektrogerät mit einer solchen Bedieneinrichtung, Anordnung eines Glaskeramik-Kochfeldes mit einer solchen Bedieneinrichtung sowie Verfahren zum Betrieb einer solchen Bedieneinrichtung |
JP5190663B2 (ja) * | 2007-03-27 | 2013-04-24 | スタンレー電気株式会社 | 距離画像生成装置 |
JP4853389B2 (ja) * | 2007-06-07 | 2012-01-11 | 株式会社デンソー | 顔画像撮像装置 |
JP5469446B2 (ja) * | 2009-12-22 | 2014-04-16 | パナソニック株式会社 | 物体検知装置 |
US8761594B1 (en) * | 2013-02-28 | 2014-06-24 | Apple Inc. | Spatially dynamic illumination for camera systems |
EP3079353B1 (en) * | 2013-12-04 | 2021-03-03 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, electronic apparatus, and program |
US20160178991A1 (en) * | 2014-12-22 | 2016-06-23 | Google Inc. | Smart illumination time of flight system and method |
JP6904261B2 (ja) * | 2016-05-23 | 2021-07-14 | ソニーグループ株式会社 | 電子装置、電子装置の制御方法、および、プログラム |
JP6851841B2 (ja) * | 2017-02-03 | 2021-03-31 | ナブテスコ株式会社 | 自動ドアシステムおよび自動ドアシステムの制御方法 |
US20220354978A1 (en) * | 2021-05-04 | 2022-11-10 | Sony Group Corporation | Apparatus and method for disinfection of object |
CN115843140A (zh) * | 2022-12-31 | 2023-03-24 | 深圳市旺坤光电技术有限公司 | 一种能根据外界环境改变光效的泛光灯及控制方法 |
-
2018
- 2018-11-07 JP JP2018209456A patent/JP2020076619A/ja active Pending
-
2019
- 2019-10-08 CN CN201980072260.0A patent/CN113039456A/zh active Pending
- 2019-10-08 US US17/289,103 patent/US20220007482A1/en active Pending
- 2019-10-08 WO PCT/JP2019/039651 patent/WO2020095603A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120181934A1 (en) * | 2009-08-05 | 2012-07-19 | Koninklijke Philips Electronics N.V. | Light guiding system and a method for controlling the same |
KR20140145482A (ko) * | 2013-06-13 | 2014-12-23 | 주식회사 만도 | 차량용 tof 카메라 |
WO2015075926A1 (ja) * | 2013-11-20 | 2015-05-28 | パナソニックIpマネジメント株式会社 | 測距撮像システム |
WO2015137050A1 (ja) * | 2014-03-14 | 2015-09-17 | 株式会社メガチップス | 光学的位置検出システム、制御装置、位置検出装置、制御プログラムおよび測距システム |
JP2015175712A (ja) * | 2014-03-14 | 2015-10-05 | 株式会社メガチップス | 光学的位置検出システム、制御装置、位置検出装置、制御プログラムおよび測距システム |
CN104978011A (zh) * | 2014-04-02 | 2015-10-14 | 联想(北京)有限公司 | 电子设备及其控制方法 |
US20170273161A1 (en) * | 2016-03-16 | 2017-09-21 | Tadashi Nakamura | Object detection apparatus and moveable apparatus |
JP2017173298A (ja) * | 2016-03-16 | 2017-09-28 | 株式会社リコー | 物体検出装置及び移動体装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220007482A1 (en) | 2022-01-06 |
JP2020076619A (ja) | 2020-05-21 |
WO2020095603A1 (ja) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113039456A (zh) | 投光控制设备及投光控制方法 | |
US10503265B2 (en) | Mixed-mode depth detection | |
US10009554B1 (en) | Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions | |
US8761594B1 (en) | Spatially dynamic illumination for camera systems | |
JP7021885B2 (ja) | 距離測定装置 | |
US20170337702A1 (en) | Method and apparatus for measuring depth information | |
US20170104915A1 (en) | Display control apparatus, display control method, and storage medium | |
EP3113146A1 (en) | Local location computation device and local location computation method | |
US20200096636A1 (en) | Distance measurement system | |
EP2815251A1 (en) | Time of flight camera with stripe illumination | |
US20190266425A1 (en) | Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program | |
CN107923978B (zh) | 物体检测装置、物体检测方法及记录媒体 | |
US20150317516A1 (en) | Method and system for remote controlling | |
US11034305B2 (en) | Image processing device, image display system, and image processing method | |
US20170070726A1 (en) | Method and apparatus for generating a 3-d image | |
CN109991581B (zh) | 飞行时间获取方法和飞行时间相机 | |
US9063219B2 (en) | Optical touch system | |
US20210400252A1 (en) | Imaging method, imaging system, manufacturing system, and method for manufacturing a product | |
US20220373683A1 (en) | Image processing device, monitoring system, and image processing method | |
US20130208091A1 (en) | Ambient light alert for an image sensor | |
WO2020031603A1 (ja) | 距離計測装置、距離計測システム、および距離計測方法、並びにプログラム | |
EP4310549A1 (en) | Sensing system | |
JP6379646B2 (ja) | 情報処理装置、測定方法及びプログラム | |
US11494945B2 (en) | Image analysis device, image analysis method, and program | |
JP7147729B2 (ja) | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |