驾驶支援系统
本申请是中国专利申请号201580027457.4的分案申请。
技术领域
本发明涉及驾驶支援系统。
背景技术
学习被摄体信息的各种各样的感应系统(摄像装置)已被提出。
例如在专利文献1中公开的现有技术的摄影装置140如图10所示,由综合控制各部的控制部141、朝向被摄体发出IR(Infrared:红外线)光的IR发光部142、将被摄体光聚光而向固体摄像元件110入射的透镜143、固体摄像元件110、产生用来驱动固体摄像元件110的各种驱动脉冲的定时发生器(TG)144、将从固体摄像元件110输出的摄像信号进行信号处理并计算可视光图像和IR图像的信号处理部145、和将由信号处理部145计算出的可视光图像和IR图像记录的存储器146构成。
根据专利文献1,能够提供一种能用单板结构接受可视光及红外光、并且不需要快门装置能够将红外光的曝光时间与可视光的曝光时间独立地进行控制的具备固体摄像元件110的摄像装置140。
现有技术文献
专利文献
专利文献1:日本特开2008-8700号公报
发明内容
但是,专利文献1所公开的现有技术的摄像装置140是所谓的单机型(stand-alone)的系统(公开了由固体摄像元件110计算出的可视光图像和距离图像(IR图像)被记录到存储器146中),具有感应性能较低的问题。
鉴于上述问题,本发明提供一种进行较高的感应精度和装置控制的感应系统及驾驶支援系统。
为了解决上述问题,有关本发明的一技术方案的驾驶支援系统,具有:感应系统,具有按照发光信号照射红外光的光源、进行摄像的固体摄像元件和运算部;以及装置控制部,所述固体摄像元件输出图像摄像信号和TOF信号,所述运算部使用所述摄像信号和所述TOF信号,将针对从所述被摄体中检测到的特定被摄体计算出的多种信息的一部分或者全部作为被摄体信号向所述装置控制部输出,所述装置控制部使用所述被摄体信号,进行搭载了所述驾驶支援系统的运输设备的驾驶控制。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述特定被摄体为多个被摄体和/或多种被摄体。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述运算部具备被摄体运算部和信号处理部,所述被摄体运算部进行所述特定被摄体的检测和所述多种信息的计算,作为一次被摄体信号向所述信号处理部输出,所述信号处理部进行根据所述一次被摄体信号判断所述多种信息的一部分或者全部的输出的选择判断处理,并作为所述被摄体信号向所述装置控制部输出。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述多种信息是所述特定被摄体的种类、到所述特定被摄体的距离、所述特定被摄体的尺寸、所述特定被摄体的形状以及所述特定被摄体的速度的信息中的至少2种。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述TOF信号是按照第1曝光信号和与所述第1曝光信号的定时不同的第2曝光信号,根据与所述红外光对应的反射光的曝光和在用于检测背景光的偏移分量而使所述发光信号停止的状态下的曝光,生成的信号。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述设置控制部进行自动制动操作、紧急制动信号操作、自动转向操作或自动加速操作作为所述驾驶操作。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述驾驶支援系统用于车室内感应的用途。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述特定被摄体是所述运输设备的驾驶者,所述车室内感应是用于防止所述驾驶者打瞌睡或防止驾驶中走神的感应。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述运算部选择所述图像摄像信号或者所述TOF信号,或者,根据所述图像摄像信号和所述TOF信号中的一方对所述图像摄像信号和所述TOF信号中的另一方进行修正。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,使用所述TOF信号生成距离图像。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述固体摄像元件是单板的固体摄像元件,所述图像摄像信号由R、G、B及BW中的至少1个像素生成,所述TOF信号由IR像素生成。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述感应系统使用从所述运输设备送来的所述运输设备的位置信息、云信息以及所述运输设备的动作信息或操作信息中的至少1个参照信号进行感应。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述感应系统根据所述参照信号变更感应的范围,并进行与包含于该范围的所述被摄体有关的感应。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述云信息是水平方向和/或垂直方向的地图、以及行驶地点或计划行驶地点的逐次环境中的至少1个信息。
此外,在有关本发明的一技术方案的驾驶支援系统中,也可以是,所述运算部进行降噪处理、超分辨率处理、高动态范围合成处理以及压缩处理中的至少1个信号处理。
另外,有关本发明的一技术方案的感应系统,是输出被摄体信号的感应系统,具备:传感器元件,对来自被摄体的第1物理对象及与该第1物理对象不同的第2物理对象进行感应;运算部,使用基于第1物理对象计算出的第1信号和基于第2物理对象计算出的第2信号,计算被摄体信号;运算部使用来自搭载感应系统的设备的参照信号计算被摄体信号。
此外,在有关本发明的一技术方案的感应系统中,也可以是,设备是运输设备;参照信号是(a)运输设备的位置信息、(b)云信息、及(c)运输设备的动作信息或操作信息中的至少1个。
此外,在有关本发明的一技术方案的感应系统中,也可以是,云信息是(b1)水平方向及/或垂直方向的地图信息、及(b2)行驶地点或计划行驶地点的环境信息中的至少1个。
此外,在有关本发明的一技术方案的感应系统中,也可以是,运输设备的动作信息或操作信息是(c1)关于运输设备的行驶速度、行驶加速度及停止的信息、(c2)运输设备的操作信息、(c3)运输设备的载重平衡信息、以及(c4)关于运输设备的载重平衡的信息中的至少1个。
此外,在有关本发明的一技术方案的感应系统中,也可以是,运输设备的操作信息是(c21)加速踏板、制动踏板等的踏入信息、及(c22)变速器的齿轮位置信息中的至少1个。
此外,在有关本发明的一技术方案的感应系统中,也可以是,感应系统将被摄体信号有选择地向设备输出,在不输出被摄体信号的情况下,进行该被摄体信号的消除、或暂时的记录或暂时的存储。
此外,在有关本发明的一技术方案的感应系统中,也可以是,运算部计算(d)被摄体或特定被摄体的检测及识别、(e)到被摄体或特定被摄体的距离、(f)被摄体或特定被摄体的尺寸、(g)被摄体或特定被摄体的形状、(h)被摄体或特定被摄体的速度、及(i)运算不可执行,中的至少1个被摄体信号。
此外,在有关本发明的一技术方案的感应系统中,也可以是,运算部进行(j)降噪处理、(k)影像放大高精细化处理或超分辨率处理、(l)高动态范围处理、(m)信号压缩处理、及(n)被摄体信号的一部分或全部的输出判断处理,中的至少1个信号处理。
此外,在有关本发明的一技术方案的感应系统中,也可以是,第1物理对象是可视光;第2物理对象是红外光。
此外,在有关本发明的一技术方案的感应系统中,也可以是,第1物理对象是来自被摄体或特定被摄体的无源光;第2物理对象是来自被摄体或特定被摄体的有源光。
此外,在有关本发明的一技术方案的感应系统中,也可以是,感应系统通过使用有源光的飞行时间(Time off light)运算,计算被摄体信号。
此外,在有关本发明的一技术方案的感应系统中,也可以是,感应系统通过将使用无源光的当前的帧与之前的帧比较,计算被摄体信号。
此外,在有关本发明的一技术方案的感应系统中,也可以是,感应系统具备产生指示光照射的发光信号和指示曝光的曝光信号的信号发生部、和按照发光信号照射脉冲光的脉冲光源部;传感器元件是单板的固体摄像元件;该固体摄像元件按照曝光信号进行曝光及摄像。
此外,在有关本发明的一技术方案的感应系统中,也可以是,感应系统根据感应环境的状态,选择第1信号或第2信号而计算被摄体信号,或将第1信号或第2信号的一方用第1信号或第2信号的另一方修正来计算被摄体信号。
此外,在有关本发明的一技术方案的感应系统中,也可以是,感应系统基于该感应系统的存储信息或记录信息,选择第1信号或第2信号而计算被摄体信号,或将第1信号或第2信号的一方用第1信号或第2信号的另一方修正来计算被摄体信号。
此外,有关本发明的一技术方案的驾驶控制系统具备:有关本发明的一技术方案的感应系统;装置控制部,使用来自感应系统的被摄体信号进行设备的控制。
此外,在有关本发明的一技术方案的驾驶控制系统中,也可以是,感应系统是具备驾驶控制系统的主感应系统;驾驶控制系统具备至少1个子感应系统。
此外,在有关本发明的一技术方案的驾驶控制系统中,也可以是,子感应系统在该子感应系统输出子被摄体信号的情况下,当主感应系统判断主被摄体信号的输出时给出信息。
此外,在有关本发明的一技术方案的驾驶控制系统中,也可以是,设备是运输设备;设备的控制进行(a)设备行驶中的自动制动控制、(b)设备停车中的自动起步停止控制、(c)紧急制动信号控制、(d)自动转向控制、及(e)自动驾驶操作控制中的至少1个。
此外,在有关本发明的一技术方案的驾驶控制系统中,也可以是,驾驶控制系统具备用来输出信息信号的信息获得部。
根据有关本发明感应系统及驾驶支援系统,能够实现较高的感应精度和装置控制。
附图说明
图1是表示有关实施方式的基本结构的感应系统及驾驶支援系统的基本结构例的概略的功能框图。
图2A是在有关实施方式的基本结构的感应系统及驾驶支援系统中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2B是在有关实施方式的基本结构的感应系统及驾驶支援系统中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2C是在有关实施方式的基本结构的感应系统及驾驶支援系统中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2D是在有关实施方式的基本结构的感应系统及驾驶支援系统中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2E是在有关实施方式的基本结构的感应系统及驾驶支援系统中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图3是表示有关实施方式1的感应系统及驾驶支援系统的概略结构例的功能框图。
图4A是表示有关实施方式1的感应系统及驾驶支援系统的第1搭载例的概略搭载图。
图4B是表示有关实施方式1的感应系统及驾驶支援系统的第2搭载例的概略搭载图。
图5A是在有关实施方式1的感应系统及驾驶支援系统中搭载的运算部的一结构例的功能框图。
图5B是在有关实施方式1的感应系统及驾驶支援系统中搭载的运算部的另一结构例的功能框图。
图5C是在有关实施方式1的感应系统及驾驶支援系统中搭载的运算部的又一结构例的功能框图。
图5D是在有关实施方式1的感应系统及驾驶支援系统中搭载的运算部的又一结构例的功能框图。
图6是有关实施方式1的感应系统及驾驶支援系统的流程图。
图7A是表示有关实施方式2的感应系统及驾驶支援系统的概略结构例的功能框图。
图7B是表示有关实施方式2的感应系统及驾驶支援系统的概略结构例的功能框图。
图8A是表示有关实施方式2的感应系统及驾驶支援系统的第1搭载例的概略搭载图。
图8B是表示有关实施方式2的感应系统及驾驶支援系统的第2搭载例的概略搭载图。
图9是有关实施方式2的感应系统及驾驶支援系统的流程图。
图10是表示现有技术的摄像装置的概略结构的功能框图。
具体实施方式
以下,参照附图对有关本发明的实施方式的感应系统、驾驶支援系统(操作支援系统)进行说明。另外,以下的实施方式均表示本发明的一具体例,数值、形状、材料、构成要素、构成要素的配置位置及连接形态等只是一例,并非限定本发明。
此外,作为在以下说明时使用的一例,(a)、(b)、(c)等的表现包括至少1个的情况、至少将两个组合的情况等的意义。
此外,在以下的说明中,搭载有关本发明的实施方式的感应系统或驾驶支援系统(操作支援系统)的装置(set,设备)以汽车(运输设备)为中心进行说明,但装置的种类并不限定于汽车,例如可以搭载到其他运输设备(自行车、摩托车、铁路车辆、飞机、航天器等)、运输设备和基础设施设备、重机(挖掘机、推土机等)、住宅设备、通信信息终端等的所有设备中。
此外,在以下的说明中,有关本发明的实施方式的感应系统或驾驶支援系统(操作支援系统)以汽车(运输设备)的车外感应用途为中心进行说明,但也可以用于以车室内感应用途(例如,驾驶者(被摄体、特定被摄体)的防止瞌睡、防止驾驶中走神为目的的感应等)。
(实施方式的基本结构)
图1是表示有关实施方式的基本结构的感应系统10或驾驶支援系统(操作支援系统)30的基本结构例的概略的功能框图。
如图1所示,感应系统10具备固体摄像元件(图像传感器、传感器元件)20和运算部21。
固体摄像元件20通过入射的第1光(第1物理对象)及第2光(第2物理对象)进行摄像(感应),根据第1光输出第1摄像信号(第1信号),根据第2光输出第2摄像信号(第2信号)。这里,所谓物理对象,作为一例,是光、电波(雷达)、声音、压力、热等。
此外,以下说明固体摄像元件20受光的第1光及第2光的一例。(a)第1光及第2光也可以是不同波长域的光,例如,第1光也可以是可视域的光,第2光也可以是可视以外域(作为一例,是红外域的波长光)。(b)第1光也可以是由太阳光、室内照明光等的外光形成的通常的被摄体光,换言之,也可以是非起因于照射有源光而从被摄体发出的放射光。此外,第2光也可以是来自后述的脉冲光源部25的照射有源光的反射光(反射有源光)。另外,关于无源光、反射有源光的详细情况后述。
另外,第1光及第2光并不限定于上述一例,例如,第1光也可以是可视域光的无源光,第2光也可以是红外域光的反射有源光等。此外,第1物理对象及第2物理对象并不需要一定是光,例如也可以是热或雷达等。
接着,图2A~图2D是有关实施方式的基本结构的固体摄像元件20的结构例的平面构造图。
如图2A所示,固体摄像元件20分别具备接受第1光的像素(第1光用像素)和接受第2光的像素(第2光用像素)。
进而,使用附图说明由第1像素接受无源光、由第2像素接受反射有源光的情况下的详细情况。即,如图2B所示,固体摄像元件20也可以分别作为第1光用像素而具备接受无源光的像素(以下称作无源光用像素)、作为第1光用像素而具备接受反射有源光的像素(以下称作有源光用像素)。
此外,图2C是表示图2B的固体摄像元件的具体的一例的平面构造图。如图2C所示,固体摄像元件20也可以作为无源光用像素而具备设置有使R(红)、G(绿)、B(蓝)透过的各滤光器的像素、作为有源光用像素而具备设置有使IR(红外线)透过的滤光器的像素。即,在将图2C所示的固体摄像元件20搭载在感应系统10中的情况下,有源光用像素能够接受作为可视光以外的光的IR光。
另外,图2D是表示图2A的固体摄像元件的变形例的平面构造图。在本实施方式中,固体摄像元件20也可以不是图2B及图2C的结构,而是如图2D所示那样具备能够兼用作无源光用像素和有源光用像素的像素(无源光有源光兼用像素)。即,无源光用像素也可以还接受反射有源光,有源光用像素也可以还接受无源光。在此情况下,固体摄像元件20由于能够接受无源光及反射有源光,所以固体摄像元件20内的受光面积(像素面积)变大,有能够进行高感光度摄像(高感光度摄影)等的优点。
此外,在无源光用像素中,在R、G、B的各自的像素中,通过滤光器透过而接受无源光。即,向R、G、B的各自的像素作为R成分、G成分、B成分而输出第1摄像信号。另一方面,IR像素接受反射有源光,输出第2摄像信号。
另外,在无源光用像素中,也可以在R、G、B的各滤光器中搭载红外线截止滤光器。
此外,在无源光用像素中,R、G、B各滤光器也可以由R+IR、G+IR、B+IR、IR的各滤光器构成。在此情况下,也能够接受无源光中包含的红外光。换言之,在R+IR、G+IR、B+IR的各个像素中,接受R成分和上述一部分的红外成分、G成分和上述一部分的红外成分、B成分和上述一部分的红外成分,能够输出第1摄像信号。即,在此情况下,通过用无源光用像素接受无源光,能够将可视光图像摄像,并且能够将例如即使是暗处也能够进行图像摄像的红外光图像摄像。
另外,如图2E所示构成,固体摄像元件20的无源光用像素也可以没有构成R、G、B的各色滤光器。在此情况下,固体摄像元件20能够作为单色(BW)图像进行摄像。
此外,无源光用像素也可以做成不形成各滤光器而能够得到彩色图像的像素构造(例如,构成像素(光电二极管)的杂质区域深度的变更、或杂质的种类或浓度的变更等)。
此外,无源光用像素、有源光用像素的配置、像素数比率及受光面积并不限定于上述例子。例如,有源光用像素的单位面积也可以比无源光用像素的单位面积大,无源光用像素也可以使像素数比有源光用像素多。
此外,有源光用像素也可以做成不形成滤光器而能够将反射无源光曝光的像素构造(例如,构成像素(光电二极管)的杂质区域的深度的变更、或杂质的种类或浓度的变更等)。
再次使用图1,说明感应系统10具备的运算部21的详细情况。
运算部21具备被摄体运算部22和信号处理部23,从装置侧接受参照信号(参考信号)。另外,关于参照信号的详细情况后述。
被摄体运算部22是进行用于被摄体(或被摄体中重视的特定被摄体)的感应的运算的单元。被摄体运算部22使用第1摄像信号、第2摄像信号、参照信号,计算被摄体信号作为关于被摄体的信息。作为关于被摄体的信息,例如是(a)特定被摄体检测,即从被摄体中检测特定被摄体,(b)被摄体识别或特定被摄体识别,即被摄体或特定被摄体是怎样的物体等的识别,(c)到特定被摄体(或被摄体)的距离、特定被摄体(或被摄体)的尺寸、特定被摄体(或被摄体)的形状、特定被摄体(或被摄体)的速度的计算等等。
另外,特定被摄体并不限于1个,也可以是多个及/或多种。
此外,在被摄体运算部22中,为了计算被摄体信号,能够对第1摄像信号、第2摄像信号分别单独地进行被摄体信号的运算及计算,并且能够匹配于各状况而运算及计算被摄体信号。作为各状况的一例,有(a)为了将第1摄像信号补全而使用第2摄像信号的一部分的情况,(b)为了将第2摄像信号补全而使用第1摄像信号的一部分的情况,(c)使用第1摄像信号、第2摄像信号的各自一部分的情况等。另外,关于第1摄像信号、第2摄像信号的使用方式的详细情况后述。
信号处理部23是在被摄体运算部22的运算的前后进行信号处理的部分。另外,关于其详细情况后述。
另外,运算部21也可以是多个处理部的一部分或全部作为集成电路即LSI(Largescale integration)实现。它们既可以分别地单芯片化,也可以包含一部分或全部而单芯片化。
此外,集成电路化并不限于LSI,也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(现场可编程门阵列)或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
此外,运算部21的各构成要素(被摄体运算部22、信号处理部23)也可以由专用的硬件构成,或通过执行与各构成要素适应的软件程序来实现。各构成要素也可以通过CPU(中央处理单元)或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。换言之,运算部21(被摄体运算部22、信号处理部23)作为一例,可以适当采用(a)在通用处理器中组合DSP(数字信号处理器)的结构,(b)在通用处理器中组合具备多个DSP的FPGA的结构,(c)在通用处理器中组合专用加速器的结构等。
驾驶支援系统30的装置控制部40在驾驶支援系统30是汽车用途的情况下,作为一例,是除了(a)MCU(主控制单元)、(b)搭载MCU的ECU(电子控制单元)、(c)导航、位置信息服务、声音通信、因特网连接以外,还具备音乐及运动图像等的多媒体再现、向新闻、电子邮件等的访问/检索功能的信息娱乐系统(Infotainment system)等。
装置控制部40接受被摄体信号,基于该被摄体信号进行装置控制。另外,关于该控制的详细情况后述。
以上是实施方式的基本结构,以下说明实施方式的进一步的详细情况。另外,在后述的实施方式中,以在第1光中使用无源光、在第2光中使用有源光(反射有源光)的情况为中心进行说明,但第1光、第2光的选择并不限定于这些。
(实施方式1)
以下,参照附图,关于有关实施方式1的感应系统10及驾驶支援系统(操作支援系统)30的结构及动作,以与到此为止说明的基本结构不同的点为中心说明详细情况。
图3是表示有关实施方式1的感应系统10及驾驶支援系统(操作支援系统)30的概略的功能框图。图4A是表示有关实施方式1的感应系统及驾驶支援系统的第1搭载例的概略搭载图,图4B是表示有关实施方式1的感应系统及驾驶支援系统的第2搭载例的概略搭载图。
如图3所示,有关实施方式1的感应系统10除了固体摄像元件20和运算部21以外,还具备脉冲光源部25和曝光/发光控制部24。
这里,感应系统10例如如图4A所示,能够设置在前挡玻璃内上部(后视反射镜附近),但并不限定于此。感应系统10例如也可以设置在前格栅内、前保险杠内等。即,详细情况后述,但有关实施方式1的感应系统10相比立体照相机等的感应系统在小型化上更好,不限定设置场所,具有能够设置到各种各样的场所的优点。
脉冲光源部25按照接收由曝光/发光控制部24产生的发光信号的定时对被摄体进行光照射。此外,脉冲光源部25具有驱动电路、电容器及发光元件等,通过将保持在电容器中的电荷向发光元件供给而发出脉冲光(以下称作照射有源光)。
这里,例如照射有源光是包括近红外光的红外光(IR光)。此外,作为发光元件,可以使用激光二极管或发光二极管(LED)等的各种各样的发光元件。发光元件也可以是单色的发光元件。发光元件例如也可以从振荡出可视光的发光元件有选择地照射光(例如红外光)。即,也可以通过将红色的发光元件、蓝色的发光元件、黄色的发光元件等的多种颜色的发光元件组合,从振荡的光的波长域中照射有选择的光(例如红外光)。
另外,照射有源光除了向各种各样的方向分散的光(所谓的一般性的光)以外,还能够照射指向性及集束性良好、此外能够将产生的电磁波的波长保持为一定的激光或雷达光作为照射有源光照射。
此外,脉冲光源部25例如如图4B所示,在搭载驾驶支援系统30的装置是汽车的情况下,也可以与搭载在车辆中的头灯25a、25b或雾灯26a、26b等的已有的灯兼用。
曝光/发光控制部24产生对脉冲光源部25指示照射有源光的照射的发光信号。进而,曝光/发光控制部24产生指示作为第2光(第2物理对象)、照射有源光的反射光(反射有源光)的曝光的曝光信号,和指示作为第1光(第1物理对象)、作为由太阳光、室内照明光等的外光形成的通常的被摄体光,换言之是作为第1光、非起因于照射有源光而从被摄体(或特定被摄体)发出的放射光(无源光)的曝光的曝光信号。这样,曝光/发光控制部24具有作为产生指示光照射的发光信号和指示曝光的曝光信号的信号发生部的功能。
此外,感应系统10具备固体摄像元件20,按照曝光信号进行曝光及摄像,接受来自被摄体的无源光,输出第1摄像信号,接受来自脉冲光源部25的照射有源光被被摄体反射的反射有源光,输出第2摄像信号。
此外,运算部21从装置侧(在图3中是装置控制部40)接受参照信号。该参照信号基于来自搭载在装置侧的信息获得部(各种传感器等)41的信息信号在装置侧制作,是表示感应环境的状况(感应环境的变化)的信号。
此外,参照信号或信息信号作为其内容(信息)的一例,是关于(a)来自GPS(GlobalPositioning System)传感器等的装置(汽车)的位置信息、(b)云信息(换言之,是从网络特别是因特网得到的信息(网络信息),是所谓的大数据(通过因特网的普及和IT技术的进步而产生的数据(信息),也包括其特性被用量、频度(更新速度)、多样性(数据的种类)表示的数据)),(c)关于装置(汽车)自身的动作/操作信息等的信号。
此外,从上述的(b)通信线路(因特网线路)得到的云信息,例如是(b1)最新更新的地图信息(另外,该地图信息包括平面上(水平方向)的信息,也包括关于地图上的物体(例如,大厦、隧道等的建筑物等)的高度方向(垂直方向)的信息),(b2)行驶地点(或计划行驶地点)的依次变化的信息(有时间序列性、实时性的信息),例如行驶路径上的施工信息、拥堵信息等,(b3)普通道路和高速公路的差异、及包括到道宽等的高精细(地图)信息,(b4)由与来自GPS传感器的信息组合得到的地图上的装置(汽车)位置信息等。
此外,上述的(c)装置(汽车)自身的动作/操作信息例如是,(c1)关于装置(汽车)自身的行驶速度、行驶加速度、停止的信息,(c2)加速踏板、制动踏板等的踏入信息(驾驶操作信息),(c3)变速齿轮(变速器)的位置(前进行驶用齿轮、后方行驶用齿轮的选择等),(c4)关于行李箱货物积载量等的信息(即,关于汽车的载重平衡的信息)等的信号。
另外,信息信号(及以信息信号的信息为基础的参照信号)并不限定于这些。此外,本实施方式也可以是曝光/发光控制部24接受基于信息信号的控制用参照信号。
此外,运算部21内的被摄体运算部22是进行用于被摄体(或特定被摄体)感应的运算的单元,根据来自固体摄像元件20的第1摄像信号、第2摄像信号计算关于特定被摄体(或被摄体)的被摄体信号。这里,作为被摄体信号的一例,是(a)被摄体的检测(以下称作检测处理),(b)被摄体(或特定被摄体)的识别(以下称作识别处理),(c)到被摄体(或特定被摄体)的距离、被摄体(或特定被摄体)的尺寸(高度、宽度)、被摄体(或特定被摄体)的形状、被摄体(或特定被摄体)的速度等。
此外,本实施方式的感应系统10通过单独使用第2摄像信号(反射有源光)的运算,能够计算被摄体信号。作为该运算方法的一例,有TOF(飞行时间)方式。根据TOF方式,作为发光信号,能够将来自测量对象物的反射有源光作为曝光信号,基于第1曝光信号和第2曝光信号的以不同的定时的两个样式用固体摄像元件20内的有源光用像素曝光的各自的光量的比,计算到测量对象物(被摄体)的距离。换言之,对于被摄体,按照由曝光/发光控制部24产生的曝光信号表示的定时进行多次曝光,能够输出与多次的曝光量的总和对应的摄像信号。
例如,通过第1曝光信号,以包含来自测量对象物的反射光的全部的方式进行曝光,通过第2曝光信号,进行来自测量对象物的反射光相对于发光定时越延迟、曝光量越增加那样的曝光。此外,为了检测背景光等的偏移成分,使发光信号停止,进行与第1曝光信号、第2曝光信号相同条件的曝光。
并且,使用下述的(式1)计算基于第1曝光信号的曝光量的总和S1、基于第2曝光信号的曝光量的总和S0、背景光的曝光量的总和BG、照射的直接光的发光信号的时间幅度T0、从光速度c的各值到被摄体的距离L。
[数式1]
此外,按照1画面的发光信号、第1曝光信号、第2曝光信号的定时,将发光信号和第1曝光信号多次反复输出,然后将发光信号和第2曝光信号以相同次数反复输出,然后使发光信号停止,将与第1曝光信号及第2曝光信号相同条件的曝光信号以相同次数反复输出。也可以将该一系列的定时作为1个组,将其反复输出多个组后,将储存的曝光量输出,通过(式1)计算到被摄体的距离。
另外,本实施方式的感应系统10也可以使用TOF方式以外的运算处理。作为一例,也可以采用感应系统10将照射有源光照在被摄体上、用反射有源光的畸变进行运算处理的图案照射方式等。
进而,本实施方式的感应系统10能够通过单独使用第1摄像信号(无源光)的运算来计算被摄体信号。作为该运算方法的一例,有对基于第1摄像信号的连续图像进行摄影、将该连续图像的信号(图像摄像信号)向运算部21输出并在运算部21中将当前的帧(图像)与之前的帧(图像)比较来进行被摄体信号的计算的方法。
这样,使用参照信号和第1摄像信号及/或第2摄像信号,在操作环境条件(在汽车中是驾驶状况、或从停止向启动的转移状况)下,通过最适合的运算方法,能够进行被摄体信号的运算(计算)。
此外,运算部21内的信号处理部23是进行以被摄体(或特定被摄体)感应精度及性能提高、信号量减少为目的的信号处理的单元,与第1摄像信号、第2摄像信号、参照信号一起,由后述的处理信号或一次被摄体信号、处理信号进行例如以下作为一例表示的信号处理。
作为信号处理的一例,是:(a)检测处理;(b)识别处理;(c)降噪处理,减少可能成为噪声的信号;(d)使用单个低分辨率的摄像,或使用基于其他多个摄像推测的值,使摄像信息(摄像图像)变得高精细或清晰的处理(影像放大高精细化处理、超分辨率处理);(e)所谓的HDR(高动态范围)处理,一边改变曝光一边进行多张的摄像,通过将它们合成而计算泛白及泛黑较少的具有较宽的动态范围的图像(高动态范围图像),及/或通过将制作出的摄像信息(图像)用色调映射(作为方法,有降低图像整体的对比度的方法、或降低图像的局部性的对比度的方法)缩小动态范围,来进行拥有标准的动态范围的图像的计算;(f)所谓的压缩处理,从摄像信息中减少多余的部分、减少整体的信号量的处理;(g)第1摄像信号、第2摄像信号的选择处理(也包括一部分选择);(h)是否将被摄体信号向后段(后述的装置控制部40)输出的判断处理;(i)在将被摄体信号向后段(后述的装置控制部40)输出的情况下根据多种信息(特定被摄体的种类、到特定被摄体的距离、特定被摄体的尺寸、特定被摄体的形状、特定被摄体的速度等)进行的是否将其一部分或全部输出的选择判断处理;等等。
另外,信号处理并不限定于上述。
此外,在本实施方式中,如上述那样,检测处理和识别处理在被摄体运算部22和信号处理部23的哪个中都能够进行。
此外,关于上述(f)的压缩处理,可以使用可逆压缩、非可逆压缩(作为一例是MPEG、JPEG)。特别是,在重视从运算部21向装置控制部40的非被摄体信号的传输速度的情况下,更优选的是使用可逆压缩,另一方面,在重视后述的装置控制部40的信号处理负荷的降低的情况下更优选的是非可逆压缩。
图5A~图5D是在有关实施方式1的感应系统及驾驶支援系统中搭载的运算部的结构例的功能框图。
运算部21将信号处理部23搭载有信号处理部23a、23b。
运算部21在重视上述(f)、(g)、(h)及(i)的信号处理的情况下,如图5A所示,更优选的是在被摄体运算部22的后段搭载信号处理部23b。另一方面,运算部21在重视上述(c)、(d)、(e)及(f)的信号处理的情况下,更优选的是如图5B所示那样在被摄体运算部22的前段搭载信号处理部23a。
进而,在运算部21中,如果在上述(f)的信号处理中重视被摄体运算部22的负荷降低,则更优选的是如图5B那样在被摄体运算部22的前段搭载信号处理部23a。另一方面,在运算部21中,如果重视后段的装置(装置控制部40)的负荷降低,则更优选的是如图5A那样在被摄体运算部22的后段搭载信号处理部23b。
另外,被摄体运算部22和信号处置部的配置并不限定于图5A或图5B。例如,也可以如图5C那样在被摄体处理部的前段及后段配置信号处理部23a、23b。在此情况下,能够更细致及正确地实施运算的最优化。
此外,也可以如图5D所示那样,使用由信号处理部23处理后的处理信号,用被摄体运算部22形成一次被摄体信号,再回到信号处理部23,再次进行信号处理(还有将这些反复进行的情况),来输出被摄体信号。在此情况下,能够以较高的维度实现运算的高精度化、运算部21的小型化等。
此外,运算部21在操作环境条件(在汽车时是驾驶状况、或从停止向启动的转移状况)下,通过最适合的第1摄像信号、第2摄像信号的选择(或补全)进行运算。
对该运算方法的使用区分(使用方式)的一例进行说明。
(a)第1使用方式是根据昼夜选择第1摄像信号或第2摄像信号的方法,例如在白天等的情况下,在本实施方式中主要使用第1摄像信号。另一方面,在夜间等不能进行清晰的可视图像摄像的情况下,主要使用第2摄像信号。由此,不论昼夜如何都能够正确地进行感应。
(b)第2使用方式是根据处置的天气及环境条件等选择图像摄像信号或摄像信号的方法。例如,在傍晚等的受到较强的日照的情况下、在降雨的情况下等主要使用第2摄像信号,在其以外的环境下主要使用第1摄像信号。由此,不论是怎样的天气状况都能够以较高的精度进行感应。
(c)第3使用方式是根据到被摄体的距离选择第1摄像信号或第2摄像信号的方法。即,在容易成为广角图像的近距离下主要使用第2摄像信号,在中远距离下主要使用第1摄像信号。由此,在怎样的到被摄体的距离的情况下都能够以较高的精度进行感应。
(d)第4使用方式是根据搭载本系统的运输设备(例如汽车)或被摄体的运动速度来选择第1摄像信号或第2摄像信号的方法。例如在运输设备的速度是例如100km/h以上的高速度时,更优选的是主要使用第2摄像信号。
(e)第5使用方式是当搭载本系统的运输设备(例如汽车)从停止中行驶起步(前方起步或后方起步)时,以到被摄体(或特定被摄体)的距离测量精度为优先,主要使用第1摄像信号。
另外,在本实施方式中,根据上述测距环境(感应环境)的状态选择第1摄像信号或第2摄像信号,但并不限定于此。例如,为了使根据一方的信号的运算结果正确,根据环境的状态也可以将单方的信号用于修正。
例如,作为(d)第4使用方式的详细情况,也可以是,在运输设备的速度为例如30km/h以内的低速度下,使用第2摄像信号的运算结果和第1摄像信号的运算结果中的某个的运算结果作为补全信息来计算最终的距离。此外,也可以例如在30~100km/h以内的中速度下将第2摄像信号和第1摄像信号按每个帧区分使用,例如在100km/h以上的高速度下使用第2摄像信号。由此,不论是怎样的到被摄体的距离都能够以较高的精度测距。
(f)作为第6使用方式,在使用图像摄像信号(第1摄像信号)取得被摄体(或特定被摄体)的边缘线部而进行检测处理(所谓的边缘检测处理)时也一起进行压缩处理,结果,在图像的轮廓(被摄体的边缘)模糊而不能充分得到边缘线部的信息的情况下,使用TOF信号(第2摄像信号)作为补全信号(换言之,对于使用压缩图像的运算使用根据TOF的运算作为补全运算)。由此,能够不降低被摄体检测及被摄体识别的精度而进行信号量削减(信号压缩、数据压缩)。
此外,运算部21将被摄体信号向装置控制部40输出,装置控制部40进行装置控制。另外,该被摄体信号例如也包含如后述那样不能充分地得到摄像信号、不能运算的结果作为被摄体信号。
此外,根据从感应系统10输出的被摄体信号进行的装置控制(装置操作)在搭载驾驶支援系统30的装置是汽车的情况下,例如进行以下的装置控制:(a)自动制动操作,在行驶中在前方有障碍物的情况下避免碰撞;(b)起步停止操作,在停止中,在尽管有障碍物、但弄错制动踏板而踩踏了加速踏板的情况下停止车辆起步;(c)紧急制动信号操作,用于对后续车辆在视觉上表示正在进行急制动;(d)判断为仅通过自动制动来不及的情况下的自动转向操作;(e)所谓的自动驾驶操作,使用关于车道的白线等的被摄体信号,驾驶者能够不进行转向操作等而行驶,等等。另外,装置操作并不限定于上述的操作。
接着,使用图6对有关实施方式1的感应系统10的处理流程进行说明。这里,图6是有关实施方式1的感应系统及驾驶支援系统的流程图。
首先,感应系统10从装置侧接受参照信号(S10)。
接着,固体摄像元件20分别基于第1光及第2光计算第1摄像信号及第2摄像信号(S11)。
接着,将第1摄像信号及/或第2摄像信号向运算部21输出(S12)。
接着,运算部21基于第1摄像信号及第2摄像信号进行被摄体运算处理及信号处理,计算被摄体信号(S13)。另外,也有运算部21直接接受参照信号、也使用该参照信息计算被摄体信号的情况。
接着,进行是否将计算出的被摄体信号向后段输出的判断(S14)。
在S14中,在计算出的是否将被摄体信号向后段输出的判断为是的情况下(即,判断为将被摄体信号输出的情况下)(S14中是),将被摄体信号向装置侧输出(S15)。
接着,在装置侧,使用被摄体信号进行上述那样的装置控制(S16)。例如,在通过运算能够掌握到被摄体的距离、尺寸及形状、能够检测到被摄体的情况下,使用被摄体信号,进行自动制动操作、紧急制动信号操作、自动操纵操作、自动加速操作等。
另外,被摄体信号并不限于能够掌握到被摄体的距离、尺寸及形状、能够进行被摄体检测/识别的情况,也包括不能运算到被摄体的距离、尺寸及形状、不能进行被摄体检测/识别等的信息(信号)。在此情况下,例如在大雨、雾等的天气恶化、在非常混乱的场所的行驶中的情况下,进行输出表示不能计算到被摄体的距离等的信号(被摄体信号)、装置(汽车)侧对驾驶者产生表示视野较差、是不能用感应系统10计算被摄体信号那样的状态的警告音或显示器显示等那样的装置控制。
以上,在是否将被摄体信号向后段输出的判断为是的情况下结束。
另外,在是否将计算出的被摄体信号向后段输出的判断为否(即,即使信号输出、作为用来进行汽车控制的信息也不是有益的,判断为不将被摄体信号输出的情况)的情况下(S14中否),并且在第1情况下,在感应系统10内进行信号消除(或,虽然暂时将信息储存(记录或存储),但因为通过新的被摄体信号的计算而记录/存储容量不足等,通过信号覆盖而将旧信号消除,或者,虽然暂时地存储信息,但通过一定的时间经过等进行信号消除)等。
以上,在是否将被摄体信号向后段输出的判断为否的情况且第1情况下结束。
此外,在是否将计算出的被摄体信号向后段输出的判断为否的情况下(S14中否),并且在第2情况下,例如进行以下的某个动作:(a)在新进行参照信号的输入(获得)后,再次进行摄像,新获得第1摄像信号、第2摄像信号,再次进行被摄体运算处理及/或信号处理的再执行;(b)获得由新的摄像动作得到的新的第1摄像信号、第2摄像信号,再次进行被摄体运算处理、信号处理的再执行;(c)在新的参照信号的输入(获得)后,再次进行被摄体运算处理、信号处理的再执行;(d)再次进行被摄体运算处理、信号处理的再执行的某个动作。
然后,进行是否输出被摄体信号的再次判断,在为是的情况下输出被摄体信号,基于该被摄体信号进行装置控制。
以上,在是否将被摄体信号向后段输出的判断为否的情况下且第2情况下结束。
如以上这样使用附图说明的本实施方式的感应系统10具备以下这样的效果。
根据本实施方式,能够在避免感应系统10的装置大型化、高成本化的同时,进行比通常的感应系统(换言之单机型系统)更高精度的感应及感应运算(被摄体信号的计算)。
此外,在本实施方式中,通过适当使用多种摄像信号(基于反射有源光的第1摄像信号、基于无源光的第2摄像信号)和参照信号进行被摄体信号的计算,例如对于在汽车中在行驶中依次变化的环境的变化,也能够总是以高精度计算被摄体信号。
特别是,如图2A~图2E所示,在本实施方式的感应系统10中,输出第1摄像信号和第2摄像信号的固体摄像元件20是相同的,即使用单板的固体摄像元件20。因此,各摄像信号的摄像中心(光学中心、光轴中心)等相同,摄像信号间的相位差较少,摄像信号的同步等的精度较高,所以与基于第1摄像信号和第2摄像信号的各自的运算结果的互换性及相关性较高,能够计算精度更高的被摄体信号。
此外,在本实施方式中,感应系统10具备运算部21,使用来自装置侧的参照信号,换言之,使用以各种传感器(GPS传感器等)或云等的信息为基础的参照信号。由此,对于在时间轴上依次变化的环境状况(拥堵信息、施工信息)也能够总是高精度地进行最适合的摄像、运算,在所有的情况下都能够进行高精度的装置控制(驾驶控制、操作控制)。
例如,作为搭载本实施方式的感应系统10的车辆的本系统搭载车辆在根据参照信号(通过与GPS传感器、云信息等组合得到的地图上的装置(汽车)位置信息、作为装置(汽车)自身的动作/操作信息的速度信息等)判断出正在高速道路上行驶的情况下,计算重视作为前方物正进行高速移动的前方车辆的被摄体信号,通过将该被摄体信号向装置控制部40发送,装置控制部40能够进行适合于该状况的装置控制。
此外,作为其他例,本系统搭载车辆在根据参照信息判断为正在例如道宽较窄那样的行人车辆兼用道路中行驶的情况下(换言之,本系统搭载车辆以比较低速行驶),能够输出重视在到被摄体比较近距离的范围中检测及识别多种多样的被摄体或特定被摄体(例如,除了前方车辆以外,还有行人、自行车、动物、进入车道中的障碍物等)的被摄体信号,装置控制部40能够进行能适合于该状况的装置控制。
此外,在本实施方式中,通过用信号处理部进行信号处理,能够总是以高精度进行最优的摄像、运算,在所有的环境条件都能够进行高精度的装置控制(驾驶控制、操作控制)。
此外,在本实施方式中,通过用信号处理部进行信号处理,能够防止被摄体信号成为千兆比特(Giga bit)量级的容量而需要高速数据传输的情况。
此外,在本实施方式中,感应系统10通过将被摄体信号有选择地输出,能够不对运算部21作用较大的负荷而实现连续摄像、连续运算。
进而,在本实施方式中,来自运算部21的运算结果(被摄体信号)有选择地(以适当的定时)向装置侧控制部发送,所以在装置侧(装置控制部40)能够降低运算负荷,能够进行运算的高精度化、高速运算、高速处理、低耗电化。
特别是,在汽车用途中,近年来为了进行数量较多的控制而将装置控制部40(集成电路)高集成化(作为一例,增加了通用处理器(CPU)的数量)。如果这样,则在装置整体中带来耗电的增加及成本增加,即,有负荷变得极大的问题,而本实施方式能够解决该问题。
(实施方式2)
以下,参照附图对有关实施方式2的感应系统(测距摄像系统)的结构及动作,以与基本结构不同的点、以及与在到此为止的实施方式中说明的内容的差异点为中心说明详细情况。
图7A及图7B是表示有关实施方式2的感应系统及驾驶支援系统的概略结构例的功能框图。
如果以与图1的基本结构不同的点、以及与图3的结构的差异为中心进行说明,则图7A及图7B所示的有关本实施方式的驾驶支援系统30具备主感应系统10a和子感应系统10b。
图7A及图7B所示的主感应系统10a基本结构与在图3中表示的感应系统10相同。但是,关于处理流程一部分有不同的点,其详细情况后述。另外,主感应系统10a也可以是与图3不同的系统。
另一方面,图7A及图7B的子感应系统10b例如进行(a)被摄体的中的特定被摄体的检测处理、(b)被摄体(或特定被摄体)的识别处理、(c)关于特定被摄体(或被摄体)的距离、尺寸、形状及速度的计算等。
另外,该子感应系统10b可以使用与主感应系统10a相同的结构,但也可以使用重视功能的缩减、低成本化、小型化等而与主感应系统10a不同方式的感应系统(作为一例,使用微波雷达、激光雷达的感应系统等)。
进而,在图7A及图7B中表示了1台子感应系统10b,但也可以设置多台子感应系统10b。
使用图8A及图8B对其详细情况进行说明。
图8A是表示有关实施方式2的感应系统及驾驶支援系统的第1搭载例的概略搭载图,图8B是表示有关实施方式2的感应系统及驾驶支援系统的第2搭载例的概略搭载图。
如图8A所示,主感应系统10a为了用于在行驶中最重视的前方感应而设置,子感应系统10b设置为,对车辆的侧面、后方进行感应。由此,能够对车辆的全方向进行感应。
另一方面,如图8B所示,也可以将子感应系统10b为了进行与主感应系统10a相同方向的感应而设置。由此,能够更高精度地进行相同方向(前方方向)上的感应精度。
另外,主感应系统10a和子感应系统10b的设置并不限定于上述,也可以设置在其他地点,或者也可以将图8A和图8B的设置组合。
再次使用图7A及图7B进行说明。图7A表示主感应系统10a是通常状态及非通常状态时、子感应系统10b是通常状态时的情况,图7B表示子感应系统10b是非通常状态时的情况。另外,所谓非通常状态时,是设备(运输设备)有可能与障碍物碰撞的情况等。
如图7A所示,子感应系统10b在通常状态时不将运算结果向装置控制部40输出。另一方面,如图7B所示,子感应系统10b侧在非通常状态时且得到了应注意的被摄体信息的情况下,向装置侧(装置控制部40)输出子被摄体信号。
此外,在输出了子被摄体信号的情况下,装置控制在装置是汽车(运输设备)的情况下(特别是作为对前方进行感应的系统使用的情况下),例如进行以下的装置控制:(a)在停止中尽管有障碍物、但弄错制动踏板而踩踏了加速器等的情况下自动起步停止;(b)为了对于后续车辆用视觉表示正进行急制动而紧急制动信号动作;(c)在判断为仅通过自动制动来不及的情况下自动转向操作,等等。但是,装置操作并不限定于上述。
另外,在上述控制中,也可以想到根据情况会与前方车辆碰撞,但在本实施方式中能够避免该问题。使用图9对其详细情况进行说明。
图9是有关实施方式2的感应系统及驾驶支援系统的流程图。
以下,使用图9对有关实施方式2的感应系统10的处理流程进行说明。
首先,主感应系统10a从装置侧接受参照信号(S21)。
接着,由固体摄像元件20分别基于第1光及第2光计算第1摄像信号及第2摄像信号(S22)。
接着,将第1摄像信号及/或第2摄像信号向运算部21输出(S23)。
接着,运算部21基于第1摄像信号及第2摄像信号进行被摄体运算处理及信号处理,计算主被摄体信号(S24)。另外,也有运算部21直接接受参照信号、也使用该参照信息计算主被摄体信号的情况。
这里,说明以与主感应系统10a相同定时进行的子感应系统10b。
首先,子感应系统10b计算子被摄体信号(S31)。
接着,判断是否将子被摄体信号向装置侧输出(S32)。另外,在子感应系统10b中,不论在S33中是否指示主被摄体信号的输出停止,都将子被摄体信号向装置侧(装置控制部40)输出。
在S32中,在是否将子被摄体信号向后段输出的判断为否(即,即使输出子被摄体信号也不是用来进行装置控制的有益的信息、判断为不将子被摄体信号输出的情况下)的情况下(S32中否),进行子被摄体信号的消除(或者,虽然暂时将信息储存,但因为通过新的子被摄体信号的计算而记录/存储容量不足等,通过子被摄体信号覆盖而将旧信号消除,或者,虽然暂时储存信息,但通过一定的时间经过等而将信号消除)等(S35)。
以上,在是否将子被摄体信号向后段输出的判断为否的情况下结束。
另一方面,在S32中,在是否将子被摄体信号向后段输出的判断为是(即,判断为输出了子被摄体信号的情况下)的情况下(S32中是),将子被摄体信号向装置侧(装置控制部40)输出(S33),并将关于该判断的信号(输出判断信号)向主感应系统10a输出(S33中是)。
接着,在主感应系统10a中,也考虑输出判断信号,进行是否将主被摄体信号向后段输出的判断(S25)。但是,该判断不需要等待输出判断信号被输入。
在S25中,在是否将主被摄体信号向后段输出的判断为否(在判断为即使输出主被摄体信号也不是用来进行汽车控制的有益的信息的情况下,或在判断为子被摄体信号优先级比主被摄体信号高的情况下)的情况下(S25中否),并且在第1情况下,在感应系统内进行主被摄体信号的消除(或者,虽然暂时将信息储存,但因为通过新的被摄体信号的计算而记录/存储容量不足等,通过主被摄体信号覆盖而将旧信号消除,或者,虽然暂时储存信息,但通过一定的时间经过等而将信号消除)等(S28)。
此外,在S25中,在是否将主被摄体信号向后段输出的判断为否的情况下(S25中否),并且在第2情况下,与实施方式1同样,例如也可以进行以下的某个动作:(a)在新进行参照信号的输入(获得)后,再次进行摄像,新获得第1摄像信号、第2摄像信号,再次执行被摄体运算处理及/或信号处理;(b)获得由新的摄像动作带来的新的第1摄像信号、第2摄像信号,再次执行被摄体运算处理、信号处理;(c)在新的参照信号的输入(获得)后,再次执行被摄体运算处理、信号处理;(d)被摄体运算处理、信号处理的再执行。
以上,在是否将主被摄体信号向后段输出的判断为否的情况下(S25中否),并且在第2情况下结束。
另一方面,在S25中,在是否将主被摄体信号向后段输出的判断为是的情况下(S25中是),将主被摄体信号向装置侧输出(S26)。
接着,在装置侧,使用子被摄体信号或主被摄体信号如上述那样进行装置控制(S27)。由此,当避免子感应系统10b监视的方向(后方)的危险时,能够在考虑主感应系统10a监视的方向(前方)的状况的同时进行危险避免(装置控制)。
以上,如使用附图说明那样,在有关本实施方式的驾驶支援系统中,能够对于对多个方向的危险进行装置控制。
进而,在本实施方式中,装置控制适当区分仅使用子被摄体信号的情况、和使用子被摄体信号和主被摄体信号的情况而使用,当避免子感应系统10b监视的方向(后方)的危险时,能够在考虑主感应系统10a监视的方向(前方)的状况的同时进行危险避免(装置控制)。
此外,在本实施方式中,适当区分仅使用子被摄体信号的情况、和使用子被摄体信号和主被摄体信号的情况而使用,即,不总是输出主被摄体信号和子被摄体信号。由此,能够在进行多方向的感应的同时,防止在装置侧(装置控制部40)施加高负荷,能够进行运算的高精度化、高速运算、高速处理、低耗电化。
特别是,在汽车(运输设备)用途中,近年来为了进行数量较多的控制而将装置控制部40(集成电路)高集成化(作为一例,增加了通用处理器(CPU)的数量)。在这样的情况下,在装置整体中带来耗电的增加及成本增加,即,负荷很大,引起运算错误及运算的延迟,而本实施方式能够解决该问题。
另外,在本实施方式中,子感应系统10b与主感应系统10a同样,也可以从装置控制部40接受参照信号。在此情况下,子感应系统10b能够进行更适合于行驶环境的判断。
另外,有关本发明的感应系统及驾驶支援系统并不限定于上述实施方式。将各实施方式的任意的构成要素组合而实现的其他实施方式、或对各实施方式实施本领域技术人员在不脱离本发明的主旨的范围内想到的各种变形而得到的变形例、及内置了有关本实施方式的感应系统及驾驶支援系统的各种设备也包含在本发明中。
产业上的可利用性
有关本发明的感应系统、驾驶支援系统由于能够实现测量对象物的高精度的感应,所以例如对于向运输设备的搭载来说是有用的。
标号说明
10 感应系统
10a 主感应系统
10b 子感应系统
20 固体摄像元件(图像传感器、传感器元件)
21 运算部
22 被摄体运算部
23、23a、23b 信号处理部
24 曝光/发光控制部
25 脉冲光源部
25a、25b 头灯
26a、26b 雾灯
30 驾驶支援系统(操作支援系统)
40 装置控制部
41 信息获得部