CN109309785B - 拍摄控制装置以及拍摄控制方法 - Google Patents

拍摄控制装置以及拍摄控制方法 Download PDF

Info

Publication number
CN109309785B
CN109309785B CN201810817409.0A CN201810817409A CN109309785B CN 109309785 B CN109309785 B CN 109309785B CN 201810817409 A CN201810817409 A CN 201810817409A CN 109309785 B CN109309785 B CN 109309785B
Authority
CN
China
Prior art keywords
vehicle
road surface
imaging
imaging device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810817409.0A
Other languages
English (en)
Other versions
CN109309785A (zh
Inventor
中田洋平
大山慎史
山口拓也
竹内一真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018043119A external-priority patent/JP7169075B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN109309785A publication Critical patent/CN109309785A/zh
Application granted granted Critical
Publication of CN109309785B publication Critical patent/CN109309785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

提供能够使拍摄装置拍摄容易识别物体的图像的拍摄控制装置以及拍摄控制方法等。拍摄控制装置(100)具备:第一位置推定部(110),其使用车辆(200)的行进方向、速度矢量或路径数据推定车辆将来行驶的位置;路面推定部(120),其使用由传感器(201)检测出的用于推定车辆将来行驶的位置的路面的形状或者状态的路面信息、或由拍摄装置(210)拍摄到的车辆将来行驶的位置的路面的图像,推定车辆将来行驶的位置的路面的沿行进方向的高度的变化率或路面的状态;变更部(130),其根据路面的沿行进方向的高度的变化率或路面的状态变更拍摄装置的参数;控制部(140),其在该车辆通过车辆将来行驶的位置的定时,使用变更后的参数使车辆的拍摄装置进行拍摄。

Description

拍摄控制装置以及拍摄控制方法
技术领域
本公开涉及对配置于车辆的拍摄装置进行控制的拍摄控制装置以及拍摄控制方法。
背景技术
以往,在专利文献1中公开了以下报知处理装置:使用拍摄装置拍摄车辆的前方,从由此得到的拍摄图像中识别特定的标示物。如专利文献1所示,已知以下一种技术:使用通过拍摄车辆的周围而得到的图像,为了该车辆的自动驾驶或者自动驾驶辅助而识别路面上的物体。
现有技术文献
专利文献1:日本特开2017-102007号公报
发明内容
发明要解决的问题
然而,在上述现有技术中,难以从由配置于车辆的拍摄装置得到的图像中识别物体。
因此,本公开的目的在于提供一种能够使拍摄装置拍摄能容易地识别物体的图像的拍摄控制装置等。
用于解决问题的技术方案
本公开的一技术方案所涉及的拍摄控制装置使配置于车辆的拍摄装置拍摄上述车辆的周围,该拍摄控制装置具备:第一位置推定部,其获取表示上述车辆的行进方向和沿上述行进方向行驶的上述车辆的速度的速度矢量、或者表示上述车辆行驶的路径的路径数据,使用获取到的上述速度矢量或者上述路径数据,对上述车辆将来行驶的位置进行推定;路面推定部,其获取由配置于上述车辆的传感器检测出的用于对包括被推定为上述车辆将来行驶的位置的路面的形状或者上述路面的状态进行推定的路面信息、或者由上述拍摄装置拍摄到的包括被推定为上述车辆将来行驶的位置的路面的图像,使用获取到的上述路面信息或者上述图像,对由上述第一位置推定部推定出的上述车辆将来行驶的位置上的上述路面沿上述行进方向的高度的变化率或者上述路面的状态进行推定;变更部,其根据由上述路面推定部推定出的上述路面沿上述行进方向的高度的变化率或者上述路面的状态,对作为上述拍摄装置的快门速度以及上述拍摄装置的灵敏度中的至少一方的上述拍摄装置的参数进行变更;以及控制部,其在上述车辆通过由上述第一位置推定部推定出的上述车辆将来行驶的位置的定时,使用由上述变更部变更后的上述参数,使上述拍摄装置进行拍摄。
此外,这些总体的或者具体的方式即可以通过系统、方法、集成电路、计算机程序或者能由计算机读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
发明的效果
根据本公开所涉及的拍摄控制装置,能够使拍摄装置拍摄能容易识别物体的图像。
附图说明
图1是表示实施方式所涉及的车辆的外观图的图。
图2是表示实施方式所涉及的具备拍摄控制装置的车辆的硬件结构的一例的框图。
图3是表示实施方式所涉及的具备拍摄控制装置的车辆的功能结构的一例的框图。
图4是表示能够分别实现不同的多个快门速度的噪声水平和曝光的组合的方案图。
图5是表示使用预定的识别算法来识别图像的情况下的识别率、噪声水平和曝光的组合的方案图。
图6是表示实施方式所涉及的拍摄控制装置的拍摄控制方法的一例的流程图。
图7是用于说明拍摄控制装置的拍摄控制方法的图。
图8是表示第一变形例所涉及的具备拍摄控制装置的车辆的功能结构的一例的框图。
图9是表示第一变形例所涉及的拍摄控制装置的拍摄控制方法的一例的流程图。
图10是用于说明物体的多个图像间的物体的移动速度的图。
图11是表示第二变形例所涉及的具备拍摄控制装置的车辆的功能结构的一例的框图。
图12是表示第二变形例所涉及的拍摄控制装置的拍摄控制方法的一例的流程图。
标号说明
100、100A、100B:拍摄控制装置;102:主存储器;103:储存器;104:通信IF;105:GNSS;110:第一位置推定部;120:路面推定部;130:变更部;140:控制部;150:第二位置推定部;160:速度修正部;170:模糊修正部;200、200A、200B:车辆;210:拍摄装置;220:路面检测部;230:速度检测部;240:照度检测部;300:驾驶控制装置;301、302:路面。
具体实施方式
(成为本发明的基础的见解)
本发明人发现了在“背景技术”一栏中记载的报知处理装置会产生以下问题。
在专利文献1的技术中,在由于车辆在碎石面、铺石等坏道路、凹凸、落差等路面上行驶而车辆的姿势发生急剧的变化的情况下,配置于车辆的拍摄装置的姿势也会急剧地发生变化。因此,由拍摄装置拍摄得到的图像会产生模糊、失真等,从而难以识别映入于该图像中的物体(包括人)。
本公开的一技术方案所涉及的拍摄控制装置使配置于车辆的拍摄装置拍摄上述车辆的周围,所述拍摄控制装置具备:第一位置推定部,其获取表示上述车辆的行进方向和沿上述行进方向行驶的上述车辆的速度的速度矢量、或者表示上述车辆行驶的路径的路径数据,使用获取到的上述速度矢量或者上述路径数据,对上述车辆将来行驶的位置进行推定;路面推定部,其获取由配置于上述车辆的传感器检测出的用于对包含被推定为上述车辆将来行驶的位置的路面的形状或者上述路面的状态进行推定的路面信息、或者由上述拍摄装置拍摄的包含被推定为上述车辆将来行驶的位置的路面的图像,使用获取到的上述路面信息或者上述图像,对由上述第一位置推定部推定出的上述车辆将来行驶的位置上的上述路面沿上述行进方向的高度的变化率或者上述路面的状态进行推定;变更部,其根据由上述路面推定部推定出的上述路面沿上述行进方向的高度的变化率或者上述路面的状态,对作为上述拍摄装置的快门速度以及上述拍摄装置的灵敏度中的至少一方的上述拍摄装置的参数进行变更;以及控制部,其在上述车辆通过由上述第一位置推定部推定出的上述将来行驶的位置的定时,使用由上述变更部变更后的上述参数,使上述拍摄装置进行拍摄。
由此,能够在车辆实际通过将来行驶的位置上的路面的定时,根据与预先推定出的该路面的形状或者状态相应地变更后的参数使拍摄装置进行拍摄。也即是,能够根据与沿车辆的行进方向的路面的高度的变化率或者路面的状态相应地适当地设定的参数使拍摄装置进行拍摄,因此能够使拍摄装置拍摄容易识别物体的图像。
另外,也可以是,还具备对上述车辆的当前位置进行推定的第二位置推定部,上述第一位置推定部还使用由上述第二位置推定部推定出的上述车辆的上述当前位置,对上述车辆的上述将来行驶的位置进行推定。
因此,能够高精度地推定将来行驶的位置。
另外,也可以是,上述第一位置推定部获取上述速度矢量,上述变更部根据由上述路面推定部推定出的上述路面沿上述行进方向的高度的变化率以及上述速度矢量,对在上述定时上述拍摄装置在与上述拍摄装置的拍摄面平行的方向上进行移动的速度大小进行推定,推定出的上述平行的方向的速度大小越大,则进行(i)将上述快门速度向越小的值变更以及(ii)将上述灵敏度向越大的值变更中的至少一方。
因此,使拍摄装置在拍摄装置的平行的方向的速度大小越大、则进行将快门速度向越小的值变更以及将灵敏度向越大的值变更中的至少一方的状态下进行拍摄。因此,能够减少所得到的图像产生模糊、失真等的情况。
另外,也可以是,上述变更部根据推定出的上述平行的方向的速度大小来决定上述快门速度,确定使得从由上述拍摄装置以所决定的上述快门速度进行拍摄而得到的图像中通过预定的识别算法对物体进行识别的情况下的识别率变得大于预定值的噪声水平和曝光,将上述拍摄装置的上述参数变更为所决定的上述快门速度以及与所确定的上述曝光相应的灵敏度。
因此,能够以映入于图像中的物体的识别率提高的参数使拍摄装置进行拍摄。因此,能够使拍摄装置拍摄容易识别物体的图像。
另外,也可以是,还具备模糊修正部,所述模糊修正部获取由上述拍摄装置拍摄到的上述图像,对获取到的上述图像内的物体的模糊进行检测,在检测出上述图像内的上述物体的模糊的情况下,使上述变更部进行(i)将上述快门速度向更小的值变更以及(ii)将上述灵敏度向更大的值变更中的至少一方。
因此,即使是在以由变更部变更后的参数进行拍摄而得到的图像中产生模糊的情况下,也能够以变更为使得在下一定时进行拍摄时不会产生模糊的参数来使拍摄装置进行拍摄。
另外,也可以是,还具备速度修正部,所述速度修正部根据由上述拍摄装置的多次拍摄而得到的多个图像各自所包含的物体的位置变化,对上述物体的移动速度进行推定,推定出的上述移动速度的大小越大,则使上述变更部进行(i)将上述快门速度向小的值变更以及(ii)将上述灵敏度向大的值变更中的至少一个。
因此,在物体在拍摄装置的拍摄范围内进行移动的情况下,能够以适当的参数使拍摄装置拍摄该物体。
另外,也可以是,上述变更部获取对配置有上述拍摄装置的环境的照度进行检测的照度传感器的检测结果即表示照度的照度信息,获取到的上述照度信息所示的照度越小,则进行(i)将上述快门速度向小的值变更以及(ii)将上述灵敏度向大的值变更中的至少一方。
因此,能够根据照度来以适当的参数使拍摄装置进行拍摄。
也可以是,上述路面推定部对由上述第一位置推定部推定出的上述将来行驶的位置上的上述路面沿上述行进方向的高度的变化率进行推定,上述变更部根据被推定为上述车辆将来行驶的位置上的上述路面沿上述行进方向的高度的变化率,对上述拍摄装置的参数进行变更。
通过构成为这样,能够根据被推定为将来车辆行驶的位置上的路面沿行进方向的高度的变化率,对拍摄装置的参数进行变更。
此外,这些总体的或者具体的方式即可以通过系统、方法、集成电路、计算机程序或者能由计算机读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序或者记录介质的任意的组合来实现。
以下,参照附图具体地说明本发明的一个方式所涉及的拍摄控制装置和拍摄控制方法。
此外,以下说明的实施方式均表示本公开的一个具体例。在以下实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置和连接方式、步骤、步骤的顺序等为一个例子,并不意味着限定本公开的发明。另外,关于以下实施方式中的构成要素中的在表示最上位概念的独立权利要求中没有记载的构成要素,作为任意的构成要素来进行说明。
(实施方式)
以下,使用图1~图7说明实施方式。
[1-1.结构]
图1是表示实施方式所涉及的车辆的外观图的图。
在车辆200配置有对车辆的前方进行拍摄的拍摄装置210。拍摄装置210并不限于对车辆200的前方进行拍摄,只要对车辆200的周围进行拍摄即可,也可以对车辆200的左方向、右方向、后方向等进行拍摄。由拍摄装置210拍摄到的图像被使用于对车辆200周围的物体进行识别。识别得到的结果被使用于车辆200的自动驾驶或者驾驶辅助。
在车辆200的上部配置有距离传感器201。距离传感器201检测到车辆200周围的物体为止的距离。由距离传感器201检测出的表示距离的距离信息例如被使用于对自动驾驶或者自动驾驶辅助中的该车辆200的位置进行推定。
拍摄控制装置100控制拍摄装置210的拍摄。
接着,使用图2说明具备拍摄控制装置100的车辆200的硬件结构的具体例。
图2是表示实施方式所涉及的具备拍摄控制装置的车辆的硬件结构的一例的框图。
如图2所示,车辆200作为硬件结构而具备拍摄控制装置100、拍摄装置210、距离传感器201以及驾驶控制装置300。车辆200还可以具备加速度传感器202以及照度传感器203。
拍摄控制装置100作为硬件结构而具备CPU 101(Central ProcessingUnit:中央处理单元)、主存储器102、储存器103以及通信IF(Interface,接口)104。拍摄控制装置100也可以具备GNSS(Global Navigation SatelliteSystem:全球导航卫星系统)105。另外,拍摄控制装置100例如也可以是ECU(Electronic Control Unit:电子控制单元)。
CPU 101为用于执行存储在储存器103等中的控制程序的处理器。例如,CPU 101执行控制程序,由此后述的图3示出的拍摄控制装置100的各块发挥功能。
主存储器102为用作在CPU 101执行控制程序时使用的工作区的易失性存储区域。
储存器103为用于保持控制程序、内容等的非易失性存储区域。
通信IF 104为经由CAN(Controller Area Network:控制器局域网)等通信网络与拍摄装置210进行通信的通信接口。此外,通信IF 104并不限于有线通信的通信接口,也可以是无线通信的通信接口。另外,只要是能够建立拍摄装置210、驾驶控制装置300、各种传感器201~203等的通信连接的通信接口,则通信IF 104也可以是任意的通信接口。另外,通信IF 104也可以是能够与因特网等通用网络或者专用网络进行通信连接的通信接口。
GNSS 105从包括GPS卫星的人工卫星接收表示该GNSS 105的位置的信息。也即是,GNSS 105检测车辆200的当前位置。
拍摄装置210为具有透镜等光学系统和图像传感器的摄像头。拍摄装置210与拍摄控制装置100以能够相互进行通信的方式相连接。
距离传感器201检测与车辆200周围的物体之间的距离。具体而言,距离传感器201检测与处于车辆200的水平方向上的360度全方位以及垂直方向上的预定角度(例如30度)的角度范围的检测范围内的物体之间的距离。能够根据由距离传感器201检测出的距离来生成包括车辆200周围的物体的地形的三维形状。例如,作为包括车辆200周围的物体的地形的三维形状,能够生成行驶的车辆200周围的障碍物和路面的三维形状。此外,如果将距离传感器201的检测范围设为上述那样的范围,则能够生成包括车辆将来行驶的路面的三维形状。距离传感器201例如为LIDAR(Light Detection and Ranging:激光雷达)等的激光传感器。
加速度传感器202例如为对车辆200的三轴方向的每个方向上的加速度进行检测的传感器。加速度传感器202也可以是对水平方向的二轴的各轴上的加速度进行检测的传感器。加速度传感器202通过对三轴方向的每个方向上的车辆200的加速度进行检测,对车辆200的速度矢量进行检测。
照度传感器203配置于配置有拍摄装置210的空间,检测该空间的照度。照度传感器203例如也可以配置于车辆200的车内。
驾驶控制装置300为对车辆200的驾驶进行控制的信息处理装置。驾驶控制装置300例如具有CPU、主存储器(main memory)、储存器(storage)、通信IF等。驾驶控制装置300也可以通过与拍摄控制装置100共同的结构来实现。也即是,驾驶控制装置300也可以通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。另外,驾驶控制装置300例如也可以通过ECU来实现,在拍摄控制装置100通过ECU来实现的情况下,既可以通过用于实现拍摄控制装置100的ECU来实现,也可以通过与用于实现拍摄控制装置100的ECU不同的ECU来实现。
接着,使用图3说明具备拍摄控制装置的车辆的功能结构。
图3是表示实施方式所涉及的具备拍摄控制装置的车辆的功能结构的一例的框图。
车辆200作为功能结构而具备拍摄控制装置100、拍摄装置210、路面检测部220、速度检测部230、照度检测部240以及驾驶控制装置300。
拍摄装置210通过拍摄车辆200周围来生成车辆200周围的图像。拍摄装置210以不同的多个定时拍摄车辆200周围。拍摄装置210例如以1/30秒、1/20秒等预定采样周期拍摄车辆200周围。拍摄装置210的拍摄范围与距离传感器201的检测范围同样地,例如也可以将车辆200的水平方向上的360度全方位以及在垂直方向上的预定角度(例如30度)的角度范围作为拍摄范围。此外,如果将拍摄装置210的拍摄范围设为上述那样的范围,则能够生成包括车辆将来行驶的路面的三维形状。
此外,拍摄装置210的采样周期并不限于1/30秒、1/20秒。另外,拍摄装置210既可以不以预定采样周期进行拍摄,也可以以随机的时间间隔进行拍摄,还可以根据状况对进行拍摄的定时进行调整。
路面检测部220检测用于对车辆200的路面的形状或者路面的状态进行推定的路面信息。路面检测部220例如检测从车辆200起至车辆200周围的物体为止的距离。另外,路面检测部220例如也可以检测车辆200周围的路面处的激光的反射率。路面检测部220例如通过传感器、更具体而言通过距离传感器201来实现。例如,由距离传感器201检测出的到车辆200周围的路面为止的距离信息对应于用于对车辆200的路面的形状进行推定的路面信息,车辆200周围的路面处的激光的反射率对应于用于推定路面的状态的路面信息。
速度检测部230对车辆200的速度矢量进行检测。车辆200的速度矢量例如是指表示车辆200的行进方向以及向该行进方向行进的车辆200的速度的信息。速度矢量还被称为移动速度。也即是,速度检测部230对车辆200的行进方向以及向该行进方向的移动速度的大小进行检测。速度检测部230例如通过加速度传感器202来实现。
照度检测部240对配置有拍摄装置210的空间的照度进行检测。照度检测部240例如对车辆200的车内的照度进行检测。照度检测部240例如通过照度传感器203来实现。
驾驶控制装置300对车辆200的驾驶进行控制。具体而言,驾驶控制装置300通过控制使车轮转向的转向装置、使车轮进行旋转驱动的引擎(发动机)、马达等动力源、使车轮进行制动的制动器等,进行车辆200的自动驾驶或者驾驶辅助。例如,驾驶控制装置300使用车辆200的当前位置、车辆200的目的地以及周围的道路信息,决定表示车辆200在哪一个道路上行驶的全局(global)路径。而且,驾驶控制装置300在所决定的全局路径上生成表示车辆200行驶的局域(local)路径的局域路径数据。另外,驾驶控制装置300在行驶期间使用由拍摄装置210拍摄到的图像以及到由距离传感器201检测出的物体为止的距离中的至少一方,在车辆200的行进方向上检测障碍物。由此,如果检测出障碍物,则驾驶控制装置300生成表示在所决定的全局路径上避开该障碍物的局域路径的局域路径数据。另外,驾驶控制装置300对转向装置、动力源以及制动器进行控制以使得在所生成的路径数据所示的路径上进行行驶。驾驶控制装置300也可以将所生成的路径数据、表示检测出障碍物的结果的障碍物信息等输出到拍摄控制装置100。
拍摄控制装置100作为功能结构而具备第一位置推定部110、路面推定部120、变更部130以及控制部140。拍摄控制装置100还可以具备第二位置推定部150。另外,拍摄控制装置100还可以具备速度修正部(未图示)。另外,拍摄控制装置100还可以具备模糊修正部(未图示)。
第二位置推定部150对车辆200的当前位置进行推定。第二位置推定部150例如也可以使用由GNSS 105接收到的信息对车辆200的当前位置进行推定。在该情况下,第二位置推定部150例如通过CPU 101、主存储器102、储存器103以及GNSS 105来实现。
另外,第二位置推定部150也可以使用车辆200的转向角和车轮速度的历史记录对车辆200的当前位置进行推定。在该情况下,第二位置推定部150例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。也可以由储存器103经由通信IF 104定期地存储车辆200的转向角和车轮速度的历史记录。另外,也可以从存储有车辆200的转向装置的变动历史记录和车轮速度的变动历史记录的其它储存器经由通信IF 104获取车辆200的转向角和车轮速度的历史记录。
另外,第二位置推定部150也可以使用车辆200的加速度的历史记录对车辆200的当前位置进行推定。在该情况下,第二位置推定部150例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。也可以由储存器103经由通信IF 104定期地存储加速度的历史记录。另外,也可以从配置于车辆200的存储有加速度传感器的检测结果的其它储存器经由通信IF 104获取车辆200的加速度的历史记录。
另外,第二位置推定部150也可以通过使从由距离传感器201检测出的距离生成的车辆200周围的地形的三维形状与预先获取的地形的三维形状进行匹配来对车辆200的当前位置进行推定。在该情况下,第二位置推定部150例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。也可以经由通信IF 104获取表示由距离传感器201检测出的距离的距离信息。
第一位置推定部110获取车辆200的速度矢量或者路径数据,使用获取到的速度矢量或者路径数据对车辆200的将来行驶的位置进行推定。第一位置推定部110也可以从速度检测部230获取速度矢量。此外,第一位置推定部110也可以从根据由第二位置推定部150推定出的车辆200的当前位置的时间上的变化来计算出的车辆200的行进方向和速度,获取速度矢量。第一位置推定部110也可以从驾驶控制装置300获取路径数据。第一位置推定部110例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。
第一位置推定部110也可以将根据车辆200的路径数据确定的路径上的从该车辆200远离预定距离的位置推定为被推定为车辆200将来行驶的位置。此外,预定距离也可以是能由距离传感器201检测的最大距离以下的距离。另外,预定距离也可以是比拍摄装置210的预定采样周期(即,从拍摄装置210拍摄一张图像起至拍摄下一图像为止的时间)期间车辆200行进的距离大的距离。在该情况下,也可以将车辆200的速度固定为预定速度(例如50km/h、100km/h等)。
另外,第一位置推定部110也可以推定在预定时间后该车辆200所通过的位置来作为车辆200将来行驶的位置。在该情况下,第一位置推定部110也可以根据车辆200的速度矢量将预定时间后向当前的行进方向以当前的速度行进预定时间的情况下到达的位置推定为将来行驶的位置。
第一位置推定部110在由第二位置推定部150推定出车辆200的当前位置的情况下,还可以使用由第二位置推定部150推定出的车辆200的当前位置,对车辆200将来行驶的位置进行推定。
路面推定部120获取由配置于车辆200的距离传感器201检测出的距离信息或者由拍摄装置210拍摄到的图像,使用获取到的距离信息或者图像,对由第一位置推定部110推定出的车辆200将来行驶的位置上的路面的形状或者路面的状态进行推定。具体而言,路面推定部120也可以生成根据由与路面检测部220对应的距离传感器201检测出的距离信息来生成的包括车辆200周围的物体的地形的三维形状,使用所生成的三维形状对车辆200将来行驶的位置上的路面的形状进行推定。
例如,路面推定部120根据由距离传感器201生成的距离信息来生成包括车辆200周围的物体的地形的三维形状。另外,路面位于距离传感器201的检测范围、特别是垂直方向的下侧,因此,例如也可以将根据到从包括距离传感器201的检测范围的下侧边界的一定范围检测出的物体为止的距离来生成的三维形状作为路面的三维形状。或者,也可以与距离传感器201的检测一起使用拍摄装置210对车辆200周围进行拍摄。在该情况下,也可以是,路面推定部120例如使用图像识别技术来确定所拍摄的图像内包含的路面,将所生成的三维形状中、与所确定的路面对应的部分的三维形状作为路面的三维形状。
另外,路面推定部120也可以从由拍摄装置210以预定采样周期得到的图像中,例如使用图像识别技术来生成包括车辆200周围的物体的地形的三维形状。在拍摄装置210的拍摄范围内包括路面,因此拍摄得到的图像包括路面的图像。因而,在根据图像生成的三维形状中包括路面的三维形状。路面推定部120也可以确定图像内包含的路面。路面推定部120也可以将所生成的三维形状中、与所确定的路面对应的部分的三维形状作为路面的三维形状。
路面推定部120也可以使用所生成的三维形状对车辆200将来行驶的位置上的路面的形状进行推定。
在此所指的车辆200将来行驶的位置上的路面的形状也可以包括车辆200沿行进方向在路面上行驶的情况下的表示车辆200的高度发生变化的比例的形状变化率。也即是,车辆200将来行驶的位置上的路面形状包括路面沿行进方向的高度的变化率。路面的高度是指铅直方向的路面的位置。
另外,路面推定部120也可以使用由距离传感器201检测出的激光的反射率对路面的状态进行推定。激光的反射率为用于推定路面的状态的路面信息的一个例子。另外,路面推定部120也可以使用由拍摄装置210得到的路面图像并根据图像的亮度来推定路面状态。在此所指的路面的状态包括碎石面、沙面、结冰、潮湿、铺石等。通过对路面的状态进行推定,能够对由路面的摩擦系数等表示的路面的打滑难易度进行推定。路面推定部120例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。
变更部130根据由路面推定部120推定出的路面的形状或者路面的状态,对作为拍摄装置210的快门速度以及拍摄装置210的灵敏度中的至少一方的拍摄装置210的参数进行变更。具体而言,变更部130根据由路面推定部120推定出的路面的形状以及由速度检测部230检测出的车辆200的速度,对通过被推定为车辆200将来行驶的位置的定时的、在与拍摄装置210的拍摄面平行的方向上拍摄装置210进行移动的速度大小进行推定。而且,与推定出的拍摄装置210的与拍摄面平行的方向的速度大小越大,则变更部130进行将快门速度向越小的值变更以及将灵敏度向越大的值变更中的至少一方。变更部130例如通过CPU 101、主存储器102以及储存器103来实现。
变更部130也可以是例如使用以下式1来计算出由拍摄装置210得到的图像的模糊量,为了使得计算出的模糊量小于预定模糊量,将快门速度向小的值变更。
模糊量(像素/快门)=(arctan((形状变化率/本车速度)/轴距)*快门速度)/垂直视角*垂直分辨率(式1)
例如,设为车辆200的轴距(wheelbase)为2000mm、车辆200的行驶速度为30km/h、被推定为将来行驶的位置上的路面的形状变化率为100%、快门速度为1/100秒、拍摄装置210的垂直视角为60度、拍摄装置210的垂直分辨率为1080px。在该情况下,通过使用式1,能够计算模糊量为13.77px/shutter(像素/快门)。也即是,可知当要将模糊量抑制为10pix/shutter以下时,需要将快门速度设定为1/138秒以下。此外,拍摄装置210的速度对应于使用车辆200的行驶速度和路面的形状变化率来求出的速度。
另外,在式1的右边既可以乘以根据路面的各状态(碎石面、沙面、结冰、潮湿、铺石等)预先决定的系数,也可以加上系数,还可以是它们的组合。
由此,能够使用式1计算出所需的快门速度。
此外,变更部130既可以使用上述式1来计算出快门速度,也可以使用满足上述式1的关系的表来计算出快门速度。也即是,变更部130也可以使用预先决定的快门速度、路面的形状变化率以及车辆200的速度的关系,计算出快门速度。
也即是,变更部130根据推定出的拍摄装置210的速度,决定使得模糊量小于预定模糊量的快门速度。而且,变更部130确定使得从由拍摄装置210以所决定的快门速度进行拍摄得到的图像中通过预定的识别算法对物体进行识别的情况下的识别率变大的噪声水平(noise level)和曝光。变更部130将拍摄装置210的参数变更为所决定的快门速度以及与所确定的曝光相应的灵敏度。
图4是表示能够分别实现不同的多个快门速度的噪声水平和曝光的组合的方案图。图5是表示使用预定识别算法对图像进行识别的情况下的识别率以及噪声水平和曝光的组合的方案图。此外,在图4和图5中噪声水平和曝光的数值示出任意的大小。
在图4中表现了表示用于实现任意的快门速度的噪声水平和曝光的关系的曲线能唯一地确定的情况。也即是,在图4中表示基于快门速度、噪声水平以及曝光这三种变量的三维的曲面。此外,能够根据拍摄装置210的拍摄能力而唯一地求出在图4中表现的三维的曲面。在此所指的拍摄能力根据拍摄装置210的透镜的焦点距离、f值等或者图像传感器的拍摄元件尺寸、灵敏度等来唯一地确定。也可以通过对拍摄装置210进行预定校准来预先决定在图4中表现的三维的曲面。
在图5中表示了基于噪声水平、曝光以及识别率这三种变量的三维的曲面。在图5中用点较稀疏的阴影来表示该曲面。在图5中表现的三维的曲面通过预定识别算法来唯一地确定。也可以通过反复进行多次从图像中识别物体的测试来预先决定在图5中表现的三维的曲面。
在此,变更部130例如在使用上述式1将快门速度决定为1/250秒的情况下,使用图4所示的关系,确定表示与1/250秒的快门速度对应的噪声水平和曝光的关系的曲线。而且,变更部130使用表示与1/250秒的快门速度对应的噪声水平和曝光的关系的曲线,将识别率为0~1的曲面(在图5中用点较密的阴影表示的曲面)配置于图5所示的三维空间,由此求出与点较稀疏的曲面之间的交线。该交线为图5所示的三维空间内的曲线。变更部130例如也可以将该交线中识别率为最大的点、即噪声水平和曝光决定为拍摄装置210的参数。
另外,变更部130还可以获取表示由照度检测部240检测出的检测结果即照度的照度信息,获取到的照度信息所示的照度越小,则进行(i)将快门速度向越小的值变更以及(ii)将灵敏度向越大的值变更中的至少一方。具体而言,变更部130也可以使用预先决定的、照度与拍摄装置210的参数的关系,对包括快门速度和灵敏度中的至少一方的参数进行变更。
返回至图3,控制部140在该车辆200实际通过由第一位置推定部110推定出的车辆200将来行驶的位置的定时,使用由变更部130变更后的参数使拍摄装置210进行拍摄。控制部140例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。
[1-2.工作]
接着,说明拍摄控制装置100的工作。
图6是表示实施方式所涉及的拍摄控制装置的拍摄控制方法的一例的流程图。图7是用于说明拍摄控制装置的拍摄控制方法的图。
在拍摄控制装置100中,第二位置推定部150对车辆200的当前位置进行推定(S11)。第二位置推定部150例如对如图7的(a)所示时刻t1的车辆200的位置x1进行推定。拍摄控制装置100也可以推定车辆200的前轮的位置来作为车辆200的当前位置。此外,也可以不进行由第二位置推定部150对车辆200的当前位置进行的推定。
第一位置推定部110获取车辆200的速度矢量或者路径数据以及车辆200的当前位置,使用获取到的速度矢量或者路径数据对车辆200的将来行驶的位置进行推定(S12)。第一位置推定部110例如将如图7的(a)所示从车辆200的前轮的位置x1至X[m]前方的路面301上的位置x2推定为将来行驶的位置。此外,第一位置推定部110在不对车辆200的当前位置进行推定的情况下或者拍摄控制装置100不具备第二位置推定部150的情况下,不使用当前位置而对车辆200的将来行驶的位置进行推定。
路面推定部120获取由配置于车辆200的距离传感器201检测出的路面信息或者由拍摄装置210拍摄到的图像,使用获取到的路面信息或者图像,对由第一位置推定部110推定出的将来行驶的位置上的路面的形状或者路面的状态进行推定(S13)。路面推定部120对位置x2处的路面302的形状例如沿车辆200的行进方向的路面302的高度的变化率进行推定。例如在向前方行进100mm则高度变化100mm的情况下,路面推定部120推定为形状变化率为100%的形状。
变更部130根据由路面推定部120推定出的沿车辆200的行进方向的路面高度的变化率或者路面的状态,对作为拍摄装置210的快门速度以及拍摄装置210的灵敏度中的至少一方的拍摄装置210的参数进行变更(S14)。变更部130在车辆200到达位置x2为止的期间、也即是到时刻t2之前决定参数即可。
控制部140在车辆200实际通过由第一位置推定部110推定出的车辆200将来行驶的位置的定时(timing),使用由变更部130变更后的参数使拍摄装置210进行拍摄(S15)。控制部140在如图7的(b)所示车辆200的前轮通过被推定为车辆200将来行驶的位置x2的定时即时刻t2,使用变更后的参数使拍摄装置210进行拍摄。
在车辆200的驾驶过程中以预定周期反复进行图6示出的拍摄控制方法。此外,拍摄控制方法的预定周期与拍摄周期既可以相同,也可以不同。由此,在沿车辆200的行进方向的路面高度的变化率或者路面的状态发生变化的情况下,能够使用与路面高度的变化率或者路面的状态相应的适当的参数,使拍摄装置210进行拍摄。因此,能够使拍摄装置210拍摄预定识别算法的识别率极大的图像。
[1-3.效果等]
根据本实施方式所涉及的拍摄控制装置100,能够在车辆200通过将来行驶的位置处的路面的定时,使用与预先推定出的该路面的形状或者状态相应地变更后的参数使拍摄装置210进行拍摄。也即是,能够使用与路面的形状或者状态相应地适当地设定的参数使拍摄装置210进行拍摄,因此能够使拍摄装置210拍摄容易识别物体的图像。
另外,根据拍摄控制装置100,对车辆200的当前位置进行推定,进一步使用当前位置对车辆200的将来行驶的位置进行推定,因此能够高精度地对将来行驶的位置进行推定。
另外,根据拍摄控制装置100,变更部130也可以根据由路面推定部120推定出的沿车辆200的行进方向的路面高度的变化率和速度矢量,对实际通过将来行驶的位置的定时的、上述拍摄装置在与上述拍摄装置的拍摄面平行的方向上进行移动的速度大小进行推定。推定出的拍摄装置210在平行的方向上进行移动的速度的大小越大,则变更部130进行将快门速度向越小的值变更以及将灵敏度向越大的值变更中的至少一方。因此,能够减少由拍摄装置210得到的图像产生模糊、失真等的情况。
另外,根据拍摄控制装置100,根据推定出的速度,决定快门速度,确定使得从拍摄装置210以所决定的快门速度进行拍摄而得到的图像中通过预定识别算法对物体进行识别的情况下的识别率变得大于预定值的噪声水平和曝光,将拍摄装置210的参数变更为所决定的快门速度和与所确定的曝光相应的灵敏度。因此,能够使用映入于图像中的物体的识别率提高的参数使拍摄装置210进行拍摄。因此,能够使拍摄装置210拍摄容易识别物体的图像。
例如,驾驶控制装置300在行驶期间使用由拍摄装置210拍摄到的图像,通过预定识别算法对图像内包含的物体进行识别,由此在检测该物体的情况下,不论所行驶的路面的形状如何都能够使物体的识别率大于预定值。物体是指例如图像内包含的障碍物或者路面等。
另外,根据拍摄控制装置100,获取表示由照度检测部240检测出的检测结果即照度的照度信息,获取到的照度信息所示的照度越小,则进行(i)将快门速度向越小的值变更以及(ii)将灵敏度向越大的值变更中的至少一方。因此,能够根据照度,使用适当的参数使拍摄装置210进行拍摄。
此外,在本实施方式中,作为距离传感器201的水平方向的检测范围,将车辆200的水平方向上的360度全方位作为具体的一例而进行了说明,但并不限于此。例如,如果是车辆200前进的情况,则作为距离传感器201的水平方向的检测范围,也可以将包括车辆200的前方的范围作为检测范围。另外,例如,如果是车辆200后退的情况,则作为距离传感器201的水平方向的检测范围,也可以将包括车辆200的后方的范围作为检测范围。
另外,作为拍摄装置210的水平方向的拍摄范围,设为车辆200的水平方向上的360度全方位,但并不限于此。例如,如果是车辆200前进的情况,则作为拍摄装置210的水平方向的拍摄范围,也可以将包括车辆200的前方的范围作为拍摄范围。另外,例如,如果是车辆200后退的情况,则作为拍摄装置210的水平方向的拍摄范围,也可以将包括车辆200的后方的范围作为拍摄范围。
[1-4.变形例]
[1-4-1.第一变形例]
接着,使用图8和图9说明第一变形例。
图8是表示第一变形例所涉及的具备拍摄控制装置的车辆的功能结构的一例的框图。图9是表示第一变形例所涉及的拍摄控制装置的拍摄控制方法的一例的流程图。
第一变形例所涉及的拍摄控制装置100A还具备速度修正部160这一点,与实施方式所涉及的拍摄控制装置100不同。拍摄控制装置100A的速度修正部160以外的结构与实施方式的拍摄控制装置100是同样的,因此省略说明。另外,拍摄控制装置100A的硬件结构与在图2中说明的实施方式的拍摄控制装置100的硬件结构是同样的。例如,在图2中说明的CPU 101执行控制程序,由此图8示出的拍摄控制装置100A的各块发挥功能。此外,车辆200A具备拍摄控制装置100A这一点与实施方式的车辆200不同。
速度修正部160对由拍摄装置210多次进行拍摄而得到的多个图像间的物体的移动速度进行推定,推定出的移动速度越大,则使变更部130进行(i)将快门速度向越更小的值变更以及(ii)将灵敏度向越大的值变更中的至少一方。具体而言,速度修正部160也可以根据作为路面检测部220的距离传感器201的检测结果,对拍摄装置210的拍摄范围内的、从拍摄装置210至物体为止的距离以及向与拍摄装置210的光轴大致正交的方向的移动速度的大小进行推定,使用推定出的距离和移动速度,对由拍摄装置210多次进行拍摄而得到的多个图像间的物体的移动速度进行推定。此外,在该情况下,用于检测物体的距离传感器也可以是不同于距离传感器201而设置的距离传感器。另外,速度修正部160也可以是获取由拍摄装置210多次进行拍摄而得到的多个图像,确定映入于获取到的多个图像的物体,由此推定移动速度。
使用图10具体地说明移动速度。
图10是用于说明物体的多个图像间的物体的移动速度的图。此外,图10的(a)表示在时刻t11拍摄了向前方行驶的其他车辆410的图像401,图10的(b)表示在时刻t11以后的时刻t12拍摄了车辆410的图像402。图10的(a)、(b)分别表示车辆200的前方的图像。
如图10所示,在从在时刻t11拍摄的图像401至在时刻t12拍摄的图像402之间,车辆410在图像上向箭头方向移动距离Δd。因此,能够用Δd/(t12-t11)计算出移动速度。此外,在图10中使用实际拍摄的图像401、402来说明了移动速度,但是即使不拍摄该图像401、402,也可以根据由距离传感器检测出的结果来推定移动速度。
速度修正部160也可以使用预先决定的、物体的移动速度与拍摄装置210的参数之间的关系,对包括快门速度和灵敏度中的至少一方的参数进行修正。也即是,速度修正部160也可以对由变更部130决定的参数进行与推定出的物体的移动速度相应的修正。
速度修正部160例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。
变更部130将拍摄装置210的参数修正为由速度修正部160变更后的快门速度和灵敏度中的至少一方。
接着,说明第一变形例的拍摄控制装置100A的工作(拍摄控制方法)。
拍摄控制装置100A中,还追加了步骤S21、S22,这一点与实施方式的拍摄控制方法不同。因此,说明步骤S21、S22。
在拍摄控制装置100A中,在步骤S14以后,速度修正部160对拍摄装置210的拍摄范围内的物体的移动速度进行推定(S21)。
速度修正部160对由变更部130变更后的参数进行与推定出的移动速度相应的修正,使变更部130变更为进一步对参数进行修正而得到的参数(S22)。
当步骤S22结束时,进行步骤S15。
根据第一变形例所涉及的拍摄控制装置100A,速度修正部160对由拍摄装置210多次进行拍摄而得到的多个图像间的物体的移动速度进行推定。在速度修正部160中,推定出的移动速度的大小越大,则使变更部130进行(i)将快门速度向越更小的值变更以及(ii)将灵敏度向越大的值变更中的至少一方。因此,即使在物体在由拍摄装置210拍摄得到的图像中进行移动的情况下或者该物体在拍摄装置210的拍摄范围内进行移动的情况下,也能够使用适当的参数使拍摄装置210拍摄该物体。
[1-4-2.第二变形例]
接着,使用图11和图12说明第二变形例。
图11是表示第二变形例所涉及的具备拍摄控制装置的车辆的功能结构的一例的框图。图12是表示第二变形例所涉及的拍摄控制装置的拍摄控制方法的一例的流程图。
第二变形例所涉及的拍摄控制装置100B还具备模糊修正部170这一点,与实施方式所涉及的拍摄控制装置100不同。拍摄控制装置100B的模糊修正部170以外的结构与实施方式的拍摄控制装置100是同样的,因此省略说明。另外,拍摄控制装置100B的硬件结构与在图2中说明的实施方式的拍摄控制装置100是同样的。例如,在图2中说明的CPU 101执行控制程序,由此图11示出的拍摄控制装置100B的各块发挥功能。此外,车辆200B具备拍摄控制装置100B这一点,与实施方式的车辆200不同。
模糊修正部170获取由拍摄装置210拍摄到的图像,对获取到的图像内物体的模糊进行检测,在检测出图像内物体的模糊的情况下,使变更部130进行(i)将快门速度向更小的值变更以及(ii)将灵敏度向更大的值变更中的至少一方。具体而言,模糊修正部170也可以是对从拍摄装置210获取到的图像,计算图像整体的对比度值之和,在计算出的和小于预定阈值的情况下,判断为在该图像内产生了模糊。也即是,模糊修正部170在判断为该图像内产生了模糊的情况下,对该图像内物体的模糊进行检测,在判断为该图像内物体没有产生模糊的情况下,不对该图像内物体的模糊进行检测。此外,设为模糊修正部170对于图像整体判断该图像内是否产生了模糊,但是也可以通过进行预定图像处理,确定获取到的图像内的区域、且作为物体例如向前方行驶的车辆所映入的区域,判断在所确定的区域内是否产生模糊。模糊修正部170对由变更部130变更后的参数进行预定修正以用于修正图像内物体的模糊。
模糊修正部170例如通过CPU 101、主存储器102、储存器103以及通信IF 104来实现。
变更部130将拍摄装置210的参数修正为由模糊修正部170变更后的快门速度和灵敏度中的至少一方。
接着,说明第二变形例的拍摄控制装置100B的工作(拍摄控制方法)。
拍摄控制装置100B中,还追加了步骤S31~S34,这一点与实施方式的拍摄控制方法不同。因此,说明步骤S31~S34。
在拍摄控制装置100B中,在步骤S15以后,模糊修正部170获取由拍摄装置210拍摄的图像(S31)。
模糊修正部170判断获取到的图像是否存在模糊(S32)。
模糊修正部170在判断为获取到的图像存在模糊的情况下(S32:“是”),为了修正检测出的模糊,对由变更部130变更后的参数进行预定修正,使变更部130变更为进一步对参数进行修正而得到的参数(S33)。
控制部140在车辆200B通过由第一位置推定部110推定出的将来行驶的位置的定时,使用由变更部130变更后的参数使拍摄装置210进行拍摄(S34)。
另一方面,模糊修正部170在判断为获取到的图像不存在模糊的情况下(S32:“否”),不进行修正而进行接下来的步骤S34。
根据第二变形例所涉及的拍摄控制装置100B,模糊修正部170获取由拍摄装置210拍摄的图像,对获取到的图像内物体的模糊进行检测,在检测出图像内物体的模糊的情况下,使变更部130进行(i)将快门速度向小的值变更以及(ii)将灵敏度向大的值变更中的至少一方。因此,即使在使用由变更部130变更后的参数进行拍摄的图像中产生模糊的情况下,也能够使用变更为使得接着进行拍摄时不会产生模糊的参数使拍摄装置210进行拍摄。
此外,模糊修正部170也可以仅在无法获取照度检测部240的检测结果的情况下,进行用于模糊修正的处理(步骤S31~S34)。
此外,也可以设为使第一变形例和第二变形例进行组合的结构的拍摄控制装置。
此外,在上述实施方式和各变形例中,各构成要素既可以由专用硬件构成、也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或者处理器等程序执行部读取并执行记录在硬盘或者半导体存储器等记录介质中的软件程序来实现。在此,用于实现上述各实施方式的拍摄控制方法等的软件为以下那样的程序。
即,该程序使计算机执行以下拍摄控制方法,该拍摄控制方法是使配置于车辆的拍摄装置拍摄上述车辆的周围的拍摄控制装置的拍摄控制方法,包括:获取表示上述车辆的行进方向和沿上述行进方向行驶的上述车辆的速度的速度矢量、或者表示上述车辆行驶的路径的路径数据,使用获取到的上述速度矢量或者上述路径数据对上述车辆将来行驶的位置进行推定,获取由配置于上述车辆的传感器检测出的用于对包含被推定为上述车辆将来行驶的位置的路面的形状或者上述路面的状态进行推定的路面信息、或者由上述拍摄装置拍摄到的包含被推定为上述车辆将来行驶的位置的路面的图像,使用获取到的上述路面信息或者上述图像,对推定出的上述车辆将来行驶的位置处的上述路面沿上述行进方向的高度的变化率或者上述路面的状态进行推定,根据推定出的上述路面沿上述行进方向的高度的变化率或者上述路面的状态,对作为上述拍摄装置的快门速度和上述拍摄装置的灵敏度中的至少一方的上述拍摄装置的参数进行变更,在上述车辆通过推定出的上述车辆将来行驶的位置的定时,使用变更后的上述参数使上述拍摄装置进行拍摄。
以上,根据实施方式说明了本公开的一个或者多个方式所涉及的拍摄控制装置和拍摄控制方法,但是本公开并不限定于该实施方式。只要不脱离本公开的宗旨,在本实施方式中实施本领域技术人员能够想到的各种变形而得到的方式、将不同实施方式中的构成要素进行组合而构建的方式也可以包含在本公开的一个或者多个方式的范围内。
产业上的可利用性
本公开作为能够使拍摄装置拍摄容易识别物体的图像的拍摄控制装置等是有用的。

Claims (9)

1.一种拍摄控制装置,使配置于车辆的拍摄装置拍摄上述车辆的周围,具备:
第一位置推定部,其获取表示上述车辆的行进方向和沿上述行进方向而行驶的上述车辆的速度的速度矢量、或者表示上述车辆行驶的路径的路径数据,使用获取到的上述速度矢量或者上述路径数据对上述车辆将来行驶的位置进行推定;
路面推定部,其获取由配置于上述车辆的传感器检测出的用于对包含被推定为上述车辆将来行驶的位置的路面的形状或者上述路面的状态进行推定的路面信息、或者由上述拍摄装置拍摄到的包含被推定为上述车辆将来行驶的位置的路面的图像,使用获取到的上述路面信息或者上述图像,对由上述第一位置推定部推定出的上述车辆将来行驶的位置上的上述路面沿上述行进方向的高度的变化率或者上述路面的状态进行推定;
变更部,其根据由上述路面推定部推定出的上述路面沿上述行进方向的高度的变化率或者上述路面的状态,对作为上述拍摄装置的快门速度以及上述拍摄装置的灵敏度中的至少一方的上述拍摄装置的参数进行变更;以及
控制部,其在上述车辆通过由上述第一位置推定部推定出的上述车辆将来行驶的位置的定时,使用由上述变更部变更后的上述参数,使上述拍摄装置进行拍摄。
2.根据权利要求1所述的拍摄控制装置,
还具备用于推定上述车辆的当前位置的第二位置推定部,
上述第一位置推定部还使用由上述第二位置推定部推定出的上述车辆的上述当前位置,对上述车辆的上述将来行驶的位置进行推定。
3.根据权利要求1所述的拍摄控制装置,
上述第一位置推定部获取上述速度矢量,
上述变更部,
根据由上述路面推定部推定出的上述路面沿上述行进方向的高度的变化率以及上述速度矢量,对在上述定时上述拍摄装置在与上述拍摄装置的拍摄面平行的方向上进行移动的速度大小进行推定,
推定出的上述平行的方向的速度大小越大,则进行(i)将上述快门速度向越小的值变更以及(ii)将上述灵敏度向越大的值变更中的至少一方。
4.根据权利要求2所述的拍摄控制装置,
上述第一位置推定部获取上述速度矢量,
上述变更部,
根据由上述路面推定部推定出的上述路面沿上述行进方向的高度的变化率以及上述速度矢量,对在上述定时上述拍摄装置在与上述拍摄装置的拍摄面平行的方向上进行移动的速度大小进行推定,
推定出的上述平行的方向的速度大小越大,则进行(i)将上述快门速度向越小的值变更以及(ii)将上述灵敏度向越大的值变更中的至少一方。
5.根据权利要求3所述的拍摄控制装置,
上述变更部,
根据推定出的上述平行的方向的速度大小来决定上述快门速度,
确定使得从由上述拍摄装置以所决定的上述快门速度拍摄得到的图像中通过预定的识别算法对物体进行识别的情况下的识别率变得大于预定值的噪声水平和曝光,
将上述拍摄装置的上述参数变更为所决定的上述快门速度和与所确定的上述曝光相应的灵敏度。
6.根据权利要求1~5中任一项所述的拍摄控制装置,
还具备模糊修正部,上述模糊修正部获取由上述拍摄装置拍摄到的上述图像,检测获取到的上述图像内的物体的模糊,在检测出上述图像内的上述物体的模糊的情况下,使上述变更部进行(i)使上述快门速度向更小的值变更以及(ii)使上述灵敏度向更大的值变更中的至少一方。
7.根据权利要求1~5中任一项所述的拍摄控制装置,
还具备速度修正部,上述速度修正部根据由上述拍摄装置多次进行拍摄而得到的多个图像各自所包含的物体的位置变化,对上述物体的移动速度进行推定,推定出的上述移动速度的大小越大,则使上述变更部进行(i)使上述快门速度向越小的值变更以及(ii)使上述灵敏度向越大的值变更中的至少一方。
8.根据权利要求1~5中任一项所述的拍摄控制装置,
上述变更部获取用于对配置有上述拍摄装置的环境的照度进行检测的照度传感器的检测结果即表示照度的照度信息,获取到的上述照度信息所示的照度越小,则进行(i)使上述快门速度向越小的值变更以及(ii)使上述灵敏度向越大的值变更中的至少一方。
9.一种拍摄控制方法,是使配置于车辆的拍摄装置拍摄上述车辆的周围的拍摄控制装置的拍摄控制方法,上述拍摄控制方法包括:
获取表示上述车辆的行进方向和沿上述行进方向而行驶的上述车辆的速度的速度矢量、或者表示上述车辆行驶的路径的路径数据,使用获取到的上述速度矢量或者上述路径数据对上述车辆将来行驶的位置进行推定,
获取由配置于上述车辆的传感器检测出的用于对包含被推定为上述车辆将来行驶的位置的路面的形状或者上述路面的状态进行推定的路面信息、或者由上述拍摄装置拍摄到的包含被推定为上述车辆将来行驶的位置的路面的图像,使用获取到的上述路面信息或者上述图像,对推定出的上述车辆将来行驶的位置上的上述路面沿上述行进方向的高度的变化率或者上述路面的状态进行推定,
根据推定出的上述路面沿上述行进方向的高度的变化率或者上述路面的状态,对作为上述拍摄装置的快门速度以及上述拍摄装置的灵敏度中的至少一方的上述拍摄装置的参数进行变更,
在上述车辆通过推定出的上述车辆将来行驶的位置的定时,使用变更后的上述参数使上述拍摄装置进行拍摄。
CN201810817409.0A 2017-07-28 2018-07-24 拍摄控制装置以及拍摄控制方法 Active CN109309785B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017145999 2017-07-28
JP2017-145999 2017-07-28
JP2018043119A JP7169075B2 (ja) 2017-07-28 2018-03-09 撮像制御装置および撮像制御方法
JP2018-043119 2018-03-09

Publications (2)

Publication Number Publication Date
CN109309785A CN109309785A (zh) 2019-02-05
CN109309785B true CN109309785B (zh) 2021-06-22

Family

ID=63173927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810817409.0A Active CN109309785B (zh) 2017-07-28 2018-07-24 拍摄控制装置以及拍摄控制方法

Country Status (3)

Country Link
US (1) US10536646B2 (zh)
EP (1) EP3435286B1 (zh)
CN (1) CN109309785B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264142B2 (ja) * 2020-11-02 2023-04-25 トヨタ自動車株式会社 路面種類推定装置および車両制御システム
CN113936467B (zh) * 2021-11-17 2022-12-16 同济大学 一种道路拍摄方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739848A (en) * 1993-09-08 1998-04-14 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP2005167842A (ja) * 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
JP2008230464A (ja) * 2007-03-22 2008-10-02 Alpine Electronics Inc 車載カメラ用自動露出装置
CN101454815A (zh) * 2006-05-26 2009-06-10 富士通株式会社 车辆判别装置、车辆判别方法、车辆判别程序、以及存储了车辆判别程序的程序记录介质
JP2011198098A (ja) * 2010-03-19 2011-10-06 Ihi Aerospace Co Ltd ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット
GB2494415A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd A vehicle suspension control including a vehicle mounted time of flight camera
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN104137529A (zh) * 2012-02-13 2014-11-05 诺基亚公司 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
CN104427255A (zh) * 2013-08-22 2015-03-18 株式会社万都 车载相机的图像处理方法和使用该方法的图像处理设备
CN106573617A (zh) * 2014-08-28 2017-04-19 罗伯特·博世有限公司 自适应电子稳定性控制

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3218730B2 (ja) * 1992-10-19 2001-10-15 株式会社ニコン 予測機能を有する焦点調節装置
EP0807352A1 (en) * 1995-01-31 1997-11-19 Transcenic, Inc Spatial referenced photography
US6603508B1 (en) * 1997-11-19 2003-08-05 Ricoh Company, Ltd. Method, system, and computer readable medium for controlling a digital camera to avoid blurring of a photograph
KR100488728B1 (ko) * 2003-05-15 2005-05-11 현대자동차주식회사 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
JP2004361486A (ja) * 2003-06-02 2004-12-24 Nikon Corp デジタルスチルカメラ
US8045009B2 (en) 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
JP5848507B2 (ja) * 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
DE102011006570A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren und Steuergerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs
GB2494528B (en) * 2011-09-06 2014-01-29 Jaguar Land Rover Ltd Improvements in vehicle suspension control
JP6218209B2 (ja) 2012-02-10 2017-10-25 学校法人甲南学園 障害物検出装置
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
JP6245274B2 (ja) * 2013-12-03 2017-12-13 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
EP3092790B1 (en) * 2014-01-07 2020-07-29 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
US9819855B2 (en) * 2015-10-21 2017-11-14 Google Inc. Balancing exposure and gain at an electronic device based on device motion and scene distance
JP6504040B2 (ja) 2015-12-01 2019-04-24 株式会社デンソー 報知処理装置
US10506172B2 (en) * 2016-08-17 2019-12-10 Google Llc Camera setting adjustment based on predicted environmental factors and tracking systems employing the same
JP6699567B2 (ja) * 2017-01-17 2020-05-27 トヨタ自動車株式会社 撮像装置
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739848A (en) * 1993-09-08 1998-04-14 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP2005167842A (ja) * 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
CN101454815A (zh) * 2006-05-26 2009-06-10 富士通株式会社 车辆判别装置、车辆判别方法、车辆判别程序、以及存储了车辆判别程序的程序记录介质
JP2008230464A (ja) * 2007-03-22 2008-10-02 Alpine Electronics Inc 車載カメラ用自動露出装置
JP2011198098A (ja) * 2010-03-19 2011-10-06 Ihi Aerospace Co Ltd ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット
GB2494415A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd A vehicle suspension control including a vehicle mounted time of flight camera
CN104137529A (zh) * 2012-02-13 2014-11-05 诺基亚公司 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN104427255A (zh) * 2013-08-22 2015-03-18 株式会社万都 车载相机的图像处理方法和使用该方法的图像处理设备
CN106573617A (zh) * 2014-08-28 2017-04-19 罗伯特·博世有限公司 自适应电子稳定性控制

Also Published As

Publication number Publication date
US20190037121A1 (en) 2019-01-31
EP3435286A1 (en) 2019-01-30
CN109309785A (zh) 2019-02-05
EP3435286B1 (en) 2023-11-01
US10536646B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
JP6477882B2 (ja) 自己位置推定装置及び自己位置推定方法
JP4788798B2 (ja) 物体検出装置
JP5962771B2 (ja) 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
CN110402368B (zh) 用在交通工具导航中的集成式的基于视觉的惯性传感器系统
CN108692719B (zh) 物体检测装置
RU2678527C1 (ru) Устройство и способ распознавания светофора
US10731994B2 (en) Information processing device and information processing method
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
JP2008298533A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JPWO2018061084A1 (ja) 自己位置推定方法及び自己位置推定装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20170068937A (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
JP6384802B2 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP2011175572A (ja) 車線認識装置
JP6834401B2 (ja) 自己位置推定方法及び自己位置推定装置
JP2017090159A (ja) 車両ピッチ角推定装置
JP2018073275A (ja) 画像認識装置
WO2016151977A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
JP2013213792A (ja) 路面状態推定装置
JP2020201746A (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN111989541A (zh) 立体摄像机装置
JP2020109560A (ja) 信号機認識方法及び信号機認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant