CN104954668A - 变焦倍率算出装置及其控制方法、摄像装置以及移动体 - Google Patents

变焦倍率算出装置及其控制方法、摄像装置以及移动体 Download PDF

Info

Publication number
CN104954668A
CN104954668A CN201510126080.XA CN201510126080A CN104954668A CN 104954668 A CN104954668 A CN 104954668A CN 201510126080 A CN201510126080 A CN 201510126080A CN 104954668 A CN104954668 A CN 104954668A
Authority
CN
China
Prior art keywords
zoom
information
shake
moving body
zoom ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201510126080.XA
Other languages
English (en)
Inventor
古田一孝
泷泽辉之
日下博也
今川太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN104954668A publication Critical patent/CN104954668A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种变焦倍率算出装置及其控制方法、摄像装置以及移动体。变焦倍率算出装置算出在摄像装置的变焦驱动电路中使用的变焦倍率值,所述摄像装置装载于移动体,并拍摄位于移动体的周围的物体。变焦倍率算出装置(10)具备:存储单元,其保持表示变焦工作的延迟时间的信息;和运算单元,其使用输入了指示对物体进行变焦拍摄的信息时的物体相对于移动体的第1相对距离、变焦工作的延迟时间以及移动体的移动速度,算出与第1相对距离相比而移动体更接近了物体的第2相对距离,并基于第2相对距离算出变焦倍率值。

Description

变焦倍率算出装置及其控制方法、摄像装置以及移动体
技术领域
本发明涉及装载于汽车等移动体的摄像装置。
背景技术
以往,为了辅助驾驶员,已知有装载于汽车等移动体车辆的如下装置:使用装载有远摄透镜的摄像装置和/或装载有变焦功能的摄像装置,识别存在于本车辆行驶的前方的成为行驶障碍的物体。
例如,专利文献1的车辆用图像识别装置包括:摄像机,其拍摄图像信息,并且向图像处理单元输出图像信息;变焦透镜,其使该摄像机的拍摄角度可变;图像处理单元,其对图像信息施加预定的处理;车速传感器,其感知车速并输出速度信息;以及变焦控制单元,其根据车速传感器输出的车速信息算出拍摄角度,并且基于该算出的拍摄角度控制变焦透镜的驱动。该变焦控制单元具有如下的识别对象尺寸维持功能:保存预先设定的车速的情况下的拍摄角度来作为基准拍摄角度,控制变焦透镜以使得在由速度信息表示的车速比基准拍摄角度的情况下的车速快时,将拍摄角度取为比基准拍摄角度窄,在由速度信息表示的车速比基准拍摄角度的情况下的车速慢时,将拍摄角度取为比基准拍摄角度宽。
另外,在专利文献2的车辆用防止追尾装置中,测量前方车辆与本车辆间的车间距离。而且,公开了:保持对所得到的车间距离和图像输入单元的摄像倍率,根据作为能够将前方车辆拍摄得较大的距离而设定的一定距离而相互进行了关联的相关信息,并以这样的倍率提高前方车辆的检测精度。
另外,在专利文献3的行驶环境信息取得装置中,检测处于移动体的移动方向的对象物的位置和方向。而且,公开了:根据对象物的位置和方向,算出包括能够以按对象物的种类而预先设定的可识别对象物的图像尺寸来进行拍摄的透镜的朝向、透镜的焦点以及变焦的设定的相机设定。
在先技术文献
专利文献1:日本特开平7-105481号公报
专利文献2:日本特开平9-027100号公报
专利文献3:日本特开2008-060988号公报
发明内容
发明要解决的课题
本说明书公开的非限定性例示的某实施方式提供一种装置,即使装载摄像装置的移动物体正在移动,也能够以适当尺寸拍摄对象物体的像。
用于解决问题的手段
本说明书公开的一实施方式涉及的变焦倍率算出装置算出在摄像装置的变焦驱动电路中使用的变焦倍率值,所述摄像装置装载于移动体,并拍摄位于移动体的周围的物体,所述变焦倍率算出装置具备:存储单元,其保持第1信息,所述第1信息表示变焦的工作的延迟时间;第1输入单元,其输入第2信息,所述第2信息指示对物体进行变焦拍摄;第2输入单元,其输入第3信息,所述第3信息表示物体相对于移动体的相对距离;第3输入单元,其输入第4信息,所述第4信息表示移动体的移动速度;运算单元,其使用输入所述第2信息时的第3信息所表示的第1相对距离、所述第1信息以及所述第4信息,算出与第1相对距离相比而移动体更接近物体的第2相对距离,并基于第2相对距离算出变焦倍率值;以及输出单元,其向变焦驱动电路输出变焦倍率值。
附图说明
图1是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图2是说明本说明书公开的例示性实施方式中的测距传感器的工作的图。
图3是说明本说明书公开的例示性实施方式中的变焦倍率算出单元的内部构成和工作的框图。
图4是表示本说明书公开的例示性实施方式中的拍摄工作的流程图。
图5是表示本说明书公开的例示性实施方式中的变焦控制工作的流程图。
图6A是本说明书公开的例示性实施方式中的变焦倍率低的广角图像的示意图。
图6B是本说明书公开的例示性实施方式中的变焦倍率低的广角图像的示意图。
图7A是本说明书公开的例示性实施方式中的变焦倍率高的远摄图像的示意图。
图7B是本说明书公开的例示性实施方式中的变焦倍率高的远摄图像的示意图。
图8是表示从本说明书公开的例示性实施方式中的摄像装置至物体位置的相对距离与变焦工作开始起的时间的关系的图。
图9A是表示本说明书公开的例示性实施方式中的被拍摄体像脱离了图像帧的状态的远摄图像的示意图。
图9B是表示本说明书公开的例示性实施方式中的被拍摄体像从图像帧脱离的状态的远摄图像的示意图。
图10是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图11是表示本说明书公开的例示性实施方式中的变焦控制工作的流程图。
图12是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图13A是表示本说明书公开的例示性实施方式中的变焦控制工作的流程图。
图13B是表示从本说明书公开的例示性实施方式中的摄像装置至物体位置的相对距离与变焦工作开始起的时间的关系的图。
图13C是表示从本说明书公开的例示性实施方式中的摄像装置至物体位置的相对距离与变焦工作开始起的时间的关系的图。
图14是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图15A是表示本说明书公开的例示性实施方式中的拍摄工作的流程图。
图15B是表示本说明书公开的例示性实施方式中的抖动修正工作的流程图。
图16是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图17A是表示了本说明书公开的例示性实施方式中的物体位置与抖动修正的中心(图像的中心)不同的图像的示意图。
图17B是表示了本说明书公开的例示性实施方式中的物体位置与抖动修正的中心(图像的中心)不同的图像的示意图。
图18是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图19是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图20是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图21是表示本说明书公开的例示性实施方式中的拍摄工作的流程图。
图22是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图23是表示本说明书公开的例示性实施方式中的拍摄工作的流程图。
图24是本说明书公开的例示性实施方式中的移动体用物体摄像装置的框图。
图25是表示本说明书公开的例示性实施方式中的拍摄工作的流程图。
图26是表示在本说明书公开的例示性实施方式中的移动体用物体摄像装置中成为拍摄对象的物体存在多个时的工作的图。
标号说明
1 透镜镜筒
L1、2、3、31、32、4 光学透镜
2 摄像光学系统
3 摄像元件
11 变焦驱动控制单元
10 变焦倍率算出单元
20 测距传感器
21 相对位置算出单元
22 相对角度算出单元
23 相对距离算出单元
24 物体位置算出单元
30 移动速度传感器
31 移动速度算出单元
40 系统控制单元
41 数字信号处理单元
50 转向角传感器
51 移动角度算出单元
70 抖动修正控制单元
71 角速度传感器
73 抖动修正驱动单元
74 照准位置算出单元
75 低通滤波器(LPF)
76 高通滤波器(HPF)
80 运动矢量检测单元
81 透镜镜筒驱动控制单元
201 移动体
202 路面
203 物体(行人)
301 变焦速度表存储单元
302 变焦倍率存储器
303 存储器控制单元
304 运算单元
具体实施方式
(成为本发明的技术的基础的见解)
一般来说,在汽车等移动体车辆中,为了识别前方行驶区域中的特定对象物体的图像信息,使用固定焦点的透镜系统。因此,存在如下问题:在对象物体存在于本车辆的远方的情况下,检测精度会下降。进一步,在高速行驶时,由于本车辆的制动距离增加,因此希望快速地识别远方(100m以上)的对象物体。为了改善这样的问题,在专利文献1~3的装置中,具有能够放大远方的对象物体的图像信息的变焦功能。
然而,使变焦透镜移动而实现的变焦功能需要用于使变焦透镜移动预定距离的工作时间,该工作延迟时间成为使高速行驶中的特定对象物的识别性能劣化的原因。例如,在以时速100km高速行驶的情况下,车辆在一秒钟期间向前方移动了约28m之多。结果,特定对象物体与本车辆的相对距离也缩短约28m。因此,在变焦工作延迟时间为1秒的情况下,在变焦透镜到达了作为目标的预定位置的时刻,特定对象物体已经接近了约28m,图像帧内的特定对象物体所占的大小发生变化。
在专利文献1中,根据本车辆的速度信息来算出变焦倍率,在专利文献2和3中,逐次检测前方对象物体与本车辆的相对距离并算出变焦倍率,实际上,如果不考虑变焦的工作延迟时间,则变焦透镜无法在曝光时刻达到最佳位置。
进一步,一般来说,在视角(画角)变小的远摄状态下的拍摄中,存在以下问题:在原理上容易发生图像抖动,特别是在汽车等移动体上装载了变焦功能的情况下,由于行驶路面状态和/或本车辆产生的振动等,会产生图像抖动。在专利文献1~3中,公开了导入变焦功能的结构,但由于未提及图像抖动修正单元,因此,可设想实际上特定对象物体的识别性能会大幅度的劣化。
作为实现图像抖动修正的单元,分类为:光学抖动修正单元,其使抖动修正透镜向垂直于光轴方向的平面内相互正交的两个方向移动而进行修正;和电子抖动修正单元,其通过图像处理来电子地使图像挪动而进行修正。光学抖动修正单元不存在电子抖动修正单元中产生的图像劣化,为了得到良好的变焦图像,可选择光学抖动修正单元。然而,与光学变焦单元同样地,在装载于汽车等移动体的情况下,使抖动修正透镜移动的驱动机构的寿命成为问题。
虽然有专利文献3中的拍摄顺序算出单元缩短所需要的拍摄时间,并使由物体识别所需要的处理时间的缩短、相机控制所需要的所需时间的缩短、相机的负荷减轻实现的相机寿命的延长成为可能的记载,但未提出对光学变焦单元的驱动机构的具体负担减轻方法。另外,在专利文献1~3中,除了未提及图像抖动修正单元之外,也未提出光学抖动修正单元的驱动机构的负担减轻方法。
根据本说明书公开的一实施方式,即使装载摄像装置的移动物体正在移动,也能够以适当的尺寸拍摄对象物体的像,并稳定地识别拍摄物体。
本说明书公开的一实施方式的概要如以下所述。
(技术方案1)作为本说明书公开的一实施方式的变焦倍率算出装置,算出在摄像装置的变焦驱动电路中使用的变焦倍率值,所述摄像装置装载于移动体,并拍摄位于所述移动体的周围的物体,所述变焦倍率算出装置具备:存储单元,其保持第1信息,所述第1信息表示所述变焦的工作的延迟时间;第1输入单元,其输入第2信息,所述第2信息指示对所述物体进行变焦拍摄;第2输入单元,其输入第3信息,所述第3信息表示所述物体相对于所述移动体的相对距离;第3输入单元,其输入第4信息,所述第4信息表示所述移动体的移动速度;运算单元,其使用输入所述第2信息时的所述第3信息所表示的第1相对距离、所述第1信息以及所述第4信息,算出与所述第1相对距离相比而所述移动体更接近所述物体的第2相对距离,并基于所述第2相对距离算出所述变焦倍率值;以及输出单元,其向所述变焦驱动电路输出所述变焦倍率值。
(技术方案2)例如在上述技术方案1所述的变焦倍率算出装置中,所述存储单元将表示从某变焦倍率向其他变焦倍率的变更所需要的时间的信息,作为所述第1信息存储。
(技术方案3)例如在上述技术方案1所述的变焦倍率算出装置中,所述第2输入单元输入第5信息,所述第5信息表示所述物体相对于所述移动体的相对角度,所述运算单元还使用所述第5信息,算出所述第2相对距离。
(技术方案4)例如在上述技术方案1所述的变焦倍率算出装置中,具备输入第6信息的第4输入单元,所述第6信息表示所述移动体的行进方向的方位角,所述运算单元还基于所述第6信息,算出所述第2相对距离。
(技术方案5)作为本说明书公开的一实施方式的摄像装置具备:权利要求1所述的变焦倍率算出装置;光学系统,其至少包括一枚透镜;摄像元件,其将成像于摄像面的所述物体的像转换成图像信号;变焦驱动控制单元,其进行所拍摄的图像的变焦;距离算出单元,其算出所述物体相对于所述移动体的所述相对距离,并向所述变焦倍率算出装置进行输出;以及速度算出单元,其算出所述移动体的所述移动速度,并向所述变焦倍率算出装置进行输出。
(技术方案6)例如上述技术方案5所述的摄像装置还具备角度算出单元,所述角度算出单元算出所述物体相对于所述移动体的相对角度,并向所述变焦倍率算出装置进行输出。
(技术方案7)例如上述技术方案5所述的摄像装置还具备方位角算出单元,所述方位角算出单元算出所述移动体的行进方向的方位角,并向所述变焦倍率算出装置进行输出。
(技术方案8)例如在上述技术方案5所述的摄像装置中,所述变焦驱动控制单元进行如下控制:使所述光学系统移动而使所述物体的图像位于拍摄图像的中心。
(技术方案9)例如上述技术方案5所述的摄像装置还具备:抖动检测单元,其检测伴随所述移动体的移动的抖动;和抖动修正单元,其抑制拍摄图像的抖动。
(技术方案10)例如在上述技术方案9所述的摄像装置中,在所述变焦驱动控制单元的变焦工作完成后到开始所述物体的曝光拍摄为止的期间,所述抖动修正单元开始驱动。
(技术方案11)例如上述技术方案9所述的摄像装置还具备抖动修正控制单元,所述抖动修正控制单元控制所述变焦驱动控制单元和所述抖动修正单元,使得在对所述物体进行曝光拍摄期间使所述物体的图像在拍摄图像的相同位置维持相同尺寸。
(技术方案12)例如上述技术方案11所述的摄像装置还具备根据拍摄图像检测所述物体的运动矢量的运动矢量检测单元,所述抖动修正控制单元基于所述运动矢量来控制所述变焦驱动控制单元和所述抖动修正单元,使得在对所述物体进行曝光拍摄期间使所述物体的图像在拍摄图像的相同位置维持相同尺寸。
(技术方案13)例如在上述技术方案9所述的摄像装置中,所述抖动修正单元使所述光学系统的光轴偏心而修正图像的抖动。
(技术方案14)例如在上述技术方案9所述的摄像装置中,所述抖动修正单元使所述光学系统以与所述光学系统的光轴正交的两个轴以及与所述光轴并行的一个轴中的至少一个轴为中心来旋转驱动而修正图像的抖动。
(技术方案15)例如在上述技术方案9所述的摄像装置中,所述抖动修正单元使所述光学系统的所述透镜在与所述光学系统的光轴正交的方向上位移而修正图像的抖动。
(技术方案16)例如在上述技术方案9所述的摄像装置中,所述抖动修正单元使所述摄像元件在与光轴正交的方向上位移而修正图像的抖动。
(技术方案17)例如在上述技术方案9所述的摄像装置中,所述抖动修正单元使所述摄像元件以与光轴并行的轴为中心来旋转驱动而修正图像的抖动。
(技术方案18)作为本说明书公开的一实施方式的移动体具备上述技术方案5所述的摄像装置。
根据本说明书公开的一实施方式涉及的安装于移动体并拍摄位于行进方向的预定区域的物体的摄像装置,通过根据到拍摄物体的距离、移动体的移动速度、变焦工作所需要的时间(延迟时间)来算出变焦倍率值,从而即使摄像装置正在移动,也能够总是以适当的尺寸拍摄对象物体的像,能够稳定地识别拍摄物体。另外,在变焦倍率高的状态下,分配给对象物体的像的像素数变多,能够提高分辨率,能够识别例如拍摄物体为行人的精度提高。
通过提高摄像光学系统的变焦倍率,能够在汽车的运行期间事先尽可能快且高精度地识别存在于远方的行人。
另外,也可以考虑在移动体的转向角的影响下拍摄图像内的拍摄物体位置变化带来的影响而设定变焦倍率,由此,能够更稳定地提高拍摄物体的识别率。
另外,也可以在变焦拍摄时光学修正影响大的图像抖动,由此,能够拍摄稳定的远摄图像。
另外,也可以与变焦驱动完成的定时相应地使抖动修正开始,由此,能够将伴随机械机构的工作的抖动修正的工作时间抑制为所需的最小限度,能够延长抖动修正机构的正常工作寿命。
另外,也可以基于到拍摄物体的相对距离、相对角度、移动速度、转向角的信息,算出拍摄物体的图像上的位置和移动,进行抖动修正控制以抵消拍摄物体像在图像上的移动。由此,能够抑制拍摄时的移动抖动,能够进行长时间曝光,能够实现在夜晚等发挥效果的高感光度拍摄。
另外,抖动修正驱动单元或透镜镜筒驱动控制单元也可以基于移动体的角速度来光学地进行图像抖动修正,由此,能够提高对象物体的识别性能。
另外,也可以与变焦工作或透镜镜筒驱动的工作的完成相应地开始光学抖动修正,由此,能够提高光学抖动修正的驱动机构的寿命。
以下,参照附图说明本公开的例示性实施方式。
(第1实施方式)
图1是表示本说明书公开的第1实施方式中的移动体用物体摄像装置501的框图。摄像装置501拍摄位于装载有摄像装置501的移动体周围的物体。参照图1,透镜镜筒1机械地保持和容纳包括至少一枚光学透镜的摄像光学系统2。在该例子中,摄像光学系统2包括光学透镜L1、L2、L31、L32以及L4。在摄像光学系统2中,通过光学透镜L2在光轴方向上移动来进行变焦,通过光学透镜L4在光轴方向上移动进行合焦。
此外,在图1中,为了图的简化,图示为光学透镜L2、L4好像由一枚光学透镜构成,但不限于此。也可以分别使用多枚光学透镜构成进行变焦以及合焦的光学系统。变焦驱动控制单元11是基于从后述的变焦倍率算出单元10输出的指令值,驱动光学透镜L2而进行变焦的电动机(马达)以及电动机的控制电路,其至少一部分也称为变焦驱动电路。通过变焦驱动控制单元11驱动光学透镜L2,从而进行拍摄的图像的变焦。
摄像元件3将经由摄像光学系统2入射的光成像于摄像面而得到的物体像转换为电信号。摄像元件3例如是称为CMOS图像传感器、CCD的摄像元件。数字信号处理单元41对从摄像元件3输出的影像的电信号(以下称为图像信号)实施辉度(brightness)信号与色差信号的分离、噪声除去、锐度改善处理等数字信号处理。此外,在本实施方式中,以摄像元件3的输出是数字信号为前提进行说明,但不言而喻的是,在摄像元件3的输出是模拟信号的情况下,在摄像元件3与数字信号处理单元41之间设置用于将信号从模拟转换为数字的模拟-数字转换单元即可。
系统控制单元40是控制摄像装置501整体的工作的控制电路,进行各种控制和判断。系统控制单元40例如进行摄像装置整体的处理的同步等工作。系统控制单元40例如具备微型计算机和存储器,微型计算机基于从存储器读出的计算机程序来进行工作。系统控制单元40既可以包含在摄像装置501中,也可以设置在摄像装置501外部的装置中,并从外部控制摄像装置501的工作。
测距传感器20例如是如毫米波雷达的物理传感器,是得到用于测量与存在于前方的物体之间的距离的信息的传感器。相对位置算出单元21根据由测距传感器20得到的信息,检测测距传感器20的前方有无物体,并算出位于其前方的物体与测距传感器20的位置关系。在本实施方式中,相对位置算出单元21的相对距离算出单元23进行装载摄像装置501的移动体(例如汽车)与拍摄对象物体的相对距离的算出。
移动速度传感器30是得到用于检测装载摄像装置501的移动体(例如汽车)的移动速度的信息的传感器。移动速度算出单元31根据从移动速度传感器30得到的信息,算出移动体的速度(例如时速)。
此外,测距传感器20和移动速度传感器30既可以包含在摄像装置501中,也可以设置在摄像装置501外部,从外部向摄像装置501输出信息。例如,测距传感器20和移动速度传感器30也可以设置在车身的一部分。
变焦倍率算出单元10根据通过相对位置算出单元21和移动速度算出单元31得到的前方物体的距离和移动体的速度,算出由摄像光学系统2进行变焦时的变焦倍率(或者焦距)。变焦倍率算出单元10是算出拍摄位于移动体的行进方向上的物体时的变焦倍率值的变焦倍率算出装置的一个例子。在变焦并拍摄物体的像时,基于物体相对于移动体的相对距离、移动体的移动速度以及变焦工作的延迟时间,算出变焦倍率值。变焦倍率算出单元10将算出的变焦倍率值输出给变焦驱动控制单元11。变焦驱动控制单元11使用所输入的变焦倍率值进行变焦工作。关于算出变焦倍率值的处理的详细情况,将在后面叙述。
图2是说明测距传感器20的工作的图。在图2中,例示了汽车作为装载本实施方式的摄像装置501的移动体201。汽车201在路面202上行驶,在路面202上存在对象物体203。在该例子中,对象物体203是行人。
另外,在图2中,汽车201与行人203之间的两条虚线表示测距传感器20检测汽车前方的物体的范围。测距传感器20(例如毫米波雷达)发送电波,根据其反射波得到与前方的对象物的存在和距离相关的信息,但在本实施方式中,通过预先进行校准(calibration),来自路面202的反射波不检测作为前方的对象物。结果,测距传感器20输出只与位于路面202上的物体相关的信息。
图3是说明变焦倍率算出单元10的内部构成及其工作的框图。在图3中,变焦速度表存储单元301存储有在透镜镜筒1中从某变焦倍率变焦至其他变焦倍率时所需要的工作时间(变焦倍率的变更所需要的时间)的数据。变焦倍率的变更所需要的时间的数据例如以表的形式保存在变焦速度表存储单元301中。变焦倍率存储器302是保存摄像光学系统2的变焦倍率值的存储器,存储器控制单元303控制向变焦倍率存储器302的数据写入以及从变焦倍率存储器302的数据读出。
经由输入单元311向变焦倍率算出单元10输入指示对物体进行变焦拍摄的信息,经由输入单元312向变焦倍率算出单元10输入表示物体相对于移动体的相对距离的信息,经由输入单元313向变焦倍率算出单元10输入表示移动体的移动速度的信息。运算单元304使用输入了指示对物体进行变焦拍摄的信息时的第1相对距离、表示变焦工作的延迟时间的信息以及表示移动体的移动速度的信息,算出与上述第1相对距离相比而移动体更接近了物体的第2相对距离。然后,基于第2相对距离算出变焦倍率值。算出的变焦倍率值经由输出单元315而向变焦驱动控制单元11进行输出。
运算单元304在系统控制单元40的指令下,根据从相对位置算出单元21提供的汽车201到行人203的距离信息、从移动速度算出单元31提供的汽车201的移动速度、从变焦倍率存储器302读出的摄像光学系统2的变焦倍率值、通过参照变焦速度表存储单元301而得到的使摄像光学系统2进行变焦工作时所需要的工作时间,算出摄像光学系统2的变焦倍率值,经由存储器控制单元303将该结果写入变焦倍率存储器302,并且发送给变焦驱动控制单元11。
图4是表示本实施方式的拍摄工作的流程图。基于图4所示的流程图的步骤,系统控制单元40进行拍摄工作的整体控制。
最初,在步骤0a01中,变焦倍率算出单元10算出变焦倍率。接着,变焦驱动控制单元11按照上述算出倍率来设定变焦。使用图5的流程图说明变焦控制的工作。
接着,在步骤0a02中,与变焦工作完成相应地,摄像元件3进行拍摄。接着,在步骤0a03中,数字信号处理单元41从上述摄像元件3取得图像信息。在步骤0a04,系统控制单元40取得上述数字信号处理单元41处理后的图像信息。
图5是表示本实施方式的变焦控制工作的流程图。最初,在步骤0b01中,相对距离算出单元23算出物体与移动体的相对距离。例如,相对距离是将移动体的位置设为0,算出到物体的距离而得到的。
接着,在步骤0b02中,移动速度算出单元31算出移动体的移动速度。对于移动速度的算出,可以根据设置于移动体的传感器30(车速传感器和/或GPS等)取得的信号来进行算出。
接着,在步骤0b03中,变焦倍率算出单元10算出变焦倍率。在这里,基于经过变焦机构工作的延迟时间后从移动体至观察到的物体的距离、移动体的移动速度,以几何学的方式算出变焦倍率。
最后,在步骤0b04中,变焦驱动控制单元11基于上述变焦倍率变更变焦位置。
接着,使用图6A至图7B进一步说明本实施方式中的工作。
设置于汽车201的摄像装置501利用于以下等目的:在汽车201自动或半自动行驶时检测行进方向前方的物体、也即是障碍物,并向驾驶员发出警告或自动使制动器工作。一般来说,为了大范围地检测出被拍摄场景的物体,设置于汽车的摄像装置具有宽的视角(也即是,短的焦距)。由此,由于汽车201前方的宽范围成为摄像装置的摄像范围,因此具有能够检测出更多障碍物的优点。
但是,安装于摄像装置的摄像元件的像素数具有制造上的局限性,不能够无限地设置大量像素。因此,摄像光学系统的视角越宽,分配给被拍摄的被拍摄体像的像素数不得不变得越少。例如,图6A和图6B是摄像光学系统2的变焦倍率低且视角为广角的情况下的图,图7A和图7B是摄像光学系统2的变焦倍率高且视角为远摄的情况下的图。
在此,图6A和图7A表示拍摄到的图像,图6B和图7B表示摄像元件3上的像与像素(格子)的大小关系。如图6A和图6B所示,在摄像光学系统2的变焦倍率低且视角为广角的情况下,当拍摄路面202上存在的行人203时,分配给行人203的摄像元件3的像素数相对地变少。相反地,如图7A和图7B,在摄像光学系统2的变焦倍率高且视角为远摄的情况下,当拍摄路面202上存在的行人203时,分配给行人203的摄像元件3的像素数相对地变多。
如图6B的情况那样分配给行人203的像的像素数少使得行人203的像的分辨率低,根据拍摄到的图像能够识别其是行人的精度下降。相反地,如图7B的情况那样分配给行人203的像的像素数多使得行人203的像的分辨率高,根据拍摄到的图像能够识别其是行人的精度提高。
因此,在汽车的行驶期间,为了尽可能快且高精度地识别存在于远方的行人,摄像光学系统2的变焦倍率优选较高。但是,将变焦倍率设定得越高,能够拍摄的范围越变窄,所以有时无法检测拍摄范围外的物体。
为了解决该问题,使得能够根据想识别的物体的位置而任意地变更摄像光学系统2的变焦倍率,并以物体的识别精度不下降的程度的像素数来进行拍摄即可。
因此,可考虑相对位置算出单元21检测前方是否存在物体,并基于与该物体之间的距离的算出结果,将摄像光学系统2的变焦倍率变更为适当的倍率。但是,由于摄像光学系统2的变焦倍率变更是通过用电动机等驱动而变更光学透镜L2的位置来实现的,因此以零延迟时间来实施变焦工作是不可能的。
使用图8说明变焦工作的延迟时间。在图8中,横轴表示从变焦工作开始起的时间,纵轴表示将摄像装置501设为基准位置的相对距离。粗实线701表示物体位置,表示物体随着时间经过而接近移动体的情况。与之相对,虚线702表示变焦位置。图8所示变焦位置例如表示在该时刻的变焦状态下,能够得到最适合于物体识别的大小的物体像的到物体的距离。虚线702表示瞄准位于远方的物体而移动变焦位置的情况。到粗实线701与虚线702交叉的时刻为止的时间成为变焦中的延迟时间。
因此,在汽车201正在移动的情况下,在变焦工作期间,汽车201与行人203的距离变短,在变焦工作完成的时刻,会过于接近而被拍摄体像超出摄像元件3的摄像范围,反而会发生不能够识别行人的状况。图9A和图9B是表示该状态下的拍摄图像的图。
因此,在本实施方式中,变焦倍率算出单元10根据到行人203的距离、汽车201的移动速度、摄像光学系统2的变焦工作所需要的时间(上述延迟时间),算出能够在变焦工作完成时用适当的视角拍摄行人203的像的摄像光学系统2的变焦倍率值。这相当于在图8中粗实线701与虚线702交叉的状态下的变焦倍率。
由此,即使汽车201正在移动,也能够总是用适当的尺寸拍摄行人203的像,所以能够稳定地识别行人203。
(第2实施方式)
以下,说明本说明书公开的摄像装置的第2实施方式。
图10是本说明书公开的第2实施方式中的摄像装置501的框图。
在第2实施方式的摄像装置501中,在第1实施方式的摄像装置501的构成要素基础上,相对位置算出单元21具备相对角度算出单元22。相对角度算出单元22根据由测距传感器20得到的信息,算出从测距传感器20至观察到的前方物体的相对角度。对于相对角度的检测,例如可以通过在改变如毫米波雷达的测距传感器的物理朝向的同时进行感测(sensing)、或控制阵列状的雷达天线的信号相位而使之具有方位选择性来实现。变焦倍率算出单元10进一步也使用该相对角度来算出变焦倍率值。
以下说明第2实施方式的摄像装置501的工作。第2实施方式中的整体工作与图4的流程图是同样的,但变焦驱动的工作不同。图11是表示本实施方式的变焦驱动的工作的图。步骤1b01、1b03、1b05的工作与图5的流程图所示的工作是同样的。在本实施方式中,在新的步骤1b02中,相对角度算出单元22算出从测距传感器20至观察到的前方物体的相对角度。进一步,在步骤1b04中,变焦倍率算出单元10基于从移动体至观察到的物体的距离、相对角度(相对方位)、移动体的移动速度,算出摄像光学系统2的变焦倍率值,以使得在变焦工作完成时行人203的像处于拍摄图像内。例如,在对象物体位于行驶中的移动体的斜前方的情况下,与位于正前方的情况相比,移动体与对象物体的距离变短的比例变小。因此,通过考虑对象物体的相对角度来算出变焦倍率值,能够得到更适当的变焦倍率值。
根据本实施方式,考虑对象物体的相对角度而设定变焦倍率来进行拍摄,使得物体有效地处于拍摄图像内,能够稳定地识别对象物体。
(第3实施方式)
以下,说明本说明书公开的摄像装置的第3实施方式。
图12是本说明书公开的第3实施方式中的摄像装置501的框图。
第3实施方式的摄像装置501在第2实施方式的摄像装置501的构成要素基础上,具备转向角传感器50和移动角度算出单元51。转向角传感器50感测决定移动体的移动方向的机构(车的方向盘、船的舵等)的设定状态。移动角度算出单元51基于上述设定状态来算出决定移动体的移动方向的机构的设定角度。在本实施方式中,移动角度算出单元51算出移动体转弯的方向(行进方向的方位角),变焦倍率算出单元10进一步基于移动体转弯的方向(行进方向的方位角)来算出变焦倍率值。
以下说明第3实施方式的摄像装置501的工作。第3实施方式中的整体工作与图4的流程图是同样的,但变焦驱动的工作不同。图13A是表示本实施方式的变焦驱动的工作的流程图。步骤2b01、2b02、2b04、2b06与图11所示的流程图的工作是同样的。在本实施方式中,在新的步骤2b03中,移动角度算出单元51算出移动体的转向角。
进一步,在步骤2b05中,变焦倍率算出单元10经由输入单元314输入所算出的转向角的信息。变焦倍率算出单元10基于从移动体至观察到的物体的距离、角度(方位)、转向角、移动速度,算出摄像光学系统2的变焦倍率值,使得在变焦工作完成后的拍摄时行人203的像处于拍摄图像内。
使用图13B和图13C,说明本实施方式的算出变焦倍率值的处理。与图8同样地,在图13B和图13C中,横轴表示从变焦工作开始起的时间,纵轴表示将摄像装置501设为基准位置的相对距离。图13B表示移动体向接近对象物体的方向转向时的状态。例如,对象物体位于左前方且移动体向左转弯的情况属于该状态。在该情况下,根据转向角,对象物体接近移动体的速度变快,所以通过考虑其相应的量而算出变焦倍率值,能够得到最适合于物体识别的大小的物体像。
另外,图13C表示移动体向远离对象物体的方向转向时的状态。例如,对象物体位于左前方且移动体向右转弯的情况属于该状态。在该情况下,根据转向角,对象物体接近移动体的速度变慢,所以通过考虑其相应的量而算出变焦倍率值,能够得到最适合于物体识别的大小的物体像。
根据本实施方式,能够考虑在移动体的转向角的影响下拍摄图像内的物体位置变化的影响而设定变焦倍率,能够更稳定地识别对象物体。
(第4实施方式)
以下,说明本说明书公开的摄像装置的第4实施方式。
图14是本公开的第4实施方式中的摄像装置501的框图。
第4实施方式的摄像装置501在第3实施方式的摄像装置501的构成要素基础上,具备角速度传感器71、抖动修正控制单元70以及抖动修正驱动单元73。
角速度传感器71测量移动体或透镜镜筒1的角速度(例如水平方向、垂直方向的角速度)。角速度传感器71检测伴随着移动体的移动的抖动。抖动修正控制单元70根据由角速度传感器71得到的角速度来控制抖动修正驱动单元73,以抵消由移动体或透镜镜筒的角速度引起的图像的抖动。
对于抖动修正的控制,可以使用与数码相机的光学抖动修正同样的控制。抖动修正驱动单元73通过修正透镜L3(L31、L32)的位置控制来光学地修正图像抖动。此外,在本实施方式中,通过透镜L3的位置控制来修正图像抖动,但即使替换成通过摄像元件3的位置控制实现的图像抖动修正,也能够得到本实施方式的效果。
以下说明第4实施方式的摄像装置501的工作。图15A是表示第4实施方式的摄像装置501的工作的流程图。第4实施方式中的整体工作与图4的流程图是同样的,但在新的步骤3a02中,抖动修正控制单元70基于角速度传感器71的测量值来控制抖动修正驱动单元73,修正(由移动体或透镜镜筒的角速度引起的)图像抖动。接着,在步骤3a03中,与变焦工作和抖动修正的工作完成相应地,摄像元件3执行拍摄。变焦驱动的工作与图13A所示的工作是同样的。
作为光学抖动修正方法,例如也可以采用日本专利第1589189号记载的光学抖动修正方法。为了参考,将日本专利第1589189号的记载内容援引至本说明书中。在日本专利第1589189号中,例如使用振动陀螺仪测量角速度,使反射镜移动或使透镜和拍摄单元整体移动而进行抖动修正。
图15B是表示光学抖动修正的例子的图。抖动修正控制单元70使用抖动修正驱动单元73控制修正透镜L3的位置,修正图像的抖动。在抖动修正中,既可以使透镜L31、L32在相同方向上移动,也可以使它们在互不相同的方向上移动。
例如,抖动修正控制单元70通过使修正透镜L3的光轴150偏心,从而修正图像的抖动。另外,例如抖动修正控制单元70也可以通过使修正透镜L3以与光轴150正交的两个轴151、152及与光轴150并行的一个轴(也可以是光轴150)的至少一个轴为中心而旋转驱动(例如旋转方向160、161、162),从而修正图像的抖动。另外,例如抖动修正控制单元70也可以通过使修正透镜L3在与光轴150正交的两个轴151、152的方向上位移,从而修正图像的抖动。
另外,抖动修正控制单元70也可以使用抖动修正驱动单元73控制摄像元件3的位置,修正图像的抖动。例如抖动修正控制单元70也可以通过使摄像元件3在与光轴150正交的方向151、152上位移,从而修正图像的抖动。另外,例如抖动修正控制单元70也可以通过以与光轴150并行的轴(也可以是光轴150)为中心而旋转驱动摄像元件3,从而修正图像的抖动。
根据本实施方式,能够拍摄光学修正了变焦拍摄时影响大的图像抖动而得到的图像。由此,能够更稳定地识别对象物体。
(第5实施方式)
以下,说明本说明书公开的摄像装置的第5实施方式。
图16是本说明书公开的第5实施方式中的摄像装置501的框图。
第5实施方式的摄像装置501在实施方式4的摄像装置501的构成要素的基础上,具备物体位置算出单元24。物体位置算出单元24基于从相对位置算出单元21、移动速度算出单元31以及移动角度算出单元51的每一个得到的物体的距离、相对角度、移动速度以及转向角,算出拍摄时的物体的图像上的位置。抖动修正控制单元70控制抖动修正驱动单元73以使得将上述物体的位置设定为抖动修正的修正中心。抖动修正控制单元70调整透镜L3的位置以使得对象物体的图像位于拍摄图像的中心。
第5实施方式中的整体工作与图15A的流程图是同样的,抖动修正控制单元70控制抖动修正驱动单元73以使得将上述物体位置设定为抖动修正的修正中心。
当抖动修正的中心(图像的中心)与物体位置不同时,例如成为如图17A和图17B所示的配置。在该状态下,虽然行人203处于拍摄图像内,但映照在图像的周围。
因此,当为了进行抖动修正而使透镜L3移动时,行人203的像容易脱离图像帧。即,抖动修正的有效范围变窄。因此,通过将透镜L3设定为行人203映照在中心的位置,能够得到如图7A和图7B所示的图像。
通过在图17A和图17B所示的图像帧的状态下进行抖动修正,能够使抖动修正有效地发挥功能而行人203不会从图像超出。
根据本实施方式,能够对对象物体(行人203)有效地进行抖动修正,并能够更稳定地识别对象物体。
此外,在本实施方式中,物体位置算出单元24基于从相对位置算出单元21、移动速度算出单元31以及移动角度算出单元51的每一个得到的物体的距离、相对角度、移动速度以及转向角,算出拍摄时的物体在图像上的位置,但物体的距离、相对角度、移动速度、转向角中的一部分也可以用预先决定的固定值来近似。即,即使基于物体的距离、相对角度、移动速度、转向角的至少一个以上的输入来决定物体位置,也能够得到本实施方式的效果。
(第6实施方式)
以下,说明本说明书公开的摄像装置的第6实施方式。
图18是本说明书公开的第6实施方式中的摄像装置501的框图。
第6实施方式的摄像装置501的构成要素和工作与实施方式5的摄像装置501是同样的,但抖动修正控制单元70的工作不同。在实施方式6中,抖动修正控制单元70与变焦驱动控制单元11的变焦驱动完成的定时相应地开始抖动修正。
例如,在从变焦工作完成起到开始对象物体的曝光拍摄为止的期间,开始抖动修正。由此,能够将伴随机械机构的工作的抖动修正的工作时间抑制为所需的最小限度,具有能够延长上述机构的正常工作寿命的效果。此外,上述定时只要取决于变焦驱动完成的定时,则既可以是驱动完成之前,也可以是驱动完成之后。
(第7实施方式)
第7实施方式的摄像装置501的结构与第6实施方式的摄像装置501的结构是同样的,但物体位置算出单元24、抖动修正控制单元70、变焦倍率算出单元10以及变焦驱动控制单元11的工作不同。
在第7实施方式中,物体位置算出单元24基于从相对位置算出单元21、移动速度算出单元31以及移动角度算出单元51的每一个得到的物体的距离、相对角度、移动速度以及转向角的一个以上的参数,算出拍摄时的物体在图像上的位置和移动。抖动修正控制单元70基于上述位置和移动来控制抖动修正驱动单元73,以抵消图像上的物体像的移动。由此,能够抑制由移动物体的移动和物体的移动引起的拍摄时的移动抖动,能够进行长时间曝光,能够给实现高感光度的拍摄。
另外,变焦倍率算出单元10基于从物体位置算出单元24、相对位置算出单元21、移动速度算出单元31以及移动角度算出单元51的每一个得到的物体的距离、相对角度、移动速度以及转向角的一个以上的参数,算出拍摄时的变焦倍率和图像上的物体像的大小变化率(像倍率变化)。变焦驱动控制单元11将上述变焦倍率作为基准,使变焦倍率变化以使得在拍摄时抵消曝光中的像倍率变化。
例如,抖动修正控制单元70使变焦驱动控制单元11和抖动修正驱动单元73工作,以使得在对对象物体进行曝光拍摄期间对象物体的图像在拍摄图像的相同位置维持相同尺寸。由此,能够抑制由移动物体的移动和物体的移动引起的拍摄时的像倍率变化,能够进行长时间曝光,能够实现高感光度的拍摄。
使用图8说明变焦工作。变焦驱动控制单元11在从变焦工作开始起经过延迟时间后进行控制,以使得能够将对象物体拍摄为所期望的大小,但在曝光期间,物体位置也会变化。特别是在由于远摄拍摄而光量容易变得不足的条件下,优选延长曝光时间。因此,根据物体位置的变化701来使变焦位置变化(虚线703)。在虚线702的工作中,控制变焦位置以使得到目标变焦位置为止的转换时间变为最短。另一方面,在虚线703的工作中,切换为与物体位置的变化(预测值或测量值)相匹配的连续的位置控制,使曝光中的拍摄尺寸恒定。
此外,在本实施方式中,说明了同时对由对象物体的移动及该物体的移动引起的拍摄时的抖动和像倍率变化进行抑制的工作,但即使只进行其中一方,也能够进行长时间曝光,能够实现高感光度的拍摄。
(第8实施方式)
以下,说明本说明书公开的摄像装置的第8实施方式。
图19是本说明书公开的第8实施方式中的摄像装置501的框图。
第8实施方式的摄像装置501的构成要素与第7实施方式的摄像装置501是同样的,但还具备运动矢量检测单元80。运动矢量检测单元80根据系统控制单元40所取得的拍摄图像的时间序列,检测图像内中的物体的运动矢量。对于运动矢量的检测,可以使用光流或区块匹配等方法来进行。
抖动修正控制单元70控制抖动修正驱动单元73以抵消上述运动矢量。例如,抖动修正控制单元70使变焦驱动控制单元11和抖动修正驱动单元73工作,以使得通过抵消运动矢量,从而在对对象物体进行曝光拍摄期间,对象物体的图像在拍摄图像的相同位置维持相同尺寸。
由此,能够抑制由移动物体的移动和物体的移动引起的拍摄时的抖动,能够进行长时间曝光,能够实现高感光度的拍摄。特别是通过详细地进行基于图像处理的运动矢量检测,能够高精度地检测复杂的物体的移动,能够提高抖动修正的精度。
(第9实施方式)
以下,说明本说明书公开的摄像装置的第9实施方式。
图20表示本说明书公开的第9实施方式的摄像装置501的框图。
第9实施方式的摄像装置501的构成要素与第6实施方式的摄像装置501是同样的,但还具备照准位置算出单元74和透镜镜筒驱动控制单元81。照准位置算出单元74基于物体位置算出单元24所算出的物体位置,算出透镜镜筒1的拍摄位置(照准位置)。透镜镜筒驱动控制单元81控制透镜镜筒1以使透镜镜筒1朝向上述照准位置。
图21的流程图表示第9实施方式中的整体工作。
步骤20a01、20a04~20a06的工作与第6实施方式是同样的,在新的步骤20a02中,透镜镜筒驱动控制单元81将透镜镜筒1控制为朝向照准位置。进一步,在步骤20a03中,抖动修正控制单元70与变焦驱动和透镜镜筒驱动的完成相应地驱动抖动修正驱动单元73而修正抖动。
例如,透镜镜筒驱动控制单元81也可以通过使透镜镜筒1在与光轴90正交的两个轴91、92的方向上位移,从而修正抖动。另外,例如透镜镜筒驱动控制单元81也可以通过使透镜镜筒1以光轴90和与光轴90正交的两个轴91、92的至少一个轴为中心而旋转驱动(例如旋转方向100、101、102),从而修正抖动。
由此,能够在拍摄时将物体配置在图像内的中心附近而进行拍摄,能够进行将变焦倍率设定为较大的拍摄,并且,能够将抖动修正的有效范围(物体不从图像超出)设定为较大。结果,能够使拍摄物体的识别精度提高。另外,通过与变焦驱动和透镜镜筒的驱动完成相应地驱动抖动修正,从而能够将抖动修正的机构的驱动时间抑制为所需的最小限度。
(第10实施方式)
以下,说明本说明书公开的摄像装置的第10实施方式。
图22表示本说明书公开的第10实施方式的摄像装置501的框图。
第10实施方式的摄像装置501的构成要素与第9实施方式的摄像装置501是同样的,但除去了抖动修正驱动单元73、抖动修正控制单元70以及准位置算出单元74,透镜镜筒驱动控制单元81还承担抖动修正驱动单元73的功能,照准位置、图像抖动修正控制单元75承担抖动修正控制单元70和准位置算出单元74的功能。
照准位置、图像抖动修正控制单元75基于物体位置算出单元24所算出的物体位置和角度传感器71检测出的透镜镜筒1的角速度,控制透镜镜筒驱动控制单元81,以使得以物体位置为中心而抵消透镜镜筒1的角速度抖动。
在图23的流程图中表示第10实施方式的整体工作。
步骤21a01、21a04、21a05的工作与第9实施方式是同样的,在新的步骤21a02中,透镜镜筒驱动控制单元81驱动透镜镜筒1以使得以照准位置为中心而抵消抖动,在步骤21a03中,与变焦驱动和透镜镜筒驱动的完成相应地,摄像元件3执行拍摄。
通过透镜镜筒1的驱动,能够除去透镜镜筒1的抖动(角速度)成分,因此,即使是在透镜镜筒1的抖动(角速度)成分大的情况,也能够抵消抖动。
(第11实施方式)
以下,说明本说明书公开的摄像装置的第11实施方式。
在图24中表示本说明书公开的第11实施方式的摄像装置501的框图。
第11实施方式的摄像装置501的构成要素与第10实施方式的摄像装置501是同样的,但还具备抖动修正驱动单元73、高通滤波器(HPF)76以及低通滤波器(LPF)75。抖动修正驱动单元73基于照准位置、图像抖动修正控制单元75所算出的照准位置和抖动修正量,进行对高频抖动成分的光学抖动修正。
在高频抖动修正中,通过HPF76所选择的高频抖动修正信号来进行透镜L3的位置控制。关于对低频抖动成分的修正和使透镜镜筒1朝向照准位置的驱动,基于LPF75所选择的低频抖动修正信号,透镜镜筒驱动控制单元81进行修正和朝向照准位置的镜筒驱动。
图25的流程图表示第11实施方式的整体工作。
步骤22a01、22a05、22a06的工作与第10实施方式是同样的,但在新的步骤22a02中,透镜镜筒驱动控制单元81驱动透镜镜筒1以使得以照准位置为中心而抵消低频成分抖动。接着,在步骤22a03中,与透镜镜筒1的驱动和变焦驱动的完成相应地,抖动修正驱动单元73修正高频抖动成分。接着,在步骤22a04中,与变焦驱动、透镜镜筒驱动、抖动修正的完成相应地,摄像元件3执行拍摄。
这样,通过协调进行由透镜镜筒1的驱动实现的低频抖动修正和由透镜L3的驱动实现的高频抖动修正,能够实现宽频带的抖动修正。由此,能够进行稳定的拍摄和物体识别。
此外,上述摄像装置501的构成要素的一部分功能也可以作为软件来实现。例如,也可以通过作为计算机的通用处理器执行记录于非易失性计算机可读取记录介质的计算机程序,来实现上述功能。进一步,摄像装置501的构成要素的一部分也可以作为组入上述计算机程序的如所谓数字信号处理器(DSP)的一个或多个芯片电路来加以实现。
图26表示第1~第11实施方式的拍摄工作的例子。例如,能够在尽管测距传感器确认到物体A、B、C的存在,但未识别出该物体B和C是汽车还是行人的情况下,通过进行变焦拍摄,从而识别物体B和C是什么。在存在如物体B和物体C的多个作为应识别对象的拍摄物体的情况下,通过从相对距离更近的拍摄物体或相对距离变化更大的拍摄物体起依次进行变焦工作,并快速地进行识别,能够避免碰撞等危险。另外,不言而喻的是,可以在识别了物体B和C后,使变焦状态返回原状。
产业上的可利用性
本说明书公开的摄像装置作为装载于车辆、船舶、飞行器、移动机器人等移动体的摄像装置是有用的。另外,本说明书公开的构成要素的功能的至少一部分也可以通过计算机程序来实现。进一步,本说明书公开的构成要素可以作为将这种计算机程序编入一个或电路中而成的DSP等硬件来加以实现。

Claims (19)

1.一种变焦倍率算出装置,算出在摄像装置的变焦驱动电路中使用的变焦倍率值,所述摄像装置装载于移动体,并拍摄位于所述移动体的周围的物体,所述变焦倍率算出装置具备:
存储单元,其保持第1信息,所述第1信息表示所述变焦的工作的延迟时间;
第1输入单元,其输入第2信息,所述第2信息指示对所述物体进行变焦拍摄;
第2输入单元,其输入第3信息,所述第3信息表示所述物体相对于所述移动体的相对距离;
第3输入单元,其输入第4信息,所述第4信息表示所述移动体的移动速度;
运算单元,其使用输入所述第2信息时的所述第3信息所表示的第1相对距离、所述第1信息以及所述第4信息,算出与所述第1相对距离相比而所述移动体更接近所述物体的第2相对距离,并基于所述第2相对距离算出所述变焦倍率值;以及
输出单元,其向所述变焦驱动电路输出所述变焦倍率值。
2.根据权利要求1所述的变焦倍率算出装置,
所述存储单元将表示从某变焦倍率向其他变焦倍率的变更所需要的时间的信息,作为所述第1信息存储。
3.根据权利要求1所述的变焦倍率算出装置,
所述第2输入单元输入第5信息,所述第5信息表示所述物体相对于所述移动体的相对角度,
所述运算单元还使用所述第5信息,算出所述第2相对距离。
4.根据权利要求1所述的变焦倍率算出装置,
具备输入第6信息的第4输入单元,所述第6信息表示所述移动体的行进方向的方位角,
所述运算单元还基于所述第6信息,算出所述第2相对距离。
5.一种摄像装置,具备:
权利要求1所述的变焦倍率算出装置;
光学系统,其至少包括一枚透镜;
摄像元件,其将成像于摄像面的所述物体的像转换成图像信号;
变焦驱动控制单元,其进行所拍摄的图像的变焦;
距离算出单元,其算出所述物体相对于所述移动体的所述相对距离,并向所述变焦倍率算出装置进行输出;以及
速度算出单元,其算出所述移动体的所述移动速度,并向所述变焦倍率算出装置进行输出。
6.根据权利要求5所述的摄像装置,
还具备角度算出单元,所述角度算出单元算出所述物体相对于所述移动体的相对角度,并向所述变焦倍率算出装置进行输出。
7.根据权利要求5所述的摄像装置,
还具备方位角算出单元,所述方位角算出单元算出所述移动体的行进方向的方位角,并向所述变焦倍率算出装置进行输出。
8.根据权利要求5所述的摄像装置,
所述变焦驱动控制单元进行如下控制:使所述光学系统移动而使所述物体的图像位于拍摄图像的中心。
9.根据权利要求5所述的摄像装置,还具备:
抖动检测单元,其检测伴随所述移动体的移动的抖动;和
抖动修正单元,其抑制拍摄图像的抖动。
10.根据权利要求9所述的摄像装置,
在所述变焦驱动控制单元的变焦工作完成后到开始所述物体的曝光拍摄为止的期间,所述抖动修正单元开始驱动。
11.根据权利要求9所述的摄像装置,
还具备抖动修正控制单元,所述抖动修正控制单元控制所述变焦驱动控制单元和所述抖动修正单元,使得在对所述物体进行曝光拍摄期间使所述物体的图像在拍摄图像的相同位置维持相同尺寸。
12.根据权利要求11所述的摄像装置,
还具备根据拍摄图像检测所述物体的运动矢量的运动矢量检测单元,
所述抖动修正控制单元基于所述运动矢量来控制所述变焦驱动控制单元和所述抖动修正单元,使得在对所述物体进行曝光拍摄期间使所述物体的图像在拍摄图像的相同位置维持相同尺寸。
13.根据权利要求9所述的摄像装置,
所述抖动修正单元使所述光学系统的光轴偏心而修正图像的抖动。
14.根据权利要求9所述的摄像装置,
所述抖动修正单元使所述光学系统以与所述光学系统的光轴正交的两个轴以及与所述光轴并行的一个轴中的至少一个轴为中心来旋转驱动而修正图像的抖动。
15.根据权利要求9所述的摄像装置,
所述抖动修正单元使所述光学系统的所述透镜在与所述光学系统的光轴正交的方向上位移而修正图像的抖动。
16.根据权利要求9所述的摄像装置,
所述抖动修正单元使所述摄像元件在与光轴正交的方向上位移而修正图像的抖动。
17.根据权利要求9所述的摄像装置,
所述抖动修正单元使所述摄像元件以与光轴并行的轴为中心来旋转驱动而修正图像的抖动。
18.一种移动体,具备权利要求5所述的摄像装置。
19.一种变焦倍率算出装置的控制方法,所述变焦倍率算出装置算出在摄像装置的变焦驱动电路中使用的变焦倍率值,所述摄像装置装载于移动体,并拍摄位于所述移动体的周围的物体,
所述变焦倍率算出装置保持表示所述变焦的工作的延迟时间的第1信息,
所述控制方法针对所述变焦倍率算出装置而包括以下步骤:
输入第2信息的步骤,所述第2信息指示对所述物体的像进行变焦拍摄;
输入第3信息的步骤,所述第3信息表示所述物体相对于所述移动体的相对距离;
输入第4信息的步骤,所述第4信息表示所述移动体的移动速度;
使用输入所述第2信息时的所述第3信息所表示的第1相对距离、所述第1信息以及所述第4信息,算出与所述第1相对距离相比而所述移动体更接近所述物体的第2相对距离,并基于所述第2相对距离算出所述变焦倍率值的步骤;
使所述变焦倍率值输出至所述变焦驱动电路的步骤。
CN201510126080.XA 2014-03-25 2015-03-20 变焦倍率算出装置及其控制方法、摄像装置以及移动体 Withdrawn CN104954668A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014062462 2014-03-25
JP2014-062462 2014-03-25
JP2014264454A JP2015195569A (ja) 2014-03-25 2014-12-26 移動体用撮影装置
JP2014-264454 2014-12-26

Publications (1)

Publication Number Publication Date
CN104954668A true CN104954668A (zh) 2015-09-30

Family

ID=53039181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510126080.XA Withdrawn CN104954668A (zh) 2014-03-25 2015-03-20 变焦倍率算出装置及其控制方法、摄像装置以及移动体

Country Status (4)

Country Link
US (1) US9398226B2 (zh)
EP (1) EP2930658A1 (zh)
JP (1) JP2015195569A (zh)
CN (1) CN104954668A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147988A (zh) * 2017-03-24 2017-09-08 联想(北京)有限公司 一种信息处理方法及电子设备
CN107454309A (zh) * 2016-04-15 2017-12-08 佳能株式会社 摄像系统、图像处理设备及其控制方法、程序和记录介质
CN108476289A (zh) * 2017-07-31 2018-08-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
CN108633303A (zh) * 2017-01-25 2018-10-09 松下知识产权经营株式会社 刚性测定装置以及刚性测定方法
CN108632528A (zh) * 2017-03-24 2018-10-09 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN110050462A (zh) * 2016-12-22 2019-07-23 康奈可关精株式会社 图像显示控制装置
CN110892321A (zh) * 2018-07-18 2020-03-17 深圳市大疆创新科技有限公司 一种图像拍摄方法及无人机
CN111357271A (zh) * 2018-07-13 2020-06-30 深圳市大疆创新科技有限公司 控制装置、移动体、控制方法以及程序
CN111567032A (zh) * 2018-06-12 2020-08-21 深圳市大疆创新科技有限公司 确定装置、移动体、确定方法以及程序
CN112868058A (zh) * 2018-11-02 2021-05-28 京瓷株式会社 无线通信平视显示器系统、无线通信设备、移动体以及程序
US12017768B2 (en) 2019-03-27 2024-06-25 Sony Group Corporation Information processing apparatus and information processing method

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105140A (ko) * 2014-03-07 2015-09-16 삼성전자주식회사 휴대 단말기 및 컨텐츠 확대 표시 방법
US10397484B2 (en) * 2015-08-14 2019-08-27 Qualcomm Incorporated Camera zoom based on sensor data
CN105259743B (zh) * 2015-10-23 2018-02-27 南京邮电大学 一种电控变焦透镜变焦时间的自动检测装置和检测方法
WO2017084090A1 (zh) 2015-11-20 2017-05-26 三美电机株式会社 透镜驱动装置、摄像机模块以及摄像机搭载装置
KR101723948B1 (ko) * 2015-12-24 2017-04-11 (주) 큐알온텍 차량용 블랙박스의 영상 제어 장치 및 방법
JP6700874B2 (ja) * 2016-03-08 2020-05-27 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US10753842B2 (en) * 2016-04-04 2020-08-25 Alidad AMIRFAZLI Systems and methods for measuring physiochemical properties of interfaces using droplets or bubbles
CN109716227A (zh) * 2016-09-16 2019-05-03 松下知识产权经营株式会社 致动器和相机设备
WO2018116417A1 (ja) * 2016-12-21 2018-06-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、撮像装置、移動体、制御方法、及びプログラム
TWI681674B (zh) * 2017-02-17 2020-01-01 酷異有限公司 影像擷取裝置與影像資料校正方法
KR102399539B1 (ko) * 2017-08-28 2022-05-19 삼성전자주식회사 오브젝트 식별 방법 및 장치
JP2019057840A (ja) * 2017-09-21 2019-04-11 トヨタ自動車株式会社 撮像装置
US10587807B2 (en) * 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
JP7128723B2 (ja) * 2018-11-12 2022-08-31 本田技研工業株式会社 画像管理装置、路面情報管理システム、車両、プログラム、及び、画像管理方法
JP6712070B2 (ja) * 2018-12-27 2020-06-17 ミツミ電機株式会社 レンズ駆動装置、カメラモジュール、及びカメラ搭載装置
US20230076273A1 (en) * 2019-12-23 2023-03-09 Mitsubishi Electric Corporation Obstacle detection device and obstacle detection method
US11508156B2 (en) * 2019-12-27 2022-11-22 Magna Electronics Inc. Vehicular vision system with enhanced range for pedestrian detection
US11912310B2 (en) * 2020-06-26 2024-02-27 Tusimple, Inc. Autonomous driving crash prevention
US11317026B1 (en) * 2020-08-19 2022-04-26 General Atomics Aeronautical Systems, Inc. Mobile imaging systems and methods utilizing angular velocity in mitigating adverse jitter effects
WO2022075039A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム及び情報処理方法
US20230048359A1 (en) * 2021-08-12 2023-02-16 Toyota Connected North America, Inc. Message construction based on potential for collision
US12030489B2 (en) 2021-08-12 2024-07-09 Toyota Connected North America, Inc. Transport related emergency service notification
WO2023234356A1 (ja) * 2022-06-01 2023-12-07 パナソニックIpマネジメント株式会社 撮像システム、及び、それを備えた移動体
WO2023234360A1 (ja) * 2022-06-01 2023-12-07 パナソニックIpマネジメント株式会社 撮像システム、及び、それを備えた移動体
WO2024090075A1 (ja) * 2022-10-28 2024-05-02 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143330A (ja) 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 撮影装置
JPH07105481A (ja) 1993-09-30 1995-04-21 Suzuki Motor Corp 車両用画像認識装置
JPH0927100A (ja) 1995-07-12 1997-01-28 Yazaki Corp 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置
JP2002196385A (ja) * 2000-12-22 2002-07-12 Fuji Photo Optical Co Ltd 防振装置
KR100470931B1 (ko) * 2001-12-05 2005-02-22 가부시키가이샤 히다치 고쿠사이 덴키 템플레이트 매칭을 이용한 물체추적방법 및 장치
US7907750B2 (en) * 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
JP2008060988A (ja) 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
US7411167B2 (en) * 2006-09-05 2008-08-12 Honeywell International Inc. Tracking a moving object from a camera on a moving platform
JP6032034B2 (ja) * 2013-02-05 2016-11-24 日産自動車株式会社 物体検知装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848685B2 (en) 2016-04-15 2020-11-24 Canon Kabushiki Kaisha Imaging system, image processing apparatus, imaging system control method, image processing apparatus control method, and program
CN107454309A (zh) * 2016-04-15 2017-12-08 佳能株式会社 摄像系统、图像处理设备及其控制方法、程序和记录介质
CN107454309B (zh) * 2016-04-15 2020-05-05 佳能株式会社 摄像系统、图像处理设备及其控制方法和记录介质
CN110050462A (zh) * 2016-12-22 2019-07-23 康奈可关精株式会社 图像显示控制装置
CN110050462B (zh) * 2016-12-22 2021-01-05 康奈可关精株式会社 图像显示控制装置
CN108633303A (zh) * 2017-01-25 2018-10-09 松下知识产权经营株式会社 刚性测定装置以及刚性测定方法
CN107147988A (zh) * 2017-03-24 2017-09-08 联想(北京)有限公司 一种信息处理方法及电子设备
CN108632528A (zh) * 2017-03-24 2018-10-09 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN108476289B (zh) * 2017-07-31 2021-02-02 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
CN108476289A (zh) * 2017-07-31 2018-08-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
US11385658B2 (en) 2017-07-31 2022-07-12 SZ DJI Technology Co., Ltd. Video processing method, device, aircraft, and system
CN111567032A (zh) * 2018-06-12 2020-08-21 深圳市大疆创新科技有限公司 确定装置、移动体、确定方法以及程序
CN111567032B (zh) * 2018-06-12 2021-08-24 深圳市大疆创新科技有限公司 确定装置、移动体、确定方法以及计算机可读记录介质
CN111357271A (zh) * 2018-07-13 2020-06-30 深圳市大疆创新科技有限公司 控制装置、移动体、控制方法以及程序
CN111357271B (zh) * 2018-07-13 2022-03-04 深圳市大疆创新科技有限公司 控制装置、移动体、控制方法
CN110892321A (zh) * 2018-07-18 2020-03-17 深圳市大疆创新科技有限公司 一种图像拍摄方法及无人机
CN110892321B (zh) * 2018-07-18 2021-09-03 深圳市大疆创新科技有限公司 一种图像拍摄方法及无人机
CN112868058A (zh) * 2018-11-02 2021-05-28 京瓷株式会社 无线通信平视显示器系统、无线通信设备、移动体以及程序
US12017768B2 (en) 2019-03-27 2024-06-25 Sony Group Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
EP2930658A1 (en) 2015-10-14
US9398226B2 (en) 2016-07-19
US20150281587A1 (en) 2015-10-01
JP2015195569A (ja) 2015-11-05

Similar Documents

Publication Publication Date Title
CN104954668A (zh) 变焦倍率算出装置及其控制方法、摄像装置以及移动体
US11657604B2 (en) Systems and methods for estimating future paths
US11787338B2 (en) Vehicular vision system
KR102547600B1 (ko) 자율주행차 시스템을 위한 교차 시야
US20200017143A1 (en) Vehicular trailer assist system
US11315348B2 (en) Vehicular vision system with object detection
JP5421072B2 (ja) 接近物体検知システム
US20170030722A1 (en) Vehicle localization system
EP2743889A2 (en) Stereoscopic camera object detection system and method of aligning the same
JP2020507829A (ja) 整合画像及びlidar情報に基づいた車両ナビゲーション
CN109074069A (zh) 具有改进的视觉检测能力的自主车辆
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP2005332107A (ja) 車両用走行区分線認識装置
CN104660980A (zh) 车载图像处理装置和半导体装置
JP6032034B2 (ja) 物体検知装置
JP3765862B2 (ja) 車両用環境認識装置
JP6286465B2 (ja) 自動走行車両
US20150294465A1 (en) Vehicle position estimation system
JP7122394B2 (ja) 撮像部制御装置
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP2018152692A (ja) 位置推定プログラム及び移動体
JP2003276542A (ja) 車両用後方監視装置
JP7334572B2 (ja) 物体検知装置および物体検知プログラム
US11410288B2 (en) Image processing apparatus
JP2010011311A (ja) 車両用撮影装置および撮影方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20150930