CN117774832A - 可移动设备和摄像装置的安装方法 - Google Patents

可移动设备和摄像装置的安装方法 Download PDF

Info

Publication number
CN117774832A
CN117774832A CN202311273535.1A CN202311273535A CN117774832A CN 117774832 A CN117774832 A CN 117774832A CN 202311273535 A CN202311273535 A CN 202311273535A CN 117774832 A CN117774832 A CN 117774832A
Authority
CN
China
Prior art keywords
image
movable apparatus
θlv
vehicle
θlh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311273535.1A
Other languages
English (en)
Inventor
星野浩恒
土屋知朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN117774832A publication Critical patent/CN117774832A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及可移动设备和摄像装置的安装方法。为了将摄像装置布置成使得能够以高分辨率拍摄宽范围,可移动设备被配置成使得将第一摄像装置安装在第一安装位置处,所述第一摄像装置包括光学系统,所述光学系统用于在摄像元件的受光面上形成光学图像,所述光学图像在光轴附近具有低分辨率区域并且在所述低分辨率区域外侧具有高分辨率区域,并且所述第一安装位置是如下位置,在该位置处,在所述光学系统的所述高分辨率区域中,在以下方向其中至少之一上拍摄图像:可移动设备的一个侧表面后方的水平方向;所述可移动设备的驾驶员座椅前方的水平方向上的左方向或右方向;以及所述可移动设备前方的向下方向。

Description

可移动设备和摄像装置的安装方法
技术领域
本发明涉及诸如汽车等的可移动设备和摄像装置的安装方法。
背景技术
近年来,用于以电子镜替换搭载在汽车上的镜的照相机监视系统(CMS)技术得到了推广。可以安装针对CMS所安装的多个摄像装置(照相机)以作为用于确保安全的电子系统的眼睛来拍摄所有方向上的图像(进行摄像)。
另外,UN规则UN-R46(用于汽车的间接视野的规则)定义了驾驶员的盲点,并且还要求CMS与现有的镜类似地进行摄像和安装以减少盲点。
另外,装备有横向交通警报(CTA)功能的汽车分别装备有能够以高分辨率拍摄车辆前方和后方的左右方向上的图像的照相机,以便能够检测穿越车辆前方或后方的其他车辆的接近。
另外,装备有前向或后向监视装置(前监视器或后监视器)的汽车各自装备有能够拍摄车辆前方或后方的宽范围中的图像的广角照相机。日本专利6349558公开了利用包括能够以高分辨率对摄像区域的一部分进行摄像的光学系统的照相机对车辆后方进行摄像。
然而,日本专利6349558中所使用的在摄像区域的一部分中具有高分辨率的照相机无法以高分辨率对宽范围进行摄像,并且由此,在需要以高分辨率对宽范围进行摄像时,需要提供大量照相机以覆盖宽范围。
发明内容
为了实现上述目的,根据本发明的一方面的可移动设备是一种可移动设备,其包括:第一摄像装置,其包括光学系统,所述光学系统用于在摄像元件的受光面上形成光学图像,所述光学图像在光轴附近具有低分辨率区域并且在所述低分辨率区域外侧具有高分辨率区域,其中,所述第一摄像装置安装在第一安装位置处,在所述第一安装位置,在所述光学系统的所述高分辨率区域中,在以下方向其中至少之一上拍摄图像:所述可移动设备的一个侧表面后方的水平方向;所述可移动设备的驾驶员座椅前方的水平方向上的左方向或右方向;以及所述可移动设备前方的向下方向。
通过参考附图对实施例的以下描述,本发明的其他特征将变得清楚。
附图说明
图1是示出第一实施例中的照相机单元和车辆之间的位置关系的图。
图2的(A)和(B)是示出第一实施例中的照相机单元11的光学系统的光学特性的图。
图3是示出第一实施例中的图像处理系统100的图。
图4的(A)和(B)是示出第一实施例中的安装在车辆1中的照相机单元11的光学系统的特性与显示电子侧镜和前CTA所需的摄像区域之间的关系的图。
图5是从上方观察时的第一实施例中的车辆1的平面图。
图6是从侧面观察时的第一实施例中的车辆1的侧视图。
图7是从前方观察时的车辆1的前视图,该前视图示出第一实施例中的照相机单元11和车辆1之间的关系。
图8是从上方观察时的车辆1的平面图,该平面图示出第一实施例中的车辆的前表面下方的指定区域。
图9是从上方观察时的车辆1的平面图,该平面图示出第一实施例中的车辆侧表面后方的指定区域。
图10是从上方观察时的车辆1的示意性平面图,该平面图示出第一实施例中的车辆的乘客座椅的侧表面的指定区域。
图11是第一实施例中的从侧面观察时的车辆1的侧视图。
图12是示出第二实施例中的照相机单元和车辆之间的位置关系的图。
图13是从上方观察时的车辆1的平面图,该平面图示出第二实施例中的车辆的后表面下方的指定区域。
图14是示出第二实施例中的车辆后方的指定区域的图。
具体实施方式
在下文中,将参考附图使用实施例来描述本发明的有利模式。在各图中,相同的附图标记应用于相同的构件或要素,并且将省略或简化重复的描述。
[第一实施例]
在第一实施例中,将描述照相机单元的安装方法,该照相机单元用于拍摄用于电子侧镜和前CTA的高分辨率视频,并且还拍摄用于前向监视装置的视频。图1是示出第一实施例中的照相机单元和车辆之间的位置关系的图。
图1是示出作为第一摄像装置的照相机单元11安装在作为汽车的车辆1的左前侧并且照相机单元12安装在右前侧的示例的图。在第一实施例中,在假设两个照相机单元安装在车辆1中的情况下给出描述,但是照相机单元的数量不限于两个,并且可以设置至少一个或多于一个照相机单元。另外,只要可以安装能够在所需摄像范围和高分辨率摄像方向拍摄图像的多个照相机单元就足够了。
照相机单元11和12被安装成能够从车辆1的侧表面对车辆1的侧后方进行摄像以拍摄用于电子侧镜的视频,对车辆1在前向方向上的左右侧其中至少之一进行摄像以能够拍摄用于前CTA的视频,并且拍摄用于车辆1的前向监视装置的前下方视频。
第一实施例中的照相机单元11和12的光学系统生成具有周边视角比光轴方向上的中心具有更高分辨率的特性的成像圈,并且在稍后描述的视频元件上形成图像。在第一实施例中,假设照相机单元11和12的光学特性基本上相同,并且将使用图2来例示特性。
图2的(A)和(B)是示出第一实施例中的照相机单元11的光学系统的光学特性的图。图2的(A)是示出照相机单元11的光学系统的成像圈以及摄像元件的受光面上的各个半视角处的像高y的等高线图。
图2的(B)是示出用于表示照相机单元11的光学系统的像高y与半视角θ之间的关系的成像圈的投影特性的图。在图2的(B)中,将半视角(由光轴和入射光束形成的角度)θ示为横轴,并且将照相机单元11的摄像元件的受光面(像面)上的成像高度(像高)y示为纵轴。
如图2的(B)所示,在第一实施例中,采用投影特性y(θ)在小于预定半视角θa的区域和半视角θa以上的区域之间不同的配置。当假设相对于每单位半视角θ的像高y的增加量(即由投影特性y(θ)在半视角θ处的微分值dy(θ)/dθ表示的指标)是分辨率时,可以说分辨率随着图2的(B)中的投影特性y(θ)的倾斜度变得更大而增加。
可以说,图2的(A)中的等高线的各个半视角处的像高y的间隔越大,分辨率越高。以这种方式,照相机单元11的光学系统具有如下光学特性:在半视角θa以上的区域中,分辨率大于半视角小于θa的区域的分辨率。
假设图2的(A)和(B)所示的光学系统的投影特性y(θ)满足例如式1的条件,其中f是光学系统的焦距。
0.2<2*ftan(θmax/2)/y(θmax)<0.92…(式1)
在第一实施例中,半视角θ等于或大于θa的受光面的周边部分的区域被称为高分辨率区域10a,并且半视角θ小于θa的受光面的中心的区域被称为低分辨率区域10b。换句话说,第一实施例中的光学系统具有如下投影特性:高分辨率区域的视角中相对于每单位视角的像高高于光轴附近的低分辨率区域的视角中相对于每单位视角的像高。光学系统在光轴附近具有低分辨率区域,并且在低分辨率区域外部具有高分辨率区域。
在第一实施例中,高分辨率区域10a和低分辨率区域10b之间的边界圆被称为分辨率边界,并且与该分辨率边界相对应的显示画面上的边界图像被称为显示分辨率边界或被简称为边界图像。然而,高分辨率区域10a和低分辨率区域10b之间的边界不限于圆形形状,并且可以是针对各个径向方向具有不同投影特性y(θ)的椭圆、或扭曲形状。
在第一实施例中,具有上述特性的透镜被称为立体投影透镜,并且附接有立体投影透镜的照相机单元被称为立体投影照相机。
在第一实施例中,假设照相机单元的摄像元件的受光面上的低分辨率区域10b的重心和高分辨率区域10a的重心基本上彼此重叠,并且高分辨率区域10a的重心和照相机单元的光学系统的光轴与摄像元件的受光面相交的位置基本上一致。
然而,例如,摄像元件的受光面的重心和高分辨率区域10a的重心可以在预定方向上彼此偏离,并且高分辨率区域10a的重心可以偏离光学系统的光轴与受光面相交的位置。
接下来,将使用图3来描述本实施例中的图像处理系统的配置。图3是示出第一实施例中的图像处理系统100的图,并且图3中的图像处理系统100搭载在车辆1上。
照相机单元11包括摄像单元21和照相机处理单元31,并且照相机单元12包括摄像单元22和照相机处理单元32。摄像单元21和22分别包括立体投影透镜21a和22a以及诸如CMOS图像传感器等的摄像元件21b和22b。
作为照相机单元11和12的光学系统的立体投影透镜21a和22a各自由一个或多于一个光学透镜构成,并且各自具有如图2的(A)和(B)所示的光学特性。立体投影透镜21a和22a分别在摄像元件21b和22b的受光面上形成相应的光学图像(成像)。
摄像元件21b和22b用作摄像单元,从而对所形成的光学图像进行光电转换并输出摄像信号。例如,对于摄像元件21b和22b的受光面上的各个像素,以拜耳阵列来布置R、G和B滤色器,并且将R、G和B的像素信号作为摄像信号从摄像单元21顺次输出。
照相机处理单元31和32分别具有处理从摄像单元21和22输出的摄像信号的功能。照相机处理单元31和32分别包括图像处理单元31a和32a、识别单元31b和32b、以及照相机信息单元31c和32c。
作为计算机的CPU和作为存储介质的存储有计算机程序的存储器内置于照相机处理单元31和32中的各个照相机处理单元中,并且CPU执行该存储器中的计算机程序。由此,利用该配置,执行照相机处理单元31和32的处理。
照相机处理单元31和32不限于上述配置,并且图像处理单元31a和32a以及识别单元31b和32b可以由诸如专用电路(ASIC)或处理器(可重配置处理器、DSP)等的硬件构成。
图像处理单元31a和32a对从摄像单元21和22输出的摄像信号进行诸如白平衡调整、增益/偏移调整、伽玛处理、颜色矩阵处理、可逆压缩处理和失真校正处理等的各种图像校正处理。图像处理单元31a和32a被配置为对低分辨率区域10b的图像信号进行失真校正,而不对高分辨率区域10a的图像信号进行失真校正。
此外,例如,使从摄像单元21和22根据拜耳阵列输入的图像数据经受去拜耳处理,并将该图像数据转换为RGB光栅型图像数据。上述图像处理的一部分可以由图像处理系统100的除图像处理单元31a和32a之外的其他块来进行。
识别单元31b和32b具有如下功能:从分别由图像处理单元31a和32a进行图像处理的图像信号中进行预定物体(例如,汽车、人物或障碍物等)的图像识别,并将第一图像识别结果输出到综合处理单元40。例如,将图像识别结果作为包括物体类型和坐标集的识别结果发送到综合处理单元40。
此外,识别单元31b和32b可以从综合处理单元40的综合控制单元41c接收包括物体的类型以及与物体的移动方向有关的信息或优先识别区域信息的预测信息,并且可以进行图像识别处理。
照相机信息单元31c和32c用作用于存储照相机信息(诸如与光学图像特性有关的特性信息以及照相机单元的位置和朝向信息等)的存储单元,并且预先将照相机单元11和12的照相机信息存储在存储器中。照相机信息单元31c和32c可以存储来自设置在照相机单元11和12中的各种传感器等的信息。
所存储的照相机信息包括诸如立体投影透镜21a和22a的特性信息、摄像元件21b和22b的像素数量、照相机单元11和12在车辆坐标上的搭载位置信息和朝向(俯仰、侧倾和横摆等)、光轴方向和摄像范围等的信息。照相机信息还可以包括诸如从照相机处理单元31输出的视频的伽玛特性、感光度特性、帧频和图像格式等的信息。
照相机单元的搭载位置信息作为相对于车辆1的相对坐标被预先存储在照相机信息单元的存储器中,这是因为经常针对各个照相机单元来确定相对于车辆的搭载位置。照相机信息可以是摄像单元21和22特有的信息(例如,透镜像差特性和摄像元件的噪声特性等)。照相机信息被发送到综合处理单元40,并且在综合处理单元40进行为了在显示单元上显示该照相机信息所需的图像处理等时被参考。
综合处理单元40具有在诸如第一显示单元50和第二显示单元51等的显示装置上显示从照相机单元11和12获得的视频信号的功能、以及向警告显示单元52和语音通知单元53通知该视频信号的功能。此外,综合处理单元40具有用于跨越照相机单元11和12的摄像范围的边界的物体的图像识别功能等。
综合处理单元40包括片上系统(SOC)/现场可编程门阵列(FPGA)41、作为计算机的CPU 42、以及作为存储介质的存储器43。在第一实施例中,在假设综合处理单元40容纳在与照相机单元分离的壳体中的情况下给出描述。
综合处理单元40等中所包括的部分或全部功能块可以由硬件实现,或可以由CPU42实现。作为硬件,可以使用专用电路(ASIC)或处理器(可重配置处理器、DSP)等。CPU 42通过执行存储在存储器43中的计算机程序来进行整个图像处理系统100的各种控制。
SOC/FPGA 41包括图像处理单元41a、识别单元41b和综合控制单元41c。图像处理单元41a具有如下功能:基于从照相机处理单元31和32获取的图像信号和照相机信息来进行诸如用于显示装置上的显示的分辨率转换等的图像处理。
如上所述,照相机信息包括立体投影透镜21a和22a的光学特性、摄像元件21b和22b的像素数量、光电转换特性、γ特性、感光度特性、图像信号的格式信息、以及照相机单元在车辆坐标中的搭载位置的坐标和朝向信息等。
例如,图像处理单元41a对摄像单元21和22各自的低分辨率区域10b的失真校正图像信号以及高分辨率区域10a的图像信号进行合成,使得这些图像信号被平滑地连接,从而形成摄像单元21和22各自的整体图像。图像处理单元41a基于照相机信息(特别是照相机的布置位置和朝向信息)来进行诸如图像转动等的图像处理,并将图像信号发送到显示装置。
识别单元41b对通过连接来自摄像单元21和22的图像而获得的合成图像进行图像识别处理,并且对从摄像单元21和22获得的合成图像中的预定物体(例如,汽车、人物或障碍物等)进行图像识别,以生成第二图像识别结果。
此时,还可以参考由识别单元31b和32b获得的识别结果(物体的类型和坐标)。在以上描述中,识别单元41b对从摄像单元21和22获得的合成图像进行图像识别,但是可以不必对合成图像进行图像识别。
将在假设如下情况下继续描述:识别单元41b能够输出第二图像识别结果,作为对图像获取单元所获取的图像信号中的、比第一图像识别单元进行图像识别的部分区域更宽的区域中的图像信号进行的图像识别的结果。
综合控制单元41c用作用于输出基于第一图像识别结果的可靠性和第二图像识别结果的可靠性而整合的图像识别结果的综合处理单元。例如,在识别单元31b和32b的识别结果与识别单元41b的识别结果彼此不同时,综合控制单元41c输出通过采用具有更高可靠性的识别结果而整合的图像识别结果。
例如,将在画面中由识别单元31b和32b识别的图像中的物体所占的比例与由识别单元41b识别的相同物体所占的比例进行比较,并且判断为具有较高比例的识别结果具有高可靠性并被采用。
综合控制单元41c具有如下功能:根据经图像处理的用于摄像单元21和22各自的整体图像来形成用于在第一显示单元50或第二显示单元51等上显示期望图像的视频信号。生成用于突出显示所识别的物体的框以及用于与物体的类型、大小、位置和速度等有关的信息和警告的CG等。
此外,可以基于诸如从照相机信息单元31c和32c获取的显示分辨率边界信息等的光学系统的特性信息来生成用于显示边界的边界图像的CG。然后,进行用于在图像上叠加这些CG和字符的显示处理。这里,第一显示单元50和第二显示单元51等显示图像信号和综合图像识别结果。
此外,综合控制单元41c通过使用诸如CAN、FlexRay和以太网等的协议经由在图中未示出的设置在内部的通信单元与行驶控制单元(ECU)60等进行通信。
因此,进行用于基于从行驶控制单元(ECU)60等接收到的车辆控制信号来适当地改变要显示的信息的显示处理。也就是说,例如可以根据响应于车辆控制信号而获取的车辆的移动状态来改变显示单元上所要显示的图像的范围等。
行驶控制单元(ECU)60是搭载在车辆1上、并且包括用于全面进行车辆1的驱动控制和方向控制等的计算机和存储器的单元。将与车辆的行驶(移动状态)有关的信息(诸如行驶速度、行驶方向、变速杆、变速机构、转向信号灯的状态、通过地磁传感器等所获得的车辆的朝向、以及GPS信息等)作为车辆控制信号从行驶控制单元(ECU)60输入到综合处理单元40。
此外,综合控制单元41c可以具有将诸如由识别单元41b识别的预定物体(诸如障碍物等)的类型、位置、移动方向和移动速度等的信息发送到行驶控制单元(ECU)60的功能。
由此,行驶控制单元(ECU)60进行为了避开障碍物所需的控制,诸如使车辆停止、驾驶车辆和改变行驶方向等。行驶控制单元(ECU)60用作用于基于综合图像识别结果来控制车辆的移动的移动控制单元。
第一显示单元50是例如安装在车辆1的驾驶员座椅前方的上部在车辆宽度方向上的中心附近(其中显示画面朝向车辆后方)并且用作电子后视镜的显示装置。第一显示单元50可以被配置为通过使用半透半反镜等可在不用作显示器时用作镜。
此外,第一显示单元50包括触摸面板和操作按钮,并且可以被配置为获取来自用户的指令并将指令输出到综合控制单元41c。第一显示单元50还可以用作用于确认左右的障碍物等的电子侧镜、用于显示用于前CTA的视频的显示装置,来代替例如现有技术中的光学侧镜。
第一显示单元50接收并显示由综合控制单元41c生成并具有根据第一显示单元的应用进行显示所需的视角的视频信号。
第二显示单元51是如下显示装置:例如安装在车辆1的驾驶员座椅前方在车辆宽度方向上的中心附近的操作面板周围,并用作例如用于显示车辆前方在下方向上的区域的显示装置。与第一显示单元类似,第二显示单元51也用作用于接收根据应用所生成的必要摄像区域的显示装置。综合控制单元41c接收并显示根据第二显示单元的应用进行显示所需的信号。
例如,第二显示单元可以显示从导航系统、音频系统和行驶控制单元(ECU)60接收到的各种控制信号。第二显示单元包括触摸面板和操作按钮,并且可以被配置为能够获取来自用户的指令。
第二显示单元51例如可以是平板终端的显示单元,并且还可以通过以有线方式连接到综合处理单元40来显示图像,并且还可以通过通信单元62以无线方式接收和显示图像。液晶显示器或有机EL显示器等可以用作第一显示单元50和第二显示单元51的显示元件,并且显示单元的数量不限于一个。
综合控制单元41c基于由识别单元31b和32b以及识别单元41b输出的识别结果来判断图像中是否包括移动物体,并且输出识别结果。这里,这里的移动物体例如是自行车、行人和其他车辆,并且在第一实施例中被称为检测目标。综合控制单元41c所输出的识别结果包括是否存在检测目标、检测目标的类型和坐标、以及速度信息。
基于从综合控制单元41c输出的识别结果,警告显示单元52通过使用视觉信息来向驾驶员发出例如侧面碰撞警告。警告显示单元52例如可以由LED构成,并且可以被配置为在识别结果包括用于指示存在检测目标的信息时进行点亮或闪烁。
警告显示单元52可以由诸如液晶等的显示器构成。在这种情况下,在识别结果包括用于指示存在检测目标的信息时,将图标或字符信息等输出到显示器。此外,警告显示单元52例如可以安装在车辆1的驾驶员座椅前方在车辆宽度方向上的端部附近,其中显示画面朝向驾驶员。
警告显示单元52例如可以安装在第一显示单元50和第二显示单元51附近,或者可以被配置为用第一显示单元50和第二显示单元51来替换。语音通知单元53基于从综合控制单元41c输出的识别结果来输出声音。例如,可以通过使用扬声器输出声音来向驾驶员通知该声音。例如,期望在车辆1的驾驶员座椅前方在车辆宽度方向上的端部附近安装语音通知单元53。
综合控制单元41c还用作警告条件判断单元,并且进行控制,使得警告显示单元52或语音通知单元53所输出的警告的内容基于识别单元31b至32b和识别单元41b所获得的检测目标的坐标和速度而改变。综合控制单元41c可以被配置为控制警告显示单元52,使得到检测目标的距离越小,警告的程度越高。
例如,期望控制语音通知单元53使得车辆侧面处到检测目标的距离越小,通知的音量越大。综合控制单元41c可以被配置为判断从行驶控制单元(ECU)60输入的主车辆的行驶速度是否等于或小于预定值,并且仅在行驶速度是预定值或更小时,在警告显示单元52上显示警告或者由语音通知单元53给出警告通知。
在主车辆的行驶速度高时,存在无法正确识别检测目标的可能性。因而,利用这样的配置,可以提高进行正确的侧面检测的可能性。此时,期望将主车辆的行驶速度的预定值设置为30km/h。
与检测目标停止时相比,在检测目标正在移动时,存在该检测目标与车辆碰撞的更强可能性。因而,综合控制单元41c可以被配置为判断检测目标的速度是否在预定范围内,并且仅在判断为检测目标的速度在预定范围内时,在警告显示单元52上显示警告或者由语音通知单元53给出警告通知。在这种情况下,期望将预定检测目标的速度的预定范围设置为5km/h以上且20km/h以下。
此外,综合控制单元41c基于从行驶控制单元(ECU)60输出的主车辆的移动方向信息来判断车辆是否正在右转或左转,并且仅在车辆正在右转或左转时,在警告显示单元52上显示警告或者由语音通知单元53给出警告通知。
虽然在第一实施例中综合处理单元40搭载在车辆1上,但是综合处理单元40中的图像处理单元41a、识别单元41b和综合控制单元41c的一些处理可以经由例如网络由外部服务器等来进行。
在这种情况下,例如,作为图像获取单元的摄像单元21至24搭载在车辆1上,但是例如照相机处理单元31和32以及综合处理单元40的一些功能可以由外部服务器等处理。另外,可以使行驶控制单元(ECU)60具有综合处理单元40的部分或全部功能。
附图标记61表示存储单元,并且记录由综合处理单元40生成的摄像单元21和22各自的整体图像。此外,将诸如用于指示所识别的物体的预定框、字符和警告等的CG以及叠加有CG并显示在第一显示单元50和第二显示单元51等上的图像与时间和GPS信息等一起记录。综合处理单元40还可以再现记录在存储单元61中的过去信息,并将该过去信息显示在第一显示单元50和第二显示单元51上。
作为用于经由网络与外部服务器等进行通信的单元的通信单元62可以将被记录在存储单元61中之前的信息以及记录在存储单元61中的过去行驶历史信息等发送到外部服务器等,并将这些信息存储在外部服务器等中。
如上所述,可以将图像发送到外部平板终端等,并将该图像显示在作为平板终端的显示单元的第二显示单元51上。可以从外部服务器等获取交通拥堵信息和各种类型的信息,并经由综合处理单元40将这些信息显示在第一显示单元50和第二显示单元51上。
附图标记63表示用于通过用户的操作向图像处理系统输入各种指令的操作单元。操作单元例如包括触摸面板和操作按钮等。
接下来,将描述安装在左前侧的照相机单元11和安装在右前侧的照相机单元12的特性和布置之间的关系。图4的(A)和(B)是示出第一实施例中的安装在车辆1中的照相机单元11的光学系统的特性与电子侧镜和前CTA的显示所需的摄像区域之间的关系的图。图4的(A)是从侧面观察时的车辆1的侧视图,并且图4的(B)是从前方观察时的车辆的前视图。
图4的(A)和(B)中的X、Y和Z方向的原点是照相机单元11的安装位置,并且如图4的(A)所示,X方向是车辆在水平方向上的前向方向。如图4的(B)所示,Z方向是面向车辆1时的水平方向上的左方向。如图4的(A)和(B)所示,Y方向是垂直方向上的向上方向。
在图4的(A)中的XY平面中,以垂直方向为基准,在X方向上设置正角度,并且在-X方向上设置负角度。在图4的(B)中的YZ平面上,以垂直方向为基准,在Z方向上设置正角度,并且在-Z方向上设置负角度。图4的(A)中的XY平面上的E表示驾驶员的视点位置,该驾驶员的视点位置是驾驶员在就座位置处的眼睛位置或者驾驶员座椅面的中心位置。
将使用上述定义来描述照相机单元11的光轴和摄像视角之间的关系。将描述图4的(A)中的XY平面中的θv和θlv。是照相机单元11的光轴方向,并且是相对于垂直方向的角度。在第一实施例中,摄像装置的光轴从安装位置向下定向。
θv是照相机单元11的高分辨率区域10a的视角。θlv是照相机单元11的低分辨率区域10b的视角。
将描述图4的(B)中的YZ平面中的θh和θlh。是照相机单元11的光轴方向,并且是相对于垂直方向的角度。θh是照相机单元11的高分辨率区域10a的视角。θlh是照相机单元11的低分辨率区域10b的视角。
将使用上述定义来描述照相机单元11的位置关系。图4的(A)中的XY平面中的x是照相机单元11与驾驶员的视点位置E之间的水平距离。h1是照相机单元11与地面之间的垂直距离。
图4的(B)中的YZ平面中的z是照相机单元11的安装位置(第一安装位置)与车辆1的侧表面之间的距离。这里,将参考图4的(A)至图5来描述电子侧镜的显示所需的摄像区域(车辆侧表面后方的指定区域)。
图5是第一实施例中的车辆1的俯视图,并且X和Z方向与图4的(A)和(B)中的方向相对应,其中以照相机单元11的安装位置为原点。车辆侧表面后方的指定区域是如图4的(A)以及图5中的阴影所示的地面上的区域,并且是需要由驾驶员利用车辆的侧镜来确认的区域。
在车辆侧表面后方的指定区域是地面上的区域,该地面上的区域由在从驾驶员的视点位置E到后侧为止的距离d1处从车身的侧表面起的宽度w1以及在距离d2处从车身的侧表面起的宽度w2定义,并且乘客座椅侧的区域被假设为region1(区域1),并且驾驶员座椅侧的区域被假设为region2(区域2)。这里,region1和region2具有相对于车辆1的纵向中心线线对称的形状。
将描述安装在乘客座椅侧的照相机单元11能够在对车辆侧表面后方的指定区域region1进行摄像的同时以高分辨率拍摄水平方向上的图像的安装条件。由于作为车辆侧表面后方的指定区域的region1的远侧区域延伸到车辆后方的无穷远,因此将照相机单元11安装成能够拍摄无穷远(即,在水平方向上为宽度w2)的图像。为了利用照相机所拍摄的视频来确认远离驾驶员的远侧物体,期望以照相机能够以高分辨率从附近的地面方向到水平方向拍摄图像的方式来安装该照相机。
因而,在第一实施例中,照相机被安装成满足以下安装条件(式2),使得水平角度(-90°)被包括在照相机单元11的高分辨率区域10a的范围中。
除式2之外,还将从视点位置E向后隔开了d1的位置处的指定区域region1的移动方向上的前端区域(宽度w1的区域)安装成包括在摄像视角中,使得车辆的侧表面的指定区域region1被包括在照相机单元11的摄像视角中。
也就是说,照相机单元被安装成满足以下条件(式3):在从视点位置E向后隔开了d1的region1的前端区域的方向上的角度(-Atan((x+d1)/h))被包括在照相机单元11的视角中。
通过安装照相机单元11以满足上述式2和式3的安装条件(第一条件),照相机单元11能够在对车辆1的一个侧表面后方的指定区域region1进行摄像的同时,以高分辨率拍摄水平方向上的图像。这里,车辆1的一个侧表面是乘客座椅侧的侧表面。
接下来,将描述照相机单元11能够以高分辨率拍摄水平方向上的图像以用于前CTA所用的显示的安装条件。期望显示前CTA所用的显示,使得能够在可视性不良的交叉口处确认在左右方向上从远侧区域接近的物体。因而,在第一实施例中,照相机单元11被安装成使得能够适当地确认驾驶员的视点位置E前方的水平方向的左或右。
换句话说,水平方向的左或右上的远侧区域延伸到无穷远,并且由此照相机单元被安装成能够以高分辨率在水平方向上对附近物体和远侧物体进行摄像。这里,将描述作为第二条件的安装条件(式4和式5)的示例,在该第二条件下,照相机单元11能够拍摄驾驶员的视点位置E(驾驶员的座椅)前方的水平方向的左或右其中至少之一上的图像。
在第一实施例中,在照相机单元11在视点位置E前方时(x≥0),照相机单元11被安装成满足作为以下安装条件(第二条件)的式4或式5。也就是说,在左右方向上的高分辨率区域10a(在面向车辆的前方时右方向上的 以及在面向车辆的前方时左方向上的 )包括左或右水平方向。
在照相机单元11在视点位置E后方时(x<0),期望照相机单元11被安装成使得视点位置E前方的水平区域被包括在高分辨率区域中。通过以这种方式安装照相机单元11,照相机单元11能够以高分辨率对车辆在水平方向上的任一侧表面进行摄像。
为了在左右方向上对车辆的前表面进行摄像并且对车辆的侧表面的后方进行摄像,期望照相机单元11被布置在未以光轴为中心对车辆1进行摄像的位置处。例如,为了在左右方向上对车辆的前侧进行摄像,期望照相机单元的偏移x大于从视点位置E到车辆1的前端为止的距离d0。
此外,为了对车辆侧表面的后方进行摄像,期望照相机单元11的偏移z设置在车辆1的侧面外(图4的(A)和(B)中的-Z方向)。
通过以这种方式满足式2和式3的第一条件以及式4和式5的第二条件,可以将车辆1的侧表面后方和左右方向包括在摄像视角中。此外,为了在摄像视角内包括车辆前下方的区域,除上述式2和式3以及式4和式5的条件外,期望光轴朝向地面。
将参考图6至图8描述前向监视装置的前下方显示所需的摄像区域(车辆前表面下方的指定区域)。图6是第一实施例中的从侧面观察时的车辆1的侧视图。
图7是在从前方观察时的车辆1的前视图,该前视图示出第一实施例中的照相机单元11和车辆1之间的关系,并且图8是从上方观察时的车辆1的平面图,该平面图示出第一实施例中的车辆的前表面下方的指定区域。图6至图8中的X、Y和Z方向以及角度分别与图4的(A)和(B)以及图5中的方向以及角度相对应,并且具有相同的关系。
图6和图8中的E表示驾驶员的视点位置,并且图6和图7中的照相机单元11和车辆1之间的位置关系(x,h1,z)以及光轴和摄像视角之间的关系 具有与图4的(A)和(B)中的关系相同的关系。这里,将使用图6至图8来描述车辆的前表面下方的指定区域。
车辆的前表面下方的指定区域是需要由驾驶员使用车辆的侧镜来确认的区域。这里,d7是从车辆1的前端到要确认的前下方区域的远端为止的距离,d0是从视点位置E到车辆1的前端为止的距离,w6是车辆1的车辆宽度,并且w7是到要确认的车辆侧的区域的远端的距离。
也就是说,车辆的前表面下方的指定区域是由d7和(w6+w7)所包围的地面上的区域表示的区域。因而,照相机单元11能够对在车辆1前方的向下方向上的指定区域进行摄像的安装条件是由d7和(w6+w7)所包围的区域被包括在照相机单元11的摄像视角中的条件(第三条件)。
因而,在第一实施例中,照相机单元被安装成满足作为第三条件的安装条件(式6和式7),使得d7的前端的视角被包括在照相机单元11的摄像视角 中。
另外,照相机单元11被安装成满足安装条件(式8和式9),使得w6和w7的端部被包括在照相机单元11的摄像视角内的(w6+w7)的范围中。
在第一实施例中,通过利用这样的安装方法安装摄像装置,照相机单元11可以实现能够以高分辨率对车辆前下方的预定指定区域的宽范围进行摄像的可移动设备。在第一实施例中,可以不满足上述第一条件、第二条件和第三条件中的所有条件,并且包括了以满足上述第一条件至第三条件其中至少之一的方式安装照相机单元。
另外,对于大型车辆,可以确认比车辆侧表面后方的指定区域(车辆侧表面后方的宽的指定区域)更宽的范围中的视场。将参考图9描述车辆侧表面后方的指定侧区域。图9是从上方观察时的车辆1的平面图,该平面图示出第一实施例中的车辆侧表面后方的指定区域。图9中斜线所示的车辆的侧面和后方的地面上的区域与图5中所描述的车辆侧表面后方的指定区域相同。
将车辆侧表面后方的宽的指定区域设置为地面上的区域(region3(区域3)、region4(区域4)),该地面上的区域是由在从驾驶员的视点位置E到后方为止的距离d3处距车身的侧表面的宽度w3以及在从驾驶员的视点位置E到后方为止的距离d4处距车身的侧表面的宽度w4来定义。布置在乘客座椅侧的照相机单元11能够通过以车辆侧表面后方的宽的指定区域region3被包括在摄像范围中的方式进行安装来应对大型车辆的安装条件。
特别地,在大型车辆中,需要检测车辆的乘客座椅侧的移动物体,并且需要对用于在存在碰撞可能性时向驾驶员给出侧面碰撞警告的检测区域进行摄像。检测区域是例如在主车辆正在左转时物体存在于该检测区域中的情况下被卷入或碰撞的可能性高的区域。
布置在乘客座椅侧的照相机单元11被安装成使得检测区域被包括在摄像范围中,并且由此还可以满足用于检测乘客座椅侧的移动物体的安装条件。
将使用图10和图11来描述车辆的乘客座椅侧的指定区域、检测区域和物体之间的关系。图10是为了描述第一实施例中的车辆的乘客座椅侧的指定区域而从上方观察时的车辆1的示意性平面图。
图11是第一实施例中的从侧面观察时的车辆1的侧视图。图10和图11中的X、Y、Z方向和角度具有与图6至图8中相同的关系。图10和11所示的E与图6至图8所示的E相同,并且表示驾驶员的视点位置。
如图10所示,车辆的乘客座椅侧的侧表面的指定区域是由从车身的前表面到需要进行检测的车身的后侧为止的距离d8、以及从车身的侧表面到需要进行检测的车身侧面的区域的远端为止的距离w8包围的区域。具有需要被检测的大小的移动物体是具有高度h2的物体。因而,用于侧面碰撞警告的检测区域是由车辆的乘客座椅侧的侧表面的指定区域以及高度h2包围的区域。
照相机单元11被安装成使得用于侧面碰撞警告的检测区域被包括在视角中,并且由此也可以应对大型车辆的安装条件。照相机单元11的高度h1优选高于要检测的移动物体的高度h2。即,期望满足下式10的条件。
h1≥h2...(式10)
利用这样的安装条件,可以在与h1≤h2的条件的情况相比没有扩宽照相机单元的摄像视角的情况下,将具有高度h2的移动物体包括在摄像范围中。例如,在自行车被包括在检测目标中时,期望h2被设置为1.7米。
在行人被包括在检测目标中时,期望h2被设置为2米。在照相机单元的偏移x大于车辆的前端时,为了对检测区域内的检测目标进行摄像,需要将在该位置处具有宽度w8的区域中的整个地面包括在摄像范围中。
以上描述了照相机单元11的安装条件。期望将照相机单元11布置在乘客座椅侧的车身拐角的斜前方外侧,以便使用更少数量的照相机对多个所需摄像范围和高分辨率摄像方向进行高分辨率摄像。
描述了乘客座椅侧的照相机单元11的安装条件。然而,布置在驾驶员座椅侧的照相机单元12也在类似安装条件下进行安装,并且由此可以使用更少数量的照相机对多个所需摄像范围和高分辨率摄像方向进行高分辨率摄像。期望照相机单元12布置在驾驶员的座椅侧的车身拐角的斜前方外侧。
在下文中,将利用实际的具体值来描述安装在乘客座椅前方的照相机单元11。例如,将描述车辆为具有九名以下乘客的乘用车或小型货车(例如,车辆重量为3.5吨以下)且d0为0.8米的情况。
在UN-R46中,车辆侧表面后方的指定区域被定义为d1=4m,d2=20m,w1=1m,以及w2=4m。在UN-R46中,车辆前表面下方的指定区域被定义为d7=0.3m,w6=1.8m,以及w7=0.3m。另外,在国土交通省所制定的安全标准(如《道路运输车辆安全标准》的第21条(驾驶员座椅)中的第27条以及附件29中所规定的地面区域)中定义了d7=2.3m,d8=4.8m,以及w8=0.3m。
期望驾驶员能够在视觉上或者使用镜或显示装置来确认这些指定区域。将描述第一实施例中的照相机单元11将这些地面区域包括在摄像区域中的情况下的具体示例。
例如,假设了如下情况:高分辨率区域10a中的垂直视角θv和水平视角θh为30.0度并且垂直视角θlv和水平视角θlh为60度的照相机单元被安装在x=0.8m、z=0.3m以及h=1.2m的位置处。在这种情况下,仅需要照相机单元被安装成使得照相机单元的光轴的垂直方向上的角度和水平方向上的角度分别为从上述式2至式9获得的
例如,在车辆总重量为8.0吨以上的大型货运车辆的情况下,期望能够确定更多的区域。因而,期望驾驶员能够在视觉上或者使用镜或显示装置来确认以类似方式获得的d0=1.0m、d1=4m、d2=30m、d3=1.5m、d4=10m、d5=1m、d6=1.75m、d7=2m、d8=12m、w1=1m、w2=5m、w3=4.5m、w4=15m、w5=2m、w6=2m、w7=2m以及w8=3m的指定区域。
将描述第一实施例中的照相机单元11将该区域包括在摄像区域中的具体示例。例如,使用高分辨率区域10a中的垂直视角θv和水平视角θh为23.6度并且垂直视角θlv和水平视角θlh为66.4度的照相机单元。然后,仅需要将照相机单元安装在x=1.2m、z=0.3m以及h=2.3m的位置处,使得照相机单元的光轴的垂直方向上的角度被设置为从上述式2、式3、式6、式7和式10获得的
由于为了以广角对侧表面的后方进行摄像而期望左方向上的水平方向被包括在视角中,因此期望照相机单元被安装成使得该照相机单元的光轴的水平方向上的角度被设置为从上述的式4、式8、式9和式10获得的
在上述数值示例中,以照相机单元的安装位置(x,z,h)作为固定条件计算了在该情况下的照相机单元的光轴的角度的条件,但是仅需要满足式2和式3的条件,并且计算安装条件的方法不限于此。例如,在预先确定照相机单元的光轴的角度作为车辆设计约束的情况下,基于此来确定满足式2和式3的条件的照相机单元的安装位置的范围。
由此,指定区域可以被包括在照相机单元的高分辨率区域的摄像范围中。类似地,在预先确定照相机单元的安装位置(x,z,h)和照相机单元的光轴的角度的情况下,可以基于此来确定满足式2和式3的条件的照相机单元的高分辨率区域10a的垂直视角θv和水平视角θh。如上所述,单个照相机可以拍摄多个指定区域的图像,并且还可以以高分辨率拍摄两个或多于两个水平方向上的图像。
[第二实施例]
图12是示出第二实施例中的照相机单元和车辆之间的位置关系的图。在第二实施例中,如图12所示,具有如图2所示的光学特性的照相机单元被安装在车辆1的后拐角处。.
在第二实施例中,描述了如下的照相机的安装方法,该安装方法能够在对后侧面进行摄像时利用比高分辨率摄像所需的方向的数量更少的照相机对多个所需摄像范围和高分辨率摄像方向进行摄像。省略在第一实施例中已经描述的部分的描述。
首先,将描述如下安装条件:作为安装在车辆1的后拐角处的第二摄像装置的照相机单元11’能够以与第一实施例中相同的方式对车辆侧表面后方的指定区域region1进行摄像。假设照相机单元11’具有与第一实施例中所描述的照相机单元11的光学系统和摄像装置特性等基本上相同的光学系统和摄像装置特性等。
也就是说,第二摄像装置包括光学系统,该光学系统用于在摄像元件的受光面上形成在光轴附近具有低分辨率区域并且在低分辨率区域外侧具有高分辨率区域的光学图像。尽管照相机单元11和驾驶员的视点位置E之间的偏移x不同,但是可以使用相同的安装条件。
也就是说,由于车辆侧表面后方的指定区域的距离延伸到车辆后方的无穷远,因此照相机单元被安装成能够拍摄无穷远(即,在水平方向上为宽度w2)的图像。为了利用照相机所拍摄的视频来确认远离驾驶员的物体,期望将照相机单元安装成能够以高分辨率拍摄从附近的地面到水平方向的图像。
照相机单元11’被安装成使得除式2之外还将与视点位置E分离了d1的区域w1包括在摄像视角中,使得车辆侧表面的指定区域region1被包括在照相机单元11’的视角中。因而,期望照相机单元被安装成满足条件1(式2和式3)作为安装示例。
也就是说,在光学系统的高分辨率区域中,在车辆1的一个侧表面后方的水平方向上拍摄图像,并且由此照相机单元11’能够在对图5中的车辆1的侧表面的指定区域region1进行摄像的同时,以高分辨率拍摄水平方向上的图像。
将详细描述照相机单元11’能够以高分辨率拍摄水平方向上的图像以用于后CTA所用的显示的安装条件。在后CTA所用的显示中,需要能够在可视性不良的交叉口处确认在左右方向上从远侧区域接近的物体,并且需要将照相机单元11’安装成能够确认在驾驶员的视点位置E(驾驶员的座椅)后方的左或右水平方向。
由于在左或右水平方向上的远侧区域持续到无穷远,因此期望照相机单元被安装成使得该照相机单元能够以高分辨率对水平方向上的附近物体进行摄像。将描述安装条件(式4和式5)的示例,在该安装条件下,照相机单元11’能够拍摄驾驶员的视点位置E后方的左或右水平方向其中至少之一上的图像。
考虑照相机单元11’位于视点位置E后方的情况(x<0)。在这种情况下,照相机单元11’被安装成使得在左右方向上的高分辨率区域10a(在面向车辆的前方时右方向上的在面向车辆的前方时左方向上的)包括左或右水平方向。
在照相机单元11’位于视点位置E前方时(x≥0),照相机单元11’被安装成使得视点位置E后方的水平区域被包括在高分辨率区域中。利用这样的安装,照相机单元11’能够以高分辨率对车辆在水平方向上的任一侧表面进行摄像。
为了在左右方向上对车辆的后方进行摄像并且对车辆的侧表面的后方进行摄像,期望照相机单元11’被布置在未以光轴为中心对车辆1进行摄像的位置处。例如,为了在左右方向上对车辆的后方进行摄像,期望照相机单元的偏移x大于车辆1的后表面的前端。此外,为了对车辆侧面的后方进行摄像,期望照相机单元11’的偏移z被设置在车辆1的侧面外(图4的(A)和(B)中的-Z方向)。
通过满足如上所述的式2和式3以及式4或式5的条件,可以将车辆1的侧表面的后方以及左右方向其中之一包括在摄像视角中。此外,除上述式2和式3的第一条件以及式4和式5的第二条件之外,期望满足以下的用于将车辆1后方的向下方向包括在摄像视角内的第四条件。
然而,第二实施例可以满足第一条件、第二条件和第四条件中的任一条件。
将使用图13来描述用于后向监视装置的后下侧所用的显示所需的摄像区域(车辆的后表面下方的指定区域)。图13是从上方观察时的车辆1的平面图,该平面图示出第二实施例中的车辆的后表面下方的指定区域。
图13中的X、Y和Z方向和角度分别与图4的(A)和(B)以及图5中的X、Y和Z方向和角度相对应,并且具有相同的关系。图13所示的E与图4的(A)以及图5所示的E相同,并且表示驾驶员的视点位置。
图13所示的照相机单元11’和车辆1之间的位置关系(x,h1,z)以及光轴和摄像视角之间的关系也是与图4的(A)和(B)所示的关系相同的关系。图13中的d8是车辆1的长度(车辆长度)。
这里,将参考图13描述车辆的后表面下方的指定区域。车辆的后表面下方的指定区域是在车辆正在后退时需要由驾驶员利用显示装置来确认的区域,并且假设d11是从距车辆的后表面远离了d10的要确认的预定近侧位置到要确认的预定远侧位置为止的距离,并且w6是车辆1的车辆宽度。
在这种情况下,车辆的后表面下方的指定区域是由d11和w6所包围的地面上的区域表示的区域,并且期望照相机单元11’能够对在车辆1后方的要确认的预定指定区域内的具有高度h3的物体进行摄像。
因而,照相机单元11’能够对车辆的后表面下方的指定区域进行摄像的安装条件(第四条件)是由d11、w6和高度h3包围的区域被包括在照相机单元11’的摄像视角中的条件。
也就是说,照相机单元11’被安装成满足以下安装条件(式11、式12、式14)或安装条件(式11、式13和式15),使得上述区域被包括在照相机单元11’的摄像视角内。注意,z是照相机单元11’的安装位置(第二安装位置)与车辆的侧表面之间的距离。
(在h1≥h3时)
(在h1<h3时)
(在h1≥h3时)
(在h1<h3时)
利用这样的安装,照相机单元11’可以适当地对在车辆后方的向下方向上的指定区域进行摄像。特别地,在大型车辆中,需要检测车辆的乘客座椅侧的移动物体,并且需要对用于在存在碰撞可能性时向驾驶员给出侧面碰撞警告的检测区域进行摄像。
检测区域是例如在主车辆正在左转时物体存在于该检测区域中的情况下被卷入或碰撞的可能性高的区域。布置在乘客座椅侧的照相机单元11还可以通过将照相机单元11安装成使得检测区域被包括在摄像范围内来应对用于检测乘客座椅侧的移动物体的安装条件。
车辆的乘客座椅侧的指定区域、检测区域和物体之间的关系与图10和图11中的关系相同。这里,描述了照相机单元11’可以拍摄图像的安装条件,其中将在车辆的乘客座椅侧下面的具有图6和图8所示的宽度w5和距离d5的范围作为指定区域。
例如,除式8和式10之外,期望还满足以下安装条件(式16),使得上述区域被包括在照相机单元11’的摄像视角中。
由于为了供驾驶员使用电子后视镜来确认车辆的后方,需要在显示单元上显示车辆后方的远侧区域的视频,因此期望在高分辨率区域中对车辆后方的指定区域进行摄像,以能够确认远侧区域。
图14是示出第二实施例中的车辆后方的指定区域的图,并且车辆后方的指定区域如图14所示是具有宽度w12和距离d12的范围。从车辆的侧表面到指定区域为止的宽度被定义为w11。将描述照相机单元11’能够拍摄图像的安装条件。
为了对指定区域进行摄像,期望满足安装条件(式17和式18),使得例如上述区域被包括在照相机单元11’的摄像视角内。
以上描述了照相机单元11’的安装条件。为了利用数量比用于高分辨率摄像所需的方向的数量更少的照相机拍摄多个所需摄像范围和高分辨率摄像方向的图像,期望照相机单元11’布置在乘客座椅侧的后方拐角的斜后方外侧。
以上描述了乘客座椅侧的照相机单元11’的安装条件。布置在驾驶员的座椅侧的照相机单元12’也在相同的安装条件下布置,并且由此可以利用比高分辨率摄像所需的方向的数量更少的照相机来对驾驶员的座椅侧的多个所需摄像范围和高分辨率摄像方向进行摄像。期望照相机单元12’也被布置在驾驶员座椅侧的后方拐角的斜后方外侧。
下面将描述乘客座椅侧的照相机单元11’的实际具体数值。例如,在具有九名以下乘客的乘用车或小型货运车辆(例如,3.5吨以下的车辆重量)的情况下,期望驾驶员能够通过使用电子侧镜来确认d0=0.9m、d1=4m、d2=20m、d8=4.8m、d10=0.3m、d11=3.5m、d12=60m、w1=1m、w2=4m、w5=0.3m、w6=1.8m、w11=9m、w12=20m的指定区域。
在这种情况下,例如在使用高分辨率区域10a中的垂直视角θv和水平视角θh为23.6度以及垂直视角θlv和水平视角θlh为66.4度的照相机单元、并将该照相机单元安装在x=3m、z=0.3m以及h=1.4m的位置处时,照相机单元的光轴的垂直方向上的角度和水平方向上的角度分别为从上述式2至式5和式11至式18获得的
例如,在车辆总重量为8.0吨以上的大型货运车辆的情况下,期望能够确定更多的区域。因而,期望驾驶员能够使用电子侧镜来确认d0=1m、d1=4m、d3=1.5m、d4=10m、d5=1m、d6=1.75m、d7=2m、d8=12m、d10=0.3m、d11=3.5m、d12=60m、w1=1m、w2=5m、w3=4.5m、w4=15m、w5=2m、w8=3m、w6=2m、w11=9m以及w12=20m的指定区域。
在这种情况下,假设使用高分辨率区域10a中的垂直视角θv和水平视角θh为23.6度以及垂直视角θlv和水平视角θlh为66.4度的照相机单元,并将该照相机单元安装在x=12m、z=0.2m以及h=2m的位置处。然后,照相机单元的光轴的垂直方向上的角度是通过上述式2、式3、式10、式11、式12、式13、式16和式17所获得的
由于为了以广角拍摄侧表面的后方而期望左方向上的水平方向被包括在视角中,因此照相机单元的光轴的水平方向上的角度被设置为通过上述式4、式8、式10、式14、式15和式18所获得的
在上述数值示例中,已经以照相机单元的安装位置(x,z,h)作为固定条件来计算在该情况下的照相机单元的光轴的角度的条件,但是仅需要满足式2和式3的条件,并且计算安装条件的方法不限于此。例如,在预先确定照相机单元的光轴的角度作为车辆设计约束的情况下,基于此来确定满足式2和式3的条件的照相机单元的安装位置的范围。
由此,指定区域可以被包括在照相机单元的高分辨率区域的摄像范围中。类似地,在预先确定照相机单元的安装位置(x,z,h)和照相机单元的光轴的角度的情况下,可以基于此来确定满足式2和式3的条件的照相机单元的高分辨率区域10a的垂直视角θv和水平视角θh。
如上所述,同样在第二实施例中,单个照相机可以拍摄多个指定区域的图像,并且还可以以高分辨率拍摄两个或多于两个水平方向上的图像。在第二实施例中,描述了具有如图2所示的光学特性的照相机单元被布置在后方的第二安装位置处的情况,但是照相机单元可以与如在第一实施例中那样布置在前方的照相机单元组合。
也就是说,例如可以布置总共四个照相机单元,这四个照相机单元包括:从上方观察车辆1时的两个前拐角处的两个照相机单元和两个后拐角处的两个照相机单元。可替代地,例如可以安装总共两个照相机单元,这两个照相机单元包括:乘客座椅侧的前拐角处的一个照相机单元以及作为对角位置的驾驶员座椅侧的后拐角处的一个照相机单元。可替代地,两个照相机单元可以布置在前拐角处,并且一个照相机单元可以布置在后拐角处,或者一个照相机单元可以布置在前拐角处,并且两个照相机单元可以布置在后拐角处。
本实施例的信息处理系统的至少一部分可以或可以不搭载在诸如车辆等的可移动设备上。本发明可以适用于可移动设备被远程控制的情况。
虽然参考示例性实施例描述了本发明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最宽泛的解释,以涵盖所有这样的修改以及等同的结构和功能。
另外,作为根据实施例的控制的一部分或全部,用于实现上述实施例的功能的计算机程序可以通过网络或各种存储介质被供给到可移动设备。然后,该可移动设备的计算机(或CPU或MPU等)可以被配置为读取并执行该程序。在这种情况下,该程序和存储有该程序的存储介质构成了本发明。
本发明例如包括通过使用至少一个处理器或电路来实现上面所解释的实施例的功能。多个处理器可以用于分布式处理。
本申请要求于2022年9月29日提交的日本专利申请2022-157151的权益,其全部内容通过引用并入本文。

Claims (13)

1.一种可移动设备,包括:
第一摄像装置,其包括光学系统,所述光学系统用于在摄像元件的受光面上形成光学图像,所述光学图像在光轴附近具有低分辨率区域并且在所述低分辨率区域外侧具有高分辨率区域,
其中,所述第一摄像装置安装在第一安装位置处,在所述第一安装位置,在所述光学系统的所述高分辨率区域中,在以下方向其中至少之一上拍摄图像:所述可移动设备的一个侧表面后方的水平方向;所述可移动设备的驾驶员座椅前方的水平方向上的左方向或右方向;以及所述可移动设备前方的向下方向。
2.根据权利要求1所述的可移动设备,其中,所述光学系统具有投影特性,在所述投影特性中,与在所述光轴附近的所述低分辨率区域中的视角处相比,相对于每单位视角的像高在所述高分辨率区域中的视角处更高。
3.根据权利要求1所述的可移动设备,其中,所述光学系统的光轴方向从所述第一安装位置向下。
4.根据权利要求1所述的可移动设备,其中,在所述光学系统的像高是y、f是所述光学系统的焦距、并且θ是半视角的情况下,投影特性y(θ)满足以下条件:0.2<2*ftan(θmax/2)/y(θmax)<0.92。
5.根据权利要求1所述的可移动设备,其中,所述可移动设备的所述一个侧表面是所述可移动设备的乘客座椅侧的侧表面。
6.根据权利要求1所述的可移动设备,其中,在从侧表面观察所述可移动设备时光轴方向相对于垂直方向的角度为φv、所述高分辨率区域的视角为θv、所述低分辨率区域的视角为θlv、从驾驶员的视点位置到后侧为止的预定距离为d1、所述视点位置和所述第一安装位置之间的距离为x、并且所述第一安装位置的高度为h1的情况下,满足下式:
φv-θv-θlv<-90°<φv-θlv,
φv-θv-θlv≤-Atan((x+d1)/h1)≤φv+θv+θlv。
7.根据权利要求1所述的可移动设备,其中,在从前方观察所述可移动设备时光轴方向相对于垂直方向的角度为φh、所述高分辨率区域的视角为θh、并且所述低分辨率区域的视角为θlh的情况下,满足下式:
φh-θh-θlh≤-90°≤φh-θlh,
φh+θlh≤90°≤φh+θh+θlh。
8.根据权利要求1所述的可移动设备,其中,在从侧表面观察所述可移动设备时光轴方向相对于垂直方向的角度为φv、所述高分辨率区域的视角为θv、所述低分辨率区域的视角为θlv、从驾驶员的视点位置到后侧为止的预定距离为d1、所述视点位置和所述第一安装位置之间的距离为x、所述第一安装位置的高度为h1、所述视点位置和所述可移动设备的前端之间的距离为d0、并且从所述可移动设备的前端到要确认的预定前下位置为止的距离为d7的情况下,满足下式:
φv-θv-θlv≤-Atan((x-d0)/h1)≤φv+θv+θlv,
φv-θv-θlv≤Atan((d0+d7-x)/h1)≤φv+θv+θlv。
9.根据权利要求8所述的可移动设备,其中,在所述可移动设备的车辆宽度为w6、所述可移动设备的侧面的要确认的距离为w7、并且所述第一安装位置与所述可移动设备的侧表面之间的距离为z的情况下,满足下式:
φh-θh-θlh≤-Atan((w6+z)/h1)≤φh+θh+θlh,
φh-θh-θlh≤Atan((w7-z)/h1)≤φh+θh+θlh。
10.根据权利要求1所述的可移动设备,其中,具有与所述第一摄像装置相同的特性的第二摄像装置被布置在从上方观察所述可移动设备时的与所述第一安装位置对角地相对的第二安装位置处,以及
在所述光学系统的所述高分辨率区域中,在以下方向其中至少之一上拍摄图像:所述可移动设备的一个侧表面后方的水平方向;所述可移动设备的驾驶员座椅后方的水平方向上的左方向和右方向之一;以及所述可移动设备后方的向下方向。
11.根据权利要求10所述的可移动设备,其中,对于所述第二摄像装置,在从侧表面观察所述可移动设备时光轴方向相对于垂直方向的角度为φv、所述高分辨率区域的视角为θv、所述低分辨率区域的视角为θlv、驾驶员的视点位置和所述第二安装位置之间的距离为x、所述第二安装位置的高度为h1、从所述视点位置到所述可移动设备的前端为止的距离为d0、所述可移动设备的长度为d8、从所述可移动设备到所述可移动设备后方的要确认的预定近侧位置为止的距离为d10、从所述可移动设备到所述可移动设备后方的要确认的预定远侧位置为止的距离为d11、所述可移动设备的宽度为w6、所述可移动设备后方的要确认的物体的高度为h3、并且所述第二安装位置和所述可移动设备的侧表面之间的距离为z的情况下,满足下式:
φv-θv-θlv≤-Atan((d8-d0-x+d10)/h1)≤φv+θv+θlv,
其中,在h1≥h3的情况下,
φv-θv-θlv≤-Atan((d8-d0-x+d11)/(h1-h3))≤φv+θv+θlv,
其中,在h1<h3的情况下,
φv-θv-θlv≤-Atan((h3-h1)/(d8-d0-x+d11))-90°≤φv+θv+θlv,
其中,在h1≥h3的情况下,
φh-θh-θlh≤Atan((w6+z)/(h1-h3))≤φh+θh+θlh,
其中,在h1<h3的情况下,
φh-θh-θlh≤Atan((h3-h1)/(w6+z))+90°≤φh+θh+θlh。
12.一种可移动设备,包括:
第一摄像装置,其包括光学系统,所述光学系统用于在摄像元件的受光面上形成光学图像,所述光学图像在光轴附近具有低分辨率区域并且在所述低分辨率区域外侧具有高分辨率区域,
其中,所述光学系统的所述高分辨率区域安装在满足以下第一条件、第二条件和第三条件其中至少之一的第一安装位置处,
其中,在从侧表面观察所述可移动设备时光轴方向相对于垂直方向的角度为φv、所述高分辨率区域的视角为θv、所述低分辨率区域的视角为θlv、从驾驶员的视点位置到后侧为止的预定距离为d1、所述视点位置和所述第一安装位置之间的距离为x、并且所述第一安装位置的高度为h1的情况下,所述第一条件是满足下式的条件:
φv-θv-θlv<-90°<φv-θlv,
φv-θv-θlv≤-Atan((x+d1)/h1)≤φv+θv+θlv,
其中,在从前方观察所述可移动设备时光轴方向相对于垂直方向的角度为φh、所述高分辨率区域的视角为θh、并且所述低分辨率区域的视角为θlh的情况下,所述第二条件是满足下式的条件:
φh-θh-θlh≤-90°≤φh-θlh,
φh+θlh≤90°≤φh+θh+θlh,
其中,在所述视点位置和所述可移动设备的前端之间的距离为d0并且从所述可移动设备的前端到要确认的预定前下位置为止的距离为d7的情况下,所述第三条件是满足下式的条件:
φv-θv-θlv≤-Atan((x-d0)/h1)≤φv+θv+θlv,
φv-θv-θlv≤Atan((d0+d7-x)/h1)≤φv+θv+θlv。
13.一种摄像装置的安装方法,所述安装方法包括:
将第一摄像装置安装在第一安装位置处,所述第一摄像装置包括光学系统,所述光学系统用于在摄像元件的受光面上形成光学图像,所述光学图像在光轴附近具有低分辨率区域并且在所述低分辨率区域外侧具有高分辨率区域,并且所述第一安装位置是如下位置,在该位置处,在所述光学系统的所述高分辨率区域中,在以下方向其中至少之一上拍摄图像:可移动设备的一个侧表面后方的水平方向;所述可移动设备的驾驶员座椅前方的水平方向上的左方向或右方向;以及所述可移动设备前方的向下方向。
CN202311273535.1A 2022-09-29 2023-09-28 可移动设备和摄像装置的安装方法 Pending CN117774832A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022157151A JP2024050334A (ja) 2022-09-29 2022-09-29 移動体及び撮像装置の設置方法
JP2022-157151 2022-09-29

Publications (1)

Publication Number Publication Date
CN117774832A true CN117774832A (zh) 2024-03-29

Family

ID=88192346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311273535.1A Pending CN117774832A (zh) 2022-09-29 2023-09-28 可移动设备和摄像装置的安装方法

Country Status (4)

Country Link
US (1) US20240114252A1 (zh)
EP (1) EP4344952A1 (zh)
JP (1) JP2024050334A (zh)
CN (1) CN117774832A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP6349558B1 (ja) 2017-05-12 2018-07-04 パナソニックIpマネジメント株式会社 撮像システム及び表示システム
JP2022157151A (ja) 2021-03-31 2022-10-14 トヨタ自動車株式会社 車両空調装置
WO2023276819A1 (ja) * 2021-06-29 2023-01-05 キヤノン株式会社 撮像システム

Also Published As

Publication number Publication date
JP2024050334A (ja) 2024-04-10
US20240114252A1 (en) 2024-04-04
EP4344952A1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
WO2019123840A1 (ja) 撮像装置、撮像システム、および表示システム
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
EP4344953A1 (en) Movable apparatus and installation method for imaging device
JP2024063155A (ja) 移動体、画像処理方法、およびコンピュータプログラム
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
US20230096414A1 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20230007190A1 (en) Imaging apparatus and imaging system
US20240114252A1 (en) Movable apparatus and installation method for imaging device
EP4431996A1 (en) Movable apparatus, image processing apparatus, storage medium, and installation method for imaging apparatus
US20230394845A1 (en) Movable apparatus, control method for movable apparatus, and storage medium
US12028603B2 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
US20240177492A1 (en) Image processing system, image processing method, and storage medium
EP4408006A1 (en) Image processing system, movable apparatus, image processing method, and storage medium
US20240217439A1 (en) Image capturing device, movable apparatus, and storage medium
US20230100099A1 (en) Image processing system, image processing method, and storage medium
JP2023047328A (ja) 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication