CN115883778A - 移动体、图像处理方法和存储介质 - Google Patents

移动体、图像处理方法和存储介质 Download PDF

Info

Publication number
CN115883778A
CN115883778A CN202211174944.1A CN202211174944A CN115883778A CN 115883778 A CN115883778 A CN 115883778A CN 202211174944 A CN202211174944 A CN 202211174944A CN 115883778 A CN115883778 A CN 115883778A
Authority
CN
China
Prior art keywords
image
camera unit
moving body
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211174944.1A
Other languages
English (en)
Inventor
中原生就
土屋知朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN115883778A publication Critical patent/CN115883778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)

Abstract

本发明涉及一种移动体、图像处理方法和存储介质。在该移动体中，照相机单元包括光学系统并且布置在移动体的侧方，该光学系统用于在摄像元件的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，其中照相机单元被安装成满足以下的条件：
Figure DDA0003863856940000011
Figure DDA0003863856940000016
Figure DDA0003863856940000013
其中：θv和θh表示高分辨率区域的垂直场角和水平场角，
Figure DDA0003863856940000014
和
Figure DDA0003863856940000015
表示光学系统的光轴的垂直方向角度和水平方向角度，x、y和h表示偏移，并且w1和w2表示距离d1和d2处的地面上的预定宽度。

Description

移动体、图像处理方法和存储介质
技术领域
本发明涉及具有照相机单元的移动体、图像处理方法和存储介质等。
背景技术
近年来，用电子室内镜替换运载工具上所装备的室内镜(后视镜)的需求 已增加。例如，日本特开2010-95202公开了如下的电子室内镜系统，该电子 室内镜系统包括摄像范围在运载工具外部的后侧的摄像部件和设置在运载 工具中的显示部件，其中由摄像部件拍摄到的图像显示在运载工具中的显示 器上，使得驾驶员可以确认运载工具的后方。
另外，存在如下的后退方向确认系统，该后退方向确认系统使得在驾驶 员使运载工具后退时该驾驶员能够确认作为运载工具后方的区域的盲点。日 本特开2004-345554公开了如下的后退方向确认系统，在该后退方向确认系 统中，设置有用于拍摄运载工具的后方的图像的照相机，并且将所拍摄的图 像显示在运载工具舱室中，使得在驾驶员使运载工具后退时该驾驶员可以确 认运载工具后面的盲点。
要求上述的用作用于拍摄电子室内镜所用的图像的摄像部件的照相机 具有高分辨率，使得驾驶员更精确地确认后退方向上的相对较长距离的状态。 相反，要求后退方向确认系统所用的照相机拍摄更宽范围的图像，使得确认 了包括运载工具后方的盲点和后侧方向的更宽范围内的安全性，以避免运载 工具后退时的碰撞。
此外，在同时安装了电子室内镜系统和后退方向确认系统的运载工具中， 如果电子室内镜系统所用的照相机和后退方向确认系统所用的照相机是单 独安装的，则运载工具内图像处理系统变得复杂。例如，在利用被布置用于 运载工具周围的摄像的多个照相机来进行自动驾驶等的自动驾驶系统中，也 发生这种缺点。
为了解决该缺点，采用使用例如特殊超广角镜头的照相机，并且可以减 少运载工具中所安装的照相机的数量。然而，尽管当使用超广角镜头等时可 以获得宽场角，但周边部分中的失真高，并且难以在电子侧视镜等上显示具 有高分辨率和低失真的图像。
发明内容
本发明的一方面涉及一种移动体，其包括：照相机单元，其具有光学系 统并且布置在所述移动体的侧方，所述光学系统用于在摄像元件的受光面上 形成具有高分辨率区域和低分辨率区域的光学图像，其中，所述照相机单元 被安装成满足以下的条件：
Figure BDA0003863856920000021
Figure BDA0003863856920000022
Figure BDA0003863856920000023
其中：θv表示所述高分辨率区域的垂直场角，θh表示所述高分辨率区域 的水平场角，
Figure BDA0003863856920000024
表示所述光学系统的光轴的垂直方向角度，
Figure BDA0003863856920000025
表示所述光学 系统的光轴的水平方向角度，x表示驾驶员的视点和所述照相机单元之间在 所述移动体的长轴方向上的偏移，y表示所述照相机单元和所述移动体的侧 面之间在所述移动体的短轴方向上的偏移，h表示所述照相机单元和地面之 间在高度方向上的偏移，d1和d2表示所述长轴方向上的相对于所述驾驶员的 视点的位置的距离，并且w1和w2表示距离d1和d2处的地面上的预定宽度。
通过以下参考附图对实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出根据第一实施例的照相机单元和运载工具之间的位置关系。
图2A和图2B示出用于说明根据第一实施例的摄像单元的光学特性的图。
图3示出用于说明根据第一实施例的图像处理系统的结构的功能框图。
图4示出用于说明根据第一实施例的用于在运载工具1中安装照相机单 元的条件的图。
图5示出用于说明在货运运载工具等中安装照相机单元的条件的图。
图6示出图5的一部分的放大图。
图7示出从侧面看到的图5和图6中的货运运载工具。
具体实施方式
在下文，参考附图，将使用实施例来说明本发明的有利模式。在各图中， 将相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的说明。
[第一实施例]
在第一实施例中，将给出对如下的图像处理系统的说明，该图像处理系 统使得能够利用少量照相机实现高清电子室内镜和高清电子侧视镜所用的 显示以及用于确认包括宽后视图的运载工具周边的显示这两者，并且使得能 够优化场角的指派。图1示出第一实施例中的照相机单元和运载工具之间的 位置关系。
在第一实施例中，如图1所示，照相机单元11、12、13和14分别安装在 运载工具1的前方、右侧、后侧和左侧，该运载工具1例如是用作可移动单元 的汽车。尽管在第一实施例中提供了四个照相机单元，但照相机单元的数量 不限于四个，并且如果提供至少一个或多于一个照相机单元就足够了。
照相机单元11至14被安装成使得摄像范围包括用作移动体的运载工具1 的前方、右侧、左侧和后侧。在第一实施例中，照相机单元11至14具有基本 上相同的结构，并且它们各自具有用于拍摄光学图像的摄像元件和用于在摄 像元件的受光面上形成光学图像的光学系统。例如，照相机单元11至14被安 装成使得照相机单元11和13的光学系统的光轴基本上是水平的并且照相机 单元12和14的光学系统的光轴从水平略微向下定向或定向成面向正下方。
另外，第一实施例中所使用的照相机单元11至14的光学系统各自均被配 置为能够以围绕光轴的窄场角获得高清图像，并且以宽场角获得具有低分辨 率的拍摄图像。附图标记11a至14a各自表示可以拍摄到具有高分辨率和低失 真的图像所利用的摄像场角，并且附图标记11b至14b各自表示可以拍摄到具 有低分辨率和高失真的图像所利用的摄像场角。附图标记11b至14b包括11a 至14a的区域。
将参考图2A和图2B来说明第一实施例中的照相机单元11至14的光学系 统。尽管照相机单元11至14的光学系统不需要具有相同的特性，但在第一实 施例中，照相机单元11至14的光学系统具有基本上相同的特性，并且将说明 照相机单元11的光学系统作为示例。
图2A和图2B是用于说明本发明的第一实施例中的摄像单元的光学特性 的图，并且图2A是以等高线形式示出第一实施例中的照相机单元11的光学系 统的摄像元件的受光面上的各半视角处的像高y的图。图2B例示示出第一实 施例中的照相机单元11的光学系统的像高y和半视角θ之间的关系的投影特 性。在图2B中，半视角(光轴和入射光束之间的角度)θ被定义为横轴，并且 照相机单元11的传感器表面(像面)上的成像高度(像高)y被定义为纵轴。
如图2B所示，第一实施例中的照相机单元11的光学系统被配置成使得在 具有预定半视角θa或更小的区域和具有半视角θa或更大的区域之间在投影 特性y(θ)方面存在差异。因此，当将每单位的像高y相对于半视角θ的增加量 定义为分辨率时，分辨率根据区域而不同。可以说，该局部分辨率由投影特 性y(θ)的半视角θ处的微分值dy(θ)/dθ表示。也就是说，可以说，图2B中的投 影特性y(θ)的倾斜度越大，分辨率越高。另外，可以说，图2A中的等高线形 式的各半视角处的像高y之间的距离越大，分辨率越高。
在第一实施例中，当半视角θ小于预定半视角θa时在传感器表面上形成 的中心侧(中央部)区域被称为“高分辨率区域10a”，并且半视角θ等于或高于 预定半视角θa的外部(周边部)区域被称为“低分辨率区域10b”。注意，高分辨 率区域10a与摄像场角21a相对应，并且低分辨率区域10b与摄像场角21b相对 应。
注意，在第一实施例中，高分辨率区域10a和低分辨率区域10b之间的边 界处的圆被称为“分辨率边界”，并且与分辨率边界相对应的显示画面上的边 界图像被称为“显示分辨率边界”或简称为“边界图像”。注意，显示画面上所 显示的边界图像(显示分辨率边界)不必是圆形的。为方便起见，边界图像可 以是矩形等。另外，高分辨率区域10a和低分辨率区域10b之间的边界不必是 圆形的，可以是椭圆形的，或者可以具有扭曲形状。
边界93(高分辨率区域10a)的重心与光学系统的光轴与受光面相交的位 置可能不一致。然而，在第一实施例中，由于边界93(高分辨率区域10a)的 重心与光学系统的光轴与受光面相交的位置基本上一致，因此存在如下的效 果：可以容易地设计光学系统，可以获得稳定的光学特性，并且可以抑制失 真校正的负荷。
在第一实施例中，高分辨率区域10a是失真相对较小的低失真区域，并 且低分辨率区域10b是失真相对较大的高失真区域。因此，在第一实施例中， 高分辨率区域与低失真区域相对应，低分辨率区域与高失真区域相对应，并 且高分辨率区域可以被称为“低失真区域”且“低分辨率区域”可以被称为“高 失真区域”。相反，低失真区域可以被称为高分辨率区域，并且高失真区域 可以被称为低分辨率区域。
第一实施例中的照相机单元11的光学系统被配置成使得其投影特性y(θ) 在高分辨率区域(低失真区域)10a中高于f×θ(f是照相机单元11的光学系统的 焦距)。高分辨率区域(低失真区域)中的投影特性y(θ)被设置为不同于低分辨 率区域(高失真区域)中的投影特性。当θmax是照相机单元11的光学系统的最 大半视角时，θa和θmax之间的比θa/θmax期望地等于或高于预定下限值(例如， 0.15至0.16)。
θa和θmax之间的比θa/θmax期望地等于或小于预定上限值(例如，0.25至 0.35)。例如，在θmax被设置为90°、预定下限值被设置为0.15、并且预定上 限值被设置为0.35的情况下，期望θa被确定在13.5°至31.5°的范围内。此外， 照相机单元11的光学系统被配置成使得其投影特性y(θ)也满足以下的公式1。
1<f×sin(θmax)/y(θmax)≤1.9...(公式1)
“f”是如上所述的照相机单元11的光学系统的焦距。在下限设置为1的情 况下，可以使中心分辨率高于使用具有相同最大像高的正交投影方法(即， y＝f×sinθ成立的情况)的鱼眼镜头的中心分辨率。在上限设置为1.9的情况下， 可以在获得与鱼眼镜头的场角等同的场角的同时维持有利的光学性能。可以 通过考虑高分辨率区域中的分辨率和低分辨率区域中的分辨率之间的平衡 来确定上限，并且上限期望地设置在1.4至1.9的范围内。
利用如上所述的光学系统的配置，在高分辨率区域10a中，可以获得高 分辨率，并且在低分辨率区域10b中，可以减少每单位的像高y相对于半视角 θ的增加量，结果可以实现以更宽视角拍摄到的图像。因此，可以在摄像范 围处于与鱼眼镜头的宽场角等同的宽场角的状态下在高分辨率区域10a中获 得高分辨率。
此外，根据第一实施例，在高分辨率区域(低失真区域)中，由于特性接 近于作为通常摄像光学系统的投影特性的中心投影方法(y＝f×tanθ)或等距投 影方法(y＝f×θ)的特性，因此光学失真小，这样得到高精度显示。因此，可以 获得在从视觉上观察周围运载工具等时的自然远近感，并且可以在抑制图像 质量的劣化的同时获得令人满意的可视性。
由于如果投影特性y(θ)满足公式1的条件则可以获得相同的效果，因此本 发明不限于图2B所示的投影特性。在第一实施例中，具有满足公式1的条件 的投影特性y(θ)的光学系统可以被称为“不同视角镜头”。照相机单元11至14 的各个光学系统的高分辨率区域10a与摄像场角11a至14a相对应，并且低分辨 率区域10b与摄像场角11b至14b相对应。
在第一实施例中，高分辨率区域10a的重心(光学系统的光轴)与照相机单 元11至14的摄像元件的受光面的大致中央基本上重叠，并且高分辨率区域 10a的重心与光学系统的光轴与受光面相交的位置一致。然而，例如，摄像 元件的受光面的大致中央与高分辨率区域10a的重心(光学系统的光轴)可能 在预定方向(第一方向)上偏离。另外，高分辨率区域10a的重心可以偏离光学 系统的光轴与受光面相交的位置。
接着，将参考图3来说明第一实施例中的图像处理系统的结构。图3是用 于说明第一实施例中的图像处理系统的结构的功能框图。在图3中，图像处 理系统100安装在用作移动体的运载工具1中，并且摄像单元21至24和照相机 处理单元31至34分别布置在照相机单元11至14的壳体中。
摄像单元21至24各自具有不同视角镜头21c至24c以及诸如CMOS图像传 感器和CCD图像传感器等的摄像元件21d至24d。用作光学系统的不同视角镜 头21c至24c由一个或多于一个光学透镜构成，具有满足公式1的条件的投影 特性y(θ)，并且在摄像元件21d至24d的各个受光面上形成具有低失真区域和 高失真区域的光学图像。用作摄像部件的摄像元件21d至24d对光学图像进行 光电转换并输出摄像信号。在摄像元件21d至24d的受光面上，例如，针对各 像素排列RGB滤色器。RGB的阵列例如是拜耳阵列。
因此，摄像元件根据拜耳阵列，从预定行顺次输出R、G、R、G信号并 且从相邻行顺次输出G、B、G、B信号。附图标记31至34表示照相机处理单 元，这些照相机处理单元连同摄像单元21至24一起容纳在照相机单元11至14 的相同壳体中并且处理从摄像单元21至24输出的摄像信号。在图3中，为方 便起见，省略了摄像单元24、照相机处理单元34及其布线的细节。
照相机处理单元31至34各自具有图像处理单元31a至34a、识别单元31b 至34b和照相机信息单元31c至34c。图像处理单元31a至34a分别对从摄像单元 21至24输出的摄像信号进行图像处理。由照相机处理单元31进行的部分或全 部处理可以由堆叠在摄像元件21d至24d中的信号处理单元进行。
具体地，图像处理单元31a至34a根据拜耳阵列分别对从摄像单元21至24 输入的图像数据进行解拜耳处理，并将该图像数据转换成RGB光栅格式的图 像数据。此外，可以进行白平衡调整、增益偏移调整、伽马处理、颜色矩阵 处理和可逆压缩处理等。
识别单元31b至34b基于由图像处理单元31a至34a进行了图像处理的失 真校正之前的图像数据对预定对象(例如，运载工具、人和障碍物等)进行图 像识别。也就是说，识别单元31b至34b在不对与低失真区域相对应的图像数 据进行失真校正的情况下进行图像识别，并输出第一图像识别结果。第一实 施例中的识别单元31b至34b对至少从高分辨率区域10a获得的图像数据进行 图像识别处理以识别预定对象。为此，可以在仅切出高分辨率区域10a之后 进行图像识别处理。
此时，识别单元31b至34b还可以对从低分辨率区域10b获得的失真校正 之前的图像数据进行图像识别处理。然而，由于尚未进行失真校正，因此不 同视角镜头的周边部的图像显著失真，这导致识别可靠度降低。可替代地， 识别单元31b至34b可以切出从高分辨率区域10a获得的图像数据，并且仅对 从高分辨率区域10a获得的图像数据进行图像识别处理。
在这种情况下，为了图像识别而要切出的区域期望是作为适合于图像识 别处理的形状的矩形。另外，要切出的矩形区域可以仅是高分辨率区域10a 中的一部分(例如，内接高分辨率区域10a中的矩形)，或者可以是包括高分辨 率区域10a和低分辨率区域10b这两者的矩形。
识别单元31b至34b用作第一图像识别单元，第一图像识别单元基于摄像 部件所获取到的图像信号内的至少部分区域中的图像信号来识别图像并输 出第一图像识别结果。在第一实施例中，部分区域是与低失真区域相对应的 区域。
识别单元31b至34b将用作识别结果的对象的类型与坐标的集合发送到 整合处理单元40。另外，识别单元31b至34b从整合处理单元40的整合控制单 元41c接收与对象的类型和对象的移动方向有关的信息以及作为优先识别区 域信息的集合的预测信息。以下将说明该预测信息。
这里，运载工具(即，移动体)的正面所安装的照相机单元11的识别单元 31b的输出也被直接供给到行驶控制单元(ECU)60。这是因为存在如下的情 况：需要基于由识别单元31b获得的识别结果(例如，障碍物等)而立即停止行 驶，或者需要控制行驶以避开障碍物。
照相机信息单元31c到34c预先将照相机单元11到14的照相机信息保持 在存储器中。照相机信息单元可以临时保持来自照相机单元11至14中所设置 的各种传感器的信息。照相机信息包括如图2A和图2B所示的、由例如不同 视角镜头21c至24c形成的光学图像的特性信息(例如，分辨率边界信息)。照 相机信息还包括摄像元件21d至24d的像素数、与运载工具坐标中的照相机单 元的安装位置坐标和姿势(俯仰、侧倾和横摆等)有关的信息、以及摄像方向 等。照相机信息可以包括诸如伽马特性、感光度特性和帧频等的信息。
此外，照相机信息可以包括与在图像处理单元31a到34a中生成图像数据 时的图像处理方法和图像格式有关的信息。由于在许多情况下运载工具中的 各照相机单元的安装位置是已确定的，因此安装位置坐标可以预先存储在照 相机信息单元内的存储器中。另外，照相机单元的姿势坐标是相对于运载工 具1的坐标，并且可以从照相机单元中所设置的编码器(未示出)获取。可替代 地，可以通过使用三维加速度传感器等来获取照相机单元的姿势坐标。
另外，可以通过使用例如地磁传感器来获取与摄像方向有关的信息。由 于照相机的分辨率边界信息是基于镜头设计确定的，因此分辨率边界信息被 预先存储在照相机信息单元内的存储器中。照相机信息是摄像单元21至24的 独特信息(其彼此不同)，该信息被发送到整合处理单元40，并且当在整合处 理单元40中进行图像处理等时被参考。这里，照相机信息单元31c至34c用作 保持部件，该保持部件保持与光学图像的特性相关的特性信息以及照相机单 元的位置和姿势信息。
用作计算机的CPU和用作存储介质的存储计算机程序的存储器内置在 照相机处理单元31至34中。另外，CPU被配置为通过执行存储器中的计算机 程序来控制照相机处理单元31至34中的各单元。
在第一实施例中，图像处理单元31a至34a和识别单元31b至34b使用诸如 专用电路(ASIC)和处理器(可重构处理器，DSP)等的硬件。因此，可以实现 高分辨率区域中的高速图像识别，并且增加避免事故的可能性。图像处理单 元31a至34a可以具有失真校正功能。尽管可以通过使CPU执行存储器中所存 储的计算机程序来实现照相机处理单元31至34的内部功能块的一部分或全 部，但在这种情况下，期望增加CPU的处理速度。
附图标记40表示整合处理单元，该整合处理单元具有SOC(片上系 统)/FPGA(现场可编程门阵列)41、用作计算机的CPU 42和用作存储介质的 存储器43。CPU 42通过执行存储器43中存储的计算机程序来进行整个图像处 理系统100的各种控制。在第一实施例中，整合处理单元40容纳在与照相机 单元分开的壳体中。
SOC/FPGA 41具有图像处理单元41a、识别单元41b和整合控制单元41c。 图像处理单元41a从各个照相机处理单元31至34获得图像数据，并且从照相 机信息单元31c至34c获得各个照相机单元11至14的照相机信息。如上所述， 照相机信息包括不同视角镜头21c至24c的光学特性、摄像元件21d至24d的像 素数、光电转换特性、γ特性、感光度特性、图像数据格式信息、以及与运 载工具坐标中的照相机单元的安装位置的坐标和姿势有关的信息。
用作图像处理部件的图像处理单元41a获取诸如光学系统的特性信息等 的照相机信息。随后，基于照相机信息对来自照相机处理单元31至34的各个 图像数据进行分辨率转换，并且对从各摄像单元21至24的低分辨率区域10b 获得的图像信号进行包括失真校正等的图像处理步骤。
具体地，基于光学图像的特性对失真校正区域中的图像信号进行失真校 正，并且将进行了失真校正的图像信号和尚未进行失真校正的非失真校正区 域中的图像信号进行合成以生成合成图像。也就是说，图像处理单元41a还 用作显示信号生成部件，进行失真校正等，并且进行用于生成合成图像的显 示信号生成步骤。在第一实施例中，失真校正区域可以由用户设置或者可以 自动设置。
在第一实施例中，由于从高分辨率区域10a获得的图像信号基本上不具 有失真，因此图像处理单元41a不进行失真校正。然而，图像处理单元41a可 以对从高分辨率区域10a获得的图像信号进行简化失真校正。另外，图像处 理单元41a对来自各个照相机处理单元31至34的图像数据适当地进行有损压 缩处理等。
另外，图像处理单元41a将进行了失真校正的低分辨率区域10b的图像信 号与各摄像单元21至24的高分辨率区域10a的图像信号以无缝连接的方式合 成，并且形成摄像单元21至24的整体图像。
注意，在对从低分辨率区域10b获得的图像信号和从高分辨率区域10a获 得的图像信号这两者进行失真校正的情况下，可以对由各个图像处理单元 31a至34a获得的图像数据原样进行失真校正。在图像处理单元41a中，特别 地，基于照相机布置位置和姿势信息来进行包括图像的旋转的图像处理。以 下将说明细节。
识别单元41b对至少对低分辨率区域进行了失真校正的各个摄像单元21 至24的整体图像进行图像识别处理，并且对各个摄像单元21至24的整体图像 中的预定对象(例如，汽车、人和障碍物等)进行图像识别。也就是说，识别 单元41b在对与至少低分辨率区域(高失真区域)相对应的图像信号进行失真 校正之后进行图像识别，并输出第二图像识别结果。
此时，还参考由识别单元31b至34b获得的识别结果(对象类型和坐标)。 尽管在上述说明中识别单元41b对各个摄像单元21至24的整体图像进行图像 识别，但可以不必对整体图像进行图像识别。例如，可能没有必要一定对图 像的最外周部(图2B的最外周部附近)进行图像识别。
在第一实施例中，尽管识别单元41b对包括例如由识别单元31b至34b识 别的区域的宽区域进行图像识别，但识别单元41b可以仅对除由识别单元31b 至34b识别的区域以外的区域进行图像识别。这里，识别单元41b用作第二图 像识别部件，该第二图像识别部件对由图像获取部件获取到的图像信号中的、 比包括由第一图像识别单元进行了图像识别的部分区域的部分区域更宽的 区域的图像信号进行图像识别，并输出第二图像识别结果。第二图像识别部 件对通过将与作为低失真区域的高分辨率区域10a和作为高失真区域的低分 辨率区域10b相对应的图像信号进行合成所获得的合成图像进行图像识别， 并输出第二图像识别结果。
在第一实施例中，图像处理单元41a合成来自作为多个摄像单元的照相 机单元12至14的图像，使得图像连接在一起以形成全景合成图像。在这种情 况下，期望要连接的来自摄像单元的图像被设置成使得各个摄像场角的至少 一部分具有重叠区域，其中各重叠区域具有预定量或比预定量更多的量。
如以下将说明的，照相机单元12和13可以被布置成使得它们的摄像范围 彼此重叠。可替代地，照相机单元13和14可以被布置成使得它们的摄像范围 彼此重叠。此外，在这种情况下，照相机单元13和14可以被布置成使得至少 两个图像获取部件的低失真区域的摄像范围彼此重叠。
如上所述，识别单元41b对全景合成图像进行图像识别。因此，使得能 够对为了覆盖例如多个摄像单元的场角所拍摄的对象进行图像识别。这是因 为，存在如下的情况：在来自每个摄像单元的各个整体图像中，无法识别对 象的整体图像，然而，在全景合成图像中，几乎反映了整个对象，并且通过 图像处理使得能够进行图像识别。
例如，在由识别单元31b至34b获得的识别结果不同于由识别单元41b获 得的识别结果的情况下，整合控制单元41c通过采用高度可靠的识别结果来 输出整合后的图像识别结果。例如，可以将图像中的由识别单元31b至34b识 别的对象的比例与画面中的由识别单元41b识别的相同对象的比例进行比较， 并且具有更高比例的识别结果可以被判断为高度可靠并被采用。
可替代地，如果对象覆盖高分辨率区域和低分辨率区域者两者，则由识 别单元41b获得的识别结果可以被判断为比由识别单元31b至34b获得的识别 结果更可靠并且可以被采用。可替代地，如果由识别单元31b至34b识别的对 象位于画面的周边部，则识别结果可以被判断为不太可靠，并且由识别单元 41b获得的识别结果可以被判断为可靠度更高并被采用。
可替代地，在识别单元41b中，在低分辨率区域中进行失真校正的状态 下仅对低分辨率区域进行图像识别，并且如果存在覆盖低分辨率区域和高分 辨率区域的对象，则可以对该对象进行图像识别。也就是说，关于仅存在于 高分辨率区域中的对象，由识别单元31b至34b获得的识别可以被认为具有更 高的可靠度，并且可以进行控制使得识别单元41b不能进行图像识别处理。 这里，整合控制单元41c用作整合处理部件，该整合处理部件基于第一图像 识别结果的可靠度和第二图像识别结果的可靠度来输出整合后的图像识别 结果。
另外，整合控制单元41c形成了用于将来自各个摄像单元21至24的整体 图像以及全景合成图像等中的期望图像显示在第一显示单元50和第二显示 单元51等上的信号。另外，生成用于突出显示所识别的对象的框以及与对象 的类型、大小、位置和速度等有关的信息和警告所用的CG。此外，可以基 于光学系统的特性信息(诸如从照相机信息单元31c至34c获取到的显示分辨 率边界信息等)来生成示出用于显示边界的边界图像的CG。
另外，进行用于将这些(一个或多于一个)CG和字符叠加在图像上的显 示处理。这里，第一显示单元50和第二显示单元51等用作显示部件，并且显 示图像信号和整合后的图像识别结果。
此外，在第一实施例中，整合控制单元41c被配置为共享与在照相机单 元之间所识别的对象有关的信息。也就是说，假定在照相机单元14中识别的 对象被识别为在照相机单元11的场角方向上移动。在这种情况下，整合控制 单元41c将与对象的类型和对象的移动方向有关的信息或包括优先识别区域 信息的预测信息发送到照相机单元11的识别单元31b。
通过在照相机单元11至14的识别单元31b至34b之间共享这种预测信息， 可以提高照相机单元11至14的识别单元31b至34b中的图像识别准确度。特别 地，在照相机单元11至14的识别单元31b至34b与整合处理单元40的识别单元 41b分开的情况下，共享这种预测信息的优点是有效的。
整合控制单元41c通过使用诸如CAN、FlexRay和以太网(Ethernet)等的协 议，通过内部提供的通信部件(未示出)与行驶控制单元(ECU)60等进行通信。 由此，基于从行驶控制单元(ECU)60等接收到的运载工具控制信号来进行用 于适当地改变要显示的信息的显示处理。也就是说，根据例如通过运载工具 控制信号所获取到的运载工具的移动状态来改变要显示在显示部件上的图 像的范围。
行驶控制单元(ECU)60是运载工具1中所安装的单元，并且包括用于整 体进行运载工具1的驱动控制和方向控制的计算机和存储器。例如，从行驶 控制单元(ECU)60向整合处理单元40输入运载工具控制信号，其中运载工具 控制信号表示与运载工具的行驶(移动状态)有关的信息，诸如运行速度、运 行方向、换挡杆、换档和转向信号的状况、以及由地磁传感器获得的运载工 具的方向等。
相反，整合控制单元41c将与例如由识别单元41b识别的预定对象(例如， 障碍物)的类型、位置、移动方向和移动速度有关的信息发送到行驶控制单 元(ECU)60。因此，行驶控制单元(ECU)60进行必要的控制以避开障碍物， 例如，停止运载工具、驾驶运载工具和改变运载工具的行驶方向。这里，行 驶控制单元(ECU)60用作运动操作控制部件，该运动操作控制部件用于基于 整合后的图像识别结果来控制用作移动体的运载工具的运动操作。
第一显示单元50在显示画面指向运载工具的后方的状态下例如安装在 运载工具1的驾驶员座位的前方上部在运载工具宽度方向上的中央附近，并 且用作电子室内镜。第一显示单元50可以设置有半反射镜等，使得在其不用 作显示器时可以用作反射镜。另外，第一显示单元50a可以设置有触摸面板 和操作按钮，使得可以获得来自用户的指示并将这些指示输出到整合控制单 元41c。另外，代替例如传统的光学侧视镜，第一显示单元50可以用作用于 确认右侧和左侧的障碍物的电子侧视镜。
第二显示单元51例如布置在运载工具1的驾驶员座位前方在运载工具宽 度方向上的中央附近的操作面板周围。在用作移动体的运载工具1中安装有 导航系统和音频系统等(未示出)。
例如，第二显示单元可以显示来自导航系统、音频系统和行驶控制单元 (ECU)60的各种控制信号。第二显示单元可以设置有触摸面板和操作按钮， 使得能够获得来自用户的指示。第二显示单元51可以是例如平板终端的显示 单元，并且可以通过有线连接到整合处理单元40来显示，或者可以通过经由 通信单元62无线地接收图像来显示。
可以使用液晶显示器和有机EL显示器等作为第一显示单元50和第二显 示单元51的显示面板。显示单元的数量不限于三个。整合处理单元40等中所 包括的功能块的一部分或全部可以由硬件实现，或者可以通过使CPU 42执行 存储器43中存储的计算机程序来实现。作为硬件，可以使用专用电路(ASIC) 和处理器(可重构处理器、DSP)等。
由图像处理单元31a至34a进行的图像处理的一部分或全部可以由整合 处理单元40的图像处理单元41a进行。也就是说，在第一实施例中，例如， 图像获取部件和第一图像识别部件容纳在照相机单元的相同壳体中，并且照 相机单元和第二图像识别部件容纳在分开的壳体中。然而，例如，第一图像 识别部件和第二图像识别部件可以容纳在整合处理单元40的壳体中。
在第一实施例中，尽管整合处理单元40安装在用作移动体的运载工具1 中，但整合处理单元40的图像处理单元41a、识别单元41b和整合控制单元41c 的处理的一部分可以经由例如网络由外部服务器进行。在这种情况下，例如， 尽管用作图像获取部件的摄像单元21至24安装在用作移动体的运载工具1中， 但照相机处理单元31至34和整合处理单元40的功能的一部分可以由外部服 务器等处理。还可以将整合处理单元40的一部分或全部功能提供给行驶控制 单元(ECU)60。
附图标记61表示存储单元，该存储单元存储由整合处理单元40生成的各 个摄像单元21至24的整个图像以及全景合成图像。此外，将表示所识别的对 象的诸如预定框、字符和警告等的CG以及叠加有CG并显示在第一显示单元 50和第二显示单元51等上的图像连同时间和GPS信息等一起存储。整合处理 单元40可以再现存储单元61中存储的过去信息，并将该过去信息显示在第一 显示单元50和第二显示单元51上。
附图标记62表示用于经由网络与外部服务器等进行通信的通信单元，其 中可以将存储在存储单元61中之前的信息和存储单元61中正存储的过去信 息发送到外部服务器等，使得该信息可以存储在外部服务器等中。如上所述， 也可以将图像发送到外部平板终端等，并将这些图像显示在作为平板终端的 显示单元的第二显示单元51上。还可以从外部服务器等获取拥塞信息和各种 信息，并将它们经由整合处理单元40显示在第一显示单元50和第二显示单元 51上。附图标记63表示用于通过用户的操作向图像处理系统输入各种指示的 操作单元。操作单元例如包括触摸面板和操作按钮。
图4示出第一实施例中的用于将照相机单元安装在运载工具1中的条件。 在图4中，附图标记14表示安装在左侧的照相机单元，其拍摄电子侧视镜显 示所用的图像。
另外，为了使驾驶员通过电子侧视镜的显示来确认运载工具周围的安全 性，需要如图4的阴影所示显示运载工具的两侧和后方的地面上的区域。在 下文，在第一实施例中，图4中的阴影区域也被称为“预定义区域”。在图4中， 在从驾驶员的视点位置E向后的距离d1处的宽度w1内的区域和距离d2处的 宽度w2内的地面上的区域被定义为“预定义区域”。该预定义区域期望地显示 在第一显示单元50上。也就是说，d1和d2是图4中的X方向上的从驾驶员的视 点位置E向后的距离，并且w1和w2分别是距离d1和d2处的地面上的宽度。
为了将图4所示的预定义区域显示在电子侧视镜上，需要将照相机单元 14安装成使得至少预定义区域包括在照相机单元14的摄像区域内。因此，在 第一实施例中，照相机单元14被安装成使得可以以与照相机单元14的满足公 式1的条件的高分辨率区域10a相对应的摄像场角来拍摄预定义区域。
这里，为了形成侧视镜所用的图像、使得通过使用满足公式1的条件的 高分辨率区域10a来显示预定义区域，期望照相机单元14在垂直方向上被安 装成使得满足以下的公式2的条件。
Figure BDA0003863856920000161
另外，在水平方向上，期望照相机单元14被安装成使得满足以下的公式 3和4的条件：
Figure BDA0003863856920000162
Figure BDA0003863856920000163
这里，如图4所示，θv表示高分辨率区域10a的垂直场角，θh表示高分辨 率区域10a的水平场角，
Figure BDA0003863856920000171
表示照相机单元14的光学系统的光轴的垂直角度， 并且
Figure BDA0003863856920000172
表示照相机单元14的光学系统的光轴的水平角度。另外，x表示照相 机单元14和驾驶员的视点位置E之间在运载工具1的长轴方向(图4中的X方向) 上的偏移，并且y表示照相机单元14和运载工具的侧面之间在短轴方向(图4 中的Y方向)上的偏移。另外，h表示照相机单元14和地面之间在高度方向(图 4中的Z方向)上的偏移。
驾驶员的视点位置E是驾驶员的就座位置处的眼睛位置或者驾驶员座位 面的中央位置。尽管以上已经说明了左侧的照相机单元14的安装条件，但相 同的条件适用于右侧的照相机单元12。
如上所述，通过满足公式1至公式4的条件，可以拍摄如图2A和图2B所 示的要由驾驶员确认的预定义区域包括在高分辨率区域10a的场角内的图像。 因此，可以通过电子侧视镜适当地显示具有高分辨率和低失真的图像。
如上所述，在第一实施例中，通过满足公式1至4的条件，可以以高分辨 率区域10a的场角进行运载工具的后侧的预定义区域包括在摄像范围内的摄 像。因此，运载工具的后侧的预定义区域可以显示在电子侧视镜上，并且驾 驶员可以确认安全性。此外，由于高分辨率区域10a具有低失真和高分辨率， 因此驾驶员由于具有高分辨率和低失真的图像而能够及时地从视觉上看到 障碍物等。
此外，关于高分辨率区域10a，通过对失真校正之前的图像数据进行图 像识别，可以无延迟地进行图像识别，还可以快速地向驾驶员提供与障碍物 信息和其他信息有关的通知。另外，在汽车中，通过满足上述公式1至4，可 以在遵守规定(例如，UN-R 46(联合国法规第46号))的同时将驾驶员容易确认 安全性的视频图像显示在电子侧视镜上。
如上所述，根据第一实施例，高分辨率区域(低失真区域)10a具有接近 于作为通常摄像所用的光学系统的投影特性的中心投影方法(即，y＝f×tanθ成 立的情况)或等距投影方法(即，y＝f×θ成立的情况)的特性的特性。因此，可 以实现具有低光学失真和高分辨率的显示。另外，可以获得从视觉上观察周 围运载工具等时的自然远近感。还可以在抑制图像质量的劣化的同时获得令 人满意的可视性，并且在不进行失真校正的情况下进行图像识别。
即使投影特性y(θ)不满足公式1的条件，包括用于形成具有高分辨率区域 10a的光学图像的光学系统的照相机单元也可以以满足公式2至4的条件的方 式进行安装。即使在这种情况下，也可以从视觉上识别出具有一定程度的高 分辨率和低失真的图像。
例如，在九人或更少乘员的乘用车或者小型货运运载工具(例如，运载 工具重量为3.5吨或更小)中，期望驾驶员可以用电子侧镜确认预定义区域(诸 如d1＝4m、w1＝1m、d2＝20m和w2＝4m等)。在这种情况下，例如，当使用高 分辨率区域10a的垂直场角θv和水平场角θh各自均为47.5度的照相机单元并 且将该照相机单元安装在x＝0.5m、y＝0.2m和h＝1m的位置时，照相机单元的 光轴的垂直角度
Figure BDA0003863856920000181
和水平角度
Figure BDA0003863856920000182
各自为
Figure BDA0003863856920000183
和
Figure BDA0003863856920000184
照相机单元被安装成使得照相机的光轴对准以满足这些条件。另外，在 十人或更少乘员的乘用车以及中型或大型货运运载工具中，由于期望驾驶员 可以从视觉上确认更后方，因此期望驾驶员可以用电子侧视镜确认预定义区 域(例如，d1＝4m、w1＝1m、d2＝30m和w2＝5m)。在这种情况下，当使用高分 辨率区域10a中的垂直场角θv和水平场角θh各自均为47.2度的照相机单元并 且将照相机单元安装在x＝0.5m、y＝0.2m和h＝1m的位置时，照相机单元的光 轴的垂直角度
Figure BDA0003863856920000185
和水平角度
Figure BDA0003863856920000186
各自为
Figure BDA0003863856920000187
和
Figure BDA0003863856920000188
尽管在上述数值示例中、通过使用照相机单元的安装位置(x,y,h)作为固 定条件来计算在这种情况下的照相机单元的光轴的角度条件，但如果满足公 式2至3的条件，则用于计算安装条件的方法不限于此。例如，在用作运载工 具设计的约束条件的照相机单元的光轴的角度是预先确定的情况下，基于该 角度来确定满足公式2至3的照相机单元的安装位置的范围。
因此，预定义区域可以包括在照相机单元的高分辨率区域的摄像范围内。 类似地，在用作两个设计的约束条件的照相机单元的安装位置(x,y,h)与照相 机单元的光轴之间的角度是预先确定的情况下，可以基于该角度来分别确定 满足公式2至3的条件的照相机单元的高分辨率区域10a的垂直场角θv和水平 场角θh。
[第二实施例]
在第二实施例中，将说明照相机单元安装在中型货运运载工具中的情况 下的安装条件。例如，中型货运运载工具期望地是总重量大于3.5吨且小于12 吨的运载工具，并且更期望地是总重量大于3.5吨且小于7.5吨的运载工具。 在中型货运运载工具中，与乘用车或小型货运运载工具相比，驾驶员需要确 认侧方向上的更宽范围的安全性。
图5示出货运运载工具等中的安装状况，并且图6是图5所示的部分放大 图。另外，图7示出从侧面观看到的图5和图6中的货运运载工具。如图5至图 7所示，期望将相对于驾驶员的视点E的距离d1至d6以及与各个距离相对应的 宽度w1至w6显示在电子侧视镜上，使得驾驶员可以进行确认。
由与各个距离d1至d6相对应的宽度w1至w6预定义的区域是第二实施例 中的预定义区域。在第二实施例中，照相机单元被安装成使得可以在照相机 单元的高分辨率区域10a中对所有预定义区域进行摄像。在图5中，P3至P5 分别与P3'至P5'对称，并且P3至P5相对于运载工具1的长轴方向(X方向)上的 中心线分别与P3'至P5'对称。
如图6所示，假定针对侧视镜显示所安装的照相机单元14被布置成从驾 驶员的视点位置E向前了x并且从运载工具的侧面偏移了y。在第二实施例中， 期望照相机单元14的位置和角度除了满足上述公式1至4之外，还满足以下的 公式5至9，使得可以在照相机单元的高分辨率区域10a中对图5所示的所有预 定义区域进行摄像。
关于垂直方向，期望地满足以下条件：
Figure BDA0003863856920000191
关于水平方向，期望地满足以下条件，以对距离d3处的运载工具本体侧 的点P1进行摄像：
Figure BDA0003863856920000192
关于水平方向，期望地满足以下条件，以对距离d3外侧的点P3进行摄像：
Figure BDA0003863856920000201
关于水平方向，期望地满足以下条件，以拍摄距离d4外侧的点P4：
Figure BDA0003863856920000202
关于水平方向，期望地满足以下条件，以拍摄距离d5外侧的点P5：
Figure BDA0003863856920000203
这里，d3至d5表示图5所示的X方向上的从驾驶员的视点E向后的距离， 并且w3至w5表示图5所示的Y方向上的从运载工具1的侧面向外延伸的宽度。 另外，x表示驾驶员的视点E和照相机单元14之间在运载工具1的长轴方向(图 4中的X方向)上的偏移，并且y表示照相机单元14和运载工具的侧面之间在短 轴方向(图5至图7中的Y方向)上的偏移。另外，h表示照相机单元14和地面之 间在高度方向(图7中的Z方向)上的偏移。在第二实施例中，w4＝w5成立。
[第三实施例]
在第三实施例中，将说明照相机单元安装在大型货运运载工具中的情况 下的安装条件。期望如下：大型货运运载工具期望地是总重量大于12吨的运 载工具，并且更期望地是总重量大于7.5吨的运载工具。照相机单元被安装成 使得第二实施例的预定义区域中的距离d1处的宽度w1、距离d2处的宽度w2 和距离d5处的宽度w5的区域包括在照相机单元的高分辨率区域中的摄像范 围内。
在这种情况下，除了上述的公式2至4的条件之外，还满足公式5、6和9 作为安装条件。具体地，关于垂直方向，条件是公式5，并且关于水平方向， 用于对距离d3处的运载工具1的一侧上的点进行摄像的条件是公式6，并且用 于对距离d5外侧的点进行摄像的条件是公式9。
[第四实施例]
在第四实施例中，第二实施例的预定义区域中的距离d4处的宽度w4、距 离d5处的宽度w5的区域包括在照相机单元的高分辨率区域中的摄像范围内。 在这种情况下，除了上述的公式2至4的条件之外，还满足公式5、6、8和9作 为安装条件。具体地，关于垂直方向，条件是公式5，并且关于水平方向， 用于对距离d3处的运载工具1的一侧上的点进行摄像的条件是公式6，用于对 距离d4外侧的点进行摄像的条件是公式8，并且用于对距离d5外侧的点进行 摄像的条件是公式9。
[第五实施例]
在第五实施例中，除了第一实施例中的预定义区域之外，可以在图6至7 所示的距离d6和d3的位置处在低分辨率区域10b中对由宽度w6预定义的区域 进行摄像。这样的预定义区域期望地包括在摄像范围内，使得确认了与驾驶 员座位侧相对的地面。在这种情况下，除了上述的公式1至4的条件之外，还 期望满足以下的公式10至16的条件。在这种情况下，也可以满足第二实施例 至第四实施例中任一个的条件。因此，可以通过一个照相机单元将各个预定 义区域包括在摄像范围内。
也就是说，在x>d6的情况下，关于垂直方向，期望地满足以下条件：
Figure BDA0003863856920000211
另外，关于水平方向，期望地满足以下条件：
Figure BDA0003863856920000212
在x<d6的情况下，关于垂直方向，期望地满足以下条件：
Figure BDA0003863856920000213
另外，关于水平方向，期望地满足以下条件：
Figure BDA0003863856920000214
在x＝d6的情况下，关于垂直方向，期望地满足以下条件：
Figure BDA0003863856920000215
另外，关于水平方向上的运载工具侧，期望地满足以下条件：
Figure BDA0003863856920000216
另外，关于水平方向上的外侧，期望地满足以下条件：
Figure BDA0003863856920000217
这里，假定θlv表示低分辨率区域10b的垂直场角并且θlh表示低分辨率区 域10b的水平场角。尽管在以上在第一实施例至第五实施例中的说明中已经 描述了左侧的照相机单元14，但相同的条件适用于右侧的照相机单元12。
作为第二实施例至第五实施例中的预定义区域的具体示例，期望驾驶员 可以利用电子侧视镜确认预定义区域(例如，d1＝4m、w1＝1m、d2＝20m、w2＝4m、 d3＝1.5m、w3＝4.5m、d4＝10m和w4＝15m)。此外，期望驾驶员可以利用电子 侧视镜确认预定义区域(d5＝25m、w5＝15m、d6＝1m和w6＝2m)。例如，如果 照相机单元的安装位置为x＝1.1m、y＝0.3m、h＝2.3m，则照相机单元的光轴的 垂直方向上的角度
Figure BDA0003863856920000221
和水平方向上的角度
Figure BDA0003863856920000222
分别为例如
Figure BDA0003863856920000223
Figure BDA0003863856920000224
在上述说明中，假定如下：高分辨率区域10a的重心(光学系统的光轴) 与照相机单元11至14的摄像元件的受光面的大致中央基本上重叠，并且高分 辨率区域10a的重心与光学系统的光轴与受光面相交的位置一致。然而，如 上所述，高分辨率区域10a的重心(光学系统的光轴)可能偏离受光面的大致中 央，并且高分辨率区域10a的重心与光学系统的光轴与受光面相交的位置可 能不一致。也就是说，例如，照相机单元14的高分辨率区域(低失真区域)10a 的重心可以被布置成从摄像元件的受光面140的中心朝向上侧(第一方向)偏 离，使得发生渐晕。
然后，将渐晕的方向(第一方向)设置为例如朝向运载工具1的方向，使得 可以扩大在运载工具本体外侧进行摄像的场角，结果可以优化摄像角度，并 且可以最有效地使用摄像元件的像素。发生渐晕的部分从θlv和θlh的范围中 被消除。也就是说，在第一实施例至第五实施例中计算上述的公式1至16， 使得不包括边缘θlv和θlh处发生渐晕的部分。
如上所述，在第一实施例至第五实施例中，高分辨率区域(低失真区域) 10a被配置为具有与通常摄像所用的光学系统的中心投影方法(即，y＝f×tanθ 成立的情况)或等距投影方法(即，y＝f×θ成立的情况)类似的投影特性。因此， 例如，第一显示单元50等的电子侧视镜上所显示的高分辨率区域(低失真区 域)10a的图像具有比低分辨率区域(高失真区域)10b的图像的分辨率更高的 分辨率，并且可以更精确地显示运载工具1的远侧。此外，这与通过使用具 有不同场角的多个照相机单元来拍摄侧面的图像的情况相比，在成本、处理 效率和小型化等方面是优异的。
如果可以显示各个预定义区域，则显示方式不受限制。例如，可以从照 相机单元的拍摄图像中切出由距离d6和d3处的宽度w6预定义的预定义区域 和由距离d3至d5处的宽度w3至w5预定义的预定义区域作为单独图像，并显 示在不同的显示单元上。另外，可以从照相机单元的拍摄图像中切出由距离 d1和d2处的宽度w1和w2预定义的预定义区域作为单独图像并显示在不同的 显示单元上。因此，可以提供适合于各个预定义区域的目的的显示。
另外，在一个照相机单元中，由距离d6和d3处的宽度w6预定义的预定义 区域、由距离d3至d5处的宽度w3至w5预定义的预定义区域、以及由距离d1 和d2处的宽度w1和w2预定义的预定义区域包括在摄像范围内。因此，可以 采用可将照相机单元的拍摄图像原样显示在一个显示单元上的配置。因此， 可以在使得驾驶员能够确认预定义区域的同时简化图像切割处理。
另外，由于实施例中的高分辨率区域10a的光学失真低，因此第一显示 单元50上所显示的电子室内镜和电子侧视镜所用的图像也可以在失真低的 状态下显示，结果驾驶员可以以更自然的远近感观察运载工具的周边。另外， 由于在高分辨率区域10a中光学失真低，因此可以在尚未进行失真校正的阶 段进行图像识别，结果可以减少图像识别的处理负荷并且可以实现高速的图 像识别。
因此，可以基于图像识别结果来早期检测障碍物，并且可以以及时的方 式进行用于避开障碍物的操作。特别是当运载工具正在例如高速公路上高速 行驶时，满足上述实施例中的条件公式的这种配置实现了显著效果。尽管在 上述实施例中已经描述了使用多个照相机单元的示例，但本发明在具有仅一 个照相机单元的系统中也是有效的。
[第六实施例]
可以通过使用程序来实现以上在第一实施例至第五实施例中描述的各 种功能、处理和方法中的至少一个。在下文，在第六实施例中，用于实现以 上在第一实施例至第五实施例中描述的各种功能、处理和方法中的至少一个 的程序被称为“程序X”。此外，在第四实施例中，用于执行程序X的计算机 被称为“计算机Y”。个人计算机、微计算机、CPU(中央处理单元)是计算机Y 的例子。计算机(例如上述实施例中的图像处理系统)也是计算机Y的示例。
以上在第一实施例至第五实施例中描述的各种功能、处理和方法中的至 少一个可以通过计算机Y执行程序X来实现。在这种情况下，将程序X经由计 算机可读存储介质供给到计算机Y。第四实施例中的计算机可读存储介质包 括硬盘装置、磁存储装置、光存储装置、磁光存储装置、存储卡、ROM和 RAM等中的至少一个。此外，第四实施例中的计算机可读存储介质是非暂时 性存储介质。
尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所 公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这 类修改、等同结构和功能。另外，作为根据实施例的控制的一部分或全部， 可以将实现上述实施例的功能的计算机程序通过网络或各种存储介质供给 到移动体。然后，移动体的计算机(或CPU或MPU等)可以被配置为读取并执 行程序。在这种情况下，程序和存储该程序的存储介质构成了本发明。
本申请要求2021年9月27日提交的日本专利申请2021-156439的权益，其 全部内容通过引用而被包含于此。

Claims (24)

1.一种移动体，包括：
照相机单元，其具有光学系统并且布置在所述移动体的侧方，所述光学系统用于在摄像元件的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，
其中，所述照相机单元被安装成满足以下的条件：
Figure FDA0003863856910000011
Figure FDA0003863856910000012
Figure FDA0003863856910000013
其中：θv表示所述高分辨率区域的垂直场角，θh表示所述高分辨率区域的水平场角，
Figure FDA0003863856910000014
表示所述光学系统的光轴的垂直方向角度，
Figure FDA0003863856910000015
表示所述光学系统的光轴的水平方向角度，x表示驾驶员的视点和所述照相机单元之间在所述移动体的长轴方向上的偏移，y表示所述照相机单元和所述移动体的侧面之间在所述移动体的短轴方向上的偏移，h表示所述照相机单元和地面之间在高度方向上的偏移，d1和d2表示所述长轴方向上的相对于所述驾驶员的视点的位置的距离，并且w1和w2表示距离d1和d2处的地面上的预定宽度。
2.根据权利要求1所述的移动体，其中，所述驾驶员的视点的位置是所述驾驶员的就座位置中的眼睛位置或者所述驾驶员的座位面的中央位置。
3.根据权利要求1所述的移动体，其中，所述高分辨率区域与低失真区域相对应，并且所述低分辨率区域与高失真区域相对应。
4.根据权利要求3所述的移动体，其中，所述低失真区域中的y(θ)大于f×θ并且不同于所述高失真区域中的投影特性，其中：f表示所述光学系统的焦距，θ表示半视角，y表示像面上的像高，并且y(θ)表示指示像高y和半视角θ之间的关系的投影特性。
5.根据权利要求4所述的移动体，其中，所述低失真区域被配置为具有近似于中心投影方法或等距投影方法的投影特性。
6.根据权利要求4所述的移动体，其中，满足以下的条件：
1<f×sin(θmax)/y(θmax)≤1.9...(公式1)，
其中：θmax表示所述光学系统的最大半视角。
7.根据权利要求4所述的移动体，其中，w1为1m，w2为4m，距离d1为4m，并且距离d2为20m。
8.根据权利要求1所述的移动体，其中，所述照相机单元被布置成满足以下的条件：
Figure FDA0003863856910000021
Figure FDA0003863856910000022
Figure FDA0003863856910000023
Figure FDA0003863856910000024
Figure FDA0003863856910000025
其中：d3至d5表示所述长轴方向上的相对于所述驾驶员的视点的位置的距离，并且w3至w5表示距离d3至d5处的地面上的预定宽度。
9.根据权利要求1所述的移动体，其中，所述照相机单元被布置成满足以下的条件：
Figure FDA0003863856910000026
Figure FDA0003863856910000027
Figure FDA0003863856910000028
其中：d3和d5表示所述长轴方向上的相对于所述驾驶员的视点的位置的距离，并且w5表示距离d5处的地面上的预定宽度。
10.根据权利要求1所述的移动体，其中，所述照相机单元被布置成满足以下的条件：
Figure FDA0003863856910000029
Figure FDA00038638569100000210
Figure FDA00038638569100000211
Figure FDA00038638569100000212
其中：d3至d5表示所述长轴方向上的从所述驾驶员的视点的位置向后的距离，并且w4和w5分别表示距离d4和d5处的地面上的预定宽度。
11.根据权利要求1所述的移动体，其中，所述照相机单元被布置成满足以下的条件：
在x>d6的情况下，
Figure FDA0003863856910000031
Figure FDA0003863856910000032
在x<d6的情况下，
Figure FDA0003863856910000033
Figure FDA0003863856910000034
Figure FDA0003863856910000035
以及
在x＝d6的情况下，
Figure FDA0003863856910000036
Figure FDA0003863856910000037
Figure FDA0003863856910000038
其中：d6表示所述长轴方向上的相对于所述驾驶员的视点的位置的距离，并且w6表示距离d6处的地面上的预定宽度。
12.根据权利要求1所述的移动体，还包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：
保持单元，其被配置为保持与所述照相机单元的位置和姿势有关的信息。
13.根据权利要求12所述的移动体，其中，所述至少一个处理器或电路被配置为还用作：
图像处理单元，其被配置为基于与所述照相机单元的位置和姿势有关的信息来处理从所述照相机单元获得的图像信号。
14.根据权利要求13所述的移动体，其中，所述图像处理单元基于所述光学系统的特性信息对来自所述照相机单元的图像信号进行失真校正。
15.根据权利要求13所述的移动体，其中，所述图像处理单元对来自所述照相机单元的图像信号进行图像识别。
16.根据权利要求15所述的移动体，其中，所述图像处理单元对来自多个照相机单元的图像信号进行合成以生成合成图像，并对所述合成图像进行图像识别。
17.根据权利要求13所述的移动体，其中，所述图像处理单元基于与所述照相机单元的位置和姿势有关的信息，在预定方向上旋转从所述照相机单元获得的图像信号。
18.一种图像处理方法，用于控制移动体，
其中，所述移动体包括照相机单元，所述照相机单元具有光学系统并且布置在所述移动体的侧方，所述光学系统用于在摄像元件的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，
其中，所述照相机单元被安装成满足以下的条件：
Figure FDA0003863856910000041
Figure FDA0003863856910000042
Figure FDA0003863856910000043
其中：θv表示所述高分辨率区域的垂直场角，θh表示所述高分辨率区域的水平场角，
Figure FDA0003863856910000044
表示所述光学系统的光轴的垂直方向角度，
Figure FDA0003863856910000045
表示所述光学系统的光轴的水平方向角度，x表示驾驶员的视点和所述照相机单元之间在所述移动体的长轴方向上的偏移，y表示所述照相机单元和所述移动体的侧面之间在所述移动体的短轴方向上的偏移，h表示所述照相机单元和地面之间在高度方向上的偏移，d1和d2表示所述长轴方向上的相对于所述驾驶员的视点的位置的距离，并且w1和w2表示距离d1和d2处的地面上的预定宽度，以及
其中，所述图像处理方法包括：
基于与所述照相机单元的位置和姿势有关的信息来处理从所述照相机单元获得的图像信号。
19.一种非暂时性计算机可读存储介质，其被配置为存储计算机程序以控制移动体，所述移动体包括照相机单元，所述照相机单元具有光学系统并且布置在所述移动体的侧方，所述光学系统用于在摄像元件的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，
其中，所述照相机单元被安装成满足以下的条件：
Figure FDA0003863856910000051
Figure FDA0003863856910000052
Figure FDA0003863856910000053
其中：θv表示所述高分辨率区域的垂直场角，θh表示所述高分辨率区域的水平场角，
Figure FDA0003863856910000054
表示所述光学系统的光轴的垂直方向角度，
Figure FDA0003863856910000055
表示所述光学系统的光轴的水平方向角度，x表示驾驶员的视点和所述照相机单元之间在所述移动体的长轴方向上的偏移，y表示所述照相机单元和所述移动体的侧面之间在所述移动体的短轴方向上的偏移，h表示所述照相机单元和地面之间在高度方向上的偏移，d1和d2表示所述长轴方向上的相对于所述驾驶员的视点的位置的距离，并且w1和w2表示距离d1和d2处的地面上的预定宽度，以及
其中，所述计算机程序包括用于执行以下处理的指令：
基于与所述照相机单元的位置和姿势有关的信息来处理从所述照相机单元获得的图像信号。
20.一种移动体，包括：
照相机单元，其包括光学系统，所述光学系统用于在摄像单元的受光面上形成具有高分辨率区域和低分辨率区域的光学图像；以及
至少一个处理器或电路，其被配置为用作：
显示单元，其被配置为将所述照相机单元所拍摄到的视频图像显示为与侧视镜相对应的视频图像，
其中，所述照相机单元布置在所述移动体的侧方，使得所述高分辨率区域和所述低分辨率区域中的所述高分辨率区域拍摄由预定法规定义的视野的图像，并且所述低分辨率区域拍摄由所述预定法规定义的视野外侧的至少一部分的图像。
21.根据权利要求20所述的移动体，其中，所述至少一个处理器或电路被配置为还用作：
识别单元，其被配置为从所述照相机单元所拍摄到的图像中识别预定对象。
22.根据权利要求21所述的移动体，其中，所述至少一个处理器或电路被配置为还用作：
失真校正单元，其被配置为对所述照相机单元所拍摄到的图像的至少低分辨率区域进行失真校正，以生成所述识别单元所要使用的图像。
23.根据权利要求20所述的移动体，其中，所述至少一个处理器或电路被配置为还用作：
合成单元，其被配置为对来自多个照相机单元的图像进行合成以生成全景图像。
24.根据权利要求20所述的移动体，其中，所述预定法规是联合国法规第46号即UN-R46。
CN202211174944.1A 2021-09-27 2022-09-26 移动体、图像处理方法和存储介质 Pending CN115883778A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-156439 2021-09-27
JP2021156439A JP2023047495A (ja) 2021-09-27 2021-09-27 移動体、画像処理方法、およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN115883778A true CN115883778A (zh) 2023-03-31

Family

ID=83400651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211174944.1A Pending CN115883778A (zh) 2021-09-27 2022-09-26 移动体、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US20230101459A1 (zh)
EP (1) EP4155129A1 (zh)
JP (2) JP2023047495A (zh)
CN (1) CN115883778A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023178051A (ja) * 2022-06-03 2023-12-14 キヤノン株式会社 移動体、移動体の制御方法、及びコンピュータプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345554A (ja) 2003-05-23 2004-12-09 Clarion Co Ltd 車両後方モニタ装置及び車両後方モニタシステム
JP2006343545A (ja) * 2005-06-09 2006-12-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP2010095202A (ja) 2008-10-19 2010-04-30 Alpine Electronics Inc ルームミラー位置後視カメラ画像表示装置
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP2012156672A (ja) * 2011-01-25 2012-08-16 Clarion Co Ltd 車両周辺監視装置
EP3010761B1 (en) * 2013-06-21 2019-07-24 Magna Electronics Inc. Vehicle vision system
JP2015121591A (ja) * 2013-12-20 2015-07-02 株式会社富士通ゼネラル 車載カメラ
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
ES2798623T3 (es) 2016-07-20 2020-12-11 Erke Erke Arastirmalari Ve Muehendislik A S Dispositivo y método de freno giroscópico
WO2018016305A1 (ja) * 2016-07-22 2018-01-25 パナソニックＩｐマネジメント株式会社 撮像システム、および、移動体システム
CN109792482B (zh) * 2016-09-28 2021-07-23 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
JP6573218B2 (ja) * 2017-03-31 2019-09-11 マツダ株式会社 車両用画像表示装置及び設定方法
DE102017108569B4 (de) * 2017-04-21 2019-03-14 Mekra Lang Gmbh & Co. Kg Kamerasystem für ein Kraftfahrzeug, Spiegelersatzsystem mit einem solchen Kamerasystem und Fahrassistenzsystem mit einem solchen System
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
CN110178369B (zh) * 2017-12-19 2021-07-27 松下知识产权经营株式会社 摄像装置、摄像系统以及显示系统
US12088950B2 (en) * 2018-10-31 2024-09-10 Sony Corporation Image-capturing apparatus, control method, and program
JP7207038B2 (ja) * 2019-03-14 2023-01-18 株式会社リコー 撮像装置、撮像光学系及び移動体
KR20230091870A (ko) * 2020-10-23 2023-06-23 소니그룹주식회사 카메라 모듈, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 장치

Also Published As

Publication number Publication date
JP2023047495A (ja) 2023-04-06
US20230101459A1 (en) 2023-03-30
JP2024063155A (ja) 2024-05-10
EP4155129A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2024063155A (ja) 移動体、画像処理方法、およびコンピュータプログラム
EP4344953A1 (en) Movable apparatus and installation method for imaging device
EP4155817A1 (en) Camera unit installing method, mobile object, image processing system, image processing method, and storage medium
CN115883985A (zh) 图像处理系统、移动体、图像处理方法和存储介质
US20230007190A1 (en) Imaging apparatus and imaging system
EP4286223A1 (en) Movable apparatus, control method for movable apparatus, and storage medium
JP7434476B2 (ja) 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム
US12028603B2 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
US20230100099A1 (en) Image processing system, image processing method, and storage medium
EP4380178A1 (en) Image processing system, image processing method, and storage medium
US20240314455A1 (en) Movable apparatus, image processing apparatus, storage medium, and installation method for imaging apparatus
US20240114252A1 (en) Movable apparatus and installation method for imaging device
EP4408006A1 (en) Image processing system, movable apparatus, image processing method, and storage medium
US20240253565A1 (en) Image processing system, movable apparatus, image processing method, and storage medium
JP2024131942A (ja) 移動体、画像処理装置、コンピュータプログラム、及び撮像装置の設置方法
JP2024094584A (ja) 撮像設定装置、撮像装置および撮像設定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination