CN117336590A - 照相机监视系统及其控制方法、信息处理设备和存储介质 - Google Patents

照相机监视系统及其控制方法、信息处理设备和存储介质 Download PDF

Info

Publication number
CN117336590A
CN117336590A CN202310786448.XA CN202310786448A CN117336590A CN 117336590 A CN117336590 A CN 117336590A CN 202310786448 A CN202310786448 A CN 202310786448A CN 117336590 A CN117336590 A CN 117336590A
Authority
CN
China
Prior art keywords
video image
display
view angle
captured
distortion correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310786448.XA
Other languages
English (en)
Inventor
末吉优一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN117336590A publication Critical patent/CN117336590A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供照相机监视系统及其控制方法、信息处理设备和存储介质。该照相机监视系统包括：摄像单元，其布置在移动物体中，并且具有与小于预定视角的视角相对应的低分辨率区域、以及与大于或等于所述预定视角的视角相对应且具有高于所述低分辨率区域的分辨率的分辨率的高分辨率区域；生成单元，其被配置为基于拍摄视频图像来生成包括所述高分辨率区域的第一视频图像、以及包括利用所述低分辨率区域所拍摄的视频图像的第二视频图像；处理单元，其被配置为进行失真校正处理以校正所述第二视频图像的失真；第一显示单元，其被配置为显示所述第一视频图像；以及第二显示单元，其被配置为显示所述第二视频图像。

Description

照相机监视系统及其控制方法、信息处理设备和存储介质
技术领域
本发明涉及用于监视移动物体的周围环境的照相机监视系统。
背景技术
近年来，作为布置在诸如车辆等的移动物体中的镜(后视镜)的替代，电子镜已逐渐普及。随着越来越多的照相机被搭载在车辆中，电子镜各自显示照相机所拍摄的车辆外部的视频图像。为了减少由于照相机数量的增加而带来的成本，正在研究使一个照相机拍摄要显示在多个监视器上的视频图像的方法。例如，WO2018/207393讨论了利用一个照相机来拍摄要在电子后视镜和后视监视器上显示的视频图像的系统。
另一方面，车辆可以包括搭载在其中的用于显示侧视图的侧视监视器，以在车辆左转和靠边停车时以及在其他情况下辅助驾驶。正在研究在这样的车辆中利用特殊光学系统使一个照相机拍摄要显示在电子侧视镜和侧视监视器这两者上的视频图像的方法。该光学系统即使在广角的情况下在周边区域中也提供了失真较少的图像。
然而，针对利用这样的特殊光学系统所拍摄的视频图像，根据传统方法的视频图像处理过程可以将校正处理应用到无需失真校正处理的区域。这可能由于处理时间而导致视频图像的显示延迟以及帧频的降低。
发明内容
本发明的一些实施例旨在提供具有较低处理负荷和较少数量的照相机的照相机监视系统。
根据本发明的方面，一种照相机监视系统，包括：摄像单元，其布置在移动物体中，并且具有低分辨率区域和高分辨率区域，所述低分辨率区域与小于预定视角的视角相对应，所述高分辨率区域与大于或等于所述预定视角的视角相对应并且具有高于所述低分辨率区域的分辨率的分辨率；生成单元，其被配置为基于所述摄像单元所拍摄的拍摄视频图像来生成包括所述高分辨率区域的第一视频图像和包括利用所述低分辨率区域所拍摄的视频图像的第二视频图像；处理单元，其被配置为进行失真校正处理以校正所述生成单元所生成的第二视频图像的失真；第一显示单元，其被配置为显示所述生成单元所生成的第一视频图像；以及第二显示单元，其被配置为显示经过了所述处理单元所进行的失真校正处理的所述第二视频图像。
从参考附图对示例性实施例的以下描述，各种实施例的其他特征将变得清楚。
附图说明
图1示出根据第一示例性实施例的照相机监视系统100。
图2A和图2B示出根据第一示例性实施例的光学单元的光学特性。
图3示出根据第一示例性实施例的车辆和照相机的摄像范围。
图4示出根据第一示例性实施例的摄像单元所拍摄的视频图像。
图5示出根据第一示例性实施例的处理单元的处理块。
图6示出根据第二示例性实施例的处理单元的处理块。
图7示出根据第三示例性实施例的处理单元的处理块。
图8是示出根据第一示例性实施例的处理过程的流程图。
图9是示出根据第三示例性实施例的处理过程的流程图。
具体实施方式
下面将参考附图描述示例性实施例。然而，本发明的一些实施例不限于以下示例性实施例。在各图中，相似的附图标记指代相似的构件或元件，并且将省略或简化其冗余描述。
图1示出根据第一示例性实施例的照相机监视系统100。
照相机监视系统100是用于在车辆中的显示设备上显示利用安装在车辆的侧面的照相机所拍摄的视频图像的系统。照相机监视系统100包括照相机10、处理单元13、电子侧视镜14和侧视监视器15。处理单元13可以包括在信息处理设备中。
照相机10是安装在车辆中以监视车辆后方的区域的摄像装置，并且包括光学单元11和摄像单元12。
光学单元11使用至少一个透镜来将从外部入射的光成像在摄像单元12上。下面将描述光学单元11的光学特性的细节。
作为图像传感器的摄像单元12将光学单元11所形成的光学被摄体图像转换为电信号，并将该电信号发送到处理单元13。
处理单元13包括片上系统(SOC)电路/现场可编程门阵列(FPGA)电路、作为处理器的中央处理单元(CPU)和作为存储介质的存储器。CPU通过运行存储在存储器中的计算机程序来进行整个系统的各种控制。
另外，处理单元13将从照相机10获取的视频图像信号进行显像，并进行诸如宽动态范围(wide dynamic range，WDR)校正、伽玛校正、查找表(LUT)处理、失真校正和切出处理等的各种图像处理。下面将描述处理单元13中的详细处理。
处理单元13包括用于视频图像的输入/输出的各种接口，并且将视频图像输出到电子侧视镜14和侧视监视器15。
可以通过照相机10内的部分或全部功能来实现处理单元13所要执行的部分或全部功能。
电子侧视镜14是用于显示车辆侧后方的区域的监视器，并且显示来自处理单元13的视频图像。电子侧视镜14是传统车辆中的侧视镜的替代，并且在车辆移动期间始终进行显示。
侧视监视器15是用于显示车辆侧面的死角区域的监视器，并且显示来自处理单元13的视频图像。作为侧视监视器15，可以使用与电子侧视镜14相同的监视器。在这种情况下，侧视监视器15以画中画(picture-in-picture，PIP)形式或画旁画(picture-by-picture，PBP)格式等进行显示。
随后，现在将描述包括在照相机10中的光学单元11的光学特性的细节。
图2A以等高线状图案示出根据第一示例性实施例的光学单元11中的摄像元件的受光面上的各半视角处的像高y。图2B示出指示根据第一示例性实施例的光学单元11中的像高y和半视角θ之间的关系的投影特性。在图2B中，横轴表示半视角(光轴和入射光之间的角度)θ，并且纵轴表示照相机10的受光面(像面)上的成像高度(像高)y。
如图2B的投影特性所示，包括在照相机10中的光学单元11被配置为具有在小半视角θ的区域(光轴附近)和大半视角θ的区域(远离光轴的区域)之间变化的投影特性y(θ)。换句话说，假设像高y相对于每单位半视角θ(例如每单位角度的像素数)的增加量是指分辨率，则分辨率根据区域而不同。
也可以说，该局部分辨率由投影特性y(θ)在半视角θ处的微分值dy(θ)/dθ表示。换句话说，也可以说图2B所示的投影特性y(θ)的梯度越大，分辨率越高。另外，也可以说，在图2A所示的等高线状图案中的各个半视角处的像高y之间的间隔越大，分辨率越高。
在本示例性实施例中，在半视角θ小于预定半视角θa时在传感器的受光面上更靠近中心的位置处形成的区域被称为低分辨率区域20b，并且半视角θ是预定半视角θa或更大的靠外的区域被称为高分辨率区域20a。
在设置有这样的光学特性的光学系统中，调整投影特性y(θ)使得能够调整相对于光轴在放射方向上的倍率。与传统鱼眼镜头等所获得的图像不同，该配置使得能够控制相对于光轴的放射方向和周向方向之间的长横比，这即使在广角的情况下在周边区域中也提供了失真较少的图像。
图3示出根据第一示例性实施例的车辆(例如，汽车)和照相机10的摄像范围。照相机10安装在车辆的右侧和左侧这两者，但是图3示出右侧的照相机10。摄像范围30a示意性地指示照相机10的水平视角。摄像范围30b是以照相机10的高分辨率区域20a进行摄像的范围。
如图3所示，照相机10以面向侧面的区域的方式安装，由此可以利用一个照相机10拍摄要显示在电子侧视镜14和侧视监视器15上的视频图像。另外，以预定视角以上的高分辨率区域20a拍摄要显示在电子侧视镜14上的区域的一部分的视频图像，这提供了车辆侧后方的区域的高分辨率且失真较少的视频图像。为了调整要显示在电子侧视镜14上的视频图像的视场，可以适当地调整照相机10的安装方向(光轴方向)。
获得车辆侧后方的区域的失真较少的图像的优点的示例包括能够进行更低时延显示的点。正显示的视频图像中的大失真会使得更难以确定在电子侧视镜14中看到的物体之间的位置关系，由此产生了要对所拍摄的视频图像进行失真校正处理的需要。可设想的失真校正方法包括使用诸如FPGA电路等的硬件进行处理的方法、以及使用CPU等利用软件进行处理的方法。然而，这些方法中的任意方法都将导致延迟。在本示例性实施例中，光学单元11的光学特性防止了要显示在电子侧视镜14上的摄像区域的视频图像失真，这消除了失真校正的需要，从而提供了更低时延的显示。
另一方面，与电子侧视镜14相比，侧视监视器15以更大视角显示相对近范围的区域，这在未进行失真校正的情况下可能显示具有违和感的视频图像。如果如传统技术的情况那样对这样的整个所拍摄的视频图像进行失真校正，则还对要显示在电子侧视镜14上的摄像区域的视频图像进行失真校正，从而防止在电子侧视镜14上提供低时延显示。
鉴于上述问题，将参考图4和图5给出用于同时实现电子侧视镜14的低时延显示、以及对要显示在侧视监视器15上的视频图像的失真校正的视频图像处理过程的描述。
图4示出摄像单元12所拍摄的视频图像。处理单元13对视频图像进行处理以生成要输出到电子侧视镜14的视频图像以及要输出到侧视监视器15的视频图像。
区域40a是要用于显示在电子侧视镜14上的视频图像区域，并且是在车辆的侧后方看到的区域。区域40b是要用于显示在侧视监视器15上的视频图像区域，并且是车辆两侧的死角处的区域。下面将描述区域40a和40b的细节。
图5示出处理单元13中的处理块。
当处理单元13从摄像单元12接收视频信号时，显像/图像处理单元51首先处理该信号。除了显像处理之外，这里还进行诸如WDR校正和伽马校正等的各种校正处理。
切出处理单元52从处理后的视频图像中切出区域40a和40b。
区域40a是在车辆侧后方正拍摄的区域，并且将要显示在电子侧视镜14上。由于光学单元11的光学特性，在未进行失真处理的情况下在电子侧视镜14上输出的视频图像不具有违和感。切出区域优选是从高分辨率区域20a中切出的区域，但不限于此。例如，可以包括低分辨率区域20b，其中该低分辨率区域20b的一部分处于比预定视角低的视角。在这种情况下，优选以使得区域40a的中心被包括在高分辨率区域20a中的方式来切出区域40a。由于区域40a是视频图像要显示在电子侧视镜14上的摄像区域，因此优选从车辆在行驶方向上的后方的区域的视频图像中切出区域40a。换句话说，例如，在照相机10安装在右侧的情况下，优选以使得区域40a的中心位于图4中看到的摄像区域的中心的右侧的方式来切出区域40a。
电子侧视镜14是用于模拟镜的监视器，并且处理单元13或电子侧视镜14中的处理包括左右反转的处理。
虽然来自区域40a的视频信号由切出处理单元52经由视频信号接口(未示出)发送到电子侧视镜14，但是可以在切出处理单元52和电子侧视镜14之间布置用于进行失真校正或其他处理的校正单元(未示出)。在这种情况下，由于光学单元11的光学特性导致失真较少，与下面将描述的失真校正单元53相比，较小规模(低时延)的处理是足够的。
区域40b是要用于由失真校正单元53输出到侧视监视器15的视频图像的区域。根据要显示在侧视监视器15上的范围，适当地设置由切出处理单元52切出的切出范围(区域)。例如，如果在车辆靠边停车时使用侧视监视器15，则切出处理单元52切出在该车辆的前后轮胎附近的死角处的区域。如果该车辆的前后轮胎附近的死角处的视觉识别对于防止在车辆右转或左转时发生牵连事故或者在车辆经过另一车辆时来说是有效的，则切出处理单元52切出这样的包括车辆的前后轮胎附近的区域。更具体地，如图4所示所看到的，切出处理单元52优选以使得区域40b的中心位于摄像区域的中心的下侧的方式来切出区域40b。根据与要显示在侧视监视器15上的视频图像相对应的物理空间中的区域，适当地设置切出处理单元52所要切出的切出区域。可以由用户进行要显示在侧视监视器15上的范围或物理空间中的区域的设置。
切出区域40b经过失真校正单元53进行的失真校正处理。切出处理单元52可以对作为输出目的地的侧视监视器15适当地进行切出处理。此后，由失真校正单元53经由视频图像接口(未示出)将视频信号发送到侧视监视器15。
图8示出根据本示例性实施例的处理过程。在步骤S10中，处理单元13对从摄像单元12接收的视频信号适当地进行显像处理和图像处理。在步骤S11中，处理单元13进行切出处理以切出与上述区域40a和40b相对应的区域。在步骤S12中，处理单元13在电子侧视镜14上显示切出区域40a的视频图像。在步骤S13中，处理单元13对切出区域40b的视频图像进行失真校正处理。在步骤S14中，处理单元13在侧视监视器15上显示通过失真校正处理的区域40b的视频图像。
上述视频图像处理过程防止了在电子侧视镜14的显示中由失真校正处理导致的延迟，从而提供了低时延显示。在没有由于失真而导致的违和感的情况下，显示通过失真校正处理的侧视监视器15上的视频图像。侧视监视器15上的显示仍被失真校正处理延迟。然而，由于假设侧视监视器15要在车辆正以低速移动时(诸如在车辆靠边停车和经过另一汽车时等)使用，因此对解决延迟的需求相对少，并且与电子侧视镜14上的显示的延迟相比，该影响是有限的。换句话说，上述视频图像处理过程使得失真校正处理所导致的显示延迟能够被限制为不易受到延迟的影响的侧视监视器15上的显示。
现在将描述第二示例性实施例。在第一示例性实施例中，失真校正单元53中的处理除了诸如FPGA电路和专用集成电路(ASIC)等的硬件所进行的处理之外，还可以被实现为使用CPU等的软件所进行的处理。除了易于实现之外，软件所进行的处理在使得能够减少硬件资源方面也是有利的。另一方面，如硬件所进行的处理的流水线处理是困难的。软件所进行的处理是不利的，这是因为视频图像的帧频取决于进行校正处理所花费的时间。
在第二示例性实施例中，将给出防止电子侧视镜14上的显示的帧频降低的示例的描述，其中通过软件来进行用于侧视监视器15上的显示的失真校正处理。
图6是第二示例性实施例中的处理框图。
来自切出处理单元52所切出的区域40b的视频信号被逐帧地保持在缓冲器61中。
失真校正单元62是用于利用软件进行失真校正的块。在帧的校正处理的完成之后，失真校正单元62接收保持在缓冲器61中的帧并进行连续校正处理。切出处理单元52可以针对作为输出目的地的电子侧视镜14适当地进行切出处理。此后，视频信号经由视频图像接口(未示出)发送到电子侧视镜14。
与第一示例性实施例类似，来自区域40a的视频信号经由视频信号接口(未示出)直接发送到电子侧视镜14。因而，不会通过失真校正处理而降低要输出到电子侧视镜14的视频图像的帧频。
与第一示例性实施例类似，用于进行失真校正或其他处理的校正单元(未示出)可以布置在切出处理单元52和电子侧视镜14之间。校正单元可以利用硬件进行处理。在这种情况下，不会通过流水线处理而降低要输出到电子侧视镜14的视频图像的帧频。
其他配置和处理过程与第一示例性实施例中的配置和处理过程类似。
上述视频图像处理使得能够在侧视监视器15上显示通过利用软件的失真校正的视频图像的同时，在不受帧频降低影响的情况下将视频图像输出到电子侧视镜14。
将描述第三示例性实施例。在替代侧视镜的其他电子侧视镜中，已知利用电子监视器的特性动态地改变显示区域的电子侧视镜的形式。例如，存在通过驾驶员对按钮的操作来控制显示区域、或在行驶方向侧自动扩展电子侧视镜的显示范围以防止在车辆右转或左转时发生牵连事故的技术。
另一方面，在将上述技术应用于利用具有与根据本发明的光学单元11的光学特性类似的光学特性的照相机所拍摄的视频图像时，显示在电子侧视镜上的视频图像的可视性可能根据显示范围而劣化。具体地，在扩展第一示例性实施例中所描述的区域40a以扩展要显示在电子侧视镜上的区域时，侧后方区域的可视性可能由于根据范围而出现的明显失真而劣化。在这种情况下，可设想到期望相对于显示速率更优先利用失真校正处理的可见性的改进。
鉴于这样的情形，将描述在本示例性实施例中使得能够根据要显示在电子侧视镜14上的区域来切换是否对要显示在电子侧视镜14上的视频图像进行失真校正的形式。
图7是根据第三示例性实施例的处理框图。
区域指示单元71确定摄像范围30a中的切出区域，并对切出处理单元52作出指示。具体地，例如区域指示单元71检测驾驶员对按钮的操作或诸如在车辆进行右转或左转时等的转向状态，相应地从预先存储在存储器中的与摄像范围30a有关的坐标信息中选择适当的值，并且向切出处理单元52指示该适当的值作为区域40a的切出区域。
另外，区域指示单元71向失真校正单元72指示是否根据被指示给切出处理单元52的区域40a的范围来进行失真校正处理。例如，如果区域40a在水平或垂直方向上的视角超过预定阈值，则区域指示单元71指示失真校正单元72进行校正处理。在其他情况下，区域指示单元71指示失真校正单元72不进行校正处理。可替代地，如果区域40a包括超过在摄像范围30a的水平或垂直方向上的预定阈值的视角，则区域指示单元71指示失真校正单元72进行校正处理。在其他情况下，区域指示单元71指示失真校正单元72不进行校正处理。
失真校正单元72仅在区域指示单元71指示进行校正处理时才对区域40a的视频图像进行失真校正处理。在其他情况下，失真校正单元72按原样输出区域40a的输入视频图像。其他配置与第一示例性实施例的配置类似。
图9示出根据本示例性实施例的处理过程。在步骤S20中，处理单元13对从摄像单元12接收的视频信号适当地进行显像处理和图像处理。在步骤S21中，区域指示单元71确定与上述区域40a和40b相对应的区域。在步骤S22中，处理单元13进行切出处理以切出与区域40a相对应的区域。
在步骤S23中，处理单元13判断区域40a在水平或垂直方向上的视角是否超过预定值。如果视角超过预定值(步骤S23中的“是”)，则处理进入步骤S24。在步骤S24中，处理单元13对区域40a的视频图像进行失真校正处理。在步骤S25中，处理单元13在电子侧视镜14上显示区域40a的视频图像。在步骤S26中，处理单元13对切出区域40b的视频图像进行失真校正处理。最后，在步骤S27中，处理单元13在侧视监视器15上显示通过失真校正处理的区域40b的视频图像。
视频图像处理过程使得即使在电子侧视镜14的扩大的显示范围的情况下也能够显示没有由于失真而导致的违和感的视频图像。
虽然给出了对本发明的示例性实施例的详细描述，但是本发明的一些实施例不限于上述示例性实施例，并且可以基于本发明的要点进行各种修改，并且这些修改不被排除在本发明的范围之外。
本发明的一些实施例通过执行以下处理以及通过信息处理设备来实现。
实现上述示例性实施例的功能的软件(程序)经由数据通信用的网络或各种存储介质安装在系统或设备中。该处理通过该系统或设备的计算机(或CPU或微处理单元(MPU))加载和运行该程序来实现。可替代地，该程序可以存储在计算机可读存储介质中并安装。
根据本发明，紧凑型照相机监视系统可以设置有更少数量的照相机和更低的处理负荷。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然本发明描述了示例性实施例，但是应当理解，一些实施例不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以涵盖所有这样的修改以及同等的结构和功能。

Claims (11)

1.一种照相机监视系统，包括：
摄像单元，其布置在移动物体中，并且具有低分辨率区域和高分辨率区域，所述低分辨率区域与小于预定视角的视角相对应，所述高分辨率区域与大于或等于所述预定视角的视角相对应并且具有高于所述低分辨率区域的分辨率的分辨率；
一个或多于一个存储器；
一个或多于一个处理器，其中，所述一个或多于一个处理器和所述一个或多于一个存储器被配置为：
基于所述摄像单元所拍摄的拍摄视频图像来生成包括所述高分辨率区域的第一视频图像，
生成包括利用所述低分辨率区域所拍摄的视频图像的第二视频图像，以及
进行失真校正处理以校正所述第二视频图像的失真；
第一显示单元，其被配置为显示所述第一视频图像；以及
第二显示单元，其被配置为显示经过了所述失真校正处理的所述第二视频图像。
2.根据权利要求1所述的照相机监视系统，其中，所述一个或多于一个处理器和所述一个或多于一个存储器还被配置为：使得所述第一视频图像输出到所述第一显示单元的帧频高于所述第二视频图像输出到所述第二显示单元的帧频。
3.根据权利要求1所述的照相机监视系统，其中，所述一个或多于一个处理器和所述一个或多于一个存储器还被配置为：以使得所述第一视频图像的中心位于所述拍摄视频图像的中心的在所述移动物体的行进方向上的后方的方式，切出所述第一视频图像。
4.根据权利要求3所述的照相机监视系统，其中，所述一个或多于一个处理器和所述一个或多于一个存储器还被配置为：以使得所述第二视频图像的中心位于所述拍摄视频图像的中心的下方的方式，切出所述第二视频图像。
5.根据权利要求1所述的照相机监视系统，其中，所述一个或多于一个处理器和所述一个或多于一个存储器还配置为：
确定从所述摄像单元所拍摄的拍摄视频图像中切出的所述第二视频图像的切出范围，以及
根据所述第二视频图像的切出范围来确定是否进行所述失真校正处理。
6.根据权利要求5所述的照相机监视系统，其中，在所述摄像单元所拍摄的拍摄视频图像中的所述第一视频图像的区域的视角超过预定阈值的情况下，所述一个或多于一个处理器和所述一个或多于一个存储器还被配置为对所生成的第二视频图像进行所述失真校正处理。
7.根据权利要求5所述的照相机监视系统，其中，所述一个或多于一个处理器和所述一个或多于一个存储器还被配置为：根据所述移动物体的转向状态来确定所述第二视频图像的切出范围。
8.根据权利要求5所述的照相机监视系统，其中，所述一个或多于一个处理器和所述一个或多于一个存储器还被配置为：基于物理空间中的区域来设置所述第二视频图像的切出范围，该区域与所述第二视频图像相对应并且由用户来设置。
9.一种照相机监视系统的控制方法，所述控制方法包括：
利用布置在移动物体中的摄像单元进行摄像，所述摄像单元具有低分辨率区域和高分辨率区域，所述低分辨率区域与小于预定视角的视角相对应，所述高分辨率区域与大于或等于所述预定视角的视角相对应并且具有高于所述低分辨率区域的分辨率的分辨率；
基于所述摄像单元所拍摄的拍摄视频图像来生成包括所述高分辨率区域的第一视频图像、以及包括利用所述低分辨率区域所拍摄的视频图像的第二视频图像；
进行失真校正处理以校正所生成的第二视频图像的失真；
进行第一显示，以显示所生成的第一视频图像；以及
进行第二显示，以显示经过了所述失真校正处理的所述第二视频图像。
10.一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令在被一个或多于一个计算机执行时使所述一个或多于一个计算机进行操作，所述操作包括：
利用布置在移动物体中的摄像单元进行摄像，所述摄像单元具有低分辨率区域和高分辨率区域，所述低分辨率区域与小于预定视角的视角相对应，所述高分辨率区域与大于或等于所述预定视角的视角相对应并且具有高于所述低分辨率区域的分辨率的分辨率；
基于所述摄像单元所拍摄的拍摄视频图像来生成包括所述高分辨率区域的第一视频图像、以及包括利用所述低分辨率区域所拍摄的视频图像的第二视频图像；
进行失真校正处理以校正所生成的第二视频图像的失真；
进行第一显示，以显示所生成的第一视频图像；以及
进行第二显示，以显示经过了所述失真校正处理的所述第二视频图像。
11.一种信息处理设备，包括：
一个或多于一个存储器；
一个或多于一个处理器，其中，所述一个或多于一个处理器和所述一个或多于一个存储器被配置为：
基于布置在移动物体中的摄像单元所拍摄的拍摄视频图像，来生成包括高分辨率区域的第一视频图像、以及包括利用低分辨率区域所拍摄的视频图像的第二视频图像，其中，所述摄像单元具有所述低分辨率区域和所述高分辨率区域，所述低分辨率区域与小于预定视角的视角相对应，所述高分辨率区域与大于或等于所述预定视角的视角相对应并且具有高于所述低分辨率区域的分辨率的分辨率；
进行失真校正处理以校正所述第二视频图像的失真；
使得第一显示单元显示所述第一视频图像；以及
使得第二显示单元显示经过了所述失真校正处理的所述第二视频图像。
CN202310786448.XA 2022-06-30 2023-06-30 照相机监视系统及其控制方法、信息处理设备和存储介质 Pending CN117336590A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-106165 2022-06-30
JP2022106165A JP2024005791A (ja) 2022-06-30 2022-06-30 カメラモニタシステムおよびその制御方法、プログラム

Publications (1)

Publication Number Publication Date
CN117336590A true CN117336590A (zh) 2024-01-02

Family

ID=89274388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310786448.XA Pending CN117336590A (zh) 2022-06-30 2023-06-30 照相机监视系统及其控制方法、信息处理设备和存储介质

Country Status (3)

Country Link
US (1) US20240007595A1 (zh)
JP (1) JP2024005791A (zh)
CN (1) CN117336590A (zh)

Also Published As

Publication number Publication date
JP2024005791A (ja) 2024-01-17
US20240007595A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
US10447948B2 (en) Imaging system and display system
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
EP3361722A1 (en) Viewing device for vehicles and viewing control program for vehicles
JP2018127083A (ja) 画像表示装置
JP6810589B2 (ja) 車載用投影装置
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP7000383B2 (ja) 画像処理装置および画像処理方法
US20180056870A1 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
JP7492512B2 (ja) 画像出力を備えた車載用電子ミラー
US20180126904A1 (en) Vehicle rear region image display device, and non-transitory computer-readable medium storing vehicle rear region image display program
CN117336590A (zh) 照相机监视系统及其控制方法、信息处理设备和存储介质
JP7500527B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
WO2022190166A1 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2023046953A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
WO2021131481A1 (ja) 表示装置、表示方法及び表示プログラム
US20230097715A1 (en) Camera system, vehicle, control method, and storage medium
US20240046431A1 (en) Image processing apparatus, image processing method, and storage medium
KR20180067046A (ko) 영상시스템 및 그 작동방법
US20230134579A1 (en) Image processing apparatus, image processing method, and storage medium
US20230199329A1 (en) Image capturing system, moving device, image capturing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication