CN115195599A - 控制装置、控制装置的动作方法以及存储介质 - Google Patents

控制装置、控制装置的动作方法以及存储介质 Download PDF

Info

Publication number
CN115195599A
CN115195599A CN202210275253.4A CN202210275253A CN115195599A CN 115195599 A CN115195599 A CN 115195599A CN 202210275253 A CN202210275253 A CN 202210275253A CN 115195599 A CN115195599 A CN 115195599A
Authority
CN
China
Prior art keywords
vehicle
speed
fisheye
control device
fisheye camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210275253.4A
Other languages
English (en)
Inventor
安井裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115195599A publication Critical patent/CN115195599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及控制装置、控制装置的动作方法以及存储介质。提供根据车速来精度良好地获取适当的周边信息的技术。控制装置对在车辆的前后以及侧方配置的鱼眼摄像机的拍摄进行控制，在所述控制装置中，具备：获取单元，其获取所述车辆的速度的信息；以及控制单元，其基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。

Description

控制装置、控制装置的动作方法以及存储介质
技术领域
本发明涉及控制装置、控制装置的动作方法以及存储介质。
背景技术
从对车辆的周围进行拍摄而成的图像中检测出物体，进行用于驾驶辅助等的控制。此时，为了扩大检测范围，想到使用视场角大的鱼眼摄像机。但是，由于鱼眼摄像机获取到的图像是畸变的，因而当用到以通常摄像机得到的没有畸变的图像作为前提的物体检测技术时，检测精度可能会降低。
专利文献1公开了如下技术：对畸变的图像实施畸变校正处理，使用其校正后的图像进行物体检测。
现有技术文献
专利文献
专利文献1：日本特开2008-48443号公报
发明内容
发明所要解决的问题
但是，在专利文献1所述的技术中，没有考虑根据车辆的速度等状况从鱼眼图像中剪切出哪个区域来用于校正变换为平面图像。因而，存在难以根据车速来精度良好地获取适当的周边信息的问题。
本发明是鉴于上述的问题而做出的，提供用于根据车速来精度良好地获取适当的周边信息的技术。
用于解决问题的方案
实现上述目的的本发明涉及的控制装置对在车辆的前后以及侧方配置的鱼眼摄像机的拍摄进行控制，在所述控制装置中，具备：
获取单元，其获取所述车辆的速度的信息；以及
控制单元，其基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。
另外，实现上述目的的本发明涉及的控制装置动作方法，该控制装置对在车辆的前后以及侧方配置的鱼眼摄像机的拍摄进行控制，在所述控制装置的动作方法中，包括：
获取工序，获取所述车辆的速度的信息；以及
控制工序，基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。
发明的效果
根据本发明，能够根据车速来精度良好地获取适当的周边信息。
附图说明
图1是本发明的一实施方式涉及的车辆的框图。
图2的(a)示出各鱼眼摄像机的水平方向的拍摄范围，图2的(b)示出右侧部的鱼眼摄像机的垂直方向的拍摄范围，图2的(c)示出后部的鱼眼摄像机的垂直方向的拍摄范围。
图3是鱼眼图像的畸变校正处理的说明图。
图4是示出本发明的一实施方式涉及的控制装置实施的处理的步骤的流程图。
图5是示出本发明的一实施方式涉及的控制装置实施的处理的步骤的流程图。
图6是示出与右侧方的鱼眼图像相关的既定位置的变换中心位置(校正中心点)的一个例子的图。
图7的(a)是示出与前方的鱼眼图像相关的既定位置的变换中心位置(校正中心点)的一个例子的图，图7的(b)是示出被设定得比与前方的鱼眼图像相关的既定位置靠上方的变换中心位置(校正中心点)的一个例子的图。
具体实施方式
以下，参照附图，详细说明实施方式。而且，以下的实施方式并非用于限定权利要求保护范围的发明，本发明也并不需要实施方式中说明的全部特征的组合。也可以是，将实施方式中说明的多个特征中的两个以上特征任意组合。另外，对同一或同样的结构附加同一附图标记，省略重复的说明。
(实施方式)
<结构>
图1是本发明的一实施方式涉及的车辆1的框图。在图1中，用俯视图和侧视图示出车辆1的概略。车辆1作为一个例子为轿车型的四轮乘用车。车辆1可以是这样的四轮车辆，也可以是二轮车辆、其它类型的车辆。
车辆1包括控制车辆1的车辆控制装置2(以下，简称为控制装置2)。控制装置2包括通过车内网络可通信地连接的多个ECU(Electronic Control Unit：电子控制单元)20～29。各ECU包括：CPU(Central Processing Unit：中央处理器)等处理器、半导体存储器等存储器、对外部装置的接口等。在存储器中存储有处理器执行的程序、处理器在处理中使用的数据等。各ECU也可以具备多个处理器、存储器以及接口等。例如，ECU 20具备一个以上的处理器20a和一个以上的存储器20b。处理器20a执行包括存储于存储器20b的程序在内的命令，由此ECU 20执行处理。也可以是，取而代之，ECU 20具备用于执行ECU 20的处理的ASIC(Application Specific Integrated Circuit：专用集成电路)等专用的集成电路。关于其它ECU也可以是同样的。
以下说明各ECU 20～29负责的功能等。而且，能够适当设计ECU的个数、负责的功能，能够比本实施方式更细化或者更整合。
ECU 20执行与车辆1的自动行驶相关的控制。在自动驾驶中，自动控制车辆1的转轮、加速和减速中的至少一方。也可以是，ECU 20进行的自动行驶包括：不需要驾驶员进行行驶操作的自动行驶(也能够称为自动驾驶)、用于辅助驾驶员进行行驶操作的自动行驶(也能够称为驾驶辅助)。
ECU 21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转轮操作)来使前轮转轮的机构。另外，电动动力转向装置3包括：电机，其产生用于帮助进行转轮操作或者使前轮自动转轮的驱动力；以及探测转轮角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU 21根据来自ECU 20的指示，自动控制电动动力转向装置3，控制车辆1的行进方向。
ECU 22以及ECU 23对探测车辆的周围状况的探测单元进行控制并且对探测结果进行信息处理。车辆1包括一个标准摄像机40、四个鱼眼摄像机41～44，来作为对车辆的周围状况进行探测的探测单元。标准摄像机40、鱼眼摄像机42以及鱼眼摄像机44与ECU 22连接。鱼眼摄像机41以及鱼眼摄像机43与ECU 23连接。ECU 22以及ECU 23分析标准摄像机40以及鱼眼摄像机41～44拍摄到的图像，由此能够提取物体标识的轮廓、道路上的车道的分界线(白线等)。
鱼眼摄像机41～44是安装有鱼眼镜头的摄像机。以下，说明鱼眼摄像机41的结构。其它鱼眼摄像机42～44也可以具有同样的结构。鱼眼摄像机41的视场角比标准摄像机40的视场角大。因此，与标准摄像机40相比，鱼眼摄像机41能够拍摄大的范围。与标准摄像机40拍摄到的图像相比，鱼眼摄像机41拍摄到的图像具有大的畸变。因此，也可以是，ECU 23在对鱼眼摄像机41拍摄到的图像进行分析之前，对该图像进行用于减轻畸变的变换处理(以下，称为“畸变校正处理”)。另一方面，也可以是，ECU 22在对标准摄像机40拍摄到的图像进行分析之前，不对该图像进行畸变校正处理。这样，标准摄像机40是对不成为畸变校正处理对象的图像进行拍摄的拍摄装置，鱼眼摄像机41是对成为畸变校正处理的对象的图像进行拍摄的拍摄装置。也可以是，代替标准摄像机40，使用对不成为畸变校正处理对象的图像进行拍摄的其它拍摄装置，例如安装有广角镜头、望远镜头的摄像机。
标准摄像机40安装于车辆1的前部中央，拍摄车辆1的前方的周围状况。鱼眼摄像机41安装于车辆1的前部中央，拍摄车辆1的前方的周围状况。在图1中，示出标准摄像机40与鱼眼摄像机41在水平方向排列。但是，标准摄像机40与鱼眼摄像机41的配置不限于此，例如这些摄像机也可以在铅垂方向排列。另外，也可以是，标准摄像机40以及鱼眼摄像机41中的至少一方，安装于车辆1的车顶前部(例如，前窗的车室内侧)。鱼眼摄像机42安装于车辆1的右侧部中央，拍摄车辆1的右方的周围状况。鱼眼摄像机43安装于车辆1的后部中央，拍摄车辆1的后方的周围状况。鱼眼摄像机44安装于车辆1的左侧部中央，拍摄车辆1的左方的周围状况。
车辆1具有的摄像机的种类、个数以及安装位置不限于上述的例子。另外，也可以是，作为用于探测车辆1的周围的物体标识或者对与物体标识的距离进行测距的探测单元，车辆1包括激光雷达(Light Detection and Rangin g)、毫米波雷达。
ECU 22对标准摄像机40、鱼眼摄像机42以及鱼眼摄像机44进行控制，并且对探测结果进行信息处理。ECU 23对鱼眼摄像机41以及鱼眼摄像机43进行控制，并且对探测结果进行信息处理。将对车辆的周围状况进行探测的探测单元分为两个系统，由此能够提高探测结果的可靠性。
ECU 24对陀螺仪传感器5、GPS传感器24b、通信装置24c进行控制，并且对探测结果或者通信结果进行信息处理。陀螺仪传感器5探测车辆1的旋转运动。根据陀螺仪传感器5的探测结果、车轮轮速等，能够判定车辆1的前进方向。GPS传感器24b探测车辆1的当前位置。通信装置24c与提供地图信息、交通信息的服务器进行无线通信，来获取这些信息。ECU 24能够访问在存储器中构建的地图信息的数据库24a，ECU 24从当前所在地向目的地进行路径探索等。ECU 24、地图数据库24a、GPS传感器24b构成所谓的导航装置。
ECU 25具备用于车与车之间通信的通信装置25a。通信装置25a与周边的其它车辆进行无线通信，在车辆间进行信息交换。
ECU 26控制动力总成6。动力总成6为输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。ECU 26例如与由在加速器踏板7A设置的操作探测传感器7a探测到的驾驶员的驾驶操作(加速器操作或者加速操作)对应地控制发动机的输出，基于车速传感器7c探测出的车速等信息来切换变速器的变速级。在车辆1的驾驶状态为自动驾驶的情况下，ECU 26与来自ECU 20的指示对应地控制动力总成6，来控制车辆1的加速和减速。
ECU 27控制包括方向指示器8(转向指示灯)在内的灯光器件(前照灯、尾灯等)。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门后视镜以及后部。
ECU 28对输入输出装置9进行控制。输入输出装置9对驾驶员输出信息并且受理来自驾驶员的信息输入。声音输出装置91通过声音对驾驶员通知信息。显示装置92通过显示图像对驾驶员通知信息。显示装置92例如配置于驾驶席正面，构成仪表板等。而且，在此，例示了声音和显示，但是也可以通过振动、光来通知信息。另外，也可以将声音、显示、振动或者光中的多个组合来通知信息。而且，也可以是，根据应该通知的信息的级别(例如紧急程度)，使组合不同，或者使通知方式不同。输入装置93配置于驾驶员能够操作的位置，可以是对车辆1进行指示的开关群，也可以包括声音输入装置。
ECU 29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，对车轮的旋转施加阻抗，由此使车辆1减速或者停止。ECU 29例如与在制动踏板7B设置的操作探测传感器7b探测到的驾驶员的驾驶操作(制动器操作)对应地对制动装置10的动作进行控制。在车辆1的驾驶状态为自动驾驶的情况下，ECU 29与来自ECU 20的指示对应地对制动装置10进行自动控制，来控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而动作。另外，在动力总成6的变速器具备驻车锁定机构的情况下，也能够使其为了维持车辆1的停止状态而动作。
<拍摄范围>
然后参照图2，说明标准摄像机40以及鱼眼摄像机41～44的拍摄范围。图2的(a)示出各摄像机的水平方向的拍摄范围，图2的(b)示出在车辆1的右侧部安装的鱼眼摄像机42的垂直方向的拍摄范围，图2的(c)示出在车辆1的后部安装的鱼眼摄像机43的垂直方向的拍摄范围。
首先，参照图2的(a)，说明车辆1的俯视图(即，车辆1的水平方向)的拍摄范围。标准摄像机40对拍摄范围200所包括的风景进行拍摄。标准摄像机40的拍摄中心200C朝向车辆1的正前方。标准摄像机40的水平方向的视场角可以小于90°，例如可以是45°程度或者30°程度。
鱼眼摄像机41对拍摄范围201所包括的风景进行拍摄。鱼眼摄像机41的拍摄中心201C朝向车辆1的正前方。鱼眼摄像机42对拍摄范围202所包括的风景进行拍摄。鱼眼摄像机42的拍摄中心202C朝向车辆1的右方的正侧面。鱼眼摄像机43对拍摄范围203所包括的风景进行拍摄。鱼眼摄像机43的拍摄中心203C朝向车辆1的正后方。鱼眼摄像机44对拍摄范围204所包括的风景进行拍摄。鱼眼摄像机44的拍摄中心204C朝向车辆1的左方的正侧面。鱼眼摄像机41～44的水平方向的视场角例如可以大于0°，也可以大于150°，也可以大于180°，例如可以是180°程度。图2的(a)示出鱼眼摄像机41～44的水平方向的视场角为180°的例子。
拍摄范围201能够被分割为处于车辆1的左斜前方的区域201L、处于车辆1的正前方的区域201F、处于车辆1的右斜前方的区域201R。拍摄范围202能够被分割为处于车辆1的右斜前方的区域202L、处于车辆1的右方的正侧面的区域202F、处于车辆1的右斜后方的区域202R。拍摄范围203能够被分割为处于车辆1的右斜后方的区域203L、处于车辆1的正后方的区域203F、处于车辆1的左斜后方的区域203R。拍摄范围204能够被分割为处于车辆1的左斜后方的区域204L、处于车辆1的左方的正侧面的区域204F、处于车辆1的左斜前方的区域204R。拍摄范围201也可以均等地被分割为三个区域201L、201F、201R(即，以使各区域的视场角相等的方式)。其它的拍摄范围202～204也可以均等地被分割成三个。
标准摄像机40以及鱼眼摄像机41～44具有上述那样的拍摄范围200～204，由此两个摄像机的拍摄范围分别包括车辆1的正前方以及四个斜方向。具体来说，标准摄像机40的拍摄范围200、鱼眼摄像机41的拍摄范围201的区域201F的两方包括车辆1的正前方。鱼眼摄像机41的拍摄范围201的区域201R、鱼眼摄像机42的拍摄范围202的区域202L的两方包括车辆1的右斜前方。关于车辆1的其它三个斜方向也是同样的。
然后，参照图2的(b)以及图2的(c)，说明车辆1的垂直方向的拍摄范围。在图2的(b)中，说明鱼眼摄像机42的垂直方向的拍摄范围，在图2的(c)中，说明鱼眼摄像机43的垂直方向的拍摄范围。关于其它鱼眼摄像机41以及鱼眼摄像机44的垂直方向的拍摄范围也可以是同样的。
鱼眼摄像机41～44的垂直方向的视场角例如也可以大于90°，也可以大于比150°，也可以大于180°，例如也可以是180°程度。图2的(b)以及图2的(c)示出鱼眼摄像机41～44的垂直方向的视场角为180°的例子。在图示的例子中，鱼眼摄像机43的拍摄中心203C相比于与地面平行的方向而朝向下侧(地面侧)。取而代之，鱼眼摄像机43的拍摄中心203C也可以朝向与地面平行的方向，也可以相比于与地面平行的方向而朝向上侧(与地面相反的一侧)。另外，鱼眼摄像机41～44的拍摄中心201C～204C在垂直方向也可以朝向相互不同的方向。
参照图3，说明对鱼眼摄像机41～44拍摄到的图像的畸变校正处理。图像300是鱼眼摄像机42拍摄到的车辆1的右方的风景的图像。如所示的那样，图像300特别在周边部分具有大的畸变。
与鱼眼摄像机42连接的ECU 22对图像300进行畸变校正处理(从鱼眼图像向平面图像的变换处理)。具体来说，ECU 22将图像300内的一个点设定为校正中心点301。ECU 22从图像300中剪切出以校正中心点301为中心的矩形的区域302。ECU 22对该区域302进行畸变校正处理，由此生成畸变减轻了的图像303。畸变校正处理为，越接近校正中心点301的位置则畸变越减轻，在远离校正中心点301的位置处畸变不会减轻或者畸变增大。因而，在一部分的实施方式中，ECU 22在车辆1的周围的环境中的想要关注的区域内设定校正中心点301，针对该区域来生成畸变减轻了的图像。
<处理>
接着参照图4的流程图，说明本实施方式涉及的控制装置2实施的处理的步骤。
在S401中，ECU 22以及ECU 23获取车速传感器7c探测到的车辆1的速度信息。在此获取的速度是车辆1当前的行驶速度。
在S402中，ECU 22以及ECU 23基于在S401中获取到的车辆1的速度信息，对用于将各鱼眼摄像机(鱼眼摄像机41～44)拍摄到的鱼眼图像变换为平面图像的变换中心位置进行控制。ECU 22分别设定用于将对车辆1的右侧方(右方向)进行拍摄的鱼眼摄像机42拍摄到的右侧方的鱼眼图像以及对车辆1的左侧方(左方向)进行拍摄的鱼眼摄像机44拍摄到的左侧方的鱼眼图像变换为平面图像的变换中心位置。另外，ECU 23分别设定用于将对车辆1的前方进行拍摄的鱼眼摄像机41拍摄到的前方的鱼眼图像以及对车辆1的后方进行拍摄的鱼眼摄像机43拍摄到的后方的鱼眼图像变换为平面图像的变换中心位置。参照图5在后记述本步骤的处理的详细例。而且，基于在本步骤中设定的变换中心位置来执行图像变换，并使用变换了的图像来执行周边信息的获取、驾驶辅助等各种动作。以上图4的一系列的处理结束。
然后，参照图5的流程图，说明本实施方式涉及的控制装置2实施的处理的步骤。图5的处理示出图4的S402的处理的详细例。
在S4021中，ECU 22以及ECU 23判定在S401中获取到的车辆1的速度是否为阈值(例如20km/h)以上。在车辆1的速度为阈值以上的情况下，进至S4023。另一方面，在车辆1的速度小于阈值的情况下，进至S4022。
在S4022中，ECU 22将用于将鱼眼摄像机42拍摄到的右侧方的鱼眼图像变换为平面图像的变换中心位置以及用于将鱼眼摄像机44拍摄到的左侧方的鱼眼图像变换为平面图像的变换中心位置分别设定于既定位置。
这里，图6的图像600是鱼眼摄像机42拍摄到的车辆1的右方的风景的图像。与鱼眼摄像机42连接的ECU 22将图像600内的一个点设定为校正中心点601。ECU 22从图像600中剪切出以校正中心点601为中心的矩形的区域602，并对该区域602进行畸变校正处理，由此生成畸变减轻了的图像(平面图像)。这里，校正中心点601是在车辆1的速度小于阈值的情况下的既定位置。图6的例子是与右侧方的图像相关的变换中心位置的例子，关于左侧方的图像也是同样的。各变换中心位置能够设为在图像中相同的高度(从下端起的既定高度)，但两者也可以是在各自不同的既定位置。
还有，在S4022中，ECU 23将用于将鱼眼摄像机41拍摄到的前方的鱼眼图像变换为平面图像的变换中心位置以及用于将鱼眼摄像机43拍摄到的后方的鱼眼图像变换为平面图像的变换中心位置分别设定于既定位置。
这里，图7的(a)的图像700是鱼眼摄像机41拍摄到的车辆1的前方的风景的图像。拍摄的是先行车辆的后部。与鱼眼摄像机41连接的ECU 23将图像700内的一个点设定为校正中心点701。ECU 23从图像700中剪切出以校正中心点701为中心的矩形的区域702，并对该区域702进行畸变校正处理，由此生成畸变减轻了的图像(平面图像)。这里，校正中心点701是在车辆1的速度小于阈值的情况下的既定位置。图7的(a)的例子是与前方的图像相关的变换中心位置的例子，关于后方的图像也是同样的。各变换中心位置能够设为在图像中相同的高度(从下端起的既定高度)，但两者也可以是在各自不同的既定位置。
在S4023中，ECU 22将用于将鱼眼摄像机42拍摄到的右侧方的鱼眼图像变换为平面图像的变换中心位置、用于将鱼眼摄像机44拍摄到的左侧方的鱼眼图像变换为平面图像的变换中心位置分别设定得比在车辆1的速度小于阈值的情况下的既定位置靠上方。例如，将右侧方的鱼眼图像的变换中心位置设定于图3所示的校正中心点301的位置(即，比校正中心点601的位置靠上方的位置)。图3的例子是与右侧方的图像相关的变换中心位置的例子，关于左侧方的图像也是同样的。各变换中心位置能够设为在图像中相同的高度(从下端起的既定高度)，但两者也可以是在各自不同的位置。
还有，在S4023中，ECU 23将用于将鱼眼摄像机41拍摄到的前方的鱼眼图像变换为平面图像的变换中心位置以及用于将鱼眼摄像机43拍摄到的后方的鱼眼图像变换为平面图像的变换中心位置分别设定得比在车辆1的速度小于阈值的情况下的既定位置靠上方。例如，将前方的鱼眼图像的变换中心位置设定于图7的(b)所示的图像750的矩形区域752中的校正中心点751的位置(即，比校正中心点701的位置靠上方的位置)。图7的(b)的例子是与前方的图像相关的变换中心位置的例子，关于后方的图像也是同样的。各变换中心位置能够设为在图像中相同的高度(从下端起的既定高度)，但两者也可以是在各自不同的既定位置。以上图5的处理结束。
如以上说明的那样，在本实施方式中，基于车辆的速度信息，对用于将各鱼眼摄像机拍摄到的鱼眼图像变换为平面图像的变换中心位置进行控制。例如，根据车速是否为阈值以上而进行变更，来将变换中心位置设定于既定位置，或者设定得比既定位置靠上方。由此，能够根据车速来精度良好地获取适当的周边信息。
在车速为低速(例如小于20km/h)时，大多是行驶于住宅区等狭窄道路，将变换中心位置设定得靠下方，由此能够精度良好地获取车辆附近的周边信息。另一方面，在车速为高速时，大多是行驶于干线道路等，使变换中心位置转移为靠上方，由此能够精度良好地获取更远方的周边信息。
[变形例]
而且，在上述实施方式中，说明了根据车速是否为阈值以上而切换变换中心位置的例子，但也可以是，根据车速来使在车速为阈值以上的情况下的变换中心位置连续地变化。
例如，可以构成为，在车速为阈值以上的情况下，车辆1的速度越高，将对右侧方进行拍摄的鱼眼摄像机42的变换中心位置设定得相对于既定位置(图6所示的校正中心点601的位置)而越靠上方。即，在速度小于阈值的情况下，鱼眼摄像机42的变换中心位置为校正中心点601的位置。而且，也可以是，以如下方式进行设定：在速度虽然为阈值以上却仍然低的情况下，鱼眼摄像机42的变换中心位置靠近校正中心点601的位置，随着速度增高，鱼眼摄像机42的变换中心位置从校正中心点601朝向图3所示的校正中心点301的位置(或者比其更靠上方的位置)而向上方连续地变化(移动)。关于对左侧方进行拍摄的鱼眼摄像机44也是同样的。由此，能够根据车速来精度良好地获取适当的周边信息。
同样地，可以构成为，在车速为阈值以上的情况下，车辆1的速度越高，将对前方进行拍摄的鱼眼摄像机41的变换中心位置设定得相对于既定位置(图7所示的校正中心点701的位置)而越靠上方。即，在速度小于阈值的情况下，鱼眼摄像机41的变换中心位置为校正中心点701的位置。而且，也可以是，以如下方式进行设定：在速度虽为阈值以上却仍然低的情况下，鱼眼摄像机41的变换中心位置靠近校正中心点701的位置，随着速度增高，鱼眼摄像机41的变换中心位置从校正中心点701朝向图7的(b)所示的校正中心点751的位置(或者比其更靠上方的位置)而向上方连续地变化(移动)。关于对后方进行拍摄的鱼眼摄像机43也是同样的。由此，能够根据车速来精度良好地获取适当的周边信息。
另外，在上述实施方式中，说明了根据车辆的速度与阈值的大小关系来切换处理的例子，但是也可以构成为，与车辆的速度的阈值无关，速度越低，将各鱼眼摄像机的变换中心位置设定得越靠下方，速度越高，将各鱼眼摄像机的变换中心位置设定得越靠上方。
另外，也可以是，以如下方式进行控制：在车辆1的左右侧方配置的各鱼眼摄像机42、44的图像变换的频度低于在车辆1的前后配置的各鱼眼摄像机41、43的图像变换的频度低。例如，在单向一车道道路行驶时、不变更车道那样的情况下，与左右方向的环境(周边信息)的变化相比，前后方向的环境(周边信息)的变化对驾驶影响多。因而，与左右方向相比，使前后方向的图像变换的频度(图像的获取频度)高，由此能够即时地获取精度更良好的信息，并且能够抑制左右方向的变换频度来实现处理负荷的减轻。
另外，在上述实施方式中，分别说明了ECU 22以及ECU 23个别地进行处理的例子，但是也可以是，将这些ECU构成为一个ECU，由一个ECU执行上述实施方式或者变形例的处理。
另外，在上述实施方式中所示的用于剪切的矩形区域的形状、位置以及尺寸是一个例子，不限定于图示的例子。可以使用比图示的矩形大的尺寸的矩形区域，也可以使用小的矩形。例如，在图3以及图6中，在鱼眼图像的右侧设定了矩形区域，但是也可以如图7的(a)以及图7的(b)所示的那样，在中央设定矩形区域，也可以在左侧设定。能够进行各种的变更。
(其它实施方式)
另外，实现在各实施方式中说明的一个以上的功能的程序经由网络或者存储介质提供给系统或者装置，该系统或者装置的计算机中的一个以上的处理器能够读出并执行该程序。能够通过这样的方式来实现本发明。
发明不限定于上述的实施方式，能够在发明的主旨的范围内进行各种的变形、变更。
<实施方式的总结>
第一方式的控制装置(例如2)对在车辆(例如1)的前后以及侧方配置的鱼眼摄像机(例如41～44)的拍摄进行控制，在所述控制装置中，具备：
获取单元(例如22、23)，其获取所述车辆的速度的信息；以及
控制单元(例如22、23)，其基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。
由此，能够根据车速来精度良好地获取适当的周边信息。
在第二方式的控制装置(例如2)中，所述速度越低，所述控制单元将各鱼眼摄像机的所述中心位置(例如601、701)设定得越靠下方。
由此，在低速时，能够精度良好地获取车辆附近的周边信息。因而，在通过狭窄道路时、辅助停车时或者自动停车时等低速时，能够精度良好地获取车辆附近的周边信息。
在第三方式的控制装置(例如2)中，所述速度越高，所述控制单元将各鱼眼摄像机的所述中心位置(例如301、751)设定得越靠上方。
由此，在高速时，能够精度良好地获取车辆远方的周边信息。因而，在干线道路行驶时、高速公路行驶时等高速时，能够精度良好地获取远离本车辆的远方的周边信息。
在第四方式的控制装置(例如2)中，在所述速度小于阈值(例如20km/h)的情况下，所述控制单元将各鱼眼摄像机的所述中心位置设定于既定位置(例如601、701)，在所述速度为所述阈值以上的情况下，所述速度越高，所述控制单元将各鱼眼摄像机的所述中心位置(例如301、751)设定得相对于所述既定位置而越靠上方。
这样，在低速时，将下方的既定位置设为变换中心位置，在成为某种程度以上的车速后，使变换中心位置逐渐向上方移动。因而，在通过狭窄道路时、辅助停车时或者自动停车时等低速时，能够利用既定的变换中心位置来精度良好地获取车辆附近的周边信息，在干线道路行驶时、高速公路行驶时等高速时，能够精度好地获取远离本车辆的远方的周边信息。
在第五方式的控制装置(例如2)中，在所述速度为所述阈值以上的情况下，所述速度越高，所述控制单元将各鱼眼摄像机的所述中心位置设定得相对于所述既定位置而越靠上方，并且将在所述车辆的前后配置的各鱼眼摄像机的所述中心位置设定得比在所述车辆的侧方配置的各鱼眼摄像机的所述中心位置靠上方。
在高速时，与左右方向相比，前后方向的周边信息的变化对驾驶有大的影响，将前后方向的变换中心位置设定得比左右方向的变换中心位置靠上方，由此能够获取更与状况相应的适当的周边信息。
在第六方式的控制装置(例如2)中，在所述速度小于阈值的情况下，所述控制单元将各鱼眼摄像机的所述中心位置设定于既定位置，在所述速度为所述阈值以上的情况下，所述控制单元将各鱼眼摄像机的所述中心位置设定得比所述既定位置靠上方。
根据车速与阈值的大小关系来切换变换中心位置，由此在低速时能够精度良好地获取车辆附近的周边信息，在高速时能够精度良好地获取车辆远方的周边信息。
在第七方式的控制装置(例如2)中，所述控制单元以如下方式进行控制：在所述车辆的侧方配置的各鱼眼摄像机的图像变换的频度低于在所述车辆的前后配置的各鱼眼摄像机的图像变换的频度。
在单向一车道道路行驶时、不变更车道那样的情况下，与左右方向的环境(周边信息)的变化相比，前后方向的环境(周边信息)的变化对驾驶影响多。与左右方向相比，使前后方向的图像变换的频度(图像的获取频度)高，由此能够即时地获取精度更良好的信息，并且能够抑制左右方向的图像变换的频度来实现减轻处理负荷。
第八方式的控制装置(例如2)的动作方法，该控制装置对在车辆(例如1)的前后以及侧方配置的鱼眼摄像机的拍摄进行控制，在所述控制装置的动作方法中，包括：
获取工序(例如S401)，获取所述车辆的速度的信息；以及
控制工序(例如S402)，基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。
由此，能够根据车速来精度良好地获取适当的周边信息。
第九方式的存储介质存储有程序，在所述存储介质中，存储用于使计算机作为第一至第七方式中的任一项的控制装置发挥功能的程序。
由此，能够通过计算机来实现车辆控制装置的动作。
附图标记的说明
1：车辆；22、23：ECU；41～44：鱼眼摄像机；7c：车速传感器。

Claims (9)

1.一种控制装置，其对在车辆的前后以及侧方配置的鱼眼摄像机的拍摄进行控制，在所述控制装置中，具备：
获取单元，其获取所述车辆的速度的信息；以及
控制单元，其基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。
2.根据权利要求1所述的控制装置，其特征在于，
所述速度越低，所述控制单元将各鱼眼摄像机的所述中心位置设定得越靠下方。
3.根据权利要求1所述的控制装置，其特征在于，
所述速度越高，所述控制单元将各鱼眼摄像机的所述中心位置设定越靠上方。
4.根据权利要求1所述的控制装置，其特征在于，
在所述速度小于阈值的情况下，所述控制单元将各鱼眼摄像机的所述中心位置设定于既定位置，在所述速度为所述阈值以上的情况下，所述速度越高，所述控制单元将各鱼眼摄像机的所述中心位置设定得相对于所述既定位置而越靠上方。
5.根据权利要求4所述的控制装置，其特征在于，
在所述速度为所述阈值以上的情况下，所述速度越高，所述控制单元将各鱼眼摄像机的所述中心位置设定得相对于所述既定位置而越靠上方，并且所述控制单元将在所述车辆的前后配置的各鱼眼摄像机的所述中心位置设定得比在所述车辆的侧方配置的各鱼眼摄像机的所述中心位置靠上方。
6.根据权利要求1所述的控制装置，其特征在于，
在所述速度小于阈值的情况下，所述控制单元将各鱼眼摄像机的所述中心位置设定于既定位置，在所述速度为所述阈值以上的情况下，所述控制单元将各鱼眼摄像机的所述中心位置设定得比所述既定位置靠上方。
7.根据权利要求1所述的控制装置，其特征在于，
所述控制单元以如下方式进行控制：在所述车辆的侧方配置的各鱼眼摄像机的图像变换的频度低于在所述车辆的前后配置的各鱼眼摄像机的图像变换的频度。
8.一种存储介质，其存储使计算机作为根据权利要求1至7中的任一项所述的控制装置发挥功能的程序。
9.一种控制装置的动作方法，该控制装置对在车辆的前后以及侧方配置的鱼眼摄像机的拍摄进行控制，在所述控制装置的动作方法中，包括：
获取工序，获取所述车辆的速度的信息；以及
控制工序，基于所述速度，对用于将各鱼眼摄像机的鱼眼图像变换为平面图像的中心位置进行控制。
CN202210275253.4A 2021-03-25 2022-03-21 控制装置、控制装置的动作方法以及存储介质 Pending CN115195599A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-052007 2021-03-25
JP2021052007A JP2022149731A (ja) 2021-03-25 2021-03-25 制御装置、制御装置の動作方法及びプログラム

Publications (1)

Publication Number Publication Date
CN115195599A true CN115195599A (zh) 2022-10-18

Family

ID=83363834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210275253.4A Pending CN115195599A (zh) 2021-03-25 2022-03-21 控制装置、控制装置的动作方法以及存储介质

Country Status (3)

Country Link
US (1) US11750936B2 (zh)
JP (1) JP2022149731A (zh)
CN (1) CN115195599A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4243767B2 (ja) 2007-09-21 2009-03-25 富士通株式会社 魚眼レンズカメラ装置及びその画像抽出方法
JP5569329B2 (ja) * 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
US10565736B2 (en) 2016-01-15 2020-02-18 Sony Corporation Image processing apparatus and method, program, and image processing system
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
JP6933072B2 (ja) * 2017-09-22 2021-09-08 富士通株式会社 カメラ制御方法、カメラ制御装置およびカメラ制御プログラム
JP2022150828A (ja) * 2021-03-26 2022-10-07 本田技研工業株式会社 制御装置、制御装置の動作方法及びプログラム

Also Published As

Publication number Publication date
US11750936B2 (en) 2023-09-05
JP2022149731A (ja) 2022-10-07
US20220311936A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7177862B2 (ja) 位置決定装置
JP7055043B2 (ja) 車両用制御装置及び車両
US20200247415A1 (en) Vehicle, and control apparatus and control method thereof
JP2000090393A (ja) 車載型走行路環境認識装置
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
US11590979B2 (en) Vehicle control device, vehicle, vehicle control method, and storage medium
US20200384992A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
CN113460076A (zh) 车辆控制装置
US20220311921A1 (en) Control device, operation method for control device, and storage medium
US11893715B2 (en) Control device and control method for mobile object, storage medium, and vehicle
US20210284234A1 (en) Vehicle control apparatus, vehicle, operation method for vehicle control apparatus, and storage medium
US20210284163A1 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
US11100353B2 (en) Apparatus of controlling region of interest of image and method for controlling the same
CN115195599A (zh) 控制装置、控制装置的动作方法以及存储介质
US20220319191A1 (en) Control device and control method for mobile object, and storage medium
US20220309798A1 (en) Control apparatus and control method using captured image of external environment of vehicle
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
US20220318960A1 (en) Image processing apparatus, image processing method, vehicle control apparatus, and storage medium
WO2024069689A1 (ja) 運転支援方法及び運転支援装置
US20200384991A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
US20220306120A1 (en) Driving support device
JP2023045138A (ja) 車両用表示装置、車両、表示方法及びプログラム
CN113511218A (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
JP2021154794A (ja) 車両制御装置、車両、車両制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination