CN115123089A - 车辆、控制装置及控制方法 - Google Patents
车辆、控制装置及控制方法 Download PDFInfo
- Publication number
- CN115123089A CN115123089A CN202210272310.3A CN202210272310A CN115123089A CN 115123089 A CN115123089 A CN 115123089A CN 202210272310 A CN202210272310 A CN 202210272310A CN 115123089 A CN115123089 A CN 115123089A
- Authority
- CN
- China
- Prior art keywords
- area
- image
- vehicle
- imaging device
- predetermined area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 72
- 230000009467 reduction Effects 0.000 claims abstract description 47
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 230000000903 blocking effect Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及车辆、控制装置及控制方法。控制装置是具有拍摄装置的车辆的控制装置,具有:图像获取机构,其从拍摄装置周期性获取车辆的外界的图像;第一识别机构,其基于从拍摄装置获取到的图像,识别车辆的外界的目标物;区域控制机构,其控制针对从拍摄装置获取到的图像而进行的预定的区域的设定;以及处理机构,其针对所设定的预定的区域进行用于减轻图像的失真的失真减轻处理。在此,在由第一识别机构识别出的特定的目标物包含在预定的区域内的情况下,区域控制机构以使包含在预定的区域内的特定的目标物以外的区域增加的方式,使预定的区域变化。
Description
技术领域
本发明涉及车辆、控制装置及控制方法。
背景技术
公知有使用摄像机对车辆的外界进行拍摄并用于司机的驾驶辅助的技术。在专利文献1中,提出了通过鱼眼镜头等广角镜头的摄像机来对车辆的后方的宽范围进行拍摄的技术。在该技术中,针对通过安装有广角镜头的摄像机拍摄的图像,进行以镜头的光轴位置为中心的坐标转换,并且截取中央区域进行显示,以使得司机能够在停车之时注视图像的中央区域。
现有技术文献
专利文献
专利文献1:日本特开2018-171964号公报
发明内容
发明所要解决的问题
然而,在对通过安装有广角镜头的摄像机所拍摄的图像进行坐标转换,并截取该一部分来识别车辆的外界的情况下,当在拍摄到的图像内存在遮挡物(例如防护栏)时,针对可能有重要度相对较高的识别对象存在的遮挡物以外的区域,有时因该区域不足够等而无法得到所希望的识别结果。
本发明鉴于上述问题而完成,其目的在于,实现在使用了通过安装有广角镜头的摄像机所拍摄的图像的目标物识别中,能够降低遮挡物的影响的技术。
用于解决问题的手段
根据本发明,提供一种控制装置,
其是具有拍摄装置的车辆的控制装置,其特征在于,
所述控制装置具有:
图像获取机构,其从所述拍摄装置周期性获取所述车辆的外界的图像;
第一识别机构,其基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制机构,其控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构,其针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在由所述第一识别机构识别出的特定的目标物包含在所述预定的区域内的情况下,所述区域控制机构以使包含在所述预定的区域内的所述特定的目标物以外的区域增加的方式,使所述预定的区域变化。
另外,根据本发明,提供一种车辆,
其是具有拍摄装置的车辆,其特征在于,
所述车辆具有:
图像获取机构,其从所述拍摄装置周期性获取所述车辆的外界的图像;
第一识别机构,其基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制机构,其控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构,其针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在由所述第一识别机构识别出的特定的目标物包含在所述预定的区域内的情况下,所述区域控制机构以使包含在所述预定的区域内的所述特定的目标物以外的区域增加的方式,使所述预定的区域变化。
另外,根据本发明,提供一种控制装置,
其是具有拍摄装置的车辆的控制装置,其特征在于,
所述控制装置具有:
图像获取机构,其从所述拍摄装置周期性获取所述车辆的外界的图像;
识别机构,其基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制机构,其控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构,其针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
所述区域控制机构在由所述识别机构未识别出特定的目标物的区域设定所述预定的区域。
进一步地,根据本发明,提供一种车辆的控制方法,
其是具有拍摄装置的车辆的控制方法,其特征在于,
所述控制方法具有:
图像获取步骤,在所述图像获取步骤中,从所述拍摄装置周期性获取所述车辆的外界的图像;
第一识别步骤,在所述第一识别步骤中,基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制步骤,在所述区域控制步骤中,控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理步骤,在所述处理步骤中,针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在所述区域控制步骤中,在所述第一识别步骤中识别出的特定的目标物包含在所述预定的区域内的情况下,以使所述预定的区域所包含的所述特定的目标物以外的区域增加的方式,使所述预定的区域变化。
另外,根据本发明,提供一种控制方法,
其是具有拍摄装置的车辆的控制方法,其特征在于,
所述控制方法具有:
图像获取步骤,在所述图像获取步骤中,从所述拍摄装置周期性获取所述车辆的外界的图像;
识别步骤,在所述识别步骤中,基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制步骤,在所述区域控制步骤中,控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理步骤,在所述处理步骤中,针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在所述区域控制步骤中,在所述识别步骤中未识别出特定的目标物的区域设定所述预定的区域。
发明效果
根据本发明,在使用了通过安装有广角镜头的摄像机所拍摄的图像的目标物识别中,能够降低遮挡物的影响。
附图说明
图1是表示本发明的实施方式所涉及的车辆的构成例的图。
图2A至图2C是对由车辆的各摄像机所拍摄的拍摄范围进行说明的图。
图3是对通过鱼眼摄像机拍摄到的图像、和对该图像引用失真减轻处理后的情况的例子进行说明的图。
图4A至图4B是对转换中心的周围的区域进行说明的图。
图5A至图5B是对在存在遮挡物的情况下变更转换中心的周围的区域的例子说明的图。
图6是对转换中心的周围的区域的变更例、通过失真减轻处理生成的图像的例子进行说明的图。
图7是对在存在遮挡物的情况下变更转换中心的周围的区域的其他例子进行说明的图。
图8是对转换中心的周围的区域的变更例、通过失真减轻处理生成的图像的例子进行说明的图。
图9是表示识别本实施方式所涉及的车辆的外界的处理的一系列的动作的流程图。
附图标记说明
1:车辆;2:控制装置;41~44:鱼眼摄像机;21~29:ECU。
具体实施方式
以下,参照附图对实施方式进行详细说明。此外,以下的实施方式并非对技术方案所涉及的发明进行限定,另外,在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外,对相同或者同样的构成标注相同的附图标记,并省略重复的说明。
(车辆的构成)
图1是本发明的一个实施方式所涉及的车辆1的框图。在图1中,以俯视图和侧视图表示车辆1的概略。作为一个例子,车辆1是轿车型的四轮的乘用车。车辆1可以是上述那样的四轮车辆,也可以是两轮车辆、其他类型的车辆。
车辆1包括对车辆1进行控制的车辆用控制装置2(以下,简称为控制装置2)。控制装置2包括利用车内网络连接为能够通信的多个ECU(Electronic Control Unit:电子控制单元)20~ECU29。各ECU包括CPU(Central Processing Unit:中央处理单元)或者GPU(Graphics Processing Unit:图像处理单元)等处理器,半导体存储器等存储器、外部设备的接口等。在存储器中保存有处理器所执行的程序、处理器在处理中使用的数据等。各ECU可以具备多个处理器、存储器以及接口等。例如,ECU20具备处理器20a和存储器20b。通过由处理器20a执行包括在存储器20b中保存的程序在内的指令,来执行基于ECU20的处理。取而代之,ECU20可以具备用于执行基于ECU20的处理的ASIC(Application SpecificIntegrated Circuit:特殊应用集成电路)等专用的集成回路。关于其他ECU也相同。
以下,对各ECU20~29所担负的功能等进行说明。此外,ECU的数量、担负的功能能够适当地设计,可以比本实施方式更细化,或者进行整合。
ECU20执行车辆1的与自动行驶相关的控制。在自动驾驶中,对车辆1的转向、加速减速中的至少任一者进行自动控制。ECU20所进行的自动行驶可以包含不需要驾驶员所进行的行驶操作的自动行驶(也可以称为自动驾驶)、用于辅助驾驶员所进行的行驶操作的自动行驶(也可以称为驾驶辅助)。
ECU21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)对前轮进行转向的机构。另外,电动动力转向装置3包括发挥用于辅助转向操作、或使前轮自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下,ECU21与来自ECU20的指示对应地自动控制电动动力转向装置3,控制车辆1的行进方向。
ECU22以及ECU 23进行对车辆的周围状况进行检测的检测单元的控制以及检测结果的信息处理。作为对车辆的周围状况进行检测的检测单元,车辆1包含一个标准摄像机40、四个鱼眼摄像机41~44。标准摄像机40及鱼眼摄像机42以及44与ECU22连接。鱼眼摄像机41以及43与ECU23连接。ECU22以及23通过对由标准摄像机40以及鱼眼摄像机41~44所拍摄的图像进行解析,能够提取目标物的轮廓、道路上的车道的划分线(白线等)。另外,针对存在于较近处的目标物也能够识别其目标物的种类、区域。
鱼眼摄像机41~44是指安装有鱼眼镜头的摄像机。以下,对鱼眼摄像机41的构成进行说明。其他鱼眼摄像机41~44也可以具有同样的构成。鱼眼摄像机41的视场角比标准摄像机40的视场角宽。因此,鱼眼摄像机41能够拍摄比标准摄像机40更宽的范围。由鱼眼摄像机41拍摄到的图像与由标准摄像机40拍摄到的图像相比较而具有较大的失真。因此,ECU23虽然能够使用由鱼眼摄像机41拍摄到的图像进行简易的目标物识别,但在执行高精度的解析前,可以针对该图像进行用于减轻失真的转换处理(以下,称为“失真减轻处理”)。另一方面,ECU22在对由标准摄像机40拍摄到的图像进行解析前,可以不针对该图像进行失真减轻处理。这样,标准摄像机40是对不成为失真减轻处理的对象的图像进行拍摄的拍摄装置,鱼眼摄像机41是对成为失真减轻处理的对象的图像进行拍摄的拍摄装置。替代标准摄像机40,可以使用对不成为失真减轻处理的对象的图像进行拍摄的其他拍摄装置例如安装有广角镜头、望远镜头的摄像机。
标准摄像机40安装于车辆1的前部中央,对车辆1的前方的周围状况进行拍摄。鱼眼摄像机41安装于车辆1的前部中央,对车辆1的前方的周围状况进行拍摄。在图1中,将标准摄像机40和鱼眼摄像机41表示为沿水平方向排列。然而,标准摄像机40以及鱼眼摄像机41的配置不限于此,例如也可以使它们沿垂直方向排列。另外,标准摄像机40和鱼眼摄像机41的至少一方可以安装于车辆1的车顶前部(例如,前窗的车室内侧)。鱼眼摄像机42安装于车辆1的右侧部中央,对车辆1的右方的周围状况进行拍摄。鱼眼摄像机43安装于车辆1的后部中央,对车辆1的后方的周围状况进行拍摄。鱼眼摄像机44安装于车辆1的左侧部中央,对车辆1的左方的周围状况进行拍摄。
车辆1所具有的摄像机的种类、个数以及安装位置不限于上述的例子。另外,作为用于对车辆1的周围的目标物进行检测或对与目标物的距离进行测距的检测单元,车辆1也可以包含光学雷达(Light Detection and Ranging:光学检测与测距)、毫米波雷达。
ECU22进行标准摄像机40以及鱼眼摄像机42、44的控制以及检测结果的信息处理。ECU23进行鱼眼摄像机41、43的控制以及检测结果的信息处理。通过将对车辆的周围状况进行检测的检测单元分为两个系统,能够提高检测结果的可靠性。
ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或者通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等来判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息的服务器进行无线通信,获取这些信息。ECU24能够访问在存储器中构建的地图信息的数据库24a,进行从当前位置地到目的地的路线搜索等。ECU24、地图数据库24a、GPS传感器24b构成所谓的导航装置。
ECU25具备车与车之间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信,并进行车辆间的信息交换。
ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构,例如包括发动机和变速器。ECU26例如与由设置于油门踏板7A的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出,或者基于车速传感器7c检测到的车速等信息来切换变速器的变速档。在车辆1的驾驶状态处于自动驾驶的情况下,ECU26与来自ECU20的指示对应地自动控制动力装置6,控制车辆1的加速减速。
ECU27控制包括方向指示器8(转向灯)的照明器件(前照灯、尾灯等)。在图1的例子中,方向指示器8设置于车辆1的前部、车门后视镜以及后部。
ECU28对输入输出装置9进行控制。输入输出装置9进行对驾驶员的信息的输出、和来自驾驶员的信息的输入的接受。声音输出装置91通过声音向驾驶员通知信息。显示装置92通过图像的显示向驾驶员通知信息。显示装置92例如配置在驾驶席正面,构成仪表板等。此外,在此,例示了声音和显示,但也可以通过振动、光来通知信息。另外,也可以将声音、显示、振动或者光中的多个组合来报告信息。进一步地,可以根据待报告的信息的等级(例如紧急度),使组合不同,或使报告方式不同。输入装置93是配置于驾驶员所能够操作的位置,进行针对车辆1的指示的开关组,但也可以包含声音输入装置。
ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置,设置于车辆1的各车轮,通过对车轮的旋转施加阻力而使车辆1减速或停止。ECU29例如与由设置在制动踏板7B上的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶的情况下,ECU29与来自ECU20的指示对应地自动控制制动装置10,控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外,在动力装置6的变速器具备驻车锁定机构的情况下,也能够为了维持车辆1的停止状态而使其工作。
参照图2A~图2C,对标准摄像机40以及鱼眼摄像机41~44的拍摄范围进行说明。图2A表示各摄像机的水平方向的拍摄范围,图2B在车辆1的右侧部表示鱼眼摄像机42的垂直方向的拍摄范围,图2C表示安装于车辆1的后部的鱼眼摄像机43的垂直方向的拍摄范围。
首先,参照图2A,对车辆1的俯视图(即,车辆1的水平方向)中的拍摄范围进行说明。标准摄像机40对拍摄范围200所包含的风景进行拍摄。标准摄像机40的拍摄中心200C朝向车辆1的正前方。标准摄像机40的水平方向的视场角可以小于90°,例如可以为45°左右或30°左右。
鱼眼摄像机41对拍摄范围201所包含的风景进行拍摄。鱼眼摄像机41的拍摄中心201C朝向车辆1的正前方。鱼眼摄像机42对拍摄范围202所包含的风景进行拍摄。鱼眼摄像机42的拍摄中心202C朝向车辆1的右方的正侧面。鱼眼摄像机43对拍摄范围203所包含的风景进行拍摄。鱼眼摄像机43的拍摄中心203C朝向车辆1的正后方。鱼眼摄像机44对拍摄范围204所包含的风景进行拍摄。鱼眼摄像机44的拍摄中心204C朝向车辆1的左方的正侧面。鱼眼摄像机41~44的水平方向的视场角例如可以大于90°,也可以大于150°,也可以大于180°,例如可以为180°左右。图2A示出鱼眼摄像机41~44的水平方向的视场角为180°的例子。
拍摄范围201可以被划分为位于车辆1的左斜前方的区域201L、位于车辆1的正前方的区域201F、以及位于车辆1的右斜前方的区域201R。拍摄范围202能够被划分为位于车辆1的右斜前方的区域202L、位于车辆1的右方的正侧面的区域202F、以及位于车辆1的右斜后方的区域202R。拍摄范围203可以被划分为位于车辆1的右斜后方的区域203L、位于车辆1的正后方的区域203F、以及位于车辆1的左斜后方的区域203R。拍摄范围204能够被划分为位于车辆1的右斜后方的区域204L、位于车辆1的左方的正侧面的区域204F、以及位于车辆1的左斜前方的区域204R。拍摄范围201也可以均等地(即,以各区域的视场角相等的方式)划分为三个区域201L、201F以及201R。对于其他拍摄范围202~204,也可以均等地划分为三份。
标准摄像机40以及鱼眼摄像机41~44具有上述那样的拍摄范围200~204,由此车辆1的正前方以及四个倾斜方向包含于两个单独的摄像机的拍摄范围。具体而言,车辆1的正前方包含于标准摄像机40的拍摄范围200和鱼眼摄像机41的拍摄范围201的区域201F这两方。车辆1的右斜前方包含于鱼眼摄像机41的拍摄范围201的区域201R和鱼眼摄像机42的拍摄范围202的区域202L这两方。对于车辆1的其他三个倾斜方向也是同样的。
接下来,参照图2B以及图2C,对车辆1的垂直方向上的拍摄范围进行说明。在图2B中,对鱼眼摄像机42的垂直方向的拍摄范围进行说明,在图2C中,对鱼眼摄像机43的垂直方向的拍摄范围进行说明。其他鱼眼摄像机41以及44的垂直方向的拍摄范围也可以是同样的。
鱼眼摄像机41~44的垂直方向的视场角例如可以大于90°,也可以大于150°,也可以大于180°,例如可以为180°左右。图2B以及图2C示出鱼眼摄像机41~44的垂直方向的视场角为180°的例子。鱼眼摄像机43的拍摄中心203C朝向与地面平行的方向。取而代之,鱼眼摄像机43的拍摄中心203C也可以比与地面平行的方向更朝向下侧(地面侧),也可以比与地面平行的方向更朝向上侧(与地面相反的一侧)。另外,鱼眼摄像机41~44的拍摄中心201C~204C也可以在垂直方向上朝向相互不同的方向。
(失真减轻处理的概要)
接下来,参照图3~图8,对针对由鱼眼摄像机41~44拍摄到的图像的、考虑了遮挡物的失真减轻处理的概要进行说明。如图3所示,图像300是由鱼眼摄像机42拍摄到的车辆1的右方的风景的图像。如图所示,图像300特别是在周边部分具有大的失真。
图4A表示从上方观察车辆1的图,图4B表示从后方观察车辆1的图。图像300是由鱼眼摄像机43拍摄到的车辆1的右方的状况的图像。
与鱼眼摄像机43连接的ECU22对图像300进行失真减轻处理。具体而言,如图3所示,ECU22将图像300内的一点决定为转换中心301。如图4A、图4B所示,转换中心301在水平方向上从鱼眼摄像机42观察而位于摄影区域202内的右侧,在垂直方向上朝向与地面平行的方向。此外,图4A、图4B所示的例子以将本实施方式应用于202R的情况为例进行了说明,但以下所示的实施方式也能够应用于202L、202F、202R中的任一个。
ECU22从图像300截取以转换中心301为中心的区域302。此外,为了说明的简单,将区域302图示为矩形,但区域302只要构成为与后述的图像303对应,则区域的形状也可以不是图3所示的形状。如图4A所示,该区域302与拍摄范围202中的从鱼眼摄像机42观察而位于右侧的区域202R中的区域202T对应。ECU22通过对以转换中心301为中心的区域302进行失真减轻处理,生成失真被减轻的图像303。该图像303是与图4A的区域202T的宽度以及图4B的区域202T的高度对应的图像。
作为失真减轻处理的结果,越是接近转换中心301的位置,失真越被减轻,在远离转换中心301的位置,失真不会被减轻,或者失真会增大。在将图像300整体作为失真减轻处理的对象的情况下,在位于远离转换中心301的位置的区域中失真变大。因此,即使利用位于远离转换中心301的位置的区域来解析车辆1的外界,也无法进行高精度的解析。因此,ECU22将转换中心301设定为解析对象的区域,对转换中心301的周围的区域进行失真减轻处理,使用处理后的图像来对解析对象的区域的状况进行解析。
此外,ECU22在想要解析车辆1的右斜前方的状况的情况下,在鱼眼摄像机42的拍摄范围202所包含的区域202L内(例如,区域202L的中心)设定转换中心301,对转换中心301的周围的区域进行失真减轻处理,使用处理后的图像来解析右斜前方的状况。ECU22在想要解析车辆1的右方正面的状况的情况下,在鱼眼摄像机42的拍摄范围202所包含的区域202F内(例如,区域202F的中心)设定转换中心301,对转换中心301的周围的区域进行失真减轻处理,使用处理后的图像来解析右方正面的状况。ECU22在想要解析车辆1的右斜后方的状况的情况下,在鱼眼摄像机42的拍摄范围202所包含的区域202R内(例如,区域202R的中心)设定转换中心301,对转换中心301的周围的区域进行失真减轻处理,使用处理后的图像来解析右斜后方的状况。
这样,ECU22例如在对车辆的右方的状况进行解析的情况下,若获取鱼眼摄像机42的图像,则将转换中心301设定为对状况进行解析所需的方向,对转换中心301的周围的区域进行失真减轻处理。
另一方面,在获取由鱼眼摄像机42拍摄到的图像的情况下,有时在所设定的转换中心301的周围的区域内存在例如防护栏等遮挡物501,该遮挡物以外的区域变小(例如参照图7的上图)。在遮挡物占据转换中心301的周围的区域302中的一定范围的情况下,无法充分地进行针对遮挡物以外的区域的解析,或者浪费地进行针对遮挡物的区域的解析处理。遮挡物501例如存在于行驶道路与人行道之间,遮挡对可能存在于人行道侧的目标物、交通参与者的图像识别。遮挡物除了防护栏以外,还包括高度为700mm以上的草、树木等。遮挡物包括沿车辆的行进方向(例如水平方向)延伸的遮挡物。
ECU22在区域302中包含沿水平方向延伸的遮挡物(例如如后述那样从图像300识别出这样的遮挡物)的情况下,能够变更转换中心301的周围的区域以使遮挡物以外的区域增大。
例如,ECU22在区域302包含沿水平方向延伸的遮挡物的情况下,如图5A~图5B所示,通过变更转换中心301的周围的区域,能够使转换中心301的周围的区域所包含的遮挡物以外的区域增加。例如,ECU22变更转换中心301的周围的区域,以使图像303成为在铅垂方向上较长的矩形。如图5A所示,使从上方观察车辆1的水平面内的转换中心301的周围的区域202T变窄,如图5B所示,使从后方观察车辆1的垂直面内的转换中心301的周围的区域202T变宽。
图6示意性地表示按照图3所示的图像300的例子,将转换中心301的周围的区域从区域302变更为区域302b的例子。区域302与在水平方向上较长的矩形的图像303对应,与此相对,区域302b与在铅垂方向上较长的矩形的图像303b对应。在区域302内的下侧包含沿水平方向延伸的遮挡物501的情况下,ECU22将区域302变更为区域302b,由此区域302b所包含的遮挡物以外的区域增加。由此,在ECU22对转换中心301的周围的区域302b进行了失真减轻处理的情况下,在处理后的图像303b中,遮挡物以外的区域也增大。这样,ECU22变更转换中心的周围的区域302以使遮挡物以外的区域增大,由此在使用了由鱼眼摄像机拍摄到的图像的目标物识别中,能够降低遮挡物的影响。
这样的以图像303成为在铅垂方向上较长的矩形的方式变更转换中心301的周围的区域的处理,在沿水平方向延伸的遮挡物中断的情况下,在该遮挡物中断的区域中解析交通参与者等的存在时也有用。
进而,也可以通过其他方法,以变更转换中心的周围的区域302使遮挡物以外的区域增大。
例如,如图7所示,在区域302中包含沿水平方向延伸的遮挡物(例如如后述那样从图像300识别出这样的遮挡物)的情况下,ECU22能够变更转换中心301的位置以使遮挡物以外的区域增大。具体而言,ECU22以图像300内的位置比转换中心301的位置靠上侧的方式设定转换中心301a,对转换中心301a的周边的区域进行失真减轻处理。
图8示意性地示出了根据图3所示的图像300的示例将转换中心301的位置改变为转换中心301a的位置(并且周围区域也改变)的情况。ECU22将区域302变更为区域302a,由此区域302a所包含的遮挡物501以外的区域增加。由此,在ECU22对转换中心301a的周围的区域302a进行了失真减轻处理的情况下,在处理后的图像303a中,遮挡物以外的区域也增大。这样,ECU22变更转换中心301的位置以使遮挡物以外的区域增大,并变更转换中心的周围的区域302,由此在使用了由鱼眼摄像机拍摄到的图像的目标物识别中,能够降低遮挡物的影响。
(识别车辆的外界的处理的一系列动作)
接着,对识别车辆的外界的处理的一系列动作进行说明。对失真减轻处理的一系列动作进行说明。该处理通过控制装置2的各ECU20~ECU29的处理器20a执行存储器20b内的程序来实现。
此外,在识别车辆的外界的处理中,能够根据车辆1的行驶场景(例如,进入丁字路交叉路口的场景、在窄路行驶的场景、在交叉路口进行右转或左转的场景等),一边决定从各摄像机获取的图像中的作为失真减轻处理的对象的一个以上的区域一边执行。但是,在以下的说明中,例如,以对车辆1的侧方(车辆的左侧)的204F的区域进行失真减轻处理的情况为一例进行说明。此外,在本处理中,从车辆1的后方观察的转换中心的朝向被设定为水平方向,转换中心的周围的区域被设定为与该区域对应的图像在失真减轻处理后成为沿水平方向延伸的矩形。
在S901中,控制装置2获取由鱼眼摄像机41~44中的鱼眼摄像机44拍摄到的图像。由鱼眼摄像机44拍摄到的图像与上述的图像300同样是失真大的图像。
在S902中,控制装置2指示ECU22执行基于由鱼眼摄像机44拍摄到的图像来识别车辆1的外界的目标物(遮挡物)的处理。成为识别的对象的车辆的外界的目标物是上述的防护栏、草等遮挡物。在本实施方式中设想的遮挡物(例如,处于行驶道路与人行道之间等)距车辆1的距离比较近,因此即使在使用由鱼眼摄像机44拍摄到的图像的情况下,也能够识别遮挡物的存在。遮挡物的识别能够通过使用将包含遮挡物的鱼眼摄像机的图像作为训练数据进行学习的、例如使用了公知的深度学习技术的模型来实现。若输入未知的鱼眼摄像机的图像,则学习完毕模型输出图像内的遮挡物的有无和该遮挡物的区域。模型能够输出一个以上存在遮挡物的区域。
在S903中,控制装置2判定在转换中心的周围的区域是否包含沿特定的方向(例如水平方向)延伸的遮挡物。控制装置2在判定为转换中心的周围的区域包含遮挡物的情况下,使处理进入S904,否则,使处理进入S906。控制装置2判定由学习模型识别出的遮挡物的形状是否是沿特定的方向(例如水平方向)延伸的遮挡物。是否为沿特定方向延伸的遮挡物例如可以根据图像内的遮挡物的区域的水平方向的长度是否为预先决定的长度以上来判定。
在S904中,控制装置2基于在S902中判定出的遮挡物的区域,判定在转换中心的周围的区域是否存在没有遮挡物的区域。例如,控制装置2在转换中心的周围的区域中的遮挡物以外的区域比预定的比例(例如,15%等)大的情况下,判定为存在没有遮挡物的区域。控制装置2在判定为存在没有遮挡物的区域的情况下,使处理进入S905,否则,使处理进入S908。
在S905中,控制装置2变更转换中心的周围的区域。控制装置2例如通过参照图5A、图5B以及图6说明的方法,使转换中心的周围的区域变化。即,在转换中心的周围的区域包含遮挡物的情况下,以使遮挡物以外的区域增加的方式,使转换中心的周围的区域变化。通过使用参照图5A、图5B以及图6说明的方法,在相对于沿水平方向延伸的遮挡物而沿铅垂方向延伸的区域(特别是比遮挡物靠上侧),能够容易地确保遮挡物以外的区域。
此时,控制装置2以使与变更前的转换中心的周围的区域对应的图像的大小和与变更后的转换中心的周围的区域对应的图像的大小相同的方式,使转换中心的周围的区域变化。这样,之后的失真减轻处理后的图像的大小在变更的前后相同,因此使用了该图像的图像识别处理中的负荷恒定。即,能够将针对各图像的处理时间控制在所要求的时间内,或者将消耗电力控制在预定水平内。
在S906中,控制装置2对转换中心的周围的区域执行失真减轻处理。通过S905的处理,例如,与转换中心周围的区域相对应的图像从在水平方向上较长的矩形(图像303)改变为在铅垂方向上较长的矩形(图像303b)。
在S907中,控制装置2基于进行了失真减轻处理的图像来识别外界的目标物。特别是,外界的目标物的识别是为了对遮挡物以外的区域来识别状况(为了识别交通参与者等的存在)而进行的。交通参与者、目标物的识别能够通过使用将包含作为识别对象的人物、目标物的图像(相当于失真修正后的图像)作为训练数据来学习的、例如使用了公知的深度学习技术的模型来实现。若输入未知的图像(失真减轻处理后的图像),则学习完毕模型输出图像内的识别对象的有无和该对象物的区域。模型能够输出一个以上存在识别对象的区域。
在S908中,控制装置2在(由于图像被遮挡物占据)成为对象的转换中心的周围的区域中,使识别外界的目标物的频度降低。例如,控制装置2使在车辆1的侧方(车辆的左侧)的204F的区域识别目标物的频度降低而使204L的区域的频度上升,或者使将车辆1的侧方(车辆的左侧)的图像用于目标物的频度降低。
在S909中,控制装置2判定是否结束动作,在继续动作的情况下使处理返回S901,否则结束本处理。
此外,在上述的说明中,以在S905中变更转换中心的周围的区域时使用图5A、图5B以及图6所示的变更方法的情况为例进行了说明。但是,也可以使用图7以及图8所示的方法来使转换中心的周围的区域变化。即,通过使转换中心的位置在与遮挡物的延伸方向垂直的方向上移动,从而使转换中心的周围的区域变化。
另外,不限于上述的方法,也可以使用其他的方法来使转换中心的周围的区域变化。例如,控制装置2也可以通过将转换中心的位置设定为不存在遮挡物的区域,来使转换中心的周围的区域所包含的遮挡物以外的区域增加。或者,控制装置2也可以将转换中心的周围的区域设定在由鱼眼摄像机拍摄到的图像中的未识别到遮挡物的区域内。即使这样,在应用失真减轻处理的图像中,(遮挡物的区域减少或消失)也能够进行精度更高的图像解析。
进一步而言,在上述的实施方式中,以针对由拍摄车辆1的侧方的摄像机(鱼眼摄像机42、44)拍摄的图像的处理为例进行了说明。但是,上述的处理也能够应用于拍摄车辆1的前方、后方的图像。即,在对车辆1的前方、后方进行拍摄的图像中包含沿水平方向延伸的遮挡物的情况下,能够以使得该遮挡物以外的区域变大的方式控制应用失真减轻处理的区域。
另外,上述的识别车辆的外界的处理也可以不在车辆1中执行全部的处理。例如,也可以在车辆1侧获取由鱼眼摄像机拍摄到的图像时,将所获取的图像发送到外部服务器(未图示),在该外部服务器中进行S902至S907的全部或一部分的处理,车辆1接收其处理结果。
如以上说明的那样,在本实施方式中,从广角摄像机(鱼眼摄像机)周期性地获取车辆的外界的图像,基于从广角摄像机获取的图像识别车辆的外界的目标物(遮挡物)。另外,在本实施方式中,针对来自广角摄像机的图像,控制预定的区域(转换中心的周围的区域)的设定,针对所设定的该预定的区域进行用于减轻图像的失真的失真减轻处理。此时,在本实施方式中,在遮挡物包含于预定的区域(转换中心的周围的区域)的情况下,以使遮挡物以外的区域增加的方式,使预定的区域(转换中心的周围的区域)变化。由此,在应用失真减轻处理的图像中,(遮挡物的区域减少)能够进行精度更高的图像解析。换言之,在使用了由安装有广角镜头的摄像机拍摄到的图像的目标物识别中,能够降低遮挡物的影响。
<实施方式的总结>
1.上述实施方式的控制装置(例如,2),其是具有拍摄装置(例如,41~44)的车辆(例如,1)的控制装置,
所述控制装置具有:
图像获取机构(例如,22,23、S901),其从拍摄装置周期性获取车辆的外界的图像;
第一识别机构(例如,2、22、23、S902),其基于从拍摄装置获取到的图像,识别车辆的外界的目标物;
区域控制机构(例如、2、22、23、S905),其控制针对从拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构(例如、2、22、23、S906),其针对所设定的预定的区域进行用于减轻图像的失真的失真减轻处理,
在由第一识别机构识别出的特定的目标物包含在预定的区域内的情况下,区域控制机构以使包含在预定的区域内的特定的目标物以外的区域增加的方式,使预定的区域变化(例如,S905)。
根据该实施方式,在使用了通过安装有广角镜头的摄像机所拍摄的图像的目标物识别中,能够降低遮挡物的影响。
2.在上述实施方式中,
在由拍摄装置获取到的图像的第一区域(例如,302)中不包含特定的目标物(例如,遮挡物)的情况下(例如,S903),区域控制机构将第一区域设定为预定的区域,在第一区域中包含特定的目标物的情况下(例如,S903~S905),区域控制机构以使包含在预定的区域内的特定的目标物以外的区域增加的方式,使预定的区域从第一区域(例如,302)变化为第二区域(例如,302b,302a)。
根据该实施方式,在不存在遮挡物的情况下,能够直接进行失真减轻处理,与此相对地,在存在遮挡物的情况下,能够降低遮挡物的影响。
3.在上述实施方式中,
在特定的目标物是沿第一方向延伸的遮挡物的情况下,区域控制机构以使与预定的区域对应的图像(例如,303b)成为沿相对于第一方向而垂直的第二方向较长的图像的方式,使预定的区域从第一区域(例如,302)变化为第二区域(例如,302b)。
根据该实施方式,在与沿特定方向延伸的遮挡物垂直的方向上延伸的区域中,能够容易确保遮挡物以外的区域。
4.在上述实施方式中,
在特定的目标物是沿水平方向延伸的遮挡物的情况下,区域控制机构以使沿水平方向较长的图像(例如,303b)成为沿铅垂方向较长的图像的方式,使预定的区域从第一区域(例如,302)变化为第二区域(例如,302b)。
根据该实施方式,在与沿水平方向延伸的遮挡物铅垂的方向上延伸的区域(尤其是比遮挡物靠上侧)中,能够容易确保遮挡物以外的区域。
5.在上述实施方式中,
区域控制机构以使与第一区域对应的图像(例如,303)的大小、和与第二区域对应的图像(例如,303b)的大小变得相同的方式,使预定的区域从第一区域变化为第二区域。
根据该实施方式,之后的失真减轻处理后的图像的大小在变更的前后相同,因此使用了该图像的图像识别处理中的负荷恒定。即,能够将针对各图像的处理时间控制在所要求的时间内,或者将消耗电力控制在预定水平内。
6.在上述实施方式中,
预定的区域(例如,302)是由从拍摄装置获取到的图像内所决定的转换中心(例如,301)规定的区域,
区域控制机构通过控制转换中心的位置(例如,图8的301,301a)来使预定的区域变化(例如,302a)。
根据该实施方式,通过将接近转换中心的区域设为转换对象,能够一边抑制成为失真减轻处理的对象的图像的失真,一边变更成为失真减轻处理的对象的区域。
7.在上述实施方式中,
区域控制机构以将转换中心设定于不存在特定的目标物的区域的方式,使预定的区域变化。
根据该实施方式,在应用失真减轻处理的区域中,能够(使遮挡物的区域降低或者消失)进行精度较高的图像解析。
8.在上述实施方式中,
拍摄装置具备鱼眼镜头(例如,41~44)。
根据该实施方式,能够通过一台的摄像机解析车辆的外界的宽范围的状况。
9.在上述实施方式中,
拍摄装置(例如,41~44)配置为拍摄车辆的前方、侧部以及后方中的至少一个方向的外界。
根据该实施方式,能够解析车辆的外界的各种的方向的状况。
10.在上述实施方式中,
控制装置还具有第二识别机构(例如、2、21~24),该第二识别机构基于减轻了失真的图像来识别车辆的外界。
根据该实施方式,能够确认更远的交通参与者、目标物的存在等进行更高精度的图像解析。
11.上述实施方式的控制装置(例如,2),其是具有拍摄装置((例如,41~44))的车辆(例如,1)的控制装置,其特征在于,
控制装置具有:
图像获取机构(例如,22、23、S901),其从拍摄装置周期性获取车辆的外界的图像;
识别机构(例如,2、22、23、S902),其基于从拍摄装置获取到的图像,识别车辆的外界的目标物;
区域控制机构(例如,2、22、23、S905),其控制针对从拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构(例如,2、22、23、S906),其针对所设定的预定的区域进行用于减轻图像的失真的失真减轻处理,
区域控制机构在由识别机构未识别出特定的目标物的区域设定预定的区域(例如,S905)。
根据该实施方式,在使用了通过安装有广角镜头的摄像机所拍摄的图像的目标物识别中,能够降低遮挡物的影响。
12.上述实施方式的车辆,是包括上述1至11中任一项所记载的控制装置的车辆(例如,1)。
根据该实施方式,在车辆中,在使用了通过安装有广角镜头的摄像机所拍摄的图像的目标物识别中,能够降低遮挡物的影响。
本发明不限于上述的实施方式,可以在本发明的主旨的范围内进行各种变形、变更。
Claims (14)
1.一种控制装置,其是具有拍摄装置的车辆的控制装置,其特征在于,
所述控制装置具有:
图像获取机构,其从所述拍摄装置周期性获取所述车辆的外界的图像;
第一识别机构,其基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制机构,其控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构,其针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在由所述第一识别机构识别出的特定的目标物包含在所述预定的区域内的情况下,所述区域控制机构以使包含在所述预定的区域内的所述特定的目标物以外的区域增加的方式,使所述预定的区域变化。
2.根据权利要求1所述的控制装置,其特征在于,
在由所述拍摄装置获取到的图像的第一区域中不包含所述特定的目标物的情况下,所述区域控制机构将所述第一区域设定为所述预定的区域,在所述第一区域中包含所述特定的目标物的情况下,所述区域控制机构以使包含在所述预定的区域内的所述特定的目标物以外的区域增加的方式,使所述预定的区域从所述第一区域变化为第二区域。
3.根据权利要求2所述的控制装置,其特征在于,
在所述特定的目标物是沿第一方向延伸的遮挡物的情况下,所述区域控制机构以使与所述预定的区域对应的图像成为沿相对于所述第一方向而垂直的第二方向较长的图像的方式,使所述预定的区域从所述第一区域变化为所述第二区域。
4.根据权利要求2所述的控制装置,其特征在于,
在所述特定的目标物是沿水平方向延伸的遮挡物的情况下,所述区域控制机构以使沿水平方向较长的图像成为沿铅垂方向较长的图像的方式,使所述预定的区域从所述第一区域变化为所述第二区域。
5.根据权利要求2所述的控制装置,其特征在于,
所述区域控制机构以使与所述第一区域对应的图像的大小、和与所述第二区域对应的图像的大小变得相同的方式,使所述预定的区域从所述第一区域变化为所述第二区域。
6.根据权利要求1所述的控制装置,其特征在于,
所述预定的区域是由从所述拍摄装置获取到的图像内所决定的转换中心规定的区域,
所述区域控制机构通过控制所述转换中心的位置来使所述预定的区域变化。
7.根据权利要求6所述的控制装置,其特征在于,所述区域控制机构以将所述转换中心设定于不存在所述特定的目标物的区域的方式,使所述预定的区域变化。
8.根据权利要求1所述的控制装置,其特征在于,所述拍摄装置具备鱼眼镜头。
9.根据权利要求1所述的控制装置,其特征在于,所述拍摄装置配置为拍摄所述车辆的前方、侧部以及后方中的至少一个方向的外界。
10.根据权利要求1所述的控制装置,其特征在于,所述控制装置还具有第二识别机构,该第二识别机构基于减轻了失真的图像来识别所述车辆的外界。
11.一种车辆,其是具有拍摄装置的车辆,其特征在于,
所述车辆具有:
图像获取机构,其从所述拍摄装置周期性获取所述车辆的外界的图像;
第一识别机构,其基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制机构,其控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构,其针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在由所述第一识别机构识别出的特定的目标物包含在所述预定的区域内的情况下,所述区域控制机构以使包含在所述预定的区域内的所述特定的目标物以外的区域增加的方式,使所述预定的区域变化。
12.一种控制装置,其是具有拍摄装置的车辆的控制装置,其特征在于,
所述控制装置具有:
图像获取机构,其从所述拍摄装置周期性获取所述车辆的外界的图像;
识别机构,其基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制机构,其控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理机构,其针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
所述区域控制机构在由所述识别机构未识别出特定的目标物的区域设定所述预定的区域。
13.一种控制方法,其是具有拍摄装置的车辆的控制方法,其特征在于,
所述控制方法具有:
图像获取步骤,在所述图像获取步骤中,从所述拍摄装置周期性获取所述车辆的外界的图像;
第一识别步骤,在所述第一识别步骤中,基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制步骤,在所述区域控制步骤中,控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理步骤,在所述处理步骤中,针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在所述区域控制步骤中,在所述第一识别步骤中识别出的特定的目标物包含在所述预定的区域内的情况下,以使所述预定的区域所包含的所述特定的目标物以外的区域增加的方式,使所述预定的区域变化。
14.一种控制方法,其是具有拍摄装置的车辆的控制方法,其特征在于,
所述控制方法具有:
图像获取步骤,在所述图像获取步骤中,从所述拍摄装置周期性获取所述车辆的外界的图像;
识别步骤,在所述识别步骤中,基于从所述拍摄装置获取到的图像,识别所述车辆的外界的目标物;
区域控制步骤,在所述区域控制步骤中,控制针对从所述拍摄装置获取到的图像而进行的预定的区域的设定;以及
处理步骤,在所述处理步骤中,针对所设定的所述预定的区域进行用于减轻图像的失真的失真减轻处理,
在所述区域控制步骤中,在所述识别步骤中未识别出特定的目标物的区域设定所述预定的区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-050327 | 2021-03-24 | ||
JP2021050327A JP2022148585A (ja) | 2021-03-24 | 2021-03-24 | 車両並びにその制御装置及び制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115123089A true CN115123089A (zh) | 2022-09-30 |
Family
ID=83364801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210272310.3A Pending CN115123089A (zh) | 2021-03-24 | 2022-03-18 | 车辆、控制装置及控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220309798A1 (zh) |
JP (1) | JP2022148585A (zh) |
CN (1) | CN115123089A (zh) |
-
2021
- 2021-03-24 JP JP2021050327A patent/JP2022148585A/ja active Pending
-
2022
- 2022-03-17 US US17/697,032 patent/US20220309798A1/en active Pending
- 2022-03-18 CN CN202210272310.3A patent/CN115123089A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022148585A (ja) | 2022-10-06 |
US20220309798A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110281930B (zh) | 车辆控制装置、车辆、车辆控制方法以及存储介质 | |
CN106205175B (zh) | 用于车辆的显示设备和车辆 | |
CN113246993B (zh) | 驾驶支援系统 | |
CN113460076B (zh) | 车辆控制装置 | |
CN111731318B (zh) | 车辆控制装置、车辆控制方法、车辆以及存储介质 | |
WO2021053763A1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
CN110281925B (zh) | 行驶控制装置、车辆以及行驶控制方法 | |
JP2006236094A (ja) | 障害物認識システム | |
US11299148B2 (en) | Travel control apparatus and vehicle | |
US11893715B2 (en) | Control device and control method for mobile object, storage medium, and vehicle | |
CN113170080A (zh) | 信息处理设备、信息处理方法和程序 | |
US20220292686A1 (en) | Image processing apparatus, image processing method, and computer-readable storage medium storing program | |
CN115447600A (zh) | 基于深度学习的车辆防拥堵方法、控制器和存储介质 | |
JP2020088604A (ja) | 走行制御装置、制御方法およびプログラム | |
CN115195600A (zh) | 控制装置、控制装置的动作方法以及存储介质 | |
CN115123089A (zh) | 车辆、控制装置及控制方法 | |
CN113492846A (zh) | 控制装置、控制方法以及存储程序的计算机可读取存储介质 | |
WO2020036044A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
CN111661064A (zh) | 车辆控制装置、车辆控制方法、车辆以及存储介质 | |
JP7181956B2 (ja) | 移動体の制御装置及び制御方法並びに車両 | |
CN115139912A (zh) | 移动体的控制装置、控制方法以及存储介质 | |
US11750936B2 (en) | Control device, operation method for control device, and storage medium | |
CN113511218B (zh) | 车辆控制装置、车辆、车辆控制方法以及存储介质 | |
US20220318960A1 (en) | Image processing apparatus, image processing method, vehicle control apparatus, and storage medium | |
EP4368450A1 (en) | Vehicle light control method, lighting system, and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |