CN117636294A - 距离推测装置及距离推测方法 - Google Patents
距离推测装置及距离推测方法 Download PDFInfo
- Publication number
- CN117636294A CN117636294A CN202311075582.5A CN202311075582A CN117636294A CN 117636294 A CN117636294 A CN 117636294A CN 202311075582 A CN202311075582 A CN 202311075582A CN 117636294 A CN117636294 A CN 117636294A
- Authority
- CN
- China
- Prior art keywords
- time
- camera
- interpolation
- vehicle
- peripheral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000002093 peripheral effect Effects 0.000 claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
提供距离推测装置及距离推测方法，无需测距用立体相机而可推测直至车辆周围的对象物体的距离。距离推测装置从由搭载于车辆的第1相机在第1时刻生成的第1周边图像确定第1部分区域。距离推测装置使用在先第2周边图像及后续第2周边图像生成与第1时刻对应的插值第2周边图像。距离推测装置推测与第1时刻对应的第2相机的插值位置。距离推测装置从第1部分区域及插值第2周边图像各自关于共同示出的对象物体检测1个以上的特征点，至少使用第1时刻的第1相机的位置和第2相机的插值位置的关系及第1部分区域的1个以上的特征点中的一个特征点的位置和插值第2周边图像中的与一个特征点对应的特征点的位置的关系推测车辆与对象物体间的距离。
Description
技术领域
本公开涉及推测从车辆至周边物体为止的距离的距离推测装置、距离推测方法以及距离推测用计算机程序。
背景技术
为了恰当地支援车辆的驾驶，重要的是恰当地掌握从车辆至周边物体为止的距离。在专利文献1中记载有一种车辆周边监视装置，推测从车辆至处于预定距离以内的对象物为止的距离，并跟踪对象物的位置。
现有技术文献
专利文献1：日本特开2013-54399号公报
发明内容
专利文献1记载的车辆周边监视装置根据由以使光轴平行的方式排列2台而配置于车辆内的2台相机(立体相机)分别摄像的同一对象物的图像部分的视差，推测从车辆至对象物为止的距离。即，根据专利文献1的车辆周边监视装置，为了推测从车辆至对象物为止的距离而需要搭载专用的立体相机，导致成本增加。要求无需立体相机那样的专用的硬件的距离推测装置。
本公开的目的在于，提供一种无需测距用的立体相机而能够推测直至车辆的周围的对象物体为止的距离的距离推测装置。
本公开所涉及的距离推测装置具备：确定部，从由搭载于车辆的具有第1摄像范围的第1相机在第1时刻生成的表示车辆的周边的状况的第1周边图像，确定与由搭载于车辆的具有比第1摄像范围狭小的第2摄像范围的第2相机在第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域、或者由第2相机在第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的第1部分区域；插值部，使用在先第2周边图像以及后续第2周边图像，生成与第1时刻对应的插值第2周边图像，使用第2时刻下的第2相机的位置及第3时刻下的第2相机的位置、或者第1时刻下的第1相机的位置，推测与第1时刻对应的第2相机的插值位置；检测部，从第1部分区域以及插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点；以及推测部，至少使用第1时刻下的所述第1相机的位置和第2相机的插值位置的关系、以及第1部分区域中的1个以上的特征点之中的一个特征点的位置和插值第2周边图像中的与所述一个特征点对应的特征点的位置的关系，推测车辆与对象物体之间的距离。
本公开所涉及的距离推测装置优选为还具备变换部，该变换部通过变更第1部分区域以及插值第2周边图像中的至少一方的分辨率，以使第1部分区域以及插值第2周边图像具有同一分辨率的方式进行变换。
本公开提供一种距离推测方法，包括：从由搭载于车辆的具有第1摄像范围的第1相机在第1时刻生成的表示车辆的周边的状况的第1周边图像，确定与由搭载于车辆的具有比第1摄像范围狭小的第2摄像范围的第2相机在第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域、或者由第2相机在第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的第1部分区域；使用在先第2周边图像以及后续第2周边图像，生成与第1时刻对应的插值第2周边图像，使用第2时刻下的第2相机的位置及第3时刻下的第2相机的位置、或者第1时刻下的第1相机的位置，推测与第1时刻对应的第2相机的插值位置；从第1部分区域以及插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点；至少使用第1时刻下的第1相机的位置和第2相机的插值位置的关系、以及第1部分区域中的1个以上的特征点之中的一个特征点的位置和插值第2周边图像中的与一个特征点对应的特征点的位置的关系，推测车辆与对象物体之间的距离。
本公开所涉及的储存于非临时性的计算机可读介质的距离推测用计算机程序使计算机执行：从由搭载于车辆的具有第1摄像范围的第1相机在第1时刻生成的表示所述车辆的周边的状况的第1周边图像，确定与由搭载于车辆的具有比第1摄像范围狭小的第2摄像范围的第2相机在第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域、或者由第2相机在第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的第1部分区域；使用在先第2周边图像以及后续第2周边图像，生成与第1时刻对应的插值第2周边图像，使用第2时刻下的第2相机的位置及第3时刻下的第2相机的位置、或者第1时刻下的第1相机的位置，推测与第1时刻对应的第2相机的插值位置；从第1部分区域以及插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点；至少使用第1时刻下的第1相机的位置和第2相机的插值位置的关系、以及第1部分区域中的1个以上的特征点之中的一个特征点的位置和插值第2周边图像中的与一个特征点对应的特征点的位置的关系，推测车辆与对象物体之间的距离。
根据本公开所涉及的距离推测装置，无需测距用的立体相机而能够推测直至车辆的周围的对象物体为止的距离。
附图说明
图1是安装有距离推测装置的车辆的概略结构图。
图2是距离推测装置的硬件示意图。
图3是距离推测装置具有的处理器的功能框图。
图4是说明周边图像的处理的例子的示意图。
图5是距离推测处理的流程图。
(符号说明)
1：车辆；5：距离推测装置；531：确定部；532：插值部；533：变换部；534：检测部；535：推测部。
具体实施方式
以下，参照附图，详细说明无需测距用的立体相机而能够推测直至车辆的周围的对象物体为止的距离的距离推测装置。距离推测装置从由搭载于车辆的第1相机在第1时刻生成的表示车辆的周边的状况的第1周边图像确定第1部分区域。第1部分区域是与由搭载于车辆的第2相机在第1时刻以前的第2时刻生成的在先第2周边图像(preceding secondsurrounding image)中示出的区域对应的区域、或者与由第2相机在第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的区域。第1相机具有第1摄像范围，第2相机具有比第1摄像范围小的第2摄像范围。接下来，距离推测装置使用在先第2周边图像以及后续第2周边图像，生成与第1时刻对应的插值第2周边图像。另外，距离推测装置使用第2时刻下的第2相机的位置以及第3时刻下的第2相机的位置、或者第1时刻下的第1相机的位置，生成与第1时刻对应的第2相机的插值位置。接下来，距离推测装置从第1部分区域以及插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点。并且，距离推测装置至少使用第1时刻下的第1相机的位置和第2相机的插值位置的关系、以及第1部分区域中的1个以上的特征点之中的一个特征点的位置和插值第2周边图像中的一个特征点的位置的关系，推测车辆与对象物体之间的距离。
图1是安装有距离推测装置的车辆的概略结构图。
车辆1具有广角相机2、望远相机(telescopic camera)3、GNSS(GlobalNavigation Satellite System，全球导航卫星系统)接收机4以及距离推测装置5。广角相机2、望远相机3及GNSS接收机4和距离推测装置5经由依照控制器局域网这样的标准的车内网络可通信地连接。
广角相机2是用于生成包括表示车辆的周边的状况的第1周边图像的图像数据的第1相机的一个例子。广角相机2具有由CCD或C-MOS等对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、以及对该二维检测器上的成为摄像对象的区域的像进行成像的成像光学系统。广角相机2能够对第1摄像范围、例如从成像光学系统的光轴起在水平方向上±30度的范围进行摄像。在例如车厢内的前方上部，朝向前方而配置广角相机2。广角相机2具有与例如由GNSS接收机4提供的时刻同步的时钟。广角相机2以预定的摄像周期(例如1/30秒～1/10秒)经由挡风玻璃对车辆1的周边的状况进行摄像，输出与周边的状况对应的图像数据。能够在获取处于从车辆1起的距离比较小的位置的物体的详细信息时，使用由广角相机2输出的图像数据。
望远相机3是用于生成包括表示车辆的周边的状况的第2周边图像的图像数据的第2相机的一个例子。望远相机3具有由CCD或C-MOS等对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、以及对该二维检测器上的成为摄像对象的区域的像进行成像的成像光学系统。望远相机3能够对比第1摄像范围狭小的第2摄像范围、例如从成像光学系统的光轴起在水平方向上±15度的范围进行摄像。在例如车厢内的前方上部，以与广角相机2左右排列的方式朝向前方配置望远相机3。望远相机3具有与例如由GNSS接收机4提供的时刻同步的时钟。望远相机3以预定的摄像周期(例如1/30秒～1/10秒)经由挡风玻璃对车辆1的周边的状况进行摄像，输出与周边的状况对应的图像数据。能够在获取处于从车辆1起的距离比较大的位置的物体的信息时，使用由望远相机3输出的图像数据。
也可以代替车辆1的前方而朝向车辆1的后方或侧方、或者除了车辆1的前方以外还朝向车辆1的后方或侧方，以能够对同一对象物进行摄像的方式左右排列配置有广角相机2以及望远相机3。
GNSS接收机4是测位传感器的一个例子，通过未图示的GNSS天线按照预定的周期接收来自GNSS卫星的GNSS信号，根据接收到的GNSS信号对车辆1的自身位置进行测位。GNSS接收机4按照预定的周期，将表示基于GNSS信号的车辆1的自身位置的测位结果的测位信号经由车内网络输出到距离推测装置5。
距离推测装置5是具有通信接口、存储器以及处理器的ECU(Electronic ControlUnit，电子控制单元)。距离推测装置5经由通信接口从广角相机2以及望远相机3接收图像。距离推测装置使用接收到的图像，推测车辆1与存在于车辆1的周边的物体之间的距离。
图2是距离推测装置5的硬件示意图。距离推测装置5具备通信接口51、存储器52以及处理器53。
通信接口51是通信部的一个例子，具有用于将距离推测装置5连接到车内网络的通信接口电路。通信接口51将接收到的数据提供给处理器53。另外，通信接口51将从处理器53提供的数据输出到外部。
存储器52是存储部的一个例子，具有易失性的半导体存储器以及非易失性的半导体存储器。存储器52保存由处理器53执行的处理中使用的各种数据、例如广角相机2及望远相机3各自的安装位置、安装方向、以及成像光学系统的焦距、周边图像的像素尺寸这样的内部参数、用于对被用作从图像检测物体的特征点的识别器的神经网络进行规定的参数群(层数、层结构、内核、权重系数等)等。另外，存储器52保存各种应用程序、例如执行距离推测处理的距离推测程序等。
处理器53是控制部的一个例子，具有1个以上的处理器及其外围电路。处理器53也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。
图3是距离推测装置5具有的处理器53的功能框图。
在距离推测装置5的处理器53中，作为功能模块而具有确定部531、插值部532、变换部533、检测部534以及推测部535。处理器53具有的这些各部是通过在处理器53上执行的程序来安装的功能模块。实现处理器53的各部的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的计算机可读取的可移动型的记录介质的形式来提供。或者，处理器53具有的这些各部也可以作为独立的集成电路、微处理器或者固件而安装到距离推测装置5。
确定部531从由广角相机2在第1时刻生成的表示车辆1的周边的状况的第1周边图像确定第1部分区域。第1部分区域是与由望远相机3在第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域对应的区域、或者与由望远相机3在第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的区域。
图4是示出周边图像的处理的例子的示意图。
广角相机2在第1时刻t1生成第1周边图像SP1。望远相机3在第1时刻t1以前的第2时刻t2生成在先第2周边图像SP2p，在第1时刻t1以后的第3时刻t3生成后续第2周边图像SP2s。
确定部531参照保存于存储器52的广角相机2及望远相机3各自的安装位置、安装方向以及内部参数。另外，确定部531计算第2时刻t2与第1时刻t1之间的车辆1的移动量、或者第1时刻t1与第3时刻t3之间的车辆1的移动量。
确定部531根据第1时刻t1、第2时刻t2以及第3时刻t3各自下的车辆1的位置，计算第2时刻t2与第1时刻t1之间的车辆1的移动量、或者第1时刻t1与第3时刻t3之间的车辆1的移动量。确定部531根据从GNSS接收机4获取的与第2时刻t2以及第3时刻t3分别对应的测位信号，确定第2时刻t2以及第3时刻t3各自下的车辆1的位置(GNSS测位)。此外，确定部531也可以通过从搭载于车辆1且存储高精度地图信息的存储装置(未图示)获取与和从GNSS接收机4获取的测位信号对应的位置的周边的地面物体有关的信息，并与在第1周边图像SP1、在先第2周边图像SP2p或者后续第2周边图像SP2s中示出的地面物体进行对照，从而确定(定位处理)车辆1的位置(广角相机2或者望远相机3的位置)。
另外，确定部531也可以不依赖于第1时刻t1、第2时刻t2以及第3时刻t3各自下的车辆1的位置，而是计算第2时刻t2与第1时刻t1之间的车辆1的移动量、或者第1时刻t1与第3时刻t3之间的车辆1的移动量。例如，确定部531能够在进行移动的期间的多个时刻，使用从搭载于车辆1的加速度传感器、角速度传感器等得到的表示车辆1的动作的数据(里程信息)，计算该移动中的车辆1的移动量。
确定部531根据各相机的参数以及车辆1的移动量，确定由望远相机3在第2时刻t2获取的在先第2周边图像SP2p中示出的范围在第1时刻t1在广角相机2的视场中占据的区域，从而从第1周边图像SP1确定第1部分区域A1。另外，确定部531根据各相机的参数以及车辆1的移动量，确定由望远相机3在第3时刻t3获取的后续第2周边图像SP2s中示出的范围在第1时刻t1在广角相机2的视场中占据的区域，从而从第1周边图像SP1确定第1部分区域A1。
返回到图3，插值部532使用在先第2周边图像SP2p以及后续第2周边图像SP2s，生成与第1时刻t1对应的插值第2周边图像SP2i。另外，插值部532使用第2时刻t2下的望远相机3的位置和第3时刻t3下的望远相机3的位置，生成与第1时刻t1对应的望远相机3的插值位置。
插值部532使用例如块匹配法，求出将在先第2周边图像SP2p以及后续第2周边图像SP2s进行分割而成的预定尺寸(例如16像素×16像素)的块各自的运动矢量。并且，插值部532在根据第2时刻t2和第1时刻t1的时间间隔以及第1时刻t1和第3时刻t3的时间间隔来分配运动矢量而得到的位置处，配置在先第2周边图像SP2p或者后续第2周边图像SP2s的对应的块，从而生成插值第2周边图像SP2i。
插值部532从确定部531获取第2时刻t2以及第3时刻t3各自下的车辆1的位置。插值部532根据第2时刻t2和第1时刻t1的时间间隔以及第1时刻t1和第3时刻t3的时间间隔来分配第2时刻t2以及第3时刻t3各自下的车辆1的位置，从而推测与第1时刻t1对应的车辆1的位置。并且，插值部532使用所获取的车辆1的位置示出的车辆1的预定位置与保存于存储器52的望远相机3的安装位置的关系，推测与第1时刻t1对应的望远相机3的插值位置。所获取的车辆1的位置示出的车辆1的预定位置在通过GNSS测位来确定的情况下，是例如GNSS天线的位置。另外，所获取的车辆1的位置示出的车辆1的预定位置在通过定位处理来确定的情况下，是例如广角相机2的位置。不论是哪种情况，所获取的车辆1的位置示出的车辆1的预定位置都可以以表示车辆1中的特定的位置(例如驾驶席的位置)的方式校正。另外，在通过定位处理获取望远相机3的位置作为车辆1的位置的情况下，无需进行使用了所获取的车辆1的预定位置与望远相机3的安装位置的关系的望远相机3的插值位置的推测。此外，在确定部531不依赖于车辆1的位置而确定车辆1的移动量的情况下，插值部532通过执行记载为确定部531的动作的使用从GNSS接收机4获取的测位信号的处理、或者使用包含于高精度地图信息的地面物体的处理，来确定车辆1的位置即可。
插值部532也可以根据保存于存储器52的广角相机2以及望远相机3各自的安装位置，将以第1时刻t1下的广角相机2的位置为基准的望远相机3的相对位置推测为与第1时刻t1对应的望远相机3的插值位置。在该情况下，插值部532获取广角相机2的位置作为基于定位处理的车辆1的位置。
变换部533通过依照预定的上采样方法或者下采样方法来变更第1部分区域A1以及插值第2周边图像SP2i中的至少一方的分辨率，从而以使第1部分区域A1以及插值第2周边图像SP2i各自具有同一分辨率的方式进行变换。
在第1部分区域A1以及插值第2周边图像SP2i各自不用变换而具有同一分辨率的情况下，无需通过变换部533执行变换。因此，在第1部分区域A1和插值第2周边图像SP2i(即，在先第2周边图像SP2p以及后续第2周边图像SP2s)具有同一分辨率的车辆1中，距离推测装置5也可以不具有变换部533。
检测部534从第1部分区域A1以及插值第2周边图像SP2i各自中，关于共同地示出的对象物体检测1个以上的特征点。
检测部534例如通过将第1部分区域A1以及插值第2周边图像SP2i输入到为了从图像检测特征点而预先学习的识别器，从而关于存在于车辆1的周边的对象物体(例如其他车辆)，检测1个以上的特征点(例如轮胎的接地点)。
识别器例如可以是具有从输入侧朝向输出侧串联地连接的多个卷积层的卷积神经网络(CNN)。通过使用表示成为检测对象的预定的物体且对特征点附加了标签的多个图像作为教师数据(teacher data)并输入到CNN来预先进行学习，CNN作为检测对象物的特征点的识别器而进行动作。
另外，检测部534也可以依照哈里斯角检测器(Harris corner detector)、尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)这样的特征点抽出方法，从第1部分区域A1以及插值第2周边图像SP2i分别抽出特征点。
在图4所示的例子中，检测部534从第1部分区域A1检测包括特征点FP1的特征点，从插值第2周边图像SP2i检测包括与特征点FP1对应的特征点FP2i的特征点。
推测部535至少使用第1时刻下的广角相机2的位置和望远相机3的插值位置的关系、以及第1部分区域A1中的1个以上的特征点之中的一个特征点的位置和插值第2周边图像SP2i中的一个特征点的位置的关系，推测车辆1与对象物体之间的距离。
例如，推测部535根据第1时刻下的广角相机2的位置和望远相机3的插值位置的关系，计算广角相机2与望远相机3之间的距离。另外，推测部535对将第1部分区域A1和插值第2周边图像SP2i进行了重叠时的特征点FP1和特征点FP2i的图像上的间隔(像素数)乘以像素尺寸来计算视差。并且，推测部535通过将广角相机2与望远相机3之间的距离和望远相机3的光学系统的焦距的乘积除以视差，从而计算望远相机3与特征点FP1(或者特征点FP2i)之间的距离，推测为车辆1与对象物体之间的距离。
图5是距离推测处理的流程图。距离推测装置5在车辆1行驶的期间，按照预定的时间间隔(例如1/10秒间隔)反复执行处理。
首先，距离推测装置5的确定部531从由广角相机2在第1时刻t1生成的第1周边图像SP1确定第1部分区域A1(步骤S1)。
接下来，距离推测装置5的插值部532使用由望远相机3在第2时刻t2生成的在先第2周边图像SP2p、以及在第3时刻t3生成的后续第2周边图像SP2s，生成与第1时刻t1对应的插值第2周边图像SP2i。另外，插值部532使用第2时刻t2下的望远相机3的位置和第3时刻t3下的望远相机3的位置，生成与第1时刻t1对应的望远相机3的插值位置(步骤S2)。
接下来，距离推测装置5的变换部533通过变更第1部分区域A1以及插值第2周边图像SP2i中的至少一方的分辨率，以使第1部分区域A1以及插值第2周边图像SP2i各自具有同一分辨率的方式进行变换(步骤S3)。
接下来，距离推测装置5的检测部534从第1部分区域A1以及插值第2周边图像SP2i各自中，关于共同地示出的对象物体检测1个以上的特征点(步骤S4)。
距离推测装置5的推测部535至少使用第1时刻t1下的广角相机2的位置和望远相机3的插值位置的关系、以及第1部分区域A1中的1个以上的特征点之中的一个特征点的位置和插值第2周边图像SP2i中的一个特征点的位置的关系，推测车辆1与对象物体之间的距离(步骤S5)，结束距离推测处理。
通过这样执行距离推测处理，距离推测装置5无需测距用的立体相机，而能够以恰当的精度来推测直至车辆的周围的对象物体为止的距离。
距离推测装置5将推测出的车辆1与对象物体之间的距离发送给向车辆1的引擎、刹车、方向盘这样的行驶机构发送控制信号的行驶控制装置。行驶控制装置能够使用推测出的车辆1与对象物体之间的距离，以使车辆1与车辆1的周边的物体之间的距离成为预定以上的方式控制车辆1的行驶。
根据变形例，检测部534代替从插值第2周边图像SP2i检测特征点、或者除了从插值第2周边图像SP2i检测特征点以外，从在先第2周边图像SP2p以及后续第2周边图像SP2s分别检测特征点。并且，推测部535根据从在先第2周边图像SP2p以及后续第2周边图像SP2s分别检测出的特征点的位置，推测假设由望远相机3在第1时刻t1生成了图像的情况的该图像(与插值第2周边图像SP2i相当)示出的特征点的位置。推测部535使用推测出的特征点的位置，推测车辆1与对象物体之间的距离。在该情况下，插值部532也可以不生成插值第2周边图像SP2i。
应理解本领域技术人员不脱离本发明的精神以及范围而能够对本发明实施各种变更、置换以及修正。
Claims (4)
1.一种距离推测装置，具备：
确定部，从由搭载于车辆的具有第1摄像范围的第1相机在第1时刻生成的表示所述车辆的周边的状况的第1周边图像，确定与由搭载于所述车辆的具有比所述第1摄像范围狭小的第2摄像范围的第2相机在所述第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域、或者由所述第2相机在所述第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的第1部分区域；
插值部，使用所述在先第2周边图像以及所述后续第2周边图像，生成与所述第1时刻对应的插值第2周边图像，使用所述第2时刻下的所述第2相机的位置及所述第3时刻下的所述第2相机的位置、或者所述第1时刻下的所述第1相机的位置，推测与所述第1时刻对应的所述第2相机的插值位置；
检测部，从所述第1部分区域以及所述插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点；以及
推测部，至少使用所述第1时刻下的所述第1相机的位置和所述第2相机的插值位置的关系、以及所述第1部分区域中的所述1个以上的特征点之中的一个特征点的位置和所述插值第2周边图像中的与所述一个特征点对应的特征点的位置的关系，推测所述车辆与所述对象物体之间的距离。
2.根据权利要求1所述的距离推测装置，其中，
所述距离推测装置还具备变换部，该变换部通过变更所述第1部分区域以及所述插值第2周边图像中的至少一方的分辨率，以使所述第1部分区域以及所述插值第2周边图像具有同一分辨率的方式进行变换。
3.一种距离推测方法，包括：
从由搭载于车辆的具有第1摄像范围的第1相机在第1时刻生成的表示所述车辆的周边的状况的第1周边图像，确定与由搭载于所述车辆的具有比所述第1摄像范围狭小的第2摄像范围的第2相机在所述第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域、或者由所述第2相机在所述第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的第1部分区域；
使用所述在先第2周边图像以及所述后续第2周边图像，生成与所述第1时刻对应的插值第2周边图像，使用所述第2时刻下的所述第2相机的位置及所述第3时刻下的所述第2相机的位置、或者所述第1时刻下的所述第1相机的位置，推测与所述第1时刻对应的所述第2相机的插值位置；
从所述第1部分区域以及所述插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点；
至少使用所述第1时刻下的所述第1相机的位置和所述第2相机的插值位置的关系、以及所述第1部分区域中的所述1个以上的特征点之中的一个特征点的位置和所述插值第2周边图像中的所述一个特征点的位置的关系，推测所述车辆与所述对象物体之间的距离。
4.一种非临时性的计算机可读介质，储存有距离推测用计算机程序，该距离推测用计算机程序用于使计算机执行：
从由搭载于车辆的具有第1摄像范围的第1相机在第1时刻生成的表示所述车辆的周边的状况的第1周边图像，确定与由搭载于所述车辆的具有比所述第1摄像范围狭小的第2摄像范围的第2相机在所述第1时刻以前的第2时刻生成的在先第2周边图像中示出的区域、或者由所述第2相机在所述第1时刻以后的第3时刻生成的后续第2周边图像中示出的区域对应的第1部分区域；
使用所述在先第2周边图像以及所述后续第2周边图像，生成与所述第1时刻对应的插值第2周边图像，使用所述第2时刻下的所述第2相机的位置及所述第3时刻下的所述第2相机的位置、或者所述第1时刻下的所述第1相机的位置，推测与所述第1时刻对应的所述第2相机的插值位置；
从所述第1部分区域以及所述插值第2周边图像各自中，关于共同地示出的对象物体检测1个以上的特征点；
至少使用所述第1时刻下的所述第1相机的位置和所述第2相机的插值位置的关系、以及所述第1部分区域中的所述1个以上的特征点之中的一个特征点的位置和所述插值第2周边图像中的所述一个特征点的位置的关系，推测所述车辆与所述对象物体之间的距离。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022134393A JP2024031077A (ja) | 2022-08-25 | 2022-08-25 | 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム |
| JP2022-134393 | 2022-08-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117636294A true CN117636294A (zh) | 2024-03-01 |
Family
ID=89996718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311075582.5A Pending CN117636294A (zh) | 2022-08-25 | 2023-08-24 | 距离推测装置及距离推测方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240070909A1 (zh) |
| JP (1) | JP2024031077A (zh) |
| CN (1) | CN117636294A (zh) |
-
2022
- 2022-08-25 JP JP2022134393A patent/JP2024031077A/ja active Pending
-
2023
- 2023-06-13 US US18/209,271 patent/US20240070909A1/en active Pending
- 2023-08-24 CN CN202311075582.5A patent/CN117636294A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024031077A (ja) | 2024-03-07 |
| US20240070909A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107567412B (zh) | 利用汽车相机使用车辆运动数据的对象位置测量 | |
| CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
| US11023788B2 (en) | Systems and methods for estimating future paths | |
| US10713506B2 (en) | Vehicle vision system with 3D registration for distance estimation | |
| CN108692719B (zh) | 物体检测装置 | |
| CN107121132B (zh) | 求取车辆环境图像的方法和设备及识别环境中对象的方法 | |
| US11501452B2 (en) | Machine learning and vision-based approach to zero velocity update object detection | |
| CN105716625B (zh) | 用于自动地检测飞行器的监测传感器的失准的方法和系统 | |
| US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
| JP2008282386A (ja) | 物体検出装置、物体検出方法及び物体検出プログラム | |
| CN114600417A (zh) | 同步装置、同步方法以及同步程序 | |
| US10706589B2 (en) | Vision system for a motor vehicle and method of controlling a vision system | |
| JP6988873B2 (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
| CN113091756A (zh) | 位置推定装置、以及位置推定方法 | |
| KR102195040B1 (ko) | 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 | |
| JP7183729B2 (ja) | 撮影異常診断装置 | |
| JP2021193340A (ja) | 自己位置推定装置 | |
| CN116892949A (zh) | 地上物检测装置、地上物检测方法以及地上物检测用计算机程序 | |
| CN117636294A (zh) | 距离推测装置及距离推测方法 | |
| US20240167823A1 (en) | Autonomous traveling vehicle, and own-position estimating method for autonomous traveling vehicle | |
| JP2018120303A (ja) | 物体検出装置 | |
| JP7269130B2 (ja) | 画像処理装置 | |
| AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
| JP2020042716A (ja) | 異常検出装置および異常検出方法 | |
| US20220300744A1 (en) | Information processing device and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |