CN112470456A - 铁路车辆用摄像系统 - Google Patents

铁路车辆用摄像系统 Download PDF

Info

Publication number
CN112470456A
CN112470456A CN201980048961.0A CN201980048961A CN112470456A CN 112470456 A CN112470456 A CN 112470456A CN 201980048961 A CN201980048961 A CN 201980048961A CN 112470456 A CN112470456 A CN 112470456A
Authority
CN
China
Prior art keywords
camera
region
railway vehicle
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980048961.0A
Other languages
English (en)
Other versions
CN112470456B (zh
Inventor
小林广幸
高桥雄介
二神拓也
堀江胜大
濑户直人
山崎世支明
服部阳平
伊藤博章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Publication of CN112470456A publication Critical patent/CN112470456A/zh
Application granted granted Critical
Publication of CN112470456B publication Critical patent/CN112470456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K9/00—Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
    • B61K9/08—Measuring installations for surveying permanent way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Measurement Of Optical Distance (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

铁路车辆用摄像系统具备第一摄像部和第二摄像部。第一摄像部设在开头的铁路车辆的前端部，能够取得铁路车辆的进行方向的第一区域中的立体图像。第二摄像部设在前端部，能够对至少包含比第一区域靠远方的远方区域的第二区域进行摄像，能够取得比第一摄像部的分辨率高的高分辨率图像。

Description

铁路车辆用摄像系统
技术领域
本发明的实施方式涉及铁路车辆用摄像系统。
背景技术
以往，作为在铁路车辆的行驶中以线路的检查或存在于该线路内的障碍物(需要关注的关注物)的检测等为目的而对铁路车辆的进行方向的区域进行摄像的摄像装置，提出了各种使用立体照相机的系统。这样的立体照相机主要被用作通过在驾驶员搭乘而实际进行驾驶的铁路车辆中辅助地进行障碍物的检测、及该障碍物是否给铁路车辆的运行带来影响等的判定，从而实现运行的安全性提高的系统。
现有技术文献
专利文献
专利文献1：日本特开2001－242521号公报
发明内容
发明要解决的课题
近年来，在铁路车辆中也进行了各种用来实现自动行驶的研究。因此，如果能够提供能可靠地进行障碍物检测且直到远方的区域都能进行障碍物检测的铁路车辆用摄像系统，则是有意义的。
用来解决课题的手段
有关实施方式的铁路车辆用摄像系统具备第一摄像部和第二摄像部。第一摄像部设在开头的铁路车辆的前端部，能够取得铁路车辆的进行方向的第一区域中的立体图像。第二摄像部设在前端部，能够对至少包含比第一区域靠远方的远方区域的第二区域进行摄像，能够取得比第一摄像部的分辨率高的高分辨率图像。
附图说明
图1是表示包括有关实施方式的铁路车辆用摄像系统的铁路车辆的前部的结构的例示性且示意性的图。
图2是用来说明在有关实施方式的铁路车辆用摄像系统的摄像单元中包含的作为第一摄像部的第1照相机和第2照相机、以及作为第二摄像部的第3照相机的位置关系的例示性且示意性的图。
图3是用来说明有关实施方式的铁路车辆用摄像系统的结构的例示性且示意性的框图。
图4是用来说明有关实施方式的铁路车辆用摄像系统的由第一摄像部摄像的第一区域和由第二摄像部摄像的第二区域的位置关系的例示性且示意性的图。
图5是表示有关实施方式的铁路车辆用摄像系统的障碍物等的检测处理的流程的例示性且示意性的流程图。
图6是表示图5的流程图的立体图像处理的流程的例示性且示意性的流程图。
具体实施方式
以下，基于附图说明实施方式。以下记载的实施方式的结构及由该结构带来的作用及结果(效果)只不过是一例，并不限于以下的记载内容。
图1是表示有关实施方式的铁路车辆用摄像系统100的结构的例示性且示意性的图。如图1所示，铁路车辆用摄像系统100搭载于在由一对轨道构成的线路R上沿着进行方向D行驶的铁路车辆RV上。
此外，如图1所示，铁路车辆用摄像系统100具有摄像单元10、照相机控制部12、图像处理部14和输出部16。
摄像单元10设置在铁路车辆RV的前端部(例如开头的铁路车辆RV的驾驶席等)，对铁路车辆RV的进行方向D的区域(前方区域)进行摄像。在由摄像单元10得到的摄像图像中包含线路R。本实施方式的摄像单元10由能够取得铁路车辆RV的进行方向D的第一区域中的立体图像的第一摄像部18(立体照相机)、和能够对至少包含比该第一区域更远方的远方区域的第二区域进行摄像的第二摄像部20(单目照相机)构成。
图2是示意地表示摄像单元10中包含的第一摄像部18及第二摄像部20的配置关系的一例的图。第一摄像部18及第二摄像部20例如被支承部件22(支承板及容纳盒等)固定，以使相互的位置关系不会因铁路车辆RV的行驶时的振动等而变化。
在本实施方式中，第一摄像部18作为一例而由在铁路车辆RV的车宽方向上隔开规定的间隔配置的第1照相机10a和第2照相机10b构成。第1照相机10a及第2照相机10b例如是内置CCD(Charge Coupled Device：电荷耦合器件)或CIS(CMOS image sensor：CMOS图像传感器)等的摄像元件的数字照相机，能够将所谓的“HD画质”的运动图像数据(摄像图像数据)以规定的帧速率输出。
第二摄像部20由相对于在车宽方向上排列的第1照相机10a及第2照相机10b、例如配置在第1照相机10a和第2照相机10b的中间位置的上方的、能够拍摄比第一摄像部18(第1照相机10a及第2照相机10b)分辨率更高的高分辨率图像的第3照相机10c构成。第3照相机10c例如是内置CCD或CIS等的摄像元件的数字照相机，能够将所谓的“4K画质”的运动图像数据(摄像图像数据)以规定的帧速率输出。
图3是用来说明铁路车辆用摄像系统100的结构的例示性且示意性的框图。照相机控制部12、图像处理部14等的功能模块例如可以构成为具有处理器及存储器等的硬件的计算机。更具体地讲，通过铁路车辆用摄像系统100的处理器将存储在存储部等的存储器中的程序读出并执行，实现各功能模块。另外，照相机控制部12及图像处理部14等的功能模块也可以由专用的硬件(电路)实现。
第1照相机10a、第2照相机10b、第3照相机10c由照相机控制部12控制。照相机控制部12在进行摄像的情况下，对于第1照相机10a、第2照相机10b、第3照相机10c，例如除了同步信号以外，还提供对曝光或快门速度、白平衡等进行控制的信号。
图4是用来说明由第一摄像部18(第1照相机10a、第2照相机10b)摄像的第一区域24和由第二摄像部20(第3照相机10c)拍摄的第二区域26的位置关系的例示性且示意性的图。图4表示在线路R上行驶的铁路车辆RV(未图示)朝向存在于前方的车站的站台28的状态。另外，如图4所示，在本实施方式的铁路车辆用摄像系统100的情况下，设定第一摄像部18及第二摄像部20的光轴的方向，以使第二摄像部20拍摄的第二区域26的一部分与第一摄像部18拍摄的第一区域24的一部分重叠。即，第二区域26将不包含在第一区域24中的比第一区域24更远方的远方区域26a(远区)包含在摄像范围中，并且将在比远方区域靠近前侧的与第一区域24重叠的近前区域26b(近区)也包含在摄像范围中。
图像处理部14对从第1照相机10a、第2照相机10b、第3照相机10c取得的各摄像图像数据(图像信号)实施各种图像处理。并且，图像处理部14进行包含在第一区域24中的线路R的检测、以及线路R上或线路R周边的规定范围以内的关注对象物体(障碍物等)的有无检测及到该关注对象物体的距离检测。同样，图像处理部14进行包含在第二区域26的远方区域26a中的线路R的检测及线路R上或线路R周边的规定范围以内的关注对象物体(障碍物等)的有无检测、以及到该关注对象物体的距离的推测处理等的物体检测处理。
如上述那样，第1照相机10a及第2照相机10b在铁路车辆RV的车宽方向上被分隔而配置，被设定为以第一区域24为摄像范围，并且构成为，通过同步信号而以相同的定时执行相同的第一区域24(包含在第一区域24中的相同的对象物)的摄像。结果，图像处理部14能够由第1照相机10a及第2照相机10b取得相同场景的立体图像(第1立体图像)。因而，图像处理部14能够使用周知的立体匹配技术或三角测量技术，基于所取得的第1立体图像的视差，计算到包含在第一区域24中的对象物的距离。例如，在第1照相机10a、第2照相机10b是能够以“HD画质”进行摄像的“HD照相机”的情况下，第一区域24例如能够执行以铁路车辆RV的前方200m左右以内为处理对象范围的足够实用的距离测量。
图像处理部14能够使用周知的线路R的检测技术，根据由第1照相机10a或第2照相机10b拍摄的摄像图像来检测线路R。图像处理部14例如将摄像图像划分为多个像素组(检测区、搜索区)，按照每个该像素组，基于可能成为表示基于规定的基准的线路R类似度的尺度的特征量(例如，关于亮度的特征)来检测线路R。另外，铁路车辆RV的第1照相机10a及第2照相机10b的固定位置是已知的。此外，铁路车辆RV在线路R上行驶。因而，第1照相机10a及第2照相机10b摄像的第一区域24中的线路R的位置是能够推测的。即，通过在第一区域24上对被推测为存在线路R的区域设定检测区，能够在第一区域24内有效率且以轻负荷进行线路R的检测。另外，图像处理部14也可以基于从第1照相机10a和第2照相机10b取得的立体图像，生成反映距离信息的距离图像。并且，图像处理部14也可以对所生成的距离图像设定检测区，进行线路R的检测。
另一方面，第3照相机10c虽然将第一区域24包含在摄像区域中，但由于作为单目照相机发挥功能，所以虽然能够进行到包含在远方区域26a中的关注对象物体的距离的计算，但不能识别出存在于远方区域26a中的关注对象物体的存在。例如，在第3照相机10c是能够以“4K画质”进行摄像的“4K照相机”的情况下，第二区域26的远方区域26a例如可以实现在到铁路车辆RV的前方400m左右为止的范围中足够实用的关注对象物体(以下称作“障碍物等”)检测。
如上述那样，在由第1照相机10a和第2照相机10b摄像的第一区域24内，能够进行正确的距离信息的取得。并且，例如能够正确地取得到存在于第一区域24中的最远部30的物体M的距离及物体M的大小。在此情况下，在与最远部30相接的远方区域26a中的最近部32存在的物体N的大小与物体M的大小大致相同。并且，存在于远方区域26a中的关注对象物体、例如存在于线路R的周边的障碍物等的大小是已知的。例如，沿着线路R设置的送电用的电线杆及线路R的周边的构造物的大小是已知的。因而，能够计算与远方区域26a中的1个像素对应的长度(大小)。即，能够计算到存在于上述第一区域中的第一位置(例如物体M)的第一距离，基于该第一距离，推测到存在于第二区域26(远方区域26a)内的第二位置(物体P)的第二距离。在此情况下，第3照相机10c由于为4K画质的摄像图像数据，所以能够充分地确保基于像素的数量的距离推测的可靠性。
此外，图像处理部14通过对检测到的线路R及其周边的区域应用周知的图案匹配等，能够进行第一区域24、第二区域26(远方区域26a)中的关注对象物体(物体M或物体P等的障碍物)的检测。
这样，通过将由第一摄像部18拍摄的摄像图像数据与由第二摄像部20拍摄的摄像图像数据组合，能够实现障碍物等的实质性的检测范围的扩大。例如，在铁路车辆RV的制动初速度是100km/h的情况下，制动距离例如是约400m以下。在此情况下，由于铁路车辆RV的最高速度越高，高速域中的制动力越增加，所以制动初速度为100km/h的情况下的制动距离进一步变短。因而，在能够推测铁路车辆RV的前方400m以内的障碍物等的位置的情况下，在存在障碍物等的情况下，能够从障碍物等的例如约400m前进行制动控制。进而，在障碍物等接近到铁路车辆RV的前方例如200m以内的近区的情况下，能够进行正确的距离测量。结果，在与铁路车辆RV的前方例如400m处检测到的障碍物等接触之前能够实现铁路车辆RV的停止，并且例如在200m以内的区域中，能够实现通过详细的制动控制进行的平顺的减速。结果，铁路车辆用摄像系统100能够应用于自动行驶的铁路车辆RV的障碍物检测及自动制动控制。
在上述的例子中，图像处理部14通过第1照相机10a和第2照相机10b取得第1立体图像，进行到第一区域24内的障碍物等的距离计算。如上述那样，作为第3照相机10c的摄像范围的第二区域26与作为第1照相机10a及第2照相机10b的摄像范围的第一区域24一部分重叠。因而，图像处理部14对于第一区域24与第二区域26的重叠区域，例如能够取得使用第2照相机10b和第3照相机10c对相同的场景进行摄像的立体图像(第2立体图像)。同样，图像处理部14对于第一区域24与第二区域26的重叠区域，例如能够取得使用第3照相机10c和第1照相机10a对相同的场景进行摄像的立体图像(第3立体图像)。因而，对于使用第1立体图像进行了距离测量的重叠区域内的障碍物等，也能够使用第2立体图像及第3立体图像进行距离测量。结果，通过使用基于第1立体图像的距离测量结果、基于第2立体图像的距离测量结果、基于第3立体图像的距离测量结果，例如采用各距离测量结果的平均值等，能够提高到重叠区域内的障碍物等的距离精度。即，能够提高铁路车辆RV接近于障碍物等的情况下的距离测量精度。此外，还能够实现到远方区域26a中的障碍物等的距离推测的精度提高。
另外，在此情况下，由于作为HD照相机的第1照相机10a及第2照相机10b的分辨率与作为4K照相机的第3照相机10c的分辨率不同，所以如果对第3照相机10c的摄像图像数据加以处理，施以使其与第1照相机10a或第2照相机10b的分辨率匹配等的处理，则能够进行立体图像的处理。
顺便说一下，以往在想要基于使用立体照相机的障碍物检测及距离测量来实施铁路车辆RV的自动行驶的情况下，在构成立体照相机的照相机中的一方发生了故障(例如照相机的故障及配线不良等)的情况下，不能进行到障碍物等的距离测量。结果，有时自动行驶被中止。另一方面，根据本实施方式的铁路车辆用摄像系统100，即使在如上述那样在第1照相机10a和第2照相机10b的某个中发生了故障的情况下，也能够使用第3照相机10c代替发生了故障的第1照相机10a或第2照相机10b而构成立体照相机，继续进行到障碍物等的距离测量(检测)处理。即，即使是在第1照相机10a、第2照相机10b、第3照相机10c的某个中发生了故障的情况，也能够继续进行自动行驶。
使用图5、图6所示的例示性且示意性的流程图说明由这样构成的铁路车辆用摄像系统100进行的关注对象物体(例如障碍物等)的检测处理、即立体图像处理的流程。另外，图5所示的流程图的处理以规定的处理周期被反复执行。
铁路车辆用摄像系统100的照相机控制部12在铁路车辆RV为可动作状态的情况下(例如，电源ON的情况等)，执行由第1照相机10a及第2照相机10b进行的第一区域24的摄像、由第3照相机10c进行的第二区域26的摄像(S100)。照相机控制部12对于第1照相机10a、第2照相机10b、第3照相机10c，为了使其将相同的场景在相同的条件下摄像，除了同步信号以外，还提供对曝光或快门速度、白平衡等进行控制的信号。另外，第1照相机10a、第2照相机10b、第3照相机10c被构成为，分别单独地受理控制信号及电源等。因而构成为，在某个照相机中发生了故障的情况下，也不给正常的照相机的摄像及摄像图像数据的输出带来影响。
并且，图像处理部14在全部照相机(第1照相机10a、第2照相机10b、第3照相机10c)的各摄像图像数据的依次取得成功的情况下(S102的“是”)，执行立体图像处理(S104)。立体图像处理的详细情况使用图6的流程图进行说明。
首先，图像处理部14在关于第1照相机10a、第2照相机10B所拍摄的摄像图像(第1立体图像)判定为不是已处理完毕的情况下(S200的“否”)，对第1照相机10a、第2照相机10b的摄像图像施以平行等位化变换处理(S202)。即，图像处理部14使第1立体图像成为能够进行基于立体匹配处理的视差检测的状态。并且，图像处理部14基于检测到的视差，基于第1照相机10a、第2照相机10b拍摄的摄像图像(第1立体图像)，生成包含距离信息的第1距离图像(S204)。
图像处理部14对于第1距离图像，使用关于亮度的特征等应用周知的线路R的检测技术，执行线路R的检测(S206)。另外，如上述那样，在摄像图像内，线路R的存在位置大致上是确定的。因而，通过将线路R的检测区设定到预想的存在位置，能够实现图像处理部14的处理负荷的减轻。接着，图像处理部14对于检测到的线路R进行检测障碍物等的识别区的设定(S208)。并且，图像处理部14在所设定的识别区内，使用周知的检测技术(例如图案匹配等)执行障碍物等的检测(S210)。另外，障碍物等的检测主要以确保铁路车辆RV的安全的行驶为目的。因此，基本上只要将障碍物等设定到线路R上及线路R的周边的规定范围的被限定的范围中就足够。通过限定性地设定识别区，能够实现图像处理部14的障碍物等检测的处理负荷的减轻。
图像处理部14在由第1照相机10a、第2照相机10b、第3照相机10c的各组合进行的障碍物等检测没有完成的情况下(S212的“否”)，向S200的处理返回。
在S200中，图像处理部14在关于第1照相机10a、第2照相机10b拍摄的摄像图像(第1立体图像)已处理(S200的“是”)，关于第2照相机10b、第3照相机10c拍摄的摄像图像(第2立体图像)判定为不是已处理完毕的情况下(S214的“否”)，对第2照相机10b、第3照相机10c的摄像图像施以平行等位化变换处理(S216)。即，图像处理部14使第2立体图像成为能够进行基于立体匹配处理的视差检测的状态。并且，图像处理部14基于检测到的视差，基于第2照相机10b、第3照相机10c拍摄的摄像图像(第2立体图像)，生成包含距离信息的第2距离图像(S218)。
然后，图像处理部14与对于第1距离图像的处理同样地，对第2距离图像执行线路R的检测(S206)，进行识别区的设定(S208)。并且，图像处理部14在第2距离图像中在设定的识别区内执行障碍物等的检测(S210)，再次在S212中执行由各照相机的组合进行的障碍物等检测是否完成的判定(S212)。
此外，在S214中，在图像处理部14关于第2照相机10b、第3照相机10c拍摄的摄像图像(第2立体图像)判定为已处理的情况下(S214的“是”)，对于第3照相机10c、第1照相机10a的摄像图像施以平行等位化变换处理(S220)。即，图像处理部14将第3立体图像设为能够进行基于立体匹配处理的视差检测的状态。并且，图像处理部14基于检测到的视差，基于第3照相机10c、第1照相机10a拍摄的摄像图像(第3立体图像)，生成包含距离信息的第3距离图像(S222)。
然后，图像处理部14与对于第1距离图像、第2距离图像的处理同样地，对第3距离图像执行线路R的检测(S206)，进行识别区的设定(S208)。并且，图像处理部14在第3距离图像中在设定的识别区内执行障碍物等的检测(S210)，再次在S212中执行基于各照相机的组合进行的障碍物等检测是否完成的判定(S212)。
图像处理部14在S212中判定为由第1照相机10a、第2照相机10b、第3照相机10c的各组合进行的障碍物等的检测处理(对于第1距离图像、第2距离图像、第3距离图像的检测处理)已完成的情况下(S212的“是”)，基于各检测结果，对到作为关注对象物体的障碍物等的距离进行修正，进行障碍物检测位置的修正(距离精度的高精度化)(S224)。并且，图像处理部14将检测到的障碍物等及到该障碍物等的距离作为近区(第一区域24或第一区域24与第二区域26的重叠区域)的检测结果而暂时向存储部保存(S226)。
这样，通过将第1照相机10a、第2照相机10b、第3照相机10c组合的3个系统的立体照相机，分别执行到障碍物等的距离测量，反映到障碍物检测位置中，由此能够实现第一区域24与第二区域26重叠的区域中的到障碍物等的距离测量精度的提高。另外，在其他实施方式中，在第1照相机10a、第2照相机10b、第3照相机10c正常动作的情况下(正常地输出摄像图像数据的情况下)，也可以省略第2距离图像、第3距离图像的生成。在此情况下，能够在实现图像处理部14的负荷的减轻的同时、通过基于立体图像的距离测量实现近区中的到障碍物等的距离测量。
如果近区中的障碍物等的检测处理完成，则回到图5的流程图，图像处理部14通过向近区追加由第3照相机10c摄像的远方区域26a，执行线路R的检测区的扩展(扩展识别区的设定)(S106)。并且，图像处理部14在扩展识别区内执行障碍物等的检测(S108)。另外，图像处理部14也可以在扩展识别区内在障碍物等的检测之前，与第一区域24同样，使用关于亮度的特征等并应用周知的线路R的检测技术来检测线路R而设定障碍物等的检测区域。此外，在其他实施方式中，也可以着眼于线路R在第一区域24及远方区域26a中是连续的这一点，视作远方区域26a中的线路R也存在于在第一区域24中检测到的线路R的延长线上，在该延长区域内检测障碍物等。
接着，图像处理部14执行扩展区(远方区域26a)中的距离推测(S110)。如上述那样，近区(第一区域24)的最远部30的物体M和远方区域26a的最近部32的物体N的大小大致一致，到物体M的距离能够通过第一区域24中的立体图像的处理而高精度地取得。因而，基于远方区域26a的物体N与存在于比其靠远方的障碍物等的大小的比较、以及到物体M(物体N)的距离，能够推测在远方区域26a内检测到的障碍物等的位置(到障碍物等的距离)。另外，在确保铁路车辆RV的行驶安全性的情况下，只要能够检测到第一区域24中的障碍物等的存在及位置、以及远方区域26a中的障碍物等的存在，就能够实现铁路车辆RV的安全的行驶。因而，在其他实施方式中，也可以将S110的处理省略。在此情况下，能够减轻远方区域26a中的图像处理部14的处理负荷。
并且，图像处理部14将障碍物等的检测结果向输出部16输出(S112)，将该处理周边的处理暂且结束。即，图像处理部14在S104的立体图像处理中在第一区域24(或第一区域24与第二区域26的重叠区域)中检测到障碍物等的情况下，将障碍物等的有无及位置(距离)经由输出部16提供给铁路车辆RV的行驶系统或管理及监视铁路车辆RV的行驶的外部的系统，使其反映到铁路车辆RV的控制中。同样，图像处理部14在远方区域26a中检测到障碍物等的情况下，将表示检测到障碍物的信息经由输出部16提供给铁路车辆RV的行驶系统或外部的系统，使其反映到铁路车辆RV的控制中。另外，图像处理部14在远方区域26a中检测到障碍物等的情况下，在推测位置(距离)的情况下，也可以将该信息也一起经由输出部16输出。图像处理部14在将检测到的障碍物等经由输出部16提供给外部的系统(监视中心)等的情况下，也可以附加强调障碍物等的强调信号或警报信号等。
在S102中，图像处理部14在判定为全部照相机(第1照相机10a、第2照相机10b、第3照相机10c)的各摄像图像数据的依次取得成功的情况下(S102的“否”)，确认正常的照相机的数量(S114)。在第1照相机10a、第2照相机10b、第3照相机10c中的正常输出摄像图像数据、图像处理部14取得了摄像图像数据的照相机为两台的情况下(S114的“是”)，取得使用该两台照相机获得的立体图像(S116)。即，图像处理部14取得第1立体图像、第2立体图像或第3立体图像的某个。并且，对所取得的立体图像施以平行等位化变换处理(S118)。即，图像处理部14使能够取得的立体图像成为能够进行基于立体匹配处理的视差检测的状态。并且，图像处理部14基于检测到的视差，生成基于立体图像的距离图像(S120)。
图像处理部14对所生成的距离图像，使用关于亮度的特征等，应用周知的线路R的检测技术，执行线路R的检测(S122)。接着，图像处理部14对检测到的线路R进行检测障碍物等的识别区的设定(S124)。并且，图像处理部14在所设定的识别区内，使用周知的检测技术(例如图案匹配等)执行障碍物等的检测(S126)。图像处理部14将近区中的障碍物等的检测结果经由输出部16输出(S128)，将该处理周边的处理暂且结束。即，图像处理部14使用当前能够输出正常的摄像图像数据的两台照相机，进行障碍物等的检测。另外，在第3照相机10c中发生了故障的情况下，障碍物等的检测区域成为限定于能够由第1照相机10a和第2照相机10b正常地进行摄像的第一区域24的障碍物等的检测。另一方面，在第2照相机10b或第2照相机10b的某一方中发生了故障的情况下，能够进行第一区域24和第二区域26的重叠区域中的障碍物等的有无及位置的检测，并且能够进行远方区域26a中的障碍物等的检测。
另外，在S114中，在不存在两台能够正常地输出摄像图像数据的照相机的情况下(S114的“否”)，图像处理部14在存在障碍物等的情况下也判定为不能进行其位置(距离)检测，执行错误处理(S130)。即，图像处理部14经由输出部16将错误信息提供给铁路车辆RV的行驶系统或外部的系统，使其反映到铁路车辆RV的行驶控制中。例如，执行暂时性的行驶停止处理等。
这样，根据铁路车辆用摄像系统100，通过由第1照相机10a、第2照相机10b、第3照相机10c对拍摄了相同场景的立体图像进行摄像，能够扩大障碍物等的关注对象物体的检测范围。此外，同时发生多个照相机的故障的可能性通常较低，铁路车辆用摄像系统100由于形成了能够用至少两台照相机取得立体图像的结构，所以能够避免因为照相机的故障而立即成为不能进行铁路车辆RV的自动驾驶的状况。
另外，在本实施方式中，作为摄像单元10的一例，表示了将第一摄像部18用两个HD照相机(第1照相机10a、第2照相机10b)构成、将第二摄像部20用一个4K照相机(第3照相机10c)构成的例子。在此情况下，能够以最小限度的结构实现障碍物等的检测区域的扩展、以及在照相机中发生了故障的情况下的对策。在其他实施方式中，也可以用4台以上的照相机构成摄像单元10，能够得到同样的效果。
此外，在本实施方式中，说明了将铁路车辆用摄像系统100应用于能够自动行驶的铁路车辆RV的例子。在其他实施方式中，也可以将铁路车辆用摄像系统100应用于驾驶员能够搭乘的铁路车辆(不论驾驶员的驾驶的有无)，能够得到同样的效果。在此情况下，输出部16也可以在设置于驾驶席等处的显示装置上显示图4所示那样的图像，来显示障碍物等的检测结果或输出与该结果对应的声音消息或警告音。
以上，说明了本发明的几个实施方式，但上述实施方式及变形例只不过是一例，不是要限定发明的范围。上述实施方式能够以各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种省略、替换、变更。上述实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。

Claims (5)

1.一种铁路车辆用摄像系统，其特征在于，
具备：
第一摄像部，设在开头的铁路车辆的前端部，能够取得上述铁路车辆的进行方向的第一区域中的立体图像；以及
第二摄像部，设在上述前端部，能够对至少包含比上述第一区域更远方的远方区域的第二区域进行摄像，能够取得比上述第一摄像部的分辨率高的高分辨率图像。
2.如权利要求1所述的铁路车辆用摄像系统，其特征在于，
上述第二摄像部拍摄的上述第二区域的一部分与比上述远方区域靠近前的上述第一区域重叠。
3.如权利要求1或2所述的铁路车辆用摄像系统，其特征在于，
具备图像处理部，该图像处理部基于上述第一摄像部取得的上述立体图像计算到存在于上述第一区域中的第一位置的第一距离，基于上述第一距离推测到存在于上述第二区域内的第二位置的第二距离。
4.如权利要求1～3中任一项所述的铁路车辆用摄像系统，其特征在于，
上述第一摄像部包括第1照相机及第2照相机；
上述第二摄像部包括第3照相机；
所示铁路车辆用摄像系统具备：
照相机控制部，使上述第1照相机和上述第2照相机取得上述第一区域中的第1立体图像，使上述第2照相机和上述第3照相机取得包含上述第一区域的至少一部分的第2立体图像，使上述第3照相机和上述第1照相机取得包含上述第一区域的至少一部分的第3立体图像；以及
图像处理部，基于上述第1立体图像、上述第2立体图像和上述第3立体图像，执行上述第一区域中的物体检测处理。
5.如权利要求4所述的铁路车辆用摄像系统，其特征在于，
上述图像处理部使用上述第1照相机、上述第2照相机和上述第3照相机中的某两个照相机，连续进行立体图像的取得。
CN201980048961.0A 2018-07-24 2019-06-26 铁路车辆用摄像系统 Active CN112470456B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018138596A JP7150508B2 (ja) 2018-07-24 2018-07-24 鉄道車両用撮像システム
JP2018-138596 2018-07-24
PCT/JP2019/025429 WO2020021949A1 (ja) 2018-07-24 2019-06-26 鉄道車両用撮像システム

Publications (2)

Publication Number Publication Date
CN112470456A true CN112470456A (zh) 2021-03-09
CN112470456B CN112470456B (zh) 2022-04-26

Family

ID=69180463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980048961.0A Active CN112470456B (zh) 2018-07-24 2019-06-26 铁路车辆用摄像系统

Country Status (5)

Country Link
EP (1) EP3829155A4 (zh)
JP (1) JP7150508B2 (zh)
CN (1) CN112470456B (zh)
SG (1) SG11202012917RA (zh)
WO (1) WO2020021949A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486783A (zh) * 2021-07-02 2021-10-08 浙江省交通投资集团有限公司智慧交通研究分公司 轨道交通车辆的障碍物检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318805A (ja) * 1997-05-15 1998-12-04 Toshiba Fa Syst Eng Kk 移動点検システム
JP2010271143A (ja) * 2009-05-20 2010-12-02 Ricoh Co Ltd 撮像装置、距離測定装置、及び車外監視装置、並びに撮像方法
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
US20120293633A1 (en) * 2010-02-02 2012-11-22 Hiroshi Yamato Stereo camera
US20130188022A1 (en) * 2012-01-23 2013-07-25 Microsoft Corporation 3d zoom imager
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
CN105636853A (zh) * 2013-07-31 2016-06-01 埃伦·约瑟夫·卡特兹 用于障碍物识别和避开的系统和方法
JP2016192109A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 障害物検知方法およびその装置
WO2017134982A1 (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
CN107250725A (zh) * 2015-09-30 2017-10-13 株式会社小松制作所 摄像装置
CN107431747A (zh) * 2015-04-03 2017-12-01 日立汽车系统株式会社 摄像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242521A (ja) 2000-02-28 2001-09-07 Fuji Heavy Ind Ltd カメラの組み立て構造、カメラの調整方法、および調整用治具
JP2008196891A (ja) 2007-02-09 2008-08-28 Mitsubishi Precision Co Ltd 多眼カメラ
JP5146330B2 (ja) 2009-01-15 2013-02-20 日産自動車株式会社 車両用道路標示認識装置
JP5030983B2 (ja) 2009-02-10 2012-09-19 株式会社日立製作所 列車の停止検知システム並びに列車の移動速度及び位置検出システム
CN107211085B (zh) * 2015-02-20 2020-06-05 索尼公司 摄像装置和摄像方法
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10318805A (ja) * 1997-05-15 1998-12-04 Toshiba Fa Syst Eng Kk 移動点検システム
JP2010271143A (ja) * 2009-05-20 2010-12-02 Ricoh Co Ltd 撮像装置、距離測定装置、及び車外監視装置、並びに撮像方法
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
US20120293633A1 (en) * 2010-02-02 2012-11-22 Hiroshi Yamato Stereo camera
US20130188022A1 (en) * 2012-01-23 2013-07-25 Microsoft Corporation 3d zoom imager
CN105636853A (zh) * 2013-07-31 2016-06-01 埃伦·约瑟夫·卡特兹 用于障碍物识别和避开的系统和方法
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置
JP2016192109A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 障害物検知方法およびその装置
CN107431747A (zh) * 2015-04-03 2017-12-01 日立汽车系统株式会社 摄像装置
CN107250725A (zh) * 2015-09-30 2017-10-13 株式会社小松制作所 摄像装置
WO2017134982A1 (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486783A (zh) * 2021-07-02 2021-10-08 浙江省交通投资集团有限公司智慧交通研究分公司 轨道交通车辆的障碍物检测方法及系统

Also Published As

Publication number Publication date
JP7150508B2 (ja) 2022-10-11
WO2020021949A1 (ja) 2020-01-30
JP2020017824A (ja) 2020-01-30
EP3829155A1 (en) 2021-06-02
SG11202012917RA (en) 2021-02-25
EP3829155A4 (en) 2022-04-20
CN112470456B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN108351207B (zh) 立体相机装置
US9819927B2 (en) Image processing device, image processing method, and device control system
US9747524B2 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
US8437536B2 (en) Environment recognition system
RU151809U1 (ru) Видеосистема для обеспечения безопасности транспортных средств
CN111699518B (zh) 测长系统、车辆耦合系统、测长方法以及存储介质
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
JP2013174494A (ja) 画像処理装置、画像処理方法、及び車両
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
KR20120018614A (ko) 차선 변경 보조기능이 구비된 자동차 및 차선변경방법
EP2913998A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
JP2012038229A (ja) ドライブレコーダー
CN112470456B (zh) 铁路车辆用摄像系统
JP6899673B2 (ja) 物体距離検出装置
US10974719B2 (en) Mobile object control system, mobile object control method, and program
JP5717416B2 (ja) 運転支援制御装置
JP2012098776A (ja) 運転支援装置
JP6891082B2 (ja) 物体距離検出装置
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP4114647B2 (ja) 障害物検出装置
JP2020030466A (ja) 物体検知装置
US20230289986A1 (en) Range finding device, control method for range finding device, and storage medium
WO2023112127A1 (ja) 画像認識装置、および、画像認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant