JP2021099707A - カメラ自動検査システム - Google Patents
カメラ自動検査システム Download PDFInfo
- Publication number
- JP2021099707A JP2021099707A JP2019231695A JP2019231695A JP2021099707A JP 2021099707 A JP2021099707 A JP 2021099707A JP 2019231695 A JP2019231695 A JP 2019231695A JP 2019231695 A JP2019231695 A JP 2019231695A JP 2021099707 A JP2021099707 A JP 2021099707A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- sign
- obstacle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 description 51
- 238000001514 detection method Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000005856 abnormality Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
【課題】鉄道車両に搭載されるカメラの校正の要否を自動かつ容易に判定することができるカメラ検査システムを提供する。【解決手段】本実施形態によるカメラ検査システムは、鉄道車両に搭載された撮像部であって、鉄道車両が走行する軌道の周辺に設けられた標識を第1および第2視点で撮像する撮像部を備える。演算処理部は、第1視点における標識の第1画像と第2視点における該標識の第2画像との視差を求める。演算処理部は、第1画像と第2画像との視差に基づいて鉄道車両と標識との間の第1距離を算出する。演算処理部は、標識の大きさおよび/または位置に関する既知の属性情報と第1または第2画像上における属性情報の長さとに基づいて鉄道車両と標識との間の第2距離を算出する。演算処理部は、第1距離と第2距離との差が閾値よりも大きいか否かを判断する。記憶部は、属性情報を格納する。【選択図】図8
Description
本実施形態は、カメラ自動検査システムに関する。
走行中の鉄道車両の前方を鉄道車両に搭載されたステレオカメラによって撮像し、その画像を用いて線路近傍の支障物の有無を検知するシステムが開発されている。
鉄道車両は、上記システムが支障物を検知して鉄道車両の減速を開始させるまでに進む空走距離と、鉄道車両が減速を開始してから停止するまでの制動距離とを足した停止距離より手前で支障物を検知する必要がある。また、鉄道車両は、自動車と比較すると、制動距離が長く、かつ、布設された線路上を走行するため、制動または操舵によって支障物を回避することはより困難である。従って、鉄道車両は、進路上に存在する支障物を比較的遠方から高精度に検知することが求められている。支障物の有無や距離を高精度で検知するためには、鉄道車両のステレオカメラは、高精度に校正されていることが求められる。
しかし、経年により、カメラ間の相対位置にずれが生じて検知性能が低下するなどの問題が発生する。
そこで、経年変化による性能低下を防ぐためにカメラ校正の要否を自動かつ容易に判定できるシステムが求められている。
鉄道車両に搭載されるカメラの校正の要否を自動かつ容易に判定することができるカメラ検査システムを提供する。
本実施形態によるカメラ検査システムは、鉄道車両に搭載された撮像部であって、鉄道車両が走行する軌道の周辺に設けられた標識を第1および第2視点で撮像する撮像部を備える。演算処理部は、第1視点における標識の第1画像と第2視点における該標識の第2画像との視差を求める。演算処理部は、第1画像と第2画像との視差に基づいて鉄道車両と標識との間の第1距離を算出する。演算処理部は、標識の大きさおよび/または位置に関する既知の属性情報と第1または第2画像上における属性情報の長さとに基づいて鉄道車両と標識との間の第2距離を算出する。演算処理部は、第1距離と第2距離との差が閾値よりも大きいか否かを判断する。記憶部は、属性情報を格納する。
以下、図面を参照して本発明に係る実施形態を説明する。本実施形態は、本発明を限定するものではない。図面は模式的または概念的なものであり、各部分の比率などは、必ずしも現実のものと同一とは限らない。明細書と図面において、既出の図面に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1は、本実施形態にかかる鉄道車両の概略構成の一例を示す図である。図1に示すように、本実施形態にかかる鉄道車両RVは、センサ10と、走行支障物検知装置20、記録装置30、および表示装置40を含む。センサ10は、鉄道車両RVの進行方向を撮像可能に設けられる撮像部の一例である。走行支障物検知装置20は、鉄道車両RVの走行の支障となる支障物を検知する支障物検知装置の一例である。記録装置30は、走行支障物検知装置20による支障物の検知結果を記憶する。表示装置40は、センサ10によって鉄道車両RVの進行方向を撮像して得られる画像や、走行支障物検知装置20による支障物の検知結果等の各種情報を表示する。
図2は、本実施形態にかかる鉄道車両が有する走行支障物検知装置の機能構成の一例を示すブロック図である。図2に示すように、走行支障物検知装置20は、画像取得部201、レール認識部202、監視エリア認識部203、支障物候補認識部204、支障物判定部205、結果出力部206、および記憶部207を有する。本実施形態では、画像取得部201、レール認識部202、監視エリア認識部203、支障物候補認識部204、支障物判定部205、および結果出力部206のうち一部若しくは全ては、鉄道車両RVが有するCPU(Central Processing Unit)等のプロセッサが記憶部207に記憶されるソフトウェアを実行することによって実現される。
また、画像取得部201、レール認識部202、監視エリア認識部203、支障物候補認識部204、支障物判定部205、および結果出力部206のうち一部若しくは全ては、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路基板であるハードウェアによって実現されても良い。さらに、画像取得部201、レール認識部202、監視エリア認識部203、支障物候補認識部204、支障物判定部205、および結果出力部206は、プロセッサによって実行されるソフトウェア、およびハードウェアの協働によって実現されても良い。
記憶部207は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)、SDカード等の不揮発性の記憶媒体、およびRAM(Random Access Memory)、レジスタ等の揮発性の記憶媒体を含む。そして、記憶部207は、鉄道車両RVが有するプロセッサが実行するプログラム等の各種情報を記憶する。
画像取得部201は、センサ10によって鉄道車両RVの進行方向を撮像して得られる可視光の画像(以下、「カラー画像」と言う)、およびセンサ10の撮像範囲に存在する物体までの距離を特定可能とする距離画像を取得する取得部の一例である。本実施形態では、画像取得部201は、センサ10が有する複数の撮像部によって鉄道車両RVの進行方向を異なる複数の視点から撮像して得られる複数の画像のうちいずれかをカラー画像として取得する。
また、画像取得部201は、当該複数の画像を距離画像として取得する。具体的には、画像取得部201は、センサ10が含む複数の撮像部の撮像により得られる複数の画像を、グレースケールの画像(以下、「グレースケール画像」と言う)に変換する。次いで、画像取得部201は、一方のカメラのグレースケール画像を、複数の撮像部の光軸を仮想的に平行とした場合に得られる画像(以下、「平行等位画像」と言う)に幾何変換する。次いで、画像取得部201は、平行ステレオ視の原理に従って、平行等位画像と他方のグレースケール画像とを用いて、センサ10が含む撮像部の撮像範囲内の物体までの距離を特定可能とする距離画像を取得する。
レール認識部202は、カラー画像内における鉄道車両RVが走行するレールを検出するレール検出部の一例として機能する。本実施形態では、レール認識部202は、センサ10の撮像により得られるカラー画像から変換したグレースケール画像を、エッジを強調した画像(以下、「エッジ強調画像」と言う)に変換する。次いで、レール認識部202は、エッジ強調画像のうち、エッジ強度が予め設定されたエッジ強度より大きい画素と、その周辺の画素のうち同様のエッジ強度を有する画素とをグループ化した画素群を生成する。次いで、レール認識部202は、生成した画素群のうち、鉄道車両RVの進行方向に向かって連なって線分を形成する画素群を抽出する。そして、レール認識部202は、抽出した画素群のうち、予め設定された評価条件を満たす画素群を、鉄道車両RVが走行するレールとして検出する。ここで、評価条件は、レールと判断する画素群であり、例えば、レールと判断するエッジ強度を有することである。
監視エリア認識部203は、レール認識部202により検出したレールを基準として、カラー画像に対して立体的な監視領域を設定する監視領域設定部の一例として機能する。ここで、監視領域は、カラー画像内において、鉄道車両RVの車両限界または建築限界により規定される立体的な領域である。また、監視エリア認識部203は、カラー画像に基づいて、センサ10から監視領域までの距離の範囲である値域を特定可能とする値域情報を求める。
図3および図4は、本実施形態にかかる鉄道車両における監視領域の設定例を示す図である。図3に示すように、監視エリア認識部203は、センサ10の設置条件や、レール認識部202により検出したレールの幅が一定である等の拘束条件に基づいて、当該検出したレールの任意の設定位置Pにおいて、車両限界断面X、および当該車両限界断面Xまでの距離を求める。ここで、車両限界断面Xは、鉄道車両RVの進行方向に直交する方向における車両限界の断面である。監視エリア認識部203は、鉄道車両RVの進行方向においてレールの異なる設定位置Pについて求めた車両限界断面Xを断面とするトンネル形状の領域を、監視領域として設定する。また、監視エリア認識部203は、設定位置P毎に求めた車両限界断面Xまでの距離の範囲(集合)である値域を値域情報として求める。
あるいは、図4に示すように、監視エリア認識部203は、センサ10の設置条件や、レール認識部202により検出したレールの幅が一定である等の拘束条件に基づいて、当該検出したレールの任意の設定位置Pにおいて、建築限界断面Y、および当該建築限界断面Yまでの距離を求める。ここで、建築限界断面Yは、設定位置Pにおける鉄道車両RVの進行方向に直交する方向の建築限界の断面である。監視エリア認識部203は、鉄道車両RVの進行方向においてレールの異なる設定位置Pについて求めた建築限界断面Yを断面とするトンネル形状の領域を、監視領域として設定する。また、監視エリア認識部203は、設定位置P毎に求めた建築限界断面Yまでの距離の範囲(集合)である値域を値域情報として求める。
図2に戻り、支障物候補認識部204は、距離画像と値域情報とに基づいて、監視領域内に含まれる物体を支障物の候補(以下、「支障物候補」と言う)として抽出する。本実施形態では、支障物候補認識部204は、距離画像内の各画素のうち、値域情報により特定される距離と一致する距離を示す画素をグループ化した類似領域を監視領域内に存在する立体物を支障物候補として抽出する。
支障物判定部205は、支障物候補認識部204により抽出される支障物候補の大きさおよび当該支障物候補の移動ベクトルの少なくとも1つに基づいて、支障物候補の中から、支障物を検知する。これにより、監視領域に存在する物体のうち、支障物となり得る可能性が高い物体を支障物として検知できるので、支障物の検知精度を向上させることができる。本実施形態では、支障物判定部205は、支障物候補のうち、予め設定された大きさ以上の支障物候補を支障物として検知する。また、支障物判定部205は、支障物候補のうち、移動ベクトルがレールの方向に向かっている支障物候補を支障物として検知する。また、支障物判定部205は、支障物候補のうち、予め設定された大きさ以上でありかつ移動ベクトルがレールの方向に向かっている支障物候補を、支障物として検知しても良い。
よって、本実施形態では、支障物候補認識部204および支障物判定部205が協働して、距離画像と値域情報とに基づいて、監視領域内に存在しかつ鉄道車両RVの走行の支障となる支障物を検知する支障物検知部の一例として機能する。これにより、鉄道車両RVの進行方向を撮像して得られるカラー画像を用いて、鉄道車両RVの走行の支障となる支障物を検知する場合に、カラー画像において支障物を検知する監視領域を動的かつ適切に設定して、支障物を検知することが可能となるので、鉄道車両RVの走行の支障となる支障物を高精度に検知することができる。
結果出力部206は、支障物候補認識部204および支障物判定部205による支障物の検知結果を出力する出力部の一例として機能する。本実施形態では、結果出力部206は、支障物判定部205により支障物が検知された場合、支障物が検知されたことを示す情報を、カラー画像とともに、表示装置40に表示させる。また、結果出力部206は、支障物の検知結果を記録装置30に保存する。
次に、図5を用いて、本実施形態にかかる鉄道車両における支障物の検知処理の流れの一例について説明する。図5は、本実施形態にかかる鉄道車両における支障物の検知処理の流れの一例を示す図である。
画像取得部201は、センサ10から、カラー画像および距離画像を取得する(ステップS501)。センサ10は、カラー画像および距離画像を同時に出力可能な光学式センサであり、パターン投光方式、フォトグラメトリー方式、Time Of Flight方式の光学式センサである。また、センサ10が、鉄道車両RVの車幅方向に離間して設けられる2つの撮像部(左右の2つの撮像部)を含む場合、画像取得部201は、2つの撮像部の撮像により得られる2つのカラー画像を、距離画像として取得しても良い。
2つのカラー画像を距離画像として取得した場合、画像取得部201は、2つのカラー画像それぞれをグレースケール画像に変換する(ステップS502)。本実施形態では、画像取得部201は、支障物の検知に要する演算量を削減するために、2つのカラー画像それぞれをグレースケール画像に変換した上で、当該グレースケール画像を用いて、支障物を検知する例について説明するが、カラー画像そのまま用いて、支障物を検知することも可能である。
次に、画像取得部201は、2つのグレースケール画像それぞれについて、センサ10が有するレンズの収差等による歪みを補正し、かつ2つのグレースケール画像のうち一方を平行等位画像に幾何変換する(ステップS503)。一般的なカメラのレンズは、半径方向の歪みおよび円周方向の歪みを有する。そのため、画像取得部201は、センサ10の撮像により得られる画像の歪みの補正に必要な係数やテーブルを画像変換情報として記憶部207に保存しておく。そして、画像取得部201は、記憶部207に記憶される画像変換情報を用いて、グレースケール画像の歪みを補正する。また、センサ10の内部パラメータや相対的な位置関係に基づく外部パラメータを、キャリブレーションによって求めておき、当該外部パラメータを画像変換情報として記憶部207に保存しても良い。
次に、画像取得部201は、平行等位画像を基準画像としかつグレースケール画像を参照画像として、基準画像と参照画像の視差を距離画像として求める(ステップS504)。エピポーラ幾何等の幾何学的な拘束条件によれば、基準画像の注目画素に対応する参照画像内の画素である対応画素は、基準画像における注目画素における高さと同じ高さのエピポーラ線上のみを検索することで求められる。これにより、対応画素の探索を、少ない演算量で、かつ高精度に実現することができる。対応画素の探索は、参照画像内の一部の領域である小領域毎に対応画素を探索するテンプレートマッチング、参照画像全体から最適な対応画素(解)を探索するグローバルマッチング、参照画像において注目画素周辺の画素から最適な対応画素を探索するセミグローバルマッチング等により行う。ただし、対応画素の探索にリアルタイム性を求める場合には、テンプレートマッチングによって対応画素を探索することが多い。
対応画素を求めた後、画像取得部201は、基準画像の注目画素と、参照画像の対応画素との視差を求める。本実施形態では、画像取得部201は、基準画像の注目画素を1画素ずつずらしながら、参照画像の対応画素を求めている。したがって、参照画像がデジタル画像である場合、対応画素の座標は、整数によって表される。そのため、小数点以下の精度で対応画素の座標を推定する場合には、サブピクセル推定手法を用いる。サブピクセル推定手法は、対応画素の探索に用いる評価関数がSAD(Sum of Absolute Difference)のような1次関数の場合には、等角直線フィッティングを用いる。一方、サブピクセル推定手法は、対応画素の探索に用いる評価関数がSSD(Sum of Squared Difference)のような2次関数の場合には、パラボラフィッティングを用いる。
なお、小数点以下の精度で視差を求める必要が無い場合や、視差の取得に要する処理時間を短縮したい場合には、サブピクセル推定手法を用いずに、視差を求めても良い。また、サブピクセル推定手法に用いる評価関数による対応画素の座標の評価値が、予め設定された閾値より大きい場合、注目画素と対応画素との特徴量(例えば、階調の変化)の差異が小さい場合には、求めた視差を無効としても良い。
以上の処理によって、画像取得部201は、基準画像の全ての画素若しくは基準画像の一部の有効領域内の画素について、参照画像の画素との視差を求める。また、画像取得部201は、以下の式1を用いて、基準画像の画素が表す物体までの距離Zを距離画像として求めても良い。以下の式1において、fはセンサ10が含む2つのカメラの焦点距離を表し、Bはセンサ10が含む2つのカメラ間の距離を表し、Dは基準画像の画素と参照画像の画素との視差Dを表す。
Z=f×B/D (式1)
Z=f×B/D (式1)
次に、レール認識部202は、基準画像から、鉄道車両RVが走行するレールの候補であるレール候補を検出する(ステップS505)。本実施形態では、レール認識部202は、基準画像をエッジ強調画像に変換する。次いで、レール認識部202は、エッジ強調画像において、エッジ強度が予め設定されたエッジ強度より大きい画素とその周辺の画素のうち同様のエッジ強度を有する画素をグループ化した画素群のうち、鉄道車両RVの進行方向に向かって連なって線分を形成する画素群をレール候補として検出する。そして、レール認識部202は、検出したレール候補のうち、予め設定された評価条件を満たすレール候補を、レールとして検出する(ステップS506)。
監視エリア認識部203は、レール認識部202により検出したレールを基準として、基準画像に対して、立体的な監視領域を設定する(ステップS507)。
図6は、本実施形態にかかる鉄道車両における監視領域の設定方法の一例を説明するための模式図である。図6に示すように、監視エリア認識部203は、レール認識部202により検出したレールR上における任意の設定位置Pに対して、当該設定位置Pにおける左右のレールを結びかつ水平な線分を設定する。ここで、線分は、基準画像においてL画素の長さを持つものとする。そして、センサ10が有するカメラのピッチ角、ヨー角、およびロール角が全て0°であり、鉄道車両RVが走行するレールが狭軌である場合、水平方向の1画素当りの分解能は、(1067/L)ミリメートルとなる。
あるいは、監視エリア認識部203は、距離画像を用いて、設定位置Pの注目画素と対応画素との視差若しくは設定位置Pまでの距離を取得する。次いで、監視エリア認識部203は、視差または距離に応じた1画素当りの分解能を予め求めておき、取得した視差または距離に応じた1画素当りの分解能を特定する。そして、監視エリア認識部203は、特定した1画素当りの分解能を、設定位置Pにおける、水平方向の1画素当りの分解能としても良い。なお、センサ10の撮像素子の縦横比が1:1である場合、線分と直交する方向(すなわち、上下方向)の1画素当りの分解能は、水平方向の1画素当りの分解能と同じとなる。
次いで、図6に示すように、監視エリア認識部203は、実空間における車両限界の寸法(例えば、幅:3800mm、高さ:4300mm)、および基準画像の1画素当りの分解能に応じて、基準画像内の設定位置Pに対して、車両限界断面Xを設定する。本実施形態では、監視エリア認識部203は、車両限界の断面を模した領域を車両限界断面Xとして設定しているが、車両限界を特定可能とする領域を車両限界断面Xとして設定するものであれば、これに限定ものではない。例えば、監視エリア認識部203は、車両限界の断面に近似する矩形などの予め設定された形状の領域を車両限界断面Xとして設定しても良い。また、ここでは、基準画像に対して車両限界断面Xを設定する例について説明するが、基準画像に対して建築限界断面Yを設定する場合も同様である。その後、監視エリア認識部203は、基準画像内の設定位置Pを、鉄道車両RVの進行方向に沿って移動させながら、設定位置Pに対する車両限界断面Xの設定を繰り返すことによって、基準画像に対してトンネル形状の監視領域を設定する。
さらに、監視エリア認識部203は、基準画像の1画素当りの分解能、および基準画像の下端(すなわち、センサ10の撮像範囲において手前側の端)から設定位置Pまでの画素数等に基づいて、設定位置Pまでの距離、または設定位置Pにおける注目画素と対応画素の視差を、設定位置P毎に求める。そして、監視エリア認識部203は、設定位置P毎に求めた距離または視差の値域を値域情報とする。また、監視エリア認識部203は、値域情報を監視エリア情報として、記憶部207に保存する。
図3に戻り、支障物候補認識部204は、基準画像に対して、レール認識部202により検出したレールの上面に接する基準面を設定する(ステップS508)。これにより、レールよりも下方に存在し、支障物となる可能性が低い物体が支障物候補として検出されなくなるので、支障物の検知処理による処理負荷を軽減できる。
図7は、本実施形態にかかる鉄道車両における基準面の設定処理の一例を説明するための図である。図7に示すように、支障物候補認識部204は、レール認識部202により認識したレールRの上面のうち、センサ10から距離または視差が近い領域に接する面に近似する平面または曲面を基準面P1,P2とする。
図3に戻り、次いで、支障物候補認識部204は、基準画像と参照画像との視差(または距離)を示す距離画像と、値域情報とに基づいて、基準画像の監視領域内に含まれる物体を、支障物候補として抽出する(ステップS509)。具体的には、支障物候補認識部204は、基準画像内の物体のうち、基準画像と参照画像との視差(または距離)が、値域情報が示す値域に含まれる物体を、支障物候補として抽出する。
ところで、監視領域内に含まれる物体のうち、その一部だけが監視領域に入っている物体は、物体のサイズが予め設定されたサイズに満たない等の理由で支障物として検知されない可能性が高い。そのため、本実施形態では、支障物候補認識部204は、基準面より上方に存在する物体を支障物候補として抽出する。具体的には、支障物候補認識部204は、基準画像の監視領域内に含まれる物体のうち、基準面の手前に位置する物体、言い換えると、センサ10からの距離が基準面までの距離より短い物体(または、基準面の視差より大きい視差を有する物体)を支障物候補として抽出する。
支障物判定部205は、支障物候補の大きさおよび支障物候補の移動ベクトルの少なくともいずれか一方に基づいて、支障物候補の中から、支障物を検知する(ステップS510)。本実施形態では、支障物判定部205は、支障物候補のうち、基準画像内における外接矩形の縦横比が極端に偏った支障物候補をノイズや外乱として棄却する。また、支障物判定部205は、支障物候補のうち、2フレーム以上の基準画像間における支障物候補の移動ベクトルを求め、移動ベクトルが下から上に向いている場合には鳥や煙等の外乱として棄却する。そして、支障物判定部205は、支障物候補のうち、棄却されずに残った支障物候補について、その重心位置が監視領域内に入っている支障物候補を、支障物として検知する。
次いで、結果出力部206は、支障物判定部205による支障物の検知結果を表示装置40に出力して、支障物の検知結果を表示装置40に表示させる(ステップS511)。本実施形態では、結果出力部206は、支障物判定部205により支障物を検知したことや検知した支障物までの距離等を、支障物の検知結果として表示装置40に表示させる。また、結果出力部206は、支障物の検知結果を通知する音声を出力したり、鉄道車両RVの走行を制御する車両制御装置に対して、支障物の検知結果を出力したりする。さらに、結果出力部206は、支障物の検知結果を示す検知結果情報を記憶部207に保存する。また、結果出力部206は、検知結果情報を、外部の記憶部に保存することも可能である。これにより、外部装置は、鉄道車両RVの走行支障物検知装置20と通信できないオフラインの状態においても、外部に記憶部に記憶される検知結果情報を用いて、支障物の検知結果を解析できる。
その後、画像取得部201は、支障物の検知処理の終了が指示されたか否かを判断する(ステップS512)。支障物の検知処理の終了が指示された場合(ステップS512:Yes)、画像取得部201は、新たなカラー画像および距離画像の取得を行わず、支障物の検知処理を終了させる。一方、支障物の検知処理の終了が指示されなかった場合(ステップS512:No)、画像取得部201は、ステップS501に戻り、新たなカラー画像および距離画像の取得を行う。
このように、本実施形態にかかる鉄道車両RVによれば、鉄道車両RVの進行方向を撮像して得られるカラー画像を用いて、鉄道車両RVの走行の支障となる支障物を検知する場合に、カラー画像において支障物を検知する監視領域を動的かつ適切に設定して、支障物を検知することが可能となるので、鉄道車両RVの走行の支障となる支障物を高精度に検知することができる。
(第1実施形態)
以下、第1実施形態では、上記走行支障物検知装置20をもとにさらにカメラ検査システム21を構成する。カメラ検査システム21は、支障物に代えて、鉄道車両RVが走行するレール(軌道)の周辺に設けられた標識50を検知する。カメラ検査システム21は、支障物と同様に標識50を検知すればよい。標識50については後述する。以下、カメラ検査システム21の構成および標識50の検知後の処理について説明する。
以下、第1実施形態では、上記走行支障物検知装置20をもとにさらにカメラ検査システム21を構成する。カメラ検査システム21は、支障物に代えて、鉄道車両RVが走行するレール(軌道)の周辺に設けられた標識50を検知する。カメラ検査システム21は、支障物と同様に標識50を検知すればよい。標識50については後述する。以下、カメラ検査システム21の構成および標識50の検知後の処理について説明する。
図8は、第1実施形態に従ったカメラ検査システムの構成の一例を示すブロック図である。カメラ検査システム21は、センサ10と、表示装置40と、記録装置30と、記憶部207と、演算処理部208とを備えている。センサ10、記録装置30、表示装置40および記憶部207は、基本的に図2を参照して説明した通りである。
演算処理部208は、画像取得部201と、標識認識部210と、第1距離算出部220と、第2距離算出部230と、距離比較判定部240と、出力部250と、を備えている。演算処理部208のうち一部若しくは全ては、鉄道車両RVが有するCPU等のプロセッサが記憶部207に記憶されるソフトウェアを実行することによって実現される。
撮像装置としてのセンサ10は、鉄道車両に搭載され、鉄道車両が走行する軌道の周辺に設けられた標識50を第1および第2視点で撮像する。第1および第2視点は、所定の距離だけ離間しており、異なる位置に配置されている。センサ10は、このような第1および第2視点を有する複数のカメラで同一標識50をほぼ同時に撮像する、所謂、ステレオカメラである。
画像取得部201は、図2の画像取得部201と基本的に同じ構成である。画像取得部201は、第1視点における標識50の第1画像と第2視点における該標識の第2画像との視差を求める。
標識認識部210は、図2のレール認識部202、監視エリア認識部203、支障物候補認識部204、支障物判定部205を含み、第1および第2画像から標識50を認識する。標識50の画像は、認識辞書として予め記憶部207に登録しておく。標識認識部210は、任意のパターン画像認識技術により、画像上で標識50に該当するか否かを判断する。標識50の認識方法は、上記実施形態で説明した支障物の認識方法と同様でよい。
第1距離算出部220は、画像取得部201で求められた第1視点における標識50の第1画像と第2視点における標識50の第2画像との視差を受け取る。第1距離算出部220は、第1画像と第2画像との視差に基づいて鉄道車両RVと標識50との間の第1距離Z1を算出する。即ち、センサ10のステレオカメラの機能を用いて第1距離Z1を算出する。
例えば、第1距離Z1は、第1および第2画像の視差を用いて算出される鉄道車両RVと標識50との間の距離である。fはセンサ10の焦点距離である。Bはセンサ10の第1視点と第2視点との間の距離(間隔)である。即ち、センサ10の2つのカメラ間の距離である。Dは第1および第2画像の視差である。この場合、第1距離Z1は、上記式1を用いて以下ように表される。
Z1=f×B/D (式1)
尚、センサ10の焦点距離fおよび第1視点と第2視点との距離Bは予め判明しており、記憶部207に格納されている。
Z1=f×B/D (式1)
尚、センサ10の焦点距離fおよび第1視点と第2視点との距離Bは予め判明しており、記憶部207に格納されている。
第1距離Z1は、第1および第2画像の両方に基づいて、センサ10の2つのカメラの視差を用いて算出される。従って、第1距離Z1は、センサ10の2つのカメラの位置や角度等の配置に変化があると、鉄道車両RVと標識50との距離からずれる。即ち、第1距離Z1は、センサ10の経年劣化に影響されやすい。
第2距離算出部230は、標識50の大きさおよび/または位置に関する既知の属性情報と、第1または第2画像上における該属性情報の長さとに基づいて、鉄道車両と標識50との間の第2距離Z2を算出する。
例えば、図9は、第2距離の算出方法を示す概念図である。標識50は、レールRの周辺の地上に固定されており、所定の大きさの形状を有する。実際の標識50の横方向の長さ(幅)をd1とすると、長さd1は、予め判明している(予め設定されている)属性情報として記憶部207に格納されている。尚、標識50は、センサ10により認識しやすいデザインに構成されており、レールRの周辺の監視領域内に固定設置する。標識50は、見通しが良く、外乱を受け難い環境下に設置することが好ましい。例えば、標識50は、車両基地構内等に設置することが適している。
一方、標識50を撮像した第1および第2画像は、鉄道車両RVの走行時に取得される。第1および第2画像における標識50の画像上の大きさは、鉄道車両RVから標識50までの距離によって異なる。標識50が鉄道車両RVから比較的遠い場合には、標識50の画像上の大きさは、比較的小さく撮像され、逆に、鉄道車両RVから比較的近い場合には、比較的大きく撮像される。このような鉄道車両RVと標識50との距離に応じた標識50の画像上の大きさの変化を用いて、鉄道車両RVと標識50との実際の距離Z2が求められる。
例えば、表示装置40に表示されている第1または第2画像上における標識50の幅の画素数をxとし、表示装置40の隣接する2つの画素間の距離をsとする。この場合、表示装置40において表示されている標識50の画面上の幅は、x×sとなる。さらに、センサ10の焦点距離をfとすると、標識50と鉄道車両RVとの間の実際の第2距離Z2は、式2のように表される。
Z2=f×d1/(x×s) (式2)
Z2=f×d1/(x×s) (式2)
第2距離Z2は、第1および第2画像のいずれか一方を用いて算出可能であり、第1画像と第2画像との視差の影響を受けない。従って、第2距離Z2は、センサ10の2つのカメラの位置や角度等の配置に変化があっても鉄道車両RVと標識50との比較的正確な距離を示すことができる。即ち、第2距離Z2は、センサ10の経年劣化の影響を受けにくい。尚、第2距離算出部230は、第1および第2画像のそれぞれについて第2距離Z2を算出し、いずれかを選択的に用いてもよく、あるいは、第1および第2画像のそれぞれの第2距離Z2の平均値を用いてもよい。
属性情報は、標識50の大きさおよび/または位置に関する既知の情報であればよい。例えば、属性情報は、標識50の横方向の長さ(幅)d1でもよく、標識50の縦方向の長さでもよい。あるいは、属性情報は、標識50に描かれている模様の長さd2でもよい。さらに、属性情報の他の例については後述する。
距離比較判定部240は、第1距離Z1と第2距離Z2との差を計算し、この差と閾値とを比較する。第1距離Z1と第2距離Z2との差が閾値以上である場合には、距離比較判定部240は、センサ10の2つのカメラの配置に異常があると判定する。一方、第1距離Z1と第2距離Z2との差が閾値未満である場合には、距離比較判定部240は、センサ10の2つのカメラの配置は正常であると判定する。センサ10に異常があると判定された場合、センサ10の2つのカメラは校正する必要がある。尚、閾値は、予め設定して記憶部207に格納しておけばよい。また、距離比較判定部240による正常/異常判定の結果情報は、記憶部207に格納すればよい。
出力部250は、距離比較判定部240による正常/異常判定の結果情報を出力する。出力部250から出力された正常/異常判定の結果情報は、記録装置30に保存され、表示装置40に表示される。
表示装置40は、第1距離と第2距離との差が閾値よりも大きい場合に、センサ10の異常を示す警報を表示する。表示装置40は、センサ10の正常判定および異常判定の両方を表示してもよいが、異常判定のみを表示し、正常判定については表示しないように設定してもよい。
表示装置40が異常判定を表示している場合、センサ10の2つのカメラの配置等を校正しメンテナンスする。
次に、本実施形態によるカメラ検査システム21の動作を説明する。
図10は、第1実施形態によるカメラ検査システム21の動作の一例を示すフロー図である。
まず、センサ10が標識50を第1および第2視点で撮像する(S10)。センサ10は、第1および第2視点を有する複数のカメラで同一標識50をほぼ同時に撮像する。
次に、画像取得部201が第1視点における標識50の第1画像と第2視点における該標識の第2画像との視差を求める(S20)。
次に、第1距離算出部220が画像取得部201で求められた第1視点における標識50の第1画像と第2視点における標識50の第2画像との視差を受け取る。第1距離算出部220は、第1画像と第2画像との視差に基づいて、式1を用いて鉄道車両RVと標識50との間の第1距離Z1を算出する(S30)。即ち、センサ10のステレオカメラの機能を用いて第1距離Z1を算出する。
次に、第2距離算出部230が標識50の大きさおよび/または位置と、第1または第2画像上における標識50の大きさおよび/または位置の長さとに基づいて、式2を用いて鉄道車両RVと標識50との間の第2距離Z2を算出する(S40)。
次に、距離比較判定部240が第1距離Z1と第2距離Z2との差|Z1−Z2|を計算し、この差と閾値Thとを比較する(S50)。第1距離Z1と第2距離Z2との差が閾値以上である場合(|Z1−Z2|≧Th)、距離比較判定部240は、センサ10の2つのカメラの配置に異常があると判定する(S60)。一方、第1距離Z1と第2距離Z2との差が閾値未満である場合(|Z1−Z2|<Th)、距離比較判定部240は、センサ10の2つのカメラの配置は正常であると判定する(S70)。尚、閾値は、予め設定して記憶部207に格納しておけばよい。また、距離比較判定部240による正常/異常判定の結果情報は、記憶部207に格納すればよい。
出力部250は、距離比較判定部240による正常/異常判定の結果情報を出力する(S80)。出力部250から出力された正常/異常判定の結果情報は、記録装置30に保存され、表示装置40に表示される(S90)。表示装置40は、センサ10の正常判定および異常判定の両方を表示してもよいが、異常判定のみを表示し、正常判定については表示しないように設定してもよい。
出力部250は、距離比較判定部240による正常/異常判定の結果情報を出力する(S80)。出力部250から出力された正常/異常判定の結果情報は、記録装置30に保存され、表示装置40に表示される(S90)。表示装置40は、センサ10の正常判定および異常判定の両方を表示してもよいが、異常判定のみを表示し、正常判定については表示しないように設定してもよい。
表示装置40が異常判定を表示している場合、センサ10の2つのカメラの配置等を校正する。
図10のフローは、鉄道車両RVの走行中に周期的に繰り返される。これにより、カメラ検査システム21は、鉄道車両RVの走行中にリアルタイムでセンサ10の異常を判断し、その場で異常を知ることができる。従って、鉄道車両RVの定期点検まで待つこと無く、センサ10の校正の要否を自動かつ容易に判定することができる。
鉄道車両RVは、通常、特定のレールR上を走行する。このため、例えば、車両基地から出車するごとに本実施形態によるカメラ検査処理を実行すれば、センサ10の支障物検知性能が低下したことを早期に発見することができる。
(変形例1)
図11は、第1実施形態の変形例1による第2距離Z2の算出方法を示す概念図である。複数の標識50_1、50_2が設けられており、属性情報は標識50_1と標識50_2との間の距離d3でもよい。標識50_1、50_2は、レールRに対して略直交方向に並列に配置され、鉄道車両RVからほぼ同じ距離に設置される。従って、距離d3は、レールRに対して略直交方向における標識50_1、50_2間の距離である。このように、属性情報は、複数の標識50_1、50_2間の距離であってもよい。実際の距離d3は、予め記憶部207に格納されている。
尚、標識50_1、50_2の模様は、同じであってもよいが、記憶部207に登録されており標識として識別可能であれば特に限定せず、互いに異なる模様を有していてもよい。
図11は、第1実施形態の変形例1による第2距離Z2の算出方法を示す概念図である。複数の標識50_1、50_2が設けられており、属性情報は標識50_1と標識50_2との間の距離d3でもよい。標識50_1、50_2は、レールRに対して略直交方向に並列に配置され、鉄道車両RVからほぼ同じ距離に設置される。従って、距離d3は、レールRに対して略直交方向における標識50_1、50_2間の距離である。このように、属性情報は、複数の標識50_1、50_2間の距離であってもよい。実際の距離d3は、予め記憶部207に格納されている。
尚、標識50_1、50_2の模様は、同じであってもよいが、記憶部207に登録されており標識として識別可能であれば特に限定せず、互いに異なる模様を有していてもよい。
(変形例2)
図12は、第1実施形態の変形例2による第2距離Z2の算出方法を示す概念図である。複数の標識50_3、50_4が設けられており、属性情報は標識50_3と標識50_4との間のレールRに沿った距離d4である。標識50_3、50_4は、レールRの両側に、レールRに対して略平行方向に異なる位置に配置されている。従って、距離d4は、レールRに対して略平行方向における標識50_3、50_4間の距離である。このように、属性情報は、複数の標識50_3、50_4間の距離であってもよい。実際の距離d4は、予め記憶部207に格納されている。
図12は、第1実施形態の変形例2による第2距離Z2の算出方法を示す概念図である。複数の標識50_3、50_4が設けられており、属性情報は標識50_3と標識50_4との間のレールRに沿った距離d4である。標識50_3、50_4は、レールRの両側に、レールRに対して略平行方向に異なる位置に配置されている。従って、距離d4は、レールRに対して略平行方向における標識50_3、50_4間の距離である。このように、属性情報は、複数の標識50_3、50_4間の距離であってもよい。実際の距離d4は、予め記憶部207に格納されている。
尚、標識50_3、50_4の模様を互いに異ならせることによって、標識50_3、50_4を区別している。標識50_3、50_4を区別することによって、標識50_3が手前に配置され、標識50_4が奥に配置されていることが分かる。
このような、変形例1、2であっても、上記第1実施形態と同様の効果を得ることができる。
このような、変形例1、2であっても、上記第1実施形態と同様の効果を得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
21 カメラ検査システム、50 標識、10 センサ、40 表示装置、30 記録装置、207 記憶部、208 演算処理部、201 画像取得部、210 標識認識部、220 第1距離算出部、230 第2距離算出部、240 距離比較判定部、250 出力部
Claims (5)
- 鉄道車両に搭載された撮像部であって、鉄道車両が走行する軌道の周辺に設けられた標識を第1および第2視点で撮像する撮像部と、
前記第1視点における前記標識の第1画像と前記第2視点における該標識の第2画像との視差を求め、前記第1画像と前記第2画像との視差に基づいて前記鉄道車両と前記標識との間の第1距離を算出し、前記標識の大きさおよび/または位置に関する既知の属性情報と前記第1または第2画像上における前記属性情報の長さとに基づいて前記鉄道車両と前記標識との間の第2距離を算出し、前記第1距離と前記第2距離との差が閾値よりも大きいか否かを判断する演算処理部、
前記属性情報を格納する記憶部と、を備えたカメラ検査システム。 - 前記属性情報は前記標識の一部の長さである、請求項1に記載のカメラ検査システム。
- 複数の前記標識が設けられており、前記属性情報は前記複数の標識間の距離である、請求項1に記載のカメラ検査システム。
- 前記演算処理部は、前記第1距離を、式1を用いて算出する、
Z1=f×B/D (式1)
ここで、Z1は前記鉄道車両と前記標識との間の前記第1距離であり、fは前記撮像部の焦点距離であり、Bは前記撮像部の前記第1視点と前記第2視点との間の距離であり、Dは前記視差である、請求項1から請求項3のいずれか一項に記載のカメラ検査システム。 - 前記演算処理部は、前記第2距離を、式2を用いて算出する、
Z2=f×d/(x×s) (式2)
ここで、Z2は前記鉄道車両と前記標識との間の前記第2距離であり、fは前記撮像部の焦点距離であり、dは前記標識の属性情報の実際の長さであり、xは前記第1または第2画像上における前記属性情報の画素数であり、sは前記第1および/または前記第2画像を表示する表示部の隣接する画素間の距離である、請求項1から請求項3のいずれか一項に記載のカメラ検査システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231695A JP2021099707A (ja) | 2019-12-23 | 2019-12-23 | カメラ自動検査システム |
PCT/JP2020/041615 WO2021131351A1 (ja) | 2019-12-23 | 2020-11-06 | カメラ自動検査システム |
EP20908391.4A EP4082867A4 (en) | 2019-12-23 | 2020-11-06 | AUTOMATIC CAMERA INSPECTION SYSTEM |
CN202080089162.0A CN114830180A (zh) | 2019-12-23 | 2020-11-06 | 摄像机自动检查系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231695A JP2021099707A (ja) | 2019-12-23 | 2019-12-23 | カメラ自動検査システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021099707A true JP2021099707A (ja) | 2021-07-01 |
Family
ID=76541269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019231695A Pending JP2021099707A (ja) | 2019-12-23 | 2019-12-23 | カメラ自動検査システム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4082867A4 (ja) |
JP (1) | JP2021099707A (ja) |
CN (1) | CN114830180A (ja) |
WO (1) | WO2021131351A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090000A1 (ja) * | 2021-11-17 | 2023-05-25 | ソニーセミコンダクタソリューションズ株式会社 | センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法 |
DE112022003062T5 (de) | 2021-06-15 | 2024-05-08 | Denso Corporation | Batteriemessgerät und batteriemessverfahren |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008304248A (ja) * | 2007-06-06 | 2008-12-18 | Konica Minolta Holdings Inc | 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム |
JP6549932B2 (ja) * | 2015-07-30 | 2019-07-24 | 株式会社Subaru | ステレオ画像処理装置 |
WO2017057057A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6779365B2 (ja) * | 2017-03-30 | 2020-11-04 | 三菱電機株式会社 | 物体検出装置及び車両 |
JP7062407B2 (ja) | 2017-11-02 | 2022-05-06 | 株式会社東芝 | 支障物検知装置 |
CN112004645A (zh) * | 2017-12-19 | 2020-11-27 | 卡内基梅隆大学 | 智能清洁机器人 |
JP7210157B2 (ja) * | 2018-04-20 | 2023-01-23 | 株式会社東芝 | 定位置停止制御装置 |
JP7118721B2 (ja) | 2018-04-24 | 2022-08-16 | 株式会社東芝 | 安全運転支援装置 |
-
2019
- 2019-12-23 JP JP2019231695A patent/JP2021099707A/ja active Pending
-
2020
- 2020-11-06 WO PCT/JP2020/041615 patent/WO2021131351A1/ja unknown
- 2020-11-06 EP EP20908391.4A patent/EP4082867A4/en active Pending
- 2020-11-06 CN CN202080089162.0A patent/CN114830180A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112022003062T5 (de) | 2021-06-15 | 2024-05-08 | Denso Corporation | Batteriemessgerät und batteriemessverfahren |
WO2023090000A1 (ja) * | 2021-11-17 | 2023-05-25 | ソニーセミコンダクタソリューションズ株式会社 | センサ検証装置、およびセンサ検証システム、並びにセンサ検証方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4082867A1 (en) | 2022-11-02 |
CN114830180A (zh) | 2022-07-29 |
EP4082867A4 (en) | 2024-01-03 |
WO2021131351A1 (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7062407B2 (ja) | 支障物検知装置 | |
US9886649B2 (en) | Object detection device and vehicle using same | |
JP5404263B2 (ja) | 視差算出方法、および視差算出装置 | |
JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
CN108692719B (zh) | 物体检测装置 | |
JP6424362B2 (ja) | 線条計測装置及びその方法 | |
JP6524529B2 (ja) | 建築限界判定装置 | |
WO2021131351A1 (ja) | カメラ自動検査システム | |
JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
JP6515650B2 (ja) | 校正装置、距離計測装置及び校正方法 | |
US20150269451A1 (en) | Object detection device, object detection method, and computer readable non-transitory storage medium comprising object detection program | |
JP2008299458A (ja) | 車両監視装置および車両監視方法 | |
US11889047B2 (en) | Image processing device and image processing method | |
CN111707668A (zh) | 基于序列图像的隧道检测及图像处理方法 | |
WO2020179194A1 (ja) | パンタグラフ変位測定装置及びトロリ線硬点検出方法 | |
JP6096601B2 (ja) | 駅ホーム転落検知装置 | |
JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
JP2006317418A (ja) | 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体 | |
JP6507590B2 (ja) | 画像変換装置および画像変換方法 | |
JP6635183B1 (ja) | 摩耗測定装置および摩耗測定方法 | |
JP7405710B2 (ja) | 処理装置及び車載カメラ装置 | |
JP2001108434A (ja) | 距離測定方法及び距離測定装置 | |
JP7127607B2 (ja) | レール曲率推定装置 | |
JP2014194367A (ja) | トロリ線高さ測定方法及び装置 | |
WO2020095549A1 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240510 |