JP2019164837A - Information processing system, information processing method and information processing program - Google Patents
Information processing system, information processing method and information processing program Download PDFInfo
- Publication number
- JP2019164837A JP2019164837A JP2019113805A JP2019113805A JP2019164837A JP 2019164837 A JP2019164837 A JP 2019164837A JP 2019113805 A JP2019113805 A JP 2019113805A JP 2019113805 A JP2019113805 A JP 2019113805A JP 2019164837 A JP2019164837 A JP 2019164837A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- captured image
- information processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing system, an information processing method, and an information processing program.
道路(路面)の凹凸や、白線が消えていないかなどの状態を点検することが安全管理上求められている。従来、道路の状態を確認するためには、目視による確認やレーザ装置を使った確認が行われていたが、目視では判断基準にばらつきが生じやすく、レーザ装置を使う場合には非常に高価な専用車両が必要であった。そこで、ステレオカメラを車両に設置し、ステレオカメラで撮った輝度画像又は視差画像から道路の状態を検知することが行われている。 For safety management, it is required to inspect the road (road surface) unevenness and whether the white line has disappeared. Conventionally, in order to confirm the state of the road, visual confirmation or confirmation using a laser device has been performed, but the judgment criteria are likely to vary by visual inspection, which is very expensive when using a laser device. A dedicated vehicle was needed. In view of this, a stereo camera is installed in a vehicle, and a road state is detected from a luminance image or a parallax image taken by the stereo camera.
例えば、特許文献1には、ステレオカメラにより自車両の前方の景色を撮像して得た画像データ対に映し出された対象物の視差に基づいて当該対象物の距離データを算出し、画像データと距離データとに基づいて走行環境を認識するステレオ式車外監視装置が開示されている。
For example, in
しかしながら、一度に撮像することができない領域を複数回に分けて撮像し、複数の撮像画像をつなげて全領域の撮像画像を生成する場合に、撮像画像を精度よくつなげることができないことがあった。 However, when a region that cannot be captured at once is captured in multiple times and a plurality of captured images are connected to generate a captured image of the entire region, the captured images may not be connected accurately. .
本発明は、上記に鑑みてなされたものであって、重複する領域を含む複数の画像に相当する情報を精度よくつなぎ合わせることができる情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的とする。 The present invention has been made in view of the above, and provides an information processing system, an information processing method, and an information processing program capable of accurately joining information corresponding to a plurality of images including overlapping regions. With the goal.
上述した課題を解決し、目的を達成するために、本発明は、車両に取り付けられたステレオカメラと、前記ステレオカメラによって撮像された第1の撮像画像と、前記第1の撮像画像と重複する撮像領域を含むように、移動する車両から前記第1の撮像画像を撮像した時刻とは異なる時刻に撮像された第2の撮像画像と、の特徴点を抽出する特徴点抽出部と、前記抽出された特徴点に基づいて前記第1の撮像画像と前記第2の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行う画像処理部と、を有する。 In order to solve the above-described problems and achieve the object, the present invention overlaps with a stereo camera attached to a vehicle, a first captured image captured by the stereo camera, and the first captured image. A feature point extraction unit that extracts a feature point of a second captured image captured at a time different from a time at which the first captured image is captured from a moving vehicle so as to include an imaging region; An image processing unit that performs a matching process for extracting a region where the first captured image and the second captured image overlap based on the feature points that have been performed, and performs a linking process that connects the overlapping regions. .
本発明によれば、重複する領域を含む複数の画像に相当する情報を精度よくつなぎ合わせることができるという効果を奏する。 According to the present invention, there is an effect that information corresponding to a plurality of images including overlapping regions can be joined together with high accuracy.
以下に添付図面を参照して、実施形態にかかる情報処理システムを詳細に説明する。図1は、実施形態にかかる情報処理システム10の構成例を示すブロック図である。図1に示すように、情報処理システム10は、例えば車載装置20及び情報処理装置30を有する。
Hereinafter, an information processing system according to an embodiment will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram illustrating a configuration example of an
車載装置20は、例えば第1ステレオカメラ200、第2ステレオカメラ202、傾斜センサ(姿勢センサ)204、GPS(位置センサ)206、加速度センサ(車速センサ)208、視差画像生成部210及び第1通信部212を有し、後述する車両100などに積載(設置)されて動作する。
The in-
第1ステレオカメラ200は、例えば2つのレンズ及び2つの撮像素子を備え、2つの輝度画像(右眼相当及び左眼相当の撮像画像)を同時に撮影する。第2ステレオカメラ202は、第1ステレオカメラ200と同様に、例えば2つのレンズ及び2つの撮像素子を備え、2つの輝度画像(右眼相当及び左眼相当の撮像画像)を同時に撮影する。つまり、車載装置20は、第1ステレオカメラ200及び第2ステレオカメラ202によって、同時に4つの輝度画像を撮影する。なお、第1ステレオカメラ200及び第2ステレオカメラ202が撮像する撮像画像は、輝度画像に限られず、他の画素値が配列された偏光画像及び分光画像などの撮像画像であってもよい。
The
車載装置20は、例えば図2に示すように車両100の進行方向に続く領域を、所定幅の重複する撮像領域(画像重複部)を含むように異なる時刻に異なるフレーム(撮影画像)として撮像する。画像重複部は、例えば撮像画像の幅の10〜30%にされる。なお、図2においては、第1ステレオカメラ200及び第2ステレオカメラ202が備える合計4つの撮像素子のいずれか1つが異なる時刻に撮像するフレームが模式的に示されている。
For example, as illustrated in FIG. 2, the in-
より具体的には、第1ステレオカメラ200及び第2ステレオカメラ202は、例えば図3に示すように、車両100の後方に並べて配置され、道路の幅方向の全領域を上方から同時に撮像する。第1ステレオカメラ200及び第2ステレオカメラ202は、フレームレートが例えば30fpsに設定されている。この場合、1/30sでの車両100の進行方向の移動距離は、0.37m@40km/hや、0.46m@50km/hなどとなる。この場合、進行方向の撮像画像の幅を0.6mとすると、画像重複部は0.23mや0.14mとなる。また、第1ステレオカメラ200及び第2ステレオカメラ202は、車両100の移動速度に応じてフレームレートが設定されてもよい。
More specifically, the
また、車載装置20は、2つのステレオカメラを備えることに限定されず、道路の幅方向の領域を効率よく撮像するために、3つ以上のステレオカメラが設けられてもよい。また、ステレオカメラのいずれかは、道路からの高さが他のステレオカメラとは異なるように設定されてもよい。また、車載装置20には、第1ステレオカメラ200及び第2ステレオカメラ202が撮像するタイミングにテクスチャを投影する投影装置が設けられていてもよい。
The in-
傾斜センサ204(図1)は、重力方向の加速度等を検出し、道路の傾斜に応じて変化する車載装置20の姿勢(傾き)を検出する。GPS206は、車載装置20の位置を検出する位置センサとして機能する。加速度センサ208は、車載装置20(車両100)の移動における加速度を検出する。また、加速度センサ208は、加速度から車載装置20の位置を検出する位置センサとしての機能も備える。
The inclination sensor 204 (FIG. 1) detects the acceleration in the direction of gravity and the like, and detects the attitude (inclination) of the in-
また、加速度センサ208が検出した加速度(又は移動速度)に応じて、第1ステレオカメラ200及び第2ステレオカメラ202が撮像するフレームレートが設定されてもよい。例えば、車両100の秒速が1m/sであり、第1ステレオカメラ200の撮像範囲が進行方向で50cmである場合、第1ステレオカメラ200は1秒間に3回以上撮像する。なお、第1ステレオカメラ200及び第2ステレオカメラ202は、車両100の移動速度が0のときには、撮像処理を行わず、総データ量を低減するようにされている。
Further, the frame rate captured by the
視差画像生成部210は、第1ステレオカメラ200及び第2ステレオカメラ202がそれぞれ撮像した輝度画像を用いて視差画像をそれぞれ生成する。視差画像生成部210は、ハードウェアによって構成されてもよいし、一部又は全部がソフトウェアによって構成されてもよい。第1通信部212は、車載装置20を構成する各部が出力する情報を情報処理装置30に対して送信する例えば無線通信装置である。
The parallax
情報処理装置30は、例えばCPU及び記憶装置を備えたサーバであり、第2通信部300、取得部302、特徴点抽出部304、重み付け決定部306、画像処理部308及び処理制御部310を有する。ただし、情報処理装置30は、車載装置20と一体に構成されてもよい。
The
第2通信部300は、第1通信部212が送信する情報を受信する例えば無線通信装置である。取得部302は、輝度画像取得部312、視差画像取得部314及び三次元情報変換部316を有し、第1通信部212が送信する情報を、第2通信部300を介して取得する。
The
より具体的には、輝度画像取得部312は、第1ステレオカメラ200及び第2ステレオカメラ202が撮像した輝度画像それぞれの各フレームを取得する。視差画像取得部314は、視差画像生成部210が生成した視差画像を取得する。三次元情報変換部316は、視差画像取得部314が取得した視差画像を、傾斜センサ204、GPS206及び加速度センサ208の少なくともいずれかが検出した情報を用いて、道路の状態(凹凸など)を示す三次元データに変換する。この三次元データは、XYZ座標を有する点(画素)が群となっているため、点群データと記すことがある。また、点群データは、例えば三次元情報データであり、Z方向の値(ステレオカメラからの距離、又は路面の高さ情報)に応じて異なる色などが付されたXY平面上の画像(三次元情報画像)に相当する。つまり、三次元情報変換部316は、三次元情報を平面上に示す三次元情報画像を生成する。なお、視差画像も、三次元情報を含む画像(三次元情報画像)であると言える。
More specifically, the luminance
特徴点抽出部304は、第1ステレオカメラ200及び第2ステレオカメラ202が撮像した輝度画像(撮像画像)、及び三次元情報変換部316が変換により生成した三次元情報画像それぞれから、例えばHarris作用素などによって特徴点を抽出する。
The feature
重み付け決定部306は、特徴点抽出部304が三次元情報画像及び撮像画像それぞれから抽出した所定の閾値以上の特徴点の数に基づいて、三次元情報画像及び撮像画像に対する重み付けを決定する。
The
画像処理部308は、補間処理部318を備え、取得部302が取得した2フレームの三次元情報画像(又は視差画像)及び2フレームの撮像画像、並びに重み付け決定部306が決定した重み付けに基づいて、三次元情報画像(又は視差画像)及び撮像画像の少なくともいずれかの2フレームを重複する撮像領域が重なるようにつなげるつなぎ処理を行う。補間処理部318は、2つのフレームの画像重複部の各画素がそれぞれ同じ場所を撮影した画素であるとは限らないため、補間処理を行うことにより、サブピクセル単位で画素の重なりを特定可能にする。また、画像処理部308は、撮像画像又は三次元情報画像のいずれか一方の2フレームに対して行ったつなぎ処理を、他方の2フレームに対しても行うように構成されてもよい。
The
また、画像処理部308は、つなぎ処理を各フレームに対して連続して行うことにより、第1ステレオカメラ200及び第2ステレオカメラ202が撮像する全領域に対応する画像をつなぐことが可能である。また、画像処理部308は、3フレーム以上、すなわち、時刻T1,T2,T3の画像の特徴点が一致している場合は、つなぎ処理を停止させる。また、画像処理部308は、加速度センサ208の検出結果から車両100が減速後に停止(一定加速度)して再度加速したと判定される場合、つなぎ処理を行わないようにされている。また、画像処理部308は、車載装置20の移動速度に応じてつなぎ処理の処理頻度を変えるように構成されてもよい。
In addition, the
処理制御部310は、情報処理装置30を構成する各部が行う処理を制御する。なお、取得部302、特徴点抽出部304、重み付け決定部306、画像処理部308及び処理制御部310は、ハードウェアによって構成されてもよいし、一部又は全部がソフトウェアによって構成されてもよい。
The
次に、情報処理システム10の動作について図を用いて説明する。図4は、取得部302が取得する輝度画像及び視差画像を模式的に例示する図である。まず、第1ステレオカメラ200は、時刻T1に輝度画像A1と輝度画像B1を撮像する。視差画像生成部210は、輝度画像A1と輝度画像B1から視差画像1を生成する。さらに、第1ステレオカメラ200は、時刻T2に輝度画像A2と輝度画像B2を撮像する。視差画像生成部210は、輝度画像A2と輝度画像B2から視差画像2を生成する。
Next, the operation of the
時刻T1に撮像された輝度画像と、時刻T2に撮像された輝度画像には、同じ領域(道路)を撮像した画像重複部が存在している。輝度画像取得部312は、視差画像1及び視差画像2を取得する。また、視差画像取得部314は、例えば輝度画像B1と撮影範囲が重複する輝度画像A1の領域を、重複部輝度画像1として取得する。また、視差画像取得部314は、例えば輝度画像B2と撮影範囲が重複する輝度画像A2の領域を、重複部輝度画像2として取得する。
The luminance image captured at time T1 and the luminance image captured at time T2 include an image overlap portion in which the same region (road) is captured. The luminance
図5は、画像処理部308が行うつなぎ処理を模式的に例示する図である。画像処理部308は、重複部輝度画像1と重複部輝度画像2とをつなぐ処理、及び視差画像1と視差画像2とをつなぐ処理を行う。なお、輝度画像A1と輝度画像A2は、同じ場所(面積)を写しているピクセル(画素)があるとは限らない。そこで、画像処理部308は、補間処理部318が補間処理等を行うことにより、サブピクセル単位で重なりを特定する。
FIG. 5 is a diagram schematically illustrating a connection process performed by the
図6は、画像処理部308がつなぎ処理において行う付加処理の第1例を模式的に示す図である。図6においては、視差(凸凹)がほぼない道路を走行する車両100がフレーム間で横にずれて移動した場合が示されている。輝度画像A1及び輝度画像A2では、道路の白線は、コントラストが高く、特徴点が現れやすい。一方、道路の白線は、形状としては僅かな段差のみがあり、視差による特徴点が得にくい。
FIG. 6 is a diagram schematically illustrating a first example of addition processing performed by the
輝度画像では、白線は輝度が高く映るため、輝度画像A1と輝度画像A2を特徴点によって正確につなぐことは容易となる。そこで、重み付け決定部306は、図6に示したように輝度画像の方が視差画像よりも所定の閾値以上の特徴点が多い場合、輝度画像の情報に重みを付ける決定を行う。画像処理部308は、重み付け決定部306が決定した重みに基づいて、つなぎ処理を行う。つまり、画像処理部308は、ここでは輝度画像のつなぎ方を用いて、対応する視差画像をつなぐ処理を行う。例えば、画像処理部308は、輝度画像から視差画像1の下端5ピクセルと視差画像2の上端5ピクセルが重なる領域であると特定できた場合、その条件で視差画像1と視差画像2をつなぐ。
In the luminance image, since the luminance of the white line is high, it is easy to accurately connect the luminance image A1 and the luminance image A2 with the feature points. Therefore, when the luminance image has more feature points equal to or greater than the predetermined threshold than the parallax image as illustrated in FIG. 6, the
図7は、画像処理部308がつなぎ処理において行う付加処理の第2例を模式的に示す図である。図7においては、視差(凸凹)がほぼない道路を走行する車両100がフレーム間で回転運動をした場合が示されている。車両100が回転運動した(曲がった)場合、画像処理部308は、視差画像1に対して視差画像2を回転させながら画素の一致度を確認し、どの角度の回転のときに最も一致度が高いかを判断して、視差画像1と視差画像2をつなぐ。
FIG. 7 is a diagram schematically illustrating a second example of the addition process performed by the
この場合、視差が小さいと視差画像では一致する領域を探すことは難しい。そこで、重み付け決定部306は、所定の閾値以上の特徴点が多い輝度画像A1と輝度画像A2の情報に重みを付ける決定を行う。画像処理部308は、重み付け決定部306が決定した重みに基づいて、つなぎ処理を行う。つまり、画像処理部308は、ここでは輝度画像のつなぎ方を用いて、対応する視差画像をつなぐ処理を行う。
In this case, if the parallax is small, it is difficult to find a matching area in the parallax image. Therefore, the
また、画像処理部308は、回転の角度に関しては、機械学習などにより物体認識を行い、その角度変化から角度のみを検出してもよい。図7に示した付加処理は、白線などの直線状の物体を含む場合に有効である。
Further, the
一方、道路のわだちなどは、輝度画像では特徴点が表れにくい。よって、重み付け決定部306は、わだちなどが撮影された輝度画像をつなぐ処理を行う場合などに、視差画像に重みをつける決定を行う。
On the other hand, features such as roadsides are difficult to appear in the luminance image. Therefore, the
以上説明したように、情報処理装置30は、車載装置20から取得した輝度画像及び視差画像を用いて、つなぎ処理を行う。そして、情報処理装置30は、図8にも示したように、時間の経過と共に継続して複数の画像フレームを車載装置20から取得し、輝度画像と点群データ(三次元情報画像)をつなぐ処理を行う。
As described above, the
ここで、画像処理部308は、図9に示した輝度画像から得られる情報(X、Y、θz:Z軸周りの回転角)と、傾斜センサ(姿勢センサ)204、GPS(位置センサ)206及び加速度センサ(車速センサ)208から得られる各情報とを用いてつなぎ処理を行う。
Here, the
図10は、情報処理装置30が行う処理の第1例を示す図である。図10に示すように、特徴点抽出部304は、隣接2フレーム分の点群データ(Cn,Cn+1:図8参照)を用いて特徴点抽出処理を行い(S100)、隣接2フレーム分の輝度画像(Dn,Dn+1:図8参照)を用いて特徴点抽出処理を行う(S102)。特徴点抽出部304は、例えば特徴点を画像平面上の位置と強度の情報として出力する。
FIG. 10 is a diagram illustrating a first example of processing performed by the
重み付け決定部306は、特徴点抽出部304が出力した各特徴点に対し、強度が所定の閾値以下の特徴点を無効として、重みWを決定する(重み出力処理:S104)。輝度の閾値はTh_bとされ、点群データの閾値はTh_sとされている。ここで、各閾値は、特徴点が3点以上確保されるように設定されている。
The
所定の閾値以上の輝度の特徴点はCb(n_Cb)(Px,Py,I)とされ、点群データの特徴点はCs(n_Cs)(Px,Py,I)とされる。なお、Px,Pyは画像面内の位置を示し、Iは強度を示す。(n_Cb)、(n_Cs)は強度が所定の閾値以上の特徴点の個数を示す。 A feature point having a luminance equal to or higher than a predetermined threshold is Cb (n_Cb) (Px, Py, I), and a feature point of the point cloud data is Cs (n_Cs) (Px, Py, I). Px and Py indicate positions in the image plane, and I indicates intensity. (N_Cb) and (n_Cs) indicate the number of feature points having an intensity equal to or greater than a predetermined threshold.
重みWの算出方法には、以下のようなものがある。 There are the following methods for calculating the weight W.
所定の閾値以上の特徴点の個数の比に応じて重みWを決定する場合には、下式1によって重みWが算出される。
When the weight W is determined according to the ratio of the number of feature points equal to or greater than a predetermined threshold, the weight W is calculated by the
W=n_Cb/(n_Cb + n_Cs) ・・・(1) W = n_Cb / (n_Cb + n_Cs) (1)
また、特徴点の強度の総和の比に応じて重みWを決定する場合には、下式2によって重みWが算出される。
Further, when the weight W is determined according to the ratio of the sum of the intensity of the feature points, the weight W is calculated by the
W=Σ(I_Cb)/{Σ(I_Cb)+Σ(I_Cs)} ・・・(2)
ここで、I_Cb、I_Csは各特徴点の強度を示す。
W = Σ (I_Cb) / {Σ (I_Cb) + Σ (I_Cs)} (2)
Here, I_Cb and I_Cs indicate the strength of each feature point.
また、特徴点の個数を例えば3個に限定し、強度上位3個の強度の比に応じて重みWを決定する場合には、下式3によって重みWが算出される。 Further, when the number of feature points is limited to, for example, 3 and the weight W is determined according to the ratio of the top three intensities, the weight W is calculated by the following equation 3.
W=Σ(I_Cb)/Σ(I_Cb+I_Cs) ・・・(3) W = Σ (I_Cb) / Σ (I_Cb + I_Cs) (3)
さらに、各特徴点の「位置」から求まる「特徴点間距離の総和」と「強度」の積の比に応じて重みWを決定する場合には、下式4によって重みWが算出される。 Further, when the weight W is determined according to the ratio of the product of “total distance between feature points” and “intensity” obtained from the “position” of each feature point, the weight W is calculated by the following equation 4.
W=A_b/(A_b+A_s) ・・・(4)
但し、特徴点間距離の総和をD_b、D_sとし、各特徴点強度をI_Cb(n)、I_Cs(n)として、A_b=D_b・Σ(I_Cb(n))、A_s=D_s・Σ(I_Cs(n))とする。ここでは、特徴点間距離が大きいほど、θx、θy、θzの算出時の精度向上に寄与する。
W = A_b / (A_b + A_s) (4)
However, the sum of distances between feature points is D_b and D_s, and the intensity of each feature point is I_Cb (n) and I_Cs (n). n)). Here, the greater the distance between feature points, the greater the accuracy in calculating θx, θy, and θz.
そして、重み付け決定部306は、決定した重みWを用いた比較処理を行い、W>Th_W(重み閾値)を設け、輝度画像又は点群データのいずれに重みを置くかを決定する(S106)。重みWは、0<W<1の範囲内の値をとり得るので、Th_Wは例えば0.5とされる。
Then, the
次に、画像処理部308は、隣接フレームの特徴点のマッチング処理を行い(S108)、相対パラメータ算出処理(つなぎ処理)を行う(S110)。ここで、画像処理部308は、例えばSIFT特徴量を用いてマッチング処理を行う。
Next, the
そして、画像処理部308は、つなぎ処理において重みWを用いたパラメータ調整を行う。例えば、画像処理部308は、下式5に示した輝度画像と点群データの中間的な数値を生成してつなぎ処理に用いる。
Then, the
p_s’=(W・p_s+(1−W)・p_b)/2 ・・・(5) p_s ′ = (W · p_s + (1−W) · p_b) / 2 (5)
なお、p_sは、図9に示したいずれかの点群データのパラメータであり、p_bは輝度画像のパラメータである。 Note that p_s is a parameter of any of the point group data shown in FIG. 9, and p_b is a parameter of the luminance image.
図11は、情報処理装置30が行う処理の第2例を示す図である。図11に示すように、特徴点抽出部304は、隣接2フレーム分の点群データ(Cn,Cn+1:図8参照)を用いて特徴点抽出処理を行い(S100)、隣接2フレーム分の輝度画像(Dn,Dn+1:図8参照)を用いて特徴点抽出処理を行う(S102)。特徴点抽出部304は、例えば特徴点を画像平面上の位置と強度の情報として、画像処理部308及び重み付け決定部306に対して出力する。
FIG. 11 is a diagram illustrating a second example of processing performed by the
画像処理部308は、点群データのみを用いた特徴点のマッチング処理(S200)と、輝度画像のみを用いた特徴点のマッチング処理(S202)とを行い、点群データのみを用いた点群データのつなぎ処理(S204)と、輝度画像のみを用いた輝度画像つなぎ処理(S206)とを行う。
The
重み付け決定部306は、重みWを決定する(重み出力処理:S208)。そして、画像処理部308は、重み付け決定部306が決定した重みWを用いて、S204及びS206の処理で実行したつなぎ処理の結果を図12に例示したように調整する(相対パラメータ調整処理:S210)。
The
このように、情報処理システム10は、道路の単位距離(例:数百メートル)の連続的な三次元形状データ(三次元情報画像)及び輝度画像を精度よく生成して出力する。三次元形状データは、道路の平坦度(進行方向の凹凸)、わだち(道路の幅方向の凹凸)、ひび、白線の状態を示すことが可能である。輝度画像は道路のひびなどを示すことが可能である。
As described above, the
10 情報処理システム
20 車載装置
30 情報処理装置
100 車両
200 第1ステレオカメラ
202 第2ステレオカメラ
204 傾斜センサ
206 GPS
208 加速度センサ
210 視差画像生成部
212 第1通信部
300 第2通信部
302 取得部
304 特徴点抽出部
306 重み付け決定部
308 画像処理部
310 処理制御部
312 輝度画像取得部
314 視差画像取得部
316 三次元情報変換部
318 補間処理部
DESCRIPTION OF
208
Claims (9)
前記ステレオカメラによって撮像された第1の撮像画像と、前記第1の撮像画像と重複する撮像領域を含むように、移動する車両から前記第1の撮像画像を撮像した時刻とは異なる時刻に撮像された第2の撮像画像と、の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点に基づいて前記第1の撮像画像と前記第2の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行う画像処理部と、
を有することを特徴とする情報処理システム。 A stereo camera attached to the vehicle;
Captured at a time different from the time at which the first captured image was captured from a moving vehicle so as to include a first captured image captured by the stereo camera and an imaging region overlapping the first captured image. A feature point extraction unit that extracts feature points of the second captured image,
An image processing unit that performs a matching process to extract an area where the first captured image and the second captured image overlap based on the extracted feature points, and performs a linking process to connect the overlapping areas;
An information processing system comprising:
前記ステレオカメラで撮像された路面の画像から視差画像を取得する取得部と、
前記ステレオカメラによって撮像された第1の撮像画像と、前記第1の撮像画像と重複する撮像領域を含むように、移動する車両から前記第1の撮像画像を撮像した時刻とは異なる時刻に撮像された第2の撮像画像と、の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点に基づいて前記第1の撮像画像と前記第2の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げる処理と、2つの視差画像を繋げる処理との少なくとも何れか一方であるつなぎ処理を行う画像処理部と、
を備えることを特徴とする情報処理システム。 A stereo camera attached to the vehicle;
An acquisition unit that acquires a parallax image from an image of a road surface captured by the stereo camera;
Captured at a time different from the time at which the first captured image was captured from a moving vehicle so as to include a first captured image captured by the stereo camera and an imaging region overlapping the first captured image. A feature point extraction unit that extracts feature points of the second captured image,
Based on the extracted feature points, a matching process for extracting an area where the first captured image and the second captured image overlap is performed, and the process for connecting the overlapping areas and the two parallax images are connected. An image processing unit that performs a linkage process that is at least one of the processes;
An information processing system comprising:
をさらに備え、
前記画像処理部は、前記重み付け決定部が決定した重み付けに基づいて前記つなぎ処理を行う、
ことを特徴とする請求項1または2に記載の情報処理システム。 Weighting the first captured image and the second captured image based on the number of feature points that are equal to or greater than a predetermined threshold extracted from the first captured image and the second captured image by the feature point extraction unit. A weight determining unit for determining
Further comprising
The image processing unit performs the connection processing based on the weighting determined by the weighting determination unit.
The information processing system according to claim 1 or 2.
ことを特徴とする請求項1ないし3のいずれか1項に記載の情報処理システム。 Setting the interval of the imaging operation of the stereo camera according to the traveling speed of the vehicle;
The information processing system according to any one of claims 1 to 3.
ことを特徴とする請求項1ないし4のいずれか1項に記載の情報処理システム。 The connection process is continuously performed on each captured image.
The information processing system according to any one of claims 1 to 4, wherein
ことを特徴とする請求項1ないし5のいずれか1項に記載の情報処理システム。 The image processing unit, when the feature points extracted by the feature point extraction unit match in a predetermined number of captured images, stops the linkage process,
The information processing system according to claim 1, wherein the information processing system is an information processing system.
前記車両の移動が減速後に停止して再度加速するものである場合、前記車両が停止していた期間に対する前記つなぎ処理を行わない、
ことを特徴とする請求項1ないし6のいずれか1項に記載の情報処理システム。 The image processing unit
If the movement of the vehicle is to stop after decelerating and accelerate again, do not perform the linking process for the period when the vehicle has stopped,
The information processing system according to claim 1, wherein the information processing system is an information processing system.
前記抽出された特徴点に基づいて前記第1の撮像画像と前記第2の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行う工程と、
を含む情報処理方法。 What is the time at which the first captured image is captured from a moving vehicle so as to include a first captured image captured by a stereo camera attached to the vehicle and an imaging region that overlaps the first captured image? Extracting a feature point of a second captured image captured at a different time; and
Performing a matching process for extracting a region where the first captured image and the second captured image overlap based on the extracted feature points, and performing a linking process for connecting the overlapping regions;
An information processing method including:
前記抽出された特徴点に基づいて前記第1の撮像画像と前記第2の撮像画像とが重複する領域を抽出するマッチング処理を行い、前記重複する領域を繋げるつなぎ処理を行うステップと、
をコンピュータに実行させるための情報処理プログラム。 What is the time at which the first captured image is captured from a moving vehicle so as to include a first captured image captured by a stereo camera attached to the vehicle and an imaging region that overlaps the first captured image? Extracting feature points of a second captured image captured at different times; and
Performing a matching process for extracting a region where the first captured image and the second captured image overlap based on the extracted feature points, and performing a connecting process for connecting the overlapping regions;
Processing program for causing a computer to execute.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113805A JP6988860B2 (en) | 2016-02-09 | 2019-06-19 | Information processing system, information processing method and information processing program |
JP2021160015A JP7180739B2 (en) | 2019-06-19 | 2021-09-29 | Information processing device, information processing system, information processing method and information processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016022858A JP6544257B2 (en) | 2016-02-09 | 2016-02-09 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
JP2019113805A JP6988860B2 (en) | 2016-02-09 | 2019-06-19 | Information processing system, information processing method and information processing program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016022858A Division JP6544257B2 (en) | 2016-02-09 | 2016-02-09 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021160015A Division JP7180739B2 (en) | 2019-06-19 | 2021-09-29 | Information processing device, information processing system, information processing method and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019164837A true JP2019164837A (en) | 2019-09-26 |
JP6988860B2 JP6988860B2 (en) | 2022-01-05 |
Family
ID=79239716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019113805A Active JP6988860B2 (en) | 2016-02-09 | 2019-06-19 | Information processing system, information processing method and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6988860B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022244356A1 (en) * | 2021-05-18 | 2022-11-24 | Hitachi Astemo, Ltd. | Light interference detection during vehicle navigation |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009187316A (en) * | 2008-02-06 | 2009-08-20 | Konica Minolta Holdings Inc | Corresponding point retrieval device and method |
JP2013108990A (en) * | 2012-12-13 | 2013-06-06 | Konica Minolta Inc | Obstruction measurement method, obstruction measurement device, and obstruction measurement system |
-
2019
- 2019-06-19 JP JP2019113805A patent/JP6988860B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009187316A (en) * | 2008-02-06 | 2009-08-20 | Konica Minolta Holdings Inc | Corresponding point retrieval device and method |
JP2013108990A (en) * | 2012-12-13 | 2013-06-06 | Konica Minolta Inc | Obstruction measurement method, obstruction measurement device, and obstruction measurement system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022244356A1 (en) * | 2021-05-18 | 2022-11-24 | Hitachi Astemo, Ltd. | Light interference detection during vehicle navigation |
US11741718B2 (en) | 2021-05-18 | 2023-08-29 | Hitachi Astemo, Ltd. | Light interference detection during vehicle navigation |
Also Published As
Publication number | Publication date |
---|---|
JP6988860B2 (en) | 2022-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6544257B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
JP6264477B2 (en) | Method and apparatus for projective space monitoring | |
JP7134012B2 (en) | Parallax estimation device and method | |
CN106960454B (en) | Depth of field obstacle avoidance method and equipment and unmanned aerial vehicle | |
WO2016199244A1 (en) | Object recognition device and object recognition system | |
JP6561512B2 (en) | Parallax value deriving device, moving body, robot, parallax value deriving method, parallax value producing method, and program | |
CN105335955A (en) | Object detection method and object detection apparatus | |
JP2020529685A5 (en) | ||
JP2014138420A (en) | Depth sensing method and system for autonomous vehicle | |
JP6970577B2 (en) | Peripheral monitoring device and peripheral monitoring method | |
JP6261266B2 (en) | Moving body detection device | |
US10595003B2 (en) | Stereo camera apparatus and vehicle comprising the same | |
CN106033614B (en) | A kind of mobile camera motion object detection method under strong parallax | |
WO2015098222A1 (en) | Information processing device, information processing method, and program | |
Beltran et al. | A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect | |
JP2018503195A (en) | Object detection method and object detection apparatus | |
CN104537627A (en) | Depth image post-processing method | |
TWI571099B (en) | Device and method for depth estimation | |
CN112802114A (en) | Multi-vision sensor fusion device and method and electronic equipment | |
JP6860445B2 (en) | Object distance detector | |
US9041778B2 (en) | Image processing device and method of processing image | |
WO2014054124A1 (en) | Road surface markings detection device and road surface markings detection method | |
JP2019164837A (en) | Information processing system, information processing method and information processing program | |
KR102410300B1 (en) | Apparatus for measuring position of camera using stereo camera and method using the same | |
KR20180061803A (en) | Apparatus and method for inpainting occlusion of road surface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210929 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211007 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6988860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |