JP2020076714A

JP2020076714A - Position attitude estimation device

Info

Publication number: JP2020076714A
Application number: JP2018211546A
Authority: JP
Inventors: 将尭横田; Masataka Yokota; 佳孫; Ka Son; 尚宏曽田; Naohiro Soda
Original assignee: Denso Corp; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2020-05-21

Abstract

To provide a position attitude estimation device capable of improving estimation accuracy of a position and attitude of an imaging unit mounted on a vehicle.SOLUTION: A position attitude estimation device includes: a stationary region specifying unit 31 for specifying a stationary region for each of a plurality of time-series images obtained by an imaging unit 2 mounted on a vehicle 10; a matching unit 32 for extracting a plurality of feature points from the stationary region of an image for each of the plurality of images to obtain a set of the plurality of feature points by matching feature points corresponding to a same position on a real space of the plurality of feature points among the plurality of images; and a position attitude estimation unit 33 for estimating the position and attitude of the imaging unit 2 at the time of acquiring each of the plurality of images by projecting, based on the set of the plurality of feature points, a feature point on one image among a plurality of images to a corresponding feature point on the other image of the plurality of images and obtaining a conversion matrix representing change in a relative position and attitude of the imaging unit 2 at a time of acquisition of the one image and the other image.SELECTED DRAWING: Figure 3

Description

本発明は、車両に搭載された撮像部の位置及び姿勢を推定する位置姿勢推定装置に関する。 The present invention relates to a position / orientation estimation device that estimates the position and orientation of an imaging unit mounted on a vehicle.

車両の運転支援あるいは自動運転制御に利用するため、車両周囲に存在する物体を検知するためのカメラが車両に搭載されることがある。カメラが撮影することで得られた画像に表された物体と車両との位置関係を正確に推定するためには、カメラの位置及び姿勢が正確に求められることが好ましい。そこで、移動体が直進する時の移動体の移動前後において、移動体に設置された各カメラにより得られた画像に基づいて、カメラ間の相対位置を推定する技術が提案されている（例えば、特許文献１を参照）。この技術では、カメラごとに、移動体が直進する時の移動体の移動前後において得られた各画像から特徴点が抽出され、その画像間で抽出された特徴点同士が対応付けられる。そしてカメラごとに、対応付けられた特徴点から、一方の画像から他方の画像への射影変換を行うホモグラフィ行列が推定され、推定されたホモグラフィ行列に従って、一方のカメラに対する他方のカメラの相対位置が推定される。 A camera for detecting an object existing around the vehicle may be mounted on the vehicle for use in driving assistance or automatic driving control of the vehicle. In order to accurately estimate the positional relationship between the vehicle and the object shown in the image obtained by the camera, it is preferable that the position and orientation of the camera be accurately obtained. Therefore, there is proposed a technique of estimating the relative position between the cameras based on the images obtained by the cameras installed on the moving body before and after the moving body moves when the moving body moves straight (for example, See Patent Document 1). In this technique, for each camera, feature points are extracted from each image obtained before and after the movement of the moving body when the moving body moves straight, and the extracted feature points are associated with each other between the images. Then, for each camera, the homography matrix that performs the projective transformation from one image to the other image is estimated from the associated feature points, and according to the estimated homography matrix, the relative of the other camera with respect to one camera is estimated. The position is estimated.

特開２０１４−１０１０７５号公報JP, 2014-101075, A

カメラが搭載された車両の周囲に、他の車両といった移動する物体（以下、移動物体と呼ぶ）が存在すると、そのカメラにより得られた画像においても移動物体が表されている領域が含まれることがある。そして移動物体が表された領域から抽出された特徴点が、画像間での対応付け及びホモグラフィ行列の推定に利用されると、各画像の取得時における、その特徴点の実空間での対応位置が互いに異なっているために、ホモグラフィ行列の推定精度が低下してしまい、その結果として、カメラの位置などの推定精度も低下する。 When a moving object such as another vehicle (hereinafter referred to as a moving object) exists around a vehicle equipped with a camera, the image obtained by the camera also includes a region representing the moving object. There is. Then, when the feature points extracted from the region in which the moving object is represented are used for the correspondence between the images and the estimation of the homography matrix, the correspondence of the feature points in the real space at the time of acquiring each image Since the positions are different from each other, the estimation accuracy of the homography matrix is reduced, and as a result, the estimation accuracy of the position of the camera is also reduced.

そこで、本発明は、車両に搭載された撮像部の位置及び姿勢の推定精度を向上できる位置姿勢推定装置を提供することを目的とする。 Therefore, it is an object of the present invention to provide a position / orientation estimation device that can improve the accuracy of estimating the position and orientation of an imaging unit mounted on a vehicle.

一つの実施形態によれば、位置姿勢推定装置が提供される。この位置姿勢推定装置は、車両に搭載された撮像部により得られた時系列の複数の画像のそれぞれについて、静止している物体が写っている静止領域を特定する静止領域特定部と、複数の画像のそれぞれについて、その画像の静止領域から複数の特徴点を抽出し、複数の画像間で、複数の特徴点のうち、実空間上の同一位置に対応する特徴点同士を対応付けることで複数の特徴点の組を求める対応付け部と、複数の特徴点の組に基づいて、複数の画像のうちの一つの画像上の特徴点を複数の画像のうちの他の画像上の対応する特徴点へ投影し、かつ、その一つの画像の取得時と他の画像の取得時間の撮像部の相対的な位置及び姿勢の変化を表す変換行列を求めることで、複数の画像のそれぞれの取得時の撮像部の位置及び姿勢を推定する位置姿勢推定部とを有する。 According to one embodiment, a position and orientation estimation apparatus is provided. This position / orientation estimation apparatus includes a stationary area specifying unit that specifies a stationary area in which a stationary object is captured for each of a plurality of time-series images obtained by an imaging unit mounted on a vehicle, and a plurality of stationary area specifying units. For each of the images, a plurality of feature points are extracted from the still area of the image, and a plurality of feature points are associated with one another in the real space among the plurality of feature points. An associating unit that obtains a set of feature points, and a feature point on one image of a plurality of images corresponding to a feature point on another image of the plurality of images based on the set of a plurality of feature points. By projecting to a single image and obtaining a conversion matrix that represents changes in the relative position and orientation of the image capturing unit at the time of acquiring that one image and the acquisition time of the other image. A position / orientation estimation unit that estimates the position and orientation of the imaging unit.

本発明に係る位置姿勢推定装置は、車両に搭載された撮像部の位置及び姿勢の推定精度を向上できるという効果を奏する。 The position / orientation estimation apparatus according to the present invention has an effect of improving the estimation accuracy of the position and orientation of the image pickup unit mounted on the vehicle.

位置姿勢推定装置が実装される車両制御システムの概略構成図である。It is a schematic block diagram of a vehicle control system in which a position and orientation estimation apparatus is mounted. 位置姿勢推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。It is a hardware block diagram of an electronic control unit which is one embodiment of a position and orientation estimation apparatus. 位置姿勢推定処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。It is a functional block diagram of a processor of an electronic control unit concerning vehicle control processing including position and orientation estimation processing. 画像上の静止領域の一例を示す図である。It is a figure which shows an example of the still region on an image. 位置姿勢推定処理を含む、車両制御処理の動作フローチャートである。It is an operation | movement flowchart of a vehicle control process containing a position and orientation estimation process. 変形例による、静止領域特定部３１の処理の動作フローチャートである。11 is an operation flowchart of processing of a stationary area specifying unit 31 according to a modification. 画像上の静止領域の他の一例を示す図である。It is a figure which shows another example of the still area | region on an image.

以下、図を参照しつつ、位置姿勢推定装置について説明する。この位置姿勢推定装置は、車両に搭載されたカメラにより得られた、車両の周囲が表された時系列の複数の画像のそれぞれから静止している物体（以下、単に静止物体と呼ぶ）が表された領域（以下、単に静止領域と呼ぶ）を検出する。そしてこの位置姿勢推定装置は、各画像について、その画像の静止領域から複数の特徴点を抽出し、画像間で抽出された特徴点を対応付け、対応付けられた特徴点の組に基づいて、複数の画像のうちの一方の画像上の各点を他方の画像上の対応点へ射影変換する行列を求めることで、カメラの位置及び姿勢を推定する。 The position / orientation estimation apparatus will be described below with reference to the drawings. The position / orientation estimation apparatus displays a stationary object (hereinafter, simply referred to as a stationary object) from each of a plurality of time-series images representing the surroundings of the vehicle obtained by a camera mounted on the vehicle. The detected area (hereinafter, simply referred to as a still area) is detected. Then, this position and orientation estimation apparatus extracts, for each image, a plurality of feature points from the still region of the image, associates the feature points extracted between the images, and based on the set of associated feature points, The position and orientation of the camera are estimated by obtaining a matrix that projectively transforms each point on one image of the plurality of images into a corresponding point on the other image.

以下では、位置姿勢推定装置を、車両制御システムに適用した例について説明する。この例では、位置姿勢推定装置は、車両に搭載されたカメラにより得られた画像に対して位置姿勢推定処理を実行することで、カメラの位置及び姿勢を推定し、その推定結果に基づいて、車両の周囲に存在する各種の物体、例えば、他の車両または人の移動軌跡を求めて、車両の運転制御に利用する。 Below, the example which applied the position and orientation estimation apparatus to the vehicle control system is demonstrated. In this example, the position and orientation estimation apparatus estimates the position and orientation of the camera by executing the position and orientation estimation processing on the image obtained by the camera mounted on the vehicle, and based on the estimation result, Various objects existing around the vehicle, for example, a moving locus of another vehicle or a person is obtained and used for driving control of the vehicle.

図１は、位置姿勢推定装置が実装される車両制御システムの概略構成図である。また図２は、位置姿勢推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、位置姿勢推定装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク４を介して通信可能に接続される。 FIG. 1 is a schematic configuration diagram of a vehicle control system in which the position / orientation estimation apparatus is mounted. FIG. 2 is a hardware configuration diagram of an electronic control device that is one embodiment of the position and orientation estimation device. In the present embodiment, a vehicle control system 1 mounted on the vehicle 10 and controlling the vehicle 10 includes a camera 2 for capturing an image of the surroundings of the vehicle 10 and an electronic control unit (ECU) that is an example of a position and orientation estimation device. ) 3 and. The camera 2 and the ECU 3 are communicatively connected via an in-vehicle network 4 conforming to a standard such as a controller area network.

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒〜1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。 The camera 2 is an example of an imaging unit, and is a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light, such as CCD or C-MOS, and an object to be imaged on the two-dimensional detector. It has an image forming optical system for forming an image of an area. Then, the camera 2 is attached, for example, in the vehicle interior of the vehicle 10 so as to face the front of the vehicle 10. Then, the camera 2 shoots a front area of the vehicle 10 at a predetermined shooting cycle (for example, 1/30 second to 1/10 second), and generates an image showing the front area. The image obtained by the camera 2 may be a color image or a gray image.

カメラ２は、画像を生成する度に、その生成した画像を車内ネットワーク４を介してＥＣＵ３へ出力する。 Each time the camera 2 generates an image, the camera 2 outputs the generated image to the ECU 3 via the in-vehicle network 4.

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。 The ECU 3 controls the vehicle 10. In the present embodiment, the ECU 3 controls the vehicle 10 to automatically drive the vehicle 10 based on an object detected from a series of time-series images obtained by the camera 2. Therefore, the ECU 3 has a communication interface 21, a memory 22, and a processor 23.

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク４を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。 The communication interface 21 is an example of a communication unit, and has an interface circuit for connecting the ECU 3 to the in-vehicle network 4. That is, the communication interface 21 is connected to the camera 2 via the in-vehicle network 4. Then, each time the communication interface 21 receives an image from the camera 2, the communication interface 21 passes the received image to the processor 23.

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される位置姿勢推定処理において使用される各種のデータ、例えば、カメラ２から受信した画像、位置姿勢推定処理で利用される識別器を特定するための各種パラメータ、及び、位置姿勢推定処理で利用される各種閾値などを記憶する。さらに、メモリ２２は、地図情報などを記憶してもよい。 The memory 22 is an example of a storage unit, and includes, for example, a volatile semiconductor memory and a non-volatile semiconductor memory. The memory 22 then uses various data used in the position / orientation estimation process executed by the processor 23 of the ECU 3, for example, an image received from the camera 2 and various types of identifiers used in the position / orientation estimation process. The parameters and various thresholds used in the position and orientation estimation processing are stored. Further, the memory 22 may store map information and the like.

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して位置姿勢推定処理を実行する。さらに、プロセッサ２３は、受信した画像から検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。 The processor 23 is an example of a control unit, and has one or a plurality of CPUs (Central Processing Units) and their peripheral circuits. The processor 23 may further include another arithmetic circuit such as a logical operation unit, a numerical operation unit, or a graphic processing unit. Then, the processor 23 executes the position / orientation estimation process on the received image every time the image is received from the camera 2 while the vehicle 10 is traveling. Further, the processor 23 controls the vehicle 10 to automatically drive the vehicle 10 based on the objects around the vehicle 10 detected from the received image.

図３は、位置姿勢推定処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、静止領域特定部３１と、対応付け部３２と、位置姿勢推定部３３と、運転計画部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、静止領域特定部３１、対応付け部３２及び位置姿勢推定部３３が、位置姿勢推定処理を実行する。 FIG. 3 is a functional block diagram of the processor 23 of the ECU 3 relating to vehicle control processing including position and orientation estimation processing. The processor 23 includes a stationary area specifying unit 31, a correlating unit 32, a position / orientation estimating unit 33, a driving planning unit 34, and a vehicle control unit 35. Each of these units included in the processor 23 is, for example, a functional module realized by a computer program operating on the processor 23. Alternatively, each of these units included in the processor 23 may be a dedicated arithmetic circuit provided in the processor 23. Further, among the respective units included in the processor 23, the stationary area specifying unit 31, the associating unit 32, and the position and orientation estimation unit 33 execute the position and orientation estimation processing.

静止領域特定部３１は、カメラ２により生成された、時系列の複数の画像のそれぞれにおいて、その画像上で静止物体が写っている静止領域を特定する。 The still area identifying unit 31 identifies, in each of the plurality of time-series images generated by the camera 2, a still area in which a still object is shown.

本実施形態では、静止領域特定部３１は、カメラ２から画像を受信する度に、受信した最新の画像から写っている物体を検出する。そして静止領域特定部３１は、最新の画像から検出された物体及び過去の画像から検出された物体を追跡して、最新の画像から検出された物体が移動している移動物体か否かを判定する。そして静止領域特定部３１は、最新の画像において、移動物体が写っている領域以外を静止領域とする。 In the present embodiment, the stationary area identifying unit 31 detects an object in the latest received image each time an image is received from the camera 2. Then, the still area specifying unit 31 tracks the object detected from the latest image and the object detected from the past image, and determines whether the object detected from the latest image is a moving object. To do. Then, the still area specifying unit 31 sets the area other than the area where the moving object is shown in the latest image as the still area.

例えば、静止領域特定部３１は、最新の画像を識別器に入力することで、最新の画像に表された物体を検出する。静止領域特定部３１は、識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。静止領域特定部３１は、そのようなＤＮＮとして、例えば、Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年（非特許文献１）に記載されたSingle Shot MultiBox Detector（ＳＳＤ）、または、Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年（非特許文献２）に記載されたFaster R-CNNといった、コンボリューショナルニューラルネットワーク型（ＣＮＮ）のアーキテクチャを持つＤＮＮを用いることができる。この場合、静止領域特定部３１が最新の画像をＤＮＮタイプの識別器に入力することで、その識別器は、その画像上で検出対象となる物体（例えば、車、人、道路標識）などが表された領域（以下、物体領域と呼ぶ）を表す情報、及び、物体領域に表された物体の種類を表す情報を出力する。 For example, the still area specifying unit 31 inputs the latest image to the discriminator to detect the object represented in the latest image. The stationary area identifying unit 31 can use, for example, a deep neural network (DNN) that has been preliminarily learned from the input image so as to detect an object represented in the image, as the classifier. The stationary area identifying unit 31 may be, for example, Wei Liu et al., “SSD: Single Shot MultiBox Detector”, ECCV2016, Single Shot MultiBox Detector (SSD) described in 2016 (Non-Patent Document 1), as the DNN. Or, Shaoqing Ren et al., "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", NIPS, Convolutional neural network type such as Faster R-CNN described in 2015 (Non-Patent Document 2). A DNN with the (CNN) architecture can be used. In this case, the still area specifying unit 31 inputs the latest image to the DNN type discriminator, so that the discriminator recognizes an object (for example, a car, a person, or a road sign) to be detected on the image. The information indicating the represented area (hereinafter referred to as the object area) and the information indicating the type of the object represented in the object area are output.

あるいは、静止領域特定部３１は、ＤＮＮ以外の識別器を用いてもよい。例えば、静止領域特定部３１は、識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、Histograms of Oriented Gradients, ＨＯＧ）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）を用いてもよい。静止領域特定部３１は、最新の画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をＳＶＭへ入力することで、そのウィンドウについて確信度を求める。そして静止領域特定部３１は、確信度が所定の確信度閾値以上である場合、そのウィンドウを、検出対象となる物体が表された物体領域とする。 Alternatively, the stationary area identifying unit 31 may use a discriminator other than DNN. For example, the still area specifying unit 31 inputs, as a discriminator, a feature amount (for example, Histograms of Oriented Gradients, HOG) calculated from a window set on the image, and the object to be detected is displayed in the window. A support vector machine (SVM) previously trained to output the certainty factor may be used. The still region specifying unit 31 calculates the feature amount from the window while changing the position, size, and aspect ratio of the window set on the latest image, and inputs the calculated feature amount to the SVM. Find the confidence level for the window. Then, when the certainty factor is equal to or higher than the predetermined certainty factor threshold, the still region specifying unit 31 sets the window as the object region in which the object to be detected is represented.

あるいはまた、静止領域特定部３１は、検出対象となる物体が表されたテンプレートと最新の画像との間でテンプレートマッチングを行うことで、物体領域を検出してもよい。 Alternatively, the still area specifying unit 31 may detect the object area by performing template matching between the template representing the object to be detected and the latest image.

静止領域特定部３１は、最新の画像及び過去の画像から検出された物体を、所定のトラッキング手法に従って追跡する。
例えば、静止領域特定部３１は、各画像に対してカメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、その画像を鳥瞰画像に変換する。その際、静止領域特定部３１は、画像上での検出された物体のサイズに基づいて車両１０からその物体までの距離を推定し、推定した距離に基づいて鳥瞰画像上での検出された物体上の各点の位置を特定してもよい。例えば、検出対象となる物体の種類ごとに、メモリ２２に、車両１０からその物体までの距離が所定の基準距離である場合の画像上のその物体の基準サイズが予め記憶される。そして静止領域特定部３１は、画像上での検出された物体のサイズに対する、その検出された物体に対応する基準サイズの比を、基準距離に乗じて得られる距離を、検出された物体までの推定距離とすることができる。そして静止領域特定部３１は、一連の鳥瞰画像に対してKalman Filterなどを用いたトラッキング処理を実行することで、各鳥瞰画像間で、検出された物体のうちの同じものを対応付ける。これにより、静止領域特定部３１は、各鳥瞰画像間で対応付けられた物体を追跡することでその物体の軌跡を求める。静止領域特定部３１は、その軌跡に基づいて、最新の画像取得時における、車両１０に対する追跡中の物体の相対速度をもとめる。 The stationary area identifying unit 31 tracks the object detected from the latest image and the past image according to a predetermined tracking method.
For example, the still area specifying unit 31 converts the image into a bird's-eye view image by performing viewpoint conversion processing on each image using information such as the mounting position of the camera 2 on the vehicle 10. At that time, the stationary area specifying unit 31 estimates the distance from the vehicle 10 to the object based on the size of the detected object on the image, and detects the detected object on the bird's-eye image based on the estimated distance. The position of each point above may be specified. For example, the reference size of the object on the image when the distance from the vehicle 10 to the object is a predetermined reference distance is stored in advance in the memory 22 for each type of the object to be detected. Then, the still area specifying unit 31 multiplies the reference distance by the ratio of the reference size corresponding to the detected object to the size of the detected object on the image, and obtains the distance up to the detected object. It can be an estimated distance. Then, the still area specifying unit 31 performs tracking processing using a Kalman filter or the like on a series of bird's-eye images, and thereby correlates the same detected object among the bird's-eye images. As a result, the stationary area specifying unit 31 obtains the trajectory of the object by tracking the object associated with each bird's-eye view image. Based on the locus, the stationary area specifying unit 31 determines the relative speed of the object being tracked with respect to the vehicle 10 at the time of acquiring the latest image.

あるいは、静止領域特定部３１は、オプティカルフローに基づく追跡処理に従って、最新の画像から検出された物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された物体を追跡してもよい。そして静止領域特定部３１は、時間経過に伴う画像上での追跡中の物体のサイズの変化に基づいて、車両１０に対するその物体の相対速度を推定してもよい。例えば、追跡中の着目する物体について、静止領域特定部３１は、上記のように、画像上での検出された物体のサイズに対する、その検出された物体に対応する基準サイズの比に基づいて、各画像取得時における車両１０からその物体までの距離を推定する。そして静止領域特定部３１は、画像取得周期ごとの推定距離の差を、その画像取得周期で除することで、その物体の相対速度を推定できる。 Alternatively, the still area specifying unit 31 tracks the object detected from the latest image by associating the object detected from the latest image with the object detected from the past image according to the tracking processing based on the optical flow. You may. Then, the stationary area specifying unit 31 may estimate the relative speed of the object with respect to the vehicle 10 based on the change in the size of the object being tracked on the image over time. For example, with respect to the object of interest being tracked, the still area specifying unit 31 determines, as described above, based on the ratio of the reference size corresponding to the detected object to the size of the detected object on the image, The distance from the vehicle 10 to the object at the time of acquiring each image is estimated. Then, the stationary area specifying unit 31 can estimate the relative speed of the object by dividing the difference in the estimated distance for each image acquisition cycle by the image acquisition cycle.

静止領域特定部３１は、各画像取得時における、追跡中の物体の相対速度に、車両１０の速度を加算することで、その物体の速度を推定できる。なお、車両１０の速度は、例えば、車両１０に設けられた車速センサ（図示せず）により測定され、その測定された車両１０の速度は、車内ネットワーク４を介して車速センサからＥＣＵ３へ送信される。 The stationary area specifying unit 31 can estimate the speed of the object by adding the speed of the vehicle 10 to the relative speed of the object being tracked at the time of acquiring each image. The speed of the vehicle 10 is measured by, for example, a vehicle speed sensor (not shown) provided in the vehicle 10, and the measured speed of the vehicle 10 is transmitted from the vehicle speed sensor to the ECU 3 via the in-vehicle network 4. It

静止領域特定部３１は、最新の画像について、その画像から検出された物体のうちの追跡中の物体のそれぞれについて、その物体の推定速度を所定の閾値（例えば、2〜3km/h）と比較する。そして静止領域特定部３１は、推定速度が所定の閾値以上となる物体を移動物体と判定する。 The still area specifying unit 31 compares the estimated speed of the latest image with respect to each of the objects being tracked among the objects detected from the image with a predetermined threshold value (for example, 2 to 3 km / h). To do. Then, the stationary area specifying unit 31 determines that an object whose estimated speed is equal to or higher than a predetermined threshold is a moving object.

静止領域特定部３１は、最新の画像について、移動物体が表された物体領域を除いた残りの領域を静止領域とする。静止領域は、例えば、ビットマップなどで表される。 The still area specifying unit 31 sets the remaining area of the latest image excluding the object area in which the moving object is represented as the still area. The stationary area is represented by, for example, a bitmap.

図４は、画像上の静止領域の一例を示す図である。画像４００において、ｎ個の物体領域４０１−１〜４０１−ｎが検出されており、これら物体領域に表された物体は移動物体と推定されている。そのため、画像４００から物体領域４０１−１〜４０１−ｎを除いた残りの領域４０２が、静止領域となる。 FIG. 4 is a diagram showing an example of a still area on the image. In the image 400, n object regions 401-1 to 401-n are detected, and the objects represented in these object regions are estimated to be moving objects. Therefore, the remaining area 402 excluding the object areas 401-1 to 401-n from the image 400 becomes a still area.

静止領域特定部３１は、最新の画像についての静止領域を表す情報を対応付け部３２へ通知する。また、静止領域特定部３１は、最新の画像について、その画像から検出された物体領域の位置及び範囲を表す情報を運転計画部３４へ通知する。さらに、物体領域に表されている物体の種類も識別器により出力されている場合には、静止領域特定部３１は、物体領域に表されている物体の種類も運転計画部３４へ通知してもよい。 The still area specifying unit 31 notifies the associating unit 32 of information indicating the still area about the latest image. In addition, the still area identifying unit 31 notifies the operation planning unit 34 of information indicating the position and range of the object area detected from the latest image. Furthermore, when the classifier also outputs the type of the object represented in the object area, the stationary area identifying unit 31 also notifies the operation planning unit 34 of the type of the object represented in the object area. Good.

対応付け部３２は、例えば、Structure from Motion(SfM)手法に従ってカメラ２の位置及び姿勢を推定するために、カメラ２により生成された時系列の複数の画像のそれぞれの静止領域から抽出される複数特徴点のうち、実空間の同一の位置に対応する特徴点同士を画像間で対応付ける。 For example, the associating unit 32 extracts a plurality of time-sequential images generated by the camera 2 from respective still regions in order to estimate the position and orientation of the camera 2 according to the Structure from Motion (SfM) method. Among the feature points, feature points corresponding to the same position in the real space are associated between the images.

本実施形態では、対応付け部３２は、カメラ２から画像を受信する度に、その最新の画像の静止領域から複数の特徴点を抽出する。例えば、対応付け部３２は、静止領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、静止領域から複数の特徴点を抽出する。対応付け部３２は、抽出した各特徴点の位置を画像とともにメモリ２２に記憶する。 In the present embodiment, the associating unit 32 extracts a plurality of feature points from the still area of the latest image each time an image is received from the camera 2. For example, the associating unit 32 extracts a plurality of feature points from the still area by applying a feature point extraction filter such as SIFT or Harris operator to the still area. The associating unit 32 stores the positions of the extracted feature points in the memory 22 together with the image.

その後、対応付け部３２は、最新の画像と過去の画像（例えば、直前の画像あるいは所定フレーム数前の画像）との間で、静止領域から抽出された複数の特徴点のうち、実空間での同一の点に対応する特徴点同士を対応付ける。そのために、対応付け部３２は、例えば、特徴点の対応付けを行う画像の組に含まれる一方の画像における、抽出された複数の特徴点のうちの着目する特徴点を中心とする所定サイズ（例えば、5x5画素）の領域をテンプレートとする。そして対応付け部３２は、その画像の組に含まれる他方の画像と、着目する特徴点のテンプレートとの間でテンプレートマッチングを実行することで、他方の画像から抽出された複数の特徴点のうち、そのテンプレートと最も一致する領域に含まれる特徴点を、着目する特徴点と対応付ける。 After that, the associating unit 32 determines, in the real space, among the plurality of feature points extracted from the still region between the latest image and the past image (for example, the image immediately before or the image before the predetermined number of frames). The feature points corresponding to the same point of are associated with each other. For that purpose, the associating unit 32, for example, has a predetermined size (centered on the feature point of interest among the plurality of extracted feature points in one image included in the set of images for which the feature points are associated with each other). For example, an area of 5 × 5 pixels) is used as a template. Then, the associating unit 32 performs template matching between the other image included in the set of images and the template of the feature point of interest, so that among the plurality of feature points extracted from the other image. , The feature points included in the region that best matches the template are associated with the feature points of interest.

あるいは、対応付け部３２は、Lucas-Kanade法といった追跡手法を利用して、画像間で各特徴点を対応付けてもよい。 Alternatively, the associating unit 32 may associate each feature point between images using a tracking method such as the Lucas-Kanade method.

対応付け部３２は、最新の画像と過去の画像との組について、互いに対応付けられた複数の特徴点の組を位置姿勢推定部３３へ通知する。 The associating unit 32 notifies the position / orientation estimating unit 33 of a set of a plurality of feature points that are associated with each other for a set of the latest image and a past image.

位置姿勢推定部３３は、カメラ２から画像が得られる度に、得られた最新の画像と過去の画像との間で対応付けられた複数の特徴点の組に基づいて、最新の画像取得時における、カメラ２の姿勢を推定する。例えば、位置姿勢推定部３３は、複数の特徴点の組と、カメラ２の焦点距離といったカメラ２の内部パラメータとに基づいて、最新の画像と過去の画像のうちの一方の画像上の点を、他方の画像上の対応点へ投影するために用いられ、かつ、その二つの画像のそれぞれの取得時間のカメラ２の相対的な位置及び姿勢の変化を表す基本行列を算出する。この場合、位置姿勢推定部３３は、例えば、最新の画像から抽出された各特徴点が、基本行列に従って過去の画像の対応する特徴点へ投影されるように、数値解析により基本行列を算出する。なお、基本行列を算出するために、特徴点の組の数は５個以上であることが好ましい。 Whenever an image is obtained from the camera 2, the position / orientation estimation unit 33 uses the set of a plurality of feature points associated between the obtained latest image and the past image to obtain the latest image. At, the posture of the camera 2 is estimated. For example, the position / orientation estimation unit 33 determines a point on one of the latest image and the past image based on a set of a plurality of feature points and an internal parameter of the camera 2 such as the focal length of the camera 2. , A basic matrix that is used for projecting to the corresponding points on the other image and that represents changes in the relative position and orientation of the camera 2 at the respective acquisition times of the two images. In this case, the position / orientation estimation unit 33 calculates the basic matrix by numerical analysis so that, for example, each characteristic point extracted from the latest image is projected to the corresponding characteristic point of the past image according to the basic matrix. . In addition, in order to calculate the basic matrix, it is preferable that the number of feature point pairs is five or more.

基本行列がもとめられると、位置姿勢推定部３３は、過去の画像取得時におけるカメラ２の位置及び姿勢と、基本行列または射影変換行列に含まれる、過去の画像取得時から最新の画像取得時までの間のカメラ２の回転を表す回転行列及びカメラ２の並進を表す並進ベクトルにより、最新の画像取得時における、カメラ２の位置及び姿勢を推定できる。なお、位置姿勢推定部３３は、過去の画像取得時から最新の画像取得時までの車両１０の加速度または角速度に基づいて、過去の画像取得時から最新の画像取得時までの車両１０の移動量及び移動方向を推定し、その推定結果を並進ベクトルとしてもよい。なお、車両１０の加速度及び角速度は、例えば、車両１０に搭載された加速度センサ（図示せず）またはジャイロセンサ（図示せず）により測定され、その測定結果は、車内ネットワーク４を介してＥＣＵ３へわたされる。 When the basic matrix is obtained, the position / orientation estimation unit 33 determines the position and orientation of the camera 2 at the time of the previous image acquisition, and the time from the previous image acquisition to the latest image acquisition included in the basic matrix or the projective transformation matrix. The position and orientation of the camera 2 at the time of the latest image acquisition can be estimated by the rotation matrix representing the rotation of the camera 2 and the translation vector representing the translation of the camera 2. The position / orientation estimation unit 33 uses the acceleration or angular velocity of the vehicle 10 from the time when the previous image was acquired to the time when the latest image was acquired, based on the amount of movement of the vehicle 10 from the time when the previous image was acquired to the time when the latest image was acquired. And the moving direction may be estimated, and the estimation result may be used as the translation vector. The acceleration and the angular velocity of the vehicle 10 are measured by, for example, an acceleration sensor (not shown) or a gyro sensor (not shown) mounted on the vehicle 10, and the measurement result is sent to the ECU 3 via the in-vehicle network 4. I will be handed over.

プロセッサ２３は、カメラ２から画像が得られる度に、位置姿勢推定処理を繰り返すことで、何れかの画像取得時におけるカメラ２の位置及び姿勢を基準として、各画像取得時におけるカメラ２の位置及び姿勢を推定できる。 The processor 23 repeats the position / orientation estimation process each time an image is obtained from the camera 2, so that the position and orientation of the camera 2 at the time of image acquisition are used as a reference, based on the position and orientation of the camera 2 at the time of image acquisition. The posture can be estimated.

また、位置姿勢推定部３３は、得られた回転行列及び並進ベクトルに基づいて、三角測量の原理により、各特徴点の組ごとに、その特徴点の組に対応する実空間上の点の位置を推定できる。そして位置姿勢推定部３３は、推定した実空間上の点の位置と対応する画像上の特徴点の位置とに基づいて、バンドル調整処理を行うことで、カメラ２の位置及び姿勢の推定精度をさらに向上してもよい。 Further, the position / orientation estimation unit 33, based on the obtained rotation matrix and translation vector, by the principle of triangulation, for each set of feature points, the position of the point in the real space corresponding to the set of feature points. Can be estimated. Then, the position / orientation estimation unit 33 performs bundle adjustment processing based on the estimated position of the point in the real space and the position of the corresponding feature point on the image, thereby estimating the position / orientation estimation accuracy of the camera 2. It may be further improved.

位置姿勢推定部３３は、最新の画像取得時におけるカメラ２の位置及び姿勢を表す情報を運転計画部３４へ通知する。 The position / orientation estimation unit 33 notifies the operation planning unit 34 of information indicating the position and orientation of the camera 2 at the time of acquiring the latest image.

運転計画部３４は、各画像について検出された、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３４は、静止領域特定部３１と同様に、カメラ２から画像を受信する度に、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、受信した画像を、カメラ２を基準とする座標系で表される鳥瞰画像に変換する。さらに、運転計画部３４は、各画像取得時のカメラ２の位置及び姿勢に基づいて、その鳥瞰画像中に含まれる物体領域の世界座標系での位置を求める。そして運転計画部３４は、世界座標系で表された一連の物体領域に対してKalman Filterなどを用いたトラッキング処理を実行することで、各画像から検出された物体を追跡する。そして運転計画部３４は、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。運転計画部３４は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３４は、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３４は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３４は、複数の走行予定経路を生成してもよい。この場合、運転計画部３４は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。 The driving planning unit 34 generates one or more planned traveling routes of the vehicle 10 so that the objects detected around each image and existing around the vehicle 10 do not collide with the vehicle 10. The planned travel route is represented, for example, as a set of target positions of the vehicle 10 at each time from the current time to a predetermined time ahead. For example, the operation planning unit 34, similar to the stationary area specifying unit 31, performs the viewpoint conversion process using information such as the mounting position of the camera 2 on the vehicle 10 each time an image is received from the camera 2. Then, the received image is converted into a bird's-eye view image represented by a coordinate system with the camera 2 as a reference. Further, the operation planning unit 34 obtains the position in the world coordinate system of the object region included in the bird's-eye view image based on the position and orientation of the camera 2 at the time of acquiring each image. Then, the operation planning unit 34 traces the object detected from each image by executing tracking processing using a Kalman filter or the like on a series of object regions represented by the world coordinate system. Then, the operation planning unit 34 estimates a predicted trajectory of the object up to a predetermined time ahead from the trajectory obtained from the tracking result. Based on the predicted trajectory of each object being tracked, the operation planning unit 34 sets the predicted value of the distance between each object being tracked and the vehicle 10 up to a predetermined time ahead for any object to be equal to or greater than the predetermined distance. Then, the planned travel route of the vehicle 10 is generated. At that time, the operation planning unit 34 refers to, for example, the current position information of the vehicle 10 obtained from a GPS receiver (not shown) mounted on the vehicle 10 and the map information stored in the memory 22. Then, the number of lanes in which the vehicle 10 can travel may be confirmed. Then, when there are a plurality of lanes in which the vehicle 10 can travel, the operation planning unit 34 may generate the planned traveling route so as to change the lane in which the vehicle 10 travels.
The operation planning unit 34 may generate a plurality of planned travel routes. In this case, the operation planning unit 34 may select, from the plurality of planned traveling routes, the route in which the total sum of the absolute values of the accelerations of the vehicle 10 is the smallest.

運転計画部３４は、生成した走行予定経路を車両制御部３５へ通知する。 The operation planning unit 34 notifies the vehicle control unit 35 of the generated planned travel route.

車両制御部３５は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３５は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。 The vehicle control unit 35 controls each unit of the vehicle 10 so that the vehicle 10 travels along the notified planned travel route. For example, the vehicle control unit 35 obtains the acceleration of the vehicle 10 according to the notified planned travel route and the current vehicle speed of the vehicle 10 measured by a vehicle speed sensor (not shown), and the accelerator is set to the acceleration. Set the opening or brake amount. Then, the vehicle control unit 35 obtains the fuel injection amount according to the set accelerator opening degree, and outputs a control signal corresponding to the fuel injection amount to the fuel injection device of the engine of the vehicle 10. Alternatively, the vehicle control unit 35 outputs a control signal according to the set brake amount to the brake of the vehicle 10.

さらに、車両制御部３５は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。 Further, when the vehicle 10 changes the course of the vehicle 10 so that the vehicle 10 travels along the planned traveling route, the vehicle control unit 35 obtains the steering angle of the vehicle 10 according to the planned traveling route and responds to the steering angle. The control signal is output to an actuator (not shown) that controls the steered wheels of the vehicle 10.

図５は、プロセッサ２３により実行される、位置姿勢推定処理を含む、車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１〜Ｓ１０６の処理が位置姿勢推定処理に対応する。 FIG. 5 is an operation flowchart of vehicle control processing including position and orientation estimation processing executed by the processor 23. Every time the processor 23 receives an image from the camera 2, the processor 23 executes the vehicle control process according to the operation flowchart shown in FIG. In the operation flowchart shown below, the processing of steps S101 to S106 corresponds to the position and orientation estimation processing.

プロセッサ２３の静止領域特定部３１は、カメラ２から得られた最新の画像から物体を検出し、検出した物体が表された物体領域を求める（ステップＳ１０１）。 The still area specifying unit 31 of the processor 23 detects an object from the latest image obtained from the camera 2 and obtains an object area in which the detected object is represented (step S101).

また、静止領域特定部３１は、過去の画像及び最新の画像から検出された物体を追跡することで、最新の画像から検出された物体のうちの移動物体を特定する（ステップＳ１０２）。そして静止領域特定部３１は、最新の画像において、移動物体が表された物体領域を除いた残りの領域を静止領域として特定する（ステップＳ１０３）。 In addition, the stationary area identifying unit 31 identifies the moving object among the objects detected from the latest image by tracking the object detected from the past image and the latest image (step S102). Then, the still area identifying unit 31 identifies the remaining area in the latest image excluding the object area in which the moving object is represented as a still area (step S103).

プロセッサ２３の対応付け部３２は、最新の画像の静止領域から複数の特徴点を抽出する（ステップＳ１０４）。そして対応付け部３２は、最新の画像から抽出された各特徴点を、過去の画像から抽出された複数の特徴点のうち、実空間での同じ位置を表す特徴点と対応付ける（ステップＳ１０５）。 The associating unit 32 of the processor 23 extracts a plurality of feature points from the still area of the latest image (step S104). Then, the associating unit 32 associates each feature point extracted from the latest image with a feature point representing the same position in the real space among the plurality of feature points extracted from the past images (step S105).

その後、プロセッサ２３の位置姿勢推定部３３は、最新の画像と過去の画像との間で対応付けられた特徴点の組に基づいて最新の画像取得時のカメラ２の位置及び姿勢を推定する（ステップＳ１０６）。 Then, the position / orientation estimation unit 33 of the processor 23 estimates the position and orientation of the camera 2 at the time of acquiring the latest image based on the set of feature points associated between the latest image and the past image ( Step S106).

プロセッサ２３の運転計画部３４は、各画像取得時のカメラ２の位置及び姿勢に基づいて各画像取得時の検出された物体の位置を推定することで、その物体を追跡し、その追跡結果に基づいて推定されるその物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０７）。そしてプロセッサ２３の車両制御部３５は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０８）。そしてプロセッサ２３は、車両制御処理を終了する。 The operation planning unit 34 of the processor 23 tracks the object by estimating the position of the detected object at the time of acquiring each image based on the position and orientation of the camera 2 at the time of acquiring each image, and outputs the tracking result as the tracking result. The planned travel route of the vehicle 10 is generated so as to be a predetermined distance or more from the predicted trajectory of the object estimated based on the estimated travel route (step S107). Then, the vehicle control unit 35 of the processor 23 controls the vehicle 10 so that the vehicle 10 travels along the planned travel route (step S108). Then, the processor 23 ends the vehicle control process.

以上に説明してきたように、この位置姿勢推定装置は、車両に搭載されたカメラにより生成された、時系列の複数の画像のそれぞれにおいて静止領域を特定し、静止領域から抽出された特徴点に基づいて、各画像取得時におけるカメラの位置及び姿勢を推定する。そのため、この位置姿勢推定装置は、車両の周囲に移動物体が多数存在する場合でも、車両に搭載されたカメラの位置及び姿勢の推定精度を向上できる。 As described above, the position-and-orientation estimation apparatus identifies a still area in each of a plurality of time-series images generated by a camera mounted on a vehicle, and determines a feature point extracted from the still area as a feature point. Based on this, the position and orientation of the camera at the time of acquiring each image are estimated. Therefore, the position and orientation estimation apparatus can improve the estimation accuracy of the position and orientation of the camera mounted on the vehicle even when there are many moving objects around the vehicle.

変形例によれば、静止領域特定部３１は、カメラ２から画像を受信する度に、受信した最新の画像を、画素ごとに写っている物体の種類を識別するセグメンテーション用の識別器に入力することで、その画像において静止物体が写っている画素を特定してもよい。そして静止領域特定部３１は、静止物体が写っている画像の集合をその画像についての静止領域としてもよい。この場合には、静止領域特定部３１が用いる識別器は、例えば、Fully Convolutional Network（ＦＣＮ）といった、セグメンテーション用の何れかのＣＮＮアーキテクチャを有するＤＮＮとすることができる。あるいは、静止領域特定部３１は、ランダムフォレストあるいはサポートベクトルマシンといった他の機械学習手法に従ったセグメンテーション用の識別器を利用してもよい。 According to the modification, the still area identifying unit 31 inputs the latest received image to the segmentation classifier that identifies the type of the object shown in each pixel, every time the image is received from the camera 2. By doing so, a pixel in which a still object is shown in the image may be specified. Then, the still area specifying unit 31 may set a set of images in which a still object is shown as a still area for the image. In this case, the classifier used by the stationary area identifying unit 31 can be a DNN having any CNN architecture for segmentation, such as Fully Convolutional Network (FCN). Alternatively, the stationary area identifying unit 31 may use a classifier for segmentation according to another machine learning method such as a random forest or a support vector machine.

図６は、この変形例による、静止領域特定部３１の処理の動作フローチャートである。静止領域特定部３１は、図５に示される位置姿勢推定処理の動作フローチャートにおける、ステップＳ１０１〜Ｓ１０３の処理の代わりに、以下の動作フローチャートに従って静止領域を特定すればよい。 FIG. 6 is an operation flowchart of the processing of the still area specifying unit 31 according to this modification. The stationary area specifying unit 31 may specify the stationary area according to the following operation flowchart, instead of the processing of steps S101 to S103 in the operation flowchart of the position and orientation estimation processing shown in FIG.

静止領域特定部３１は、カメラ２から得られた最新の画像をセグメンテーション用の識別器に入力することで、その画像上の画素ごとに、その画素に写っている物体の種類を特定する（ステップＳ２０１）。そして静止領域特定部３１は、静止物体が写っている画像の集合をその画像についての静止領域として特定する（ステップＳ２０２）。プロセッサ２３は、ステップＳ２０２の後、図５に示される動作フローチャートにおける、ステップＳ１０４以降の処理を実行すればよい。 The still area specifying unit 31 inputs the latest image obtained from the camera 2 to the segmentation classifier, and specifies the type of the object shown in each pixel on the image (step). S201). Then, the still area identifying unit 31 identifies a set of images in which a still object is captured as a still area for the image (step S202). After step S202, the processor 23 may execute the processing of step S104 and subsequent steps in the operation flowchart shown in FIG.

図７は、画像上の静止領域の他の一例を示す図である。画像７００において、領域７０１には車両が写っていると判定されている。一方、領域７０２には、空が写っていると判定されており、領域７０３には建造物が写っていると判定されており、領域７０４には路面が写っていると判定されている。この場合、車両は移動する可能性が有る物体であるため、領域７０１は、静止領域に含まれない。一方、空、建造物及び路面が静止物体に相当するので、領域７０２〜領域７０４の和集合が静止領域となる。 FIG. 7 is a diagram showing another example of a still area on an image. In the image 700, it is determined that the vehicle appears in the area 701. On the other hand, it is determined that the area 702 includes the sky, the area 703 includes a building, and the area 704 includes the road surface. In this case, since the vehicle is an object that may move, the area 701 is not included in the stationary area. On the other hand, since the sky, the building, and the road surface correspond to the stationary object, the union of the regions 702 to 704 becomes the stationary region.

また、静止領域特定部３１は、ＳＳＤまたはFaster R-CNNのように、検出された物体の種類を出力する識別器を利用する場合、検出された物体の種類に応じて静止領域を特定してもよい。すなわち、静止領域特定部３１は、建造物、道路標識あるいは道路標示といった静止物体に相当する検出物体が表された物体領域の集合を静止領域としてもよい。あるいは、静止領域特定部３１は、車両あるいは人といった、自力で移動する可能性のある物体が表された物体領域を画像から除いた残りの領域を静止領域としてもよい。 Further, when using the discriminator that outputs the type of the detected object, such as SSD or Faster R-CNN, the still region specifying unit 31 specifies the still region according to the type of the detected object. Good. That is, the stationary area specifying unit 31 may set a set of object areas representing detected objects corresponding to stationary objects such as buildings, road signs, or road markings as stationary areas. Alternatively, the still area specifying unit 31 may set the remaining area, which is the remaining area obtained by removing from the image, an object area in which an object such as a vehicle or a person that may move by itself is represented.

なお、対応付け部３２は、複数の画像のそれぞれの静止領域のうち、路面が写っている部分領域よりも路面以外が写っている部分領域の方について特徴点を抽出し易くしてもよい。これは、一般に、路面よりも建造物等の方が、テクスチャが複雑であり、特徴点として利用するのに適した箇所が多いためである。そこで、例えば、対応付け部３２は、SIFTまたはHarrisオペレータといった特徴点検出用の処理を行うことで得られる、特徴点である確からしさを表す値と比較される、特徴点検出用の判定閾値を、路面が写っている部分領域よりも路面以外が写っている部分領域の方が低くなるように設定すればよい。また、識別器が、道路標示と道路標示が無い部分の路面とを区別して出力する場合には、対応付け部３２は、道路標示が写っている部分領域について適用される判定閾値の値を、道路標示以外の路面が写っている部分領域について適用される判定閾値の値よりも低くしてもよい。また、道路標示のエッジは特徴点として利用し易いので、対応付け部３２は、道路標示が写っている部分領域と道路標示以外の路面が写っている部分領域との境界に隣接する画素に適用される判定閾値の値を、道路標示以外の路面が写っている部分領域について適用される判定閾値の値よりも低くしてもよい。 The associating unit 32 may make it easier to extract the feature points of the partial areas in which the area other than the road surface is shown than in the partial areas in which the road surface is shown among the static areas of the plurality of images. This is because, in general, the texture of a building or the like is more complicated than that of the road surface, and there are many places suitable for use as feature points. Therefore, for example, the associating unit 32 sets a determination threshold value for feature point detection, which is obtained by performing processing for feature point detection such as SIFT or Harris operator, and which is compared with a value indicating the likelihood of being a feature point. The partial area in which the portion other than the road surface appears may be set lower than the partial area in which the road surface appears. When the discriminator outputs the road marking and the road surface of the portion without the road marking separately, the associating unit 32 sets the value of the determination threshold value applied to the partial area in which the road marking is shown, It may be lower than the value of the determination threshold applied to the partial area where the road surface other than the road marking is shown. Further, since the edge of the road marking is easy to use as a feature point, the associating unit 32 is applied to the pixel adjacent to the boundary between the partial area where the road marking is shown and the partial area where the road surface other than the road marking is shown. The value of the determined threshold value may be lower than the value of the determined threshold value applied to the partial area in which the road surface other than the road marking is shown.

また、各特徴点の組に対応する実空間上の点が路面上に位置している場合には、位置姿勢推定部３３は、最新の画像と過去の画像間で対応付けられた少なくとも４個の特徴点の組と、カメラ２の内部パラメータとに基づいて、基本行列の代わりに射影変換行列を算出してもよい。この場合も、位置姿勢推定部３３は、射影変換行列に含まれる、最新の画像取得時と過去の画像取得時間のカメラ２の相対的な位置及び姿勢の変化を表す回転行列及び並進ベクトルに基づいて、各画像取得時における、カメラ２の位置及び姿勢を推定できる。 Further, when the point in the real space corresponding to each set of feature points is located on the road surface, the position / orientation estimation unit 33 determines that the latest image and at least four past images are associated with each other. The projective transformation matrix may be calculated in place of the basic matrix based on the set of feature points and the internal parameters of the camera 2. In this case also, the position / orientation estimation unit 33 is based on the rotation matrix and translation vector that are included in the projective transformation matrix and that represent changes in the relative position and orientation of the camera 2 between the latest image acquisition time and the past image acquisition time. Thus, the position and orientation of the camera 2 at the time of acquiring each image can be estimated.

なお、静止領域特定部３１がセグメンテーション用の識別器を用いて静止領域を特定する場合、運転計画部３４は、カメラ２から画像が得られる度に、上述したような物体検出用の識別器にその画像を入力することで、その画像に表された物体を検出してもよい。 When the stationary area identifying unit 31 identifies the stationary area using the classifier for segmentation, the operation planning unit 34 uses the classifier for object detection as described above each time an image is obtained from the camera 2. By inputting the image, the object represented in the image may be detected.

さらに、車両１０には、複数のカメラが搭載されていてもよい。この場合には、位置姿勢推定部３３は、特許文献１に記載された手法に従って、カメラごとに得られた複数の画像の静止領域から抽出され、かつ、互いに対応付けられた複数の特徴点の組に基づいて、一方のカメラに対する他方のカメラの相対的な位置を推定してもよい。 Further, the vehicle 10 may be equipped with a plurality of cameras. In this case, the position and orientation estimation unit 33 extracts a plurality of feature points extracted from still regions of a plurality of images obtained for each camera and associated with each other according to the method described in Patent Document 1. Based on the set, the relative position of one camera to the other may be estimated.

また、上記の実施形態または変形例による、位置姿勢推定装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。 The computer program that realizes the functions of the respective units of the processor 23 of the position and orientation estimation apparatus according to the above-described embodiment or modification is a computer-readable portable recording medium such as a semiconductor memory, a magnetic recording medium, or an optical recording medium. It may be provided in a form recorded in.

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications according to the embodiment within the scope of the present invention.

１車両制御システム
２カメラ
３電子制御装置（位置姿勢推定装置）
４車内ネットワーク
２１通信インターフェース
２２メモリ
２３プロセッサ
３１静止領域特定部
３２対応付け部
３３位置姿勢推定部
３４運転計画部
３５車両制御部 1 Vehicle control system 2 Camera 3 Electronic control device (position and orientation estimation device)
4 in-vehicle network 21 communication interface 22 memory 23 processor 31 stationary area specifying unit 32 associating unit 33 position / orientation estimating unit 34 driving planning unit 35 vehicle control unit

Claims

For each of a plurality of time-series images obtained by the imaging unit mounted on the vehicle, a still region specifying unit that specifies a still region in which a stationary object is captured,
For each of the plurality of images, a plurality of feature points are extracted from the still region of the image, and among the plurality of images, feature points corresponding to the same position in the real space among the plurality of feature points. An associating unit that obtains a set of a plurality of feature points by associating
Projecting a feature point on one image of the plurality of images to a corresponding feature point on another image of the plurality of images based on the set of the plurality of feature points; The position of the image capturing unit at the time of acquiring each of the plurality of images is obtained by obtaining a conversion matrix representing a change in the relative position and orientation of the image capturing unit at the time of acquiring one image and the acquisition time of the other image. And a position and orientation estimation unit that estimates the orientation,
Position / orientation estimation device having: