JP2020126394A

JP2020126394A - Object motion estimation method and object motion estimation apparatus

Info

Publication number: JP2020126394A
Application number: JP2019017815A
Authority: JP
Inventors: 健夫宮阪; Takeo Miyasaka
Original assignee: Renault SAS; Nissan Motor Co Ltd
Current assignee: Renault SAS; Nissan Motor Co Ltd
Priority date: 2019-02-04
Filing date: 2019-02-04
Publication date: 2020-08-20
Anticipated expiration: 2039-02-04
Also published as: JP7223587B2

Abstract

To improve the accuracy of predicting the state of an object.SOLUTION: An object motion estimation apparatus comprises stereo cameras 11 and 12 for acquiring time-series images of surroundings of a vehicle and a controller 20. The controller 20 detects a feature point from the time-series image, and calculates an optical flow of the feature point and the distance to the feature point. The controller 20 detects an image area where an object exists from the time-series image. The controller 20 predicts the current position of the feature point based on an object model including information on the state of the object and the feature point in the image area. The controller 20 determines a first coordinate for the feature point on the image from the optical flow at the moment, and determines a second coordinate for the current position of the feature point which is predicted based on the object model and is projected on the image. The controller 20 updates the object model so that the deviation between the first coordinate and the second coordinate is minimized on the image.SELECTED DRAWING: Figure 1

Description

本発明は、物体運動推定方法及び物体運動推定装置に関する。 The present invention relates to an object motion estimation method and an object motion estimation device.

ステレオ画像から周囲の物体の位置および運動を推定する技術が知られている。例えば、特許文献１の移動速度検出装置は、ステレオカメラで撮像した一対の撮像画像から距離データを算出して監視領域内に存在する立体物を認識する。移動速度検出装置は、一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列の撮像画像から立体物のオプティカルフローを検出し、距離データとオプティカルフローに基づいて立体物の移動速度を算出する。より具体的には、移動速度検出装置は、画像上の各画素のオプティカルフローと距離データの平均値にもとづいて立体物の横方向の動きを算出し、各画素の距離データの平均値から奥行方向への動きを推定する。 A technique for estimating the position and movement of a surrounding object from a stereo image is known. For example, the moving speed detection device of Patent Literature 1 calculates distance data from a pair of captured images captured by a stereo camera and recognizes a three-dimensional object existing in the monitoring area. The moving speed detection device detects an optical flow of a three-dimensional object from a time-series captured image by using one of the pair of captured images as a processing target, and detects the moving speed of the three-dimensional object based on the distance data and the optical flow. To calculate. More specifically, the moving speed detection device calculates the lateral movement of the three-dimensional object based on the optical flow of each pixel on the image and the average value of the distance data, and calculates the depth from the average value of the distance data of each pixel. Estimate the movement in the direction.

特開２００５−２１４９１４号公報JP, 2005-214914, A

しかしながら、特許文献１のように距離に基づいて３次元空間で動きを算出する場合、ステレオ法による距離算出の距離分解能の低さに起因する距離誤差が推定される運動に大きな影響を与える。特に遠方では正しい動きを推定することができない可能性がある。 However, when a motion is calculated in a three-dimensional space based on the distance as in Patent Document 1, a distance error due to a low distance resolution of the distance calculation by the stereo method has a great influence on the estimated motion. In particular, it may not be possible to estimate the correct movement at a long distance.

本発明は、上記に鑑みてなされたものであり、物体の状態の予測精度を向上させることを目的とする。 The present invention has been made in view of the above, and an object thereof is to improve the accuracy of predicting the state of an object.

本発明の一態様に係る物体運動推定方法は、自車両に搭載されたカメラで撮影した時系列画像から特徴点を検出し、特徴点のオプティカルフローを算出する。物体運動推定方法は、物体が存在する画像領域を検出する。物体運動推定方法は、画像領域内の特徴点の情報を含む物体モデルに基づいて画像領域内の特徴点の現在位置を予測する。物体運動推定方法は、オプティカルフローから算出した画像領域内の特徴点の画像上での現在の第１座標を求め、物体モデルに基づいて予測した画像領域内の特徴点の現在位置を画像上に投影した第２座標を求める。物体運動推定方法は、第１座標と第２座標とのずれを画像上で最小化するように物体モデルを更新する。物体運動推定方法は、更新後の物体モデルを用いて物体の状態を予測する。 An object motion estimation method according to an aspect of the present invention detects a feature point from a time-series image captured by a camera mounted on a vehicle and calculates an optical flow of the feature point. The object motion estimation method detects an image area in which an object exists. The object motion estimation method predicts the current position of a feature point in an image area based on an object model including information on the feature point in the image area. The object motion estimation method obtains the current first coordinate on the image of the feature point in the image area calculated from the optical flow, and displays the current position of the feature point in the image area predicted based on the object model on the image. Obtain the projected second coordinates. The object motion estimation method updates the object model so as to minimize the deviation between the first coordinate and the second coordinate on the image. The object motion estimation method predicts the state of an object using the updated object model.

本発明によれば、物体の状態の予測精度を向上させることができる。 According to the present invention, the accuracy of predicting the state of an object can be improved.

本実施形態の物体運動推定装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the object motion estimation apparatus of this embodiment. 特徴点をオプティカルフローによって追跡する様子を示す図である。It is a figure which shows a mode that a characteristic point is tracked by an optical flow. 物体モデルを用いて現在の物体の状態を推定し、物体の特徴点を画像上に投影した様子を示す図である。It is a figure which shows a mode that the present state of the object was estimated using the object model and the feature point of the object was projected on the image. オプティカルフローによって追跡した特徴点と物体モデルから推定して画像上に投影した特徴点とのずれを示す図である。It is a figure which shows the shift|offset|difference between the characteristic point tracked by the optical flow and the characteristic point estimated on the image estimated from the object model. 本実施形態の物体運動推定装置の別の構成を示す機能ブロック図である。It is a functional block diagram which shows another structure of the object motion estimation apparatus of this embodiment. コントローラの処理の流れの一例を示すフローチャートである。It is a flow chart which shows an example of a flow of processing of a controller.

以下、本発明の実施の形態について図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１を参照し、本実施形態の物体運動推定装置の構成を説明する。物体運動推定装置は、車両に搭載され、周囲の走行環境を認識するために利用できる。物体運動推定装置は、自動運転機能を有する車両に適用されてもよく、自動運転機能を有しない車両に適用されてもよい。物体運動推定装置は、自動運転と手動運転とを切り替え可能な車両に適用されてもよい。本実施形態における自動運転とは、例えば、ブレーキ、アクセル、ステアリングなどのアクチュエータの内、少なくとも何れかのアクチュエータが乗員の操作なしに制御されている状態のことを指す。自動運転とは、加減速制御、横位置制御などのいずれかの制御が実行されている状態であればよい。本実施形態における手動運転とは、例えば、ブレーキ、アクセル、ステアリングを乗員が操作している状態のことを指す。 The configuration of the object motion estimation apparatus of the present embodiment will be described with reference to FIG. The object motion estimation device is mounted on a vehicle and can be used for recognizing a surrounding traveling environment. The object motion estimation device may be applied to a vehicle having an automatic driving function or may be applied to a vehicle having no automatic driving function. The object motion estimation device may be applied to a vehicle capable of switching between automatic driving and manual driving. The automatic driving in the present embodiment refers to a state in which at least one of the actuators such as the brake, the accelerator, and the steering is controlled without the occupant's operation. The automatic operation may be a state in which any control such as acceleration/deceleration control and lateral position control is being executed. The manual operation in the present embodiment refers to a state in which an occupant is operating the brake, accelerator, and steering, for example.

物体運動推定装置は、ステレオカメラ１１，１２とコントローラ（制御部）２０を備える。 The object motion estimation device includes stereo cameras 11 and 12 and a controller (control unit) 20.

ステレオカメラ１１，１２は、左のステレオカメラ１１と右のステレオカメラ１２の２台のカメラで構成されている。ステレオカメラ１１，１２は、自車両の周囲を異なる方向から同時に撮像し、時系列のステレオ画像を得る。ステレオカメラ１１，１２の搭載場所は限定されないが、例えば、ステレオカメラ１１は、自車両の前方左側に搭載され、ステレオカメラ１２は、自車両の前方右側に搭載される。また、ステレオカメラ１１，１２は、互いの視野が撮像方向と直交する方向に沿って重なるように配置されてもよい。各ステレオカメラ１１，１２の相対位置姿勢、焦点距離、およびレンズひずみ等のカメラパラメータは予め測定されており、ステレオ法によりステレオカメラ１１，１２で撮像された物体までの距離を算出できる。 The stereo cameras 11 and 12 are composed of two cameras, a left stereo camera 11 and a right stereo camera 12. The stereo cameras 11 and 12 simultaneously capture the surroundings of the vehicle from different directions to obtain time-series stereo images. The mounting locations of the stereo cameras 11 and 12 are not limited, but, for example, the stereo camera 11 is mounted on the front left side of the host vehicle, and the stereo camera 12 is mounted on the front right side of the host vehicle. Further, the stereo cameras 11 and 12 may be arranged such that their visual fields overlap each other along a direction orthogonal to the imaging direction. The camera parameters such as the relative position and orientation of each stereo camera 11 and 12, the focal length, and the lens distortion are measured in advance, and the distance to the object imaged by the stereo cameras 11 and 12 can be calculated by the stereo method.

コントローラ２０は、ステレオカメラ１１，１２により撮像された時系列のステレオ画像に基づいて自車両の周囲の物体を検出し、物体の運動を推定する。本実施形態における物体とは、他車両、バイク、自転車、および歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。コントローラ２０は、画像補正部２０１，２０２、オプティカルフロー算出部２０３、物体検出部２０４、距離算出部２０５、自車運動推定部２０６、物体追跡部２０７、初期モデル推定部２０８、現在状態推定部２０９、モデル更新部２１０、収束判定部２１１、および状態予測部２１２を備える。コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ（記憶部）、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体運動推定装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体運動推定装置が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって物体運動推定装置が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。 The controller 20 detects an object around the vehicle based on the time-series stereo images captured by the stereo cameras 11 and 12, and estimates the motion of the object. The object in this embodiment may be a moving object including another vehicle, a motorcycle, a bicycle, and a pedestrian, or a stationary object including a parked vehicle. The controller 20 includes image correction units 201 and 202, optical flow calculation unit 203, object detection unit 204, distance calculation unit 205, own vehicle motion estimation unit 206, object tracking unit 207, initial model estimation unit 208, current state estimation unit 209. , A model update unit 210, a convergence determination unit 211, and a state prediction unit 212. The controller 20 is a general-purpose microcomputer including a CPU (central processing unit), a memory (storage unit), and an input/output unit. A computer program for causing the microcomputer to function as an object motion estimation device is installed. By executing the computer program, the microcomputer functions as a plurality of information processing circuits included in the object motion estimation device. In addition, here, an example in which a plurality of information processing circuits included in the object motion estimation apparatus are realized by software is shown. However, of course, dedicated hardware for executing each information processing described below is prepared to perform information processing. It is also possible to configure a circuit. Also, the plurality of information processing circuits may be configured by individual hardware.

画像補正部２０１，２０２は、各ステレオカメラ１１，１２で撮像した画像を補正する。具体的には、画像補正部２０１，２０２は、各ステレオカメラ１１，１２で撮像した画像に対して、各ステレオカメラ１１，１２のレンズひずみ補正処理および各ステレオカメラ１１，１２で撮像した両画像のエピポーラ線を平行にするための平行化処理を行う。これにより、ステレオ法による距離計算時に、左右の画像間の画素の対応付けを行う際、探索領域を水平方向の１次元に絞ることができる。その結果、物体までの距離を計算するのに必要な処理時間を大幅に削減することが可能である。後段の各部による処理では、画像補正部２０１，２０２により補正された画像を使用する。 The image correction units 201 and 202 correct the images captured by the stereo cameras 11 and 12, respectively. Specifically, the image correction units 201 and 202 perform lens distortion correction processing on the stereo cameras 11 and 12 and images captured by the stereo cameras 11 and 12 on the images captured by the stereo cameras 11 and 12, respectively. A parallelization process for parallelizing the epipolar lines of is performed. This allows the search area to be narrowed down to one dimension in the horizontal direction when associating pixels between the left and right images during distance calculation by the stereo method. As a result, it is possible to significantly reduce the processing time required to calculate the distance to the object. The image corrected by the image correction units 201 and 202 is used in the processing by each unit in the latter stage.

オプティカルフロー算出部２０３は、補正された時系列画像から特徴点を検出し、特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部２０３は、画像補正部２０１で補正された時系列画像から周囲の画素と区別可能な特徴を持つ画素である１つ以上の特徴点を検出し、過去の画像の特徴点と現在の画像の特徴点から特徴点のオプティカルフローを算出する。オプティカルフローとは、画像中における物体の動きをベクトルで表すものである。本実施形態では、オプティカルフロー算出部２０３は、左のステレオカメラ１１で撮影した画像を用いてオプティカルフローを算出する。オプティカルフロー算出部２０３は、単位時刻前の画像を過去の画像として保持する。オプティカルフロー算出部２０３は、過去の画像から検出した特徴点の周囲と近似した濃度パターンを持つ画素を現在の画像から検出し、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフローの算出方法として、例えば、Bruce D. Lucas and Takeo Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” International Joint Conference on Artificial Intelligence, pages 674-679, 1981 に記載の方法を用いることができる。 The optical flow calculation unit 203 detects a feature point from the corrected time series image and calculates the optical flow of the feature point. Specifically, the optical flow calculation unit 203 detects one or more feature points, which are pixels having features distinguishable from surrounding pixels, from the time-series image corrected by the image correction unit 201, and the past image The optical flow of the feature point is calculated from the feature point of the current image and the feature point of the current image. The optical flow is a vector representing the movement of an object in an image. In the present embodiment, the optical flow calculation unit 203 calculates the optical flow using the image captured by the left stereo camera 11. The optical flow calculation unit 203 holds an image before the unit time as a past image. The optical flow calculation unit 203 detects pixels having a density pattern similar to the surroundings of the feature points detected from the past image from the current image, and calculates a combination of the past feature points and the current feature points as the optical flow. To do. As a method for calculating the optical flow, for example, the method described in Bruce D. Lucas and Takeo Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” International Joint Conference on Artificial Intelligence, pages 674-679, 1981 is used. be able to.

物体検出部２０４は、画像補正部２０１で補正された画像から車両、二輪車、および歩行者などの物体が存在する画像領域を検出する。物体の検出方法として、例えば、J. Redmon, et al., “You only look once: Unified, real-time object detection,” Computer Vision and Pattern Recognition, 2016 に記載の方法を用いることができる。物体検出部２０４は、ステレオカメラ１１で画像が撮影される度に物体検出処理を実行し、その時刻の画像内に存在する物体の占める画像領域と物体の種別（例えば、車両、二輪車、自転車）を物体追跡部２０７へ出力する。 The object detection unit 204 detects an image area in which an object such as a vehicle, a two-wheeled vehicle, and a pedestrian exists from the image corrected by the image correction unit 201. As an object detection method, for example, the method described in J. Redmon, et al., “You only look once: Unified, real-time object detection,” Computer Vision and Pattern Recognition, 2016 can be used. The object detection unit 204 executes the object detection process each time an image is captured by the stereo camera 11, and the image area occupied by the object existing in the image at that time and the type of the object (for example, vehicle, motorcycle, bicycle). Is output to the object tracking unit 207.

距離算出部２０５は、ステレオ画像を用いて自車両から特徴点までの距離を算出する。具体的には、距離算出部２０５は、左画像中の特徴点のそれぞれについて、特徴点周囲の画像濃淡パターンと類似した画像濃淡パターンを持つ右画像中の画素を探索し、各特徴点の左右の画像での水平位置の差（視差）を求める。距離算出部２０５は、視差、カメラの焦点距離、および画像中心の座標を用いて、自車両から各特徴点までの距離を算出する。なお、左画像とは、左のステレオカメラ１１で撮影され、画像補正部２０１で補正された画像である。右画像とは、右のステレオカメラ１２で撮影され、画像補正部２０２で補正された画像である。画素の探索処理は、水平方向のみの１次元探索のみで行う。 The distance calculation unit 205 calculates the distance from the host vehicle to the feature point using the stereo image. Specifically, for each of the feature points in the left image, the distance calculation unit 205 searches for pixels in the right image having an image gray pattern similar to the image gray pattern around the feature point, and determines the left and right of each feature point. The horizontal position difference (parallax) in the image is calculated. The distance calculation unit 205 calculates the distance from the host vehicle to each feature point using the parallax, the focal length of the camera, and the coordinates of the image center. The left image is an image captured by the left stereo camera 11 and corrected by the image correction unit 201. The right image is an image captured by the right stereo camera 12 and corrected by the image correction unit 202. The pixel search processing is performed only by a one-dimensional search only in the horizontal direction.

自車運動推定部２０６は、自車両の３軸並進運動および３軸回転運動を推定する。３軸並進運動は、自車両の前後方向、車幅方向、および上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸、およびヨー軸を含む３軸回りの回転運動である。以下、自車両の３軸並進運動および３軸回転運動を自車運動と称する。自車運動推定部２０６は、特徴点のオプティカルフローと３次元座標から、例えば、Andreas Geiger, Julius Ziegler, and Christoph Stiller, “StereoScan: Dense 3d reconstruction in real-time,” Intelligent Vehicles Symposium (IV), 2011 IEEE に記載の方法を用いて自車運動を推定できる。 The host vehicle motion estimation unit 206 estimates the three-axis translational motion and the three-axis rotational motion of the host vehicle. The triaxial translational motion is a motion of the host vehicle in the front-rear direction, the vehicle width direction, and the vertical direction. The triaxial rotary motion is a rotary motion around three axes including a roll axis, a pitch axis, and a yaw axis. Hereinafter, the 3-axis translational motion and the 3-axis rotational motion of the host vehicle will be referred to as the host vehicle motion. The vehicle motion estimation unit 206 uses, for example, Andreas Geiger, Julius Ziegler, and Christoph Stiller, “StereoScan: Dense 3d reconstruction in real-time,” Intelligent Vehicles Symposium (IV), from the optical flow of the feature points and the three-dimensional coordinates. 2011 Vehicle motion can be estimated using the method described in IEEE.

物体追跡部２０７は、追跡中の物体と物体検出部２０４の検出した画像領域とを対応付けて、追跡中の物体の現在の画像領域を推定する。具体的には、物体追跡部２０７は、特徴点のオプティカルフローを用いて、単位時刻前の追跡中の物体の画像領域内の特徴点と現在検出された画像領域内の特徴点との対応付けを行い、追跡中の物体の現在の画像領域を推定する。物体追跡部２０７は、追跡中の物体と対応付かなかった画像領域を新規物体（まだ追跡していない物体）が存在する画像領域として、その画像領域および画像領域内の特徴点の情報を初期モデル推定部２０８に出力する。 The object tracking unit 207 associates the object being tracked with the image area detected by the object detection unit 204, and estimates the current image area of the object being tracked. Specifically, the object tracking unit 207 associates the feature points in the image area of the object being tracked before the unit time with the feature points in the currently detected image area by using the optical flow of the feature points. And estimate the current image area of the object being tracked. The object tracking unit 207 regards an image area that does not correspond to the object being tracked as an image area in which a new object (an object that has not been tracked yet) exists, and uses the image area and the information of the feature points in the image area as an initial model Output to the estimation unit 208.

初期モデル推定部２０８は、新規物体に対して初期の物体モデルを生成して割り当てる。物体モデルは、重心位置、向き、速度、加速度、ヨーレート、回転中心位置、すべり角、および形状（長さ、幅、高さ）などの物体の状態と、各特徴点の３次元座標および画像座標を含む。これらの要素はすべて自車両を基準とする自車座標系（３次元座標系）で定義される。重心位置は、物体の画像領域内の特徴点の３次元位置の重心である。特徴点の３次元座標は距離算出部２０５が算出したものである。向きは、画像領域内の各特徴点の３次元空間での動きを求め、各特徴点の動きの平均を物体の運動方向とし、物体の運動方向を向きとする。特徴点の３次元空間での動きは、オプティカルフロー算出部２０３の算出した画像上の特徴点の動きを３次元空間に投影して求めることができる。初期設定時は、物体の向きと物体の運動方向が同じであるとみなす。速度は、物体の３次元空間での動きの大きさとして求められる。加速度、ヨーレートについては、初期設定時は０とする。回転中心位置は、物体の重心に対する回転中心の相対位置を表す。回転中心位置は、初期設定時は（０，０）とする。すべり角は、物体の向きと実際の進行方向のなす角である。すべり角は、初期設定時は０とする。形状（長さ、幅、高さ）は、画像領域内の特徴点の３次元座標が占める領域と上で求めた向きから算出する。各特徴点の３次元座標は、重心と向きで定義される物体座標系における３次元座標である。 The initial model estimation unit 208 generates and allocates an initial object model to a new object. The object model is the state of the object such as the center of gravity position, direction, velocity, acceleration, yaw rate, rotation center position, slip angle, and shape (length, width, height), and the three-dimensional coordinates and image coordinates of each feature point. including. All of these elements are defined in a vehicle coordinate system (three-dimensional coordinate system) based on the vehicle. The barycentric position is the barycenter of the three-dimensional position of the feature point in the image area of the object. The three-dimensional coordinates of the feature points are calculated by the distance calculation unit 205. As for the orientation, the movement of each feature point in the image region is calculated in a three-dimensional space, the average of the movements of each feature point is taken as the movement direction of the object, and the movement direction of the object is taken as the orientation. The movement of the feature point in the three-dimensional space can be obtained by projecting the movement of the feature point on the image calculated by the optical flow calculation unit 203 into the three-dimensional space. At the time of initial setting, it is assumed that the direction of the object and the direction of movement of the object are the same. The velocity is obtained as the magnitude of movement of the object in the three-dimensional space. The acceleration and yaw rate are set to 0 at the initial setting. The rotation center position represents the relative position of the rotation center with respect to the center of gravity of the object. The rotation center position is (0, 0) at the initial setting. The slip angle is an angle formed by the direction of the object and the actual traveling direction. The slip angle is 0 at the initial setting. The shape (length, width, height) is calculated from the area occupied by the three-dimensional coordinates of the feature points in the image area and the orientation obtained above. The three-dimensional coordinates of each feature point are three-dimensional coordinates in the object coordinate system defined by the center of gravity and the direction.

初期モデル推定部２０８は、初期の物体モデルとして、異なる状態を持つ複数の物体モデルを生成してもよい。言い換えると、１つの物体に、異なる複数の物体モデルを割り当ててもよい。後述の収束判定部２１１は、物体モデルを更新する過程で、物体の動きを適切に表していない物体モデルを削除する。 The initial model estimation unit 208 may generate a plurality of object models having different states as the initial object model. In other words, a plurality of different object models may be assigned to one object. The convergence determination unit 211, which will be described later, deletes the object model that does not properly represent the movement of the object in the process of updating the object model.

初期モデル推定部２０８は、物体までの距離に基づいて生成する物体モデルの数を決定してもよい。物体までの距離は、例えば、重心位置から求めてもよいし、画像領域内の特徴点までの距離の平均値から求めてもよい。自車両から遠方で状態が不明確な物体については、初期モデル推定部２０８は、異なる複数の状態を想定した初期の物体モデルを多く生成する。自車両の近辺で状態が明確な物体については、初期モデル推定部２０８は、生成する初期の物体モデルの数を少なくする。 The initial model estimation unit 208 may determine the number of object models to generate based on the distance to the object. The distance to the object may be calculated from the position of the center of gravity, or may be calculated from the average value of the distances to the feature points in the image area. For an object whose state is distant from the host vehicle and whose state is unclear, the initial model estimation unit 208 generates many initial object models assuming a plurality of different states. For an object whose state is clear near the host vehicle, the initial model estimation unit 208 reduces the number of initial object models to be generated.

初期モデル推定部２０８は、画像領域内の特徴点のオプティカルフローの長さに基づいて生成する物体モデルの数を決定してもよい。大きなオプティカルフローが検出される物体の運動は画像から推定しやすいので、初期モデル推定部２０８は、生成する初期の物体モデルの数を少なくする。オプティカルフローが検出されず運動が不明確な物体については、初期モデル推定部２０８は、異なる複数の運動を想定した初期の物体モデルを多く生成する。 The initial model estimation unit 208 may determine the number of object models to be generated based on the length of the optical flow of the feature points in the image area. Since the motion of an object in which a large optical flow is detected is easy to estimate from an image, the initial model estimation unit 208 reduces the number of initial object models to be generated. For an object whose optical flow is not detected and whose movement is unclear, the initial model estimation unit 208 generates many initial object models assuming a plurality of different movements.

初期モデル推定部２０８が物体までの距離またはオプティカルフローの長さに基づいて初期の物体モデルの数を決定することにより、計算負荷を抑えつつ、適切に物体運動を推定できる。 Since the initial model estimation unit 208 determines the number of initial object models based on the distance to the object or the length of the optical flow, it is possible to appropriately estimate the object motion while suppressing the calculation load.

初期モデル推定部２０８は、画像領域内の特徴点のオプティカルフローの長さが所定の閾値よりも短い場合、運動の種類として静止物体を想定した物体モデルを追加してもよい。これにより、静止物体についても物体の状態の予測精度を向上させることができる。 The initial model estimation unit 208 may add an object model assuming a stationary object as the type of motion when the length of the optical flow of the feature points in the image region is shorter than a predetermined threshold value. This makes it possible to improve the accuracy of predicting the state of a stationary object.

初期モデル推定部２０８は、等速運動、等加速度運動、静止などの異なる種類の運動を想定した複数の物体モデルを生成してもよい。これにより、物体の運動推定精度を向上させることができる。例えば、初期モデル推定部２０８は、加速度、ヨーレートについて、初期設定時に０以外の初期値を設定した物体モデルを生成する。 The initial model estimation unit 208 may generate a plurality of object models assuming different types of motion such as constant velocity motion, uniform acceleration motion, and stillness. Thereby, the motion estimation accuracy of the object can be improved. For example, the initial model estimating unit 208 generates an object model in which initial values other than 0 are set for initial values of acceleration and yaw rate.

現在状態推定部２０９は、自車運動推定部２０６の求めた自車運動および追跡中の物体の物体モデルを用いて、現在の時刻における追跡中の物体の位置および姿勢を推定する。具体的には、現在状態推定部２０９は、自車運動推定部２０６の推定した自車運動を用い、追跡中の物体を現在の自車両座標系に変換し、物体の状態に従い現在の時刻における物体の位置および姿勢を推定する。物体に複数の物体モデルが割り当てられている場合は、物体モデルのそれぞれについて現在時刻における物体の状態を推定する。 The current state estimation unit 209 estimates the position and orientation of the object being tracked at the current time, using the vehicle model obtained by the vehicle motion estimating unit 206 and the object model of the object being tracked. Specifically, the current state estimation unit 209 converts the object being tracked into the current own vehicle coordinate system using the own vehicle motion estimated by the own vehicle motion estimation unit 206, and at the current time according to the state of the object. Estimate the position and orientation of an object. When a plurality of object models are assigned to the object, the state of the object at the current time is estimated for each of the object models.

モデル更新部２１０は、オプティカルフローを用いて特徴点の画像上での現在の画像座標（以下、「第１座標」と称する）を求める。モデル更新部２１０は、現在状態推定部２０９の推定した特徴点の現在位置を画像上に投影した画像座標（以下、「第２座標」と称する）を求める。モデル更新部２１０は、第１座標と第２座標とのずれを画像上で最小化するような運動を推定して物体モデルを更新する。 The model updating unit 210 obtains the current image coordinates (hereinafter, referred to as “first coordinates”) on the image of the feature point using the optical flow. The model updating unit 210 obtains image coordinates (hereinafter, referred to as “second coordinates”) in which the current position of the feature point estimated by the current state estimating unit 209 is projected on the image. The model updating unit 210 updates the object model by estimating a motion that minimizes the deviation between the first coordinate and the second coordinate on the image.

モデル更新部２１０は、図２に示すように、単位時刻前の画像上での追跡中の物体の特徴点をオプティカルフローによって追跡した第１座標を求める。図２の三角印は、オプティカルフローによって追跡した画像上での特徴点の位置を示す。 As shown in FIG. 2, the model updating unit 210 obtains the first coordinates of the feature point of the object being tracked on the image before the unit time, which is tracked by the optical flow. The triangle marks in FIG. 2 indicate the positions of the feature points on the image tracked by the optical flow.

また、モデル更新部２１０は、現在状態推定部２０９の推定した現在の物体の状態に基づき、物体の特徴点の現在位置を画像上に投影して第２座標を求める。図３の上段は、現在状態推定部２０９が物体モデルを用いて現在の物体の状態を推定する様子を示す。図３の下段は、物体の特徴点を画像上に投影した様子を示す。図３の丸印は、物体モデルを用いて推定した画像上での特徴点の位置を示す。 Further, the model updating unit 210 obtains the second coordinate by projecting the current position of the feature point of the object on the image based on the current state of the object estimated by the current state estimating unit 209. The upper part of FIG. 3 shows how the current state estimation unit 209 estimates the current state of the object using the object model. The lower part of FIG. 3 shows a state in which the feature points of the object are projected on the image. Circles in FIG. 3 indicate positions of feature points on the image estimated using the object model.

モデル更新部２１０は、第１座標と第２座標とのずれを画像上で最小化するような物体の運動を推定し、物体モデルの状態を更新する。図４に、特徴点の第１座標（三角印）と第２座標（丸印）を画像上にプロットした様子を示す。例えば、物体の運動の推定には拡張カルマンフィルタを用い、時系列で特徴点の追跡と推定を行う。自車座標系で表された３次元座標（Ｘ，Ｙ，Ｚ）は以下の式を用いて画像上の座標（ｕ，ｖ）と視差（ｄ）に変換できる。 The model updating unit 210 estimates the motion of the object that minimizes the deviation between the first coordinate and the second coordinate on the image, and updates the state of the object model. FIG. 4 shows a state in which the first coordinate (triangle mark) and the second coordinate (circle mark) of the feature point are plotted on the image. For example, an extended Kalman filter is used to estimate the motion of an object, and feature points are tracked and estimated in time series. The three-dimensional coordinates (X, Y, Z) expressed in the own vehicle coordinate system can be converted into coordinates (u, v) on the image and parallax (d) using the following formula.

ここで、ｆ_x，ｆ_yは水平、垂直の焦点距離であり、ｘ₀，ｙ₀は画像中心の座標、ｂはステレオカメラの基線長である。 Here, f _x and f _y are horizontal and vertical focal lengths, x ₀ and y ₀ are coordinates of the image center, and b is a base line length of the stereo camera.

特徴点の動きは画像上に投影すると非線形になるので、拡張カルマンフィルタの分散共分散行列を求める際には、特徴点をいくつかを選択し、線形近似したヤコビ行列を用いて分散共分散行列を求める。求めた拡張カルマンフィルタで特徴点の現在位置を算出し、画像上に投影する。選択する特徴点を変えて、オプティカルフローで求めた画像上の点と拡張カルマンフィルタで現在位置を予測して画像上に投影した点とのずれが最小となった拡張カルマンフィルタで物体モデルの状態を更新する。 The motion of the feature points becomes non-linear when projected onto the image.Therefore, when obtaining the variance-covariance matrix of the extended Kalman filter, some feature points are selected and the variance-covariance matrix is linearly approximated using the linearly approximated Jacobian matrix. Ask. The current position of the feature point is calculated by the obtained extended Kalman filter and projected on the image. By changing the feature points to be selected, the state of the object model is updated by the extended Kalman filter that minimizes the deviation between the point on the image obtained by optical flow and the point projected on the image by predicting the current position with the extended Kalman filter. To do.

なお、物体の運動の推定には、拡張カルマンフィルタに限らず、パーティクルフィルタなど他の非線形ベイズフィルタを用いてもよい。本実施形態では、複数の特徴点の動きから、速度だけでなく、加速度およびヨーレートも推定できる。 Note that the motion estimation of the object is not limited to the extended Kalman filter, and other nonlinear Bayes filter such as a particle filter may be used. In this embodiment, not only the velocity but also the acceleration and the yaw rate can be estimated from the movements of the plurality of feature points.

モデル更新部２１０は、物体の向きの変化等により現在の画像から検出できなくなった特徴点を物体モデルから削除してもよい。これにより、特徴点の誤った対応付けを抑止でき、運動推定の精度の低下を抑えることができる。また、計算負荷の低減が期待できる。 The model updating unit 210 may delete a feature point that cannot be detected from the current image due to a change in the orientation of the object or the like from the object model. As a result, it is possible to prevent erroneous association of feature points, and it is possible to suppress deterioration in accuracy of motion estimation. In addition, a reduction in calculation load can be expected.

モデル更新部２１０は、第１座標と第２座標とのずれが閾値以上となった特徴点を物体モデルから削除してもよいし、特徴点のオプティカルフローと物体モデルに基づく特徴点の動きを画像上に投影したベクトルのなす角度が閾値以上となった特徴点を物体モデルから削除してもよい。これにより、追跡した画像上の位置が間違っている、または検出できなくなった特徴点を削除できる。また、特徴点を柔軟に削除することで、自転車のような一部が非剛体の物体にも本実施形態を適用できる。 The model updating unit 210 may delete a feature point in which the deviation between the first coordinate and the second coordinate is equal to or more than a threshold value from the object model, or may calculate the optical flow of the feature point and the movement of the feature point based on the object model. The feature point whose angle formed by the vector projected on the image is equal to or larger than the threshold value may be deleted from the object model. This makes it possible to delete a feature point whose position on the tracked image is incorrect or cannot be detected. Further, by flexibly deleting the characteristic points, the present embodiment can be applied to a partially non-rigid body such as a bicycle.

モデル更新部２１０は、画像領域内で新たな特徴点を検出したときに、その特徴点を物体モデルに追加してもよい。これにより、右左折時の車両などの見え方が大きく変化する物体の運動を推定できる。 When the model updating unit 210 detects a new feature point in the image region, the model update unit 210 may add the feature point to the object model. As a result, it is possible to estimate the motion of an object such as a vehicle that greatly changes its appearance when making a right or left turn.

収束判定部２１１は、物体モデルのそれぞれについて、その物体モデルの推定が収束したか否か判定する。例えば、収束判定部２１１は、第１座標と第２座標とのずれの大きさ、特徴点のオプティカルフローと物体モデルに基づく特徴点の動きを画像上に投影したベクトルとのなす角度の誤差、および拡張カルマンフィルタの分散共分散を収束判定に用い、それぞれの値がすべて所定の閾値以下になった場合、あるいはいずれかの値が所定の閾値以下になった場合に、物体モデルの推定が収束したと判定する。物体モデルの推定が収束したか否かを判定することで、物体の追跡と運動の推定が成功しているか否かを判断できる。 The convergence determination unit 211 determines, for each of the object models, whether the estimation of the object model has converged. For example, the convergence determination unit 211 determines the deviation between the first coordinate and the second coordinate, the error between the optical flow of the characteristic point and the vector formed by projecting the movement of the characteristic point based on the object model on the image, The variance and covariance of the extended Kalman filter are used for the convergence judgment, and the estimation of the object model converges when all of the values are below a predetermined threshold or when any of the values are below a predetermined threshold. To determine. By determining whether or not the estimation of the object model has converged, it can be determined whether or not the tracking of the object and the estimation of the motion are successful.

収束判定部２１１は、所定の時間以上収束しない物体モデルを削除してもよいし、第１座標と第２座標とのずれの平均が閾値以上の場合に物体モデルを削除してもよいし、特徴点のオプティカルフローと３次元空間での特徴点の動きを画像上に投影したベクトルとのなす角度の平均が閾値以上の場合に物体モデルを削除してもよい。追跡に失敗したと考えられる物体モデルを削除することで計算負荷の低減が期待できる。 The convergence determination unit 211 may delete the object model that does not converge for a predetermined time or more, or may delete the object model when the average deviation between the first coordinate and the second coordinate is equal to or greater than a threshold value. The object model may be deleted when the average of the angles formed by the optical flow of the feature points and the vector obtained by projecting the motion of the feature points in the three-dimensional space on the image is equal to or greater than the threshold value. It can be expected to reduce the calculation load by deleting the object model that is considered to have failed in tracking.

状態予測部２１２は、モデル更新部２１０で更新された物体モデルを用いて物体の状態を予測する。状態予測部２１２は、収束判定部２１１が収束したと判定した物体モデルを用いてもよい。物体に複数の物体モデルが割り当てられている場合、状態予測部２１２は、最適な物体モデルを用いて物体の状態を予測してもよい。例えば、状態予測部２１２は、第１座標と第２座標のずれが最も小さい物体モデルを用いて物体の状態を予測する。 The state predicting unit 212 predicts the state of the object using the object model updated by the model updating unit 210. The state prediction unit 212 may use the object model determined by the convergence determination unit 211 to have converged. When a plurality of object models are assigned to the object, the state prediction unit 212 may predict the state of the object using the optimum object model. For example, the state prediction unit 212 predicts the state of the object using the object model with the smallest deviation between the first coordinate and the second coordinate.

次に、図５を参照し、本実施形態の物体運動推定装置の別の構成を説明する。 Next, another configuration of the object motion estimation device of the present embodiment will be described with reference to FIG.

図５の物体運動推定装置は、図１の物体運動推定装置のステレオカメラ１１，１２の代わりに、自車両周囲を観測するセンサとして単眼カメラ１３とＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ（ＬＩＤＡＲ）１４を備えた点が異なる。 The object motion estimation device of FIG. 5 includes a monocular camera 13 and a Light Detection and Ranging (LIDAR) 14 as sensors for observing the surroundings of the vehicle, instead of the stereo cameras 11 and 12 of the object motion estimation device of FIG. Is different.

単眼カメラ１３とＬＩＤＡＲ１４はともに校正済みであり、単眼カメラ１３の内部パラメータと単眼カメラ１３に対するＬＩＤＡＲ１４の相対位置姿勢は既知である。内部パラメータおよび相対位置姿勢により、ＬＩＤＡＲ１４で計測された３次元座標を単眼カメラ１３で撮像された画像に投影できる。この校正には、例えば、Gaurav Pandey, et al., “Automatic extrinsic calibration of vision and lidar by maximizing mutual information,” Journal of Field Robotics, 2015, Volume 32, Issue 5, pp. 696-722 に記載の方法を用いることができる。 Both the monocular camera 13 and the LIDAR 14 have been calibrated, and the internal parameters of the monocular camera 13 and the relative position and orientation of the LIDAR 14 with respect to the monocular camera 13 are known. The three-dimensional coordinates measured by the LIDAR 14 can be projected on the image captured by the monocular camera 13 based on the internal parameters and the relative position and orientation. For this calibration, for example, the method described in Gaurav Pandey, et al., “Automatic extrinsic calibration of vision and lidar by maximizing mutual information,” Journal of Field Robotics, 2015, Volume 32, Issue 5, pp. 696-722. Can be used.

単眼カメラ１３の撮像した画像の画素とＬＩＤＡＲ１４の計測点は１対１で対応していない。そこで、距離算出部２０５は、ＬＩＤＡＲ１４の計測した隣接する３つの計測点から三角形を生成し、三角形と単眼カメラ１３から特徴点の方向へ伸ばした直線との交点を特徴点の３次元位置として、特徴点までの距離を求める。いずれの三角形とも交差しない特徴点については、最近傍の計測点を特徴点の３次元位置とする。 The pixels of the image captured by the monocular camera 13 and the measurement points of the LIDAR 14 do not have a one-to-one correspondence. Therefore, the distance calculation unit 205 generates a triangle from three adjacent measurement points measured by the LIDAR 14, and sets an intersection of the triangle and a straight line extending from the monocular camera 13 in the direction of the feature point as a three-dimensional position of the feature point. Find the distance to the feature point. For a feature point that does not intersect with any triangle, the nearest measurement point is the three-dimensional position of the feature point.

次に、図６を参照して、コントローラ２０の処理の流れの一例について説明する。図６の処理は、ステレオカメラ１１，１２でステレオ画像が撮像される度に実行される。 Next, an example of the processing flow of the controller 20 will be described with reference to FIG. The process of FIG. 6 is executed every time a stereo image is captured by the stereo cameras 11 and 12.

ステップＳ１０１では、各ステレオカメラ１１，１２で撮像した時系列画像が補正される。ステップＳ１０２では、時系列画像から特徴点が検出され、特徴点のオプティカルフローが算出される。ステップＳ１０３では、自車両から特徴点までの距離が算出される。ステップＳ１０４では、自車運動が推定される。 In step S101, the time-series images captured by the stereo cameras 11 and 12 are corrected. In step S102, feature points are detected from the time-series image, and the optical flow of the feature points is calculated. In step S103, the distance from the host vehicle to the characteristic point is calculated. In step S104, the vehicle motion is estimated.

ステップＳ１０５では、時系列画像から物体が存在する画像領域が検出される。ステップＳ１０６では、ステップＳ１０３で検出された画像領域のそれぞれに対して追跡中の物体が対応付けられる。ステップＳ１０７では、ステップＳ１０６で追跡中の物体と対応付けられなかった画像領域が判定される。ステップＳ１０８では、追跡中の物体と対応付けられなかった画像領域内に存在する物体の初期の物体モデルが生成される。ステップＳ１０８の後は、ステップＳ１１０が実行される。 In step S105, an image area where an object exists is detected from the time-series image. In step S106, the object being tracked is associated with each of the image regions detected in step S103. In step S107, the image area that is not associated with the object being tracked in step S106 is determined. In step S108, an initial object model of an object existing in the image area that is not associated with the object being tracked is generated. After step S108, step S110 is executed.

ステップＳ１０９では、追跡中の物体の物体モデルを用いて物体の現在の状態が推定される。ステップＳ１１０では、オプティカルフローを用いて推定した特徴点の現在の画像上での座標とステップＳ１０９で推定した特徴点を画像上に投影した座標とのずれが最小となるような物体の運動が推定されて、物体モデルが更新される。ステップＳ１１１では、物体モデルの収束が判定される。ステップＳ１０９からステップＳ１１１は、物体モデルのそれぞれについて実行される。 In step S109, the current state of the object is estimated using the object model of the object being tracked. In step S110, the motion of the object is estimated so that the deviation between the coordinates of the feature point estimated using the optical flow on the current image and the coordinates of the feature point estimated in step S109 projected on the image is minimized. Then, the object model is updated. In step S111, the convergence of the object model is determined. Steps S109 to S111 are executed for each of the object models.

ステップＳ１１２では、物体モデルを用いて物体の状態が予測される。 In step S112, the state of the object is predicted using the object model.

以上説明したように、本実施形態の物体運動推定装置によれば、以下の効果が得られる。 As described above, according to the object motion estimation device of the present embodiment, the following effects can be obtained.

自車両に搭載されたステレオカメラ１１，１２は、自車両の周囲の時系列画像を取得する。オプティカルフロー算出部２０３は、時系列画像から特徴点を検出し、特徴点のオプティカルフローを算出する。距離算出部２０５は、時系列画像から特徴点までの距離を算出する。物体検出部２０４は、時系列画像から物体が存在する画像領域を検出する。現在状態推定部２０９は、物体の状態と特徴点の情報を含む物体モデルに基づいて特徴点の現在位置を予測する。モデル更新部２１０は、オプティカルフローから特徴点の画像上での現在の第１座標を求めるとともに、物体モデルに基づいて予測した特徴点の現在位置を画像上に投影した第２座標を求め、第１座標と第２座標のずれを画像上で最小化するように物体モデルを更新する。状態予測部２１２は、更新後の物体モデルを用いて物体の状態を予測する。これにより、物体運動推定装置は、距離誤差の影響を抑えて物体の運動を推定することができる。初期モデル推定部２０８は、画像領域内の特徴点のオプティカルフローおよび距離に基づいて物体の初期の物体モデルを生成することにより、新たに検出した物体の運動の推定が可能になる。 The stereo cameras 11 and 12 mounted on the host vehicle acquire time-series images around the host vehicle. The optical flow calculation unit 203 detects a feature point from the time-series image and calculates the optical flow of the feature point. The distance calculation unit 205 calculates the distance from the time series image to the feature point. The object detection unit 204 detects an image area where an object exists from the time series image. The current state estimation unit 209 predicts the current position of the feature point based on the object model including the state of the object and the feature point information. The model updating unit 210 obtains the current first coordinate of the feature point on the image from the optical flow, and also obtains the second coordinate of the current position of the feature point predicted based on the object model projected on the image. The object model is updated so that the deviation between the first coordinate and the second coordinate is minimized on the image. The state prediction unit 212 predicts the state of the object using the updated object model. Thereby, the object motion estimation device can estimate the motion of the object while suppressing the influence of the distance error. The initial model estimation unit 208 can estimate the motion of the newly detected object by generating an initial object model of the object based on the optical flows and the distances of the feature points in the image area.

初期モデル推定部２０８は、物体検出部２０４の検出した１つの物体に対して、異なる状態を持つ複数の物体モデルを生成することにより、遠方で物体の状態が不明確であっても、より適切に物体の追跡と状態の推定を行うことができる。 The initial model estimation unit 208 generates a plurality of object models having different states with respect to one object detected by the object detection unit 204, so that it is more appropriate even if the state of the object is unclear at a distance. It can track an object and estimate its state.

物体の状態は、速度、加速度、およびヨーレートを含み、モデル更新部２１０は、複数の特徴点の動きから物体の運動を推定することにより、速度だけでなく、加速度およびヨーレートも推定でき、物体の状態の予測精度をさらに向上できる。 The state of the object includes velocity, acceleration, and yaw rate, and the model updating unit 210 can estimate not only the velocity but also the acceleration and yaw rate by estimating the motion of the object from the movements of a plurality of feature points. The state prediction accuracy can be further improved.

１１，１２…ステレオカメラ
１３…単眼カメラ
１４…ＬＩＤＡＲ
２０…コントローラ
２０１，２０２…画像補正部
２０３…オプティカルフロー算出部
２０４…物体検出部
２０５…距離算出部
２０６…自車運動推定部
２０７…物体追跡部
２０８…初期モデル推定部
２０９…現在状態推定部
２１０…モデル更新部
２１１…収束判定部
２１２…状態予測部 11, 12... Stereo camera 13... Monocular camera 14... LIDAR
20... Controller 201, 202... Image correction unit 203... Optical flow calculation unit 204... Object detection unit 205... Distance calculation unit 206... Own vehicle motion estimation unit 207... Object tracking unit 208... Initial model estimation unit 209... Current state estimation unit 210... Model update unit 211... Convergence determination unit 212... State prediction unit

Claims

Obtaining a time series image of the surroundings of the own vehicle using a camera mounted on the own vehicle,
Detect feature points from the time series image,
Calculate the optical flow of the feature points from the time-series image,
Detecting an image area where an object exists from the time series image,
Predicting the current position of the feature point in the image region based on an object model containing information of the feature point in the image region,
A current first coordinate on the image of the feature point in the image region calculated from the optical flow and a current position of the feature point in the image region predicted based on the object model are projected on the image. Updating the object model so as to minimize the deviation from the second coordinate on the image, and generating the updated object model,
An object motion estimation method comprising predicting a state of the object using the updated object model.

Calculate the distance from the host vehicle to the feature point,
The object motion estimation method according to claim 1, wherein the object model of the object included in the image region is generated based on the detected optical flow and the distance of the feature point in the image region. ..

The object motion estimation method according to claim 2, wherein a plurality of different object models are generated according to the state of the object.

The object motion estimation method according to claim 3, wherein the number of the object models to be generated is determined based on the distance to the object.

The object motion estimation method according to claim 3, wherein the number of the object models to be generated is determined based on the length of the optical flow of the feature points in the image region.

The object model assuming a stationary object is added when the length of the optical flow of the feature points in the image region is shorter than a predetermined threshold value. Object motion estimation method.

The object motion estimation method according to any one of claims 2 to 6, wherein a plurality of the object models assuming different kinds of motions are generated.

The object motion estimation method according to any one of claims 1 to 7, wherein the object model includes information on a plurality of the feature points, and the state of the object includes velocity, acceleration, and yaw rate.

The object motion estimation method according to any one of claims 1 to 8, wherein the feature points that cannot be detected from the time-series image are deleted from the object model.

The object motion estimation method according to any one of claims 1 to 9, wherein the feature point in which the deviation between the first coordinate and the second coordinate is equal to or greater than a threshold value is deleted from the object model.

The feature point whose angle formed by the optical flow of the feature point and a vector obtained by projecting the motion of the feature point based on the object model on an image is equal to or larger than a threshold is deleted from the object model. 11. The object motion estimation method according to any one of 1 to 10.

The object motion estimation method according to any one of claims 1 to 11, wherein a newly detected feature point is added to the object model.

The object motion according to claim 1, wherein it is determined that the estimation of the object model has converged when a deviation between the first coordinate and the second coordinate is equal to or less than a threshold value. Estimation method.

The object motion estimation method according to claim 13, wherein the object model that does not converge for a predetermined time or longer is deleted.

The object motion estimation method according to claim 13 or 14, wherein the object model corresponding to the object is deleted when the average of the deviations between the first coordinates and the second coordinates is equal to or more than a threshold value.

The object model is deleted when an average of an angle formed by an optical flow of the characteristic point and a vector obtained by projecting the movement of the characteristic point based on the object model on an image is equal to or more than a threshold value. 16. The object motion estimation method according to any one of 1 to 15.

An imaging unit that acquires a time-series image of the surroundings of the own vehicle using a camera mounted on the own vehicle,
With a control unit,
The control unit is
Detect feature points from the time series image,
Calculate the optical flow of the feature points from the time-series image,
Detecting an image area where an object exists from the time series image,
Predicting the current position of the feature point based on an object model containing information of the feature point in the image region,
A current first coordinate on the image of the feature point in the image region calculated from the optical flow and a current position of the feature point in the image region predicted based on the object model are projected on the image. Updating the object model so as to minimize the deviation from the second coordinate on the image,
An object motion estimation apparatus, which predicts the state of the object using the updated object model.