ES2436845A2 - Procedure to memorize and to reproduce a path carried out by a vehicle, and a system that implements it. (Machine-translation by Google Translate, not legally binding) - Google Patents
Procedure to memorize and to reproduce a path carried out by a vehicle, and a system that implements it. (Machine-translation by Google Translate, not legally binding) Download PDFInfo
- Publication number
- ES2436845A2 ES2436845A2 ES201231022A ES201231022A ES2436845A2 ES 2436845 A2 ES2436845 A2 ES 2436845A2 ES 201231022 A ES201231022 A ES 201231022A ES 201231022 A ES201231022 A ES 201231022A ES 2436845 A2 ES2436845 A2 ES 2436845A2
- Authority
- ES
- Spain
- Prior art keywords
- trajectory
- vehicle
- memorized
- point
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
REALIZADA POR UN VEHÍCULO, Y SISTEMA QUE LO IMPLEMENTA MADE BY A VEHICLE, AND THE SYSTEM THAT IMPLEMENTS IT
SECTOR TÉCNICO TECHNICAL SECTOR
La invención se encuadra dentro los sistemas de ayuda a la conducción para automóviles. Más concretamente, se relaciona con los sistemas de asistencia al aparcamiento. The invention falls within driving assistance systems for automobiles. More specifically, it relates to parking assistance systems.
ANTECEDENTES DE LA INVENCIÓN BACKGROUND OF THE INVENTION
Son conocidos en el estado de la técnica los siguientes documentos relacionados con la presente invención: ES 2318725T divulga un dispositivo auxiliar de estacionamiento y un procedimiento para la asistencia al estacionamiento. Se registra una trayectoria de desplazamiento durante un trayecto del vehículo automóvil desde un punto inicial hasta un punto final y a continuación se conduce automáticamente hacia atrás el vehículo automóvil a lo largo de la trayectoria de desplazamiento registrada desde el punto final hasta el punto inicial. Las órdenes son emitidas por el conductor desde un sistema de control remoto. Es capaz de reproducir nuevamente la trayectoria del punto inicial al punto final. Sin embargo, plantea una solución con una importante limitación para una longitud total prevista del trayecto de aproximadamente 5 metros. DE 10331948 divulga un método de asistencia al maniobrado, almacenando maniobras registradas y dando apoyo a la realización de las maniobras almacenadas. Dice facilitar la realización de maniobras repetitivas, como aparcar en una plaza de aparcamiento determinada, no obstante carece de detalles y explicaciones de los aspectos tecnológicos implementados para conseguir dicho resultado. Además, no concibe la posibilidad de rectificaciones de la trayectoria, p.e. ante un obstáculo, para recuperar posteriormente la trayectoria memorizada. The following documents related to the present invention are known in the state of the art: ES 2318725T discloses a parking aid and a method for parking assistance. A path of travel is recorded during a journey of the motor vehicle from a start point to an end point and the motor vehicle is then automatically driven backwards along the recorded path of travel from the end point to the start point. Orders are issued by the driver from a remote control system. It is able to reproduce again the trajectory from the start point to the end point. However, it proposes a solution with a significant limitation for a total planned path length of approximately 5 meters. DE 10331948 discloses a maneuvering assistance method, storing registered maneuvers and supporting the performance of stored maneuvers. It claims to facilitate the performance of repetitive maneuvers, such as parking in a specific parking space, however it lacks details and explanations of the technological aspects implemented to achieve this result. In addition, it does not conceive the possibility of rectifications of the trajectory, e.g. in front of an obstacle, to later recover the memorized trajectory.
DESCRIPCIÓN DE LA INVENCIÓN DESCRIPTION OF THE INVENTION
La presente invención tiene por objeto liberar al conductor de la necesidad de realizar tareas tediosas y repetitivas a los mandos de un automóvil mientras se realiza cualquier tipo de maniobra repetitiva. El vehículo puede reproducir trayectos The present invention aims to relieve the driver of the need to carry out tedious and repetitive tasks at the controls of a car while performing any type of repetitive maneuver. The vehicle can reproduce routes
previamente memorizados de forma totalmente autónoma, incluidos trayectos largos de más de 100 metros, sin presencia del conductor en el interior del vehículo. Para lograrlo, la presente invención propone un procedimiento y un sistema para memorizar una trayectoria realizada por un vehículo de acuerdo con las reivindicaciones 1 y 18 respectivamente. Es también objeto de la presente invención un método y un sistema, ligados ambos al su correspondiente mencionado anteriormente, para reproducir una trayectoria previamente memorizada de acuerdo con las reivindicaciones independientes 11 y 28 respectivamente. Realizaciones preferentes o ventajosas se definen en las reivindicaciones dependientes. previously memorized fully autonomously, including long journeys of more than 100 meters, without the presence of the driver inside the vehicle. To achieve this, the present invention proposes a method and a system for memorize a trajectory made by a vehicle in accordance with the claims 1 and 18 respectively. Another object of the present invention is a method and a system, both linked to the its corresponding one mentioned above, to reproduce a trajectory previously memorized according to independent claims 11 and 28 respectively. Preferred or advantageous embodiments are defined in the claims dependents.
BREVE DESCRIPCIÓN DE LOS DIBUJOS BRIEF DESCRIPTION OF THE DRAWINGS
FIG. 1: Muestra los sensores empleados. FIG. 2A-2C: Muestra el campo abarcado por diferentes sensores en mayor detalle. FIG. 3: Muestra un diagrama de flujo correspondiente a la memorización de la trayectoria. FIG. 4: Muestra un diagrama de flujo correspondiente a la reproducción de la trayectoria memorizada. FIG. 5: Muestra un diagrama de flujo correspondiente a la reproducción de la trayectoria memorizada en una segunda fase. FIG. 6: Muestra un diagrama de bloques para un modo de realización. FIG. 7: Muestra un diagrama de flujo correspondiente a la rectificación de la trayectoria en presencia de un obstáculo. FIG. 8A, 8B: Muestra un dibujo de dos situaciones en las que se observa el alcance de las medidas del sensor láser 11 durante la reproducción de una trayectoria ante obstáculos. FIG. 9: Muestra un diagrama de flujo correspondiente a la rectificación de la trayectoria en presencia de un obstáculo. FIG. 10: Muestra un ejemplo de curva parametrizable del centro de masas del vehículo al evitar un obstáculo. FIG. 11: Se muestra la trayectoria nominal o memorizada. FIG. 12: Se muestra la trayectoria corregida. FIG. 1: Shows the sensors used. FIG. 2A-2C: Shows the field covered by different sensors in greater detail. FIG. 3: Shows a flow chart corresponding to the memorization of the trajectory. FIG. 4: Displays a flow chart corresponding to the playback of the memorized trajectory. FIG. 5: Displays a flow chart corresponding to the playback of the memorized trajectory in a second phase. FIG. 6: Shows a block diagram for one embodiment. FIG. 7: Shows a flow chart corresponding to the rectification of the trajectory in the presence of an obstacle. FIG. 8A, 8B: Shows a drawing of two situations in which the scope of the measurements of the laser sensor 11 during the reproduction of a trajectory before obstacles. FIG. 9: Shows a flow chart corresponding to the rectification of the trajectory in the presence of an obstacle. FIG. 10: Shows an example of a parameterizable curve of the vehicle's center of mass when avoiding an obstacle. FIG. 11: The nominal or memorized path is displayed. FIG. 12: The corrected path is displayed.
DESCRIPCIÓN DE UNA REALIZACIÓN PREFERIDA DESCRIPTION OF A PREFERRED EMBODIMENT
A continuación se expone un ejemplo de realización con referencia a las figuras. Este ejemplo tiene fines ilustrativos y no debe considerarse limitativo del alcance de la invención. El ejemplo de sistema de asistencia a la reproducción de trayectorias se puede activar y desactivar manualmente mediante un interfaz, por ejemplo una pantalla táctil. La desactivación puede ser ejecutada también de forma automática en determinadas circunstancias. Por ejemplo: detección de alguna avería, si el conductor presiona el pedal de freno, maniobra el volante o activa el freno de estacionamiento electromecánico. Se prevé que el rango de velocidades y aceleraciones sea limitado para evitar problemas tanto de seguridad como de confort. An exemplary embodiment is set out below with reference to the figures. This example is for illustrative purposes and should not be considered as limiting the scope of the invention. The example of the trajectory reproduction assistance system can be activated and deactivated manually via an interface, for example a touch screen. Deactivation can also be carried out automatically in certain circumstances. For example: detection of a fault, if the driver presses the brake pedal, maneuvers the steering wheel or activates the electromechanical parking brake. The range of speeds and accelerations is expected to be limited to avoid both safety and comfort issues.
Memorización de la posición inicial y posiciones en la trayectoria Con el vehículo parado, se analizan las características del entorno con el fin de poder determinar características distintivas de dicha posición como posición inicial de la trayectoria para constituir descriptores de la posición. Preferentemente, se basará en obtener referencias del entorno a través de un escáner láser o lidar 11 y de un sensor de imagen o cámara 12. En la figura 3 se pueden observar una posible secuencia de pasos para memorizar posiciones. Identificar (para posteriormente situar) el vehículo en la posición inicial es muy importante puesto que la información suministrada por la unidad de navegación inercial (INS) permite únicamente conocer la posición relativa de un cuerpo a partir de valores de la aceleración lineal y la velocidad angular medidas por acelerómetros y giroscopios respectivamente. Con la INS se obtienen las medidas para la navegación en forma de coordenadas relativas, es decir, respecto la posición anterior. Se destaca que se produce un error acumulativo al obtener datos que carecen de referencias absolutas. En general, tanto en la posición inicial como en posiciones durante la trayectoria, para obtener los descriptores de una posición se ha de procesar la imagen obtenida por la cámara 12 e identificar bordes verticales (esquinas, aristas, lados, etc.) mayores que un umbral (p.e. 100 píxeles) mediante un procesador 10. Se ha comprobado que estos elementos tienen más opciones de ser referencias características e invariantes frente a cambios de luminosidad, translación, escala... Estos bordes se pueden identificar mediante técnicas de detección de bordes entre las que cabe citar Sobel, Roberts, Prewitt, Frei-Chen o Canny. Sobre ellos se realizan medidas con el sensor láser para recoger la distancia relativa. En el caso de la posición inicial, se ha de llevar a cabo adicionalmente una detección de puntos invariantes que apenas cambien en el entorno. Al elegir puntos invariantes que pertenezcan a bordes se consigue mayor fiabilidad. Existen varias técnicas que permiten obtener los resultados deseados. Entre ellas destacan SIFT, detector de esquinas Shi-Tomasi o detector de esquinas de Harris. Así se logra la transformación de la información existente en una imagen y se obtienen coordenadas invariantes frente a cambios de escala, orientación, cambios de iluminación, translaciones y rotaciones. Con ello se cumple la exigencia de identificar exactamente la posición inicial. También para el caso de establecimiento de la posición inicial es recomendable emplear al menos 2 referencias diferentes para ubicar al vehículo posteriormente para la reproducción de la trayectoria memorizada. Como se ha mencionado, la posición inicial es desde donde se han de repetir las maniobras memorizadas cuando haya que reproducir la trayectoria en un futuro. Por seguridad, puede ser recomendable que adicionalmente el usuario decida si tales referencias son correctas o no teniendo en cuenta los objetos del entorno a los representan. Por ejemplo, si algunas características hacen se refieren a elementos móviles o cambiantes (automóviles, personas, vegetales…) el usuario decidirá que tales referencias no son satisfactorias. Una interfaz 18 puede servir para esta función de validación. El grado de exigencia durante la memorización de puntos no-iniciales de la trayectoria es menor. No hay validación del usuario cuando el vehículo está en movimiento memorizando la trayectoria. No es necesaria la identificación de puntos invariantes durante la captación de la trayectoria. La identificación de dichos puntos invariantes habría de hacerse en tiempo real lo cual complicaría excesivamente los requisitos de capacidad de proceso necesarios para su implementación. En suma, basta que durante la duración de la trayectoria, se capten bordes y se midan distancias relativas con ellos a intervalos de tiempo. Memorization of the initial position and positions on the trajectory With the vehicle stationary, the characteristics of the environment are analyzed in order to be able to determine distinctive characteristics of said position as the initial position of the trajectory to constitute position descriptors. Preferably, it will be based on obtaining references from the environment through a laser or lidar scanner 11 and an image sensor or camera 12. In figure 3 a possible sequence of steps to memorize positions can be observed. Identifying (to later place) the vehicle in the initial position is very important since the information provided by the inertial navigation unit (INS) only allows knowing the relative position of a body from values of linear acceleration and angular velocity. measured by accelerometers and gyroscopes respectively. With the INS, the measurements for navigation are obtained in the form of relative coordinates, that is, with respect to the previous position. It is noted that a cumulative error occurs when obtaining data that lacks absolute references. In general, both in the initial position and in positions during the trajectory, to obtain the descriptors of a position, the image obtained by camera 12 must be processed and vertical edges (corners, edges, sides, etc.) greater than a threshold (eg 100 pixels) using a 10 processor. It has been found that these elements have more options of being characteristic and invariant references to changes in brightness, translation, scale ... These edges can be identified by edge detection techniques between which include Sobel, Roberts, Prewitt, Frei-Chen or Canny. Measurements are made on them with the laser sensor to collect the relative distance. In the case of the initial position, a detection of invariant points that hardly change in the environment has to be additionally carried out. By choosing invariant points that belong to edges, greater reliability is achieved. There are several techniques that allow you to obtain the desired results. These include SIFT, Shi-Tomasi corner detector or Harris corner detector. Thus, the transformation of the existing information in an image is achieved and invariant coordinates are obtained in the face of changes in scale, orientation, changes in lighting, translations and rotations. This fulfills the requirement to accurately identify the starting position. Also in the case of establishing the initial position, it is advisable to use at least 2 different references to locate the vehicle later for the reproduction of the memorized trajectory. As mentioned, the starting position is from where the memorized maneuvers have to be repeated when the trajectory has to be reproduced in the future. For security, it may be recommended that the user additionally decides whether such references are correct or not, taking into account the objects in the environment they represent. For example, if some characteristics refer to moving or changing elements (cars, people, plants ...) the user will decide that such references are not satisfactory. An interface 18 can serve for this validation function. The degree of demand during the memorization of non-initial points of the trajectory is less. There is no user validation when the vehicle is in motion, memorizing the trajectory. The identification of invariant points is not necessary during the acquisition of the trajectory. The identification of these invariant points would have to be done in real time, which would excessively complicate the processing capacity requirements necessary for their implementation. In short, it is enough that during the duration of the trajectory, edges are captured and relative distances are measured with them at time intervals.
Como elemento común, tanto en el posicionamiento inicial como en la corrección de las sucesivas posiciones de la trayectoria se requerirá como mínimo de dos elementos característicos de la imagen para realizar un exacto posicionado del vehículo respecto el entorno. En consecuencia, se requerirán como mínimo de dos descriptores de cada posición. Cada descriptor de la trayectoria contiene información visual del borde vertical detectado y su posición relativa. Se puede incluir opcionalmente una correspondencia lineal entre el campo de visión horizontal del sensor láser 11 y el campo de visión horizontal de la cámara 12 mediante un paralelismo entre los ejes longitudinales de ambos. Este punto es ventajoso para omitir la inclinación de la calzada en el cálculo de distancia de separación a ejes verticales y distancia a recorrer por el vehículo. Se calculan las distancias en el plano por el que se mueve el vehículo obteniendo así estimaciones de movimiento más sencillas. La fusión del mapa 2D láser y las imágenes visuales se inicia con la definición de la región de interés de las imágenes, donde los objetos detectados por el láser 11 son representados en el mapa 2D. Se implementa una fusión de datos basada en la correspondencia lineal entre el campo de visión horizontal del sensor láser 11 y el campo de visión horizontal del sensor de visión 12 o cámara. En consecuencia, el plano 2D que representa el ángulo-distancia del entorno capturado por el sensor láser 11, se corresponderá linealmente a los X píxeles de anchura de la imagen visual. Si los resultados de la fusión son satisfactorios, se almacenan en una memoria 30 los descriptores con las características (posición y orientación) de los ejes elegidos como representativos de esta imagen. Esta información será consultada por el procesador 10 para realizar el posicionamiento en la reproducción de la trayectoria posterior. Conjuntamente, se puede recoger mediante tres giroscopios 14 y tres acelerómetros 15, información espacial relativa a los sucesivos puntos de la trayectoria para su mejor caracterización. También se puede incorporar información con un sensor de velocidad lineal 16 y angular 17. Durante la memorización de la trayectoria, adicionalmente, se puede medir la distancia lateral del vehículo a eventuales a obstáculos mediante un sensor de ultrasonidos 13 de forma similar a cómo se hace con sensores láser 11. El alcance de un sensor de ultrasonidos 13 es del orden de varios metros, alrededor de 2 metros para mantener una buena exactitud en la medición. Generalmente, los vehículos que disponen de una unidad de navegación inercial (INS) pueden realizar estas mediciones. Las principales ventajas que presenta un INS respecto a otros sistemas de navegación son la precisión, frecuencia de obtención de datos y cobertura. La obtención de mediciones en coordenadas relativas no presenta un problema debido a que la necesidad es reproducir una trayectoria a partir de la posición inicial, independientemente de su ubicación absoluta. De igual modo, una incorrecta instalación de los aparatos de medida en el vehículo, aún aportando medidas incorrectas, no afectan al correcto funcionamiento puesto que tanto la medición como la reproducción se realizarán con el mismo error. En la figura 1 se puede ver un ejemplo donde se ilustra la ubicación de algunos de los sensores empleados en el propio vehículo. Como principal desventaja a tener en cuenta de los INS para un correcto funcionamiento, está el error acumulativo ya mencionado. Con el fin de que el sistema no se vea afectado notablemente se utiliza el proceso descrito anteriormente que se basa en obtener referencias durante el trayecto para poder parametrizar y corregir dicho error. En ausencia de dichos puntos de referencia se impondrá como condición esencial la reproducción de trayectos de corta o media distancia. De este modo el error acumulativo no va a resultar un valor significativo que imposibilite la satisfactoria reproducción de la trayectoria memorizada. As a common element, both in the initial positioning and in the correction of the successive positions of the trajectory, at least two characteristic elements of the image will be required to carry out an exact positioning of the vehicle with respect to the environment. Consequently, a minimum of two descriptors will be required for each position. Each path descriptor contains visual information of the detected vertical edge and its relative position. A linear correspondence between the horizontal field of view of the laser sensor 11 and the horizontal field of view of the camera 12 can optionally be included by means of a parallelism between the longitudinal axes of both. This point is advantageous to omit the inclination of the road when calculating the distance from the vertical axes and the distance to be covered by the vehicle. Distances in the plane in which the vehicle is moving are calculated, thus obtaining easier estimates of movement. The fusion of the 2D laser map and the visual images begins with the definition of the region of interest of the images, where the objects detected by the laser 11 are represented on the 2D map. A data fusion is implemented based on the linear correspondence between the horizontal field of view of the laser sensor 11 and the horizontal field of view of the vision sensor 12 or camera. Consequently, the 2D plane representing the angle-distance of the environment captured by the laser sensor 11, will correspond linearly to the X pixels width of the visual image. If the fusion results are satisfactory, the descriptors with the characteristics (position and orientation) of the axes chosen as representative of this image are stored in a memory 30. This information will be consulted by the processor 10 to perform the positioning in the reproduction of the posterior trajectory. Together, using three gyroscopes 14 and three accelerometers 15, spatial information related to the successive points of the trajectory can be collected for better characterization. Information can also be incorporated with a linear speed sensor 16 and angular 17. During the memorization of the trajectory, additionally, the lateral distance of the vehicle to eventual obstacles can be measured by means of an ultrasound sensor 13 in a similar way to how it is done. with laser sensors 11. The range of an ultrasound sensor 13 is on the order of several meters, around 2 meters to maintain good measurement accuracy. Generally, vehicles equipped with an inertial navigation unit (INS) can perform these measurements. The main advantages of an INS over other navigation systems are precision, frequency of data collection and coverage. Obtaining measurements in relative coordinates does not present a problem because the need is to reproduce a trajectory from the initial position, regardless of its absolute location. In the same way, an incorrect installation of the measuring devices in the vehicle, even providing incorrect measurements, does not affect the correct operation since both the measurement and the reproduction will be carried out with the same error. In figure 1 you can see an example where the location of some of the sensors used in the vehicle itself is illustrated. As the main disadvantage to take into account of the INS for a correct operation, there is the already mentioned cumulative error. In order that the system is not significantly affected, the process described above is used, which is based on obtaining references during the journey to be able to parameterize and correct said error. In the absence of such reference points, the reproduction of short or medium distance paths will be imposed as an essential condition. In this way, the cumulative error will not be a significant value that makes it impossible to satisfactorily reproduce the memorized trajectory.
Reproducción de la trayectoria memorizada Una vez la trayectoria ha sido memorizada, las condiciones para que pueda ser repetida sin la asistencia del conductor vienen fijadas en primera instancia por reconocer la posición inicial memorizada y validar que el vehículo está situado sobre dicha posición con poca desviación. A continuación, se podrán reproducir las maniobras realizadas por el vehículo cuando se memorizó dicha trayectoria. La comparación de la posición actual frente a la posición memorizada es por tanto muy importante. Para ello, se ha de recuperar el descriptor memorizado en la memoria 30 correspondiente al punto de inicio de la trayectoria. A su vez, se ha de recoger una imagen actual del entorno del vehículo mediante la cámara 12. Se debe procesar con el procesador 10 dicha imagen para identificar los bordes verticales que cumplan con las condiciones exigidas (p.e. ser mayor que un umbral) y a continuación establecer dichos bordes verticales como referencias actuales. Una vez establecidas, con el sensor láser 11 se mide la posición relativa de cada borde vertical respecto del vehículo y se pueden generar los descriptores actuales con información visual de cada borde vertical detectado y su posición relativa medida. La comparación se efectúa entre dichos descriptores actuales con los descriptores del punto de inicio de la trayectoria. Así se puede confirmar si la posición actual es la correcta para iniciar la reproducción de la maniobra. En caso de no serlo, se pueden realizar las correcciones necesarias para ajustar la posición inicial actual a la memorizada y con ello que las sucesivas maniobras que conlleva trazar la trayectoria memorizada puedan ser efectuadas con precisión, comparando la distancia relativa actual y memorizada. En la figuras 4 y 5 se pueden ver una posible secuencia de pasos para el proceso de reproducción de una trayectoria memorizada. Cuando se estima que la posición inicial actual es válida para comenzar la reproducción de la trayectoria, el procesador 10 a través de un controlador 20 ordenará a los diferentes actuadores que lleven a cabo las maniobras necesarias. Es por tanto necesario que exista comunicación con los actuadores encargados de la admisión del combustible 21, sobre el freno 22, sobre el freno de estacionamiento 23 y, por supuesto, sobre la dirección 24. Simultáneamente, el sensor de ultrasonidos 13 puede permanecer activado para avisar de posibles obstáculos a una distancia menor predefinida. En presencia de un obstáculo, se puede interrumpir durante un intervalo de tiempo predefinido el movimiento asociado al desplazamiento hasta el punto siguiente de la trayectoria memorizada. Con ello se evita abortar la maniobra en caso de que el obstáculo sea temporal (p.e. un viandante cruzando). Se estima que un intervalo de espera apropiado sea menor de 1 minuto, preferiblemente de 20 s. En caso contrario, si se mantiene la presencia del obstáculo transcurrido el intervalo de tiempo predefinido, el sensor láser 11 mide la posición relativa del obstáculo respecto del vehículo y se estima su ancho y profundidad para calcular la viabilidad de sortearlo en función de sucesivos desplazamientos relativos de la trayectoria, de la distancia mínima del vehículo a obstáculos dispuestos en la trayectoria nominal y del espacio lateral disponible mínimo obtenido por los sensores laterales de ultrasonido 13. Posteriormente, se tratará este caso concreto. Reproduction of the memorized trajectory Once the trajectory has been memorized, the conditions so that it can be repeated without the driver's assistance are set in the first instance by recognizing the memorized initial position and validating that the vehicle is located over said position with little deviation. The maneuvers carried out by the vehicle when said trajectory was memorized can then be reproduced. Comparing the current position versus the memorized position is therefore very important. To do this, the descriptor memorized in memory 30 corresponding to the starting point of the trajectory must be retrieved. In turn, a current image of the vehicle's environment must be collected using camera 12. This image must be processed with processor 10 to identify the vertical edges that meet the required conditions (eg, be greater than a threshold) and then set these vertical edges as current references. Once established, with the laser sensor 11 the relative position of each vertical edge with respect to the vehicle is measured and the current descriptors can be generated with visual information of each detected vertical edge and its measured relative position. The comparison is made between said current descriptors with the descriptors of the starting point of the trajectory. This allows you to confirm if the current position is correct to start the maneuver playback. If it is not, the necessary corrections can be made to adjust the current initial position to the memorized one and thus that the successive maneuvers involved in drawing the memorized trajectory can be carried out with precision, comparing the current and memorized relative distance. Figures 4 and 5 show a possible sequence of steps for the process of reproducing a memorized trajectory. When it is estimated that the current initial position is valid to start the reproduction of the trajectory, the processor 10 through a controller 20 will order the different actuators to carry out the necessary maneuvers. It is therefore necessary for there to be communication with the actuators responsible for the intake of fuel 21, on the brake 22, on the parking brake 23 and, of course, on the steering 24. Simultaneously, the ultrasound sensor 13 can remain activated to warn of possible obstacles at a shorter predefined distance. In the presence of an obstacle, the movement associated with moving to the next point on the memorized path can be interrupted for a predefined time interval. This avoids aborting the maneuver in case the obstacle is temporary (eg a pedestrian crossing). An appropriate wait interval is estimated to be less than 1 minute, preferably 20 s. Otherwise, if the presence of the obstacle is maintained after the predefined time interval, the laser sensor 11 measures the relative position of the obstacle with respect to the vehicle and its width and depth are estimated to calculate the viability of circumventing it based on successive relative displacements. of the trajectory, of the minimum distance of the vehicle to obstacles arranged in the nominal trajectory and of the minimum available lateral space obtained by the lateral ultrasound sensors 13. This specific case will be discussed later.
Descripción matemática La definición de la posición del vehículo en cada actualización de datos es necesaria para la trazar la trayectoria y para realizar rectificaciones en la misma. Mediante un vector de estado se define la posición del vehículo. Se pueden distinguir dos partes, el vector de estado estimado del vehículo y la definición de las marcas del entorno. En esta descripción se incluye: Mathematical description The definition of the vehicle's position in each data update is necessary to trace the trajectory and to make corrections to it. A state vector defines the position of the vehicle. Two parts can be distinguished, the estimated state vector of the vehicle and the definition of the environmental markings. This description includes:
-Posición del vehículo respecto la posición anterior, Xveh -Orientación del vehículo respecto la posición anterior, Ωveh -Velocidad lineal del vehículo en el centro del eje posterior, Vveh -Velocidad angular del vehículo, ωveh -Position of the vehicle with respect to the previous position, Xveh -Orientation of the vehicle with respect to the previous position, Ωveh -Linear speed of the vehicle in the center of the rear axle, Vveh -Vehicle angular speed, ωveh
5 De los anteriores parámetros que definen la cinemática instantánea del vehículo, la variación de las velocidades angulares son obtenidas directamente de una unidad de medición inercial, por ejemplo de giroscopios 13. La obtención de la velocidad lineal (V) del vehículo también es inmediata a través de los sensores de giro de las ruedas o sensores de velocidad angular 17. 5 Of the previous parameters that define the instantaneous kinematics of the vehicle, the variation of the angular speeds are obtained directly from an inertial measurement unit, for example from gyroscopes 13. Obtaining the linear speed (V) of the vehicle is also immediate to through the wheel turn sensors or angular speed sensors 17.
10 Los parámetros cinemáticos se obtienen de: 10 The kinematic parameters are obtained from:
Se desprende que con las integraciones planteadas se está obteniendo la variación de It follows that with the proposed integrations the variation of
15 posición y de ángulo respecto la posición inmediatamente anterior. Para la reproducción en condiciones normales de la trayectoria nominal estos valores son suficientes. En cambio, para realizar rectificaciones será imprescindible conocer estos valores a nivel global, es decir, poder caracterizar cada posición independientemente de las 15 position and angle with respect to the immediately previous position. For reproduction under normal conditions of the nominal trajectory these values are sufficient. On the other hand, to carry out corrections it will be essential to know these values at a global level, that is, to be able to characterize each position independently of the
20 posiciones anteriores. Este posicionamiento en cada actualización de datos quot;iquot; se realizará en función de la posición inicial del vehículo. De este modo: 20 previous positions. This positioning in each data update "i" It will be carried out according to the initial position of the vehicle. In this way:
25 En segundo lugar se definen aquellos parámetros que van a permitir la búsqueda de correspondencias entre elementos característicos de una imagen que también deben 25 Secondly, those parameters are defined that will allow the search for correspondences between characteristic elements of an image that must also
trayectoria nominal. A modo de resumen, el descriptor de un punto característico de la posición inicial nominal comprende como mínimo la siguiente información: nominal path. In summary, the descriptor of a characteristic point of the initial position nominal includes at least the following information:
- • •
- Localización en la imagen del punto de interés Location in the image of the point of interest
- • •
- Orientaciones principales de la región estudiada Main orientations of the studied region
- • •
- Distancia al eje vertical Vertical axis distance
- • •
- Orientación al eje vertical Orientation to the vertical axis
Además, el descriptor de un eje característico de una posición cualquiera de la trayectoria nominal comprende como mínimo la siguiente información: In addition, the descriptor of a characteristic axis of any position of the nominal path comprises at least the following information:
- • •
- Posición horizontal media de un eje vertical en la imagen Average horizontal position of a vertical axis in the image
- • •
- Distancia al eje vertical Vertical axis distance
• Orientación al eje vertical Distancia y orientación al eje vertical se obtienen directamente del escáner láser (encargado de conocer la posición relativa de las marcas). Debido al despreciable campo de visión vertical, a la apariencia de los ejes verticales y la idéntica orientación vertical entre vehículo y láser, se desprecia el ángulo de orientación de las marcas en esta dirección (θz → 0). Por lo tanto, en esta definición se supone válido trabajar en un plano 2D. Por razones de comodidad de los ocupantes y también para garantizar el funcionamiento, se ha de establecer una velocidad máxima que permita tanto la adquisición correcta de datos y su procesado completo, como el confort de los ocupantes. Igualmente se ha de establecer una aceleración máxima. Preferentemente, el valor de aceleración máxima es 0.2 g; el valor de frenada de trayecto es -0.2 g; el valor de frenada de emergencia es -0.5 g, donde g es la aceleración de la gravedad. Respecto de la velocidad, es recomendable que sea la mínima de las velocidades siguientes: • Orientation to the vertical axis Distance and orientation to the vertical axis are obtained directly from the laser scanner (in charge of knowing the relative position of the marks). Due to the negligible vertical field of view, the appearance of the vertical axes and the identical vertical orientation between the vehicle and the laser, the orientation angle of the marks in this direction is neglected (θz → 0). Therefore, in this definition it is assumed valid to work in a 2D plane. For reasons of comfort of the occupants and also to guarantee the operation, a maximum speed has to be established that allows both the correct acquisition of data and its complete processing, as well as the comfort of the occupants. Likewise, a maximum acceleration must be established. Preferably, the maximum acceleration value is 0.2 g; the trip braking value is -0.2 g; the emergency braking value is -0.5 g, where g is the acceleration due to gravity. Regarding speed, it is recommended that it be the minimum of the following speeds:
Durante la memorización de la trayectoria, también se graba la velocidad instantánea del vehículo para cada posición. Se puede establecer como primera premisa que la velocidad del vehículo en la reproducción de una trayectoria sea inferior a la velocidad del vehículo conducido durante la etapa de grabación. During the memorization of the trajectory, the instantaneous speed of the vehicle is also recorded for each position. It can be established as a first premise that the speed of the vehicle in the reproduction of a trajectory is lower than the speed of the vehicle driven during the recording stage.
Con el fin de realizar una correcta percepción del entorno, algunos sensores especifican un rango de trabajo óptimo en función de la velocidad absoluta del vehículo. A velocidades mayores que las especificadas, los fabricantes no garantizan la correcta percepción ni el correcto funcionamiento de los aparatos de medida, por lo que se deberá fijar una velocidad máxima de funcionamiento. Otro parámetro a tener en cuenta es la distancia recorrida por el vehículo durante una frenada. Se debe garantizar que, ante la percepción y detección de un obstáculo en la trayectoria a memorizar, se ha de detener el vehículo antes de una colisión realizando a lo sumo una frenada de emergencia. Por lo tanto, se deberá evaluar que la distancia de frenado sea notablemente menor que el alcance de los sensores integrados en el vehículo. Pueden existir otras situaciones donde se deba reducir la velocidad del vehículo con el fin de que la calidad de las medidas obtenidas por los dispositivos o sensores implementados sea la óptima. La inclinación de la trazada respecto al plano horizontal va a ser uno de los parámetros a tener en cuenta. Un desplazamiento con una pendiente destacable (como pueden ser rampas de un aparcamiento) puede llevar implícito cambios de rasante bruscos. Además, en descensos, puede significar un aumento de la distancia de frenado. Otra situación de incertidumbre puede provenir de la sinuosidad de la trayectoria. En curvas cerradas no se puede garantizar la inexistencia de obstáculos en la calzada puesto que la disposición del entorno puede limitar el campo de visión de los dispositivos de percepción. En resumen, se debe garantizar el frenado del vehículo en situaciones de incertidumbre como las presentadas anteriormente. In order to make a correct perception of the environment, some sensors specify an optimal working range based on the absolute speed of the vehicle. At speeds higher than those specified, manufacturers do not guarantee the correct perception or correct operation of the measuring devices, so a maximum operating speed must be set. Another parameter to take into account is the distance traveled by the vehicle during braking. It must be ensured that, upon perception and detection of an obstacle in the path to be memorized, the vehicle must be stopped before a collision, performing at most an emergency braking. Therefore, it should be evaluated that the braking distance is significantly less than the range of the sensors integrated in the vehicle. There may be other situations where the vehicle speed must be reduced in order for the quality of the measurements obtained by the implemented devices or sensors to be optimal. The inclination of the line with respect to the horizontal plane is going to be one of the parameters to take into account. A movement with a notable slope (such as parking ramps) can imply sudden changes in grade. Also, on descents, it can mean an increase in stopping distance. Another situation of uncertainty can come from the sinuosity of the trajectory. In tight curves, the absence of obstacles on the road cannot be guaranteed since the surrounding arrangement may limit the field of vision of the sensing devices. In summary, the braking of the vehicle must be guaranteed in situations of uncertainty such as those presented above.
Generación de la trayectoria alternativa Se describe una realización para el cálculo y la ejecución de la trayectoria alternativa. 1) Ante la detección de un obstáculo que imposibilita el avance a lo largo de la trayectoria nominal, se ordena detener el vehículo. Dependiendo de la distancia al obstáculo, se decelera el vehículo con una frenada de confort (-0,2g) o una frenada de emergencia (-0,5g). 2) Una vez el vehículo se encuentra inmovilizado y con el freno de estacionamiento accionado, es recomendable no realizar ninguna acción durante un tiempo. Este hecho (otro coche circulando, una persona andando, un objeto que alguien ha retirado, etc.). El tiempo de espera se fija preferiblemente en 20 segundos. Una vez superado este tiempo, si el obstáculo permanece, se parametriza mediante los valores obtenidos por los escáneres láser. Se eligen como puntos característicos del obstáculo los de mayor ángulo, puesto que serán los que marcarán una primera aproximación del espacio ocupado por éste. De esta simplificación se obtienen, como máximo, 2 valores (distancia, ángulo). Así el lidar 11, mide el extremo izquierdo obstáculo: [dobsi; βobsi]; y extremo derecho del obstáculo: [dobs; βobsd]. Generation of the alternative path An embodiment for calculating and executing the alternative path is described. 1) Upon detection of an obstacle that makes it impossible to advance along the nominal path, the vehicle is ordered to stop. Depending on the distance to the obstacle, the vehicle is decelerated with a comfort braking (-0.2g) or an emergency braking (-0.5g). 2) Once the vehicle is immobilized and with the parking brake applied, it is advisable not to take any action for a while. This fact (another car driving, a person walking, an object that someone has removed, etc.). The waiting time is preferably set at 20 seconds. Once this time has elapsed, if the obstacle remains, it is parameterized using the values obtained by the laser scanners. The characteristic points of the obstacle are chosen those with the greatest angle, since they will mark a first approximation of the space occupied by it. From this simplification, a maximum of 2 values (distance, angle) are obtained. Thus the lidar 11, measures the extreme left obstacle: [dobsi; βobsi]; and extreme right of the obstacle: [dobs; βobsd].
3) Una vez conocida la posición de los extremos (en el campo de visión horizontal del escáner), se valora si es factible la rectificación en función de: 3) Once the position of the ends is known (in the horizontal field of view of the scanner), it is assessed whether rectification is feasible based on:
- • •
- La evolución de la trayectoria nominal, es decir, dirección hacia la que evoluciona la trayectoria una vez superado el obstáculo. The evolution of the nominal trajectory, that is, the direction in which the trajectory evolves once the obstacle has been overcome.
- • •
- La anchura y estimación de profundidad del obstáculo (se propone considerar una profundidad de 2,6 veces la anchura total del obstáculo). The width and depth estimation of the obstacle (it is proposed to consider a depth of 2.6 times the total width of the obstacle).
- • •
- Espacio disponible de maniobrabilidad suficiente (obtenido por los sensores de ultrasonido laterales). Sufficient maneuverability available space (obtained by the lateral ultrasound sensors).
- • •
- Dirección de la maniobra más factible (maniobra izquierda o derecha). Direction of the most feasible maneuver (left or right maneuver).
4) Si es factible la rectificación, elige la dirección sobre la que iniciar la rectificación y calcula la posición relativa del obstáculo: 4) If rectification is feasible, choose the direction in which to start rectification and calculate the relative position of the obstacle:
5) Conocidos los parámetros que definen la ubicación del extremo del obstáculo, se determina la rectificación a ejecutar. Se puede determinar mediante un control cinemático, el cuál se basa en convertir la especificación de movimiento en una trayectoria analítica en el espacio. En concreto, se utiliza un control basado en curvas paramétricas. Estas curvas deben cumplir las restricciones de movimiento del vehículo. Como principal inconveniente, los pequeños errores cometidos durante la computación y reproducción de la curva se van acumulando. Con el fin de evitar o minimizar la posible desviación producida, se recalcula cada cierto tiempo la curva paramétrica a seguir. 5) Once the parameters that define the location of the end of the obstacle are known, the rectification to be carried out is determined. It can be determined by kinematic control, which is based on converting the motion specification into an analytical trajectory in space. Specifically, a control based on parametric curves is used. These curves must comply with the vehicle's movement restrictions. As the main drawback, the small errors made during the computation and reproduction of the curve accumulate. In order to avoid or minimize the possible deviation produced, the parametric curve to be followed is recalculated from time to time.
trayectorias posibles, así como la posibilidad de ausencia de una solución factible. 6) Debido a las características de chasis y ángulo de giro del volante, no todas las trayectorias calculadas a través de la ecuación y=f(x) van a poder ser ejecutadas por un vehículo cualquiera. Se debe conocer la/las curvas máximas que un vehículo en cuestión puede ejecutar y comparar si la ejecución de una curva es factible. 7) Si se analiza la causa principal que imposibilita la rectificación de una trayectoria (suponiendo que la superficie es plana, no existen cambios de rasante y la distancia lateral es suficiente), ésta es que la relación distancia de separación-longitud transversal del obstáculo es mayor a la asumible. Se plantea un desplazamiento previo de alejamiento marcha atrás donde se tendrá en cuenta: -vigilancia de colisión en la zona trasera -cálculo del espacio lateral disponible (sensores de ultrasonido laterales) -desviación respecto la trayectoria nominal -desplazamiento posterior en fases de 0,5 metros Finalizado el desplazamiento posterior, se valora la capacidad de rectificación analizando el espacio lateral disponible y obteniendo los parámetros (X0; Y0) del obstáculo. Se plantean cuatro posibles soluciones: a) La rectificación es factible y se inicia el movimiento. b) La rectificación no es factible por falta de espacio al obstáculo y se plantea la factibilidad de un nuevo desplazamiento posterior c) No es posible realizar el desplazamiento posterior y se aborta el proceso completo. 8) En la situación en que la rectificación es factible, se ejecuta la trayectoria calculada. Una vez finalizada, el vehículo se encuentra en paralelo al obstáculo o bien lo ha sobrepasado. En el caso de sobrepasarlo, se iniciaría el proceso de recuperación de la trayectoria nominal (descrito en los siguientes puntos). En caso contrario, el vehículo reproduce de forma aproximada la superficie lateral exterior del obstáculo gracias a los valores de distancia obtenidos por los sensores de ultrasonido 13 laterales y frontales. Al igual que en el caso anterior, una vez sobrepasado el obstáculo, se iniciará la recuperación de la trayectoria memorizada. En las figuras 7 y 9 se muestran la secuencia de procesos y tomas de decisiones ejecutadas en una rectificación. possible trajectories, as well as the possibility of the absence of a feasible solution. 6) Due to the chassis characteristics and steering angle, not all the trajectories calculated through the equation y = f (x) will be able to be executed by any vehicle. You must know the maximum curve (s) that a vehicle in question can execute and compare if the execution of a curve is feasible. 7) If the main cause that makes it impossible to rectify a path is analyzed (assuming that the surface is flat, there are no changes in grade and the lateral distance is sufficient), this is that the distance distance-transverse length relationship of the obstacle is greater than assumable. A preliminary movement away from the reverse is proposed, where the following will be taken into account: -collision monitoring in the rear area -calculation of the available lateral space (lateral ultrasound sensors) -deviation with respect to the nominal trajectory -post displacement in phases of 0.5 meters Once the posterior movement is finished, the rectification capacity is evaluated by analyzing the available lateral space and obtaining the parameters (X0; Y0) of the obstacle. Four possible solutions are proposed: a) The rectification is feasible and the movement begins. b) The rectification is not feasible due to lack of space to the obstacle and the feasibility of a new posterior displacement is considered c) It is not possible to carry out the posterior displacement and the entire process is aborted. 8) In the situation where rectification is feasible, the calculated path is executed. Once finished, the vehicle is parallel to the obstacle or has passed it. In the case of exceeding it, the process of recovery of the nominal trajectory would start (described in the following points). Otherwise, the vehicle roughly reproduces the outer lateral surface of the obstacle thanks to the distance values obtained by the lateral and frontal ultrasound sensors 13. As in the previous case, once the obstacle has been passed, the recovery of the memorized path will begin. Figures 7 and 9 show the sequence of processes and decision-making carried out in a rectification.
Un ejemplo de curva paramétrica que podría ser utilizada para generar la trayectoria sobre una superficie plana que el vehículo va a seguir durante el proceso de rectificación es la siguiente: An example of a parametric curve that could be used to generate the trajectory on a flat surface that the vehicle will follow during the rectification process is the following:
donde X1 es el espacio recorrido por el vehículo durante la rectificación en la dirección del eje longitudinal [m] y Y1 es el espacio recorrido por el vehículo durante la rectificación en la dirección perpendicular al eje longitudinal [m]. El gráfico de la figura 10 muestra un ejemplo de la maniobra en cuestión (X1=3; Y1=2,3). Las principales características de este polinomio de quinto grado son: where X1 is the space traveled by the vehicle during grinding in the direction of the longitudinal axis [m] and Y1 is the space traveled by the vehicle during grinding in the direction perpendicular to the longitudinal axis [m]. The graph in figure 10 shows an example of the maneuver in question (X1 = 3; Y1 = 2.3). The main characteristics of this fifth degree polynomial are:
- • •
- Describe la trayectoria del centro de masas del vehículo. Describe the path of the vehicle's center of mass.
- • •
- Inicio y final de la trayectoria con el vehículo orientado hacia su eje longitudinal. Start and end of the trajectory with the vehicle oriented towards its longitudinal axis.
- • •
- Variación progresiva del ángulo de giro del volante posibilitando un control continuo y uniforme de la velocidad. De este modo se evitarán detenciones del vehículo. Progressive variation of the angle of rotation of the steering wheel allowing a continuous and uniform control of the speed. In this way, vehicle stops will be avoided.
Recuperación de la trayectoria nominal Una vez el vehículo ha rebasado el obstáculo, el sistema se propone retomar la trayectoria nominal. Ésta será una operación compleja y delicada puesto que el sistema no posee referencias a seguir, sino una trayectoria con la que conectar. Se plantea resolver el problema, a nivel conceptual, mediante un control cinemático parecido al planteado en la “generación de la trayectoria nominal”, el cual se basa en convertir la especificación de movimiento exigida por la “Módulo de conducción virtual”. En concreto, se utiliza un control basado en curvas paramétricas. Recovery of the nominal trajectory Once the vehicle has passed the obstacle, the system intends to resume the nominal trajectory. This will be a complex and delicate operation since the system does not have references to follow, but rather a path to connect with. It is proposed to solve the problem, at a conceptual level, by means of a kinematic control similar to that proposed in the "generation of the nominal trajectory", which is based on converting the motion specification required by the "Virtual driving module". Specifically, a control based on parametric curves is used.
La principal dificultad del presente proceso reside en crear un modelo cerrado que permita la recuperación de la trayectoria nominal ante un amplio abanico de situaciones y posibles puntos de destino. Se recuerda que se imponía la ejecución de las rectificaciones en superficies casi planas y sin cambios de rasante o baches destacables. Existen diversas formas de solucionar el citado problema. El primer conflicto se plantea a la hora de definir el punto destino de la trayectoria nominal. Se debe tener en cuenta que su ubicación respecto la posición actual del vehículo es impredecible, al igual que la orientación del vehículo en dicha posición. También se debe tener en cuenta que las características cinemáticas del vehículo no permiten la realización de cualquier tipo de curva. The main difficulty of the present process lies in creating a closed model that allows the recovery of the nominal trajectory in the face of a wide range of situations and possible destination points. It is recalled that the execution of rectifications was imposed on almost flat surfaces and without changes in grade or notable potholes. There are several ways to solve the aforementioned problem. The first conflict arises when defining the destination point of the nominal trajectory. It should be noted that its location relative to the current position of the vehicle is unpredictable, as is the orientation of the vehicle in that position. It should also be taken into account that the kinematic characteristics of the vehicle do not allow any type of curve to be made.
A continuación se presenta un posible modo de realización. El reto inicial aparece en elaborar un patrón que permita acotar la distancia longitudinal entre este punto y el vehículo, el cual sea suficiente para permitir la maniobrabilidad pero, a la vez, no excesivo. Las figuras 11 y 12 se pueden observar algunos parámetros a tener en cuenta. Una vez definida la distancia longitudinal se busca en la memoria 30 aquellos puntos de la trayectoria memorizada que se encuentran en una recta perpendicular a la orientación φr actual del vehículo a una distancia X1. En la figura 11 se representa la recta t, a una determinada distancia longitudinal, donde se encuentra el punto de la trayectoria nominal con el que se desea enlazar (Xfnom Yfnom). El punto obtenido será el punto destino donde se retomará la trayectoria nominal. Se recuperarán sus coordenadas (Xfnom Yfnom) y la orientación del vehículo (φfnom). Llegados a este punto se intuye que el problema reside en elaborar una curva paramétrica apta para la mayoría de los casos. Este conflicto se podría resolver por complejos modelos de control dinámico, por curvas de Béizer, curvas de Hemite, splines, combinación de curvas paramétricas. Un posible modo de realización sencillo sería conectar el punto actual con el punto destino tangentemente a su orientación con un arco de circunferencia y un polinomio de quinto grado. De este modo se pretende abarcar una gran multitud de puntos comprendidos a lo largo de la recta (t). Mediante el arco de circunferencia de radio definido se busca que el vehículo se oriente de modo que su eje longitudinal sea paralelo a la orientación del punto destino conocida (φfnom). Por otro lado, el uso del polinomio de quinto grado va a permitir que el vehículo alcance la posición destino con un control continuo e uniforme de la velocidad y la dirección. Se propone el mismo polinomio de quinto grado presentado anteriormente. En la figura 12 se puede observar la trayectoria planteada compuesta por dos curvas paramétricas, diferenciando la posición inicial (Xr0 Yr0), la posición intermedia resultado del giro de ángulo definicido (Xr1 Yr1) y la posición final (Xfnom Yfnom) la cual pertenece a la trayectoria nominal. A possible embodiment is presented below. The initial challenge appears in developing a pattern that allows limiting the longitudinal distance between this point and the vehicle, which is sufficient to allow maneuverability but, at the same time, not excessive. Figures 11 and 12 show some parameters to take into account. Once the longitudinal distance has been defined, memory 30 is searched for those points of the memorized trajectory that lie on a line perpendicular to the current orientation φr of the vehicle at a distance X1. In figure 11 the line t is represented, at a certain longitudinal distance, where the point of the nominal trajectory with which it is desired to link (Xfnom Yfnom) is found. The point obtained will be the destination point where the nominal path will be resumed. Your coordinates (Xfnom Yfnom) and vehicle orientation (φfnom) will be retrieved. At this point it is intuited that the problem lies in developing a parametric curve suitable for most cases. This conflict could be solved by complex dynamic control models, by Béizer curves, Hemite curves, splines, combination of parametric curves. A simple possible embodiment would be to connect the current point with the destination point tangentially to its orientation with an arc of circumference and a fifth degree polynomial. In this way, it is intended to cover a large multitude of points included along the line (t). By means of the defined radius circumference arc, it is sought that the vehicle is oriented so that its longitudinal axis is parallel to the orientation of the known destination point (φfnom). On the other hand, the use of the fifth degree polynomial will allow the vehicle to reach the destination position with a continuous and uniform control of speed and direction. The same fifth degree polynomial presented above is proposed. In figure 12 it is possible to observe the trajectory set composed of two parametric curves, differentiating the initial position (Xr0 Yr0), the intermediate position resulting from the defined angle rotation (Xr1 Yr1) and the final position (Xfnom Yfnom) which belongs to the nominal path.
Procesado de imágenes Una vez identificados los puntos invariantes de una imagen comprendidos en un eje vertical de longitud mayor a un valor umbral se procede a obtener aquellas características que van a permitir identificarlo en futuras ocasiones. Image processing Once the invariant points of an image included in a vertical axis of length greater than a threshold value have been identified, we proceed to obtain those characteristics that will allow it to be identified on future occasions.
Para ello se define una zona de estudio alrededor de cada punto característico (a modo de ejemplo un matriz de 8x8 píxeles). Una vez definida esta región se calcula el gradiente de cada píxel (vector) el cual comprende un módulo y una orientación. El siguiente paso consiste en realizar una ponderación de las orientaciones de los gradientes según su módulo con el fin de obtener una o varias orientaciones principales de la región. La imagen figura 13 muestra una matriz 4x4 que engloba las direcciones principales comprendidas. Se puede obtener el descriptor visual mediante cálculo del gradiente de un punto característico. La información memorizada de este descriptor visual será: -Localización en la imagen del píxel (punto de interés). -Orientaciones principales de la región estudiada. La razón de memorizar la localización del píxel en la imagen reside en que el coste computacional de las comparaciones podría llegar a ser muy elevado si no se fijan restricciones. Por lo tanto, si sabemos que ciertas zonas de una imagen A deben aparecer en una zona similar en la imagen B, se centra la búsqueda en una determinada zona. Para calcular el grado de similitud entre dos descriptores visuales (conjunto de elementos que indican las orientaciones más importantes alrededor de un punto de interés) existen diversas alternativas. Realizando una serie de operaciones entre el descriptor visual de la imagen A con cada uno de la imagen B se conocerá cuáles son correspondientes con mayor probabilidad. Llegados a este punto se ha memorizado la información necesaria para poder identificar dicho punto en una imagen en futuras fases de posicionamiento inicial. Ahora bien, para que esta fase resulte satisfactoria será necesario consultar los datos de posición relativa aportados por el escáner láser 11. Los datos de posicionamiento memorizados serán: -Distancia al eje vertical. -Orientación relativa del eje respecto al eje longitudinal del dispositivo. A modo de resumen, el descriptor de un punto característico de la posición inicial nominal comprende como mínimo la siguiente información: -Localización en la imagen del punto de interés. -Orientaciones principales de la región estudiada. -Distancia al eje vertical. -Orientación al eje vertical. To do this, a study area is defined around each characteristic point (for example, an 8x8 pixel matrix). Once this region is defined, the gradient of each pixel (vector) is calculated, which comprises a module and an orientation. The next step consists of weighting the orientations of the gradients according to their module in order to obtain one or more main orientations of the region. Figure 13 shows a 4x4 matrix that encompasses the main directions included. The visual descriptor can be obtained by calculating the gradient of a characteristic point. The information stored in this visual descriptor will be: -Location in the image of the pixel (point of interest). -Main orientations of the studied region. The reason for memorizing the location of the pixel in the image is that the computational cost of the comparisons could become very high if no restrictions are set. Therefore, if we know that certain areas of an image A should appear in a similar area in image B, the search is focused on a certain area. To calculate the degree of similarity between two visual descriptors (set of elements that indicate the most important orientations around a point of interest) there are several alternatives. Carrying out a series of operations between the visual descriptor of image A with each one of image B, it will be known which ones are corresponding with greater probability. At this point, the necessary information has been memorized to be able to identify said point in an image in future initial positioning phases. Now, for this phase to be satisfactory, it will be necessary to consult the relative position data provided by the laser scanner 11. The memorized positioning data will be: -Distance to the vertical axis. -Relative orientation of the axis with respect to the longitudinal axis of the device. As a summary, the descriptor of a characteristic point of the nominal initial position comprises at least the following information: -Location in the image of the point of interest. -Main orientations of the studied region. -Distance to the vertical axis. -Orientation to the vertical axis.
La obtención de las características que definen un eje vertical y permiten su posterior identificación no es tan robusta como el de los puntos invariantes. La razón reside en su propia constitución, pues ni gradientes ni orientaciones tienen sentido. Un modo de realización es la memorización del gradiente definido en los puntos extremos de un borde vertical. No obstante, se descarta debido a la posible desfragmentación de los ejes y al coste computacional asociado. Se prefiere, por tanto, utilizar una definición menos robusta pero de coste computacional más bajo que consiste en memorizar la posición horizontal media del eje vertical en la imagen. Por sí sola, esta definición carecería de eficacia ante dos imágenes similares. Ahora bien, ante la singularidad que supone tratar con una sucesión de imágenes ordenadas de forma secuencial y conocer la zona aproximada donde debería ubicarse un eje vertical en la imagen, se podría obtener un comportamiento aceptable. Como es conocido, el proceso de asociación de puntos en líneas verticales acepta como válido rectas casi verticales. En este hecho reside la necesidad de calcular el valor horizontal medio de un eje vertical resultado de una calibración horizontal del dispositivo de visión. De modo simplificado: Obtaining the characteristics that define a vertical axis and allow its subsequent identification is not as robust as that of the invariant points. The reason lies in its own constitution, since neither gradients nor orientations make sense. One embodiment is the memorization of the gradient defined at the extreme points of a vertical edge. However, it is ruled out due to the possible defragmentation of the axes and the associated computational cost. It is therefore preferred to use a less robust definition but with a lower computational cost that consists of memorizing the mean horizontal position of the vertical axis in the image. By itself, this definition would be ineffective when faced with two similar images. However, given the singularity of dealing with a succession of sequentially ordered images and knowing the approximate area where a vertical axis should be located in the image, an acceptable behavior could be obtained. As is known, the process of association of points in vertical lines accepts almost vertical lines as valid. In this fact lies the need to calculate the mean horizontal value of a vertical axis resulting from a horizontal calibration of the vision device. In a simplified way:
∑ x ∑ x
x = i ∀ xi ∈ l x = i ∀ xi ∈ l
n n
Donde n son el número de píxeles evaluados y l un borde cualquiera. Como en el caso de los descriptores de puntos invariantes, para un correcto posicionado será necesario consultar los datos de posición relativa aportados por el escáner. A modo de resumen, el descriptor de un eje característico de una posición cualquiera de la trayectoria nominal comprende como mínimo la siguiente información: posición horizontal media de un eje vertical en la imagen, distancia al eje vertical y orientación al eje vertical. Where n is the number of pixels evaluated and l is any border. As in the case of invariant point descriptors, for correct positioning it will be necessary to consult the relative position data provided by the scanner. In summary, the descriptor of a characteristic axis of any position of the nominal path comprises at least the following information: mean horizontal position of a vertical axis in the image, distance to the vertical axis and orientation to the vertical axis.
Claims (30)
- --
- sucesivos desplazamientos relativos de la trayectoria memorizada, successive relative movements of the memorized path,
- --
- distancia mínima del vehículo a obstáculos dispuestos en la trayectoria memorizada, minimum distance of the vehicle to obstacles arranged in the memorized path,
- --
- espacio lateral disponible mínimo obtenido por alguno de los sensores laterales de distancia (11,13). Minimum available lateral space obtained by any of the lateral distance sensors (11,13).
- --
- Canny. Canny.
- --
- sucesivos desplazamientos relativos de la trayectoria memorizada, successive relative movements of the memorized path,
- --
- distancia mínima del vehículo a obstáculos dispuestos en la trayectoria memorizada, minimum distance of the vehicle to obstacles arranged in the memorized path,
- --
- espacio lateral disponible mínimo obtenido por los sensores laterales de distancia (11)(13). Minimum available lateral space obtained by the lateral distance sensors (11) (13).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201231022A ES2436845B1 (en) | 2012-06-29 | 2012-06-29 | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201231022A ES2436845B1 (en) | 2012-06-29 | 2012-06-29 | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| ES2436845A2 true ES2436845A2 (en) | 2014-01-07 |
| ES2436845R1 ES2436845R1 (en) | 2014-04-09 |
| ES2436845B1 ES2436845B1 (en) | 2014-11-14 |
Family
ID=49775817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201231022A Active ES2436845B1 (en) | 2012-06-29 | 2012-06-29 | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2436845B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017046104A1 (en) * | 2015-09-14 | 2017-03-23 | Volkswagen Ag | Device and method for the automated driving of a motor vehicle |
| WO2018046260A1 (en) * | 2016-09-08 | 2018-03-15 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | System for driverless operation of utility vehicles |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101188588B1 (en) * | 2008-03-27 | 2012-10-08 | 주식회사 만도 | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method |
| KR101511923B1 (en) * | 2010-04-12 | 2015-04-13 | 도요타 지도샤（주） | Vehicle remote operation system and on-board device |
| BR112012031475A2 (en) * | 2010-06-09 | 2016-11-01 | Nissan Motor | parking mode selection method and device |
| DE102010043742A1 (en) * | 2010-11-11 | 2012-06-06 | Robert Bosch Gmbh | Method for selecting a parking space in the case of several parking spaces suitable for parking |
-
2012
- 2012-06-29 ES ES201231022A patent/ES2436845B1/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017046104A1 (en) * | 2015-09-14 | 2017-03-23 | Volkswagen Ag | Device and method for the automated driving of a motor vehicle |
| US10234866B2 (en) | 2015-09-14 | 2019-03-19 | Volkswagen Ag | Device and method for the automated driving of a motor vehicle |
| WO2018046260A1 (en) * | 2016-09-08 | 2018-03-15 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | System for driverless operation of utility vehicles |
| US10994709B2 (en) | 2016-09-08 | 2021-05-04 | Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh | System for driverless operation of utility vehicles |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2436845B1 (en) | 2014-11-14 |
| ES2436845R1 (en) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3640599B1 (en) | Vehicle localization method and apparatus | |
| JP7082545B2 (en) | Information processing methods, information processing equipment and programs | |
| EP1072863B1 (en) | Image processing apparatus for navigation system | |
| KR101839554B1 (en) | A robust method for detecting traffic signals and their associated states | |
| CN108162974B (en) | Vehicle control using road angle data | |
| CA2887239C (en) | Generating an image of the surroundings of an articulated vehicle | |
| KR101454153B1 (en) | Navigation system for unmanned ground vehicle by sensor fusion with virtual lane | |
| CN107111879A (en) | Pass through the method and apparatus of panoramic looking-around Image estimation vehicle displacement | |
| CN112189225B (en) | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method | |
| WO2018138584A1 (en) | Vehicle navigation based on aligned image and lidar information | |
| US10955857B2 (en) | Stationary camera localization | |
| US10747223B1 (en) | Redundant lateral velocity determination and use in secondary vehicle control systems | |
| ES2953679T3 (en) | Method of identifying points or lines of interest on a railway track | |
| US11567497B1 (en) | Systems and methods for perceiving a field around a device | |
| CN111795692B (en) | Method and apparatus for parallel tracking and positioning via a multi-mode SLAM fusion process | |
| KR20170008505A (en) | Free space map construction method, free space map construction system, foreground/background extraction method using the free space map, and foreground/background extraction system using the free space map | |
| US20210004983A1 (en) | Vehicle pose determination | |
| JP5429986B2 (en) | Mobile robot remote environment recognition apparatus and method | |
| JP2019526105A (en) | Method for creating a map of a peripheral model, vehicle control system, and corresponding vehicle | |
| JP2019526105A5 (en) | ||
| US20070268067A1 (en) | Method and Device for Acquiring a Position of a Motor Vehicle on a Road | |
| ES2436845B1 (en) | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. | |
| CN105137468A (en) | Photoelectric type automobile continuous navigation data acquiring device and method in GPS blind area environment | |
| JP6790951B2 (en) | Map information learning method and map information learning device | |
| CN205049153U (en) | Sustainable navigation data collection system of vehicle under environment of photoelectric type GPS blind area |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2436845 Country of ref document: ES Kind code of ref document: B1 Effective date: 20141114 |