ES2436845B1 - PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. - Google Patents
PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. Download PDFInfo
- Publication number
- ES2436845B1 ES2436845B1 ES201231022A ES201231022A ES2436845B1 ES 2436845 B1 ES2436845 B1 ES 2436845B1 ES 201231022 A ES201231022 A ES 201231022A ES 201231022 A ES201231022 A ES 201231022A ES 2436845 B1 ES2436845 B1 ES 2436845B1
- Authority
- ES
- Spain
- Prior art keywords
- trajectory
- vehicle
- memorized
- path
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Se presenta un procedimiento para memorizar una trayectoria seguida por un vehículo con objeto a ser posteriormente reproducida, mediante el procedimiento para reproducir una trayectoria. También se muestra un sistema para la memorización y para la reproducción que llevan a cabo las etapas del método respectivo. Es de principal interés en la asistencia automática al aparcamiento de vehículos en estacionamientos para liberar al conductor de tareas repetitivas o complejas. Se ha estudiado la seguridad en la posible variación de las condiciones respecto de aquellas en que se memorizó la trayectoria y la viabilidad de rectificaciones.A procedure is presented to memorize a trajectory followed by a vehicle in order to be subsequently reproduced, by means of the procedure to reproduce a trajectory. A system for memorization and for reproduction carried out by the steps of the respective method is also shown. It is of main interest in the automatic assistance to parking vehicles in parking lots to free the driver from repetitive or complex tasks. Safety has been studied in the possible variation of the conditions with respect to those in which the trajectory and the feasibility of rectifications were memorized.
Description
PROCEDIMIENTO PARA MEMORIZAR Y PARA REPRODUCIR UNA TRAYECTORIA REALIZADA POR UN VEHÍCULO, Y SISTEMA QUE LO IMPLEMENTA PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT
SECTOR TÉCNICO TECHNICAL SECTOR
La invención se encuadra dentro los sistemas de ayuda a la conducción para automóviles. Más concretamente, se relaciona con los sistemas de asistencia al aparcamiento. The invention falls within the driving assistance systems for automobiles. More specifically, it relates to parking assistance systems.
ANTECEDENTES DE LA INVENCIÓN BACKGROUND OF THE INVENTION
Son conocidos en el estado de la técnica los siguientes documentos relacionados con la presente invención: ES 2318725T divulga un dispositivo auxiliar de estacionamiento y un procedimiento para la asistencia al estacionamiento. Se registra una trayectoria de desplazamiento durante un trayecto del vehículo automóvil desde un punto inicial hasta un punto final y a continuación se conduce automáticamente hacia atrás el vehículo automóvil a lo largo de la trayectoria de desplazamiento registrada desde el punto final hasta el punto inicial. Las órdenes son emitidas por el conductor desde un sistema de control remoto. Es capaz de reproducir nuevamente la trayectoria del punto inicial al punto final. Sin embargo, plantea una solución con una importante limitación para una longitud total prevista del trayecto de aproximadamente 5 metros. DE 10331948 divulga un método de asistencia al maniobrado, almacenando maniobras registradas y dando apoyo a la realización de las maniobras almacenadas. Dice facilitar la realización de maniobras repetitivas, como aparcar en una plaza de aparcamiento determinada, no obstante carece de detalles y explicaciones de los aspectos tecnológicos implementados para conseguir dicho resultado. Además, no concibe la posibilidad de rectificaciones de la trayectoria, p.e. ante un obstáculo, para recuperar posteriormente la trayectoria memorizada. The following documents related to the present invention are known in the state of the art: ES 2318725T discloses an auxiliary parking device and a procedure for parking assistance. A travel path is recorded during a journey of the motor vehicle from an initial point to an end point and then the motor vehicle is automatically driven back along the recorded travel path from the end point to the starting point. Orders are issued by the driver from a remote control system. It is able to reproduce the path from the starting point to the end point again. However, it raises a solution with a significant limitation for an expected total path length of approximately 5 meters. DE 10331948 discloses a maneuver assistance method, storing registered maneuvers and supporting the performance of stored maneuvers. He says it facilitates the performance of repetitive maneuvers, such as parking in a specific parking space, however it lacks details and explanations of the technological aspects implemented to achieve this result. In addition, it does not conceive the possibility of trajectory rectifications, e.g. before an obstacle, to later recover the memorized trajectory.
DESCRIPCIÓN DE LA INVENCIÓN DESCRIPTION OF THE INVENTION
La presente invención tiene por objeto liberar al conductor de la necesidad de realizar tareas tediosas y repetitivas a los mandos de un automóvil mientras se realiza cualquier tipo de maniobra repetitiva. El vehículo puede reproducir trayectos The present invention aims to free the driver from the need to perform tedious and repetitive tasks at the controls of a car while performing any type of repetitive maneuver. The vehicle can reproduce routes
previamente memorizados de forma totalmente autónoma, incluidos trayectos largos de más de 100 metros, sin presencia del conductor en el interior del vehículo. Para lograrlo, la presente invención propone un procedimiento y un sistema para memorizar una trayectoria realizada por un vehículo de acuerdo con las reivindicaciones 1 y 18 respectivamente. Es también objeto de la presente invención un método y un sistema, ligados ambos al su correspondiente mencionado anteriormente, para reproducir una trayectoria previamente memorizada de acuerdo con las reivindicaciones independientes 11 y 28 respectivamente. Realizaciones preferentes o ventajosas se definen en las reivindicaciones dependientes. previously memorized completely autonomously, including long journeys of more than 100 meters, without the presence of the driver inside the vehicle. To achieve this, the present invention proposes a method and a system for memorizing a trajectory made by a vehicle according to claims 1 and 18 respectively. The object of the present invention is also a method and a system, both linked to the corresponding one mentioned above, to reproduce a previously memorized path according to independent claims 11 and 28 respectively. Preferred or advantageous embodiments are defined in the dependent claims.
BREVE DESCRIPCIÓN DE LOS DIBUJOS BRIEF DESCRIPTION OF THE DRAWINGS
FIG. 1: Muestra los sensores empleados. FIG. 2A-2C: Muestra el campo abarcado por diferentes sensores en mayor detalle. FIG. 3: Muestra un diagrama de flujo correspondiente a la memorización de la trayectoria. FIG. 4: Muestra un diagrama de flujo correspondiente a la reproducción de la trayectoria memorizada. FIG. 5: Muestra un diagrama de flujo correspondiente a la reproducción de la trayectoria memorizada en una segunda fase. FIG. 6: Muestra un diagrama de bloques para un modo de realización. FIG. 7: Muestra un diagrama de flujo correspondiente a la rectificación de la trayectoria en presencia de un obstáculo. FIG. 8A, 8B: Muestra un dibujo de dos situaciones en las que se observa el alcance de las medidas del sensor láser 11 durante la reproducción de una trayectoria ante obstáculos. FIG. 9: Muestra un diagrama de flujo correspondiente a la rectificación de la trayectoria en presencia de un obstáculo. FIG. 10: Muestra un ejemplo de curva parametrizable del centro de masas del vehículo al evitar un obstáculo. FIG. 11: Se muestra la trayectoria nominal o memorizada. FIG. 12: Se muestra la trayectoria corregida. FIG. 1: Shows the sensors used. FIG. 2A-2C: Shows the field covered by different sensors in greater detail. FIG. 3: Shows a flow chart corresponding to the memorization of the trajectory. FIG. 4: Shows a flow chart corresponding to the reproduction of the memorized path. FIG. 5: Shows a flow chart corresponding to the reproduction of the memorized path in a second phase. FIG. 6: Shows a block diagram for an embodiment. FIG. 7: Shows a flow chart corresponding to the rectification of the path in the presence of an obstacle. FIG. 8A, 8B: Shows a drawing of two situations in which the scope of the measurements of the laser sensor 11 is observed during the reproduction of an obstacle course. FIG. 9: Shows a flow chart corresponding to the rectification of the path in the presence of an obstacle. FIG. 10: Shows an example of a parameterizable curve of the center of mass of the vehicle by avoiding an obstacle. FIG. 11: The nominal or memorized trajectory is displayed. FIG. 12: Corrected trajectory is displayed.
FIG. 13: Muestra las direcciones principales de los gradientes de una zona de interés para el cálculo de descriptores. FIG. 13: Shows the main addresses of the gradients of an area of interest for the calculation of descriptors.
DESCRIPCIÓN DE UNA REALIZACIÓN PREFERIDA DESCRIPTION OF A PREFERRED EMBODIMENT
A continuación se expone un ejemplo de realización con referencia a las figuras. Este ejemplo tiene fines ilustrativos y no debe considerarse limitativo del alcance de la invención. El ejemplo de sistema de asistencia a la reproducción de trayectorias se puede activar y desactivar manualmente mediante un interfaz, por ejemplo una pantalla táctil. La desactivación puede ser ejecutada también de forma automática en determinadas circunstancias. Por ejemplo: detección de alguna avería, si el conductor presiona el pedal de freno, maniobra el volante o activa el freno de estacionamiento electromecánico. Se prevé que el rango de velocidades y aceleraciones sea limitado para evitar problemas tanto de seguridad como de confort. The following is an example of an embodiment with reference to the figures. This example is for illustrative purposes and should not be considered as limiting the scope of the invention. The example of a path assistance system can be activated and deactivated manually via an interface, for example a touch screen. Deactivation can also be executed automatically in certain circumstances. For example: detecting a fault, if the driver presses the brake pedal, maneuvers the steering wheel or activates the electromechanical parking brake. The range of speeds and accelerations is expected to be limited to avoid both safety and comfort problems.
Memorización de la posición inicial y posiciones en la trayectoria Con el vehículo parado, se analizan las características del entorno con el fin de poder determinar características distintivas de dicha posición como posición inicial de la trayectoria para constituir descriptores de la posición. Preferentemente, se basará en obtener referencias del entorno a través de un escáner láser o lidar 11 y de un sensor de imagen o cámara 12. En la figura 3 se pueden observar una posible secuencia de pasos para memorizar posiciones. Identificar (para posteriormente situar) el vehículo en la posición inicial es muy importante puesto que la información suministrada por la unidad de navegación inercial (INS) permite únicamente conocer la posición relativa de un cuerpo a partir de valores de la aceleración lineal y la velocidad angular medidas por acelerómetros y giroscopios respectivamente. Con la INS se obtienen las medidas para la navegación en forma de coordenadas relativas, es decir, respecto la posición anterior. Se destaca que se produce un error acumulativo al obtener datos que carecen de referencias absolutas. En general, tanto en la posición inicial como en posiciones durante la trayectoria, para obtener los descriptores de una posición se ha de procesar la imagen obtenida por la cámara 12 e identificar bordes verticales (esquinas, aristas, lados, etc.) mayores que un umbral (p.e. 100 píxeles) mediante un procesador 10. Se ha comprobado que estos elementos tienen más opciones de ser referencias características e invariantes frente a cambios de luminosidad, translación, escala... Estos bordes se pueden identificar mediante técnicas de detección de bordes entre las que cabe citar Sobel, Roberts, Prewitt, Frei-Chen o Canny. Sobre ellos se realizan medidas con el sensor láser para recoger la distancia relativa. En el caso de la posición inicial, se ha de llevar a cabo adicionalmente una detección de puntos invariantes que apenas cambien en el entorno. Al elegir puntos invariantes que pertenezcan a bordes se consigue mayor fiabilidad. Existen varias técnicas que permiten obtener los resultados deseados. Entre ellas destacan SIFT, detector de esquinas Shi-Tomasi o detector de esquinas de Harris. Así se logra la transformación de la información existente en una imagen y se obtienen coordenadas invariantes frente a cambios de escala, orientación, cambios de iluminación, translaciones y rotaciones. Con ello se cumple la exigencia de identificar exactamente la posición inicial. También para el caso de establecimiento de la posición inicial es recomendable emplear al menos 2 referencias diferentes para ubicar al vehículo posteriormente para la reproducción de la trayectoria memorizada. Como se ha mencionado, la posición inicial es desde donde se han de repetir las maniobras memorizadas cuando haya que reproducir la trayectoria en un futuro. Por seguridad, puede ser recomendable que adicionalmente el usuario decida si tales referencias son correctas o no teniendo en cuenta los objetos del entorno a los representan. Por ejemplo, si algunas características hacen se refieren a elementos móviles o cambiantes (automóviles, personas, vegetales…) el usuario decidirá que tales referencias no son satisfactorias. Una interfaz 18 puede servir para esta función de validación. El grado de exigencia durante la memorización de puntos no-iniciales de la trayectoria es menor. No hay validación del usuario cuando el vehículo está en movimiento memorizando la trayectoria. No es necesaria la identificación de puntos invariantes durante la captación de la trayectoria. La identificación de dichos puntos invariantes habría de hacerse en tiempo real lo cual complicaría excesivamente los requisitos de capacidad de proceso necesarios para su implementación. En suma, basta que durante la duración de la trayectoria, se capten bordes y se midan distancias relativas con ellos a intervalos de tiempo. Memorization of the initial position and positions in the trajectory With the vehicle stopped, the characteristics of the environment are analyzed in order to determine distinctive characteristics of said position as the initial position of the trajectory to constitute position descriptors. Preferably, it will be based on obtaining references of the environment through a laser scanner or lidar 11 and an image sensor or camera 12. In Figure 3 a possible sequence of steps for memorizing positions can be observed. Identifying (to later place) the vehicle in the initial position is very important since the information provided by the inertial navigation unit (INS) allows only knowing the relative position of a body from linear acceleration and angular velocity values measured by accelerometers and gyros respectively. With the INS, the measurements for navigation are obtained in the form of relative coordinates, that is, with respect to the previous position. It is noted that a cumulative error occurs when obtaining data that lacks absolute references. In general, both in the initial position and in positions during the trajectory, to obtain the descriptors of a position, the image obtained by the camera 12 must be processed and vertical edges (corners, edges, sides, etc.) greater than one threshold (eg 100 pixels) through a processor 10. It has been proven that these elements have more options to be characteristic and invariant references to changes in brightness, translation, scale ... These edges can be identified by edge detection techniques between which are worth mentioning Sobel, Roberts, Prewitt, Frei-Chen or Canny. On them measurements are made with the laser sensor to collect the relative distance. In the case of the initial position, a detection of invariant points that hardly change in the environment must be carried out additionally. By choosing invariant points that belong to edges, greater reliability is achieved. There are several techniques that allow to obtain the desired results. These include SIFT, Shi-Tomasi corner detector or Harris corner detector. Thus, the transformation of the existing information into an image is achieved and invariant coordinates are obtained against changes in scale, orientation, lighting changes, translations and rotations. This meets the requirement to identify exactly the initial position. Also in the case of establishing the initial position it is advisable to use at least 2 different references to locate the vehicle later for the reproduction of the memorized trajectory. As mentioned, the initial position is where the memorized maneuvers are to be repeated when the trajectory has to be reproduced in the future. For security, it may be advisable that the user additionally decides whether such references are correct or not taking into account the objects in the environment they represent. For example, if some features do refer to mobile or changing elements (cars, people, vegetables ...) the user will decide that such references are not satisfactory. An interface 18 can serve this validation function. The degree of requirement during the memorization of non-initial points of the trajectory is lower. There is no user validation when the vehicle is moving memorizing the trajectory. It is not necessary to identify invariant points during trajectory capture. The identification of these invariant points would have to be done in real time which would excessively complicate the process capacity requirements necessary for their implementation. In sum, it is enough that during the duration of the trajectory, edges are captured and relative distances are measured with them at time intervals.
Como elemento común, tanto en el posicionamiento inicial como en la corrección de las sucesivas posiciones de la trayectoria se requerirá como mínimo de dos elementos característicos de la imagen para realizar un exacto posicionado del vehículo respecto el entorno. En consecuencia, se requerirán como mínimo de dos descriptores de cada posición. Cada descriptor de la trayectoria contiene información visual del borde vertical detectado y su posición relativa. Se puede incluir opcionalmente una correspondencia lineal entre el campo de visión horizontal del sensor láser 11 y el campo de visión horizontal de la cámara 12 mediante un paralelismo entre los ejes longitudinales de ambos. Este punto es ventajoso para omitir la inclinación de la calzada en el cálculo de distancia de separación a ejes verticales y distancia a recorrer por el vehículo. Se calculan las distancias en el plano por el que se mueve el vehículo obteniendo así estimaciones de movimiento más sencillas. La fusión del mapa 2D láser y las imágenes visuales se inicia con la definición de la región de interés de las imágenes, donde los objetos detectados por el láser 11 son representados en el mapa 2D. Se implementa una fusión de datos basada en la correspondencia lineal entre el campo de visión horizontal del sensor láser 11 y el campo de visión horizontal del sensor de visión 12 o cámara. En consecuencia, el plano 2D que representa el ángulo-distancia del entorno capturado por el sensor láser 11, se corresponderá linealmente a los X píxeles de anchura de la imagen visual. Si los resultados de la fusión son satisfactorios, se almacenan en una memoria 30 los descriptores con las características (posición y orientación) de los ejes elegidos como representativos de esta imagen. Esta información será consultada por el procesador 10 para realizar el posicionamiento en la reproducción de la trayectoria posterior. Conjuntamente, se puede recoger mediante tres giroscopios 14 y tres acelerómetros 15, información espacial relativa a los sucesivos puntos de la trayectoria para su mejor caracterización. También se puede incorporar información con un sensor de velocidad lineal 16 y angular 17. Durante la memorización de la trayectoria, adicionalmente, se puede medir la distancia lateral del vehículo a eventuales a obstáculos mediante un sensor de ultrasonidos 13 de forma similar a cómo se hace con sensores láser 11. El alcance de un sensor de ultrasonidos 13 es del orden de varios metros, alrededor de 2 metros para mantener una buena exactitud en la medición. Generalmente, los vehículos que disponen de una unidad de navegación inercial (INS) pueden realizar estas mediciones. Las principales ventajas que presenta un INS respecto a otros sistemas de navegación son la precisión, frecuencia de obtención de datos y cobertura. La obtención de mediciones en coordenadas relativas no presenta un problema debido a que la necesidad es reproducir una trayectoria a partir de la posición inicial, independientemente de su ubicación absoluta. De igual modo, una incorrecta instalación de los aparatos de medida en el vehículo, aún aportando medidas incorrectas, no afectan al correcto funcionamiento puesto que tanto la medición como la reproducción se realizarán con el mismo error. En la figura 1 se puede ver un ejemplo donde se ilustra la ubicación de algunos de los sensores empleados en el propio vehículo. Como principal desventaja a tener en cuenta de los INS para un correcto funcionamiento, está el error acumulativo ya mencionado. Con el fin de que el sistema no se vea afectado notablemente se utiliza el proceso descrito anteriormente que se basa en obtener referencias durante el trayecto para poder parametrizar y corregir dicho error. En ausencia de dichos puntos de referencia se impondrá como condición esencial la reproducción de trayectos de corta o media distancia. De este modo el error acumulativo no va a resultar un valor significativo que imposibilite la satisfactoria reproducción de la trayectoria memorizada. As a common element, both the initial positioning and the correction of the successive positions of the trajectory will require at least two characteristic elements of the image to make an exact positioning of the vehicle with respect to the environment. Consequently, at least two descriptors of each position will be required. Each path descriptor contains visual information of the detected vertical edge and its relative position. A linear correspondence between the horizontal field of view of the laser sensor 11 and the horizontal field of view of the chamber 12 can optionally be included by a parallel between the longitudinal axes of both. This point is advantageous to omit the inclination of the road in the calculation of separation distance to vertical axes and distance to be traveled by the vehicle. The distances in the plane through which the vehicle moves are calculated, thus obtaining simpler movement estimates. The fusion of the 2D laser map and visual images begins with the definition of the region of interest of the images, where the objects detected by the laser 11 are represented on the 2D map. Data fusion based on the linear correspondence between the horizontal field of view of the laser sensor 11 and the horizontal field of view of the vision sensor 12 or camera is implemented. Consequently, the 2D plane representing the angle-distance of the environment captured by the laser sensor 11, will correspond linearly to the X pixels wide of the visual image. If the results of the fusion are satisfactory, the descriptors with the characteristics (position and orientation) of the axes chosen as representative of this image are stored in a memory 30. This information will be consulted by the processor 10 to perform the positioning in the reproduction of the posterior path. Together, it can be collected by means of three gyroscopes 14 and three accelerometers 15, spatial information relative to the successive points of the path for better characterization. Information can also be incorporated with a linear speed sensor 16 and angular 17. During the path memorization, additionally, the lateral distance of the vehicle to possible obstacles can be measured by an ultrasonic sensor 13 similar to how it is done with laser sensors 11. The scope of an ultrasonic sensor 13 is of the order of several meters, about 2 meters to maintain good measurement accuracy. Generally, vehicles that have an inertial navigation unit (INS) can perform these measurements. The main advantages of an INS compared to other navigation systems are the accuracy, frequency of data collection and coverage. Obtaining measurements in relative coordinates does not present a problem because the need is to reproduce a trajectory from the initial position, regardless of its absolute location. In the same way, an incorrect installation of the measuring devices in the vehicle, even providing incorrect measurements, does not affect the correct operation since both the measurement and the reproduction will be carried out with the same error. In figure 1 you can see an example where the location of some of the sensors used in the vehicle itself is illustrated. As the main disadvantage to take into account the INS for proper operation, is the cumulative error already mentioned. In order that the system is not significantly affected, the process described above is used, which is based on obtaining references during the journey to be able to parameterize and correct said error. In the absence of such reference points, reproduction of short or medium distance paths will be imposed as an essential condition. In this way, the cumulative error will not be a significant value that prevents the satisfactory reproduction of the memorized trajectory.
Reproducción de la trayectoria memorizada Una vez la trayectoria ha sido memorizada, las condiciones para que pueda ser repetida sin la asistencia del conductor vienen fijadas en primera instancia por reconocer la posición inicial memorizada y validar que el vehículo está situado sobre dicha posición con poca desviación. A continuación, se podrán reproducir las maniobras realizadas por el vehículo cuando se memorizó dicha trayectoria. La comparación de la posición actual frente a la posición memorizada es por tanto muy importante. Para ello, se ha de recuperar el descriptor memorizado en la memoria 30 correspondiente al punto de inicio de la trayectoria. A su vez, se ha de recoger una imagen actual del entorno del vehículo mediante la cámara 12. Se debe procesar con el procesador 10 dicha imagen para identificar los bordes verticales que cumplan con las condiciones exigidas (p.e. ser mayor que un umbral) y a continuación establecer dichos bordes verticales como referencias actuales. Una vez establecidas, con el sensor láser 11 se mide la posición relativa de cada borde vertical respecto del vehículo y se pueden generar los descriptores actuales con información visual de cada borde vertical detectado y su posición relativa medida. La comparación se efectúa entre dichos descriptores actuales con los descriptores del punto de inicio de la trayectoria. Así se puede confirmar si la posición actual es la correcta para iniciar la reproducción de la maniobra. En caso de no serlo, se pueden realizar las correcciones necesarias para ajustar la posición inicial actual a la memorizada y con ello que las sucesivas maniobras que conlleva trazar la trayectoria memorizada puedan ser efectuadas con precisión, comparando la distancia relativa actual y memorizada. En la figuras 4 y 5 se pueden ver una posible secuencia de pasos para el proceso de reproducción de una trayectoria memorizada. Cuando se estima que la posición inicial actual es válida para comenzar la reproducción de la trayectoria, el procesador 10 a través de un controlador 20 ordenará a los diferentes actuadores que lleven a cabo las maniobras necesarias. Es por tanto necesario que exista comunicación con los actuadores encargados de la admisión del combustible 21, sobre el freno 22, sobre el freno de estacionamiento 23 y, por supuesto, sobre la dirección 24. Simultáneamente, el sensor de ultrasonidos 13 puede permanecer activado para avisar de posibles obstáculos a una distancia menor predefinida. En presencia de un obstáculo, se puede interrumpir durante un intervalo de tiempo predefinido el movimiento asociado al desplazamiento hasta el punto siguiente de la trayectoria memorizada. Con ello se evita abortar la maniobra en caso de que el obstáculo sea temporal (p.e. un viandante cruzando). Se estima que un intervalo de espera apropiado sea menor de 1 minuto, preferiblemente de 20 s. En caso contrario, si se mantiene la presencia del obstáculo transcurrido el intervalo de tiempo predefinido, el sensor láser 11 mide la posición relativa del obstáculo respecto del vehículo y se estima su ancho y profundidad para calcular la viabilidad de sortearlo en función de sucesivos desplazamientos relativos de la trayectoria, de la distancia mínima del vehículo a obstáculos dispuestos en la trayectoria nominal y del espacio lateral disponible mínimo obtenido por los sensores laterales de ultrasonido 13. Posteriormente, se tratará este caso concreto. Reproduction of the memorized trajectory Once the trajectory has been memorized, the conditions so that it can be repeated without the driver's assistance are set in the first instance by recognizing the memorized initial position and validating that the vehicle is located on said position with little deviation. Then, the maneuvers performed by the vehicle can be reproduced when said trajectory was memorized. The comparison of the current position against the memorized position is therefore very important. To do this, the descriptor stored in memory 30 corresponding to the starting point of the path must be retrieved. In turn, a current image of the environment of the vehicle must be collected by the camera 12. The image must be processed with the processor 10 to identify the vertical edges that meet the required conditions (eg be greater than a threshold) and then establish these vertical borders as current references. Once established, with the laser sensor 11 the relative position of each vertical edge with respect to the vehicle is measured and the current descriptors can be generated with visual information of each detected vertical edge and its measured relative position. The comparison is made between said current descriptors with the descriptors of the starting point of the trajectory. This can confirm whether the current position is correct to start the maneuver's reproduction. If this is not the case, the necessary corrections can be made to adjust the current initial position to the one memorized and with it that the successive maneuvers that entail tracing the memorized trajectory can be carried out with precision, comparing the current and memorized relative distance. Figures 4 and 5 show a possible sequence of steps for the process of reproducing a memorized path. When it is estimated that the current initial position is valid to begin the reproduction of the path, the processor 10 through a controller 20 will order the different actuators to carry out the necessary maneuvers. It is therefore necessary that there is communication with the actuators responsible for the admission of the fuel 21, on the brake 22, on the parking brake 23 and, of course, on the direction 24. Simultaneously, the ultrasonic sensor 13 can remain activated for warn of possible obstacles at a predefined lower distance. In the presence of an obstacle, the movement associated with the movement to the next point of the memorized path can be interrupted for a predefined period of time. This avoids aborting the maneuver in case the obstacle is temporary (e.g. a pedestrian crossing). It is estimated that an appropriate waiting interval is less than 1 minute, preferably 20 s. Otherwise, if the presence of the obstacle is maintained after the predefined time interval, the laser sensor 11 measures the relative position of the obstacle with respect to the vehicle and its width and depth are estimated to calculate the feasibility of circumventing it based on successive relative displacements. of the trajectory, of the minimum distance of the vehicle to obstacles arranged in the nominal trajectory and of the minimum available lateral space obtained by the lateral ultrasound sensors 13. Subsequently, this specific case will be treated.
Descripción matemática La definición de la posición del vehículo en cada actualización de datos es necesaria para la trazar la trayectoria y para realizar rectificaciones en la misma. Mediante un vector de estado se define la posición del vehículo. Se pueden distinguir dos partes, el vector de estado estimado del vehículo y la definición de las marcas del entorno. En esta descripción se incluye: Mathematical description The definition of the position of the vehicle in each data update is necessary to plot the trajectory and to make corrections in it. The position of the vehicle is defined by means of a status vector. Two parts can be distinguished, the estimated state vector of the vehicle and the definition of the environment marks. This description includes:
-Posición del vehículo respecto la posición anterior, Xveh -Orientación del vehículo respecto la posición anterior, Ωveh -Velocidad lineal del vehículo en el centro del eje posterior, Vveh -Velocidad angular del vehículo, ωveh - Position of the vehicle with respect to the previous position, Xveh - Orientation of the vehicle with respect to the previous position, Ωveh - Linear speed of the vehicle in the center of the rear axle, Vveh - Angular speed of the vehicle, ωveh
5 De los anteriores parámetros que definen la cinemática instantánea del vehículo, la variación de las velocidades angulares son obtenidas directamente de una unidad de medición inercial, por ejemplo de giroscopios 13. La obtención de la velocidad lineal (V) del vehículo también es inmediata a través de los sensores de giro de las ruedas o sensores de velocidad angular 17. 5 Of the previous parameters that define the instantaneous kinematics of the vehicle, the variation of the angular speeds are obtained directly from an inertial measurement unit, for example of gyroscopes 13. The obtaining of the linear speed (V) of the vehicle is also immediate to through wheel rotation sensors or angular velocity sensors 17.
10 Los parámetros cinemáticos se obtienen de: 10 The kinematic parameters are obtained from:
Se desprende que con las integraciones planteadas se está obteniendo la variación de It follows that with the proposed integrations the variation of
15 posición y de ángulo respecto la posición inmediatamente anterior. Para la reproducción en condiciones normales de la trayectoria nominal estos valores son suficientes. En cambio, para realizar rectificaciones será imprescindible conocer estos valores a nivel global, es decir, poder caracterizar cada posición independientemente de las 15 position and angle to the immediately previous position. For reproduction under normal conditions of the nominal path these values are sufficient. On the other hand, to make rectifications it will be essential to know these values globally, that is, to be able to characterize each position independently of the
20 posiciones anteriores. Este posicionamiento en cada actualización de datos "i" se realizará en función de la posición inicial del vehículo. De este modo: 20 previous positions. This positioning in each data update "i" will be carried out depending on the initial position of the vehicle. In this way:
25 En segundo lugar se definen aquellos parámetros que van a permitir la búsqueda de correspondencias entre elementos característicos de una imagen que también deben 25 Secondly, those parameters that will allow the search of correspondences between characteristic elements of an image that must also be defined are defined
ser memorizados. Estos elementos van a ser utilizados como referencias de la trayectoria nominal. A modo de resumen, el descriptor de un punto característico de la posición inicial nominal comprende como mínimo la siguiente información: be memorized These elements will be used as references of the nominal trajectory. As a summary, the descriptor of a characteristic point of the nominal initial position comprises at least the following information:
- • •
- Localización en la imagen del punto de interés Location in the image of the point of interest
- • •
- Orientaciones principales de la región estudiada Main orientations of the region studied
- • •
- Distancia al eje vertical Distance to vertical axis
- • •
- Orientación al eje vertical Vertical axis orientation
Además, el descriptor de un eje característico de una posición cualquiera de la trayectoria nominal comprende como mínimo la siguiente información: In addition, the descriptor of a characteristic axis of any position of the nominal path comprises at least the following information:
- • •
- Posición horizontal media de un eje vertical en la imagen Average horizontal position of a vertical axis in the image
- • •
- Distancia al eje vertical Distance to vertical axis
• Orientación al eje vertical Distancia y orientación al eje vertical se obtienen directamente del escáner láser (encargado de conocer la posición relativa de las marcas). Debido al despreciable campo de visión vertical, a la apariencia de los ejes verticales y la idéntica orientación vertical entre vehículo y láser, se desprecia el ángulo de orientación de las marcas en esta dirección (θz → 0). Por lo tanto, en esta definición se supone válido trabajar en un plano 2D. Por razones de comodidad de los ocupantes y también para garantizar el funcionamiento, se ha de establecer una velocidad máxima que permita tanto la adquisición correcta de datos y su procesado completo, como el confort de los ocupantes. Igualmente se ha de establecer una aceleración máxima. Preferentemente, el valor de aceleración máxima es 0.2 g; el valor de frenada de trayecto es -0.2 g; el valor de frenada de emergencia es -0.5 g, donde g es la aceleración de la gravedad. Respecto de la velocidad, es recomendable que sea la mínima de las velocidades siguientes: • Vertical axis orientation Distance and vertical axis orientation are obtained directly from the laser scanner (responsible for knowing the relative position of the marks). Due to the negligible vertical field of view, the appearance of the vertical axes and the identical vertical orientation between the vehicle and the laser, the orientation angle of the marks in this direction is disregarded (θz → 0). Therefore, in this definition it is assumed valid to work in a 2D plane. For reasons of comfort of the occupants and also to guarantee the operation, a maximum speed must be established that allows both the correct acquisition of data and its complete processing, as well as the comfort of the occupants. Likewise, a maximum acceleration must be established. Preferably, the maximum acceleration value is 0.2 g; the path braking value is -0.2 g; The emergency braking value is -0.5 g, where g is the acceleration of gravity. Regarding the speed, it is recommended that it be the minimum of the following speeds:
Durante la memorización de la trayectoria, también se graba la velocidad instantánea del vehículo para cada posición. Se puede establecer como primera premisa que la velocidad del vehículo en la reproducción de una trayectoria sea inferior a la velocidad del vehículo conducido durante la etapa de grabación. During the memorization of the trajectory, the instantaneous vehicle speed for each position is also recorded. It can be established as the first premise that the speed of the vehicle in the reproduction of a trajectory is lower than the speed of the vehicle driven during the recording stage.
Con el fin de realizar una correcta percepción del entorno, algunos sensores especifican un rango de trabajo óptimo en función de la velocidad absoluta del vehículo. A velocidades mayores que las especificadas, los fabricantes no garantizan la correcta percepción ni el correcto funcionamiento de los aparatos de medida, por lo que se deberá fijar una velocidad máxima de funcionamiento. Otro parámetro a tener en cuenta es la distancia recorrida por el vehículo durante una frenada. Se debe garantizar que, ante la percepción y detección de un obstáculo en la trayectoria a memorizar, se ha de detener el vehículo antes de una colisión realizando a lo sumo una frenada de emergencia. Por lo tanto, se deberá evaluar que la distancia de frenado sea notablemente menor que el alcance de los sensores integrados en el vehículo. Pueden existir otras situaciones donde se deba reducir la velocidad del vehículo con el fin de que la calidad de las medidas obtenidas por los dispositivos o sensores implementados sea la óptima. La inclinación de la trazada respecto al plano horizontal va a ser uno de los parámetros a tener en cuenta. Un desplazamiento con una pendiente destacable (como pueden ser rampas de un aparcamiento) puede llevar implícito cambios de rasante bruscos. Además, en descensos, puede significar un aumento de la distancia de frenado. Otra situación de incertidumbre puede provenir de la sinuosidad de la trayectoria. En curvas cerradas no se puede garantizar la inexistencia de obstáculos en la calzada puesto que la disposición del entorno puede limitar el campo de visión de los dispositivos de percepción. En resumen, se debe garantizar el frenado del vehículo en situaciones de incertidumbre como las presentadas anteriormente. In order to make a correct perception of the environment, some sensors specify an optimal working range depending on the absolute speed of the vehicle. At speeds greater than those specified, the manufacturers do not guarantee the correct perception or the correct functioning of the measuring devices, so a maximum operating speed must be set. Another parameter to consider is the distance traveled by the vehicle during braking. It must be ensured that, before the perception and detection of an obstacle in the path to be memorized, the vehicle must be stopped before a collision, at the most, performing an emergency braking. Therefore, it should be evaluated that the braking distance is significantly less than the range of the sensors integrated in the vehicle. There may be other situations where the vehicle speed must be reduced so that the quality of the measurements obtained by the devices or sensors implemented is optimal. The inclination of the plot with respect to the horizontal plane is going to be one of the parameters to take into account. A displacement with a remarkable slope (such as parking ramps) can imply sudden changes in grade. In addition, in descents, it can mean an increase in braking distance. Another situation of uncertainty may come from the sinuosity of the trajectory. In sharp curves the absence of obstacles on the road cannot be guaranteed since the arrangement of the environment can limit the field of vision of the perception devices. In summary, vehicle braking must be guaranteed in situations of uncertainty such as those presented above.
Generación de la trayectoria alternativa Se describe una realización para el cálculo y la ejecución de la trayectoria alternativa. 1) Ante la detección de un obstáculo que imposibilita el avance a lo largo de la trayectoria nominal, se ordena detener el vehículo. Dependiendo de la distancia al obstáculo, se decelera el vehículo con una frenada de confort (-0,2g) o una frenada de emergencia (-0,5g). 2) Una vez el vehículo se encuentra inmovilizado y con el freno de estacionamiento accionado, es recomendable no realizar ninguna acción durante un tiempo. Este hecho se debe a que, en ciertas situaciones, el obstáculo puede apartarse de la trayectoria (otro coche circulando, una persona andando, un objeto que alguien ha retirado, etc.). El tiempo de espera se fija preferiblemente en 20 segundos. Una vez superado este tiempo, si el obstáculo permanece, se parametriza mediante los valores obtenidos por los escáneres láser. Se eligen como puntos característicos del obstáculo los de mayor ángulo, puesto que serán los que marcarán una primera aproximación del espacio ocupado por éste. De esta simplificación se obtienen, como máximo, 2 valores (distancia, ángulo). Así el lidar 11, mide el extremo izquierdo obstáculo: [dobsi; βobsi]; y extremo derecho del obstáculo: [dobs; βobsd]. Generation of the alternative path An embodiment for the calculation and execution of the alternative path is described. 1) Upon detection of an obstacle that prevents progress along the nominal path, the vehicle is ordered to stop. Depending on the distance to the obstacle, the vehicle is decelerated with a comfort braking (-0.2g) or an emergency braking (-0.5g). 2) Once the vehicle is immobilized and with the parking brake applied, it is advisable not to take any action for a while. This is due to the fact that, in certain situations, the obstacle may deviate from the trajectory (another car driving, a person walking, an object that someone has removed, etc.). The waiting time is preferably set at 20 seconds. Once this time has elapsed, if the obstacle remains, it is parameterized using the values obtained by the laser scanners. The characteristic points of the obstacle are the ones with the greatest angle, since they will be the ones that will mark a first approximation of the space occupied by it. A maximum of 2 values (distance, angle) are obtained from this simplification. Thus, lidar 11 measures the left extreme obstacle: [dobsi; βobsi]; and right end of the obstacle: [dobs; βobsd].
3) Una vez conocida la posición de los extremos (en el campo de visión horizontal del escáner), se valora si es factible la rectificación en función de: 3) Once the position of the ends is known (in the horizontal field of view of the scanner), it is assessed whether rectification is feasible based on:
- • •
- La evolución de la trayectoria nominal, es decir, dirección hacia la que evoluciona la trayectoria una vez superado el obstáculo. The evolution of the nominal trajectory, that is, the direction in which the trajectory evolves once the obstacle has been overcome.
- • •
- La anchura y estimación de profundidad del obstáculo (se propone considerar una profundidad de 2,6 veces la anchura total del obstáculo). The width and depth estimation of the obstacle (it is proposed to consider a depth of 2.6 times the total width of the obstacle).
- • •
- Espacio disponible de maniobrabilidad suficiente (obtenido por los sensores de ultrasonido laterales). Sufficient maneuverability available space (obtained by lateral ultrasound sensors).
- • •
- Dirección de la maniobra más factible (maniobra izquierda o derecha). Direction of the most feasible maneuver (left or right maneuver).
4) Si es factible la rectificación, elige la dirección sobre la que iniciar la rectificación y calcula la posición relativa del obstáculo: 4) If rectification is feasible, choose the direction on which to begin rectification and calculate the relative position of the obstacle:
5) Conocidos los parámetros que definen la ubicación del extremo del obstáculo, se determina la rectificación a ejecutar. Se puede determinar mediante un control cinemático, el cuál se basa en convertir la especificación de movimiento en una trayectoria analítica en el espacio. En concreto, se utiliza un control basado en curvas paramétricas. Estas curvas deben cumplir las restricciones de movimiento del vehículo. Como principal inconveniente, los pequeños errores cometidos durante la computación y reproducción de la curva se van acumulando. Con el fin de evitar o minimizar la posible desviación producida, se recalcula cada cierto tiempo la curva paramétrica a seguir. 5) Once the parameters that define the location of the end of the obstacle are known, the rectification to be executed is determined. It can be determined by a kinematic control, which is based on converting the movement specification into an analytical trajectory in space. Specifically, a control based on parametric curves is used. These curves must meet the vehicle's movement restrictions. As a main drawback, the small errors made during the computation and reproduction of the curve accumulate. In order to avoid or minimize the possible deviation produced, the parametric curve to be followed is recalculated from time to time.
Es importante tener en cuenta que de este proceso pueden resultar múltiples trayectorias posibles, así como la posibilidad de ausencia de una solución factible. 6) Debido a las características de chasis y ángulo de giro del volante, no todas las trayectorias calculadas a través de la ecuación y=f(x) van a poder ser ejecutadas por un vehículo cualquiera. Se debe conocer la/las curvas máximas que un vehículo en cuestión puede ejecutar y comparar si la ejecución de una curva es factible. 7) Si se analiza la causa principal que imposibilita la rectificación de una trayectoria (suponiendo que la superficie es plana, no existen cambios de rasante y la distancia lateral es suficiente), ésta es que la relación distancia de separación-longitud transversal del obstáculo es mayor a la asumible. Se plantea un desplazamiento previo de alejamiento marcha atrás donde se tendrá en cuenta: -vigilancia de colisión en la zona trasera -cálculo del espacio lateral disponible (sensores de ultrasonido laterales) -desviación respecto la trayectoria nominal -desplazamiento posterior en fases de 0,5 metros Finalizado el desplazamiento posterior, se valora la capacidad de rectificación analizando el espacio lateral disponible y obteniendo los parámetros (X0; Y0) del obstáculo. Se plantean cuatro posibles soluciones: a) La rectificación es factible y se inicia el movimiento. b) La rectificación no es factible por falta de espacio al obstáculo y se plantea la factibilidad de un nuevo desplazamiento posterior c) No es posible realizar el desplazamiento posterior y se aborta el proceso completo. 8) En la situación en que la rectificación es factible, se ejecuta la trayectoria calculada. Una vez finalizada, el vehículo se encuentra en paralelo al obstáculo o bien lo ha sobrepasado. En el caso de sobrepasarlo, se iniciaría el proceso de recuperación de la trayectoria nominal (descrito en los siguientes puntos). En caso contrario, el vehículo reproduce de forma aproximada la superficie lateral exterior del obstáculo gracias a los valores de distancia obtenidos por los sensores de ultrasonido 13 laterales y frontales. Al igual que en el caso anterior, una vez sobrepasado el obstáculo, se iniciará la recuperación de la trayectoria memorizada. En las figuras 7 y 9 se muestran la secuencia de procesos y tomas de decisiones ejecutadas en una rectificación. It is important to keep in mind that this process can result in multiple possible trajectories, as well as the possibility of the absence of a feasible solution. 6) Due to the chassis characteristics and steering angle, not all the paths calculated through the equation y = f (x) will be able to be executed by any vehicle. You should know the maximum curves that a vehicle in question can execute and compare if the execution of a curve is feasible. 7) If the main cause that makes it impossible to rectify a path is analyzed (assuming that the surface is flat, there are no changes in grade and the lateral distance is sufficient), this is that the distance-to-cross distance of the obstacle relationship is greater than acceptable. A previous displacement of reverse gear is proposed, where the following will be taken into account: - collision surveillance in the rear area - calculation of the available lateral space (lateral ultrasound sensors) - deviation from the nominal path - subsequent movement in phases of 0.5 meters After the subsequent movement, the rectification capacity is assessed by analyzing the available lateral space and obtaining the parameters (X0; Y0) of the obstacle. Four possible solutions are proposed: a) The rectification is feasible and the movement begins. b) The rectification is not feasible due to lack of space to the obstacle and the feasibility of a new subsequent displacement is raised c) It is not possible to carry out the subsequent displacement and the entire process is aborted. 8) In the situation where rectification is feasible, the calculated trajectory is executed. Once finished, the vehicle is parallel to the obstacle or has passed it. In the case of exceeding it, the process of recovering the nominal trajectory (described in the following points) would begin. Otherwise, the vehicle approximately reproduces the outer lateral surface of the obstacle thanks to the distance values obtained by the lateral and frontal ultrasound sensors 13. As in the previous case, once the obstacle has been overcome, recovery of the memorized trajectory will begin. Figures 7 and 9 show the sequence of processes and decision-making executed in a rectification.
Un ejemplo de curva paramétrica que podría ser utilizada para generar la trayectoria sobre una superficie plana que el vehículo va a seguir durante el proceso de rectificación es la siguiente: An example of a parametric curve that could be used to generate the trajectory on a flat surface that the vehicle will follow during the rectification process is the following:
donde X1 es el espacio recorrido por el vehículo durante la rectificación en la dirección del eje longitudinal [m] y Y1 es el espacio recorrido por el vehículo durante la rectificación en la dirección perpendicular al eje longitudinal [m]. El gráfico de la figura 10 muestra un ejemplo de la maniobra en cuestión (X1=3; Y1=2,3). Las principales características de este polinomio de quinto grado son: where X1 is the space traveled by the vehicle during rectification in the direction of the longitudinal axis [m] and Y1 is the space traveled by the vehicle during rectification in the direction perpendicular to the longitudinal axis [m]. The graph in Figure 10 shows an example of the maneuver in question (X1 = 3; Y1 = 2.3). The main features of this fifth grade polynomial are:
- • •
- Describe la trayectoria del centro de masas del vehículo. Describe the trajectory of the center of mass of the vehicle.
- • •
- Inicio y final de la trayectoria con el vehículo orientado hacia su eje longitudinal. Start and end of the trajectory with the vehicle oriented towards its longitudinal axis.
- • •
- Variación progresiva del ángulo de giro del volante posibilitando un control continuo y uniforme de la velocidad. De este modo se evitarán detenciones del vehículo. Progressive variation of the steering wheel turning angle allowing continuous and uniform speed control. This will prevent vehicle stops.
Recuperación de la trayectoria nominal Una vez el vehículo ha rebasado el obstáculo, el sistema se propone retomar la trayectoria nominal. Ésta será una operación compleja y delicada puesto que el sistema no posee referencias a seguir, sino una trayectoria con la que conectar. Se plantea resolver el problema, a nivel conceptual, mediante un control cinemático parecido al planteado en la “generación de la trayectoria nominal”, el cual se basa en convertir la especificación de movimiento exigida por la “Módulo de conducción virtual”. En concreto, se utiliza un control basado en curvas paramétricas. Recovery of the nominal trajectory Once the vehicle has passed the obstacle, the system intends to resume the nominal trajectory. This will be a complex and delicate operation since the system does not have references to follow, but a trajectory with which to connect. It is proposed to solve the problem, at a conceptual level, by means of a kinematic control similar to that proposed in the “generation of the nominal trajectory”, which is based on converting the movement specification required by the “Virtual driving module”. Specifically, a control based on parametric curves is used.
La principal dificultad del presente proceso reside en crear un modelo cerrado que permita la recuperación de la trayectoria nominal ante un amplio abanico de situaciones y posibles puntos de destino. Se recuerda que se imponía la ejecución de las rectificaciones en superficies casi planas y sin cambios de rasante o baches destacables. Existen diversas formas de solucionar el citado problema. El primer conflicto se plantea a la hora de definir el punto destino de la trayectoria nominal. Se debe tener en cuenta que su ubicación respecto la posición actual del vehículo es impredecible, al igual que la orientación del vehículo en dicha posición. También se debe tener en cuenta que las características cinemáticas del vehículo no permiten la realización de cualquier tipo de curva. The main difficulty of this process lies in creating a closed model that allows the recovery of the nominal trajectory before a wide range of situations and possible destination points. It is recalled that the execution of the rectifications was imposed on almost flat surfaces and without changes of grade or notable potholes. There are several ways to solve the aforementioned problem. The first conflict arises when defining the target point of the nominal trajectory. It should be taken into account that its location with respect to the current position of the vehicle is unpredictable, as is the orientation of the vehicle in that position. It should also be taken into account that the kinematic characteristics of the vehicle do not allow the realization of any type of curve.
A continuación se presenta un posible modo de realización. El reto inicial aparece en elaborar un patrón que permita acotar la distancia longitudinal entre este punto y el vehículo, el cual sea suficiente para permitir la maniobrabilidad pero, a la vez, no excesivo. Las figuras 11 y 12 se pueden observar algunos parámetros a tener en cuenta. Una vez definida la distancia longitudinal se busca en la memoria 30 aquellos puntos de la trayectoria memorizada que se encuentran en una recta perpendicular a la orientación φr actual del vehículo a una distancia X1. En la figura 11 se representa la recta t, a una determinada distancia longitudinal, donde se encuentra el punto de la trayectoria nominal con el que se desea enlazar (Xfnom Yfnom). El punto obtenido será el punto destino donde se retomará la trayectoria nominal. Se recuperarán sus coordenadas (Xfnom Yfnom) y la orientación del vehículo (φfnom). Llegados a este punto se intuye que el problema reside en elaborar una curva paramétrica apta para la mayoría de los casos. Este conflicto se podría resolver por complejos modelos de control dinámico, por curvas de Béizer, curvas de Hemite, splines, combinación de curvas paramétricas. Un posible modo de realización sencillo sería conectar el punto actual con el punto destino tangentemente a su orientación con un arco de circunferencia y un polinomio de quinto grado. De este modo se pretende abarcar una gran multitud de puntos comprendidos a lo largo de la recta (t). Mediante el arco de circunferencia de radio definido se busca que el vehículo se oriente de modo que su eje longitudinal sea paralelo a la orientación del punto destino conocida (φfnom). Por otro lado, el uso del polinomio de quinto grado va a permitir que el vehículo alcance la posición destino con un control continuo e uniforme de la velocidad y la dirección. Se propone el mismo polinomio de quinto grado presentado anteriormente. En la figura 12 se puede observar la trayectoria planteada compuesta por dos curvas paramétricas, diferenciando la posición inicial (Xr0 Yr0), la posición intermedia resultado del giro de ángulo definicido (Xr1 Yr1) y la posición final (Xfnom Yfnom) la cual pertenece a la trayectoria nominal. A possible embodiment is presented below. The initial challenge appears in the development of a pattern that makes it possible to narrow the longitudinal distance between this point and the vehicle, which is sufficient to allow maneuverability but, at the same time, not excessive. Figures 11 and 12 show some parameters to take into account. Once the longitudinal distance is defined, the memory 30 searches for those points of the memorized path that are in a line perpendicular to the current orientation φr of the vehicle at a distance X1. Figure 11 shows the line t, at a certain longitudinal distance, where the point of the nominal trajectory with which it is desired to link (Xfnom Yfnom) is found. The point obtained will be the destination point where the nominal trajectory will resume. Its coordinates (Xfnom Yfnom) and vehicle orientation (φfnom) will be recovered. At this point it is intuited that the problem lies in developing a parametric curve suitable for most cases. This conflict could be resolved by complex dynamic control models, by Béizer curves, Hemite curves, splines, combination of parametric curves. A possible simple embodiment would be to connect the current point with the target point tangently to its orientation with an arc of circumference and a fifth degree polynomial. In this way, it is intended to cover a large multitude of points along the line (t). By means of the defined radius circumference arc, the vehicle is intended to be oriented so that its longitudinal axis is parallel to the orientation of the known destination point (φfnom). On the other hand, the use of the fifth degree polynomial will allow the vehicle to reach the target position with continuous and uniform control of speed and direction. The same fifth grade polynomial presented above is proposed. Figure 12 shows the raised trajectory composed of two parametric curves, differentiating the initial position (Xr0 Yr0), the intermediate position resulting from the defined angle rotation (Xr1 Yr1) and the final position (Xfnom Yfnom) which belongs to The nominal trajectory.
Procesado de imágenes Una vez identificados los puntos invariantes de una imagen comprendidos en un eje vertical de longitud mayor a un valor umbral se procede a obtener aquellas características que van a permitir identificarlo en futuras ocasiones. Image processing Once the invariant points of an image are identified, which are in a vertical axis of length greater than a threshold value, we proceed to obtain those characteristics that will allow us to identify it in future occasions.
Para ello se define una zona de estudio alrededor de cada punto característico (a modo de ejemplo un matriz de 8x8 píxeles). Una vez definida esta región se calcula el gradiente de cada píxel (vector) el cual comprende un módulo y una orientación. El siguiente paso consiste en realizar una ponderación de las orientaciones de los gradientes según su módulo con el fin de obtener una o varias orientaciones principales de la región. La imagen figura 13 muestra una matriz 4x4 que engloba las direcciones principales comprendidas. Se puede obtener el descriptor visual mediante cálculo del gradiente de un punto característico. La información memorizada de este descriptor visual será: -Localización en la imagen del píxel (punto de interés). -Orientaciones principales de la región estudiada. La razón de memorizar la localización del píxel en la imagen reside en que el coste computacional de las comparaciones podría llegar a ser muy elevado si no se fijan restricciones. Por lo tanto, si sabemos que ciertas zonas de una imagen A deben aparecer en una zona similar en la imagen B, se centra la búsqueda en una determinada zona. Para calcular el grado de similitud entre dos descriptores visuales (conjunto de elementos que indican las orientaciones más importantes alrededor de un punto de interés) existen diversas alternativas. Realizando una serie de operaciones entre el descriptor visual de la imagen A con cada uno de la imagen B se conocerá cuáles son correspondientes con mayor probabilidad. Llegados a este punto se ha memorizado la información necesaria para poder identificar dicho punto en una imagen en futuras fases de posicionamiento inicial. Ahora bien, para que esta fase resulte satisfactoria será necesario consultar los datos de posición relativa aportados por el escáner láser 11. Los datos de posicionamiento memorizados serán: -Distancia al eje vertical. -Orientación relativa del eje respecto al eje longitudinal del dispositivo. A modo de resumen, el descriptor de un punto característico de la posición inicial nominal comprende como mínimo la siguiente información: -Localización en la imagen del punto de interés. -Orientaciones principales de la región estudiada. -Distancia al eje vertical. -Orientación al eje vertical. For this, a study area is defined around each characteristic point (as an example an 8x8 pixel matrix). Once this region is defined, the gradient of each pixel (vector) is calculated, which comprises a module and an orientation. The next step is to make a weighting of the orientations of the gradients according to their module in order to obtain one or several main orientations of the region. Figure 13 shows a 4x4 matrix that encompasses the main directions included. The visual descriptor can be obtained by calculating the gradient of a characteristic point. The information stored in this visual descriptor will be: -Location in the pixel image (point of interest). -Main orientations of the region studied. The reason for memorizing the location of the pixel in the image is that the computational cost of the comparisons could become very high if restrictions are not set. Therefore, if we know that certain areas of an image A must appear in a similar area in image B, the search is centered on a certain area. To calculate the degree of similarity between two visual descriptors (set of elements that indicate the most important orientations around a point of interest) there are several alternatives. Performing a series of operations between the visual descriptor of the image A with each of the image B will know which are most likely corresponding. At this point the necessary information has been memorized in order to identify this point in an image in future phases of initial positioning. However, for this phase to be satisfactory it will be necessary to consult the relative position data provided by the laser scanner 11. The stored positioning data will be: -Distance to the vertical axis. - Relative orientation of the axis with respect to the longitudinal axis of the device. As a summary, the descriptor of a characteristic point of the nominal initial position comprises at least the following information: -Location in the image of the point of interest. -Main orientations of the region studied. -Distance to vertical axis. - Orientation to the vertical axis.
La obtención de las características que definen un eje vertical y permiten su posterior identificación no es tan robusta como el de los puntos invariantes. La razón reside en su propia constitución, pues ni gradientes ni orientaciones tienen sentido. Un modo de realización es la memorización del gradiente definido en los puntos extremos de un borde vertical. No obstante, se descarta debido a la posible desfragmentación de los ejes y al coste computacional asociado. Se prefiere, por tanto, utilizar una definición menos robusta pero de coste computacional más bajo que consiste en memorizar la posición horizontal media del eje vertical en la imagen. Por sí sola, esta definición carecería de eficacia ante dos imágenes similares. Ahora bien, ante la singularidad que supone tratar con una sucesión de imágenes ordenadas de forma secuencial y conocer la zona aproximada donde debería ubicarse un eje vertical en la imagen, se podría obtener un comportamiento aceptable. Como es conocido, el proceso de asociación de puntos en líneas verticales acepta como válido rectas casi verticales. En este hecho reside la necesidad de calcular el valor horizontal medio de un eje vertical resultado de una calibración horizontal del dispositivo de visión. De modo simplificado: Obtaining the characteristics that define a vertical axis and allow its subsequent identification is not as robust as that of the invariant points. The reason lies in its own constitution, since neither gradients nor orientations make sense. One embodiment is the memorization of the gradient defined at the extreme points of a vertical edge. However, it is ruled out due to the possible defragmentation of the axes and the associated computational cost. Therefore, it is preferred to use a less robust definition but of lower computational cost, which consists in memorizing the average horizontal position of the vertical axis in the image. By itself, this definition would be ineffective for two similar images. However, given the uniqueness of dealing with a succession of sequentially arranged images and knowing the approximate area where a vertical axis should be located in the image, acceptable behavior could be obtained. As is known, the process of associating points on vertical lines accepts as valid almost vertical lines. In this fact lies the need to calculate the average horizontal value of a vertical axis resulting from a horizontal calibration of the vision device. In a simplified way:
∑ x ∑ x
x = i ∀ xi ∈ l x = i ∀ xi ∈ l
n n
Donde n son el número de píxeles evaluados y l un borde cualquiera. Como en el caso de los descriptores de puntos invariantes, para un correcto posicionado será necesario consultar los datos de posición relativa aportados por el escáner. A modo de resumen, el descriptor de un eje característico de una posición cualquiera de la trayectoria nominal comprende como mínimo la siguiente información: posición horizontal media de un eje vertical en la imagen, distancia al eje vertical y orientación al eje vertical. Where n is the number of pixels evaluated and l any border. As in the case of descriptors of invariant points, for a correct positioning it will be necessary to consult the relative position data provided by the scanner. As a summary, the descriptor of a characteristic axis of any position of the nominal path comprises at least the following information: average horizontal position of a vertical axis in the image, distance to the vertical axis and orientation to the vertical axis.
Claims (30)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201231022A ES2436845B1 (en) | 2012-06-29 | 2012-06-29 | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201231022A ES2436845B1 (en) | 2012-06-29 | 2012-06-29 | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| ES2436845A2 ES2436845A2 (en) | 2014-01-07 |
| ES2436845R1 ES2436845R1 (en) | 2014-04-09 |
| ES2436845B1 true ES2436845B1 (en) | 2014-11-14 |
Family
ID=49775817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201231022A Active ES2436845B1 (en) | 2012-06-29 | 2012-06-29 | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2436845B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015217486A1 (en) | 2015-09-14 | 2017-03-16 | Volkswagen Ag | Device and method for the automated driving of a motor vehicle |
| DE102016116861A1 (en) * | 2016-09-08 | 2018-03-08 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | System for the driverless operation of commercial vehicles |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101188588B1 (en) * | 2008-03-27 | 2012-10-08 | 주식회사 만도 | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method |
| EP2560150B1 (en) * | 2010-04-12 | 2015-05-20 | Toyota Jidosha Kabushiki Kaisha | Vehicle remote operation system and on-board device |
| JP5418673B2 (en) * | 2010-06-09 | 2014-02-19 | 日産自動車株式会社 | Parking mode selection device and method |
| DE102010043742A1 (en) * | 2010-11-11 | 2012-06-06 | Robert Bosch Gmbh | Method for selecting a parking space in the case of several parking spaces suitable for parking |
-
2012
- 2012-06-29 ES ES201231022A patent/ES2436845B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| ES2436845A2 (en) | 2014-01-07 |
| ES2436845R1 (en) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7082545B2 (en) | Information processing methods, information processing equipment and programs | |
| US10025317B2 (en) | Methods and systems for camera-based autonomous parking | |
| EP1072863B1 (en) | Image processing apparatus for navigation system | |
| KR101839554B1 (en) | A robust method for detecting traffic signals and their associated states | |
| KR101454153B1 (en) | Navigation system for unmanned ground vehicle by sensor fusion with virtual lane | |
| US20180293893A1 (en) | Vehicle and method for collision avoidance assistance | |
| CN108162974B (en) | Vehicle control using road angle data | |
| CN112189225B (en) | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method | |
| US10955857B2 (en) | Stationary camera localization | |
| CN107111879A (en) | Pass through the method and apparatus of panoramic looking-around Image estimation vehicle displacement | |
| US11874660B2 (en) | Redundant lateral velocity determination and use in secondary vehicle control systems | |
| CN110945578B (en) | Vehicle-mounted processing device | |
| ES2953679T3 (en) | Method of identifying points or lines of interest on a railway track | |
| US11527012B2 (en) | Vehicle pose determination | |
| JP5429986B2 (en) | Mobile robot remote environment recognition apparatus and method | |
| US20070268067A1 (en) | Method and Device for Acquiring a Position of a Motor Vehicle on a Road | |
| JP6834401B2 (en) | Self-position estimation method and self-position estimation device | |
| ES2436845B1 (en) | PROCEDURE TO MEMORIZE AND TO PLAY A CAREER CARRIED OUT BY A VEHICLE, AND SYSTEM THAT IMPLEMENTS IT. | |
| JP2018032253A (en) | Calibration device, calibration method, and calibration program | |
| JP6790951B2 (en) | Map information learning method and map information learning device | |
| US20210080264A1 (en) | Estimation device, estimation method, and computer program product | |
| CN105137468A (en) | Photoelectric type automobile continuous navigation data acquiring device and method in GPS blind area environment | |
| CN205049153U (en) | Sustainable navigation data collection system of vehicle under environment of photoelectric type GPS blind area | |
| US10775804B1 (en) | Optical array sensor for use with autonomous vehicle control systems | |
| EP4113063A1 (en) | Localization of autonomous vehicles using camera, gps, and imu |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2436845 Country of ref document: ES Kind code of ref document: B1 Effective date: 20141114 |