ES2861325T3 - Procedimiento para marcar patrones predeterminables en un conjunto de datos estructurados - Google Patents

Abstract

Procedimiento para marcar patrones predeterminables en un conjunto de datos estructurados que se almacena en un archivo de datos digitales (2) en un medio de almacenamiento, en el que se predetermina un criterio de patrón de búsqueda, en el que se dividen los datos en varias unidades de datos y cada unidad de datos del conjunto de datos se verifica según el criterio de patrón de búsqueda, y en el que se marca un patrón que cumple con el criterio de patrón de búsqueda, y en el que se genera un archivo de resultados (9) en base al conjunto de datos estructurados, en el que se almacena la información de referencia de la unidad de datos que hace referencia a las unidades de datos que coinciden con el criterio de patrón de búsqueda, caracterizado porque en el archivo de resultados (9) las unidades de datos que coinciden con el criterio de patrón de búsqueda se almacenan junto con la información de referencia de la unidad de datos, y porque, en base al archivo de resultados (9), un patrón que cumple con el criterio de patrón de búsqueda se marca al mostrarse el archivo de resultados (9) en un dispositivo de visualización y al marcarse e incrustarse los patrones encontrados en un área del conjunto de datos circundante, y porque el archivo de datos (2) se divide en varios bloques de procesamiento (4), en el que cada bloque de procesamiento (4) contiene varias unidades de datos, y para cada bloque de procesamiento (4) se genera un archivo de resultados parciales (7), en el que se procesan varios bloques de procesamiento (4) de forma simultánea y a continuación, los archivos de resultados parciales (7) forman el archivo de resultados (9).

Description

DESCRIPCIÓN

Procedimiento para marcar patrones predeterminadles en un conjunto de datos estructurados

La invención se refiere a un procedimiento para marcar patrones predeterminadles en un conjunto de datos estructurados que se almacena en un archivo de datos digitales en un medio de almacenamiento, en el que se predefine un criterio de patrón de búsqueda, en el que los datos se dividen en varias unidades de datos y cada unidad de datos se verifica según el criterio de patrón de búsqueda, en el que se marca un patrón de datos que cumple con el criterio de patrón de búsqueda, y en el que, en base al conjunto de datos estructurados, se genera un archivo de resultados, en el que se almacena la información de referencia de las unidades de datos, que hacen referencia a las unidades de datos que coinciden con el criterio de patrón de búsqueda.

Dicho procedimiento, con el que se puede buscar, marcar y en caso necesario mostrar patrones predeterminables en un conjunto de datos estructurados, se conoce en la práctica en una pluralidad de configuraciones y usos. La mayoría de los programas de procesamiento de texto ofrecen una función con la que se puede buscar un término de búsqueda y mostrarlo en un dispositivo de visualización. Para proporcionar información adicional a un usuario, es habitual mostrar no solo el término de búsqueda encontrado, sino también un área del conjunto de datos que rodea el término de búsqueda, de modo que el contexto se pueda inferir. Un conjunto de datos estructurados, o no está encriptado o está encriptado de modo que el patrón que se debe buscar haya sido dividido por la encriptación y distribuido en el conjunto de datos. En caso necesario, se debe descodificar primero el conjunto de datos para, a continuación, verificar el patrón que se busca.

Si el conjunto de datos que se debe buscar ya está dividido en varias unidades de datos que se pueden separar entre sí, por ejemplo, mediante separadores o mediante un tamaño de unidad fijo, el criterio de patrón de búsqueda se puede aplicar a las unidades de datos individuales por medio de un algoritmo de búsqueda adecuado. Mientras el conjunto de datos no se divida en varias unidades de datos, se puede llevar a cabo una etapa previa del procedimiento que divida el conjunto de datos en unidades de datos adecuadas para su procesamiento posterior y para la aplicación y verificación del criterio de patrón de búsqueda, en el que, por ejemplo, el tamaño de las unidades de datos se adapte al criterio de patrón de búsqueda.

Los requisitos del hardware adecuado para realizar dicho procedimiento aumentan con el tamaño creciente del conjunto de datos estructurados. Se pueden procesar en poco tiempo pequeñas cantidades de datos como, por ejemplo, textos en forma de páginas de Internet o libros digitalizados, mediante ordenadores convencionales o equipos móviles de procesamiento de datos.

Sin embargo, se ha demostrado que el procesamiento de grandes cantidades de datos, tal como, por ejemplo, una lista de códigos de programa o un archivo de registro de una comunicación de bus CAN, exigen al hardware requisitos considerables, necesarios para realizar el procedimiento descrito anteriormente. Grandes cantidades de datos, que contienen por ejemplo varios cientos de MB o varios GB de información, o ya no se pueden buscar ni procesar, o solo con un gran consumo en hardware y tiempo de procesamiento. Además, no es factible mostrar de forma sucesiva las áreas de los conjuntos de datos individuales que cumplen con el criterio de patrón de búsqueda en un dispositivo de visualización y suministrar un procesamiento posterior. Por lo tanto, en la actualidad es casi imposible, por ejemplo, encontrar secuencias de comandos individuales en una lista de códigos de programa extensa, o detectar errores en un archivo de registro de bus CAN.

El documento US 2009/248675 A1 describe un procedimiento con las etapas del procedimiento mencionado anteriormente. Varias unidades de datos de un conjunto de datos se buscan de acuerdo con criterios de patrón de búsqueda predeterminados. Los patrones de búsqueda encontrados se almacenan junto con una información de referencia de la unidad de datos en un archivo de resultados, el cual hace referencia a unidades de datos que coinciden con el criterio de patrón de búsqueda. El archivo de resultados contiene los patrones de búsqueda y las referencias respectivas a su ubicación en el conjunto de datos, de modo que, con la ayuda del archivo de resultados, las ubicaciones individuales encontradas en el conjunto de datos se puedan marcar y de ser necesario mostrar en el conjunto de datos.

Sin embargo, en el caso de grandes conjuntos de datos, tanto el conjunto de datos como el archivo de resultados deben estar de forma simultánea disponibles para poder, mediante la información del archivo de resultados, marcar, mostrar y evaluar las ubicaciones respectivas en el contexto del conjunto de datos.

Por lo tanto, se considera un objeto de la presente invención diseñar un procedimiento del tipo mencionado anteriormente, de modo que se puedan procesar grandes conjuntos de datos con el menor consumo posible en hardware y tiempo de procesamiento.

De acuerdo con la invención, este objeto se consigue mediante un procedimiento que presenta las características de la reivindicación 1. El archivo de resultados solo contiene una fracción del conjunto de datos estructurados del archivo de datos y además solo los datos que son relevantes para una evaluación adicional. En la mayoría de los casos de aplicación relevantes para la práctica, el tamaño del archivo de resultado es considerablemente menor que el tamaño del archivo de datos original que se debe procesar. A continuación, el archivo de resultados se puede buscar, verificar visualmente y seguir procesando de forma conocida de acuerdo con los patrones predeterminados. El archivo de datos original que se buscó ya no necesita estar disponible para una verificación visual adicional y su procesamiento posterior.

Al combinar las unidades de datos extraídas del conjunto de datos original con la información de referencia de la unidad de datos, se pueden transferir las informaciones relevantes al archivo de resultados para su evaluación posterior. Es lo que sucede, por ejemplo, para cada unidad de datos transferida al archivo de resultados cuya posición original se guarda en el archivo de datos, lo que permite, en el transcurso de una evaluación posterior del archivo de resultados, sacar conclusiones sobre el conjunto de datos estructurados y el archivo de datos original que se debe editar.

Al reducir el tamaño del archivo de resultados cuando se compara con el archivo de datos original, se pueden reducir grandes conjuntos de datos estructurados con tamaños de archivo originales de varios cientos de MB o varios GB a archivos de resultados pequeños y procesarlos con ordenadores convencionales en un tiempo razonablemente corto. De acuerdo con la invención, se prevé que el archivo de datos se divida en varios bloques de procesamiento y se genere un archivo de resultado parcial para cada bloque de procesamiento, y que los archivos de resultados parciales se combinen para formar el archivo de resultado. Un usuario puede especificar el tamaño de los bloques de procesamiento, o se puede determinar y establecer de forma automática. El tamaño de los bloques de procesamiento se puede adaptar, por ejemplo, a las restricciones o recomendaciones de hardware predeterminadas. Al dividir el archivo de datos en varios bloques de procesamiento, los conjuntos de datos estructurados también se pueden procesar con un tamaño de archivo mayor que los dispositivos de almacenamiento o de procesamiento disponibles en el hardware. Además, incluso con tamaños de archivo de datos que el hardware usado puede procesar, el tiempo requerido para realizar el procedimiento se puede reducir de manera considerable si se divide el archivo de datos en bloques de procesamiento individuales. En este caso, se procesan al mismo tiempo varios bloques de procesamiento y a continuación los archivos de resultados parciales se combinan para formar el archivo de resultados, lo que reduce aún más el tiempo de procesamiento.

Se prevé que el criterio de patrón de búsqueda presente varios componentes de patrones de búsqueda y que el criterio de patrón de búsqueda se cumpla cuando una unidad de datos contenga al menos un componente de patrón de búsqueda. Un componente de patrón de búsqueda puede ser, por ejemplo, un término o una secuencia de bits que se debe buscar. Al usar varios componentes de patrones de búsqueda en un criterio de patrón de búsqueda, incluso las consultas complejas se pueden crear y realizar de manera fácil y rápida. De igual modo, es posible formar el criterio de patrón de búsqueda a partir de varios componentes de patrones de búsqueda que se combinan entre sí mediante vínculos Y o vínculos O, o mediante una combinación de cualquier vínculo.

De igual modo, se prevé que el criterio de patrón de búsqueda presente varios componentes de patrones de búsqueda y que el criterio de patrón de búsqueda se cumpla cuando una unidad de datos contenga al menos un componente de patrón de búsqueda. De este modo, se pueden excluir contenidos o áreas del conjunto de datos estructurados del marcado de los patrones predefinidos y de una evaluación posterior.

De acuerdo con una configuración ventajosa de este concepto según la invención, se prevé que el criterio de patrón de búsqueda contenga información del patrón de búsqueda y se cumpla con el criterio de patrón de búsqueda cuando una comparación de la información de referencia de la unidad de datos con la información del patrón de búsqueda proporcione un valor de referencia informativo predeterminable. De este modo, la búsqueda del conjunto de datos estructurados se puede limitar, por ejemplo, a determinadas áreas espaciales, tal como, por ejemplo, las primeras 100.000 unidades de datos. De igual modo, es posible que la información de referencia de la unidad de datos, por ejemplo, un archivo de registro, contenga una marca temporal y, al especificar una información de patrón de búsqueda adecuada, el procesamiento del conjunto de datos estructurados se limite a un intervalo de tiempo predeterminado, que al parecer es de particular interés para la evaluación.

Para evitar, en caso necesario, el tener que recurrir a todo el conjunto de datos o al archivo de datos para la evaluación del conjunto de datos estructurados, se prevé que para cada unidad de datos del conjunto de datos que cumpla con el criterio de patrón de búsqueda, se determine su distancia con respecto a una unidad de datos adyacente que de igual modo cumpla con el criterio de patrón de búsqueda y se almacene la unidad de datos con una información de referencia de la distancia en el archivo de resultados. De este modo, la información adicional que, a menudo, es importante para la evaluación, tal como, por ejemplo, la distribución espacial o temporal o la acumulación de los patrones buscados en el conjunto de datos estructurados, se puede transferir al archivo de resultados.

Para reducir los requisitos de hardware y el tiempo de procesamiento requeridos para evaluar el archivo de resultados, se prevé que cuando las áreas de los conjuntos de datos que cumplen con el criterio de patrón de búsqueda se muestren en un dispositivo de visualización, aparezca una marca que caracterice la información de referencia de la distancia. Esta marca puede ser, por ejemplo, un valor numérico. De igual modo, es concebible que el patrón que se debe buscar o el área del conjunto de datos que contiene el patrón, que puede ser mayor que el patrón que se debe buscar, se muestre, por ejemplo, como texto en color sobre un fondo neutro o como texto en el color de fuente habitual sobre un fondo con un color de fondo llamativo, y el tono usado para la visualización en color caracterice la información de referencia de la distancia. De esta manera, se puede determinar de modo rápido y sin esfuerzo de evaluación adicional, en particular durante una inspección visual y revisión del archivo de resultados, qué distancia presenta el área del conjunto de datos actualmente mostrada con el patrón de búsqueda encontrado respecto a otros patrones de búsqueda de igual modo encontrados dentro del conjunto de datos estructurados.

Para poder buscar y procesar tantos datos de salida diferentes como sea posible de manera confiable y eficiente, se prevé que, en base al conjunto de datos estructurados, se genere un archivo de trabajo con un formato predeterminable de los datos en varias unidades de datos y que el archivo de resultado se genere a partir del archivo de trabajo. Al transferir cualquier dato de salida a un formato de datos uniforme, las etapas de procedimiento posteriores se pueden aplicar y realizar en el conjunto de datos estructurados sin modificaciones adicionales. Además, es posible trasferir los datos de salida a un formato que sea en particular adecuado para realizar el procedimiento y que favorezca una realización rápida del procedimiento.

En caso necesario, puede ser conveniente dividir el conjunto de datos estructurados en varios archivos de trabajo, en los que los archivos de trabajo individuales representen ya bloques de procesamiento que se puedan buscar de forma independiente entre sí y convertirse en archivos de resultados parciales.

En principio, es posible y ventajoso para algunas aplicaciones que el procedimiento se realice varias veces seguidas y el archivo de resultados de una primera ejecución del procedimiento se use como archivo de salida para una ejecución adicional del procedimiento.

A continuación, se explica con más detalle un ejemplo de realización representado en el dibujo. Muestra:

Fig. 1 una representación esquemática de los archivos usados y, en caso necesario, generados durante la realización del procedimiento, y

Fig. 2 un diagrama de flujo esquemático de un desarrollo ejemplar del procedimiento.

La Fig. 2 representa un desarrollo ejemplar del procedimiento en una primera etapa de procedimiento 1 en el que se transfiere un conjunto de datos estructurados a un archivo de datos 2 formateado de manera adecuada, el cual se muestra de manera esquemática en la Fig. 1. El archivo de datos 2 contiene, por ejemplo, 4 GB de información de datos digitales. La información de datos se agrupa en una gran cantidad de pequeñas unidades de datos, que están separadas entre sí mediante separadores. Cada una de las unidades de datos individuales representa entradas en un protocolo de bus CAN.

En una etapa posterior del procedimiento 3, el archivo de datos 2 se divide en varios bloques de procesamiento 4. Cada bloque de procesamiento 4 presenta un tamaño de archivo que se puede adaptar al hardware usado y que el hardware puede procesar de modo apropiado. El hardware puede ser, por ejemplo, un ordenador convencional o un ordenador portátil.

A continuación, en una etapa de procedimiento 5, los bloques de procesamiento individuales 4 se verifican según un criterio de patrón de búsqueda especificado por un usuario y se determinan todas las unidades de datos dentro de un bloque de procesamiento 4 que cumplan con el criterio de patrón de búsqueda. El criterio de patrón de búsqueda puede contener, por ejemplo, varios términos o términos parciales, en los que el criterio de patrón de búsqueda se cumpla desde que se encuentre solo un término o término parcial en la unidad de datos. El criterio de patrón de búsqueda también puede contener términos que no deben aparecer en la unidad de datos, para cumplir con el criterio de patrón de búsqueda. Un criterio de patrón de búsqueda complejo puede contener varios términos que deben estar contenidos en la unidad de datos, ya sea solos o junto con otros términos, o pueden no aparecer para cumplir con el criterio de patrón de búsqueda.

Las unidades de datos de un bloque de procesamiento que cumplen con el criterio de patrón de búsqueda, se almacenan en una etapa adicional de procedimiento 6 junto con la información de referencia de la unidad de datos en un archivo de resultado parcial 7. La información de referencia de la unidad de datos contiene la posición de las unidades de datos en el archivo de datos original 2, así como la marca temporal asignada a esta entrada de protocolo de bus CAN.

En una etapa de procedimiento 8, los archivos de resultados parciales 7 se combinan para formar un archivo de resultados 9 y el archivo de resultados 9 se muestra en un dispositivo de visualización. Los patrones encontrados se marcan e incrustan en un área del conjunto de datos circundante. Un usuario puede influir en la visualización si usa un dispositivo de entrada adecuado para introducir datos, por ejemplo, un teclado, y cambiar entre los diferentes patrones encontrados o entre las áreas del conjunto de datos relevantes.

Claims (7)

REIVINDICACIONES

1. Procedimiento para marcar patrones predeterminadles en un conjunto de datos estructurados que se almacena en un archivo de datos digitales (2) en un medio de almacenamiento, en el que se predetermina un criterio de patrón de búsqueda, en el que se dividen los datos en varias unidades de datos y cada unidad de datos del conjunto de datos se verifica según el criterio de patrón de búsqueda, y en el que se marca un patrón que cumple con el criterio de patrón de búsqueda, y en el que se genera un archivo de resultados (9) en base al conjunto de datos estructurados, en el que se almacena la información de referencia de la unidad de datos que hace referencia a las unidades de datos que coinciden con el criterio de patrón de búsqueda, caracterizado porque en el archivo de resultados (9) las unidades de datos que coinciden con el criterio de patrón de búsqueda se almacenan junto con la información de referencia de la unidad de datos, y porque, en base al archivo de resultados (9), un patrón que cumple con el criterio de patrón de búsqueda se marca al mostrarse el archivo de resultados (9) en un dispositivo de visualización y al marcarse e incrustarse los patrones encontrados en un área del conjunto de datos circundante, y porque el archivo de datos (2) se divide en varios bloques de procesamiento (4), en el que cada bloque de procesamiento (4) contiene varias unidades de datos, y para cada bloque de procesamiento (4) se genera un archivo de resultados parciales (7), en el que se procesan varios bloques de procesamiento (4) de forma simultánea y a continuación, los archivos de resultados parciales (7) forman el archivo de resultados (9).

2. Procedimiento según la reivindicación 1, caracterizado porque el criterio de patrón de búsqueda presenta varios componentes de patrones de búsqueda y el criterio de patrón de búsqueda se cumple cuando una unidad de datos contiene al menos un componente de patrón de búsqueda.

3. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque el criterio de patrón de búsqueda presenta al menos un componente de patrón de exclusión y el criterio de patrón de búsqueda no se cumple, si una unidad de datos contiene al menos un componente de patrón de exclusión.

4. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque el criterio de patrón de búsqueda presenta información del patrón de búsqueda y el criterio de patrón de búsqueda se cumple cuando una comparación de la información de la unidad de datos con la información del patrón de búsqueda proporciona un valor de referencia informativo predeterminado.

5. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque para cada unidad de datos que cumple con el patrón de búsqueda en el conjunto de datos, se determina su distancia con respecto a una unidad de datos adyacente que de igual modo cumple con el criterio del patrón de búsqueda y la unidad de datos se almacena con una información de referencia de la distancia en el archivo de resultados (9).

6. Procedimiento según la reivindicación 5, caracterizado porque cuando se muestra en una pantalla el patrón que cumple con el criterio de patrón de búsqueda, se muestra una marca que caracteriza la información de referencia de la distancia.

7. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque, en base al conjunto de datos estructurados, se genera un archivo de trabajo con formateo predeterminable de los datos en varias unidades de datos y el archivo de resultados (9) se genera a partir del archivo de trabajo.