ES2363956B2 - Sistema raid escalonado. - Google Patents
Sistema raid escalonado. Download PDFInfo
- Publication number
- ES2363956B2 ES2363956B2 ES201030169A ES201030169A ES2363956B2 ES 2363956 B2 ES2363956 B2 ES 2363956B2 ES 201030169 A ES201030169 A ES 201030169A ES 201030169 A ES201030169 A ES 201030169A ES 2363956 B2 ES2363956 B2 ES 2363956B2
- Authority
- ES
- Spain
- Prior art keywords
- file
- data
- raids
- files
- raid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G06F17/30067—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/103—Hybrid, i.e. RAID systems with parity comprising a mix of RAID types
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
Abstract
Sistema RAID escalonado y método de
almacenamiento multimedia, donde dicho sistema RAID comprende una
pluralidad de discos duros que almacenan datos; un controlador que
recibe y gestiona órdenes, comprendiendo una estructura de datos
central que gestiona el tratamiento de los distintos datos de cada
fichero, mapea la ubicación de las partes de los ficheros y
actualiza sus punteros; un módulo receptor de peticiones que captura
las peticiones de entrada/salida; un módulo de datos que almacena la
configuración de tratamiento de los distintos datos de cada tipo de
fichero, el mapeado de ficheros y la ubicación física de los
ficheros y de los punteros; un módulo de dispersión que analiza la
entrada y la divide en diferentes conjuntos de datos para su
almacenamiento en los RAIDs; un módulo concentrador que recibe datos
y reconstruye la estructura para devolverlos ordenadamente; y un
módulo de ejecución que envía los comandos a los RAIDs.
Description
\global\parskip0.940000\baselineskip
Sistema RAID escalonado y método de
almacenamiento multimedia.
La presente invención pertenece al campo del
almacenamiento de datos.
En la producción, distribución y difusión de
imágenes, se generan ficheros de grandes volúmenes de información.
Las operaciones sobre este tipo de ficheros imponen restricciones
muy estrictas en cuanto a velocidades de reproducción y seguridad en
los datos. Para dar respuesta a estas necesidades, el almacenamiento
se suele realizar mediante sistemas RAID.
El almacenamiento en los sistemas RAID,
Redundant Array of Independent Disks, los datos son distribuidos en
varios discos físicos para dotar al sistema de una mayor seguridad o
de una mayor velocidad en la transferencia de los datos. Esta
agrupación de discos se presenta al sistema operativo como un único
disco de forma que las operaciones clásicas de entrada/salida con
estos dispositivos, son las mismas que con un único disco
físico.
Un sistema RAID puede ser implementado mediante
programación o mediante un controlador físico. La mayoría de los
sistemas operativos implementan este tipo de almacenamiento mediante
programación.
Hay varios tipos de estructuras RAID, las más
usadas son:
RAID 0.- El fichero es dividido por bloques y
cada bloque es almacenado en un disco diferente. La tasa de
transferencia se ve multiplicada por el número de discos en el RAID.
No proporciona redundancia con lo que no aporta una mayor seguridad.
Para poder realizar un RAID 0 es necesario, al menos, dos
discos.
RAID 1.- También llamado disco espejo, el
fichero es dividido por bloques los cuales se almacenan en todos los
discos. Proporciona una mayor tasa de lectura y la misma tasa de
escritura que la estructura RAID 0. Con una configuración de N
discos se pueden estropear N-1 discos y los datos
serán accesibles. Son necesarios dos discos como mínimo para su
implementación.
RAID 5.- Utiliza una función de paridad para
dotar de redundancia al almacenamiento. Normalmente, la paridad se
efectúa mediante la función OR exclusiva (XOR) y se almacena dicho
resultado. Si hay N discos en un RAID 5, la paridad se realizará
sobre los N-1 bloques de datos almacenando en el
otro disco el bloque de paridad. En caso de fallo en la lectura de
un bloque por el mal funcionamiento de uno de los discos que
almacenen cualquiera de los N-1 bloques, los datos
son extraídos mediante la
\hbox{operación inversa de XOR. La
paridad se guarda en cualquiera de los discos.}
RAID 1+0.- Combina las estructuras RAID 0 y RAID
1, dotando a la estructura de discos con la velocidad de uno y la
seguridad del otro. Consiste en tener dos grupos de RAID 0 en
espejo.
RAID 3 y RAID 4.- Similares a RAID 5 pero el
almacenamiento de la paridad se realiza siempre en el mismo
disco.
RAID 6.- Similar a RAID 5, usa dos funciones de
paridad para mantener la redundancia.
Como se puede observar, cada uno de estos
sistemas provee de unas determinadas características al material a
almacenar. La característica principal de estos sistemas es que
proveen de respuesta uniforme al fichero completo.
Los ficheros multimedia se caracterizan por
contener datos de distinta importancia para la calidad final de la
imagen. En un fichero MPEG2, un error en los datos del vector de
movimiento para un macrobloque supone una menor relación señal ruido
que si el error se produjera en la diferencia de niveles en un
píxel, ya que, el error en los datos del vector de movimiento para
un macrobloque afectaría a 64 píxeles y el error en la diferencia de
niveles en un píxel afectaría a un único píxel.
Si el error se produjera en las partes
significativas del fichero como puedan ser las características de la
imagen, el valor de codificación ó las matrices de cuantificación,
este error podría imposibilitar la reproducción de la imagen.
Normalmente, los datos más importantes de un
fichero suelen ser los que menos ocupan en estos ficheros, de forma
que requieren una redundancia elevada pero una velocidad de
transferencia reducida, mientras que los valores que menos
información aportan a la calidad de la imagen son los que más ocupan
y aunque no necesitan de tanta redundancia, su tasa de transferencia
ha de ser elevada.
Tal es el caso de la lectura de un fichero
cuando existen partes dañadas del mismo En este caso resulta
imposible cargar en memoria el fichero por la imposibilidad de
lectura de dichos datos, y aunque la probabilidad de error en los
discos es baja, el tamaño de estos ficheros hace que no sea
despreciable y que se usen sistemas RAID para proteger la integridad
de los datos.
\newpage
\global\parskip1.000000\baselineskip
Uno de los elementos más importantes de estos
ficheros es el puntero que indica la posición sobre la cual se
realizan las operaciones de lectura y escritura, cuando se realiza
una operación de escritura de N caracteres, esta escritura se
realiza desde dicho punto.
De tal forma, para el almacenamiento de estos
ficheros, se utiliza el sistema RAID que mejor se adapte a las
necesidades de todas las operaciones que se realicen, tratando a los
diferentes datos de un mismo fichero de la misma manera, de forma
que datos que no necesiten mucha redundancia, están excesivamente
redundados y datos que no necesiten un gran velocidad de
transferencia, son tratados como los que necesitan un gran ancho de
banda.
Era por tanto deseable un método que ajuste las
necesidades de almacenamiento a las necesidades reales de cada tipo
de dato del propio fichero.
La presente invención propone un método de
almacenamiento multimedia que ajusta las necesidades propias de cada
tipo de dato en los ficheros multimedia, de tal forma que se
proporciona mayor seguridad a los datos más significativos de la
imagen y da mayor ancho de banda a los datos que más lo
necesiten.
Para ello, el método realiza una división del
fichero en diferentes tipos de datos y los almacena cada uno de
ellos en su apropiado sistema RAID con el fin de dotar de la
velocidad y seguridad necesaria a cada tipo de dato.
Concretamente, el método se basa en una
estructura de datos central donde se define la configuración del
tratamiento de los datos de cada tipo de ficheros, se mapea la
ubicación de las partes que cada uno de los ficheros tiene
distribuidas en los diferentes RAIDs, actualiza los punteros para la
lectura/escritura de cada uno de los ficheros abiertos en cada uno
de los RAIDs y actualiza el puntero para cada uno de los ficheros
que implementa entre los diferentes RAIDs con el fin de dotar a los
programas que le realizan las llamadas, de las mismas
funcionalidades estándar de los procesos de entrada/salida de los
discos.
El sistema que ejecutará el método de la
presente invención se basa en la integración de los siguientes
módulos en el controlador:
- \bullet
- Módulo receptor de peticiones configurado para capturar las peticiones de entrada/salida sobre la unidad lógica de disco en el que esté implantado.
- \bullet
- Módulo de datos configurado para almacenar la configuración de tratamiento, el mapeado de ficheros, la ubicación física de los ficheros y de los punteros.
- \bullet
- Módulo de dispersión configurado para analizar la entrada y dividirla en diferentes conjuntos de datos para su almacenamiento en los RAIDs.
- \bullet
- Módulo concentrador configurado para recibir los datos y reconstruir la estructura para devolverlos en orden.
- \bullet
- Módulo de ejecución configurado para enviar los comandos a los diferentes RAIDs que hay por debajo.
Mediante esta configuración, cuando el
controlador recibe las órdenes de entrada/salida sobre el disco
lógico que está implementado mediante el módulo receptor de
peticiones quien después de consultar las tablas del módulo de
datos, envía las peticiones al módulo de dispersión o al
concentrador y actualiza los datos de punteros en el módulo de
datos.
En caso de ser una tarea de escritura, enviará
una petición al módulo de dispersión quien dividirá los datos según
las tablas del módulo de datos y llamará al módulo de ejecución
tantas veces como procesos de grabación sean necesarios en los RAIDs
que hay por debajo.
Si el proceso es de lectura, ejecutará el módulo
concentrador que se encargará de solicitar peticiones de lectura al
módulo de ejecución y recibirá las diferentes lecturas entregando un
flujo de datos coherente a la aplicación que lo ha solicitado.
El módulo de dispersión divide el fichero en
grupos para almacenar los diferentes tipos de datos. En el caso de
JPEG2000, la división sería por niveles de descomposición. El número
de grupos está definido por el número de sistemas RAID sobre el que
está sustentado el sistema RAID escalonado. Los requisitos de cada
dato, en cuanto a seguridad y velocidad de transferencia, son los
que definen en qué grupo de datos está englobado, y por extensión,
en qué tipo de RAID se va a almacenar.
Se trata de un sistema escalonado puesto que en
el RAID de nivel inferior están situados los datos que aportan más
calidad o información para la reproducción de la imagen mientras que
en los RAIDs de niveles superiores se almacenan los datos
complementarios a la calidad de la imagen. Se define la escala de
progresión como la enumeración de los tipos de RAID implementados
por debajo, el de menor orden contendrá los datos con mayor
incidencia en la calidad de la imagen y el último será el que
albergue los datos con menor incidencia en la calidad de la imagen,
de esta forma se podrá seleccionar la calidad de
grabación/reproducción en función de una calidad de imagen ó de una
calidad de referencia del fichero.
El controlador que implementa el RAID escalonado
está situado en un nivel superior a los RAIDs que usa para formar el
RAID escalonado. Cuando los diferentes RAIDs estén implementados
físicamente, el sistema escalonado de RAID se podrá implementar
mediante sistema físico o por medio de programación y, cuando los
RAIDs están implementados por programación, el sistema escalonado de
RAID solo podrá ser implementado en programación.
El controlador oculta al usuario los tipos de
RAIDs y las unidades de disco que usa de forma que le muestra una
unidad de disco única.
En la implementación por programación, las
llamadas que realizan los programas al sistema operativo son
capturadas por el controlador de RAID escalonado de forma que trata
las llamadas y distribuye las órdenes a cada uno de los sistemas
RAID que hay por debajo.
Algunas de las operaciones estándar de la
implementación por programación son las siguientes:
- \bullet
- Creación de ficheros: Crea una entrada en la estructura de datos del controlador para el fichero y crea una entrada en cada uno de los RAIDs que especifique la configuración para dicho tipo de fichero.
- \bullet
- Borrado de fichero: Elimina los ficheros de los RAIDs que aparecen en la configuración del tipo de fichero y elimina la entrada de la estructura de datos del controlador.
- \bullet
- Lectura de N caracteres: El sistema devolverá los n caracteres siguientes al puntero del fichero que se quiere leer. Para esta operación el sistema consulta el mapeo del fichero para poder determinar desde donde ha de leer y sobre cuántos sistemas RAID ha de lanzar los procesos de lectura, espera a que se produzca la lectura y los devuelve a la aplicación que los pidió.
- \bullet
- Escritura de N caracteres: El sistema examina la configuración para ese tipo de fichero, la entrada y el mapeo del fichero a escribir para detectar los diferentes RAIDs sobre los que tiene que escribir, espera a la escritura de los mismos para devolver el resultado de la operación.
- \bullet
- Posicionado: Petición de posicionarse en una posición determinada del fichero, el sistema examina el mapeo del fichero y actualiza las posiciones de los ficheros que están en los diferentes RAIDs.
Aparte de estas operaciones, se implementa la
operación de crear el fichero sobre un determinado tipo de RAID, de
forma que las operaciones posteriores de lectura y escritura que se
realicen sobre dicho fichero se ejecutarán únicamente en el RAID
donde se ha creado el fichero.
Se implementa la operación de creación de
ficheros a una determinada calidad de referencia del fichero, de
forma que la implementación de lectura/escritura de la información
mediante esta calidad de referencia se realiza mediante la
lectura/escritura de parte de la información, comenzando desde el
RAID primero de la escala de progresión, hasta el RAID del nivel
referenciado por la operación de creación.
En este sentido, la calidad de referencia del
fichero se define como el nivel de calidad a implementar tanto en
escritura como en reproducción, es decir, el nivel máximo de RAIDs a
utilizar para dicho fichero a partir del primero en la escala de
progresión.
Se implementa la operación de truncado de
calidad para un fichero a partir de una calidad de referencia, que
consiste en la eliminación de la información desde un determinado
nivel de RAID hasta el último en la escala de progresión.
Se implementa la operación de lectura de la
calidad del fichero en la que se devuelve el valor en la escala de
progresión con el que fue creado.
Se define como tamaño de información a una
calidad determinada como el espacio que se necesita para almacenar
dicha información a una calidad de referencia.
Finalmente, el sistema RAID escalonado,
comprende:
- \bullet
- una pluralidad de discos duros configurados para almacenar datos;
- \bullet
- un controlador configurado para recibir y gestionar órdenes que comprende:
- \bullet
- una estructura de datos central configurada para:
- \sqbullet
- gestionar el tratamiento de los distintos tipos de datos de cada fichero;
- \sqbullet
- mapear la ubicación de las partes que cada uno de los ficheros tiene distribuidas en los diferentes RAIDs;
- \sqbullet
- actualizar los punteros para la lectura y escritura de cada uno de los ficheros abiertos en cada uno de los RAIDs;
- \sqbullet
- actualizar el puntero para cada uno de los ficheros que implementa en los diferentes RAIDs;
- \bullet
- un módulo receptor de peticiones configurado para capturar las peticiones de entrada/salida sobre la unidad lógica de disco en el que esté implantado;
- \bullet
- un módulo de datos configurado para almacenar la configuración de tratamiento de los distintos datos de cada tipo de fichero, el mapeado de ficheros y la ubicación física de los ficheros y de los punteros;
- \bullet
- un módulo de dispersión configurado para analizar la entrada y dividirla en diferentes conjuntos de datos para su almacenamiento en los RAIDs;
- \bullet
- un módulo concentrador configurado para recibir los datos y reconstruir la estructura para devolverlos en orden;
- \bullet
- un módulo de ejecución configurado para enviar los comandos a los RAIDs.
El método de almacenamiento multimedia,
comprende las siguientes operaciones:
- \bullet
- creación de un fichero comprendiendo las siguientes etapas:
- a)
- crear una entrada en una estructura de datos para el fichero;
- b)
- consultar la configuración de tratamiento de los datos del fichero;
- c)
- crear una entrada en cada uno de los RAIDs que especifique la configuración para dicho tipo de fichero;
- \bullet
- borrado de un fichero comprendiendo las siguientes etapas:
- d)
- consultar la configuración de tratamiento de los datos del fichero;
- e)
- eliminar los ficheros de los RAIDs que aparecen en la configuración del tipo de fichero;
- f)
- eliminar la entrada de la estructura de datos para el fichero;
- \bullet
- operación entrada de datos que comprende las siguientes etapas:
- g)
- consultar el mapeo de ficheros y la ubicación física de los ficheros y de los punteros;
- h)
- enviar petición de analizar la entrada y dividirla en diferentes conjuntos de datos para su almacenamiento en los RAIDs;
- i)
- actualizar el puntero del fichero;
- \bullet
- operación salida de datos que comprende las siguientes etapas:
- j)
- consultar el mapeo de ficheros y la ubicación física de los ficheros y de los punteros;
- k)
- enviar petición de recibir los datos y reconstruir la estructura para devolverlos en orden;
- l)
- actualizar el puntero del fichero;
- \bullet
- operación de lectura de N caracteres comprendiendo las siguientes etapas:
- m)
- consultar la configuración del fichero a leer;
- n)
- consultar el puntero del fichero a leer;
- o)
- consultar el mapeo del fichero para determinar los diferentes RAIDs sobre los que ha de lanzar procesos de lectura;
- p)
- lanzar procesos de lectura sobre los sistemas RAID de su capa inferior;
- q)
- devolver N caracteres;
- \bullet
- operación de escritura de N caracteres comprendiendo las siguientes etapas:
- r)
- consultar la configuración del fichero a escribir;
- s)
- consultar el puntero del fichero a escribir;
- t)
- consultar el mapeo del fichero para determinar los diferentes RAIDs sobre los que ha de lanzar procesos de escritura;
- u)
- lanzar procesos de escritura sobre los sistemas RAID de su capa inferior;
- v)
- devolver el resultado de la operación.
Preferentemente, el método de almacenamiento
puede comprender el procesado de parámetros de calidad que establece
la parte de la información sobre la que se realizan las operaciones
anteriores.
A continuación, para facilitar la comprensión de
la invención, a modo ilustrativo pero no limitativo se describirá
una realización de la invención que hace referencia a una serie de
figuras.
La figura 1 muestra la división de un fichero en
N partes, una por cada RAID utilizado para la grabación del fichero.
Para la reproducción se realizaría la operación inversa.
La figura 2 muestra los controladores de los
RAIDs realizados mediante programación situados en un nivel superior
a los controladores de los discos. Para actuar sobre el controlador
de cada sistema RAID es necesario que el controlador del RAID
escalonado esté sobre el controlador de disco de cada uno de los
RAID y ha de realizarse también mediante programación.
La figura 3 muestra una realización en la que el
sistema operativo no tiene conocimiento del tipo de RAID conectado,
solo detecta un disco sobre un interfaz físico de forma que las
operaciones de redundancia en cada tipo de RAID se realizan de forma
transparente al sistema operativo. Para implementar el RAID
escalonado, se realiza mediante programación asignando a cada
dispositivo la grabación y reproducción de una parte del
fichero.
La figura 4 muestra una realización en la que el
RAID escalonado oculta al sistema operativo la existencia de varios
sistemas de disco, dividiendo el fichero y almacenando las partes de
forma independiente a la programa-
ción.
ción.
La figura 5 muestra una implementación detallada
de un modo de realización para un sistema de producción basado en
JPEG2000 con siete niveles de descomposición. Cada grupo de
sub-bandas en la descomposición del fichero JPEG200
se almacena en un tipo diferente de RAID de forma que se dota de
diferente redundancia y velocidades de acceso.
Una forma de realización es el almacenamiento
para una productora de material audiovisual en la que se necesitará
almacenar 300 horas de trabajo, donde como máximo, 150 horas de las
cuales se corresponde a material a calidad de 20 Mbps para noticias
y el resto, para alta calidad, será necesaria una calidad de 1 MBps
para la distribución para Internet y dispositivos móviles. Según los
datos que pretende estandarizar European Broadcaster Union (EBU)
para los trabajos sin pérdidas de calidad y para 1080p/50 se
corresponde a una velocidad de codificación de 1.800 Mbps como valor
máximo, calidad para noticias a 20 Mbps y una calidad de 0,1 Mbps
para difusión sobre terminales móviles. Según estos datos este modo
de realización pretende realizar el diseño de una estación de
producción y distribución de contenidos para televisión utilizado el
sistema JPEG2000. En la compresión JPEG200, cada paso de
descomposición crea 4 sub-bandas denominadas LL, LH,
HL y HH, para la siguiente descomposición se usa la LL que forma
otras cuatro sub-bandas. De esta forma tendremos 4
sub-bandas para la última descomposición (denominads
LL0, LH0, HL0 y HH0), el resto de las sub-bandas se
denominarán aumentando el índice, de esta forma la inmediatamente
anterior a la última descomposición tendrá tres
sub-bandas numeradas con 1 (LH1, HL1 y HH1), no
existirá la LL1 puesto que se ha descompuesto para tener las cuatro
últimas sub-bandas. Si una imagen pasa por 5 niveles
de descomposición tendrá: LL0, LH0, HL0, HH0, LH1, HL1, HH1,...,
LH4, HL4, LL4. De esta forma tendremos la posibilidad de reproducir
la imagen en varias calidades, la más baja será la imagen
correspondiente a reproducir la sub-banda LL0, si se
añaden las tres sub-bandas LH0, HL0 y HH0 aumentará
la calidad de la imagen, y así sucesivamente conforme a la
incorporación de más sub-capas.
Para determinar el número de pasos en los que se
ha de realizar la descomposición de la imagen, habrá que realizar
tantas descomposiciones como sean necesarias hasta llegar a la menor
velocidad de codificación que se necesite en la
sub-banda LL0, de forma que se necesitará siete
descomposiciones para alcanzar dicha velocidad. Con estas
descomposiciones, el formato para la producción de noticias estará
situado en la cuarta descomposición de las imágenes con alta
calidad, con una velocidad de compresión de 21 Mbps.
Con estos datos, a partir de las velocidades
mayores y menores, dan como resultado 7 niveles de descomposición.
En la primera descomposición habrá que almacenar: LL6, LH6 y HL6,
estas sub-bandas tendrá un tamaño de ¼ del tamaño
total de las 150 horas para la alta calidad (cada una), de forma que
para las tres sub-bandas, se necesitará 3/4. El 1/4
restante se dividirá en cuatro partes y cada
sub-banda necesitará 1/8 del total del fichero y
para almacenar las tres sub-bandas se necesitará 3/8
del tamaño de alta calidad. Este proceso se va realizando hasta
llegar a las siete descomposiciones de forma que para almacenar el
material requerido en las especificaciones del apartado anterior y
teniendo en cuenta que cada nivel de descomposición se almacena en
diferentes sistemas RAID, denominando RaidN a cada sistema RAID a
utilizar se necesitarán: 123.381 GB para Raid1, 32.256 GB para
Raid2, 9.474 GB para Raid3, 3.779 GB para Raid4, 931 GB para Raid5,
219 GB para Raid6, 42 GB para Raid7 y 14 GB para Raid8 para la
sub-banda LL0. La influencia de un error en cada uno
de los sub-niveles anteriores se corresponde
sucesivamente en un error cuadrático medio de: 19, 21, 23, 25, 30,
49, 399 y 4462 de forma que será necesario dotar al Raid8 de mayor
redundancia que al Raid1 para evitar errores en los datos.
Si se asocia a cada RaidN a implementar una
configuración en RAIDX, donde X es el tipo de RAID a implementar,
con la cantidad y volumen de discos necesarios para la
implementación de dicho tipo de RAID, la configuración a realizar
será:
- -
- Raid1 en RAID0 sin ningún tipo de redundancia puesto que todos los discos son de datos y lo más importante es la velocidad de transferencia. Se necesitarán 16 discos de 8 TB para poder almacenar los 123.381 GB para Raid1 necesarios;
- -
- Raid2 en RAID5, se va introduciendo redundancia, en este primer paso una redundancia pequeña y sigue primando la velocidad de transferencia de forma que el RAID se realiza mediante 6 discos de datos + 1 de redundancia (7 discos de 6 TB) para poder almacenar los 32.256 GB necesarios;
- -
- Raid3 en RAID5, aumenta la redundancia con 5 de datos + 1 de redundancia (6 discos de 2 TB) para poder almacenar los 9.474 GB necesarios;
- -
- Raid4 en RAID5 con 4 de datos + 1 redundancia (5 discos de 1 TB) para poder almacenar los 931GB necesarios;
- -
- Raid5 en RAID5 con 3 de datos + 1 redundancia (4 discos de 500 GB) para poder almacenar los 3.779GB necesarios;
- -
- Raid6 en RAID5 con 2 de datos + 1 de redundancia (3 discos de 100 GB) para poder almacenar los 219 GB necesarios;
- -
- Raid7 en RAID1 con un nivel de protección (discos de 40 GB) para poder almacenar los 42 GB necesarios;
- -
- Raid8 en RAID1, el máximo nivel de redundancia en este esquema, con dos niveles de protección (3 discos de 20 GB para poder almacenar los 14 GB necesarios) de esta forma tendrá dos discos de protección de forma que será necesario que los tres discos fallen al mismo tiempo para que se produzca un error en la reproducción.
Esta configuración, mostrada en la figura 5,
obtiene mayor redundancia para los datos considerados más
importantes correspondientes a las sub-bandas
inferiores y se dota de mayor capacidad de transferencia para los
datos de las sub-bandas superiores que son las que
tienen un volumen mayor de datos aunque su influencia en la calidad
sea menor que los datos de las inferiores.
Una vez descrita de forma clara la invención, se
hace constar que las realizaciones particulares anteriormente
descritas son susceptibles de modificaciones de detalle siempre que
no alteren el principio fundamental y la esencia de la
invención.
Claims (3)
1. Sistema RAID escalonado, caracterizado
porque comprende:
\bullet una pluralidad de discos duros
configurados para almacenar datos;
\bullet un controlador configurado para
recibir y gestionar órdenes que comprende:
- \bullet
- una estructura de datos central configurada para:
- \sqbullet
- gestionar el tratamiento de los distintos tipos de datos de cada fichero;
- \sqbullet
- mapear la ubicación de las partes que cada uno de los ficheros tiene distribuidas en los diferentes RAIDs;
- \sqbullet
- actualizar los punteros para la lectura y escritura de cada uno de los ficheros abiertos en cada uno de los RAIDs;
- \sqbullet
- actualizar el puntero para cada uno de los ficheros que implementa en los diferentes RAIDs;
- \bullet
- un módulo receptor de peticiones configurado para capturar las peticiones de entrada/salida sobre la unidad lógica de disco en el que esté implantado;
- \bullet
- un módulo de datos configurado para almacenar la configuración de tratamiento de los distintos datos de cada tipo de fichero, el mapeado de ficheros y la ubicación física de los ficheros y de los punteros;
- \bullet
- un módulo de dispersión configurado para analizar la entrada y dividirla en diferentes conjuntos de datos para su almacenamiento en los RAIDs;
- \bullet
- un módulo concentrador configurado para recibir los datos y reconstruir la estructura para devolverlos en orden;
- \bullet
- un módulo de ejecución configurado para enviar los comandos a los RAIDs.
\vskip1.000000\baselineskip
2. Método de sistema RAID escalonado,
caracterizado porque comprende las siguientes
operaciones:
\bullet creación de un fichero comprendiendo
las siguientes etapas:
- a)
- crear una entrada en una estructura de datos para el fichero;
- b)
- consultar la configuración de tratamiento de los datos del fichero;
- c)
- crear una entrada en cada uno de los RAIDs que especifique la configuración para dicho tipo de fichero;
\bullet borrado de un fichero comprendiendo
las siguientes etapas:
- d)
- consultar la configuración de tratamiento de los datos del fichero;
- e)
- eliminar los ficheros de los RAIDs que aparecen en la configuración del tipo de fichero;
- f)
- eliminar la entrada de la estructura de datos para el fichero;
\bullet operación entrada de datos que
comprende las siguientes etapas:
- g)
- consultar el mapeo de ficheros y la ubicación física de los ficheros y de los punteros;
- h)
- enviar petición de analizar la entrada y dividirla en diferentes conjuntos de datos para su almacenamiento en los RAIDs;
- i)
- actualizar el puntero del fichero;
\bullet operación salida de datos que
comprende las siguientes etapas:
- j)
- consultar el mapeo de ficheros y la ubicación física de los ficheros y de los punteros;
- k)
- enviar petición de recibir los datos y reconstruir la estructura para devolverlos en orden;
- l)
- actualizar el puntero del fichero;
\bullet operación de lectura de N caracteres
comprendiendo las siguientes etapas:
- m)
- consultar la configuración del fichero a leer;
- n)
- consultar el puntero del fichero a leer;
- o)
- consultar el mapeo del fichero para determinar los diferentes RAIDs sobre los que ha de lanzar procesos de lectura;
- p)
- lanzar procesos de lectura sobre los sistemas RAID de su capa inferior;
- q)
- devolver N caracteres;
\bullet operación de escritura de N caracteres
comprendiendo las siguientes etapas:
- r)
- consultar la configuración del fichero a escribir;
- s)
- consultar el puntero del fichero a escribir;
- t)
- consultar el mapeo del fichero para determinar los diferentes RAIDs sobre los que ha de lanzar procesos de escritura;
- u)
- lanzar procesos de escritura sobre los sistemas RAID de su capa inferior;
- v)
- devolver el resultado de la operación.
\vskip1.000000\baselineskip
3. Método de almacenamiento multimedia, según la
reivindicación 2, caracterizado porque comprende el procesado
de parámetros de calidad que establece la parte de la información
sobre la que se realizan las operaciones.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201030169A ES2363956B2 (es) | 2010-02-09 | 2010-02-09 | Sistema raid escalonado. |
| PCT/ES2010/000495 WO2011098630A1 (es) | 2010-02-09 | 2010-12-09 | Sistema raid escalonado |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201030169A ES2363956B2 (es) | 2010-02-09 | 2010-02-09 | Sistema raid escalonado. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2363956A1 ES2363956A1 (es) | 2011-08-22 |
| ES2363956B2 true ES2363956B2 (es) | 2012-06-13 |
Family
ID=44351435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201030169A Active ES2363956B2 (es) | 2010-02-09 | 2010-02-09 | Sistema raid escalonado. |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2363956B2 (es) |
| WO (1) | WO2011098630A1 (es) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7092977B2 (en) * | 2001-08-31 | 2006-08-15 | Arkivio, Inc. | Techniques for storing data based upon storage policies |
| JP4223729B2 (ja) * | 2002-02-28 | 2009-02-12 | 株式会社日立製作所 | 記憶システム |
| GB0320494D0 (en) * | 2003-09-02 | 2003-10-01 | Ibm | Methods apparatus and controllers for a raid storage system |
| JP4480479B2 (ja) * | 2004-06-15 | 2010-06-16 | 株式会社日立製作所 | ストレージシステム |
-
2010
- 2010-02-09 ES ES201030169A patent/ES2363956B2/es active Active
- 2010-12-09 WO PCT/ES2010/000495 patent/WO2011098630A1/es not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011098630A1 (es) | 2011-08-18 |
| ES2363956A1 (es) | 2011-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956258B2 (en) | Systems and methods for adaptive data storage | |
| KR102466412B1 (ko) | 스토리지 장치 및 스토리지 장치의 동작 방법 | |
| US10101942B1 (en) | System and method for hybrid push-pull data management in a non-volatile memory | |
| US20180314627A1 (en) | Systems and Methods for Referencing Data on a Storage Medium | |
| US9542101B2 (en) | System and methods for performing embedded full-stripe write operations to a data volume with data elements distributed across multiple modules | |
| DE102009026178A1 (de) | Mehrstufiger Controller mit intelligentem Speicher-Transfer-Manager zum Verschachteln mehrfacher Ein-Chip-Flash-Speichereinheiten | |
| US10025536B2 (en) | Memory system and method for simplifying scheduling on a flash interface module and reducing latencies in a multi-die environment | |
| KR20170005232A (ko) | 스토리지 장치 | |
| US9582435B2 (en) | Memory system and method for efficient padding of memory pages | |
| US11379155B2 (en) | System and method for flash storage management using multiple open page stripes | |
| KR20110113420A (ko) | 저장 매체에 데이터를 저장하는 방법, 그를 이용한 데이터 저장 장치, 및 그것을 포함한 시스템 | |
| KR20200133716A (ko) | 저장 캐시 관리 | |
| JP2019128960A5 (es) | ||
| ES2363956B2 (es) | Sistema raid escalonado. | |
| KR20150127434A (ko) | 메모리제어장치 및 메모리제어장치의 동작 방법 | |
| US20200042386A1 (en) | Error Correction With Scatter-Gather List Data Management | |
| US11941282B2 (en) | Data storage device and method for progressive fading for video surveillance systems | |
| US20240298044A1 (en) | Data Storage Device and Method for Selecting a Data Recovery Mechanism Based on a Video Frame Position | |
| US12189818B2 (en) | Data storage device and method for token generation and parameter anonymization | |
| US12363312B2 (en) | Storage system and method for storage management in multi-channel, variable-bit-rate systems | |
| US11550487B2 (en) | Data storage device and method for enabling endurance re-evaluation | |
| US11562018B2 (en) | Storage system and method for optimized surveillance search | |
| US8848444B2 (en) | Signal transmission system and storage system | |
| US11240540B2 (en) | Storage system and method for frame trimming to optimize network bandwidth | |
| US12488854B2 (en) | Data storage device and method for host-managed data integrity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2363956 Country of ref document: ES Kind code of ref document: B2 Effective date: 20120613 |