ES2356386T3

ES2356386T3 - Método para suministrar una señal de audio y método para generar musica de fondo.

Info

Publication number: ES2356386T3
Application number: ES02250361T
Authority: ES
Inventors: Tohru Mita; Koji United Game Artists Inc. Kaifu
Original assignee: Sega Corp
Current assignee: Sega Corp
Priority date: 2001-01-22
Filing date: 2002-01-18
Publication date: 2011-04-07
Anticipated expiration: 2022-01-18
Also published as: DE60233989D1; EP1229513A3; KR20020062598A; JP2002215151A; US6878869B2; EP1229513B1; KR100874176B1; US20020117045A1; EP1229513A2; JP4497264B2

Abstract

Un producto de programa de ordenador que tiene un programa de ordenador para generar una señal de audio almacenada en un soporte de almacenamiento explotable de ordenador, en el que el programa de ordenador está adaptado para realizar las etapas de: detección (S41) de un factor de producción de sonido que es una causa de generación de sonido; y decisión (S43, S44) sobre una temporización de comienzo para producir un sonido que corresponde al factor de producción de sonido, sobre la base de la temporización de música que está siendo reproducida en el momento de generación del factor de producción de sonido.

Description

ANTECEDENTES DE LA INVENCIÓN

1. Campo de la invención

La presente invención se refiere a una técnica para ajustar un tiempo de inicio para producir sonidos que incluyen efectos sonoros, voces tales como la locución de líneas de diálogo, y música tal como música de fondo (MF). 5 Más en particular, esta invención se refiere a una técnica mejorada que permite la producción de sonidos de un ritmo musical apropiado mediante una simple operación sin obligar a un jugador a introducir operaciones complicadas.

2. Descripción de la Técnica relacionada

Los dispositivos de juego convencionales presentan animaciones en pantallas y también ofrecen una música de fondo correspondiente a escenas con el fin de realzar el efecto realista del juego. Por ejemplo, en un espacio virtual 10 de juego compuesto de coordenadas en tres dimensiones y estructurado mediante la colocación de diversos tipos de objetos y seres humanos virtuales en él, se desarrolla un juego a medida que un carácter principal del juego se mueve libremente en el espacio virtual de juego, mientras se emite música como música de fondo (MF) de acuerdo con las escenas relevantes. En un juego de competición de vehículos, el juego se diseña para crear sonidos de motores, sonidos de derrapaje, colisiones y otros de acuerdo con el progreso del juego. De conformidad con ello, se almacena 15 previamente un programa para desarrollar un guión de juego con imágenes a desplegar según progresa el juego y modelos de salida de señales de audio tales como música, voces y efectos de sonido que corresponden a las imágenes.

La MF emitida por el dispositivo convencional de juego se almacena previamente en un programa de juego y el programa de juego se diseña para cambiar la MF a ser emitida de acuerdo con el progreso del juego. En este caso, sin embargo, la MF a emitirse simplemente se conmuta dependiendo de las escenas del juego y otras condiciones, y el 20 juego convencional refleja operaciones de entrada de un controlador hechas por un operador (un operador de juego o un operador de música) durante el juego en la generación de la MF.

Además, los efectos de sonido tales como explosiones en el procesamiento del juego, se emiten con una temporización establecida previamente a fin de sincronizar con las imágenes mostradas tal como la imagen de una explosión. En relación con un juego interactivo en el que el flujo de información no es solamente en una dirección, ha 25 sido imposible controlar la temporización de salida de los efectos de sonido de acuerdo con otras temporizaciones con el fin de posibilitar operaciones rítmicas por los jugadores.

Si puede generarse una MF automáticamente en respuesta al progreso del juego y las operaciones de entradas del jugador, es posible mejorar un sentido de unidad entre el jugador y la MF para hacer que el jugador sienta como si él/ella está realizando la música mientras opera el juego. Lo que es importante es no poner una sobrecarga 30 excesiva sobre el jugador forzándole a concentrarse en la generación de la MF. Si se exige al jugador manejar complicadas operaciones de entrada y temporizaciones de entrada para la generación de la MF, la actuación requerida es en la práctica tan difícil como tocar un instrumento musical normal. Por ello, el jugador no puede disfrutar fácilmente al generar la MF, mientras disfruta del juego en sí mismo.

Es un objeto de la presente invención proporcionar una técnica de generación de MF que posibilite al jugador 35 componer fácilmente la MF sin el requisito de cualquier operación complicada de entrada. Además, es otro objeto de la presente invención sugerir una técnica de ajustar la temporización de salida de las señales de audio tales como los efectos de sonido a una temporización musical apropiada con el fin de implementar un entorno sonoro armonioso.

RESUMEN DE LA INVENCIÓN

A fin de resolver los problemas antes descritos, esta invención proporciona, en un aspecto, un producto de 40 programa de ordenador que tiene un programa de ordenador para generar una señal de audio almacenada en un soporte de almacenamiento explotable de ordenador, en el que el programa de ordenador está adaptado para realizar las etapas de : detectar un factor de producción de sonido que es una causa de generación de sonido; y decidir sobre una temporización de comienzo para producir un sonido que corresponde al factor de producción de sonido, sobre la base de la temporización de música que está siendo reproducida en el momento de generación del factor de producción 45 de sonido.

De acuerdo con ello, los sonidos, tales como los efectos de sonido, se procesan para ser producidos en sincronización con el progreso de la música, tal como la MF, proporcionando por ello un entorno de sonido armonioso.

En una realización, el programa de ordenador está adaptado para realizar la etapa de generar acompañamiento correspondiente al estado de un juego, y generar una melodía mediante la detección de un factor de 50 producción de sonido que es una causa de generación de melodía, y decidir sobre una temporización de inicio para producir la melodía, que corresponde al factor de producción de sonido, sobre la base del progreso del acompañamiento en el momento de generación del factor de producción de sonido.

De acuerdo con lo anterior, el acompañamiento se genera automáticamente según el estado del juego, facilitando por ello al jugador la composición de MF según el estado del juego sin operación complicada alguna.

Ejemplos de tal soporte de almacenamiento explotable de ordenador incluyen soportes ópticos de almacenamiento (soportes de almacenamiento capaces de leer datos ópticamente, tales como CD-ROMs, DVD-ROMs, DVD-RAMs, DVD-Rs, discos PD, discos MD y discos MO), soportes magnéticos de almacenamiento (soportes de 5 almacenamiento capaces de leer datos magnéticamente, tales como discos flexibles, tarjetas magnéticas y cintas magnéticas), y soportes de almacenamiento portátiles tales como cartuchos de memoria incluyendo elementos de almacenamiento tales como memorias con semiconductores (tales como DRAM) o memorias ópticas, así como dispositivos de almacenamiento internos, que están provistos dentro de un ordenador o en una tarjeta de memoria, y dispositivos de almacenamiento externos, tales como discos duros. 10

Además, según otro aspecto de esta invención, se proporciona un método para suministrar una señal de audio que comprende las etapas de: detectar un factor de producción de sonido que es una causa de generación de sonido, y decidir sobre una temporización de inicio para producir la melodía, que corresponde al factor de producción de sonido, sobre la base de la temporización de música que está siendo reproducida en el momento de generación del factor de producción de sonido 15

Según un aspecto adicional de esta invención, se provee un dispositivo para suministrar una señal de audio que comprende: detectar elementos para detectar un factor de producción de sonido que es una causa de generación de sonido; y ajustador de temporización de inicio de producción de sonido para decidir sobre una temporización de inicio para producir un sonido, que corresponde al factor de producción de sonido, sobre la base de la temporización de música que está siendo reproducida en el momento de generación del factor de producción de sonido. 20

En una realización el método y dispositivo para suministrar una señal de audio generan un acompañamiento y una melodía como antes se ha descrito en relación con el producto de programa de ordenador.

EP-A-0823270 revela un aparato de vídeo de juego de baile que tiene un dispositivo de salida de música de baile y un dispositivo de generación de información de batido en base a la señal de música.

BREVE DESCRIPCIÓN DE LOS DIBUJOS 25

La Fig. 1 es un diagrama funcional de bloques del dispositivo de juego que tiene una función para componer MF según la presente invención.

La Fig. 2 es un diagrama de flujo que muestra el flujo completo de operación del dispositivo de juego.

La Fig. 3 es un diagrama de flujo que describe una subrutina de generación de parámetro de melodía.

La Fig. 4 es un diagrama de flujo que describe una subrutina de procesamiento de corrección de escala. 30

La Fig. 5 es un diagrama de flujo que describe la etapa de ajustar una temporización de producción de sonido para un factor de producción de sonido.

La Fig. 6 muestra factores de producción de sonido que dan lugar a generación de melodía, y unidades de producción de sonido.

La Fig. 7 representa una muestra de pantalla de juego. 35

La Fig. 8 es un dibujo explicativo que ilustra valores de escala correspondientes a la escala diatónica.

La Fig. 9 es una vista estructural externa del teclado de control.

La Fig. 10 es un dibujo explicativo que ilustra la temporización de producción de sonido melódico.

La Fig. 12 es un dibujo explicativo que ilustra la temporización de producción de efecto de sonido.

La Fig. 13 muestra los factores de producción de sonido que dan lugar a generación de efectos de sonido, y las 40 unidades de producción de sonido de los mismos.

En adelante se explica una realización de la presente invención con referencia a los dibujos adjuntos.

La Fig. 1 es un diagrama funcional de bloques de un dispositivo de juego que incluye una función de generación de MF. Como se muestra en la Fig. 1, un dispositivo de juego 20 comprende: un lector de CD-ROM 21; un procesador de juego 22; un procesador de visualización de imagen 23; un generador de parámetro de melodía 24; un 45 generador de parámetro de acompañamiento 25; un procesador de sonido 26; y un ajustador de temporización de producción de sonido 27. El procesador de juego 22 está estructurado con varios tipos de hardware tales como una CPU, RAM y ROM que son necesarios para el procesamiento del juego. El procesador de juego 22 lee y ejecuta un programa de juego suministrado desde un CD-ROM 50 a través del lector de CD-ROM 21.

El procesador de visualización de imagen 23 incluye un buffer marco, una RAM color, un codificador, y similares. El procesador de visualización de imagen 23 muestra un objeto que debe ser visualizado en un monitor de TV 30 con polígonos (una figura tridimensional compuesta de vértices y líneas de borde definidos en un sistema de coordenadas modelo) sobre la base de datos de mando suministrados desde el procesador de juego 22, y lleva a cabo conversión de modelización del objeto a un sistema mundial de coordenadas, conversión de campo visual a un punto 5 visual especificado de cámara, procesamiento de recorte tridimensional, procesamiento de eliminación de líneas ocultas, procesamiento de aplicación de textura, procesamiento de sombreado, procesamiento de prioridad de visualización, y otro procesamiento necesario, y luego presenta el objeto en el monitor de TV 30.

El generador de parámetro de acompañamiento 25 es un módulo que está realizado por un programa de generación de parámetro de acompañamiento. El generador de parámetro de acompañamiento 25 selecciona un 10 elemento apropiado de acompañamiento entre elementos apropiados de acompañamiento previamente registrados, en base a un parámetro de juego suministrado desde el procesador de juego 22 , generando por ello un parámetro de acompañamiento. Los elementos de acompañamiento son varios elementos musicales que constituyen una parte de acompañamiento, lo que incluye tempos, claves, acordes, modelos de ritmo, modelos de acompañamiento, tipos de efectos, e interpretación de los efectos. El parámetro de acompañamiento es información sobre una combinación de los 15 elementos de acompañamiento que constituyen la parte de acompañamiento que es reproducida en la práctica por el procesador de sonido 26. El parámetro de juego es el elemento que origina cambios al acompañamiento y se establece de acuerdo con varias condiciones de juego, tales como puntuaciones que alcanza el jugador, la velocidad del progreso del juego, la diferencia en energía entre el personaje del jugador y un personaje enemigo, y el brillo de la pantalla de juego. El procedimiento detallado de la generación del parámetro de acompañamiento se explicará más adelante. 20

El generador de parámetro de melodía 24 es un módulo que está realizado por un programa de generación de parámetro de melodía, y genera un parámetro de melodía en base a información operativa del jugador, que es introducida con un controlador 10, y también en base al parámetro de acompañamiento que sale del generador de parámetro de acompañamiento 25. El parámetro de melodía es un parámetro para regular escalas de notas que constituyen la melodía, la temporización de inicio para producir notas, longitudes de las notas, y otras condiciones. La 25 información operativa introducida por el jugador con el controlador 10, contiene información sobre si un pulsador de conmutación está pulsado o no, y si una palanca está bajada o girada, e información para decir qué voces se han entrado desde un micrófono. El procedimiento detallado de la generación del parámetro de melodía se explicarán más adelante.

El procesador de sonido 26 comprende, por ejemplo, una CPU de sonido, una memoria de sonido, y un 30 convertido C/A. El procesador de sonido 26 compone MF en base a una solicitud de producción de sonido hecha por el generador de parámetro de melodía 24 y el generador de parámetro de acompañamiento 25. La memoria de sonido almacena datos de sonido registrados previamente (tales como datos MIDI) que corresponden al parámetro de melodía y al parámetro de acompañamiento. La CPU de sonido implementa, en la temporización designada por el parámetro de melodía y el parámetro de acompañamiento, efectos especiales de sonido tales como ecos, reverberaciones, y coros 35 basados en una función DSP, y hace salir las señales de audio a los altavoces 41 y 42. La temporización de salida de las señales de audio tales como las melodías y los efectos de sonido que deben ser producidos por el procesador de sonido 26, se ajusta por el ajustador de temporización de producción de sonido 27.

La Fig. 2 es un diagrama de flujo que indica las etapas de generación automática de música realizadas por el dispositivo de juego 20 . Cada etapa de procesamiento mostrada en la Fig. 2 se ejecuta repetidamente en 40 sincronización con un período de renovación de imagen (por ejemplo, 1/60 de un segundo). Como se muestra en el diagrama de flujo, las etapas de generación automática de música comprenden: una etapa de procesamiento de juego (S11) conducida por el procesador de juego 22; una etapa de generación de parámetro de acompañamiento (S12) conducida por el generador de parámetro de acompañamiento 25; una etapa de generación (S13) conducida por el generador de parámetro de melodía 24; y una etapa de procesamiento de reproducción de MF conducida por el 45 procesador de sonido 26. Cada etapa de procesamiento se explica más adelante.

Etapa de procesamiento de juego (S11)

La Fig. 7 representa una muestra de pantalla de juego. El contenido de un juego es que una posición en planta y un estado en planta de un bloque móvil 61 en forma de L, que cae desde el lado superior derecho de un espacio virtual 63 como se muestra en la Fig. 7, se controlan operando el controlador 10, y cuando el entrante y el saliente del 50 bloque móvil 61 coinciden con el entrante y el saliente de los bloques acumulados 62, se añade un punto. La Fig. 9 es una vista estructural externa del controlador 10. El controlador 10 tiene un botón A 11, un botón B 12, un botón X 13, un botón Y 14 y una tecla en cruz 15 dispuestos sobre él. El jugador mueve el bloque móvil 61 a la izquierda o la derecha inclinando la tecla en cruz 15 a la izquierda o la derecha, controlando por ello la posición en planta del bloque móvil 61. El jugador también gira el bloque móvil 61 operando, por ejemplo, el botón A 11, controlando por ello la postura en 55 planta del bloque móvil 61.

Etapa de Generación de Parámetro de Acompañamiento

Cuando el generador de parámetro de acompañamiento 25 obtiene el parámetro de juego desde el procesador de juego 22, por ejemplo, el generador de parámetro de acompañamiento 25 genera el parámetro de acompañamiento

llevando a cabo, por ejemplo, las siguientes operaciones: seleccionar una clave mayor si el juego transcurre favorablemente para el jugador; seleccionar una clave menor si el juego transcurre desfavorablemente para el jugador; usar muchos acordes alegres si ocurre algo favorable al jugador; aminorar los cambios de acordes si el juego se hace monótono; acelerar el tempo del acompañamiento si el jugador opera frecuentemente el controlador 10; decelerar el tempo al final de una serie de escenas; seleccionar un modelo complicado de realización en una escena que requiera 5 que el jugador ejecute operaciones complicadas.

En juegos de rol o juegos de competición, por ejemplo, el generador de parámetro de acompañamiento 25 genera el parámetro de acompañamiento llevando a cabo, por ejemplo, las operaciones siguientes: seleccionar un modelo de acompañamiento alegre si el personaje del jugador entra en un escenario brillante; seleccionar un modelo de acompañamiento lúgubre si el personaje del jugador entra en un escenario oscuro; seleccionar un modelo de 10 acompañamiento que suene rítmico si el personaje del jugador está rodeado por personajes enemigos; seleccionar un modelo de acompañamiento que suene tenso si el personaje del jugador escapa del asedio de personajes enemigos; incrementar la influencia de los efectos tales como ecos si personaje del jugador entra en una zona estrecha; disminuir la influencia de los efectos tales como ecos si personaje del jugador entra en una zona amplia; y cambiar los tempos, claves, acordes, modelos de ritmo y modelos de acompañamiento según los movimientos del personaje del jugador, por 15 ejemplo, cuando el personaje del jugador se pone en pie, cambia su dirección de movimiento, salta, sufre daños, gana un artículo, se mueve violentamente, se mueve despacio, da vueltas, hace pequeños movimientos, hace pequeños movimientos, o cae.

Modelos de interpretación generados por el generador de parámetro de melodía 24, que serán explicados más adelante, pueden usarse como modelos de ritmo o modelos de acompañamiento. En este caso, los modelos de 20 interpretación se almacenan en una memoria y los modelos de interpretación de uso frecuente se usan a un ritmo determinado. Es también posible usar composiciones musicales existentes como acompañamiento.

Etapa de Generación de Parámetro de Melodía

Cuando el generador de parámetro de melodía 24 recibe las señales operativas del botón A 11, el botón B 12, el botón X 13, el botón Y 14 y la tecla en cruz 15 en el controlador 10, decide entonces sobre una escala, un tiempo de 25 inicio de producción de sonido, y una longitud de nota, en base a la información, por ejemplo, del tono y acorde presentes del parámetro de acompañamiento generado por el generador de parámetro de acompañamiento 25, y una posición de tiempo en una composición musical. La Fig. 3 muestra una subrutina de las etapas de generación de melodía, que consiste en una etapa de decidir una candidata de escala (S21), una etapa de procesamiento de corrección de escala (S22), una etapa de decidir el tiempo de inicio de producción de sonido (S23) y una etapa de 30 decidir la longitud de nota (S24). Cada etapa de procesamiento será explicada más adelante en detalle.

Etapa de decidir Candidata de escala (S21)

En esta etapa, el generador de parámetro de melodía 24 sigue las operaciones de teclado hechas por el jugador con el controlador 10, junto con la sincronización de un período de renovación de imagen. Cuando el generador de parámetro de melodía 24 detecta una operación de teclado, decide sobre una candidata de escala que corresponde 35 a la operación de teclado. Como se muestra en la Fig. 8, en relación con la escala de tonos de un acompañamiento, se dan números (valores de escala) a los tonos en el orden ascendente desde la escala inferior. En el ejemplo de la Fig. 8, los tonos y sus grados correspondientes son como sigue: do (primer grado), re (segundo grado), mi (tercer grado), fa (cuarto grado), sol (quinto grado), la (sexto grado) y si (séptimo grado). La escala mostrada en la Fig. 8 es la escala diatónica. Sin embargo, sin limitación para tal tipo de escala, la candidata de escala se decide en base a la la escala del 40 acompañamiento que se reproduce en ese momento.

Como método de decidir la candidata de escala, hay un método de decidirla sobre la base de un valor relativo y un método de decidirla sobre la base de un valor absoluto. Cuando se decide la candidata de escala sobre la base de un valor relativo, por ejemplo, el tono generado inmediatamente precedente se establece como un estándar. La candidata de escala se decide llevando a cabo el procesamiento, por ejemplo, para bajar el valor de escala un valor si la 45 tecla en cruz 15 es inclinada a la derecha (o hacia abajo) para mover el bloque móvil 61 a la derecha (o hacia abajo), y para subir el valor de escala un valor si la tecla en cruz 15 es inclinada a la izquierda (o hacia arriba) para mover el bloque móvil 61 a la izquierda (o hacia arriba). La candidata de escala puede decidirse también estableciendo un valor numérico positivo para el botón A 11 y un valor numérico negativo para el botón B 12. Además, la candidata de escala puede decidirse estableciendo un valor negativo si una tecla análoga (no mostrada en el dibujo) se gira a la derecha, y 50 estableciendo un valor positivo si la tecla análoga se gira a la izquierda. Decidir la candidata de escala sobre la base de un valor relativo da lugar a tales efectos ventajosos que una gama de valores en la que puede decidirse el valor numérico del valor de escala no tiene que ser amplia y que la continuidad de una melodía puede mantenerse porque el valor de escala no se desviará más allá de la escala precedente.

Cuando se decide la candidata de escala sobre la base de un valor absoluto, por ejemplo, la candidata de 55 escala se decide asignando un valor de escala del segundo grado al botón A 11, el tercer grado al botón B 12, el quinto grado al botón X 13, y el séptimo grado al botón Y 14. Como otro ejemplo, puede emplearse una estructura tal que se divide un espacio virtual 63 en una pluralidad de regiones, en cada una de las cuales se establece un grado de valor de escala, decidiendo por ello la candidata de escala correspondiente a una región a la que se ha movido el bloque móvil

61. Decidir el grado de la candidata de escala sobre la base de un valor absoluto da lugar a un efecto ventajoso tal que el jugador puede disfrutar controlando la música como si estuviera tocando un instrumento musical real.

Etapa de Procesamiento de Corrección de Escala (S22)

En esta etapa, el generador de parámetro de melodía 24 determina si la candidata de escala que fue provisionalmente decidida en el método antes descrito es la escala que cumple las teorías musicales. Si no cumple las 5 teorías musicales, el generador de parámetro de melodía 24 corrige la candidata de escala a una escala de una frecuencia apropiada por referencia, por ejemplo, a la clave y acorde del acompañamiento en el momento. La Fig. 4 es un diagrama de flujo que muestra una subrutina de las etapas de procesamiento de la corrección de escala. Como se muestra en la Fig. 4, si la candidata de escala es un sonido constituyente de un acorde (S31; SÍ), no hay problema en producir el sonido y, en consecuencia, el sonido se registra en una memoria intermedia de producción de sonido (S35). 10 Si la candidata de escala no es un sonido constituyente de un acorde (S31; NO), hay un problema en producir el sonido tal como es y, en consecuencia, se procede a un procesamiento de corrección como sigue. Si la temporización de producción de la candidata de escala no está sincopada (S32; NO), el generador de parámetro de melodía 24 corrige la candidata de escala a un sonido que constituye un acorde cuya frecuencia es más cercana a la candidata de escala (S34) y registra el sonido en la memoria intermedia de producción de sonido (S35). Si la temporización de producción de 15 la candidata de escala está sincopada (S32; SÍ), el generador de parámetro de melodía 24 comprueba si el sonido precedente era un sonido constituyente de un acorde (S33). Si el sonido precedente no era un sonido constituyente de un acorde (S33; NO), el generador de parámetro de melodía 24 corrige la candidata de escala a un sonido constituyente de un acorde cuya frecuencia es la más cercana a la nota más apropiada (S34) y registra el sonido en la memoria intermedia de producción de sonido (S35). Si el sonido precedente era un sonido constituyente de un acorde (S33; SÍ), 20 el sonido se registra en la memoria intermedia de producción de sonido (S35).

Etapa de decisión de Temporización de Inicio de Producción de Sonido

En esta etapa, el generador de parámetro de melodía 24 decide sobre el tiempo para producir una melodía. Como un método de decisión de temporización de inicio de producción de la melodía, hay dos métodos: un método de llevar a cabo el procesamiento de producción de sonido cuando el jugador opera las teclas en el controlador 10 25 (procesamiento directo de producción de sonido); y un método de llevar a cabo el procesamiento de producción de sonido después de ajustar el tiempo de producción de sonido de acuerdo con la temporización de progreso del acompañamiento (procesamiento de ajuste de temporización de inicio de producción de sonido). En el método del procesamiento directo de producción de sonido, las operaciones de teclado por el jugador coinciden con la temporización de producción de sonido y, en consecuencia, el jugador puede disfrutar la sensación como si él/ella 30 estuviera tocando un instrumento musical real.

La fig. 10 es un dibujo explicativo que ilustra el procesamiento de ajuste de temporización de inicio de producción de sonido. En la Fig. 10, los tiempos t1, t3, t4, t6, y t7 son las temporizaciones de producción de sonido de la melodía en sincronización con el acompañamiento, y las temporizaciones están determinadas en base a unidades de procesamiento tales como una negra, una corchea y una semicorchea. El procesamiento de producción de sonido de la 35 melodía en respuesta a la operación de teclado entrada en el tiempo t2, no se realiza en ese momento, sino que se establece un tiempo de retardo (t3 – t2) de manera que el procesamiento de producción de sonido se suspende hasta el tiempo t3 que es la temporización de producción de sonido más cercana. De modo semejante, el procesamiento de producción de sonido de la melodía en respuesta a la operación de teclado entrada en el tiempo t5, no se realiza en ese momento, sino que se establece un tiempo de retardo (t6 – t5) de manera que el procesamiento de producción de sonido 40 se suspende hasta el tiempo t6 que es la temporización de producción de sonido de melodía más cercana. De acuerdo con ello, en lugar de realizar la producción de sonido en el momento de la operación de teclado, se establece el tiempo de inicio para producir la melodía a fin de producir el sonido de melodía en las temporizaciones de producción de sonido que están predeterminadas para cada acompañamiento. Por ello, el jugador puede componer música libremente mientras disfruta del juego sin estar obligado a entrar ninguna operación complicada. 45

Etapa de Decisión de Longitud de Nota (S24)

En esta etapa, el generador de parámetro de melodía 24 decide sobre las longitudes de nota de las notas en la melodía. Ejemplos del método para decidir las longitudes de nota incluyen: un método de terminar el procesamiento de producción de sonido por operación de la tecla siguiente; y un método de terminar el procesamiento de producción de sonido cuando se termina una pantalla en la que se incluye la melodía producida, o en cualquier temporización musical 50 correspondiente. Cuando se usa un sonido de baja continuidad, no es siempre necesario decidir sobre la s longitudes de nota.

Etapa de Procesamiento de Reproducción de MF (S14)

En esta etapa, el procesador de sonido 26 lleva a cabo el procesamiento de reproducción de MF en base al parámetro de melodía proporcionado desde el generador de parámetro de melodía 24, al parámetro de 55 acompañamiento suministrado desde el generador de parámetro de acompañamiento 25, y el factor de producción de sonido y su unidad de procesamiento de producción de sonido suministrado desde el ajustador de temporización de producción de sonido 27. La temporización de producción de sonido de la melodía se ajusta por el ajustador de

temporización de producción de sonido 27 a fin de sincronizar con la temporización de progreso del acompañamiento. El ajustador de temporización de producción de sonido 27 comprende una memoria intermedia 28 y recibe las señales operativas, esto es, el factor de producción de sonido, introducido por el jugador con el controlador 10, y escribe la unidad de procesamiento de producción de sonido correspondiente al factor de producción de sonido en la memoria intermedia 28. La unidad de procesamiento de producción de sonido está determinada por unidades tales como una 5 negra, una corchea, o una semicorchea.

La Fig. 5 es un diagrama de flujo que indica las etapas de procesamiento de ajuste de la temporización de producción de sonido de la melodía. Cada etapa de procesamiento en la Fig. 5 se realiza repetidamente en sincronización con un período de renovación de imagen (por ejemplo, 1/60 de segundo). El ajustador de temporización de producción de sonido 27 detecta el factor de producción de sonido suministrado desde el controlador 10 (S41; SÍ), y 10 escribe el tipo del factor de producción de sonido y de la unidad de procesamiento de producción de sonido en la memoria intermedia 28 (S42). Los datos escritos en la memoria intermedia 28 son como se muestra en la Fig. 6. Como se muestra en la Fig. 6, una unidad de procesamiento de una corchea se asigna a la entrada de tecla del botón A 11, y una unidad de procesamiento de una corchea se asigna a la entrada de tecla del botón B 12. Una unidad de procesamiento de una negra se asigna a la entrada de tecla del botón X 13 y una unidad de procesamiento de una 15 negra se asigna a la entrada de tecla del botón Y 14.

El ajustador de temporización de producción de sonido 27 adquiere información sobre la temporización de producción de sonido de la melodía del generador de parámetro de acompañamiento 25. En la temporización de producción de sonido (S43; SÍ) el ajustador de temporización de producción de sonido 27 lee el factor de producción de sonido y la unidad de procesamiento de producción de sonido desde la memoria intermedia 28. A través de las etapas 20 antes descritas, el procesador de sonido 26 genera MF.

En la explicación anterior, en la etapa de generación de parámetro de melodía (S13), se deciden la escala, el tiempo de inicio de producción de sonido, y las longitudes de nota. En adición, puede añadirse a los parámetros de melodía, por ejemplo, control de calidad de sonido, control de volumen, control de timbre, y generación de sub-melodía. El control de la calidad de sonido se realiza, por ejemplo, empleando: calidad de sonido fuerte cuando el personaje del 25 jugador se mueve ágilmente; calidad de sonido suave cuando el personaje del jugador se mueve lentamente; calidad de sonido alegre cuando el personaje del jugador entra en un área brillante; calidad de sonido con alternancias cambiantes sutilmente cuando el personaje del jugador da vueltas; o calidad de sonido con cambios de acuerdo con la calidad de sonido del acompañamiento. Así la calidad de sonido cambia según la calidad de sonido del acompañamiento.

El control de volumen se realiza, por ejemplo, de la manera siguiente: aumentando el volumen cuando el 30 personaje del jugador se mueve vigorosamente; bajando el volumen cuando el personaje del jugador se mueve lentamente; aumentando el volumen cuando se aumenta el tanteo de un juego; o ajustando el volumen de acuerdo con el volumen del acompañamiento. El control del timbre se realiza, por ejemplo, de la forma siguiente: cambiando instrumentos musicales (tales como un piano, una guitarra, y un violín) cuando cambia un escenario; cambiando los instrumentos musicales cuando cambia el personaje del jugador; o cambiando los instrumentos musicales cuando 35 aumenta la energía del personaje del jugador. El procesamiento de generación de la sub-melodía se realiza de tal forma que cuando el juego entra en un estado especial tal como un escenario último, se reproduce sobre la melodía una sub-melodía de una escala 3 grados (o 5 grados) más alta (o más baja).

Puede emplearse una estructura tal que la melodía generada en las etapas del procesamiento antes descritas se almacene en la memoria y se reproduzca sin requerir operaciones del jugador. Por ejemplo, la melodía generada 40 cuando el bloque móvil 61 se mueve a la derecha o la izquierda se almacena en la memoria y se reproduce cuando el bloque móvil 61 cae en el espacio virtual 63 o cuando se añade un tanteo por encaje de las proyecciones y depresiones del bloque acumulado 62 con la proyección y depresión del bloque móvil 61.

Como se ha explicado antes, en esta realización, el jugador realiza las operaciones usuales de juego sin prestar mucha atención al hecho de que “la música es generada por sus operaciones”, mientras puede generarse 45 automáticamente MF que vaya de acuerdo al estado del juego mediante operaciones de teclado sencillas. La explicación anterior describe el caso en el que la MF para el juego se genera por las operaciones del jugador. Sin embargo, sin limitación para tal forma, la presente invención puede también emplearse como una forma de un juego musical para competir en términos de superioridad de composiciones musicales que se generan, o como una forma de instrumento musical para arreglar fácilmente una melodía o un acompañamiento de composiciones musicales existentes, 50 o como una forma de sesión entre una multiplicidad de personas a través de una red de comunicaciones tal como una línea telefónica, o como una forma de una herramienta de composición para la finalidad de generar fácilmente una composición musical como un usuario pretenda.

La forma de llevar a cabo una sesión entre una multiplicidad de personas a través de una red de comunicaciones se explica en adelante con referencia a la Fig. 11. La precondición es que un jugador A y un jugador B 55 en sus casas conectan sus diapositivos de juego a la línea telefónica vía MODEM a fin de realizar una sesión a través de la red. En la Fig. 11, los tiempos t1, t4, t6, y t8 son las temporizaciones de producción de sonido de melodía. Cuando un juego se realiza en general a través de la red, es normalmente necesario tomar en consideración el tiempo de retardo (temporizado) de las señales. De acuerdo con ello, el dispositivo de juego acumula las señales desde esotro

dispositivo y lee las señales desde el buffer tras un período de tiempo especificado, conduciendo por ello el procesamiento del juego. Cuando este tiempo de retardo se establece como T (ms), la señal operacional del jugador se procesa en cada dispositivo de juego después del tiempo de retardo T (ms).

La operación de teclado introducida en el tiempo t2 se procesa como señales operacionales por el dispositivo de juego de los jugadores A y B en el tiempo t3 después de un lapso del tiempo de retardo T (ms). Las señales se hacen 5 entre el tiempo t1 y el tiempo t4, y el procesamiento de producción de sonido se lleva a cabo en los sitios de los jugadores respectivos en el tiempo t4. Por otra parte, cuando el dispositivo de juego no está conectado a la red, pero es usado como un dispositivo de juego autónomo, la operación de teclado en el tiempo t2 está sujeta al procesamiento de producción de sonido en el tiempo t4, En consecuencia, en esta realización, se produce una melodía en respuesta a la operación de teclado en la temporización de producción de sonido de melodía que se determine. La producción de la 10 melodía se lleva a cabo sin depender del tiempo de retardo que es característico del juego en red.

Sin embargo, cuando el tiempo de entrada de la operación de teclado está dentro de T (ms) desde la temporización de producción de sonido, la producción de la melodía se lleva a cabo dependiendo del tiempo de retardo. Por ejemplo, suponiendo que el jugador A opera el teclado en el tiempo t5, en el caso en que (t6 – t5) T (ms), la operación de teclado entrada en el tiempo t5 se procesa como las señales operacionales de la operación de teclado por 15 los dispositivo de juego de los jugadores A y B en el tiempo t7 después de un lapso de T (ms). Dado que estas señales están hechas entre los tiempos t6 y t3, el procesamiento de producción de sonido se conduce en los sitios de los jugadores respectivos en el tiempo t8. Sin embargo, el tiempo de retardo T (ms) es suficientemente pequeño para ser ignorado en comparación con los intervalos de las temporizaciones de producción de sonido y, por ello, la producción de la melodía se lleva a cabo sin depender del tiempo de retardo que es característico del juego en red. 20

La descripción anterior explica, como un ejemplo, la operación de teclado por el jugador como el factor de producción de sonido que llega a ser una causa de la producción de melodía. Sin embargo, no hay especial limitación para el factor de producción de sonido en tanto que ocurre de forma discreta en un cierto período de tiempo y es de varios tipos. Por ejemplo, el factor de producción de sonido puede definirse según el estado del juego, por ejemplo, cuando el juego se desarrolla de forma ventajosa para el jugador, cuando el juego se desarrolla de forma desventajosa 25 para el jugador, cuando ocurre algo bueno al jugador, cuando el progreso del juego se hace monótono, cuando el jugador opera las teclas frecuentemente, cuando se completa una cierta serie de escenas del juego, o cuando el jugador se mueve a escenas que requieren operaciones complicadas.

Además, por ejemplo, en un juego de rol o un juego de competición, el factor de producción de sonido puede definirse de acuerdo al estado del juego o los movimientos del personaje del jugador como sigue: cuando el personaje 30 del jugador entra en un escenario brillante; cuando se mueve a un escenario oscuro; cuando está rodeado por personajes enemigos; cuando escapa de un asedio por los personajes enemigos; cuando entra en una zona estrecha; cuando entra en una zona amplia; cuando se pone en pie; cuando cambia su dirección de movimiento; cuando salta; cuando sufre daños; cuando gana un artículo; cuando se mueve vigorosamente; cuando se mueve lentamente; cuando gira; cuando hace movimientos pequeños; cuando hace movimientos grandes; o cuando cae. 35

Es también posible establecer tonalidades anticipadamente para diferentes tipos de factores de producción de sonido. Por ejemplo, el tono “do” se establece para el caso en que el personaje del jugador se levanta, el tono “re” se establece para el caso en que el personaje del jugador cambia la dirección de movimiento, el tono “mi” se establece para el caso en que el personaje del jugador salta. El factor de producción de sonido de la melodía puede también definirse dependiendo de los parámetros, que se cambian o renuevan según sea necesario, de acuerdo con el progreso 40 del juego, tales como el brillo de la pantalla del juego, el número de personajes enemigos, y los tanteos obtenidos por el jugador.

Además, las señales de salida desde los otros dispositivos conectados al juego, tales como señales de salida desde un dispositivo de entrada y salida de sonido y un dispositivo de entrada y salida de imagen tal como una cámara digital y un escáner, pueden definirse como los factores de producción de sonido. Además, señales de interrupción 45 desde los dispositivos periféricos para el software de juego (los dispositivos periféricos tales como dispositivos estándar y dispositivos de expansión) pueden definirse como el factor de producción de sonido. Ejemplos de los dispositivos periféricos incluyen, un controlador estándar de juego, un joystick, un volante, un teclado, un ratón, un controlador en forma de pistola, una memoria de reserva, un monitor de TV, y un módulo de conexión. Si se emplea tal estructura, se genera automáticamente una melodía en sincronización con los parámetros, que se cambian o renuevan según se 50 necesite, de acuerdo con el progreso del juego, los comportamientos de diversos personajes tales como el personaje del jugador y los personajes enemigos, cambios del estado de tales personajes, aumentos y reducciones del número de tales personaje, el número de artículos adquiridos, y los tanteos obtenidos.

En la etapa de generación del parámetro de acompañamiento (S12) y la etapa de generación del parámetro de melodía (S13), el parámetro de melodía y el parámetro de acompañamiento pueden generarse realizando, por ejemplo, 55 las siguientes operaciones: empleando una melodía o acompañamiento alegre o de ritmo alto cuando el juego evoluciona favorablemente para el jugador; empleando una melodía o acompañamiento lúgubre o de ritmo lento; empleando una melodía o acompañamiento animada cuando una buena cosa ocurre al jugador; reduciendo cambios en los modelos de melodía o acompañamiento cuando el juego avanza de forma monótona; aumentando el tempo de la

melodía o acompañamiento cuando el jugador opera las teclas frecuentemente; reduciendo el tempo cuando se han completado unas determinadas series de las escenas del juego; empleando modelos de melodía o acompañamiento cuando el jugador se mueve a escenas que requieren operaciones complicadas.

La anterior descripción explica el caso en el que la MF se genera automáticamente en respuesta a las operaciones de teclado del jugador. Sin embargo, sin limitación para tal método, es posible producir efectos de sonido 5 en sincronización con la temporización de producción de sonido de la MF. Los efectos de sonido son los sonidos que realzan la sensación realista del juego y los efectos acústicos, por ejemplo, sonidos de explosión en un juego de disparos, sonidos de disparo de balas, sonidos de derrapaje de neumáticos en un juego de carreras, sonidos de motor, sonidos de colisión en choques, y sonidos de golpeo de pelota.

La temporización de producción de los efectos de sonido se explica con referencia a la Fig. 12. El método de 10 ajustar la temporización de producción de sonido de los efectos de sonido es similar al de ajustar el tiempo de inico para producir la melodía como antes se ha descrito. En la Fig. 12, los tiempos t1, t3, t4 y t6 son las temporizaciones en las que deberían producirse los efectos de sonido en sincronización con la MF. Los tiempos se determinan usando, como referencia, las unidades de procesamiento tales como una nota negra, una corchea y una semicorchea. Los sonidos de disparos de bala y de explosión se toman como ejemplos de los efectos de sonido en un juego de tiro. La precondición 15 es que la entrada por teclado del jugador y el procesamiento de explosión se definan como los factores de producción de sonido y que el procesamiento del disparo de bala se realice a la vez que la operación de teclado del jugador. En la Fig. 12, el jugador operó las teclas en el momento t2. En un juego usual, el procesamiento de producción de sonido del sonido de disparo de bala se realiza al mismo timpo que la entrada de tecla, esto es, en el tiempo t2. En la presente invención, sin embargo, el tiempo de retardo (t3 – t2) se establece de forma que el efecto de sonido no se produce en el 20 momento t2, sino que se retiene hasta el momento t3 que es la temporización más próxima de producción de sonido, y el sonido se produce entonces.

En la Fig. 12, el procesamiento se realiza para mostrar una imagen de explosión en el momento t5. En un juego usual, el sonido de explosión se produce al mismo tiempo que se muestra la imagen de la explosión, es decir, en el tiempo t5. En la presente invención, sin embargo, el tiempo de retardo (t6 – t5) se establece de forma que el efecto de 25 sonido no se produce en el momento t5, sino que se retiene hasta el momento t6 que es la temporización más próxima de producción de sonido, y el sonido se produce entonces. Por ello, el efecto de sonido no se produce cuando se realiza la entrada de teclado o cuando se muestra la imagen de explosión, sino que se establece un tiempo de inicio para producir el efecto de sonido de forma que el efecto de snido se producirá en la temporización de producción de sonido que se predetermina para toda MF. En consecuencia, el jugador puede hacer una composición musical mientras disfruta 30 del juego sin estar obligado a complicadas operaciones de entrada.

A fin de dar salida al efecto de sonido en sincronización con la MF, el ajustador de temporización de producción de sonido 27 recibe, del procesador de juego 22, los factores de producción de sonido tales como le entrada de teclado y el procesamiento de explosión, escribe la unidad de procesamiento de sonido correspondiente al factor de producción de sonido en la memoria intermedia 28, y suministra los datos al procesador de sonido 26 en sincronización con la 35 temporización de salida del efecto de sonido. Las etapas básicas de procesamiento son como se muestra en la Fig. 5. Los datos a escribir en la memoria intermedia 28 son como se muestra en la Fig. 13. Como se muestra en la Fig. 13, la unidad de procesamiento de una nota corchea se asigna a la entrada de tecla del botón A 11 y a la entrada de tecla del botón B 12 respectivamente. La unidad de procesamiento de una nota semicorchea se asigna al procesamiento de explosión A y al procesamiento de explosión B respectivamente. De acuerdo con ello, el procesador de sonido 26 puede 40 dar salida al efecto de sonido en sincronización con la MF.

Los términos “procesador(es)”, “generador(es)”, “ajustador(es)” y “elementos” usados en esta especificación indican los módulos que se llevan a cabo en el procesamiento de generación automática de composición de música o el procesamiento de generación de MF y no corresponden necesariamente a rutinas específicas de hardware o software. El mismo elemento de hardware desarrolla una pluralidad de“procesador(es)”, “generador(es)”, “ajustador(es)” o 45 “elementos”, mientras que un“procesador”, “generador”, “ajustador” o “elemento” es desarrollado a veces en relación a una pluralidad de elementos de hardware.

La presente invención puede proporcionar una técnica para componer fácilmente la MF sin requerir las operaciones complicadas del jugador. Esta invención también puede proporcionar una técnica para implementar un entorno armonizado de sonido ajustando la temporización de salida de las señales de audio tales como efectos de 50 sonido, en sincronización con la MF.

Claims

REIVINDICACIONES

1. Un producto de programa de ordenador que tiene un programa de ordenador para generar una señal de audio almacenada en un soporte de almacenamiento explotable de ordenador,

en el que el programa de ordenador está adaptado para realizar las etapas de:

detección (S41) de un factor de producción de sonido que es una causa de generación de sonido; y 5

decisión (S43, S44) sobre una temporización de comienzo para producir un sonido que corresponde al factor de producción de sonido, sobre la base de la temporización de música que está siendo reproducida en el momento de generación del factor de producción de sonido.
2. Un producto de programa de ordenador según la reivindicación 1, en el que la etapa de detección detecta una salida de señal operacional de un controlador (10) operado por un jugador como dicho factor de producción de sonido el cual 10 es una causa de generación de efecto sonido para el procesamiento de un juego.
3. Un producto de programa de ordenador según la reivindicación 1, en el que el programa de ordenador está adaptado para llevar a cabo la etapa de generación (S 12) de un acompañamiento que corresponde al estado de un juego; y

generación (S13) de una melodía detectando en la etapa de detección un factor de producción de sonido que es una causa de generación de melodía y decidiendo en la etapa de decisión sobre una temporización de inicio 15 para producir la melodía que corresponde al factor de producción de sonido en base al progreso del acompañamiento en el momento de generación del factor de producción de sonido.
4. Un producto de programa de ordenador según la reivindicación 3, en el que el progreso incluye información sobre una temporización de producción de melodía que está predeterminada para cada acompañamiento.
5. Un producto de programa de ordenador según la reivindicación 3, en el que el programa de ordenador proporciona 20 además la etapa de decisión sobre una escala de la melodía correspondiente al tipo del factor de producción de sonido.
6. Un producto de programa de ordenador según la reivindicación 3, en el que el factor de producción de sonido es una señal operacional desde un controlador (10) operado por un jugador.
7. Un método de suministrar en salida una señal de audio que comprende las etapas de:

detección de un factor de producción de sonido que es una causa de generación de sonido; y 25

decisión sobre una temporización de comienzo para producir un sonido que corresponde al factor de producción de sonido, sobre la base de la temporización de música que está siendo reproducida en el momento de generación del factor de producción de sonido.
8. Un método de suministrar en salida una señal de audio según la reivindicación 7, en el que la etapa de detección detecta una salida de señal operacional desde un controlador operado por un jugador como un factor de producción de 30 sonido que es una causa de generación de efecto de sonido para el procesamiento de un juego.
9. Un método para generar música de fondo que comprende el método de la reivindicación 7, que incluye:

generación (S12) de un acompañamiento que corresponde al estado de un juego; y

generación (S13) de una melodía detectando en la etapa de detección un factor de producción de sonido que es una causa de generación de melodía y decidiendo en la etapa de decisión sobre una temporización de inicio 35 para producir la melodía que corresponde al factor de producción de sonido en base al progreso del acompañamiento en el momento de generación del factor de producción de sonido.
10. Un método para generar música de fondo según la reivindicación 9, en el que el progreso incluye información sobre una temporización de producción de una melodía que está predeterminada para cada acompañamiento.
11. Un método para generar música de fondo según la reivindicación 9, que comprende la etapa de decisión sobre una 40 escala de la melodía correspondiente al tipo del factor de producción de sonido.
12. Un método para generar música de fondo según la reivindicación 9, en el que el factor de producción de sonido es una señal operacional desde un controlador operado por un jugador.
13. Un dispositivo de suministrar en salida una señal de audio que comprende:

elementos de detección (22) para detectar un factor de producción de sonido que es una causa de generación 45 de sonido; y

ajustador de temporización de inicio de producción de sonido (27) para decidir sobre una temporización de inicio para producir un sonido que corresponde al factor de producción de sonido, en base a la temporización de la música que está siendo reproducida en el momento de generación del factor de producción de sonido.
14. Un dispositivo de suministrar en salida una señal de audio según la reivindicación 13, que además comprende un elemento generador de parámetro de acompañamiento (25) para generar un acompañamiento que corresponde al 5 estado de un juego;

en el que dicho temporizador de inicio de producción de sonido está dispuesto para generar una melodía decidiendo sobre una temporización de inicio para producir la melodía que corresponde al factor de producción de sonido, en base al progreso del acompañamiento en el momento de generación del factor de producción de sonido.