ES2952952T3

ES2952952T3 - Procedimiento y aparato para generar una imagen virtual de un punto de vista seleccionado por el usuario, a partir de un conjunto de cámaras con transmisión de imágenes de primer plano y segundo plano a diferentes velocidades de cuadros

Info

Publication number: ES2952952T3
Application number: ES17727719T
Authority: ES
Inventors: Tomohiro Yano; Masahiro Handa; Michio Aizawa; Shogo Mizuno; Katsumasa Tanaka; Akihiro Matsushita; Keisuke Morisawa; Mai Komiyama; Kenichi Fujii; Atsushi Date
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-05-25
Filing date: 2017-05-22
Publication date: 2023-11-07
Anticipated expiration: 2037-05-22
Also published as: CA3101689C; AU2017270402A1; CA3025480A1; JP6833348B2; KR20220018073A; RU2020111209A; CN113938579A; AU2020201759A1; KR20190010651A; KR102357058B1; RU2020111209A3; US20220030215A1; JP2017212593A; EP3466063B1; CA3101689A1; CN113938580A; EP3466063A1; RU2745414C2; EP4231245A2; EP4231245A3

Abstract

Un aparato de procesamiento de información para un sistema genera una imagen de punto de vista virtual basada en datos de imagen obtenidos al realizar imágenes desde una pluralidad de direcciones utilizando una pluralidad de cámaras. El aparato de procesamiento de información incluye una unidad de obtención configurada para obtener una imagen de primer plano basada en una región de objeto que incluye un objeto predeterminado en una imagen capturada para generar una imagen de punto de vista virtual y una imagen de fondo basada en una región diferente de la región de objeto en la imagen capturada. , en donde la imagen de primer plano obtenida y la imagen de fondo obtenida tienen diferentes velocidades de cuadro, y una unidad de salida configurada para generar la imagen de primer plano y la imagen de fondo que se obtienen mediante la unidad de obtención y que están asociadas entre sí. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Procedimiento y aparato para generar una imagen virtual de un punto de vista seleccionado por el usuario, a partir de un conjunto de cámaras con transmisión de imágenes de primer plano y segundo plano a diferentes velocidades de cuadros

Sector técnico

La presente invención se refiere a un aparato de procesamiento de información, un procedimiento para controlar un aparato de procesamiento de información y un programa.

Estado de la técnica anterior

En los últimos años ha llamado la atención una técnica de generación de contenido de punto de vista virtual que utiliza imágenes desde múltiples puntos de vista obtenidas realizando formación de imágenes síncrona desde múltiples puntos de vista mediante diferentes cámaras instaladas en diferentes posiciones. De acuerdo con la técnica de generar contenido de punto de vista virtual utilizando imágenes desde múltiples puntos de vista descrita anteriormente, un usuario puede ver una escena destacada de fútbol o baloncesto en diversos ángulos con sensaciones más realistas en comparación con las imágenes normales.

La generación y exploración del contenido de punto de vista virtual basada en las imágenes desde múltiples puntos de vista puede ser realizada recopilando imágenes capturadas por una pluralidad de cámaras en un procesador de imágenes, realizando procesos que incluyen la generación y representación (rendering, en inglés) de modelos 3D utilizando el procesador de imágenes, y transmitiendo las imágenes procesadas a un terminal de usuario.

Además, PTL 1 da a conocer una técnica para obtener una imagen de primer plano y una imagen de segundo plano basada en formación de imágenes realizada mediante una pluralidad de cámaras y la estimación de una forma 3D de un objetivo utilizando la imagen de primer plano y la imagen de segundo plano.

Sin embargo, en PTL1 no se describe un proceso de asociar la imagen de primer plano y la imagen de segundo plano entre sí basándose en información de tiempo. Por consiguiente, si la imagen de primer plano y la imagen de segundo plano se obtienen individualmente en diferentes puntos de tiempo, el proceso de estimación de una forma 3D no se puede realizar utilizando la imagen de primer plano y la imagen de segundo plano basado en la formación de imágenes en el mismo punto de tiempo.

Lista de citas

Bibliografía de patentes

PTL 1: Patente japonesa abierta a inspección pública n.° 2013-25458

La Patente US 5714997 A da a conocer un sistema de televisión de realidad virtual que incluye un sistema de captura y codificación de vídeo para capturar y codificar las geometrías superficiales y los colores de objetos, y su segundo plano a medida que los objetos interactúan durante un evento de acción en directo que tiene lugar en un espacio de acción en directo; un sistema de captura y codificación de audio para capturar y codificar fuentes de sonido espaciales que emanan del espacio de acción en directo como resultado de que los objetos interactúan en el mismo, así como sonidos ambientales que emanan de una zona periférica alrededor del espacio de acción en directo y las voces de los comentaristas; y un sistema de representación, que responde a dispositivos de entrada manipulados por el espectador, para representar una experiencia visual y auditiva del evento de acción en directo desde la perspectiva de un punto de vista virtual seleccionado por el espectador, relacionado con el espacio de acción en directo.

Otra técnica anterior relevante se encuentra en las Patentes US 2015/054913 A1, US 5 745 126 A, US 2010/026712 A1, US 2013/170557 A1, y US 5710829 A.

Características de la invención

De acuerdo con la presente invención, se da a conocer un aparato de procesamiento de información tal como se especifica en las reivindicaciones adjuntas.

Otras características de la presente invención resultarán evidentes a partir de la siguiente descripción de realizaciones a modo de ejemplo, haciendo referencia a los dibujos adjuntos.

Breve descripción de los dibujos

[Figura 1] La figura 1 es un diagrama que muestra una configuración de un sistema de procesamiento de imágenes.

[Figura 2] La figura 2 es un diagrama de bloques que muestra una configuración funcional de un adaptador de cámara.

[Figura 3] La figura 3 es un diagrama de bloques que muestra una configuración de un procesador de imágenes.

[Figura 4] La figura 4 es un diagrama de bloques que muestra una configuración funcional de un servidor de interfaz de usuario (de front-end server, en inglés).

[Figura 5] La figura 5 es un diagrama de bloques que muestra una configuración de un controlador de entrada de datos incluido en el servidor de interfaz de usuario.

[Figura 6] La figura 6 es un diagrama de bloques que muestra una configuración funcional de una base de datos.

[Figura 7] La figura 7 es un diagrama de bloques que muestra una configuración funcional de un servidor central (back-end, en inglés).

[Figura 8] La figura 8 es un diagrama de bloques que muestra una configuración funcional de una UI de operaciones de cámara virtual.

[Figura 9] La figura 9 es un diagrama que muestra una configuración de conexión de un terminal de usuario final.

[Figura 10] La figura 10 es un diagrama de bloques que muestra una configuración funcional del terminal de usuario final.

[Figura 11] La figura 11 es un diagrama de flujo de un flujo de trabajo completo.

[Figura 12] La figura 12 es un diagrama de flujo de un flujo de trabajo antes de la instalación de la maquinaria.

[Figura 13] La figura 13 es un diagrama de flujo de un flujo de trabajo en el momento de la instalación de la maquinaria.

[Figura 14] La figura 14 es un diagrama de flujo de un flujo de trabajo antes de la formación de imágenes. [Figura 15] La figura 15 es un diagrama de flujo de un flujo de trabajo de comprobación en un momento de formación de imágenes realizado por una estación de control.

[Figura 16] La figura 16 es un diagrama de flujo de un flujo de trabajo de usuario en el momento de la formación de imágenes realizada mediante la UI de operaciones de cámara virtual.

[Figura 17] La figura 17 es un diagrama de secuencia que muestra un proceso completo de calibración en el momento de la instalación.

[Figura 18] La figura 18 es un diagrama de flujo de un funcionamiento del servidor de interfaz de usuario antes de la formación de imágenes.

[Figura 19] La figura 19 es un diagrama de flujo de un funcionamiento de la base de datos antes de la formación de imágenes.

[Figura 20] La figura 20 es un diagrama de flujo de un funcionamiento de la base de datos durante la formación de imágenes.

[Figura 21] La figura 21 es un diagrama de flujo de un proceso de calibración en el momento de la instalación.

[Figura 22A] La figura 22A es un diagrama de secuencia que muestra un proceso de inicio de la formación de imágenes.

[Figura 22B] La figura 22B es un diagrama de secuencia que muestra un proceso de inicio de la formación de imágenes.

[Figura 23] La figura 23 es un diagrama de secuencia que muestra un proceso de generación de información de modelo 3D.

[Figura 24] La figura 24 es un diagrama de flujo del proceso de generación de información de modelo 3D. [Figura 25] La figura 25 es un diagrama de flujo del proceso de generación de información de modelo 3D. [Figura 26] La figura 26 es un diagrama que muestra grupos de puntos de observación.

[Figura 27] La figura 27 es un diagrama que muestra el control de transmisión de derivación.

[Figura 28] La figura 28 es un diagrama que muestra el control de derivación.

[Figura 29] La figura 29 es un diagrama que muestra un flujo de transmisión de datos.

[Figura 30] La figura 30 es un diagrama de flujo de un proceso de reducción de datos de transmisión.

[Figura 31] La figura 31 es un diagrama de flujo de un proceso de generación de archivos.

[Figura 32] La figura 32 es un diagrama de flujo de un proceso de escritura de un archivo en la base de datos.

[Figura 33] La figura 33 es un diagrama de flujo de un proceso de lectura de un archivo en la base de datos.

[Figura 34A] La figura 34A es un diagrama que muestra una imagen capturada.

[Figura 34B] La figura 34B es un diagrama que muestra una imagen capturada.

[Figura 34C] La figura 34C es un diagrama que muestra una imagen capturada.

[Figura 35A] La figura 35A es un diagrama de flujo de la separación entre un primer plano y un segundo plano.

[Figura 35B] La figura 35B es un diagrama de flujo de la separación entre un primer plano y un segundo plano.

[Figura 35C] La figura 35C es un diagrama de flujo de separación entre un primer plano y un segundo plano.

[Figura 35D] La figura 35D es un diagrama de flujo de separación entre un primer plano y un segundo plano.

[Figura 35E] La figura 35E es un diagrama de flujo de separación entre un primer plano y un segundo plano.

[Figura 36] La figura 36 es un diagrama de secuencia que muestra un proceso de generación de una imagen de cámara virtual.

[Figura 37A] La figura 37A es un diagrama que muestra una cámara virtual.

[Figura 37B] La figura 37B es un diagrama que muestra una cámara virtual.

[Figura 38A] La figura 38A es un diagrama de flujo de un proceso de generación de una imagen en directo.

[Figura 38B] La figura 38B es un diagrama de flujo de un proceso de generación de una imagen en directo.

[Figura 39] La figura 39 es un diagrama de flujo de un proceso de generación de una imagen de repetición.

[Figura 40] La figura 40 es un diagrama de flujo de selección de una trayectoria de cámara virtual.

[Figura 41] La figura 41 es un diagrama que muestra una pantalla visualizada por el terminal de usuario final.

[Figura 42] La figura 42 es un diagrama de flujo de un proceso de un funcionamiento manual realizado por una unidad de gestión de aplicaciones.

[Figura 43] La figura 43 es un diagrama de flujo de un proceso de un funcionamiento automático realizado por la unidad de gestión de aplicaciones.

[Figura 44] La figura 44 es un diagrama de flujo de un proceso de representación.

[Figura 45] La figura 45 es un diagrama de flujo de un proceso de generación de una imagen de primer plano.

[Figura 46] La figura 46 es un diagrama que muestra una lista de ajustes generada por el flujo de trabajo realizado después de la instalación.

[Figura 47] La figura 47 es un diagrama de secuencia que muestra un proceso de cambio de información de ajustes realizado por la estación de control.

[Figura 48] La figura 48 es un diagrama de flujo de un proceso de recepción de datos realizado por el servidor de interfaz de usuario.

[Figura 49] La figura 49 es un diagrama de bloques que muestra una configuración de hardware del adaptador de cámara.

Descripción de realización

Un sistema en el que están instaladas una pluralidad de cámaras y una pluralidad de micrófonos para capturar imágenes y recoger sonido en estadios y salas de conciertos se describirá haciendo referencia a un diagrama de una configuración de sistema mostrada en la figura 1. Un sistema 100 de procesamiento de imágenes incluye sistemas de detección 110a a 110z, un servidor informático 200 de imágenes, un controlador 300, un concentrador de conmutación 180 y un terminal de usuario final 190.

El controlador 300 incluye una estación de control 310 y una interfaz de usuario (User Interface, UI) de operaciones 330 de cámara virtual. La estación de control 310 realiza la gestión de los estados operativos, el control de ajustes de parámetros y similares, en bloques incluidos en el sistema 100 de procesamiento de imágenes a través de las redes 310a a 310c, las redes 180a y 180b y las redes 170a a 170y. En este caso, las redes pueden ser GbE (gigabit Ethernet (marca registrada)) o 10 GbE de acuerdo con el estándar IEEE, que es Ethernet o una combinación de una interconexión Infiniband, una Ethernet industrial y similares. Como alternativa, las redes no están limitadas a estas y se pueden emplear otros tipos de redes.

En primer lugar, se describirá una operación de transmisión de 26 conjuntos de imágenes y sonido de los sistemas de detección 110a a 110z desde el sistema de detección 110z al servidor informático 200 de imágenes. En el sistema 100 de procesamiento de imágenes de esta realización, los sistemas de detección 110a a 110z están conectados entre sí en cadena.

En esta realización, los 26 conjuntos de sistemas de los sistemas de detección 110a a 110z no se distinguen entre sí y se describen como un sistema de detección 110 a menos que se describa otra cosa. De manera similar, los dispositivos incluidos en cada uno de los sistemas de detección 110 no se distinguen, y se describen como un micrófono 111, una cámara 112, una plataforma 113 de cámara, un sensor externo 114 y un adaptador 120 de cámara, a menos que se describa otra cosa. Téngase en cuenta que 26, que es el número de sistemas de detección, es simplemente un ejemplo, y el número de sistemas de detección no está limitado a esto. Además, la pluralidad de sistemas de detección 110 pueden no tener la misma configuración y pueden ser diferentes tipos de dispositivos, por ejemplo. Téngase en cuenta que, en esta realización, un término “imagen” incluye un concepto de imagen en movimiento y una imagen fija a menos que se indique otra cosa. Específicamente, el sistema 100 de procesamiento de imágenes de esta realización es capaz de procesar tanto imágenes fijas como imágenes en movimiento. Además, aunque en esta realización se describe principalmente un caso en el que el contenido de punto de vista virtual proporcionado por el sistema 100 de procesamiento de imágenes incluye una imagen de punto de vista virtual y un sonido de punto de vista virtual, la presente invención no está limitada a esto. Por ejemplo, el contenido de punto de vista virtual puede no incluir sonidos. Además, el sonido incluido en el contenido de punto de vista virtual puede ser recogido por un micrófono colocado lo más cerca posible de un punto de vista virtual, por ejemplo. Además, aunque la descripción del sonido está omitida parcialmente para simplificar la descripción en esta realización, una imagen y un sonido se procesan básicamente al mismo tiempo.

Los sistemas de detección 110a a 110z tienen cámaras respectivas 112a a 112z. Específicamente, el sistema 100 de procesamiento de imágenes incluye una pluralidad de cámaras 112 para capturar imágenes de un objeto desde una pluralidad de direcciones. Aunque la pluralidad de cámaras 112 se describen con los mismos números de referencia, las capacidades y los tipos de las cámaras 112 pueden ser diferentes entre sí. La pluralidad de sistemas de detección 110 están conectados entre sí en cadena. Con este modo de conexión, se pueden conseguir resultados de reducción de la cantidad de cables de conexión y reducción del trabajo de cableado cuando se aumenta la cantidad de datos de imagen debido a una alta resolución y a una alta velocidad de cuadros necesarias para 4K u 8K de imágenes capturadas.

Téngase en cuenta que la forma de conexión no está limitada a esto y se puede emplear una configuración de red de tipo estrella, en la que los sistemas de detección 110a a 110z están conectados individualmente al concentrador de conmutación 180 y realizan transmisión y recepción de datos a través del concentrador de conmutación 180.

Si bien todos los sistemas de detección 110a a 110z están conectados mediante conexiones en cascada, de modo que la conexión en cadena está configurada en la figura 1, la forma de conexión no está limitada a esto. Por ejemplo, la pluralidad de sistemas de detección 110 se puede dividir en grupos y los sistemas de detección 110 se pueden conectar mediante la conexión en cadena en una unidad de grupo obtenida mediante la división. A continuación, los adaptadores 120 de cámara que sirven como terminales de las unidades de división pueden ser conectados al concentrador de conmutación 180 para que las imágenes sean suministradas al servidor informático 200 de imágenes. Dicha configuración es particularmente eficaz en los estadios. Aquí, se supone que un estadio tiene varios pisos y los sistemas de detección 110 están instalados en los pisos individuales. En este caso, la entrada al servidor informático 200 de imágenes puede ser realizada para cada piso o para cada semicircunferencia del estadio y, por consiguiente, la instalación de los sistemas de detección 110 se puede simplificar y el sistema 100 de procesamiento de imágenes puede ser flexible incluso en una ubicación en la que el cableado de todos los sistemas de detección 110 mediante una conexión en cadena es difícil.

Además, el control de un proceso de imagen realizado por el servidor informático 200 de imágenes se cambia dependiendo del resultado de una determinación de si el número de adaptadores 120 de cámara que están conectados entre sí en cadena y que realizan la entrada de imágenes al servidor informático 200 de imágenes es 1 o 2, o más. Específicamente, el control se modifica dependiendo del resultado de la determinación de si los sistemas de detección 110 están divididos en una pluralidad de grupos. En un caso en el que solo un adaptador 120 de cámara realiza entrada de imágenes, se genera una imagen de la totalidad del estadio, mientras la transmisión de imágenes se realiza mediante la conexión en cadena y, por lo tanto, las temporizaciones en que el servidor informático 200 de imágenes obtiene datos de imagen para la totalidad del estadio están sincronizados. Específicamente, si los sistemas de detección 110 no están divididos en grupos, se consigue la sincronización.

Sin embargo, en caso de que se utilicen una pluralidad de adaptadores 120 de cámara para la entrada de imágenes, durante un período desde que se captura una imagen hasta que se introduce la imagen en el servidor informático 200 de imágenes pueden ocurrir diferentes retardos en diferentes caminos (trayectorias) de la conexión en cadena. Específicamente, cuando los sistemas de detección 110 están divididos en grupos, las temporizaciones en que el servidor informático 200 de imágenes obtiene datos de imagen para la totalidad del estadio pueden no estar sincronizadas. Por lo tanto, en el servidor informático 200 de imágenes, se debe realizar un proceso de imágenes en una fase posterior, mientras se comprueba una masa de datos de imagen mediante control de sincronización, en el que la sincronización se realiza esperando datos de imagen para la totalidad del estadio.

En esta realización, el sistema de detección 110a incluye un micrófono 111a, una cámara 112a, una plataforma 113a de cámara, un sensor externo 114a y un adaptador 120a de cámara. Téngase en cuenta que la configuración no está limitada a esto, siempre que el sistema de detección 110a incluya, como mínimo, un adaptador 120a de cámara y una cámara 112a o un micrófono 111a. Además, el sistema de detección 110a puede incluir un adaptador 120a de cámara y una pluralidad de cámaras 112a, o incluir una cámara 112a y una pluralidad de adaptadores 120a de cámara, por ejemplo. Específicamente, la pluralidad de cámaras 112 y la pluralidad de adaptadores 120 de cámara incluidos en el sistema 100 de procesamiento de imágenes tienen una relación de N:M (N y M son números enteros no menores de 1). Además, el sistema de detección 110 puede incluir dispositivos, además del micrófono 111a, la cámara 112a, la plataforma 113a de cámara y el adaptador 120a de cámara. Además, la cámara 112 y el adaptador 120 de cámara pueden estar integrados entre sí. Además, un servidor de interfaz de usuario 230 puede tener, como mínimo, una parte de una función del adaptador 120 de cámara. Puesto que los sistemas de detección 110b a 110z tienen configuraciones iguales a las del sistema de detección 110a, se omiten las descripciones de las configuraciones de los sistemas de detección 110b a 110z. Téngase en cuenta que las configuraciones no están limitadas a la configuración del sistema de detección 110a, y los diferentes sistemas de detección 110 pueden tener configuraciones diferentes.

El sonido recogido por el micrófono 111a y una imagen capturada por la cámara 112a son sometidos al procesamiento de imágenes, descrito a continuación, realizado por el adaptador 120a de cámara antes de ser transmitidos a un adaptador 120b de cámara incluido en el sistema de detección 110b a través de una conexión en cadena 170a. De manera similar, el sistema de detección 110b transmite el sonido recogido y una imagen capturada, además de la imagen y el sonido suministrados desde el sistema de detección 110a, al sistema de detección 110c.

Realizando continuamente el funcionamiento descrito anteriormente, las imágenes y el sonido obtenidos por los sistemas de detección 110a a 110z son transmitidos al concentrador de conmutación 180 desde el sistema de detección 110z a través de la red 180b antes de ser transmitidos al servidor informático 200 de imágenes.

Téngase en cuenta que, si bien las cámaras 112a a 112z están separadas de los adaptadores 120a a 120z de cámara en esta realización, las cámaras 112a a 112z y los adaptadores 120a a 120z de cámara pueden estar integrados en las mismas cajas. En este caso, los micrófonos 111a a 111z pueden estar incorporados en la cámara integrada 112 o conectados externamente a la cámara 112.

A continuación, se describirá una configuración y un funcionamiento del servidor informático 200 de imágenes. El servidor informático 200 de imágenes de esta realización procesa los datos obtenidos del sistema de detección 110z. El servidor informático 200 de imágenes incluye el servidor de interfaz de usuario 230, una base 250 de datos (en lo sucesivo también denominada “DB”, Data Base), un servidor central 270 y un servidor 290 de tiempo.

El servidor 290 de tiempo tiene la función de suministrar un tiempo y una señal de sincronización, y suministra un tiempo y una señal de sincronización a los sistemas de detección 110a a 110z a través del concentrador de conmutación 180. Los adaptadores 120a a 120z de cámara que han recibido el tiempo y la señal de sincronización realiza el bloqueo del generador (Generator Locking, Genlock) en las cámaras 112a a 112z basándose en el tiempo y la señal de sincronización para realizar sincronización de los cuadros de imagen. Específicamente, el servidor 290 de tiempo sincroniza las temporizaciones de formación de imágenes de la pluralidad de cámaras 112. Con esto, el sistema 100 de procesamiento de imágenes puede generar una imagen de punto de vista virtual basada en una pluralidad de imágenes capturadas en la misma temporización y, por lo tanto, se puede suprimir la degradación de la calidad de la imagen de punto de vista virtual causada por una diferencia entre las temporizaciones de formación de imágenes. Aunque el servidor 290 de tiempo gestiona la sincronización de tiempo de la pluralidad de cámaras 112 en esta realización, la presente invención no está limitada a esto y las cámaras individuales 112 o los adaptadores 120 de cámara individuales pueden realizar un proceso para la sincronización de tiempo.

El servidor de interfaz de usuario 230 reconstruye paquetes de transmisión segmentados, utilizando imágenes y sonido obtenidos del sistema de detección 110z, y transforma un formato de datos antes de escribir las imágenes y el sonido en la base 250 de datos de acuerdo con los identificadores de las cámaras, tipos de datos y números de cuadros.

A continuación, el servidor central 270 recibe la especificación de un punto de vista desde la UI de operaciones 330 de cámara virtual, lee una imagen y datos de sonido de la base 250 de datos de acuerdo con el punto de vista recibido y genera una imagen de punto de vista virtual realizando un proceso de representación.

La configuración del servidor informático 200 de imágenes no está limitada a esto. Por ejemplo, como mínimo, dos del servidor de interfaz de usuario 230, la base 250 de datos y el servidor central 270 pueden estar integrados. Además, como mínimo, uno del servidor de interfaz de usuario 230, la base 250 de datos y el servidor central 270 pueden estar incluidos en plural en el servidor informático 200 de imágenes. Un dispositivo distinto de los dispositivos descritos anteriormente puede estar incluido en una posición arbitraria del servidor informático 200 de imágenes. Además, el terminal de usuario final 190 o la Ui de operaciones 330 de cámara virtual pueden tener, como mínimo, algunas de las funciones del servidor informático 200 de imágenes.

Una imagen que ha sido sometida al proceso de representación es transmitida desde el servidor central 270 al terminal de usuario final 190, de modo que un usuario que maneja el terminal de usuario final 190 pueda ver la imagen y escuchar el sonido correspondiente a un punto de vista especificado. Específicamente, el servidor central 270 genera contenido de punto de vista virtual basado en imágenes capturadas por la pluralidad de cámaras 112 (imágenes desde múltiples puntos de vista) y en información de puntos de vista. Más específicamente, el servidor central 270 genera contenido de punto de vista virtual basado en datos de imagen de una determinada zona, extraídos por la pluralidad de adaptadores 120 de cámara de las imágenes capturadas por la pluralidad de cámaras 112 y en un punto de vista especificado por una operación de usuario. El servidor central 270 suministra el contenido de punto de vista virtual generado al terminal de usuario final 190. La extracción de una cierta zona realizada por los adaptadores 120 de cámara se describirá en detalle a continuación. Téngase en cuenta que el contenido de punto de vista virtual es generado por el servidor informático 200 de imágenes en esta realización y, en concreto, se describirá principalmente un caso en el que el contenido de punto de vista virtual es generado por el servidor central 270. Sin embargo, el contenido de punto de vista virtual puede ser generado por un dispositivo incluido en el servidor informático 200 de imágenes distinto del servidor central 270, o puede ser generado por el controlador 300 o el terminal de usuario final 190.

El contenido de punto de vista virtual de esta realización incluye una imagen de punto de vista virtual obtenida cuando se forman imágenes de un objetivo desde un punto de vista virtual. En otras palabras, la imagen de punto de vista virtual representa una vista desde el punto de vista especificado. Un punto de vista virtual puede ser especificado por un usuario o puede ser especificado automáticamente basándose en un resultado de análisis de imagen o similar. Específicamente, ejemplos de la imagen de punto de vista virtual incluyen una imagen de punto de vista arbitrario (una imagen de punto de vista libre) correspondiente a un punto de vista especificado arbitrariamente por un usuario. Los ejemplos de la imagen de punto de vista virtual incluyen, además, una imagen correspondiente a un punto de vista especificado por un usuario, de entre una pluralidad de candidatos, y una imagen correspondiente a un punto de vista especificado automáticamente por un dispositivo. Aunque un caso en el que el contenido de punto de vista virtual incluye datos de sonido (datos de audio) se describe principalmente como un ejemplo en esta realización, los datos de sonido pueden no estar incluidos en el contenido de punto de vista virtual. Además, el servidor central 270 puede realizar codificación de compresión sobre la imagen de punto de vista virtual, de acuerdo con un procedimiento de codificación, tal como H.264 o HEVC, antes de transmitir la imagen de punto de vista virtual al terminal de usuario final 190 utilizando un protocolo de MPEG-DASH. Además, la imagen de punto de vista virtual puede ser transmitida al terminal de usuario final 190 sin compresión. En concreto, el primer procedimiento que utiliza la codificación de compresión se emplea cuando se utiliza un teléfono inteligente o una tableta como terminal de usuario final 190, mientras que el último procedimiento sin compresión se emplea cuando se utiliza una pantalla capaz de mostrar una imagen sin comprimir. Específicamente, un formato de imagen se puede cambiar de acuerdo con el tipo de terminal de usuario final 190. Además, el protocolo de transmisión de una imagen no está limitado a MPEG-DASH; se puede utilizar transmisión en continuo de HTTP (HTTP Live Streaming, HLS) u otros procedimientos de transmisión.

Tal como se describió anteriormente, el sistema 100 de procesamiento de imágenes tiene tres dominios funcionales, es decir, un dominio de recopilación de vídeo, un dominio de almacenamiento de datos y un dominio de generación de vídeo. El dominio de recopilación de vídeo incluye los sistemas de detección 110a a 110z, el dominio de almacenamiento de datos incluye la base 250 de datos, el servidor de interfaz de usuario 230 y el servidor central 270, y el dominio de generación de vídeo incluye la UI de operaciones 330 de cámara virtual y el terminal de usuario final 190. La configuración no está limitada a esto, y la UI de operaciones 330 de cámara virtual puede obtener directamente imágenes de los sistemas de detección 110a a 110z, por ejemplo. Sin embargo, en esta realización se emplea un procedimiento para disponer la función de almacenamiento de datos en una parte intermedia en lugar del procedimiento para obtener imágenes directamente de los sistemas de detección 110a a 110z. Específicamente, el servidor de interfaz de usuario 230 transforma datos de imagen y datos de sonido generados por los sistemas de detección 110a a 110z y metadatos de los datos en un esquema común y un tipo de datos común de la base 250 de datos. Con esto, incluso si un tipo de cámaras 112 de los sistemas de detección 110a a 110z se cambia a otro tipo, la diferencia en el cambio puede ser absorbida por el servidor de interfaz de usuario 230 y registrada en la base 250 de datos. Por consiguiente, se puede reducir la posibilidad de que la UI de operaciones 330 de cámara virtual no funcione adecuadamente cuando un tipo de las cámaras 112 se cambia a otro tipo.

Además, la UI de operaciones 330 de cámara virtual no accede directamente a la base 250 de datos, sino que accede a la base 250 de datos a través del servidor central 270. El servidor central 270 realiza un proceso común asociado con un proceso de generación de imágenes, y la UI de operaciones 330 de cámara virtual procesa una parte diferente de una aplicación asociada con una UI de operaciones. Por consiguiente, es posible centrarse en el desarrollo de la UI de operaciones 330 de cámara virtual, el desarrollo de un dispositivo de funcionamiento de UI y el desarrollo de los requisitos funcionales de una UI para accionar la generación de una imagen de punto de vista virtual. Además, el servidor central 270 puede añadir o eliminar un proceso común asociado con un proceso de generación de imágenes en respuesta a una solicitud proporcionada desde la UI de operaciones 330 de cámara virtual. De este modo, una solicitud proporcionada desde la UI de operaciones 330 de cámara virtual es tratada con flexibilidad.

Tal como se describió anteriormente, el servidor central 270 genera una imagen de punto de vista virtual basada en datos de imagen obtenidos por la formación de imágenes realizada por la pluralidad de cámaras 112 para capturar imágenes de un objetivo desde una pluralidad de direcciones en el sistema 100 de procesamiento de imágenes. La configuración del sistema 100 de procesamiento de imágenes de esta realización no está limitada a la configuración física descrita anteriormente, y el sistema 100 de procesamiento de imágenes puede ser configurado de manera lógica. Además, aunque en esta realización se describe una técnica para generar una imagen de punto de vista virtual basada en imágenes capturadas por las cámaras 112, esta realización puede ser empleada en un caso en el que se genera una imagen de punto de vista virtual en base a imágenes generadas por gráficos de ordenador, en lugar de imágenes capturadas, por ejemplo.

A continuación, se describirá un diagrama de bloques funcional de nodos (el adaptador 120 de cámara, el servidor de interfaz de usuario 230, la base 250 de datos, el servidor central 270, la UI de operaciones 330 de cámara virtual y el terminal de usuario final 190) en el sistema de la figura 1.

Un bloque funcional del adaptador 120 de cámara en esta realización se describe haciendo referencia a la figura 2. Téngase en cuenta que un flujo de datos entre los bloques funcionales de los adaptadores 120 de cámara se describirá en detalle a continuación haciendo referencia a la figura 29.

El adaptador 120 de cámara incluye un adaptador 06110 de red, una unidad 06120 de transmisión, un procesador 06130 de imágenes y un controlador 06140 de dispositivos externos. El adaptador 06110 de red incluye una unidad 06111 de transmisión/recepción de datos y un controlador 06112 de tiempo.

La unidad 06111 de transmisión/recepción de datos realiza comunicación de datos con otros adaptadores 120 de cámara, el servidor de interfaz de usuario 230, el servidor 290 de tiempo y la estación de control 310 a través de una conexión en cadena 170 y de las redes 291 y 310a. Por ejemplo, la unidad 06111 de transmisión/recepción de datos emite una imagen de primer plano y una imagen de segundo plano en una imagen capturada por la cámara 112, que están separadas por una unidad de separación de primer plano/segundo plano 06131, a uno de los otros adaptadores 120 de cámara, por ejemplo. El adaptador 120 de cámara que sirve como destino de salida es uno de los adaptadores 120 de cámara incluidos en el sistema 100 de procesamiento de imágenes que se van a procesar en un orden predeterminado determinado de acuerdo con un proceso realizado por un procesador 06122 de enrutamiento de datos. Los adaptadores de cámara individuales 120 emiten imágenes de primer plano e imágenes de segundo plano, y se genera una imagen de punto de vista virtual en base a las imágenes de primer plano y las imágenes de segundo plano capturadas desde una pluralidad de puntos de vista. Téngase en cuenta que los adaptadores 120 de cámara pueden no emitir imágenes de segundo plano, sino imágenes de primer plano separadas de las imágenes capturadas.

El controlador 06112 de tiempo que cumple con OrdinaryClock, basado en el estándar IEEE 1588, por ejemplo, tiene la función de almacenar una marca de tiempo de los datos que se transmiten a, y reciben del servidor 290 de tiempo, y realiza sincronización de tiempo con el servidor 290 de tiempo. El controlador 06112 de tiempo puede realizar la sincronización de tiempo con el servidor 290 de tiempo de acuerdo con otros estándares, tal como el estándar EtherAVB o un protocolo único, en lugar del estándar IEEE 1588. Aunque en esta realización se utiliza una tarjeta de interfaz de red (Network Interface Card, NIC) como adaptador 06110 de red, se pueden utilizar otras interfaces similares en lugar de la NIC. Además, el IEEE 1588 se actualiza como estándares, tales como el IEEE 1588-2002 o el IEEE 1588-2008, y el IEEE 1588-2008 también se conoce como “protocolo de tiempo de precisión versión 2 (PTPv2)”.

La unidad 06120 de transmisión tiene la función de controlar la transmisión de datos al concentrador de conmutación 180 y similares, a través del adaptador 06110 de red, y tiene las siguientes unidades funcionales.

Una unidad 06121 de compresión/descompresión de datos tiene una función de comprimir los datos transmitidos y recibidos a través de la unidad 06111 de transmisión/recepción de datos utilizando un procedimiento de compresión predeterminado, una tasa de compresión predeterminada y una velocidad de cuadros predeterminada y una función de descomprimir los datos comprimidos.

El procesador 06122 de enrutamiento de datos determina los destinos de enrutamiento de los datos recibidos por la unidad 06111 de transmisión/recepción de datos y los datos procesados por el procesador 06130 de imágenes, utilizando datos almacenados en una unidad 06125 de almacenamiento de información de enrutamiento de datos que se describirá a continuación. El procesador 06122 de enrutamiento de datos tiene, además, la función de transmitir datos a un destino de enrutamiento determinado. El destino de enrutamiento corresponde preferentemente a uno de los adaptadores 120 de cámara que corresponde a una de las cámaras 112 que enfoca el mismo punto de observación en términos de procesamiento de imágenes, puesto que la correlación de cuadros de imagen entre las cámaras 112 es alta. El orden de los adaptadores 120 de cámara que emiten las imágenes de primer plano y las imágenes de segundo plano de manera retransmitida en el sistema 100 de procesamiento de imágenes, se determina de acuerdo con determinaciones realizadas por el procesador 06122 de enrutamiento de datos de la pluralidad de adaptadores 120 de cámara.

Un controlador 06123 de sincronización de tiempo se ajusta a un protocolo de tiempo de precisión (Precision Time Protocol, PTP) del estándar IEEE 1588 y tiene la función de realizar un proceso asociado con la sincronización de tiempo con el servidor 290 de tiempo. El controlador 06123 de sincronización de tiempo puede realizar la sincronización de tiempo utilizando, en lugar del PTP, otros protocolos similares.

Un procesador de transmisión de imagen/sonido 06124 tiene la función de generar un mensaje para transferir datos de imagen o datos de sonido a uno de los otros adaptadores 120 de cámara o al servidor de interfaz de usuario 230, a través de la unidad 06111 de transmisión/recepción de datos. El mensaje incluye los datos de imagen o los datos de sonido, y los metadatos de los datos de imagen o los datos de sonido. Los metadatos de esta realización incluyen un código de tiempo obtenido en el momento en que se captura una imagen o se muestrea un sonido, o un número de secuencia, un tipo de datos y un identificador de la cámara 112 o del micrófono 111. Téngase en cuenta que los datos de imagen a transmitir o los datos de sonido a transmitir pueden ser comprimidos por la unidad 06121 de compresión/descompresión de datos. Además, el procesador de transmisión de imagen/sonido 06124 recibe un mensaje a través de la unidad 06111 de transmisión/recepción de datos desde uno de los otros adaptadores 120 de cámara. Posteriormente, el procesador de transmisión de imagen/sonido 06124 realiza la restauración de la información de datos que está fragmentada en un tamaño de paquete prescrito mediante un protocolo de transmisión para obtener datos de imagen o datos de sonido de acuerdo con un tipo de datos incluido en el mensaje. Téngase en cuenta que, en caso de que los datos estén en un estado comprimido después de ser restaurados, la unidad 06121 de compresión/descompresión de datos realiza el proceso de descompresión.

La unidad 06125 de almacenamiento de información de enrutamiento de datos tiene la función de almacenar información de dirección para determinar un destino de transmisión de datos transmitidos o recibidos por la unidad 06111 de transmisión/recepción de datos. A continuación se describirá un procedimiento de enrutamiento.

El procesador 06130 de imágenes tiene una función de realizar un proceso sobre los datos de imagen capturados por la cámara 112 y los datos de imagen suministrados desde uno de los otros adaptadores 120 de cámara, bajo el control de un controlador 06141 de cámara, y tiene unidades funcionales descritas a continuación.

La unidad de separación de primer plano/segundo plano 06131 tiene la función de separar entre sí una imagen de primer plano y una imagen de segundo plano, en los datos de imagen capturada por la cámara 112. Específicamente, cada uno de la pluralidad de adaptadores 120 de cámara funciona como un dispositivo de procesamiento de imágenes que extrae una zona predeterminada de una imagen capturada por una correspondiente de la pluralidad de cámaras 112. La zona predeterminada es una imagen de primer plano obtenida como resultado de la detección de objetos realizada sobre una imagen capturada, por ejemplo. La unidad de separación de primer plano/segundo plano 06131 separa entre sí una imagen de primer plano y una imagen de segundo plano en una imagen capturados mediante la extracción. Téngase en cuenta que el objeto corresponde a una persona, por ejemplo. El objeto puede ser una persona específica (un jugador, un entrenador y/o un árbitro) o puede ser una pelota o una portería que tiene un patrón de imágenes predeterminado. Alternativamente, un cuerpo en movimiento puede ser detectado como el objeto. Cuando una imagen de primer plano que incluye un objeto importante, tal como una persona, y una zona de segundo plano que no incluye un objeto tan importante son procesadas después de ser separadas entre sí, se puede mejorar la calidad de una imagen de una parte correspondiente al objeto en una imagen de punto de vista virtual generada en el sistema 100 de procesamiento de imágenes. Además, la separación entre una imagen de primer plano y una imagen de segundo plano es realizada por cada uno de los adaptadores 120 de cámara, de modo que se puede dispersar una carga en el sistema 100 de procesamiento de imágenes que incluye la pluralidad de cámaras 112. Téngase en cuenta que la zona predeterminada puede ser una imagen de segundo plano, por ejemplo, en lugar de una imagen de primer plano.

Una unidad de generación de información de modelo 3D 06132 tiene una función de generar información de imagen asociada con un modelo 3D de acuerdo con un principio de cámara estéreo, por ejemplo, utilizando una imagen de primer plano separada por la unidad de separación de primer plano/segundo plano 06131 y una imagen de primer plano suministrada desde uno de los otros adaptadores 120 de cámara.

Un controlador de calibración 06133 tiene la función de obtener los datos de imagen necesarios para la calibración desde la cámara 112 por medio del controlador 06141 de cámara, y de transmitir los datos de imagen al servidor de interfaz de usuario 230, que realiza un proceso de cálculo asociado con la calibración. La calibración de esta realización es un proceso de asociación de parámetros con las cámaras individuales 112 para conseguir concordancia. Como calibración, se realiza, por ejemplo, un proceso para realizar el control de tal manera que los sistemas de coordenadas globales de las cámaras 112 instaladas concuerden entre sí, y un proceso de corrección de color para suprimir la variación de color entre las cámaras 112. Téngase en cuenta que el contenido de procesamiento concreto de la calibración no está limitado a esto. Además, aunque en esta realización el proceso de cálculo asociado con la calibración es realizado por el servidor de interfaz de usuario 230, el nodo que realiza el proceso de cálculo no está limitado al servidor de interfaz de usuario 230. Por ejemplo, el proceso de cálculo puede ser realizado por otro nodo, tal como la estación de control 310 o el adaptador 120 de cámara (incluidos los otros adaptadores 120 de cámara). El controlador de calibración 06133 tiene la función de realizar la calibración de los datos de imagen suministrados desde la cámara 112 por medio del controlador 06141 de cámara durante la formación de imágenes, de acuerdo con un parámetro preestablecido (calibración dinámica).

El controlador 06140 de dispositivos externos tiene una función de controlar los dispositivos conectados al adaptador 120 de cámara, y tiene bloques funcionales descritos a continuación.

El controlador 06141 de cámara está conectado a la cámara 112 y tiene la función de realizar el control de la cámara 112, la obtención de una imagen capturada, el suministro de la señal de sincronización y el ajuste de un tiempo. El control de la cámara 112 incluye ajustes y referencias de parámetros de formación de imágenes (ajustes del número de píxeles, profundidad de color, velocidad de cuadros, balance de blancos y similares), una obtención de un estado de la cámara 112 (estados de formación de imágenes, parada, sincronización, un error y similares), inicio e interrupción de la formación de imágenes, ajuste del enfoque y similares. Téngase en cuenta que, aunque en esta realización el ajuste del enfoque se realiza a través de la cámara 112, cuando se fija una lente desmontable a la cámara 112, el adaptador 120 de cámara puede ser conectado a la lente para ajustar directamente la lente. Además, el adaptador 120 de cámara puede realizar el ajuste de la lente, tal como el zum, a través de la cámara 112. El suministro de una señal de sincronización se realiza cuando se suministra una temporización de formación de imágenes (un reloj de control) a la cámara 112 utilizando un tiempo en el que el controlador 06123 de sincronización de tiempo está sincronizado con el servidor 290 de tiempo. La configuración del tiempo se realiza proporcionando el tiempo cuando el controlador 06123 de sincronización de tiempo está sincronizado con el servidor 290 de tiempo, como un código de tiempo que se ajusta a un formato de SMPTE12M, por ejemplo. Con esto, se asigna un código de tiempo asignado a los datos de imagen suministrados desde la cámara 112. Téngase en cuenta que el formato del código de tiempo no está limitado a SMPTE12M, y se pueden emplear otros formatos. Además, el controlador 06141 de cámara no puede asignar el código de tiempo a la cámara 112 pero puede asignar el código de tiempo a los datos de imagen suministrados desde la cámara 112.

Un controlador 06142 de micrófono está conectado al micrófono 111 y tiene una función de realizar el control del micrófono 111, iniciar y detener la recogida de sonido, obtener los datos de sonido recogidos y similares. El control del micrófono 111 incluye control de ganancia, obtención de un estado y similares. Al igual que con el controlador 06141 de cámara, el controlador 06142 de micrófono proporciona una temporización de muestreo de sonido y un código de tiempo, al micrófono 111. Como información de reloj que indica la temporización de muestreo de sonido, la información de tiempo suministrada desde el servidor 290 de tiempo es transformada en un reloj de sincronización (word clock) de 48 KHz, por ejemplo, y suministrada al micrófono 111.

Un controlador 06143 de plataforma de cámara está conectado a la plataforma 113 de cámara y tiene la función de controlar la plataforma 113 de cámara. Ejemplos de control de la plataforma 113 de cámara incluyen control de movimiento horizontal/vertical y obtención de estado.

Un controlador 06144 de sensor está conectado al sensor externo 114 y tiene la función de obtener información del sensor detectada por el sensor externo 114. Si se utiliza un sensor giroscópico como sensor externo 114, por ejemplo, se puede obtener información que indica oscilación. Utilizando la información sobre la oscilación obtenida por el controlador 06144 de sensor, el procesador 06130 de imágenes puede generar una imagen que se ve menos afectada por la oscilación de la cámara 112 antes del proceso realizado por la unidad de separación de primer plano/segundo plano 06131. La información de oscilación se utiliza cuando los datos de imagen obtenidos por una cámara de 8K son extraídos en un tamaño menor que un tamaño de 8K original, teniendo en cuenta la información de oscilación, y el posicionamiento se realiza con una imagen de la cámara 112 instalada junto a la cámara objetivo 112. Por consiguiente, incluso si la oscilación de la estructura de un edificio se transmite a las cámaras 112 en diferentes frecuencias, esta función del adaptador 120 de cámara realiza el posicionamiento. Como resultado, se pueden generar datos de imagen que se ven menos afectados por el proceso de imagen (prevenido electrónicamente), y se puede obtener un resultado de reducción de la carga de procesamiento del posicionamiento realizado para un número de cámaras 112 en el servidor informático 200 de imágenes. Téngase en cuenta que el sensor del sistema de detección 110 no está limitado al sensor externo 114, y se puede obtener el mismo resultado incluso si el sensor está incorporado en el adaptador 120 de cámara.

La figura 3 es un diagrama de bloques funcional que muestra el procesador 06130 de imágenes incluido en el adaptador 120 de cámara. El controlador de calibración 06133 realiza un proceso de corrección de color sobre las imágenes de entrada para suprimir la variación de color entre las cámaras 112, y un proceso de corrección del desenfoque (un proceso de control de la vibración electrónica) sobre las imágenes de entrada para estabilizar las imágenes, reduciendo el desenfoque de las imágenes causado por la vibración de las cámaras 112.

A continuación se describirá un bloque funcional de la unidad de separación de primer plano/segundo plano 06131. Una unidad de separación de primer plano 05001 realiza un proceso de separación de una imagen de primer plano comparando los datos de imagen obtenidos después del posicionamiento realizado sobre una imagen capturada por la cámara 112 con una imagen de segundo plano 05002.

Una unidad de actualización de segundo plano 05003 genera una nueva imagen de segundo plano utilizando la imagen de segundo plano 05002 y la imagen que ha sido sometida al posicionamiento, y que es capturada por la cámara 112, y actualiza la imagen de segundo plano 05002 mediante la nueva imagen de segundo plano.

Una unidad de extracción de segundo plano 05004 realiza el control para extraer una parte de la imagen de segundo plano 05002. En este caso, se describirá una función de la unidad de generación de información de modelo 3D 06132.

Un procesador de modelo 3D 05005 genera sucesivamente información de imagen asociada con un modelo 3D de acuerdo con el principio de cámara estéreo, por ejemplo, utilizando la imagen de primer plano separada por la unidad de separación de primer plano 05001 y la imagen de primer plano capturada por una de las otras cámaras 112, suministradas a través de la unidad 06120 de transmisión.

Una unidad 05006 de recepción de primer plano de una cámara diferente recibe una imagen de primer plano obtenida por medio de la separación de primer plano/segundo plano realizada por uno de los otros adaptadores 120 de cámara.

Una unidad 05007 de recepción de parámetros de cámara recibe parámetros internos exclusivos de cada cámara (incluidos parámetros de distancia focal, un centro de imagen y una distorsión de la lente), y parámetros externos que indican una posición/orientación de cada cámara. Estos parámetros son información obtenida mediante un proceso de calibración descrito a continuación, y que la estación de control 310 transmite al adaptador 120 de cámara y configura en el mismo. Posteriormente, el procesador de modelo 3D 05005 genera información de modelo 3D utilizando la unidad 05007 de recepción de parámetros de cámara y la unidad 05006 de recepción de primer plano de una cámara diferente.

La figura 4 es un diagrama de bloques funcional que muestra el servidor de interfaz de usuario 230. Un controlador 02110 está constituido por una CPU y un medio de almacenamiento, tal como una memoria dinámica de acceso aleatorio (Dynamic Random Access Memory, DRAM), una unidad de disco duro (Hard Disk Drive, HDD) que almacena datos de programas y diversos datos, o una memoria AND invertida (Inverted AND, NAND), y hardware, tal como Ethernet. A continuación, el controlador 02110 controla diversos bloques incluidos en el servidor de interfaz de usuario 230 y un sistema completo del servidor de interfaz de usuario 230. Además, el controlador 02110 realiza conmutación entre modos de funcionamiento que incluyen una operación de calibración, una operación de preparación previa a la formación de imágenes y un funcionamiento durante la formación de imágenes. Además, el controlador 02110 recibe una instrucción de control desde la estación de control 310 o similar a través de Ethernet, y realiza conmutación entre modos y la entrada y salida de datos. Además, el controlador 02110 obtiene datos de CAD del estadio (datos de forma del estadio) de la estación de control 310, a través de la red, y transmite los datos de CAD del estadio a una unidad de almacenamiento de datos de CAD 02135 y a una unidad 02180 de generación de archivos de datos de formación de imágenes. Téngase en cuenta que los datos de CAD del estadio (los datos de forma del estadio) en esta realización son datos 3D que indican la forma de un estadio, y un procedimiento de CAD no está limitado, siempre que los datos de CAD del estadio indiquen un modelo de retícula u otras formas 3D.

Un controlador 02120 de entrada de datos está conectado al adaptador 120 de cámara por medio de una red a través de una trayectoria de comunicación, tal como Ethernet y el concentrador de conmutación 180. El controlador 02120 de entrada de datos obtiene la imagen de primer plano, la imagen de segundo plano, un modelo 3D del objetivo, datos de sonido, y datos de imagen capturados con calibración de la cámara desde el adaptador 120 de cámara a través de la red. Aquí, la imagen de primer plano corresponde a datos de imagen basados en una zona de primer plano de una imagen capturada para generar una imagen de punto de vista virtual, y la imagen de segundo plano corresponde a datos de imagen basados en una zona de segundo plano de la imagen capturada. El adaptador 120 de cámara especifica una zona de primer plano y una zona de segundo plano, de acuerdo con el resultado de un proceso de detección de un objeto predeterminado, realizado sobre la imagen capturada por la cámara 112, y genera una imagen de primer plano y una imagen de segundo plano. El objeto predeterminado corresponde a una persona, por ejemplo. El objeto predeterminado puede ser una persona específica (un jugador, un entrenador y/o un árbitro). Ejemplos del objeto predeterminado pueden incluir, además, un objeto que tenga un patrón de captura de imágenes predeterminado, tal como una pelota o una portería. Alternativamente, un objeto en movimiento puede ser detectado como el objeto predeterminado.

El controlador 02120 de entrada de datos transmite la imagen de primer plano obtenida y la imagen de segundo plano obtenida a una unidad 02130 de sincronización de datos, y transmite los datos de imagen capturados con calibración de la cámara a una unidad de calibración 02140. Además, el controlador 02120 de entrada de datos tiene la función de realizar compresión y descompresión, un proceso de enrutamiento de datos y similares, sobre los datos recibidos. Además, aunque el controlador 02110 y el controlador 02120 de entrada de datos individualmente tienen una función de comunicación a través de una red, tal como Ethernet, el controlador 02110 y el controlador 02120 de entrada de datos pueden tener una función de comunicación común. En este caso, el controlador 02120 de entrada de datos puede recibir una instrucción de un comando de control y los datos de CAD del estadio suministrados desde la estación de control 310 y, a continuación, transmitirlos al controlador 02110.

La unidad 02130 de sincronización de datos almacena temporalmente los datos obtenidos del adaptador 120 de cámara en la DRAM, y almacena temporalmente los datos obtenidos hasta que se obtienen la totalidad de la imagen de primer plano, la imagen de segundo plano, los datos de sonido y los datos de modelo 3D. Téngase en cuenta que la imagen de primer plano, la imagen de segundo plano, los datos de sonido y los datos de modelo 3D se denominan colectivamente “datos de formación de imágenes” en lo sucesivo. Se asignan metadatos que incluyen información de enrutamiento, información de código de tiempo (información de tiempo) y un identificador de cámara, a los datos de formación de imágenes, y la unidad 02130 de sincronización de datos comprueba un atributo de los datos basándose en los metadatos. De este modo, cuando la unidad 02130 de sincronización de datos determina que se obtienen datos en el mismo punto de tiempo para determinar que se obtienen todos los datos. Esto se debe a que no se garantiza el orden de recepción de los paquetes de red, de datos transferidos desde los adaptadores 120 de cámara individuales a través de la red, y es necesario que los datos se almacenen temporalmente hasta que se obtengan todos los datos necesarios para la generación de archivos. Cuando se obtienen todos los datos, la unidad 02130 de sincronización de datos transmite la imagen de primer plano y la imagen de segundo plano a un procesador 02150 de imágenes, los datos de modelo 3D a una unidad de acoplamiento de modelos 3D 02160 y los datos de sonido a la unidad 02180 de generación de archivos de datos de formación de imágenes. Téngase en cuenta que los datos que se obtendrán son necesarios para la generación de archivos realizada por la unidad 02180 de generación de archivos de datos de formación de imágenes descrita a continuación. Además, la imagen de segundo plano y la imagen de primer plano pueden ser capturadas en diferentes velocidades de cuadros. Por ejemplo, en un caso en el que la velocidad de cuadros de la imagen de segundo plano es de 1 fps, se captura una imagen de segundo plano por segundo y, por lo tanto, se puede determinar que todos los datos se han obtenido en un estado en el que no existe una imagen de segundo plano en un período de tiempo en el que no se obtiene una imagen de segundo plano. Además, la unidad 02130 de sincronización de datos transmite a la base de datos 250 información que indica que no se han obtenido todos los datos, cuando los datos no se han obtenido después de un período de tiempo predeterminado. Cuando la base 250 de datos en una fase posterior almacena los datos, la información que indica la falta de datos se almacena junto con un número de cámara y un número de cuadro. Por consiguiente, el resultado de una determinación de si se va a formar una imagen deseada a partir de imágenes capturadas por las cámaras 112, recopiladas en la base 250 de datos, puede ser transmitido automáticamente antes de realizar la representación, de acuerdo con una instrucción de punto de vista emitida desde la UI de operaciones 330 de cámara virtual al servidor central 270. Como resultado, se puede reducir la carga de una confirmación visual de un operador de la UI de operaciones 330 de cámara virtual.

La unidad de almacenamiento de datos de CAD 02135 almacena los datos 3D que indican la forma del estadio, recibidos del controlador 02110 en el medio de almacenamiento, tal como la DRAM, la HDD o la memoria NAND. A continuación, la unidad de almacenamiento de datos de CAD 02135 transmite los datos de forma del estadio almacenados, a una unidad 02170 de acoplamiento de imágenes cuando recibe una solicitud de datos de forma del estadio.

La unidad de calibración 02140 realiza una operación de calibración de la cámara y transmite un parámetro de la cámara obtenido mediante la calibración, a una unidad 02185 de generación de archivos de datos no de formación de imágenes. Simultáneamente, la unidad de calibración 02140 almacena los parámetros de cámara en una zona de almacenamiento de la misma, y proporciona información sobre los parámetros de cámara a la unidad de acoplamiento del modelo 3D 02160 descrita a continuación.

El procesador 02150 de imágenes realiza un ajuste del colores y valores de luminancia de las cámaras 112, un proceso de revelado en un caso en el que se introducen datos de imagen EN BRUTO y una corrección de la distorsión de las lentes de la cámara sobre las imágenes de primer plano y las imágenes de segundo plano. Las imágenes de primer plano y las imágenes de segundo plano que han sido sometidas al procesamiento de imágenes se transmiten a la unidad 02180 de generación de archivos de datos de formación de imágenes y a la unidad 02170 de acoplamiento de imágenes, respectivamente.

La unidad de acoplamiento de modelo 3D 02160 acopla entre sí los datos de modelo 3D obtenidos al mismo tiempo de los adaptadores 120 de cámara, utilizando los parámetros de cámara generados por la unidad de calibración 02140. A continuación, la unidad de acoplamiento de modelo 3D 02160 genera datos de modelo 3D de una imagen de primer plano de la totalidad del estadio utilizando el llamado procedimiento de casco visual (visual hull, en inglés). El modelo 3D generado es transmitido a la unidad 02180 de generación de archivos de datos de formación de imágenes.

La unidad 02170 de acoplamiento de imágenes obtiene las imágenes de segundo plano del procesador 02150 de imágenes, obtiene los datos de forma 3D del estadio (los datos de forma del estadio) de la unidad de almacenamiento de datos de CAD 02135, y especifica posiciones de las imágenes de segundo plano correspondientes a una coordenada de los datos de forma 3D del estadio obtenidos. Cuando se especifican las posiciones correspondientes a las coordenadas de los datos de forma 3D del estadio en las imágenes de segundo plano individuales, las imágenes de segundo plano se acoplan entre sí para obtener una imagen de segundo plano. Téngase en cuenta que la generación de los datos de forma 3D de las imágenes de segundo plano puede ser realizada por el servidor central 270.

La unidad 02180 de generación de archivos de datos de formación de imágenes obtiene los datos de sonido desde la unidad 02130 de sincronización de datos, las imágenes de primer plano desde el procesador 02150 de imágenes, los datos de modelo 3D desde la unidad de acoplamiento de modelos 3D 02160 y las imágenes de segundo plano acopladas en la forma 3D desde la unidad 02170 de acoplamiento de imágenes. A continuación, la unidad 02180 de generación de archivos de datos de formación de imágenes envía los datos obtenidos a un controlador de acceso a DB 02190. Aquí, la unidad 02180 de generación de archivos de datos de formación de imágenes asocia los datos entre sí basándose en la información de tiempo de los datos antes de emitir los datos. Téngase en cuenta que algunos de los datos pueden ser asociados entre sí antes de emitir los datos. Por ejemplo, la unidad 02180 de generación de archivos de datos de formación de imágenes asocia entre sí las imágenes de primer plano y las imágenes de segundo plano basándose en la información de tiempo de las imágenes de primer plano y la información de tiempo de las imágenes de segundo plano antes de emitir las imágenes de primer plano y las imágenes de segundo plano. Además, por ejemplo, la unidad 02180 de generación de archivos de datos de formación de imágenes asocia entre sí las imágenes de primer plano, las imágenes de segundo plano, los datos de modelo 3D, basándose en la información de tiempo de las imágenes de primer plano, la información de tiempo de las imágenes de segundo plano y la información de tiempo de los datos de modelo 3D antes de entregar las imágenes de primer plano, las imágenes de segundo plano y los datos de modelo 3D. Téngase en cuenta que la unidad 02180 de generación de archivos de datos de formación de imágenes puede generar un archivo de los datos asociados en una unidad de datos para cada tipo de datos antes de la emisión, o puede generar un archivo de una pluralidad de tipos de datos en una unidad de datos para un punto de tiempo indicado por la información de tiempo. Cuando los datos de formación de imágenes asociados de esta manera son entregados del servidor de interfaz de usuario 230 que actúa como un aparato de procesamiento de información que realiza la asociación a la base 250 de datos, el servidor central 270 puede generar una imagen de punto de vista virtual utilizando las imágenes de primer plano y las imágenes de segundo plano que tienen la misma información de tiempo.

En caso de que las velocidades de cuadros de las imágenes de primer plano y las imágenes de segundo plano obtenidas por el controlador 02120 de entrada de datos sean diferentes entre sí, es difícil para la unidad 02180 de generación de archivos de datos de formación de imágenes asociar entre sí las imágenes de primer plano y las imágenes de segundo plano obtenidas en el mismo punto de tiempo antes de la emisión. Por lo tanto, la unidad 02180 de generación de archivos de datos de formación de imágenes asocia una imagen de primer plano y una imagen de segundo plano que tienen información de tiempo que tiene la relación con la información de tiempo de la imagen de primer plano en base a una regla predeterminada, antes de la emisión. En este caso, la imagen de segundo plano que tiene información de tiempo que tiene la relación con la información de tiempo de la imagen de primer plano basada en una regla predeterminada significa la imagen de segundo plano que tiene información de tiempo más similar a la información de tiempo de la imagen de primer plano, de entre las imágenes de segundo plano obtenidas por la unidad 02180 de generación de archivos de datos de formación de imágenes, por ejemplo. De este modo, al asociar la imagen de primer plano con la imagen de segundo plano de acuerdo con la regla predeterminada, incluso si las velocidades de cuadros de la imagen de primer plano y la imagen de segundo plano son diferentes entre sí, se puede generar una imagen de punto de vista virtual utilizando la imagen de primer plano y la imagen de segundo plano que se capturan en puntos de tiempo similares. Téngase en cuenta que un procedimiento para asociar la imagen de primer plano y la imagen de segundo plano no está limitado al procedimiento descrito anteriormente. Por ejemplo, la imagen de segundo plano que tiene información de tiempo que tiene la relación con la información de tiempo de la imagen de primer plano basada en la regla predeterminada puede ser la imagen de segundo plano que tiene información de tiempo más cercana a la información de tiempo de la imagen de primer plano de entre las imágenes de segundo plano obtenidas que tienen información de tiempo correspondiente a puntos de tiempo antes de un punto de tiempo de la imagen de primer plano. De acuerdo con este procedimiento, las imágenes de primer plano y las imágenes de segundo plano que están asociadas entre sí pueden ser emitidas con menos retardo sin esperar a la obtención de imágenes de segundo plano que tengan una velocidad de cuadros menor que las de las imágenes de primer plano. La imagen de segundo plano que tiene la información de tiempo que tiene la relación con la información de tiempo de la imagen de primer plano basada en la regla predeterminada puede ser la imagen de segundo plano que tiene la información de tiempo más cercana a la información de tiempo de la imagen de primer plano de entre las imágenes de segundo plano obtenidas que tienen información de tiempo correspondiente a puntos de tiempo posteriores al punto de tiempo de la imagen de primer plano.

La unidad 02185 de generación de archivos de datos no de formación de imágenes obtiene los parámetros de cámara desde la unidad de calibración 02140 y los datos de forma 3D del estadio desde el controlador 02110, y transmite los parámetros de cámara y los datos de forma 3D al controlador de acceso a DB 02190 después de transformar los parámetros de cámara y los datos de forma 3D en los de un formato de archivo. Téngase en cuenta que los parámetros de cámara y los datos de forma del estadio que se introducirán en la unidad 02185 de generación de archivos de datos no de formación de imágenes se transforman individualmente de acuerdo con el formato de archivo. Específicamente, cuando recibe uno de los datos, la unidad 02185 de generación de archivos de datos no de formación de imágenes transmite independientemente los datos al controlador de acceso a la DB 02190.

El controlador de acceso a la DB 02190 está conectado a la base 250 de datos para que InfiniBand realice una comunicación de alta velocidad. A continuación, el controlador de acceso a la DB 02190 transmite los archivos suministrados desde la unidad 02180 de generación de archivos de datos de formación de imágenes y la unidad 02185 de generación de archivos de datos no de formación de imágenes a la base 250 de datos. En esta realización, los datos de formación de imágenes asociados por la unidad 02180 de generación de archivos de datos de formación de imágenes en base a información de tiempo se envían a través del controlador de acceso a la DB 02190, a la base 250 de datos que sirve como un dispositivo de almacenamiento conectado al servidor de interfaz de usuario 230, a través de la red. Téngase en cuenta que el destino de la salida de los datos de formación de imágenes asociados no está limitado a esto. Por ejemplo, el servidor de interfaz de usuario 230 puede enviar los datos de formación de imágenes asociados en base a la información de tiempo, al servidor central 270, que actúa como un dispositivo de generación de imágenes que genera una imagen de punto de vista virtual y que está conectado al servidor de interfaz de usuario 230 a través de la red. Además, el servidor de interfaz de usuario 230 puede enviar los datos de formación de imágenes a la base 250 de datos y al servidor central 270.

Si bien el servidor de interfaz de usuario 230 asocia entre sí las imágenes de primer plano y las imágenes de segundo plano en esta realización, la presente invención no está limitada a esto y la base 250 de datos puede realizar la asociación. Por ejemplo, la base 250 de datos obtiene las imágenes de primer plano y las imágenes de segundo plano que tienen información de tiempo, del servidor de interfaz de usuario 230. A continuación, la base 250 de datos puede asociar entre sí las imágenes de primer plano y las imágenes de segundo plano basándose en la información de tiempo de las imágenes de primer plano y la información de tiempo de las imágenes de segundo plano, antes de enviar las imágenes de primer plano y las imágenes de segundo plano a una unidad de almacenamiento incluida en la base 250 de datos.

La figura 5 es un diagrama de bloques funcional que muestra el controlador 02120 de entrada de datos incluido en el servidor de interfaz de usuario 230.

El controlador 02120 de entrada de datos incluye un adaptador 06210 de red del servidor, una unidad 06220 de transmisión del servidor y un procesador 06230 de imágenes del servidor. El adaptador 06210 de red del servidor incluye una unidad 06211 de recepción de datos de servidor y tiene la función de recibir datos transmitidos desde el adaptador 120 de cámara.

La unidad 06220 de transmisión del servidor tiene la función de procesar datos suministrados desde la unidad 06211 de recepción de datos del servidor, e incluye unidades funcionales descritas a continuación. Una unidad 06221 de descompresión de datos del servidor tiene la función de descomprimir datos comprimidos.

Un procesador 06222 de enrutamiento de datos del servidor determina un destino de transferencia de datos de acuerdo con la información de enrutamiento, tal como una dirección, almacenada en una unidad 06224 de almacenamiento de información de enrutamiento de datos del servidor descrita a continuación, y transfiere los datos suministrados desde la unidad 06211 de recepción de datos del servidor.

Un procesador 06223 de transmisión de imagen/sonido del servidor recibe un mensaje del adaptador 120 de cámara a través de la unidad 06211 de recepción de datos del servidor, y restaura los datos fragmentados en datos de imagen o datos de sonido, dependiendo del tipo de datos incluido en el mensaje. Téngase en cuenta que cuando los datos de imagen restaurados o los datos de sonido restaurados han sido comprimidos, la unidad 06221 de descompresión de datos del servidor realiza el proceso de descompresión. La unidad 06224 de almacenamiento de información de enrutamiento de datos del servidor tiene la función de almacenar información de dirección para determinar un destino de transmisión de los datos recibidos por la unidad 06211 de recepción de datos del servidor. A continuación se describirá un procedimiento de enrutamiento.

El procesador 06230 de imágenes del servidor tiene la función de realizar un proceso asociado con los datos de imagen o los datos de sonido suministrados desde el adaptador 120 de cámara. El contenido del proceso incluye un proceso de conversión a un formato apropiado en el que un número de cámara, un tiempo de formación de imágenes de un cuadro de imagen, un tamaño de imagen, un formato de imagen e información de atributos de una coordenada de una imagen, son asignados dependiendo de la entidad de datos de los datos de imagen (una imagen de primer plano, una imagen de segundo plano e información de modelo 3D ). La figura 6 es un diagrama de bloques funcional que muestra la base 250 de datos. Un controlador 02410 está constituido por una CPU y un medio de almacenamiento, tal como una memoria dinámica de acceso aleatorio (DRAM), una unidad de disco duro (HDD) que almacena datos de programa y diversos datos, o una memoria AND invertida (NAND) y hardware, tal como Ethernet. A continuación, el controlador 02410 controla diversos bloques funcionales de la base 250 de datos y un sistema completo de la base 250 de datos.

Una unidad 02420 de entrada de datos recibe un archivo de datos de formación de imágenes o datos no de formación de imágenes desde el servidor de interfaz de usuario 230 mediante comunicación de alta velocidad, tal como InfiniBand. El archivo recibido es transmitido a una caché 02440. Además, la unidad 02420 de entrada de datos lee metadatos de los datos de formación de imágenes recibidos y genera una tabla de base de datos utilizando información de registro de tiempo, información de enrutamiento e información sobre un identificador de cámara registrado en los metadatos, de modo que se tenga acceso a los datos obtenidos.

Una unidad 02430 de salida de datos determina uno de una caché 02440, un almacenamiento principal 02450 y un almacenamiento secundario 02460 que almacena los datos solicitados por el servidor central 270. A continuación, la unidad 02430 de salida de datos lee los datos del destino de almacenamiento y transmite los datos leídos al servidor central 270 a través de la comunicación de alta velocidad, tal como InfiniBand.

La memoria caché 02440 incluye un dispositivo de almacenamiento, tal como una DRAM, capaz de conseguir un caudal de entrada/salida de alta velocidad y almacena los datos de formación de imágenes y los datos no de formación de imágenes suministrados desde la unidad 02420 de entrada de datos en el dispositivo de almacenamiento. Los datos almacenados se mantienen hasta que se alcanza una cantidad predeterminada, y cada vez que la cantidad de datos excede la cantidad predeterminada, los datos se escriben sucesivamente en el almacenamiento principal 02450 por orden a partir los datos más antiguos, y los datos nuevos se escriben en una parte en la que se escribieron los datos que se han escrito en el almacenamiento principal 02450. La cierta cantidad de datos almacenados en la caché 02440 corresponde a datos de formación de imágenes para, como mínimo, un cuadro. Por consiguiente, cuando el servidor central 270 realiza un proceso de representación de imágenes, el caudal en la base 250 de datos se puede suprimir hasta el mínimo, y los cuadros de imagen nuevos se pueden representar consecutivamente con menos retardo. En este caso, para conseguir el objetivo descrito anteriormente, es necesario incluir una imagen de segundo plano en los datos almacenados en caché. Por lo tanto, los datos de formación de imágenes para un cuadro que no incluye una imagen de segundo plano se almacenan en caché sin actualizar una imagen de segundo plano en la caché. La capacidad de la DRAM capaz de almacenar datos en caché se determina de acuerdo con un tamaño de cuadro de la caché establecido en el sistema previamente, o con una instrucción emitida por la estación de control 310. Téngase en cuenta que los datos no de formación de imágenes se copian inmediatamente en el almacenamiento principal 02450 puesto que la frecuencia de entrada/salida de los datos no de formación de imágenes es baja y no se necesita un caudal de alta velocidad antes de un juego o similar. Los datos almacenados en caché son leídos por la unidad 02430 de salida de datos.

El almacenamiento principal 02450 está constituido por la conexión de medios de almacenamiento, tal como SSD, en paralelo y es capaz de realizar simultáneamente la escritura de una gran cantidad de datos desde la unidad 02420 de entrada de datos y la lectura de datos mediante la unidad 02430 de salida de datos, de manera que se consigue un proceso de alta velocidad. Los datos almacenados en la caché 02440 se escriben en el almacenamiento principal 02450 por orden a partir de los datos más antiguos almacenados en la caché 02440.

El almacenamiento secundario 02460 está constituido por un HDD, un medio de cinta o similar. Una gran capacidad es más importante que el procesamiento de alta velocidad en el almacenamiento secundario 02460, y es necesario que el almacenamiento secundario 02460 sea un medio adecuado para almacenamiento de larga duración, que es más económico que el almacenamiento principal 02450. Una vez se completa la formación de imágenes, los datos almacenados en el almacenamiento principal 02450 se escriben en el almacenamiento secundario 02460 como copia de seguridad de los datos.

La figura 7 es un diagrama que muestra una configuración del servidor central 270 de esta realización. El servidor central 270 incluye una unidad 03001 de recepción de datos, una unidad de adición de textura de segundo plano 03002, una unidad de determinación de textura de primer plano 03003, una unidad de ajuste del color de borde de la textura 03004, una unidad de generación de imágenes de primer plano de punto de vista virtual 03005 y una unidad de representación 03006. El servidor central 270 incluye, además, una unidad de generación de sonido de punto de vista virtual 03007, una unidad de combinación 03008, una unidad 03009 de salida de imagen, una unidad de determinación de objetos de primer plano 03010, una unidad de generación de lista de solicitudes 03011, una unidad de salida de datos de solicitud 03012 y una unidad de gestión de modos de representación 03014.

La unidad 03001 de recepción de datos recibe los datos transmitidos desde la base 250 de datos y el controlador 300. Además, la unidad 03001 de recepción de datos recibe los datos 3D que indican la forma del estadio (los datos de forma del estadio), las imágenes de primer plano, las imágenes de segundo plano, el modelo 3D de las imágenes de primer plano (en lo sucesivo denominado “modelo 3D de primer plano”), y el sonido de la base 250 de datos.

Además, la unidad 03001 de recepción de datos recibe una salida de parámetros de cámara virtual del controlador 300 que sirve como un dispositivo de designación que designa un punto de vista (un punto de vista virtual) de generación de una imagen de punto de vista virtual. El parámetro de cámara virtual son datos que indican una posición de un punto de vista virtual y una orientación, y se utilizan, por ejemplo, una matriz de parámetros externos y una matriz de parámetros internos.

Téngase en cuenta que los datos obtenidos por la unidad 03001 de recepción de datos desde el controlador 300 no están limitados al parámetro de cámara virtual. La salida de información del controlador 300 puede incluir, por ejemplo, información que indica estados de designación de un punto de vista, tal como un procedimiento para designar un punto de vista, información para especificar una aplicación accionada por el controlador 300, información para identificar el controlador 300 e información para identificar a un usuario utilizando el controlador 300. Además, la unidad 03001 de recepción de datos puede obtener información similar a la información descrita anteriormente emitida desde el controlador 300 desde el terminal de usuario final 190. Además, la unidad 03001 de recepción de datos puede obtener información sobre la pluralidad de cámaras 112 desde el dispositivo externo, tal como la base 250 de datos o el controlador 300. Ejemplos de la información sobre la pluralidad de cámaras 112 incluyen información sobre estados de formación de imágenes, tal como información sobre el número de cámaras 112 e información sobre estados operativos de la pluralidad de cámaras 112. Ejemplos del estado operativo de las cámaras 112 incluyen, como mínimo, uno de un estado normal, un estado de fallo, un estado de espera, un estado de preparación de inicio y un estado de reinicio de la cámara 112, por ejemplo. Aquí, el estado normal indica un estado en el que la formación de imágenes está disponible, el estado de fallo indica un estado en el que la formación de imágenes está restringida, el estado de espera indica un estado en el que la formación de imágenes está detenida, el estado de preparación del inicio indica un estado en el que se realiza un proceso para iniciar la formación de imágenes y el estado de reinicio indica un estado en el que se realiza una configuración inicial predeterminada.

La unidad de adición de textura de segundo plano 03002 añade la imagen de segundo plano como textura a una forma del espacio 3D representada por un modelo de retícula de segundo plano (los datos de forma del estadio) obtenidos de una unidad de gestión de modelo de retícula del segundo plano 03013. De este modo, la unidad de adición de textura de segundo plano 03002 genera un modelo de retícula de segundo plano que tiene textura. El modelo de retícula indica datos que representan una forma del espacio 3D mediante un agregado de superficies, tal como datos de CAD. La textura significa una imagen que se añadirá para representar la textura de una superficie del objeto.

La unidad de determinación de textura de primer plano 03003 determina información de textura del modelo 3D del primer plano utilizando la imagen de primer plano y el grupo de modelos 3D del primer plano.

La unidad de ajuste del color del borde de la textura 03004 ajusta el color en el límite de la textura de acuerdo con la información de textura de los modelos 3D del primer plano y el grupo de modelos 3D, y genera un grupo de modelos 3D de primer plano coloreados para cada objeto del primer plano.

La unidad de generación de imágenes de primer plano del punto de vista virtual 03005 realiza una transformación de perspectiva, de modo que el grupo de imágenes de primer plano se ve desde un punto de vista virtual basado en los parámetros de cámara virtual. La unidad de representación 03006 representa las imágenes de segundo plano y las imágenes de primer plano para generar una imagen de punto de vista virtual panorámica, basándose en un procedimiento de generación utilizado para la generación de una imagen de punto de vista virtual determinada por la unidad de gestión de modos de representación 03014. En esta realización, se utilizan dos modos de representación que incluyen la representación basada en modelos (Model-Based Rendering, MBR) y la representación basada en imágenes (Image-Based Rendering, IBR) como procedimiento para generar una imagen de punto de vista virtual.

Cuando se emplea la MBR, se genera una imagen de punto de vista virtual utilizando un modelo 3D generado basándose en una pluralidad de imágenes capturadas obtenidas mediante la formación de imágenes de un objetivo desde una pluralidad de direcciones. Específicamente, la MBR es una técnica para generar una vista de una escena desde un punto de vista virtual tal como una imagen utilizando una forma 3D (un modelo) de la escena objetivo obtenida mediante un procedimiento de restauración de forma 3D, tal como multi-vistaestéreo (Multi-View-Stereo, MVS).

La IBR es una técnica de generación de una imagen de punto de vista virtual que reproduce una vista desde el punto de vista virtual deformando y combinando el grupo de imágenes de entrada obtenido capturando la escena objetivo desde una pluralidad de puntos de vista. En esta realización, una imagen de punto de vista virtual se genera basándose, como mínimo, en una imagen capturada. El número de imágenes capturadas es menor que el de las imágenes capturadas para generar un modelo 3D utilizando la MBR.

Cuando el modo de representación es la MBR, se genera un modelo panorámico combinando entre sí el modelo de retícula de segundo plano y el grupo de modelos 3D de primer plano generado por la unidad de ajuste del color de borde de la textura 03004. Se genera una imagen de punto de vista virtual a partir del modelo panorámico.

Cuando el modo de representación es la IBR, se genera una imagen de segundo plano vista desde el punto de vista virtual, en base al modelo de textura de segundo plano, y la imagen de primer plano generada por la unidad de generación de imágenes de primer plano del punto de vista virtual 03005 es combinada con la imagen de segundo plano, de modo que se genera una imagen de punto de vista virtual.

Téngase en cuenta que la unidad de representación 03006 puede emplear un procedimiento de representación distinto de la MBR y la IBR. Además, un procedimiento para generar la imagen de punto de vista virtual determinado por la unidad de gestión de modos de representación 03014 no está limitado al procedimiento de representación, y la unidad de gestión de modos de representación 03014 puede determinar un procedimiento de un proceso distinto de la representación para generar una imagen de punto de vista virtual. La unidad de gestión de modos de representación 03014 determina un modo de representación como un procedimiento de generación utilizado para generar una imagen de punto de vista virtual, y almacena un resultado de la determinación.

En esta realización, la unidad de gestión de modos de representación 03014 determina un modo de representación que se utilizará, de entre una pluralidad de modos de representación. Esta determinación se realiza basándose en la información obtenida por la unidad 03001 de recepción de datos. Por ejemplo, la unidad de gestión de modos de representación 03014 determina que la IBR es el procedimiento de generación que se utilizará para la generación de una imagen de punto de vista virtual cuando el número de cámaras especificado de acuerdo con la información obtenida es menor o igual que un valor umbral. Por otra parte, cuando el número de cámaras es mayor que el valor umbral, la unidad de gestión de modos de representación 03014 determina que el procedimiento de generación es la MBR. De este modo, cuando el número de cámaras es grande, se genera una imagen de punto de vista virtual utilizando la MBR, de modo que se consigue un rango disponible grande de designación de punto de vista. Por otra parte, cuando el número de cámaras es pequeño, se puede utilizar la IBR para evitar la degradación de la calidad de imagen de una imagen de punto de vista virtual causada por la degradación de la precisión de un modelo 3D generado utilizando la MBR. Además, el procedimiento de generación puede ser determinado de acuerdo con la duración del tiempo de retardo de procesamiento permitido en un período desde que se lleva a cabo formación de imágenes hasta que se emite una imagen. En caso de que se dé prioridad a un grado de libertad aunque el tiempo de retardo sea largo, se utiliza la MBR, mientras que en caso de que se requiera una reducción del tiempo de retardo, se utiliza la IBR. Además, cuando la unidad 03001 de recepción de datos obtiene información que indica que el controlador 300 o el terminal de usuario final 190 es capaz de especificar la altura de un punto de vista, por ejemplo, la MBR se determina como el procedimiento de generación utilizado para la generación de una imagen de punto de vista virtual. De este modo, se puede evitar un caso en el que no se acepte una solicitud de cambio de altura de un punto de vista emitida por el usuario porque el procedimiento de generación sea la IBR. De este modo, puesto que el procedimiento para generar una imagen de punto de vista virtual se determina entre una pluralidad de procedimientos de generación dependiendo de una situación, una imagen de punto de vista virtual puede ser generada mediante un procedimiento de generación determinado adecuadamente. Además, puesto que una pluralidad de modos de representación se pueden conmutar entre sí dependiendo de la solicitud, el sistema puede ser configurado de manera flexible, y esta realización se puede aplicar a objetivos distintos de un estadio.

Téngase en cuenta que los modos de representación almacenados en la unidad de gestión de modos de representación 03014 pueden ser procedimientos preestablecidos en el sistema. Alternativamente, el usuario que acciona la UI de operaciones 330 de cámara virtual o el terminal de usuario final 190 puede establecer arbitrariamente un modo de representación.

Una unidad de generación de sonido de punto de vista virtual 03007 genera sonido (un grupo de sonidos) escuchado en el punto de vista virtual basándose en el parámetro de cámara virtual. Una unidad de combinación 03008 genera contenido de punto de vista virtual combinando entre sí un grupo de imágenes generado por la unidad de representación 03006 y el sonido generado por la unidad de generación de sonido de punto de vista virtual 03007.

Una unidad 03009 de salida de imágenes envía el contenido de punto de vista virtual al controlador 300 y al terminal de usuario final 190 a través de Ethernet. Téngase en cuenta que un procedimiento de transmisión al exterior no está limitado a Ethernet, y se pueden utilizar diversos procedimientos de transmisión de señal, tales como SDI, Display Port y HDMI (marca registrada). Téngase en cuenta que el servidor central 270 puede entregar una imagen de punto de vista virtual que genera la unidad de representación 03006 y que no incluye sonido.

Una unidad de determinación de objetos de primer plano 03010 determina un grupo de objetos de primer plano para mostrar, utilizando el parámetro de cámara virtual e información posicional de un objeto de primer plano que indica una posición en un espacio del objeto de primer plano que está incluido en el modelo 3D de primer plano, y entrega una lista de objetos de primer plano. Específicamente, la unidad de determinación de objetos de primer plano 03010 realiza un proceso de mapeo de información de imagen del punto de vista virtual a las cámaras físicas 112. El punto de vista virtual tiene diferentes resultados de mapeo de acuerdo con el modo de representación determinado por la unidad de gestión de modos de representación 03014. Por lo tanto, un controlador que determina una pluralidad de objetos de primer plano está incluido en la unidad de determinación de objetos de primer plano 03010, y realiza el control en combinación con el modo de representación.

Una unidad de generación de lista de solicitudes 03011 genera una lista de solicitudes para solicitar a la base 250 de datos que transmita el grupo de imágenes de primer plano y el grupo de modelos 3D de primer plano correspondiente a la lista de objetos de primer plano en un punto de tiempo específico, las imágenes de segundo plano y los datos de sonido. En cuanto al objeto de primer plano, se solicitan a la base 250 de datos los datos seleccionados teniendo en cuenta el punto de vista virtual. Sin embargo, en cuanto a la imagen de segundo plano y los datos de sonido, se solicitan todos los datos asociados a un cuadro de interés. Se genera una lista de solicitudes de modelo de retícula de segundo plano en un período de tiempo desde que se activa el servidor central 270 hasta que se obtiene un modelo de retícula de segundo plano.

Una unidad de salida de datos de solicitud 03012 envía un comando de solicitud de datos a la base 250 de datos basándose en la lista de solicitudes de entrada. La unidad de gestión del modelo de retícula del segundo plano 03013 almacena un modelo de retícula de segundo plano suministrado desde la base 250 de datos.

Téngase en cuenta que, en esta realización, se describe principalmente un caso en el que el servidor central 270 realiza tanto la determinación del procedimiento para generar una imagen de punto de vista virtual como la generación de una imagen de punto de vista virtual. Específicamente, el servidor central 270 emite una imagen de punto de vista virtual como datos correspondientes a un resultado de la determinación de un procedimiento de generación. Sin embargo, la presente invención no está limitada a esto y el servidor de interfaz de usuario 230 puede determinar un procedimiento de generación a utilizar para la generación de una imagen de punto de vista virtual basándose en la información sobre la pluralidad de cámaras 112 y en la información emitida desde el dispositivo, que especifica el punto de vista asociado con la generación de una imagen de punto de vista virtual. A continuación, el servidor de interfaz de usuario 230 puede enviar los datos de imagen basándose en la formación de imágenes realizada por las cámaras 112 y en la información que indica el procedimiento de generación determinado, como mínimo, a uno de un dispositivo de almacenamiento, tal como la base 250 de datos, y un dispositivo de generación de imágenes, tal como el servidor central 270. En este caso, el servidor central 270 genera una imagen de punto de vista virtual basándose en la información que indica el procedimiento de generación, emitida por el servidor de interfaz de usuario 230 como datos correspondientes a un resultado de la determinación del procedimiento de generación, por ejemplo. Cuando el servidor de interfaz de usuario 230 determina el procedimiento de generación, se puede reducir la carga de procesamiento provocada por un proceso realizado por la base 250 de datos o por el servidor central 270 sobre los datos para la generación de imágenes que emplea un procedimiento diferente al procedimiento determinado. Sin embargo, en caso de que el servidor central 270 determine un procedimiento de generación tal como el descrito en esta realización, la base 250 de datos puede almacenar datos en conformidad con una pluralidad de procedimientos de generación y, por lo tanto, se pueden generar una pluralidad de imágenes de punto de vista virtual correspondientes a la pluralidad de procedimientos de generación.

La figura 8 es un diagrama de bloques que muestra una configuración funcional de la UI de operaciones 330 de cámara virtual. Se describirá una cámara virtual 08001 haciendo referencia a la figura 37A. La cámara virtual 08001 es capaz de llevar a cabo formación de imágenes desde un punto de vista diferente al de las cámaras instaladas 112. Específicamente, una imagen de punto de vista virtual generada por el sistema 100 de procesamiento de imágenes corresponde a una imagen capturada por la cámara virtual 08001. En la figura 37A, una pluralidad de sistemas de detección 110 instalados en una circunferencia tienen cámaras 112 respectivas. Por ejemplo, una imagen que se ve como si la imagen fuera capturada por la cámara virtual 08001 instalada cerca de una portería de fútbol puede ser generada generando una imagen de punto de vista virtual. Una imagen de punto de vista virtual, que es una imagen capturada por la cámara virtual 08001, se genera realizando el procesamiento de imágenes sobre imágenes capturadas por la pluralidad de cámaras instaladas 112. Cuando el operador (el usuario) acciona una posición de la cámara virtual 08001, se puede obtener una imagen capturada en un punto de vista arbitrario.

La UI de operaciones 330 de cámara virtual incluye una unidad de gestión de cámara virtual 08130 y una unidad de UI de operaciones 08120. La unidad de gestión de cámara virtual 08130 y la unidad de UI de operaciones 08120 pueden estar implementadas en el mismo dispositivo o implementadas en un dispositivo que sirve como servidor y un dispositivo que sirve como cliente, respectivamente. En la UI de operaciones 330 de cámara virtual utilizada en una estación de radiodifusión, por ejemplo, la unidad de gestión de cámara virtual 08130 y la unidad de UI de operaciones 08120 pueden estar implementadas en una estación de trabajo en un vehículo de retransmisión. Además, la función similar se puede realizar implementando la unidad de gestión de cámara virtual 08130 en un servidor web y la unidad de UI de operaciones 08120 en el terminal de usuario final 190, por ejemplo.

Una unidad de operaciones 08101 de cámara virtual realiza el procesamiento cuando recibe una operación realizada sobre la cámara virtual 08001, es decir, una instrucción emitida por el usuario para especificar un punto de vista para la generación de una imagen de punto de vista virtual. El contenido de la operación del operador incluye un cambio (un desplazamiento) de una posición, un cambio (rotación) de una orientación y un cambio de una ampliación del zum, por ejemplo. El operador utiliza dispositivos de entrada que incluyen una palanca de mando, un disco de selección, un panel táctil, un teclado y un ratón para manejar la cámara virtual 08001. Las correspondencias entre las entradas de los dispositivos de entrada y las operaciones de la cámara virtual 08001 están determinadas previamente. Por ejemplo, una tecla “w” del teclado corresponde a una operación de desplazamiento de la cámara virtual 08001 de 1 m hacia adelante. Además, el operador puede accionar la cámara virtual 08001 después de especificar una trayectoria. Por ejemplo, el operador especifica una trayectoria de la cámara virtual 08001 que se mueve en una circunferencia con un poste de portería en el centro al tocar un panel táctil de tal manera que se representa un círculo en el panel táctil. La cámara virtual 08001 se mueve alrededor del poste de la portería a lo largo de la trayectoria especificada. En este caso, la orientación de la cámara virtual 08001 se puede cambiar automáticamente para que la cámara virtual 08001 esté orientada constantemente hacia el poste de la portería. La unidad de operaciones 08101 de cámara virtual puede ser utilizada para generar una imagen en directo y una imagen de repetición. Cuando se va a generar una imagen de repetición, se realiza una operación de especificación de un tiempo además de una posición de la cámara y una orientación. En la imagen de repetición, la cámara virtual 08001 se puede mover mientras se detiene un tiempo, por ejemplo.

Una unidad de obtención de parámetros de cámara virtual 08102 obtiene los parámetros de cámara virtual que indican una posición y una orientación de la cámara virtual 08001. Los parámetros de cámara virtual pueden ser obtenidos mediante cálculos o haciendo referencia a una tabla de búsqueda o similar. Como parámetros de cámara virtual se utilizan, por ejemplo, una matriz de parámetros externos y una matriz de parámetros internos. En este caso, la posición y la orientación de la cámara virtual 08001 se incluyen en los parámetros externos y un valor de zum se incluye en los parámetros internos.

Una unidad de gestión de restricción de cámara virtual 08103 obtiene y gestiona información de restricción para especificar una zona de restricción en la que la designación de un punto de vista es restringida basándose en una instrucción recibida por la unidad de operaciones 08101 de cámara virtual. La información de restricción indica restricciones asociadas con la posición, la orientación, el valor de zum y similares, de la cámara virtual 08001. A diferencia de las cámaras 112, la cámara virtual 08001 puede llevar a cabo formación de imágenes mientras mueve arbitrariamente un punto de vista. Sin embargo, no es necesariamente el caso que la cámara virtual 08001 pueda generar constantemente imágenes desde varios puntos de vista. Por ejemplo, si la cámara virtual 08001 está orientada en una dirección en la que existe un objeto que no es capturado por ninguna de las cámaras 112, es posible que no se capture una imagen del objeto. Además, si se aumenta la ampliación del zum de la cámara virtual 08001, la calidad de la imagen se deteriora debido a la limitación de la resolución. Por lo tanto, se puede establecer como restricción de cámara virtual una ampliación del zum en un rango en el que se mantenga la calidad de imagen de un determinado estándar. La restricción de cámara virtual se puede obtener previamente de acuerdo con la disposición de las cámaras 112. Además, la unidad 06120 de transmisión puede reducir la cantidad de datos de transmisión de acuerdo con la carga de la red. La reducción de la cantidad de datos cambia dinámicamente parámetros asociados con las imágenes capturadas, y cambia un rango en el que se pueden generar imágenes y un rango en el que se mantiene la calidad de la imagen. La unidad de gestión de restricción de cámara virtual 08103 puede recibir información que indica un procedimiento utilizado para la reducción de una cantidad de datos entregados desde la unidad 06120 de transmisión y actualizar dinámicamente la restricción de cámara virtual de acuerdo con la información. Con ello, la unidad 06120 de transmisión puede conseguir la reducción de una cantidad de datos mientras la calidad de imagen de la imagen de punto de vista virtual se mantiene en un cierto estándar.

Además, la restricción de la cámara virtual 08001 no está limitada a la restricción descrita anteriormente. En esta realización, la zona de restricción en la que se restringe la designación de un punto de vista (una zona que no cumple la restricción de la cámara virtual) se cambia dependiendo, como mínimo, de los estados operativos de los dispositivos incluidos en el sistema 100 de procesamiento de imágenes o los parámetros asociados con datos de imagen para la generación de una imagen de punto de vista virtual. Por ejemplo, la zona de restricción se cambia de acuerdo con un parámetro que controla una cantidad de datos de los datos de imagen transmitidos en el sistema 100 de procesamiento de imágenes dentro de un rango predeterminado basado en la restricción de la cantidad de datos. El parámetro incluye, como mínimo, uno de la velocidad de cuadros de los datos de imagen, la resolución, una etapa de cuantificación y un rango de formación de imágenes. Cuando la resolución de los datos de imagen se reduce para reducir una cantidad de datos de transmisión, se cambia el rango de aumento de zum en el que es necesario que se mantenga cierta calidad de imagen. En dicho caso, cuando la unidad de gestión de restricción de cámara virtual 08103 obtiene la información para indicar la zona de restricción que se cambia por un parámetro, la UI de operaciones 330 de cámara virtual puede realizar un control tal que el usuario especifique un punto de vista en un rango de acuerdo con el cambio de parámetro. Téngase en cuenta que el contenido del parámetro no está limitado al contenido descrito anteriormente. Además, aunque los datos de imagen en los que se controla la cantidad de datos se generan basándose en diferencias entre una pluralidad de imágenes capturadas por las cámaras 112 en esta realización, la presente invención no está limitada a esto. Los datos de imagen pueden ser la propia imagen capturada o pueden ser la imagen de primer plano o la imagen de segundo plano.

Además, la zona de restricción cambia de acuerdo con los estados operativos de los dispositivos incluidos en el sistema 100 de procesamiento de imágenes, por ejemplo. En este caso, los dispositivos incluidos en el sistema 100 de procesamiento de imágenes incluyen, como mínimo, uno de la cámara 112 y el adaptador 120 de cámara que genera datos de imagen realizando el procesamiento de imágenes sobre una imagen capturada por la cámara 112. Los estados operativos de los dispositivos incluyen, como mínimo, uno del estado normal, el estado de fallo, el estado de preparación del inicio y el estado de reinicio de los dispositivos, por ejemplo. Por ejemplo, en caso de que una de las cámaras 112 esté en estado de fallo o de reinicio, es posible que un punto de vista no se especifique en posiciones cercanas a la cámara 112. En dicho caso, cuando la unidad de gestión de restricción de cámara virtual 08103 obtiene la información para indicar la zona de restricción que cambia dependiendo de los estados operativos de los dispositivos, la UI de operaciones 330 de cámara virtual puede realizar un control de tal manera que el usuario especifica un punto de vista en un rango de acuerdo con el cambio de los estados operativos de los dispositivos. Téngase en cuenta que los dispositivos y los estados operativos asociados con el cambio de la zona de restricción no están limitados a los descritos anteriormente.

Una unidad de determinación de colisión 08104 determina si el parámetro de cámara virtual obtenido por la unidad de obtención de parámetros de cámara virtual 08102 satisface la restricción de cámara virtual. Cuando la determinación es negativa, se cancela una entrada operativa realizada por el operador y se controla que la cámara virtual 08001 no se mueva de una posición que satisfaga la restricción, o se devuelve la cámara virtual 08001 a una posición que satisfaga la restricción.

Una unidad de salida de retroalimentación 08105 retroalimenta al operador un resultado de la determinación realizada por la unidad de determinación de colisión 08104. Por ejemplo, cuando la restricción de la cámara virtual no se cumple debido a una operación realizada por el operador, la unidad de determinación de colisión 08104 transmite una notificación al operador. Se supone que, aunque el operador realiza una operación de mover la cámara virtual 08001 hacia arriba, un destino del movimiento no satisface la restricción de la cámara virtual. En este caso, la unidad de salida de retroalimentación 08105 transmite al operador una notificación que indica que la cámara virtual 08001 no puede ser desplazada más hacia arriba. La notificación puede ser realizada mediante sonido, la emisión de mensaje, un cambio de color en una pantalla, el bloqueo de la unidad de operaciones 08101 de cámara virtual, o similar. Además, la posición de la cámara virtual 08001 se puede devolver automáticamente a una posición que satisfaga la restricción, y con ello, el funcionamiento realizado por el operador se puede simplificar. Cuando la retroalimentación se realiza mediante visualización de imágenes, la unidad de salida de retroalimentación 08105 muestra una imagen basada en el control de visualización de acuerdo con la zona de restricción en una unidad de visualización basada en la información de restricción obtenida por la unidad de gestión de restricción de cámara virtual 08103. Por ejemplo, la unidad de salida de retroalimentación 08105 muestra una imagen que indica que un punto de vista correspondiente a una instrucción recibida por la unidad de operaciones 08101 de cámara virtual está dentro de la zona de restricción en la unidad de visualización. Con esto, el operador puede reconocer que el punto de vista especificado está incluido en la zona de restricción y, por lo tanto, no se puede generar una imagen de punto de vista virtual deseada. Por consiguiente, el operador puede especificar de nuevo el punto de vista en una posición fuera de la zona de restricción (una posición que satisface la restricción). Específicamente, en la generación de una imagen de punto de vista virtual, se puede especificar un punto de vista dentro del rango que cambia dependiendo de la situación. Téngase en cuenta que el contenido visualizado en la unidad de visualización por la UI de operaciones 330 de cámara virtual que actúa como un dispositivo de control que realiza control de visualización de acuerdo con la zona de restricción, no está limitado a esto. Por ejemplo, se puede mostrar una imagen que indica la zona de restricción, tal como una imagen en la que una parte correspondiente a la zona de restricción en una zona que es el objetivo de la designación de un punto de vista (tal como el interior del estadio) se llena con un color predeterminado. Aunque en esta realización la unidad de visualización es una pantalla externa conectada a la UI de operaciones 330 de cámara virtual, la presente invención no está limitada a esto, y la unidad de visualización puede estar incorporada en la UI de operaciones 330 de cámara virtual.

Una unidad 08106 de gestión de trayectoria de cámara virtual gestiona una trayectoria de la cámara virtual 08001 (una trayectoria 08002 de cámara virtual) correspondiente a una operación realizada por el operador. La trayectoria 08002 de cámara virtual es una línea de información que indica posiciones y orientaciones de la cámara virtual 08001 en cuadros individuales. Se hará una descripción haciendo referencia a la figura 37B. Por ejemplo, un parámetro de cámara virtual se utiliza como información que indica una posición y una orientación de la cámara virtual 08001. La información para un segundo en una configuración de una velocidad de cuadros de 60 cuadros por segundo, corresponde a una línea de 60 parámetros de cámara virtual, por ejemplo. La unidad 08106 de gestión de la trayectoria de cámara virtual transmite los parámetros de cámara virtual determinados por la unidad de determinación de colisión 08104 al servidor central 270. El servidor central 270 genera una imagen de punto de vista virtual y un sonido de punto de vista virtual utilizando los parámetros de cámara virtual recibidos. Además, la unidad 08106 de gestión de trayectoria de cámara virtual tiene la función de almacenar los parámetros de cámara virtual después de añadir los parámetros de cámara virtual a la trayectoria 08002 de cámara virtual. Cuando se genera una imagen de punto de vista virtual y un sonido de punto de vista virtual para una hora utilizando la UI de operaciones 330 de cámara virtual, por ejemplo, los parámetros de cámara virtual para una hora son almacenados como la trayectoria 08002 de cámara virtual. Almacenando la trayectoria 08002 de cámara virtual, la imagen de punto de vista virtual y el sonido del punto de vista virtual pueden ser generados de nuevo haciendo referencia a información de imagen almacenada en el almacenamiento secundario 02460 en la base 250 de datos y a la trayectoria 08002 de cámara virtual posteriormente. Es decir, otros usuarios pueden reutilizar la trayectoria 08002 de cámara virtual generada por el operador que realiza una operación de cámara virtual de alto nivel y la información de imagen almacenada en el almacenamiento secundario 02460. Téngase en cuenta que una pluralidad de escenas seleccionables correspondientes a una pluralidad de trayectorias de cámara virtual pueden estar almacenadas en la unidad de gestión de cámara virtual 08130. Cuando la pluralidad de trayectorias de cámara virtual están almacenadas en la unidad de gestión de cámara virtual 08130, los metadatos que incluyen guiones de escenas correspondientes a las trayectorias de cámara virtual, tiempos transcurridos de un juego, tiempos prescritos antes y después de las escenas, e información del reproductor, también pueden ser introducidos y almacenados. La UI de operaciones 330 de cámara virtual notifica al servidor central 270 estas trayectorias de cámara virtual como parámetros de cámara virtual.

El terminal de usuario final 190 puede seleccionar una trayectoria de cámara virtual a partir del nombre de una escena, un jugador o el tiempo transcurrido de un juego, solicitando información de selección para seleccionar la trayectoria de cámara virtual al servidor central 270. El servidor central 270 notifica al terminal de usuario final 190 los candidatos de una trayectoria de cámara virtual seleccionables. El usuario final selecciona una trayectoria de cámara virtual deseada de entre los candidatos, manejando el terminal de usuario final 190. El terminal de usuario final 190 solicita la generación de una imagen correspondiente a la trayectoria de cámara virtual seleccionada, al servidor central 270, de modo que se obtiene de manera interactiva un servicio de suministro de imágenes.

Una unidad de creación 08107 tiene la función de realizar la edición cuando el operador genera una imagen de repetición. La unidad de creación 08107 extrae una parte de la trayectoria 08002 de cámara virtual almacenada en la unidad 08106 de gestión de trayectoria de cámara virtual, como un valor inicial de la trayectoria 08002 de cámara virtual para una imagen de repetición en respuesta a una operación de usuario. Tal como se describió anteriormente, la unidad 08106 de gestión de trayectoria de cámara virtual almacena los metadatos que incluyen un nombre de escena, un jugador, un tiempo transcurrido y un tiempo prescrito antes y después de la escena, que están asociados con la trayectoria 08002 de cámara virtual. Por ejemplo, se extrae la trayectoria 08002 de cámara virtual que tiene un nombre de escena “escena de gol” y un tiempo prescrito antes y después de la escena de 10 segundos en total. Además, la unidad de creación 08107 establece una velocidad de reproducción en un recorrido de cámara editado. Por ejemplo, se establece reproducción lenta en la trayectoria 08002 de cámara virtual durante un vuelo de la pelota hacia una portería. Téngase en cuenta que, cuando la imagen es reemplazada por otra imagen desde otro punto de vista, es decir, cuando se cambia la trayectoria 08002 de cámara virtual, el usuario de nuevo acciona la cámara virtual 08001 utilizando la unidad de operaciones 08101 de cámara virtual.

Una unidad 08108 de salida de imagen/sonido de cámara virtual emite una imagen y sonido de cámara virtual suministrados desde el servidor central 270. El operador acciona la cámara virtual 08001 mientras comprueba la imagen de salida y el sonido de salida. Téngase en cuenta que la unidad 08108 de salida de imagen/sonido de cámara virtual hace que la unidad de visualización muestre una imagen basada en el control de visualización basado en la zona de restricción, dependiendo del contenido de la retroalimentación realizada por la unidad de salida de retroalimentación 08105. Cuando una posición de un punto de vista especificado por el operador está incluida en la zona de restricción, por ejemplo, la unidad 08108 de salida de imagen/sonido de cámara virtual puede mostrar una imagen de punto de vista virtual con una cierta posición que está cerca de la posición especificada, y que está fuera de la zona de restricción, como un punto de vista. Con ello, se reduce la carga del operador para especificar un punto de vista de nuevo fuera de la zona de restricción.

A continuación, se describirá el terminal de usuario final 190 utilizado por el espectador (el usuario). La figura 9 es un diagrama que muestra una configuración del terminal de usuario final 190.

El terminal de usuario final 190 que acciona una aplicación de servicio es un ordenador personal (Personal Computer, PC), por ejemplo. Téngase en cuenta que el terminal de usuario final 190 no está limitado a un PC y puede ser un teléfono inteligente, un terminal de tableta o una pantalla grande de alta definición.

El terminal de usuario final 190 está conectado al servidor central 270 que suministra una imagen a través de internet 9001. Por ejemplo, el terminal de usuario final 190 (PC) está conectado a internet 9001 a través de una red de área local (Local Area Network, LAN) o una LAN inalámbrica.

Además, una pantalla 9003 que muestra una imagen de punto de vista virtual, tal como una imagen de radiodifusión de deportes, vista por el espectador, y un dispositivo de entrada de usuario 9002 que acepta una operación de cambio del punto de vista y similares, realizado por el espectador, están conectados al terminal de usuario final 190. La pantalla 9003 es una pantalla de cristal líquido, por ejemplo, y está conectada al PC a través de un cable de puerto de pantalla. El dispositivo de entrada de usuario 9002 es un ratón o un teclado y está conectado al PC a través de un cable de bus de serie universal (Universal Serial Bus, USB).

A continuación, se describirá una función interna del terminal de usuario final 190. La figura 10 es un diagrama de bloques funcional del terminal de usuario final 190.

Una unidad de gestión de aplicaciones 10001 transforma la información de entrada de usuario introducida por una unidad de sistema operativo 10002 en un comando de servidor central del servidor central 270, para enviarla a la unidad de sistema operativo 10002. Además, la unidad de gestión de aplicaciones 10001 entrega una instrucción de representación de imagen para representar una imagen introducida por la unidad de sistema operativo 10002 en una zona de visualización predeterminada, a la unidad de sistema operativo 10002.

La unidad de sistema operativo 10002 es un sistema operativo (Operating System, OS), por ejemplo, y entrega información de entrada de usuario suministrada desde una unidad de entrada de usuario 10004 descrita a continuación, a la unidad de gestión de aplicaciones 10001. Además, la unidad de sistema operativo 10002 entrega una imagen y un sonido suministrados desde una unidad 10003 de comunicación de red descrita a continuación, a la unidad de gestión de aplicaciones 10001, y el comando del servidor central suministrado desde la unidad de gestión de aplicaciones 10001 a la unidad 10003 de comunicación de red. Además, la unidad de sistema operativo 10002 emite el comando de representación de imágenes suministrado desde la unidad de gestión de aplicaciones 10001 a una unidad 10005 de salida de imágenes. La unidad 10003 de comunicación de red transforma el comando del servidor central suministrado desde la unidad de sistema operativo 10002 en una señal de comunicación de LAN que puede ser transmitida a través del cable de LAN y suministra la señal de comunicación de LAN al servidor central 270. A continuación, la unidad 10003 de comunicación de red suministra datos de imagen y datos de sonido suministrados desde el servidor central 270 a la unidad de sistema operativo 10002, de modo que los datos pueden ser procesados. La unidad de entrada de usuario 10004 obtiene información de entrada de usuario basada en una entrada de teclado (un teclado físico o un teclado virtual) o una entrada de botón y una entrada de información de entrada de usuario a través del cable de USB, desde el dispositivo de entrada de usuario, para ser enviada a la unidad de sistema operativo 10002.

La unidad 10005 de salida de imágenes transforma una imagen basada en una instrucción de visualización de imagen suministrada desde la unidad de sistema operativo 10002 en una señal de imagen para ser enviada a una pantalla externa o a una pantalla integrada.

Una unidad de salida de sonido 10006 entrega datos de sonido basados en una instrucción de salida de sonido emitida por la unidad de sistema operativo 10002 a un altavoz externo o a un altavoz integrado. Una unidad 10007 de gestión de atributos de terminal gestiona la resolución del terminal de usuario final 190, un tipo de códec de codificación de imágenes y un tipo de terminal (tal como un teléfono inteligente, una pantalla de gran tamaño o similar).

Una unidad de gestión de atributos de servicio 10008 gestiona información sobre un tipo de servicio proporcionado para el terminal de usuario final 190. La unidad de gestión de atributos de servicio 10008 gestiona, por ejemplo, un tipo de aplicación instalada en el terminal de usuario final 190 y un servicio de suministro de imágenes utilizables.

Una unidad de gestión de tarificación 10009 realiza la gestión de un estado de liquidación registrado por el usuario en el servicio de suministro de imágenes, y el número de escenas de suministro de imágenes que se pueden recibir correspondientes a un monto de tarificación, y similares.

A continuación, se describirá un flujo de trabajo de esta realización. Se describirá un flujo de trabajo en un caso en el que una pluralidad de cámaras 112 y una pluralidad de micrófonos 111 están instaladas en una instalación, tal como un estadio o una sala de conciertos, y se lleva a cabo formación de imágenes.

La figura 11 es un diagrama de flujo del flujo de trabajo completo. Un proceso del flujo de trabajo descrito a continuación se realiza bajo el control del controlador 300 a menos que se describa otra cosa. Específicamente, el control del flujo de trabajo se realiza cuando el controlador 300 controla los otros dispositivos (tales como el servidor central 270 y la base 250 de datos ) incluidos en el sistema 100 de procesamiento de imágenes.

Antes del inicio del proceso en la figura 11, el operador (el usuario) que instala y acciona el sistema 100 de procesamiento de imágenes recopila la información necesaria antes de la instalación (información previa), y realiza la planificación. Además, se supone que el operador instala el equipo en una instalación objetivo antes del inicio del proceso en la figura 11.

En la etapa S1100, la estación de control 310 del controlador 300 acepta una entrada de configuración del usuario basándose en la información previa. El proceso en la etapa S1100 se describirá en detalle a continuación haciendo referencia a la figura 12. A continuación, en la etapa S1101, los dispositivos incluidos en el sistema 100 de procesamiento de imágenes realizan procesos para comprobar un funcionamiento del sistema, de acuerdo con un comando emitido por el controlador 300 de acuerdo con una operación de usuario. El proceso en la etapa S1101 se describirá en detalle a continuación haciendo referencia a la figura 13.

En la etapa S1102, la UI de operaciones 330 de cámara virtual emite una imagen y un sonido antes del comienzo de la formación de imágenes para un juego o similar. Con esto, el usuario puede comprobar el sonido recogido por los micrófonos 111 y las imágenes capturadas por las cámaras 112 antes del partido o similar. Un proceso en la etapa S1102 se describirá en detalle a continuación haciendo referencia a la figura 14.

En la etapa S1103, la estación de control 310 del controlador 300 hace que los micrófonos 111 recojan sonido y las cámaras 112 capturen imágenes. Aunque la formación de imágenes en esta etapa incluye la recogida de sonido utilizando los micrófonos 111, la presente invención no está limitada a esto y solo se pueden capturar imágenes. El proceso en la etapa S1103 se describirá en detalle a continuación haciendo referencia a las figuras 15 y 16. Cuando se va a cambiar la configuración realizada en la etapa S1101 o cuando se va a finalizar la formación de imágenes, el proceso avanza a la etapa S1104. En la etapa S1104, cuando se va a cambiar la configuración realizada en la etapa S1101 y va a seguir la formación de imágenes, el proceso avanza a la etapa S1105, mientras que cuando se va a finalizar la formación de imágenes, el proceso avanza a la etapa S1106. La determinación en la etapa S1104 habitualmente se realiza de acuerdo con una entrada de usuario al controlador 300. Sin embargo, la presente invención no está limitada a este ejemplo. En la etapa S1105, el controlador 300 cambia la configuración realizada en la etapa S1101. El contenido modificado habitualmente se determina mediante la entrada de usuario obtenida en la etapa S1104. Cuando la formación de imágenes se va a detener en el cambio de la configuración en esta etapa, la formación de imágenes se detiene temporalmente y se inicia después de cambiar la configuración. Además, cuando no es necesario detener la formación de imágenes, el cambio de la configuración se realiza en paralelo con la formación de imágenes.

En la etapa S1106, el controlador 300 realiza la edición de las imágenes capturadas por la pluralidad de cámaras 112 y el sonido recogido por la pluralidad de micrófonos 111. La edición se realiza habitualmente basándose en una entrada operativa de usuario a través de la UI de operaciones 330 de cámara virtual. Téngase en cuenta que los procesos en la etapa S1106 y la etapa S1103 se pueden realizar en paralelo. Por ejemplo, cuando se suministra un juego deportivo o un concierto en tiempo real (por ejemplo, las imágenes de un juego son suministradas durante el juego), la formación de imágenes en la etapa S1103 y la edición en la etapa S1106 se realizan simultáneamente. Además, cuando se va a suministrar una imagen destacada de un juego deportivo después del juego, la edición se realiza después de que finaliza la formación de imágenes en la etapa S1104.

A continuación, el proceso en la etapa S1100 (preprocesamiento de la instalación) se describirá en detalle haciendo referencia a la figura 12. Primero, en la etapa S1200, la estación de control 310 acepta una entrada de usuario asociada con información sobre una instalación a capturar (información del estadio).

La información del estadio en esta etapa indica la forma del estadio, el sonido, el brillo, la fuente de alimentación, el entorno de transmisión y los datos de modelo 3D del estadio. Específicamente, la información del estadio incluye los datos de forma del estadio descritos anteriormente. Téngase en cuenta que en esta realización se describe un caso en el que la instalación a capturar es un estadio. En este caso, se supone que se generan imágenes de un partido deportivo celebrado en el estadio. Téngase en cuenta que algunos juegos deportivos se llevan a cabo en interiores y, por lo tanto, la instalación de un objetivo de formación de imágenes no está limitada a un estadio. Además, se puede generar una imagen de punto de vista virtual de un concierto en una sala de conciertos y se pueden generar imágenes en un concierto al aire libre en un estadio y, por lo tanto, un evento de un objetivo de formación de imágenes no está limitado a un juego.

En la etapa S1201, la estación de control 310 acepta una entrada de usuario asociada con información del dispositivo. La información del dispositivo en esta etapa indica información sobre el equipo de formación de imágenes, tal como las cámaras, las plataformas de la cámara, las lentes y los micrófonos, información sobre dispositivos de información, tales como la LAN, el PC, el servidor y los cables, e información sobre el vehículo de retransmisión. Sin embargo, no necesariamente se introduce toda la información.

En la etapa S1202, la estación de control 310 acepta una entrada de información de disposición de las cámaras, las plataformas de las cámaras y los micrófonos en el equipo de formación de imágenes en el que se introduce la información del dispositivo en la etapa S1201. La información de disposición puede ser introducida utilizando los datos de modelo 3D del estadio descrito anteriormente.

En la etapa S1203, la estación de control 310 acepta una entrada de usuario asociada con información operativa del sistema 100 de procesamiento de imágenes. La información de funcionamiento en esta etapa indica un objetivo de formación de imágenes, un tiempo de formación de imágenes, un trabajo de cámara y un punto de observación. Por ejemplo, cuando un objetivo de formación de imágenes es una ceremonia de apertura en la que el número de imágenes de primer plano, tal como los jugadores, en una imagen capturada es abrumadoramente mayor que en las de los juegos, un procedimiento de generación de imágenes se puede cambiar a un procedimiento adecuado para la situación. Además, dependiendo del tipo de juego, tal como atletismo, un partido de fútbol utilizando un campo, o similar, se puede realizar un cambio de un punto de observación que es capturado por una pluralidad de cámaras y un cambio de una condición de restricción del trabajo de la cámara. Una tabla de información de configuración configurada por una combinación de la información de funcionamiento es gestionada, cambiada e instruida por la estación de control 310. Este control se describirá a continuación. Después de que el proceso de la etapa S1200 a la etapa S1203 se haya realizado tal como se ha descrito anteriormente, se completa el flujo de trabajo antes de la instalación del sistema. A continuación, el proceso de la etapa S1101 (procesamiento en la instalación) se describirá en detalle haciendo referencia a la figura 13. En la etapa S1300, la estación de control 310 acepta una entrada de usuario asociada con carencia y exceso de equipo instalado. El usuario comprueba la carencia y el exceso comparando la entrada de información del dispositivo en la etapa S1201 con el equipo a instalar, con el fin de determinar si hay carencia o exceso de equipo instalado. En la etapa S1301, la estación de control 310 ejecuta un proceso de comprobación de la instalación del equipo correspondiente a la carencia de la etapa S1300. Es decir, el usuario puede instalar el equipo correspondiente a la carencia entre el proceso en la etapa S1300 y el proceso en la etapa S1301, y la estación de control 310 confirma que el equipo correspondiente a la carencia ha sido instalado por el usuario.

A continuación, en la etapa S1302, la estación de control 310 activa el equipo instalado en la etapa S1301 y realiza una comprobación del funcionamiento del sistema antes del ajuste para determinar si el equipo instalado funciona normalmente. Téngase en cuenta que, en el proceso de la etapa S1302, el usuario puede realizar la comprobación del funcionamiento del sistema antes de que el usuario introduzca un resultado de la comprobación en la estación de control 310.

Si hay carencia y exceso de equipo o se produce un error en el funcionamiento, se transmite una notificación de error a la estación de control 310 (S1303). La estación de control 310 se pone en un estado de bloqueo, es decir, no avanza a la siguiente etapa hasta que se cancela el error. Cuando se cancela el estado de error, se transmite una notificación normal a la estación de control 310 (S1304) y el proceso avanza a la siguiente etapa. Con ello, el error puede ser detectado en una fase inicial. Después de la comprobación, el proceso avanza a la etapa S1305, donde se realiza un proceso asociado con la cámara 112 mientras que el proceso avanza a la etapa S1308, donde se realiza un proceso asociado con el micrófono 111.

En primer lugar, se describirán las cámaras 112. En la etapa S1305, la estación de control 310 ajusta las cámaras instaladas 112. El ajuste de las cámaras 112 en esta etapa indica el ajuste de los ángulos de visión y el ajuste del color y se realiza sobre todas las cámaras instaladas 112. El ajuste en la etapa S1305 se puede realizar de acuerdo con una operación de usuario, o se puede realizar mediante una función de ajuste automático.

Además, en el ajuste de los ángulos de visión, los ajustes del zum, panorámica, inclinación y enfoque se realizan en paralelo, y los resultados de los ajustes se almacenan en la estación de control 310. En el ajuste del color, los ajustes de IRIS, ISO/ganancia, balance de blancos, nitidez y velocidad de obturación se realizan simultáneamente, y los resultados de los ajustes se almacenan en la estación de control 310.

En la etapa S1306, la estación de control 310 realiza un ajuste de tal manera que todas las cámaras 112 instaladas están sincronizadas entre sí. El ajuste de la sincronización en la etapa S1306 se puede realizar de acuerdo con una operación de usuario o se puede realizar mediante la función de ajuste automático. En la etapa S1307, la estación de control 310 realiza la calibración en el momento de la instalación de la cámara. Específicamente, la estación de control 310 realiza un ajuste de tal manera que las coordenadas de todas las cámaras instaladas 112 concuerdan con una coordenada global. La calibración se describirá en detalle a continuación haciendo referencia a la figura 17. Téngase en cuenta que también se ejecutan los comandos de control de las cámaras 112 y un acuse de recibo de comunicación de una trayectoria de red asociada con la sincronización con un servidor de tiempo. A continuación se entra en un estado de espera en el proceso de comprobación normal del funcionamiento del sistema después del ajuste (S1311).

A continuación, se describirá un proceso asociado con los micrófonos 111. En la etapa S1308, la estación de control 310 ajusta los micrófonos 111 instalados. El ajuste de los micrófonos 111 en esta etapa indica el ajuste de ganancia y se realiza en todos los micrófonos 111 instalados. El ajuste de los micrófonos 111 en la etapa S1308 se puede realizar de acuerdo con una operación de usuario o puede ser realizado mediante la función de ajuste automático.

En la etapa S1309, la estación de control 310 realiza el control de tal manera que todos los micrófonos 111 instalados están sincronizados entre sí. Específicamente, la estación de control 310 comprueba un reloj de sincronización. El ajuste de la sincronización en la etapa S1309 puede ser realizado de acuerdo con una operación de usuario, o puede ser realizado mediante la función de ajuste automático.

En la etapa S1310, la estación de control 310 ajusta posiciones de micrófonos 111 que están instalados en un campo, de entre los micrófonos 111 instalados. El ajuste de las posiciones de los micrófonos 111 en la etapa S1310 puede ser realizado de acuerdo con una operación de usuario, o puede ser realizado mediante la función de ajuste automático. Téngase en cuenta que también se ejecutan comandos de control de los micrófonos 111 y un acuse de recibo de comunicación de una trayectoria de red asociada con la sincronización con un servidor de tiempo.

En la etapa S1311, la estación de control 310 realiza una comprobación del funcionamiento del sistema después del ajuste para determinar si las cámaras 112a a 112z y los micrófonos 111a a 111z han sido ajustados correctamente. El proceso en la etapa S1311 puede ser ejecutado en respuesta a una instrucción del usuario. Cuando se determina que un funcionamiento del sistema después del ajuste ha sido realizado normalmente en las cámaras 112 y los micrófonos 111, una notificación que indica que un funcionamiento normal es transmitida a la estación de control 310 en la etapa S1313. Por otra parte, cuando ocurre un error, se transmite una notificación de error a la estación de control 310 junto con los tipos y números individuales de las cámaras 112 y los micrófonos 111 (S1312). La estación de control 310 emite una instrucción de reajuste de acuerdo con un tipo y un número individual de un dispositivo en el que se produce un error.

A continuación, el proceso en la etapa S1102 (preprocesamiento de formación de imágenes) descrito anteriormente se describirá haciendo referencia a la figura 14. En la etapa S1400, la UI de operaciones 330 de cámara virtual muestra una imagen que ha sido sometida a un proceso realizado por el servidor central 270. El operador (el usuario) del controlador 300 puede comprobar el resultado del procesamiento realizado por el servidor central 270 comprobando una pantalla de la UI de operaciones 330 de cámara virtual.

En paralelo al proceso de la etapa S1400, se realiza un proceso de la etapa S1401. En la etapa S1401, la UI de operaciones 330 de cámara virtual emite sonido procesado por el servidor central 270. El operador (el usuario) del controlador 300 puede comprobar el resultado del procesamiento realizado por el servidor central 270 comprobando la salida del sonido de la UI de operaciones 330 de cámara virtual.

En la etapa S1402, la imagen y el sonido procesados por el servidor central 270 son combinados entre sí y la UI de operaciones 330 de cámara virtual emite un resultado de conversión de la imagen y el sonido combinados en una señal de suministro. El operador (el usuario) del controlador 300 puede comprobar la imagen y el sonido que han sido procesados por el servidor central 270 comprobando la salida de la señal de suministro de la UI de operaciones 330 de cámara virtual.

A continuación, el proceso en la etapa S1103 (el proceso en la formación de imágenes) descrito anteriormente se describirá en detalle haciendo referencia a las figuras 15 y 16.

En la etapa S1103, la estación de control 310 realiza el control del sistema y la operación de comprobación, y la UI de operaciones 330 de cámara virtual realiza la operación de generar una imagen y sonido. El control del sistema y la operación de comprobación se muestran haciendo referencia a la figura 15, y la operación de generar una imagen y sonido se muestra haciendo referencia a la figura 16. Primero, se hará una descripción haciendo referencia a la figura 15. En el control del sistema y la operación de comprobación realizados por la estación de control 310, el control de una imagen y sonido y la operación de comprobación se realizan independientemente al mismo tiempo.

En primer lugar, se describirá una operación asociado a una imagen. En la etapa S1500, la UI de operaciones 330 de cámara virtual muestra una imagen de punto de vista virtual generada por el servidor central 270. En la etapa S1501, la UI de operaciones 330 de cámara virtual acepta una entrada asociada con un resultado de la comprobación realizada por el usuario de la imagen mostrada en la etapa S1500. Cuando se determina que la formación de imágenes debe terminar en la etapa S1502, el proceso continúa con la etapa S1508 y, de lo contrario, el proceso vuelve a la etapa S1500. Específicamente, durante la formación de imágenes, el proceso en la etapa S1500 y la etapa S1501 se realiza repetidamente. Téngase en cuenta que la determinación de si la formación de imágenes debe terminar o continuar puede ser realizada por la estación de control 310 de acuerdo con una entrada de usuario, por ejemplo.

A continuación, se describirá un funcionamiento asociado con el sonido. En la etapa S1503, la UI de operaciones 330 de cámara virtual acepta una operación de usuario asociado con un resultado de una selección de los micrófonos 111. Téngase en cuenta que, cuando los micrófonos 111 son seleccionados uno por uno en un orden predeterminado, no se realiza necesariamente una operación de usuario. En la etapa S1504, la UI de operaciones 330 de cámara virtual reproduce el sonido del micrófono 111 seleccionado en la etapa S1503. En la etapa S1505, la UI de operaciones 330 de cámara virtual determina si el ruido está incluido en el sonido reproducido en la etapa S1504. La determinación de si se incluye ruido puede realizarla el operador (el usuario) del controlador 300, puede ser realizada automáticamente mediante un proceso de análisis de sonido, o puede ser realizada mediante ambos procedimientos. Cuando el usuario determina la presencia o ausencia de ruido, la UI de operaciones 330 de cámara virtual acepta una entrada asociada con un resultado de la determinación de ruido realizada por el usuario en la etapa S1505. Cuando se detecta el ruido en la etapa S1505, la UI de operaciones 330 de cámara virtual ajusta la ganancia del micrófono en la etapa S1506. El ajuste de la ganancia del micrófono en la etapa S1506 se puede realizar de acuerdo con una operación de usuario, o puede ser realizado mediante la función de ajuste automático. Téngase en cuenta que, cuando el ajuste de la ganancia del micrófono se va a realizar de acuerdo con una operación de usuario, la UI de operaciones 330 de cámara virtual acepta una entrada de usuario asociada con el ajuste de la ganancia del micrófono y ajusta la ganancia del micrófono de acuerdo con la entrada de usuario en la etapa S1506. Además, los micrófonos 111 seleccionados se pueden detener dependiendo del estado del ruido. Cuando se determina que la recogida de sonido se va a finalizar en la etapa S1507, el proceso avanza a la etapa S1508 y, en caso contrario, el proceso vuelve a la etapa S1503. Es decir, durante la recogida de sonido, el proceso de la etapa S1503 a la etapa S1506 es realizado repetidamente. Téngase en cuenta que la determinación de si la recogida de sonido debe finalizar o continuar puede ser realizada por la estación de control 310 de acuerdo con una entrada de usuario, por ejemplo.

Cuando se determina que el sistema se va a finalizar en la etapa S1508, el proceso avanza a la etapa S1509 y, en caso contrario, el proceso vuelve a la etapa S1500 y a la etapa S1503. La determinación en la etapa S1508 puede ser ejecutada de acuerdo con una operación de usuario. En la etapa S1509, los registros obtenidos por el sistema 100 de procesamiento de imágenes son recopilados por la estación de control 310. A continuación, se describirá una operación de generación de una imagen y sonido haciendo referencia a la figura 16. En la operación de generación de una imagen y sonido realizada mediante la UI de operaciones 330 de cámara virtual descrita anteriormente, se generan individualmente en paralelo una imagen y un sonido.

En primer lugar, se describirá un funcionamiento asociado a una imagen. En la etapa S1600, la UI de operaciones 330 de cámara virtual emite una instrucción para generar una imagen de punto de vista virtual al servidor central 270. En la etapa S1600, el servidor central 270 genera una imagen de punto de vista virtual de acuerdo con la instrucción emitida por la UI de operaciones 330 de cámara virtual. Cuando se determina que la generación de imágenes se va a finalizar en la etapa S1601, el proceso avanza a la etapa S1604 y, en caso contrario, el proceso vuelve a la etapa S1600. La determinación en la etapa S1601 puede ser ejecutada de acuerdo con una operación de usuario.

A continuación, se describirá un funcionamiento asociado con el sonido. En la etapa S1602, la UI de operaciones 330 de cámara virtual emite una instrucción para generar un sonido de punto de vista virtual al servidor central 270. En la etapa S1602, el servidor central 270 genera un sonido de punto de vista virtual de acuerdo con la instrucción emitida por la UI de operaciones 330 de cámara virtual. Cuando se determina que la generación de sonido se va a finalizar en la etapa S1603, el proceso avanza a la etapa S1604 y, en caso contrario, el proceso vuelve a la etapa S1602. Téngase en cuenta que la determinación en la etapa S1603 puede estar vinculada con la determinación en la etapa S1601.

A continuación, se describirá un flujo de trabajo en el momento de la instalación y un flujo de trabajo antes de la formación de imágenes. El sistema 100 de procesamiento de imágenes puede controlar la conmutación entre un estado en el que se realiza la calibración en el momento de la instalación y un estado en el que se lleva a cabo formación de imágenes normal, cambiando un modo de funcionamiento. Téngase en cuenta que puede ser necesaria la calibración de una determinada cámara durante la formación de imágenes y, en este caso, se realizan dos tipos de funcionamiento, es decir, formación de imágenes y calibración.

El proceso de calibración en el momento de la instalación se describirá haciendo referencia al diagrama de flujo de la figura 17. En la figura 17, aunque las descripciones de una notificación de finalización de la recepción de datos y una notificación de finalización del procesamiento en respuesta a instrucciones transmitidas y recibidas entre dispositivos se omiten, se devuelve algún tipo de respuesta en respuesta a las instrucciones.

Cuando se completa la instalación de las cámaras 112, el usuario instruye a la estación de control 310 para que ejecute la calibración en el momento de la instalación. A continuación, la estación de control 310 indica al servidor de interfaz de usuario 230 y al adaptador 120 de cámara que inicien la calibración (S04100).

Cuando se recibe una instrucción para iniciar la calibración, el servidor de interfaz de usuario 230 determina que los datos de imagen recibidos después de la instrucción son datos para calibración y cambia un modo de control para que la unidad de calibración 02140 esté disponible para el procesamiento (S04102a). Además, cuando recibe una instrucción para iniciar la calibración, el adaptador 120 de cámara entra en un modo de control para abordar una imagen de cuadro sin comprimir sin realizar procesamiento de imágenes, tal como la separación de primer plano/segundo plano (S04102b). Además, el adaptador 120 de cámara indica a la cámara 112 que cambie un modo de cámara (S04101). Cuando reciben la instrucción, las cámaras 112 establecen una velocidad de cuadros de 1 fps, por ejemplo. Alternativamente, se puede configurar un modo en el que las cámaras 112 transmiten una imagen fija en lugar de una imagen en movimiento (S04102c). Además, se puede establecer un modo en el que el adaptador 120 de cámara controla una velocidad de cuadros y se transmite una imagen de calibración.

La estación de control 310 indica al adaptador 120 de cámara que obtenga un valor de zum y un valor de enfoque de la cámara 112 (S04103), y el adaptador 120 de cámara transmite el valor de zum y el valor de enfoque de la cámara 112 a la estación de control 310 (S04104).

Téngase en cuenta que, aunque en la figura 17 se muestran solo un adaptador 120 de cámara y una cámara 112, todos los adaptadores 120 de cámara y todas las cámaras 112 incluidas en el sistema 100 de procesamiento de imágenes son controladas individualmente. Por lo tanto, el proceso en la etapa S04103 y la etapa S04104 se ejecuta un número de veces correspondiente al número de cámaras 112, y cuando se completa el proceso en la etapa S04103 y la etapa S04104 realizado en todas las cámaras 112, la estación de control 310 ha recibido los valores de zum y los valores de enfoque de todas las cámaras 112.

La estación de control 310 transmite los valores de zum y los valores de enfoque de todas las cámaras 112 recibidos en la etapa S04104 al servidor de interfaz de usuario 230 (S04105). Posteriormente, la estación de control 310 notifica al servidor de interfaz de usuario 230 un patrón de formación de imágenes para formar imágenes para la calibración en el momento de la instalación (S04106).

En este caso, un atributo de un nombre de patrón (un patrón 1-10, por ejemplo) para identificar una de las imágenes capturadas una pluralidad de veces en diferentes temporizaciones, mientras un marcador o similar que sirve como un punto característico de la imagen se mueve en el suelo, es añadido al patrón de formación de imágenes. Específicamente, el servidor de interfaz de usuario 230 determina que los datos de imagen para calibración recibidos después de la etapa S04106 son una imagen capturada del patrón de formación de imágenes recibido en la etapa S04106. A continuación, la estación de control 310 indica a los adaptadores 120 de cámara que realicen la captura de imágenes fijas con sincronización (S04107), y los adaptadores 120 de cámara indican a las cámaras 112 que realicen captura de imágenes fijas, estando todas las cámaras 112 sincronizadas entre sí (S04108). A continuación, las cámaras 112 transmiten las imágenes capturadas a los adaptadores 120 de cámara (S04109).

Téngase en cuenta que existe una pluralidad de grupos de puntos de observación, pudiéndose realizar la captura de la imagen de calibración de la etapa S04106 a la etapa S04111 para cada grupo de puntos de observación.

A continuación, la estación de control 310 indica a los adaptadores 120 de cámara que transmitan imágenes cuya captura se indica en la etapa S04107, al servidor de interfaz de usuario 230 (S04110). Además, los adaptadores 120 de cámara transmiten las imágenes recibidas en la etapa S04109 al servidor de interfaz de usuario 230 especificado como destino de transmisión (S04111).

En la etapa S04111, la imagen para la calibración se transmite en la etapa S04111 sin ser sometida a procesamiento de imágenes, tal como la separación de primer plano/segundo plano, y sin compresión de la imagen capturada. Por lo tanto, cuando todas las cámaras 112 capturan imágenes en alta resolución o cuando el número de cámaras 112 es grande, no todas las imágenes sin comprimir pueden ser transmitidas simultáneamente debido a la restricción de una banda de transmisión. Por consiguiente, el período de tiempo necesario para la calibración puede resultar largo en el flujo de trabajo. En este caso, se emite a su vez una instrucción para transmitir una imagen sin comprimir correspondiente al atributo de patrón de la calibración, a cada uno de los adaptadores 120 de cámara en la instrucción de transmisión de imagen en la etapa S04110.

Además, en este caso, es necesario que se capture un número mayor de puntos característicos correspondientes al atributo de patrón del marcador y, por lo tanto, la captura de imágenes para la calibración se realiza utilizando una pluralidad de marcadores. En este caso, la captura de imágenes y la transmisión de imágenes sin comprimir pueden ser realizadas de manera asíncrona en términos de distribución de carga. Además, las imágenes sin comprimir obtenidas en la captura de imágenes para la calibración se acumulan sucesivamente en el adaptador 120 de cámara para los atributos de patrones individuales y, en paralelo a esto, la transmisión de las imágenes sin comprimir se realiza en respuesta a una indicación de transmisión de imágenes emitida en la etapa S04110. Con esto, se puede conseguir el resultado de reducción del tiempo de procesamiento del flujo de trabajo y la reducción del error humano.

Cuando se completa el proceso en la etapa S04111 en todas las cámaras 112, el servidor de interfaz de usuario 230 está en un estado en el que se han recibido las imágenes capturadas por todas las cámaras 112. Cuando existe una pluralidad de patrones de formación de imágenes tal como se ha descrito anteriormente, el proceso de la etapa S04106 a la etapa S04111 se realiza repetidamente para varios patrones.

Posteriormente, cuando se completa toda la formación de imágenes para la calibración, la estación de control 310 indica al servidor de interfaz de usuario 230 que realice un proceso de estimación de parámetros de cámara (S04112).

Cuando recibe la instrucción para realizar el proceso de estimación de parámetros de cámara, el servidor de interfaz de usuario 230 realiza el proceso de estimación de parámetros de cámara utilizando los valores de zum y los valores de enfoque de todas las cámaras 112 recibidos en la etapa S04105 y las imágenes capturadas de todas las cámaras 112 recibidos en la etapa S04111 (S04113). El proceso de estimación de parámetros de cámara realizado en la etapa S04113 se describirá a continuación en detalle. Cuando existe una pluralidad de puntos de observación, el proceso de estimación de parámetros de cámara se realiza para cada grupo de puntos de observación en la etapa S04113.

A continuación, el servidor de interfaz de usuario 230 transmite parámetros de cámara de todas las cámaras 112 obtenidos como resultado del proceso de estimación de parámetros de cámara realizado en la etapa S04113, a la base 250 de datos que almacena los parámetros de cámara (S04114).

Además, el servidor de interfaz de usuario 230 transmite de manera similar los parámetros de cámara de todas las cámaras 112, a la estación de control 310 (S04115). La estación de control 310 transmite los parámetros de cámara correspondientes a las cámaras 112, a los adaptadores 120 de cámara (S04116), y los adaptadores 120 de cámara almacenan los parámetros de cámara recibidos de las cámaras 112 correspondientes (S04117).

Posteriormente, la estación de control 310 comprueba un resultado de calibración (S04118). Como procedimiento de comprobación, se pueden comprobar los valores numéricos de los parámetros de cámara obtenidos, se puede comprobar un proceso de cálculo en el proceso de estimación de parámetros de cámara realizado en la etapa S04114, o se puede comprobar una imagen generada por medio de generación de imágenes utilizando los parámetros de cámara. A continuación, la estación de control 310 instruye al servidor de interfaz de usuario 230 para que finalice la calibración (S04119).

Cuando recibe la instrucción para finalizar la calibración, a diferencia del proceso de inicio de calibración ejecutado en la etapa S04101, el servidor de interfaz de usuario 230 cambia un modo de control, de modo que se determina que los datos de imagen recibidos después de la instrucción no son datos para calibración (S04120). De acuerdo con el proceso descrito anteriormente, en el proceso de calibración de instalación, se obtienen los parámetros de cámara de todas las cámaras y los parámetros de cámara obtenidos son almacenados en el adaptador 120 de cámara y en la base 250 de datos.

Además, el proceso de calibración de instalación es realizado después de la instalación de la cámara 112 y antes de la formación de imágenes. Si la cámara 112 no se mueve, no es necesario realizar de nuevo el proceso. Sin embargo, si se mueve la cámara 112 (por ejemplo, cuando se va a cambiar un punto de observación antes y después de un juego), se vuelve a realizar el mismo proceso.

Además, cuando la cámara 112 se mueve un valor umbral predeterminado o más, debido a un accidente, tal como la colisión de una pelota durante la formación de imágenes, la cámara 112 en un estado de formación de imágenes se puede poner en un estado de inicio de calibración y se puede realizar la calibración de la instalación descrita anteriormente. En este caso, el sistema mantiene un estado de formación de imágenes normal y la información que indica que solo la cámara 112 transmite una imagen para la calibración es transmitida al servidor de interfaz de usuario 230. De este modo, no es necesario que todo el sistema se ponga en un modo de calibración, y la formación de imágenes se puede realizar continuamente. Además, en la transmisión en la conexión en cadena en este sistema, si una imagen sin comprimir para calibración es transmitida a una banda de transmisión de datos de imagen en formación de imágenes normal, se puede exceder una restricción de banda de transmisión. En este caso, se reduce la prioridad de transmisión de la imagen sin comprimir, o la imagen sin comprimir es dividida antes de la transmisión. Además, cuando la conexión entre los adaptadores 120 de cámara es de 10 GbE o similar, se utiliza una característica de dúplex completo para transmitir la imagen sin comprimir en un sentido opuesto a la transmisión de datos de imagen en la formación de imágenes normal, de modo que se pueda garantizar una banda.

Además, si se va a cambiar uno de una pluralidad de puntos de observación, solo la cámara 112 correspondiente a un grupo del punto de observación puede realizar de nuevo el proceso de calibración de la instalación descrito anteriormente. En este caso, la cámara 112 del grupo de puntos de observación del objetivo puede no realizar la formación de imágenes normal o la generación de una imagen de punto de vista virtual. Por lo tanto, una notificación que indica que el proceso de calibración se está realizando es transmitida a la estación de control 310, y la estación de control 310 solicita a la UI de operaciones 330 de cámara virtual que realice el procesamiento, tal como la restricción de una operación de punto de vista. El servidor de interfaz de usuario 230 realiza el proceso de estimación de parámetros de cámara, mientras que el proceso de estimación de parámetros de cámara no afecta al proceso de generación de una imagen de punto de vista virtual.

Las operaciones del servidor de interfaz de usuario 230 en la etapa S1200 en el flujo de trabajo de preinstalación y en la etapa S1305 en el flujo de trabajo de instalación se describirán haciendo referencia al diagrama de flujo de la figura 18.

En la etapa S1200 en el flujo de trabajo de preinstalación, el controlador 02110 del servidor de interfaz de usuario 230 recibe una instrucción para conmutara un modo de entrada de datos de CAD desde la estación de control 310, y realiza la conmutación al modo de entrada de datos de CAD (S02210).

El controlador 02120 de entrada de datos recibe datos de CAD del estadio (datos de forma del estadio) desde la estación de control 310 (S02220). El controlador 02120 de entrada de datos transmite los datos recibidos a la unidad 02185 de generación de archivos de datos no de formación de imágenes y a la unidad de almacenamiento de datos de CAD 02135. La unidad de almacenamiento de datos de CAD 02135 almacena los datos de forma del estadio suministrados desde el controlador 02120 de entrada de datos en un medio de almacenamiento (S02230).

En la etapa S1305 del flujo de trabajo de instalación, el controlador 02110 recibe una instrucción para conmutar a un modo de calibración desde la estación de control 310, y realiza la conmutación al modo de calibración (S02240).

El controlador 02120 de entrada de datos recibe del adaptador de cámara 120 una imagen capturada de calibración y transmite la imagen capturada de calibración a la unidad de calibración 02140 (S02250).

La unidad de calibración 02140 realiza la calibración para obtener los parámetros de cámara (S02260). La unidad de calibración 02140 almacena los parámetros de cámara obtenidos, en una zona de almacenamiento, y transmite los parámetros de cámara a la base 250 de datos, por medio de la unidad 02185 de generación de archivos de datos no de formación de imágenes y el controlador de acceso a la DB 02190 (S02270).

Se describirá una operación de la base 250 de datos en la etapa S1200 en el flujo de trabajo de preinstalación haciendo referencia al diagrama de flujo de la figura 19. La base 250 de datos ejecuta procesos en las figuras 19 y 20 descritas a continuación en respuesta a instrucciones emitidas por el controlador 300.

En la etapa S1200 del flujo de trabajo de preinstalación, la unidad 02420 de entrada de datos recibe los datos de CAD del estadio (los datos de forma del estadio) del servidor de interfaz de usuario 230, y almacena los datos en la memoria caché 02440 (S02510). La caché 02440 mueve los datos de ^cA^ddel estadio almacenados al almacenamiento principal 02450 para almacenar los datos (S02520).

Se describirá una operación de la base 250 de datos en la etapa S1305 en el flujo de trabajo de instalación haciendo referencia a un diagrama de flujo de la figura 20.

En la etapa S1305 en el flujo de trabajo de instalación, la unidad 02420 de entrada de datos recibe los parámetros de cámara desde el servidor de interfaz de usuario 230, y almacena los parámetros de cámara en la caché 02440 (S02610).

La caché 02440 mueve los parámetros de cámara almacenados al almacenamiento principal 02450 para almacenar los parámetros de cámara (S02620). El controlador 02410 establece el número N de cuadros de acuerdo con una instrucción emitida por la estación de control 310 y la capacidad de la caché 02440 (S02630).

Posteriormente, el proceso de estimación de parámetros de cámara realizado por la unidad de calibración 02140 del servidor de interfaz de usuario 230 se describirá haciendo referencia a un diagrama de flujo de la figura 21. Téngase en cuenta que la unidad de calibración 02140 ejecuta el proceso de estimación de parámetros de cámara de acuerdo con una instrucción emitida por la estación de control 310. Un mapa de parámetros internos, datos del estadio, valores de zum y valores de enfoque de todas las cámaras 112, e imágenes capturadas para la calibración de todas las cámaras 112 han sido almacenados en la unidad de calibración 02140 antes del inicio de esta secuencia.

Primero, la unidad de calibración 02140 especifica una de las cámaras 112 (S04201) y, a continuación, especifica el correspondiente de los valores de zum y el correspondiente de los valores de enfoque para obtener un valor inicial de parámetro interno a partir del valor de zum especificado y del valor de enfoque especificado, utilizando el mapa de parámetros internos (S04202). El proceso en la etapa S04201 y la etapa S04202 se realiza repetidamente hasta que se obtienen valores iniciales de los parámetros internos de todas las cámaras 112 en la etapa S04202 (S04203).

Posteriormente, la unidad de calibración 02140 especifica de nuevo otra de las cámaras 112 y, a continuación, especifica una correspondiente de las imágenes capturadas para calibración (S04204), con el fin de detectar un punto característico en la imagen (un punto característico de la imagen) (S04205). Ejemplos del punto característico de la imagen incluyen un marcador proporcionado para calibración, una línea del campo dibujada previamente en el suelo del estadio y una parte de borde de un objeto colocado previamente (tal como una portería de fútbol o un banco para jugadores de reserva).

El proceso en la etapa S04204 y la etapa S04205 se realiza repetidamente hasta que se detectan valores característicos de imagen, de todas las cámaras 112, en la etapa S04205 (S04206).

Posteriormente, la unidad de calibración 02140 realiza una concordancia entre los puntos característicos de imagen de las imágenes capturadas para la calibración de las cámaras 112 detectadas en la etapa S04205 (S04207). Posteriormente, la unidad de calibración 02140 determina si el número de puntos característicos utilizados en la concordancia es menor o igual que un valor umbral (S04208). El valor umbral del número de valores característicos utilizados en la etapa S04208 puede ser establecido por adelantado, o puede ser obtenido automáticamente dependiendo de una condición de la formación de imágenes, tal como el número de cámaras 112 o un campo de visión. Específicamente, se utiliza un valor mínimo necesario para la estimación de parámetros externos.

Cuando el número de puntos característicos utilizados no es menor o igual que el valor umbral en la etapa S04208, la unidad de calibración 02140 realiza un proceso de estimación de parámetros externos sobre las cámaras 112 (S04209). Como resultado del proceso de estimación de parámetros externos en la etapa S04209, se determina si un error de re-proyección es menor o igual que un valor umbral (S04210). El valor umbral del error de re-proyección utilizado en la etapa S04210 puede ser establecido por adelantado, o puede ser obtenido automáticamente de acuerdo con una condición de la formación de imágenes, tal como el número de cámaras 112, siempre que se utilice un valor correspondiente a la precisión de una imagen de punto de vista virtual a generar.

Cuando el error de re-proyección no es menor o igual que el valor umbral en la determinación de la etapa S04210, la unidad de calibración 02140 determina que el error es grande y realiza un proceso de eliminación de detección falsa de un punto característico de la imagen en la etapa S04205, y un proceso de eliminación de concordancia falsa de un punto característico de la imagen en la etapa S04207 (S04211). Como procedimiento para determinar la detección falsa y la concordancia falsa en la etapa S04211, la unidad de calibración 02140 puede eliminar automáticamente un punto característico que tenga un error de re proyección grande o el usuario puede eliminar manualmente dicho punto característico mientras visualiza el error de re-proyección y la imagen.

La unidad de calibración 02140 realiza la corrección del parámetro interno sobre el valor inicial del parámetro interno obtenido en la etapa S04202 (S04212). A continuación, el proceso de la etapa S04208 a la etapa S04212 se realiza repetidamente hasta que el error de re-proyección resulta menor o igual que el valor umbral en la etapa S04210 dentro de un rango en el que el número de puntos característicos utilizados no es menor o igual que el valor umbral en la etapa S04208.

Cuando el número de puntos característicos utilizados es menor o igual que el valor umbral en la determinación de la etapa S04208, la unidad de calibración 02140 determina que la calibración falla (S04213). Cuando falla la calibración, se vuelve a realizar la formación de imágenes para la calibración. El resultado de la determinación de si la calibración se ha realizado con éxito o ha fallado se transmite a la estación de control 310, y las contramedidas, incluido el proceso de calibración realizado después del fallo, son gestionadas integralmente por la estación de control 310.

Cuando el error de re-proyección es menor o igual que el valor umbral en la determinación de la etapa S04210, la unidad de calibración 02140 realiza una transformación de cuerpo rígido de un sistema de coordenadas de cámara a un sistema de coordenadas global en la coordenada de parámetro externo estimada en la etapa S04209, utilizando los datos del estadio (S04214).

Como datos del estadio, se definen valores de coordenadas para realizar la transformación de cuerpo rígido, tales como los originales de los ejes X, Y y Z (un punto central de un círculo central en un campo, por ejemplo) o valores de coordenadas de una pluralidad de puntos característicos en el estadio (puntos de intersección de líneas de campo, por ejemplo).

Téngase en cuenta que, en caso de que los datos del estadio no existan o que la precisión de los datos sea baja, por ejemplo, una coordenada global para la transformada de cuerpo rígido puede ser introducida manualmente o los datos que indican la coordenada global pueden ser asignados independientemente a la unidad de calibración 02140.

La coordenada global en la imagen capturada para la calibración se obtiene realizando el proceso en la etapa S04214 y, por lo tanto, las coordenadas de los puntos característicos incluidos en el estadio registrados por adelantado en los datos del estadio, pueden ser actualizadas para mejorar la precisión.

De acuerdo con el proceso descrito anteriormente, en el proceso de estimación de parámetros de cámara, se pueden obtener los parámetros de cámara de todas las cámaras 112, y los parámetros de cámara obtenidos pueden ser almacenados en el adaptador 120 de cámara y la base 250 de datos.

Téngase en cuenta que en el sistema que genera una imagen de punto de vista virtual utilizando la imagen capturada de una pluralidad de cámaras 112, cuando las cámaras 112 están instaladas, es necesario el proceso de calibración para estimar las posiciones y orientaciones de las cámaras 112 en el momento de la instalación de las cámaras 112 (calibración de la instalación).

En la calibración de la instalación, se realiza un proceso de obtención de parámetros de cámara de las cámaras individuales 112. Los parámetros de cámara incluyen parámetros internos exclusivos de cada cámara (incluidos parámetros de distancia focal, centro de imagen y distorsión de la lente) y parámetros externos (una matriz de rotación, un vector de posición y similares) que indican una posición/orientación de cada cámara. Cuando se completa el proceso de calibración de la instalación, se han obtenido los parámetros de cámara de las cámaras individuales 112.

Entre los parámetros de cámara, los parámetros internos se cambian de acuerdo con los valores de zum y los valores de enfoque cuando se determinan las cámaras 112 y las lentes. Por lo tanto, en este sistema, la formación de imágenes necesaria para obtener los parámetros internos se realiza utilizando las cámaras 112 y las lentes antes de instalar las cámaras 112 en el estadio, de modo que se obtienen los parámetros internos. A continuación, se establece que los parámetros internos pueden ser obtenidos automáticamente cuando se determinan los valores de zum y los valores de enfoque cuando las cámaras 112 están instaladas en el estadio. Esto representa que los parámetros internos se mapean en esta realización, y el resultado del mapeo se denomina “mapa de parámetros internos”.

Como formato del mapa de parámetros internos, se puede registrar un formato de una pluralidad de parámetros internos registrados correspondientes a los valores de zum y a los valores de enfoque, o se puede emplear un formato de una ecuación aritmética que puede calcular valores de parámetros internos. Específicamente, se puede emplear cualquier mapa de parámetros internos siempre que los parámetros internos se obtengan únicamente de acuerdo con los valores de zum y los valores de enfoque.

Los valores de parámetros obtenidos por el mapa de parámetros internos se utilizan como valores iniciales de los parámetros internos. Los parámetros internos obtenidos como resultado del proceso de estimación de parámetros de cámara son valores corregidos en el proceso de estimación de parámetros de cámara utilizando imágenes capturadas para calibración después de que las cámaras 112 estén instaladas en el estadio.

Además, en esta realización, se instalan el mismo tipo de cámaras 112 y el mismo tipo de lentes, y se pueden utilizar los mismos parámetros internos siempre que los valores de zum sean los mismos y los valores de enfoque sean los mismos.

Téngase en cuenta que la presente invención no está limitada a esto y, en un caso en el que los parámetros internos tengan diferencias individuales aunque los valores de zum sean los mismos y los valores de enfoque sean los mismos, tal como un caso en el que se utilizan una pluralidad de tipos de cámaras 112 y una pluralidad de tipos de lentes, se pueden incluir diferentes mapas de parámetros internos en los diferentes tipos y las diferentes cámaras 112.

A continuación, se describirán la formación de imágenes mediante la cámara 112, la recogida de sonido mediante el micrófono 111 y un proceso de acumulación de datos obtenidos mediante la formación de imágenes o la corrección de sonido en la base 250 de datos a través del adaptador 120 de cámara y el servidor de interfaz de usuario 230.

Las secuencias de un proceso de inicio de formación de imágenes de las cámaras 112 se describirán haciendo referencia a las figuras 22A y 22B. Aunque en las figuras 22A y 22B se muestran diferentes secuencias de procesamiento, se puede obtener el mismo resultado en ambas secuencias. El adaptador 120 de cámara determina si se va a realizar un proceso mostrado en la figura 22A o un proceso mostrado en la figura 22B, de acuerdo con una especificación de la cámara 112.

En primer lugar, se describirá el proceso de la figura 22A. El servidor 290 de tiempo realiza la sincronización de tiempo con un GPS 2201, por ejemplo, y establece un punto de tiempo gestionado por el servidor 290 de tiempo (06801). Téngase en cuenta que, en lugar del procedimiento que utiliza el GPS 2201, el punto de tiempo puede ser establecido mediante otro procedimiento, tal como un protocolo de tiempo de red (Network Time Protocol, NTP).

A continuación, el adaptador 120 de cámara se comunica con el servidor 290 de tiempo utilizando un protocolo de tiempo de precisión (PTP), corrige un punto de tiempo gestionado por el adaptador 120 de cámara y realiza la sincronización de tiempo con el servidor 290 de tiempo (06802).

El adaptador 120 de cámara comienza a suministrar una señal de formación de imágenes de sincronización, tal como una señal Genlock, una señal de sincronización de tres valores o similar y una señal de código de tiempo a la cámara 112 (06803). Téngase en cuenta que la información proporcionada no está limitada a un código de tiempo, y se puede proporcionar otra información siempre que la otra información sea un identificador para identificar un cuadro de formación de imágenes.

A continuación, el adaptador 120 de cámara emite una instrucción para iniciar la formación de imágenes en la cámara 112 (06804). Cuando recibe la instrucción para iniciar la formación de imágenes, la cámara 112 realiza la formación de imágenes en sincronización con la señal Genlock (06805).

A continuación, la cámara 112 transmite la imagen capturada incluyendo la señal de código de tiempo al adaptador 120 de cámara (06806). La formación de imágenes se realiza en sincronización con la señal Genlock, hasta que la cámara 112 detiene la formación de imágenes.

El adaptador 120 de cámara realiza un proceso de corrección de punto de tiempo de PTP con el servidor 290 de tiempo durante la formación de imágenes para corregir una temporización cuando se genera la señal Genlock (06807). Cuando la cantidad de corrección necesaria es grande, se puede realizar la corrección de acuerdo con una cantidad de cambio preestablecida.

Con esto, se puede conseguir la pluralidad de cámaras 112 conectadas a la pluralidad de adaptadores 120 de cámara en el sistema.

A continuación, se describirá el proceso de la figura 22B. Como en el caso de la figura 22A, el proceso de sincronización de tiempo se realiza entre el servidor 290 de tiempo y el GPS 2201 y entre el adaptador 120 de cámara y el servidor 290 de tiempo (06851 y 06852). Posteriormente, el adaptador 120 de cámara emite una instrucción para iniciar la formación de imágenes (06853). La instrucción para iniciar la formación de imágenes incluye información que indica un período de tiempo en el que se lleva a cabo formación de imágenes, e información para especificar el número de cuadros. La cámara 112 realiza la formación de imágenes de acuerdo con las instrucciones para iniciar la formación de imágenes (06854).

A continuación, la cámara 112 transmite datos sobre una imagen capturada, al adaptador 120 de cámara (06855). El adaptador 120 de cámara que ha recibido los datos de imagen asigna un código de tiempo a los metadatos de los datos de imagen (06856).

El adaptador 120 de cámara realiza un proceso de corrección de punto de tiempo de PTP con el servidor 290 de tiempo durante la formación de imágenes, para corregir una temporización de la formación de imágenes de la cámara 112. Cuando la cantidad de corrección necesaria es grande, se puede realizar una corrección de acuerdo con una cantidad de cambio preestablecida. Por ejemplo, la instrucción para iniciar la formación de imágenes se emite repetidamente en una temporización corta, tal como cada cuadro.

Téngase en cuenta que aunque la secuencia del proceso de inicio de formación de imágenes se describe haciendo referencia a las figuras 22A y 22B, el micrófono 111 también realiza un proceso similar a la formación de imágenes con sincronización realizada por la cámara 112 para lleva a cabo la recogida de sonido de sincronización. Mientras tanto, a medida que se mejora la resolución de la imagen de una cámara, es posible que la cantidad de transmisión de datos exceda un límite de la banda de transmisión de la red cuando las cámaras 112 transmiten cuadros de imagen. A continuación se describirá un procedimiento para reducir la posibilidad en una realización.

Primero, se describirá una secuencia de un proceso de generación de información de modelo 3D mediante coordinar la pluralidad de adaptadores 120 (120a, 120b, 120c y 120d) de cámara entre sí haciendo referencia a la figura 23. Téngase en cuenta que el orden de procesamiento no está limitado a lo mostrado en la figura 23.

El sistema 100 de procesamiento de imágenes de esta realización incluye 26 cámaras 112 y 26 adaptadores 120 de cámara. Sin embargo, esta realización se centra solo en las dos cámaras 112b y 112c y los cuatro adaptadores 120a de cámara a 120d. La cámara 112b está conectada al adaptador 120b de cámara y la cámara 112c está conectada al adaptador 120c de cámara. Téngase en cuenta que se omiten la cámara 112 conectada al adaptador 120a de cámara, la cámara 112 conectada al adaptador 120d de cámara y los micrófonos 111, las plataformas 113 de cámara y los sensores externos 114 que están conectados a los respectivos adaptadores 120 de cámara. Además, se supone que los adaptadores 120a de cámara a 120d han completado la sincronización del punto de tiempo con el servidor 290 de tiempo y están en el estado de formación de imágenes. Las cámaras 112b y 112c transmiten imágenes capturadas (1) y (2) a los adaptadores 120b y 120c de cámara, respectivamente (F06301 y F06302). Los adaptadores 120b y 120c de cámara hacen que los respectivos controladores de calibración 06133 realicen el proceso de calibración sobre las imágenes capturadas recibidas (1) y (2), respectivamente (F06303 y F06304). En el proceso de calibración, se realizan, por ejemplo, corrección de color, corrección del desenfoque y similares. Aunque el proceso de calibración se realiza en esta realización, el proceso de calibración no se realiza necesariamente.

A continuación, la unidad de separación de primer plano/segundo plano 06131 realiza el proceso de separación de primer plano/segundo plano sobre las imágenes capturadas (1) y (2) que han sido sometidas al proceso de calibración (F06305 y F06306).

Posteriormente, la unidad 06121 de compresión/descompresión de datos comprime imágenes de primer plano e imágenes de segundo plano que están separadas entre sí (F06307 y F06308). Téngase en cuenta que la tasa de compresión se puede cambiar de acuerdo con los grados de importancia de las imágenes de primer plano y las imágenes de segundo plano que están separadas entre sí. La compresión puede no ser realizada, en función de las circunstancias. Uno determinado de los adaptadores 120 de cámara comprime, como mínimo, una imagen de segundo plano entre una imagen de primer plano y la imagen de segundo plano, de modo que la tasa de compresión de la imagen de primer plano se haga menor que la de la imagen de segundo plano, y emite, como mínimo, la imagen de segundo plano comprimida, a uno siguiente de los adaptadores 120 de cámara. En caso de que tanto la imagen de primer plano como la imagen de segundo plano estén comprimidas, la imagen de primer plano que incluye un importante objetivo de formación de imágenes es sometida a compresión sin pérdidas y la imagen de segundo plano que no incluye el objetivo de formación de imágenes es sometida a compresión con pérdidas. Por consiguiente, la cantidad de datos transmitidos al siguiente adaptador 120c de cámara o al siguiente adaptador 120d de cámara se puede reducir de manera eficaz. En caso de que se capture una imagen de un campo de un estadio donde se está jugando un partido de fútbol, rugby, béisbol o similar, por ejemplo, una imagen de segundo plano ocupa la mayor parte de la imagen y una zona de una imagen de primer plano que incluye a los jugadores, es pequeña. Por lo tanto, la cantidad de datos de transmisión se puede reducir considerablemente.

Además, el adaptador 120b de cámara o el adaptador 120c de cámara pueden cambiar la velocidad de cuadros de una imagen que se emitirá al siguiente adaptador 120c de cámara o al siguiente adaptador 120d de cámara, de acuerdo con un grado de importancia. Por ejemplo, la imagen de primer plano que incluye el importante objetivo de formación de imágenes puede ser emitida con una velocidad de cuadros alta, de modo que la velocidad de cuadros de salida de la imagen de segundo plano sea menor que la de la imagen de primer plano, y la imagen de segundo plano que no incluye el objetivo de formación de imágenes puede ser emitida con una velocidad de cuadros baja. Por consiguiente, se puede reducir la cantidad de datos transmitidos al siguiente adaptador 120c de cámara o al siguiente adaptador 120d de cámara. Por ejemplo, la tasa de compresión o la velocidad de cuadros de transmisión se puede cambiar para cada adaptador 120 de cámara de acuerdo con el lugar de instalación de la cámara 112, el lugar de formación de imágenes y/o el rendimiento de la cámara 112. Además, una estructura 3D de asientos o similar, del estadio, puede ser comprobada previamente utilizando dibujos y, por lo tanto, el adaptador 120 de cámara puede transmitir una imagen obtenida eliminando una parte de los asientos de la imagen de segundo plano. Con esto, en el momento de la representación descrito a continuación, la representación de imágenes se realiza mientras se enfocan jugadores en un juego mediante la utilización de la estructura 3D del estadio generada previamente, de modo que se puede conseguir la eficacia de la reducción de la cantidad de datos que se transmitirán y almacenarán en todo el sistema.

Posteriormente, los adaptadores 120 de cámara transmiten las imágenes de primer plano comprimidas y las imágenes de segundo plano comprimidas a los adaptadores de cámara adyacentes 120 (F06310, F06311 y F06312). Téngase en cuenta que, aunque la imagen de primer plano y la imagen de segundo plano se transfieren simultáneamente en esta realización, la imagen de primer plano y la imagen de segundo plano pueden ser transferidas individualmente.

Posteriormente, el adaptador 120b de cámara genera información de modelo 3D utilizando la imagen de primer plano suministrada desde el adaptador 120a de cámara y la imagen de primer plano separada mediante el proceso de separación de primer plano/segundo plano F06305 (F06313). De manera similar, el adaptador 120c de cámara genera información de modelo 3D (F06314).

Posteriormente, el adaptador 120b de cámara transfiere la imagen de primer plano y la imagen de segundo plano proporcionadas desde el adaptador 120a de cámara al adaptador 120c de cámara (F06315). De manera similar, el adaptador 120c de cámara también transfiere la imagen de primer plano y la imagen de segundo plano al adaptador 120d de cámara. Téngase en cuenta que, aunque la imagen de primer plano y la imagen de segundo plano se transfieren simultáneamente en esta realización, la imagen de primer plano y la imagen de segundo plano pueden ser transferidas individualmente.

Además, el adaptador 120c de cámara transfiere al adaptador de cámara 120d (F06317) la imagen de primer plano y la imagen de segundo plano generadas por el adaptador 120a de cámara y suministradas desde el adaptador 120b de cámara.

Posteriormente, los adaptadores 120a a 120c de cámara transfieren la información de modelo 3D generado a los siguientes adaptadores 120b a 120d de cámara, respectivamente (F06318, F06319 y F06320).

Además, los adaptadores 120b y 120c de cámara transfieren sucesivamente la información de modelo 3D recibida, a los siguientes adaptadores 120c a 120d de cámara, respectivamente (F06321 y F06322 ).

Además, el adaptador 120c de cámara transfiere la información de modelo 3D generada por el adaptador 120a de cámara y suministrada desde el adaptador 120b de cámara, al adaptador 120d de cámara (F06323).

Finalmente, las imágenes de primer plano, las imágenes de segundo plano y la información de modelo 3D generada por los adaptadores 120a de cámara a 120d se transfieren sucesivamente a través de los adaptadores 120 de cámara conectados a través de la red al servidor de interfaz de usuario 230.

Téngase en cuenta que el proceso de calibración, el proceso de separación de primer plano/segundo plano, el proceso de compresión y el proceso de generación de información de modelo 3D a realizar por el adaptador 120a de cámara y el adaptador 120d de cámara se omiten en este diagrama de secuencia. Sin embargo, los adaptadores 120a y 120d de cámara realizan las mismas operaciones que los adaptadores 120b y 120c de cámara en la práctica, de modo que se generan imágenes de primer plano, imágenes de segundo plano e información de modelo 3D. Además, aunque se describe la secuencia de transferencia de datos realizada entre los cuatro adaptadores 120 de cámara, se realiza el mismo proceso incluso cuando se aumenta el número de adaptadores 120 de cámara.

Tal como se describió anteriormente, los adaptadores 120 de cámara distintos del último adaptador 120 de cámara en un orden predeterminado en la pluralidad de adaptadores 120 de cámara extraen zonas predeterminadas de las imágenes capturadas por las cámaras 112 correspondientes. A continuación, los adaptadores 120 de cámara emiten datos de imagen basándose en los resultados de la extracción, a los siguientes adaptadores 120 de cámara en el orden predeterminado descrito anteriormente. Por otra parte, el último adaptador 120 de cámara en el orden predeterminado envía los datos de imagen basándose en los resultados de la extracción al servidor informático 200 de imágenes. Específicamente, la pluralidad de adaptadores 120 de cámara están conectados entre sí en cadena, y los datos de imagen basados en los resultados de la extracción de las zonas predeterminadas de las imágenes capturadas realizadas por los adaptadores 120 de cámara son introducidos en el servidor informático 200 de imágenes por los adaptadores 120 de cámara predeterminados. Empleando dicho procedimiento de transmisión de datos, se pueden suprimir un cambio de la carga de procesamiento en el servidor informático 200 de imágenes y un cambio de la carga de transmisión de la red que ocurre en caso de que se cambie el número de sistemas de detección 110 incluidos en el sistema 100 de procesamiento de imágenes. Además, los datos de imagen emitidos desde el adaptador 120 de cámara pueden ser datos generados utilizando los datos de imagen basados en el resultado de la extracción y los datos de imagen basados en el resultado de la extracción de la zona predeterminada realizada por el anterior adaptador 120 de cámara en el orden predeterminado. Por ejemplo, puesto que se entregan datos de imagen basados en diferencias entre los resultados de la extracción realizada por los adaptadores 120 de cámara y los resultados de las extracciones realizadas por los anteriores adaptadores 120 de cámara, se puede reducir la cantidad de datos de transmisión en el sistema. El último adaptador 120 de cámara en el orden descrito anteriormente obtiene datos de imagen de extracción basándose en los datos de imagen de las zonas predeterminadas extraídas por los otros adaptadores 120 de cámara, de imágenes capturadas por las otras cámaras 112 de los otros adaptadores 120 de cámara. A continuación, el último adaptador 120 de cámara emite un resultado de la extracción de la zona predeterminada extraída por el propio adaptador 120 de cámara con datos de imagen correspondientes a los datos de imagen de extracción obtenidos de los otros adaptadores 120 de cámara, al servidor informático 200 de imágenes que genera una imagen de punto de vista virtual.

Además, el adaptador 120 de cámara separa entre sí la parte de primer plano y la parte de segundo plano de la imagen capturada por la cámara 112, y cambia las tasas de compresión y las velocidades de cuadros de transmisión de acuerdo con los grados de prioridad de la parte de primer plano y la parte de segundo plano. Por consiguiente, la cantidad de transmisión puede ser reducida en comparación con un caso en el que todos los datos correspondientes a las imágenes capturadas por las cámaras 112 son transmitidos al servidor de interfaz de usuario 230. Además, la información de modelo 3D necesaria para la generación del modelo 3D es generada sucesivamente por los adaptadores 120 de cámara. Por consiguiente, la carga de procesamiento de un servidor puede ser reducida en comparación con un caso en el que el servidor de interfaz de usuario 230 recopila todos los datos y el proceso de generación de toda la información de modelo 3D se realiza en el servidor de interfaz de usuario 230 y, por consiguiente, la generación del modelo 3D puede ser realizada en tiempo real.

A continuación, se describirá un flujo de un proceso de generación de una imagen de primer plano y una imagen de segundo plano, y la transferencia de la imagen de primer plano y la imagen de segundo plano al siguiente adaptador 120 de cámara en el proceso de generación sucesiva de información de modelo 3D realizada por los adaptadores 120 de cámara, haciendo referencia a la figura 24.

El adaptador 120 de cámara obtiene una imagen capturada de la cámara 112 conectada al adaptador 120 de cámara (06501). Posteriormente, se realiza un proceso de separación de una imagen de primer plano y una imagen de segundo plano en la imagen capturada obtenida (06502). Téngase en cuenta que la imagen de primer plano en esta realización se determina basándose en el resultado de la detección de un objeto predeterminado incluido en una imagen capturada por la cámara 112. El objeto predeterminado corresponde a una persona, por ejemplo. El objeto puede ser una persona específica (un jugador, un entrenador y/o un árbitro) o puede ser una pelota o una portería que tiene un patrón de imágenes predeterminado. Alternativamente, un objeto en movimiento puede ser detectado como el objeto.

Posteriormente, el proceso de compresión se realiza sobre la imagen de primer plano y la imagen de segundo plano que están separadas. La imagen de primer plano es sometida a la compresión sin pérdidas, y la imagen de primer plano mantiene una alta calidad de imagen. La imagen de segundo plano es sometida a compresión con pérdidas, y se suprime una cantidad de transmisión de datos (06503).

Posteriormente, el adaptador 120 de cámara transfiere la imagen de primer plano comprimida y la imagen de segundo plano comprimida al siguiente adaptador 120 de cámara (06504). La imagen de segundo plano puede ser transferida mientras se extrae un cuadro de transferencia en lugar de realizarse la transferencia en cada cuadro. En caso de que la velocidad de cuadros de una imagen capturada sea de 60 fps, por ejemplo, aunque la imagen de primer plano es transferida cada cuadro, solo se transmite un cuadro de entre los 60 cuadros de la imagen de segundo plano en un segundo. Con esto, se consigue un resultado único de reducción de la cantidad de transmisión de datos.

Además, el adaptador 120 de cámara puede asignar metadatos antes de transmitir la imagen de primer plano y la imagen de segundo plano al siguiente adaptador 120 de cámara. Por ejemplo, los identificadores del adaptador 120 de cámara y la cámara 112, una posición (una coordenada xy) de la imagen de primer plano en un cuadro, un tamaño de datos, un número de cuadro y un punto de tiempo de formación de imágenes, son asignados como metadatos. Alternativamente, se puede asignar información sobre un grupo de puntos de observación para identificar un punto objetivo, e información de tipo de datos para especificar la imagen de primer plano y la imagen de segundo plano. Téngase en cuenta que el contenido de los datos asignados no está limitado a estos, y se pueden asignar otros datos.

Cuando el adaptador 120 de cámara transmite datos a través de la conexión en cadena, solo se procesa selectivamente la imagen capturada por la cámara 112 que tiene una alta correspondencia con la cámara 112 conectada al adaptador 120 de cámara. Con esto, se puede reducir la carga del proceso de transmisión del adaptador 120 de cámara. Además, puesto que el sistema está configurado de tal manera que la transmisión de datos entre los adaptadores 120 de cámara no se detiene incluso si uno de los adaptadores 120 de cámara falla en la transmisión en cadena, se puede garantizar la robustez.

A continuación, se describirá haciendo referencia a la figura 25 un flujo de un proceso realizado cuando se suministran datos desde un adaptador de cámara adyacente 120 en el flujo del proceso de generación de información de modelo 3D realizado por un determinado adaptador 120 de cámara.

Primero, el adaptador 120 de cámara determinado recibe datos del adaptador de cámara adyacente 120 (S06601). El adaptador 120 de cámara determina si un modo de transferencia propio es un modo de control de derivación (S06602). El control de derivación se describirá a continuación haciendo referencia a la figura 28.

Cuando la determinación es afirmativa, el adaptador 120 de cámara transfiere datos al siguiente adaptador 120 de cámara (S06611). Por otra parte, cuando la determinación es negativa, el adaptador 120 de cámara analiza un paquete de los datos recibido (S06603).

Cuando se determina que el paquete es un objetivo de control de transmisión de derivación como resultado del análisis (Sí, en la etapa S06604), el adaptador 120 de cámara transfiere los datos al siguiente adaptador 120 de cámara (S06610). El paquete del objetivo del control de transmisión de derivación son datos de imagen que no se utilizan para la generación de información de modelo 3D, un mensaje de control descrito a continuación o un mensaje asociado con la corrección de tiempo, por ejemplo. El control de transmisión de derivación se describirá a continuación haciendo referencia a la figura 27.

Cuando se determina que el paquete no es el objetivo del control de transmisión de derivación, el adaptador 120 de cámara determina un tipo de datos (S06605) y realiza un proceso correspondiente al tipo de datos.

Cuando el tipo de datos es un paquete de mensajes de control para ser transmitido al propio adaptador 120 de cámara desde la estación de control 310, el adaptador 120 de cámara analiza el mensaje de control y realiza un proceso basado en un resultado del análisis (S06606). El mismo proceso se realiza incluso en caso de que una fuente de transmisión del mensaje de control no sea la estación de control 310, sino otro nodo. Además, lo mismo se aplica a un caso en el que el paquete debe ser transmitido no solo al propio adaptador 120 de cámara, sino también a un grupo de puntos de observación que incluye el adaptador 120 de cámara. Ejemplos del proceso realizado por el adaptador 120 de cámara incluyen el control del micrófono 111, de la cámara 112 y de la plataforma 113 de cámara, conectados al adaptador 120 de cámara, y el control del propio adaptador 120 de cámara. El adaptador 120 de cámara devuelve un resultado del control a la fuente de transmisión o a un nodo designado de acuerdo con el contenido del mensaje de control. Además, cuando el paquete es un mensaje de control que se transmitirá al grupo, el mensaje de control es transferido al siguiente adaptador 120 de cámara.

Posteriormente, el adaptador 120 de cámara realiza un proceso de corrección de tiempo cuando el tipo de datos está asociado con la corrección de tiempo (S06607). Por ejemplo, el adaptador 120 de cámara realiza la corrección de tiempo del adaptador 120 de cámara basándose en el proceso de PTP con el servidor 290 de tiempo. A continuación se corrige un reloj de sincronización suministrado al micrófono 111 y a la cámara 112, en base al tiempo corregido. Si una temporización del reloj de sincronización se cambia de inmediato cuando la magnitud de la corrección del tiempo es grande, la calidad del sonido y de la imagen se ve afectada por el cambio y, por lo tanto, se puede realizar un proceso de corrección gradual de un tiempo de acuerdo con una magnitud del cambio preestablecida. Además, el adaptador 120 de cámara transfiere la información de modelo 3D generada y la imagen de primer plano utilizada para la generación de la información de modelo 3D al siguiente adaptador 120 de cámara, de modo que la información de modelo 3D generado y la imagen de primer plano se transfieran además al servidor de interfaz de usuario 230.

El adaptador 120 de cámara realiza el proceso de generar información de modelo 3D cuando el tipo de datos es una imagen de primer plano o una imagen de segundo plano (S06608).

A continuación, se describirá el control de acuerdo con un grupo de puntos de observación. La figura 26 es un diagrama que muestra un grupo de puntos de observación. Las cámaras 112 están instaladas de tal manera que sus ejes ópticos están orientados hacia uno de los puntos de observación específicos 06302. Las cámaras 112 correspondientes al mismo grupo de observación 06301 están instaladas de tal manera que las cámaras 112 están orientadas hacia el mismo punto de observación 06302.

La figura 26 es un diagrama que muestra un caso en el que están establecidos dos puntos de observación 06302 que incluyen un punto de observación A (06302A) y un punto de observación B (06302B), y están instaladas nueve cámaras (112a a 112i). Las cuatro cámaras (112a, 112c, 112e y 112g) están orientadas hacia el mismo punto de observación A (06302A), y pertenecen a un grupo de puntos de observación A (06301A). Además, las cinco cámaras restantes (112b, 112d, 112f, 112h y 112i) están orientadas hacia el mismo punto de observación B (06302B) y pertenecen a un grupo de puntos de observación B (06301B).

En este caso, un par de cámaras 112 que pertenecen al mismo grupo de puntos de observación 06301 y que están más cerca entre sí (que tienen el menor número de saltos de conexión) se representan como las cámaras 112 que son lógicamente adyacentes entre sí. Por ejemplo, la cámara 112a y la cámara 112b son físicamente adyacentes entre sí, pero la cámara 112a y la cámara 112b pertenecen a los grupos de puntos de observación diferentes 06301 y, por lo tanto, la cámara 112a y la cámara 112b no son lógicamente adyacentes entre sí. La cámara 112c es lógicamente adyacente a la cámara 112a. Por otra parte, la cámara 112h y la cámara 112i no solo son físicamente adyacentes entre sí, sino también lógicamente adyacentes entre sí.

Los adaptadores 120 de cámara realizan diferentes procesos dependiendo del resultado de una determinación de si una cámara 112 físicamente adyacente es también una cámara 112 lógicamente adyacente. A continuación se describirá un proceso concreto.

El control de transmisión de derivación se describirá haciendo referencia a la figura 27. El control de transmisión de derivación es una función de derivación de datos de transmisión dependiendo de un grupo de puntos de observación que incluye cada uno de los adaptadores 120 de cámara. Se omiten las descripciones de unidades funcionales que constituyen el controlador 06140 de dispositivos externos, el procesador 06130 de imágenes, la unidad 06120 de transmisión y el adaptador 06110 de red.

En el sistema 100 de procesamiento de imágenes, se puede cambiar una configuración del número de adaptadores 120 de cámara y una configuración de correspondencias entre los grupos de puntos de observación y los adaptadores 120 de cámara. Se supone que, en la figura 27, los adaptadores 120g, 120h y 120n de cámara pertenecen al grupo de puntos de observación A, y el adaptador 120i de cámara pertenece al grupo de puntos de observación B.

Una ruta 06450 indica una ruta de transmisión de una imagen de primer plano generada por el adaptador 120g de cámara, y la imagen de primer plano es transmitida finalmente al servidor de interfaz de usuario 230. En la figura 27, se omiten la imagen de segundo plano, la información de modelo 3D, el mensaje de control, y las imágenes de primer plano generadas por los adaptadores 120h, 120i y 120n de cámara. El adaptador 120h de cámara recibe la imagen de primer plano generada por el adaptador 120g de cámara a través de un adaptador 06110h de red, y una unidad 06120h de transmisión determina un destino de enrutamiento. Cuando se determina que el adaptador 120g de cámara que ha generado la imagen de primer plano recibida pertenece al mismo grupo de puntos de observación (el grupo A, en esta realización ), la unidad 06120h de transmisión transfiere la imagen de primer plano recibida al procesador 06130h de imágenes. Cuando el procesador 06130h de imágenes genera información de modelo 3D basándose en la imagen de primer plano generada y transmitida por el adaptador 120g de cámara, la imagen de primer plano del adaptador 120g de cámara es transferida al siguiente adaptador 120i de cámara.

Posteriormente, el adaptador 120i de cámara recibe del adaptador 120h de cámara la imagen de primer plano generada por el adaptador 120g de cámara. Cuando se determina que el grupo de puntos de observación al que pertenece el adaptador 120g de cámara es diferente de un grupo de puntos de observación al que pertenece el adaptador 120i de cámara, la unidad 06120i de transmisión del adaptador 120i de cámara no transfiere la imagen de primer plano al procesador 06130i de imágenes, sino que transfiere la imagen de primer plano al siguiente adaptador 120 de cámara.

A continuación, el adaptador 120n de cámara recibe la imagen de primer plano generada por el adaptador 120g de cámara a través de un adaptador 06110n de red, y una unidad 06120n de transmisión determina un destino de enrutamiento. La unidad 06120n de transmisión determina que el adaptador 120n de cámara pertenece al grupo de puntos de observación al que pertenece el adaptador 120g de cámara. Sin embargo, cuando el procesador 06130n de imágenes determina que la imagen de primer plano del adaptador 120g de cámara no es necesaria para la generación de información de modelo 3D, la imagen de primer plano es transferida al siguiente adaptador 120 de cámara, tal como está, a través de la red de la conexión en cadena. De este modo, la unidad 06120 de transmisión del adaptador 120 de cámara determina si los datos recibidos son necesarios para generar la información de modelo 3D, que es el procesamiento de imágenes realizado por el procesador 06130 de imágenes. Cuando se determina que los datos recibidos no son necesarios para el procesamiento de la imagen es decir, cuando se determina que los datos recibidos tienen una correlación baja con el propio adaptador 120 de cámara, los datos no se transfieren al procesador 06130 de imágenes, sino que se transfieren al siguiente adaptador 120 de cámara. Específicamente, en la transmisión de datos a través de la conexión en cadena 170, se seleccionan los datos necesarios para los adaptadores 120 de cámara individuales y se realiza un proceso de generación sucesiva de información de modelo 3D. Por consiguiente, se puede reducir la carga de procesamiento y el tiempo de procesamiento asociados con la transferencia de datos en un período de tiempo desde que el adaptador 120 de cámara recibe los datos hasta que los datos son transferidos.

A continuación, se describirá en detalle el control de derivación realizado por el adaptador 120b de cámara haciendo referencia a la figura 28. Se omiten las descripciones de las unidades funcionales que constituyen el controlador 06140 de dispositivos externos, el procesador 06130 de imágenes, la unidad 06120 de transmisión y el adaptador 06110 de red.

El control de derivación es una función en la que el adaptador 120b de cámara transfiere los datos suministrados desde el adaptador 120c de cámara al siguiente adaptador 120a de cámara sin que el procesador 06122 de enrutamiento de datos de la unidad 06120 de transmisión realice el control de enrutamiento.

Por ejemplo, el adaptador 120b de cámara activa el control de derivación para el adaptador 06110 de red cuando la cámara 112b está en un estado de interrupción de la formación de imágenes, un estado de calibración o un estado de procesamiento de errores. El control de derivación también se activa cuando falla la unidad 06120 de transmisión o el procesador 06130 de imágenes. Además, el adaptador 06110 de red puede detectar un estado de la unidad 06120 de transmisión, y se puede cambiar activamente a un modo de control de derivación. Téngase en cuenta que una CPU secundaria que detecta el estado de error o el estado de interrupción de la unidad 06120 de transmisión o el procesador 06130 de imágenes puede estar incluida en el adaptador 120b de cámara, y se puede añadir un proceso para hacer que el adaptador 06110 de red entre en el modo de control de derivación cuando la CPU secundaria realiza la detección de error. De este modo, los estados de fallo de los bloques funcionales y el control de derivación pueden ser controlados independientemente.

Además, el adaptador 120 de cámara se puede cambiar del modo de control de derivación a un estado de comunicación normal cuando la cámara 112 se cambia del estado de calibración al estado de formación de imágenes, o cuando la unidad 06120 de transmisión o similar se restablece del fallo de funcionamiento. Con esta función de control de derivación, el adaptador 120 de cámara puede realizar la transferencia de datos a alta velocidad y puede transferir datos al siguiente adaptador 120a de cámara incluso cuando no se puede realizar una determinación asociada con el enrutamiento de datos debido a la ocurrencia de un fallo inesperado.

En este sistema, la imagen de primer plano, la imagen de segundo plano y la información de modelo 3D se transmiten a través de la pluralidad de adaptadores 120 de cámara conectados mediante la conexión en cadena y suministrados al servidor de interfaz de usuario 230. En este caso, cuando se forman imágenes de un evento en el que el número de zonas de primer plano en una imagen capturada aumenta considerablemente, tal como una ceremonia de apertura, en la que todos los jugadores están juntos, la cantidad de datos de las imágenes de primer plano que se transmitirán aumenta en comparación con un caso en el que se forman imágenes de un juego normal. Por lo tanto, a continuación se describirá un procedimiento para controlar una cantidad de datos a transmitir por la conexión en cadena para que no se exceda una banda de transmisión.

Se describirá un flujo de un proceso de salida de datos desde la unidad 06120 de transmisión en el adaptador 120 de cámara haciendo referencia a las figuras 29 y 30. La figura 29 es un diagrama que muestra un flujo de datos entre los adaptadores 120a a 120c de cámara. El adaptador 120a de cámara está conectado al adaptador 120b de cámara, y el adaptador 120b de cámara está conectado al adaptador 120c de cámara. Además, la cámara 112b está conectada al adaptador 120b de cámara, y el adaptador 120c de cámara está conectado al servidor de interfaz de usuario 230. A continuación, se describirá un flujo de procesamiento de salida de datos realizado por la unidad 06120 de transmisión del adaptador 120b de cámara.

Los datos 06720 de formación de imágenes son suministrados desde la cámara 112b a la unidad 06120 de transmisión del adaptador 120b de cámara, y los datos de entrada 06721 y los datos de entrada 06722 que han sido sometidos a procesamiento de imágenes son suministrados desde el adaptador 120a de cámara a la unidad 06120 de transmisión del adaptador 120b de cámara. Además, la unidad 06120 de transmisión realiza diversos procesos, tales como la salida al procesador 06130 de imágenes, la compresión, la configuración de una velocidad de cuadros y el empaquetado de los datos de entrada, y envía los datos al adaptador 06110 de red.

A continuación, se describirá un flujo del proceso de salida realizado por la unidad 06120 de transmisión haciendo referencia a la figura 30. La unidad 06120 de transmisión ejecuta una etapa de obtención de una cantidad de datos que es el resultado del procesamiento de imágenes en los datos de entrada 06721 y los datos 06720 de formación de imágenes suministrados desde el procesador 06130 de imágenes (S06701). Posteriormente, la unidad 06120 de transmisión ejecuta una etapa para obtener una cantidad de los datos de entrada 06722 suministrados desde el adaptador 120a de cámara (S06702). A continuación, la unidad 06120 de transmisión ejecuta una etapa para obtener una cantidad de datos a enviar al adaptador 120c de cámara, de acuerdo con un tipo de datos de entrada (S06703).

Posteriormente, la unidad 06120 de transmisión compara la cantidad de datos de salida y una cantidad de restricción de banda de transmisión predeterminada, para determinar si se puede realizar la transmisión. Específicamente, la unidad 06120 de transmisión determina si la cantidad de datos a enviar al adaptador 06110 de red excede un valor umbral de una cantidad de datos de salida especificada previamente (S06704). Téngase en cuenta que el valor umbral puede ser proporcionado para cada tipo de datos (tales como una imagen de primer plano, una imagen de segundo plano, datos de cuadro de vista completa e información de modelo 3D). Además, la cantidad de datos a enviar se obtiene basándose en el resultado de la compresión de datos realizada por la unidad 06120 de transmisión cuando la unidad 06120 de transmisión comprime los datos. Téngase en cuenta que el valor umbral de la cantidad de datos de salida se establece preferentemente considerando la sobrecarga de la información de cabecera utilizada para el empaquetado, y una información de corrección de errores.

Cuando se determina que la cantidad de datos de salida no supera el valor umbral, la unidad 06120 de transmisión realiza una transferencia normal para enviar los datos de entrada al adaptador 06110 de red (S06712). Por otra parte, cuando se determina que la cantidad de datos de salida excede el valor umbral (Sí, en la etapa S6704), la unidad 06120 de transmisión obtiene una política por exceso de una cantidad de datos de salida cuando la entrada de datos a la unidad 06120 de transmisión son datos de imagen (S06705). A continuación, la unidad 06120 de transmisión selecciona, como mínimo, uno de una pluralidad de procesos (S06707 a S06711) descritos a continuación de acuerdo con la política obtenida (S06706), y ejecuta el proceso seleccionado. Téngase en cuenta que la unidad 06120 de transmisión puede realizar una transferencia normal de datos asociados con la corrección de tiempo y datos asociados con el mensaje de control, que son distintos de los datos de imagen. Además, un mensaje puede ser descartado de acuerdo con un tipo o un grado de prioridad del mensaje. El desbordamiento de la transferencia de datos se puede suprimir reduciendo la cantidad de datos de salida.

Como proceso ejecutado por la unidad 06120 de transmisión, la unidad 06120 de transmisión reduce la velocidad de cuadros de los datos de imagen antes de enviar los datos de imagen al adaptador 06110 de red (S06707). La transmisión se realiza mientras se omiten algunos cuadros, para reducir la cantidad de datos. Sin embargo, cuando se sigue un objeto que se mueve rápidamente, la calidad de la imagen se puede deteriorar en comparación con la salida a una velocidad de cuadros alta y, por lo tanto, se determina si se debe emplear este procedimiento dependiendo de la escena de formación de imágenes objetivo.

Como proceso adicional, la unidad 06120 de transmisión envía datos de imagen al adaptador 06110 de red después de reducir la resolución de los datos de imagen (S06708). Este proceso afecta a la calidad de imagen de una imagen de salida y, por lo tanto, se establece una política de acuerdo con el tipo de terminal de usuario final. Por ejemplo, se establece una política asociada con la conversión de resolución adecuada de tal manera que, cuando los datos de imagen son enviados a un teléfono inteligente, la resolución se reducen considerablemente, de modo que se reduce la cantidad de datos, mientras que cuando los datos de imagen van a ser enviados a una pantalla de alta resolución o similar, la resolución se reduce ligeramente.

Como proceso adicional, la unidad 06120 de transmisión envía datos de imagen al adaptador 06110 de red después de aumentar la tasa de compresión de los datos de imagen (S06709). En este caso, la cantidad de datos de imagen de entrada se reduce de acuerdo con una solicitud de rendimiento de restauración, tal como compresión sin pérdidas, compresión con pérdidas, o similar, es decir, una solicitud de calidad de imagen.

Como otro proceso más, la unidad 06120 de transmisión detiene la salida de los datos de formación de imágenes 06720 desde el procesador 06130 de imágenes (S06710). En este caso, se detiene la salida de datos de imagen sometidos al procesamiento de imágenes, de modo que se reduce la cantidad de datos. Cuando está dispuesto un número suficiente de cámaras 112, necesariamente es el caso que todas las cámaras 112 incluidas en el mismo grupo de puntos de observación son necesarias para la generación de una imagen de punto de vista virtual. Por ejemplo, este control se emplea en un caso en el que se puede determinar previamente que no se produce un ángulo muerto, incluso si se reduce el número de cámaras 112 cuando se captura todo el campo del estadio, por ejemplo. Específicamente, la banda de transmisión puede ser garantizada seleccionando cámaras que no realicen transmisión de datos de imagen, siempre que no se produzca un fallo de imagen en etapas posteriores.

Como proceso adicional, la unidad 06120 de transmisión detiene la salida de los datos de entrada 06721 del procesador 06130 de imágenes o detiene solo la salida de imágenes de algunos de los adaptadores 120 de cámara (S06711). Además, si la información de modelo 3D se puede generar utilizando una imagen suministrada desde el otro adaptador 120 de cámara, la salida de una imagen de primer plano o una imagen de segundo plano del otro adaptador 120 de cámara se puede detener y solo la información de modelo 3D es sometida al control de salida, de modo que se reduce la cantidad de datos.

La información sobre un procedimiento utilizado para reducir la cantidad de datos de salida es transmitida al servidor central 270, a la UI de operaciones 330 de cámara virtual y a la estación de control 310 a través del servidor de interfaz de usuario 230 (S06713). En esta realización, el flujo se bifurca, de modo que se realiza un proceso de control de una velocidad de cuadros, un proceso de control de resolución, un proceso de control de una tasa de compresión o un proceso de control de la interrupción de datos. Sin embargo, la presente invención no está limitada a esto. Combinando una pluralidad de operaciones de control, la reducción de la cantidad de datos se realiza de manera más eficaz. Además, se realiza una notificación de este proceso de control en la etapa S06713. Mediante esta notificación, si no se obtiene una resolución suficiente en términos de calidad de imagen como resultado del aumento de la tasa de compresión, por ejemplo, en la UI de operaciones 330 de cámara virtual, una operación del zum puede estar restringida. Además, también después del proceso de exceso de cantidad de restricción de banda de transmisión, se comprueba el exceso de una cantidad de datos de salida cuando sea apropiado, y, si la cantidad de datos se estabiliza, una política de un proceso de transmisión puede volver a un valor de configuración original.

De este modo, realizando el proceso de control de transmisión correspondiente al estado para abordar el exceso de la banda de transmisión de la conexión en cadena, la transmisión que satisface la restricción de la banda de transmisión puede ser realizada de manera efectiva.

A continuación, se describirá el funcionamiento del servidor de interfaz de usuario 230 en la etapa S1500 y la etapa S1600 en los flujos de trabajo de tiempo de formación de imágenes, haciendo referencia a un diagrama de flujo de la figura 31.

El controlador 02110 recibe una instrucción para conmutar al modo de formación de imágenes desde la estación de control 310 y realiza la conmutación al modo de formación de imágenes (S02300). Cuando se inicia la formación de imágenes, el controlador 02120 de entrada de datos inicia la recepción de datos de formación de imágenes desde el adaptador 120 de cámara (S02310).

La unidad 02130 de sincronización de datos almacena temporalmente los datos de formación de imágenes hasta que se obtienen todos los datos de formación de imágenes necesarios para generar un archivo (S02320). Aunque no se muestra claramente en el diagrama de flujo, en esta realización se determina si se consigue la concordancia de la información de tiempo asignada a los datos de formación de imágenes y si se ha dispuesto un número predeterminado de cámaras. Además, los datos de imagen pueden no ser transmitidos dependiendo del estado de la cámara 112, tal como un estado en el que se está realizando la calibración o un estado en el que se está realizando el proceso de error. En este caso, la falta de una imagen que tenga un número de cámara predeterminado se notifica en la transferencia a la base 250 de datos (S2370) en una fase posterior. En este caso, se puede emplear un procedimiento para esperar la llegada de datos de imagen durante un período de tiempo predeterminado, para realizar la determinación de si se ha dispuesto un número predeterminado de cámaras. Sin embargo, en esta realización, la información que indica el resultado de una determinación de si existen datos de imagen correspondientes al número de cámara se asigna cuando los adaptadores 120 de cámara transmiten datos mediante conexión en cadena, para suprimir el retardo de la serie de procesos realizados por el sistema. Con esto, la determinación puede ser realizada inmediatamente por el controlador 02110 del servidor de interfaz de usuario 230. Además, se puede obtener un resultado en el que no es necesario el período de tiempo en el que se espera la llegada de la imagen capturada.

Después de que los datos necesarios para la generación de un archivo son almacenados temporalmente por la unidad 02130 de sincronización de datos, se llevan a cabo (S02330) diversos procesos de conversión, incluidos un proceso de desarrollo de datos de imagen EN BRUTO, corrección de la distorsión de la lente, ajuste del color y valores de luminancia de las imágenes capturadas por las cámaras, tales como la imagen de primer plano y la imagen de segundo plano.

Si los datos almacenados temporalmente por la unidad 02130 de sincronización de datos incluyen imágenes de segundo plano, se realiza un proceso de acoplamiento de las imágenes de segundo plano (S02340) y, en caso contrario, se realiza el proceso de acoplamiento (S02335) de los modelos 3D (S02350).

En la etapa S02330, la unidad 02170 de acoplamiento de imágenes obtiene las imágenes de segundo plano procesadas por el procesador 02150 de imágenes. Las imágenes de segundo plano se acoplan de acuerdo con las coordenadas de los datos de forma del estadio almacenadas en la unidad de almacenamiento de datos de CAD 02135 en la etapa S02230, y la imagen de segundo plano acoplada es suministrada a la unidad 02180 de generación de archivos de datos de formación de imágenes (S02340).

La unidad de acoplamiento de modelo 3D 02160 que obtiene el modelo 3D de la unidad 02130 de sincronización de datos genera un modelo 3D de la imagen de primer plano utilizando los datos de modelo 3D y los parámetros de cámara (S02350).

La unidad 02180 de generación de archivos de datos de formación de imágenes que recibe los datos de formación de imágenes generados por el proceso realizado hasta que el proceso en la etapa S02350 transforma los datos de formación de imágenes de acuerdo con un formato de archivo, y empaqueta los datos de formación de imágenes. Posteriormente, la unidad 02180 de generación de archivos de datos de formación de imágenes transmite el archivo generado al controlador de acceso a la DB 02190 (S02360). El controlador de acceso a la DB 02190 transmite el archivo de datos de formación de imágenes suministrado desde la unidad 02180 de generación de archivos de datos de formación de imágenes en la etapa S02360 a la base 250 de datos (S02370).

A continuación, se describirá, en particular, haciendo referencia a un diagrama de flujo de la figura 32, una operación de escritura de datos incluido en la operación de la base 250 de datos realizado en la generación de una imagen de punto de vista virtual en la etapa S1500 y la etapa S1600, en el flujo de trabajo del tiempo de formación de imágenes.

El servidor de interfaz de usuario 230 suministra datos de formación de imágenes a la unidad 02420 de entrada de datos de la base 250 de datos. La unidad 02420 de entrada de datos extrae información de tiempo o información de código de tiempo asociada como metadatos con los datos de formación de imágenes suministrados, y detecta que los datos de formación de imágenes suministrados se obtuvieron en el punto de tiempo t1 (S2810).

La unidad 02420 de entrada de datos transmite los datos de formación de imágenes suministrados que se obtuvieron en el punto de tiempo t1, a la caché 02440, y la caché 02440 almacena en caché los datos de formación de imágenes obtenidos en el punto de tiempo t1 (S02820).

La unidad 02420 de entrada de datos determina si los datos de formación de imágenes obtenidos N cuadros antes del punto de tiempo t1, es decir, datos de formación de imágenes en un punto de tiempo t1-N han sido almacenados en caché (S02825) y, cuando la determinación es afirmativa, el proceso avanza a la etapa S02830 y, en caso contrario, el proceso es finalizado. Téngase en cuenta que “N” varía dependiendo de la velocidad de cuadros. En el presente documento, “t1-N” puede ser un punto de tiempo antes del punto de tiempo t1 por N veces el tiempo de una unidad de cuadro, o puede ser un código de tiempo antes del cuadro del punto de tiempo t1 por N cuadros.

Cuando se almacenan en caché los datos de formación de imágenes obtenidos en el punto de tiempo t1, la caché 02440 transfiere los datos de formación de imágenes obtenidos en el punto de tiempo t1-N que han sido almacenados en caché, al almacenamiento principal 02450, y el almacenamiento principal 02450 registra los datos de formación de imágenes obtenidos en el punto de tiempo t1-N transmitido desde la caché 02440 (S02830). Con esto, un cuadro antes de un punto de tiempo predeterminado se almacena sucesivamente en el almacenamiento principal 02450 de acuerdo con la restricción de capacidad de la caché 02440 a la que se puede acceder a alta velocidad. Esto se realiza cuando la caché 02440 tiene una configuración de memoria intermedia de anillo, por ejemplo.

A continuación, se describirá en particular una operación de lectura de datos incluido en la operación de la base 250 de datos realizado en la generación de una imagen de punto de vista virtual en la etapa S1500 y la etapa S1600 en el flujo de trabajo del tiempo de formación de imágenes, haciendo referencia al diagrama de flujo de la figura 33.

El servidor central 270 solicita a la unidad 02430 de salida de datos que transmita datos correspondientes a un código de tiempo de un punto de tiempo t (S502910). La unidad 02430 de salida de datos determina si los datos correspondientes al punto de tiempo t han sido almacenados en la caché 02440 o en el almacenamiento principal 02450, para determinar una fuente de lectura de datos (S02920). Por ejemplo, cuando los datos de formación de imágenes son suministrados a la unidad 02420 de entrada de datos en el punto de tiempo t1, como en el caso de la figura 32 descrito anteriormente, si el punto de tiempo t es anterior al punto de tiempo t1-N, los datos son leídos del almacenamiento principal 02450 (S02930). Si el punto de tiempo t está entre el punto de tiempo t1-N y el punto de tiempo t1, los datos son leídos de la caché 02440 (S02940). Cuando el punto de tiempo t es posterior al punto de tiempo t1, la unidad 02430 de salida de datos realiza una notificación de error al servidor central 270 (S02950).

A continuación, un flujo de procesamiento del procesador 06130 de imágenes incluido en el adaptador 120 de cámara se describirá haciendo referencia a los diagramas de flujo de las figuras 35A a 35E.

Antes del proceso de la figura 35A, el controlador de calibración 06133 realiza un proceso de corrección de color sobre las imágenes de entrada para suprimir la variación de color entre las cámaras 112, y un proceso de corrección del desenfoque (un proceso de control de la vibración electrónica) sobre las imágenes de entrada, para estabilizar las imágenes reduciendo los desenfoques de las imágenes causadas por la vibración de las cámaras 112. En el proceso de corrección de color, se realiza un proceso de añadir valores de desplazamiento a los valores de píxel de las imágenes de entrada de acuerdo con los parámetros suministrados desde el servidor de interfaz de usuario 230 o similar. En el proceso de corrección del desenfoque, las magnitudes del desenfoque de las imágenes se estiman basándose en la salida de datos de los sensores, tales como los sensores de aceleración o los sensores giroscópicos incorporados en las cámaras 112. El azul entre las imágenes del cuadro se puede suprimir realizando un desplazamiento de posiciones de imagen y un proceso de rotación de las imágenes de acuerdo con las magnitudes del desenfoque estimadas. Téngase en cuenta que se pueden utilizar otros procedimientos, tales como el procedimiento de corrección del desenfoque. Por ejemplo, se puede emplear un procedimiento para realizar el procesamiento de imágenes para estimar y corregir una magnitud del desplazamiento de una imagen comparando la imagen con una pluralidad de imágenes de cuadro que están conectadas entre sí en términos de tiempo, o un procedimiento que se realiza en una cámara, tal como un procedimiento de desplazamiento de la lente o un procedimiento de desplazamiento del sensor.

La unidad de actualización de segundo plano 05003 realiza un proceso de actualización de la imagen de segundo plano 05002 utilizando la imagen de entrada y la imagen de segundo plano almacenada en la memoria. En la figura 34A se muestra un ejemplo de la imagen de segundo plano. El proceso de actualización se realiza sobre píxeles individuales. El flujo de procesamiento se describirá haciendo referencia a la figura 35A.

Primero, la unidad de actualización de segundo plano 05003 obtiene diferencias entre los píxeles de la imagen de entrada y los píxeles en posiciones correspondientes en la imagen de segundo plano en la etapa S05001. En la etapa S05002, se determina si las diferencias son menores que un valor umbral K. Se determina que un píxel corresponde a la imagen de segundo plano cuando la diferencia es menor que el valor umbral K (Sí, en la etapa S05002). En la etapa S05003, la unidad de actualización de segundo plano 05003 calcula los valores mezclando los valores de píxeles de la imagen de entrada y los valores de píxeles de la imagen de segundo plano en una determinada proporción. En la etapa S05004, la unidad de actualización de segundo plano 05003 realiza la actualización utilizando un valor obtenido extrayendo un valor de píxel en la imagen de segundo plano.

Un ejemplo en el que las personas están incluidas en el diagrama mostrado en la figura 34A, que es una imagen de segundo plano, se describirá haciendo referencia a la figura 34B. En este caso, cuando se enfocan los píxeles correspondientes a las personas, las diferencias entre los valores de píxel en relación con el segundo plano resultan grandes y las diferencias resultan mayores o iguales que el valor umbral K en la etapa S05002. En este caso, puesto que los cambios de los valores de píxel son grandes, se determina que se incluye un objeto distinto del segundo plano y la imagen de segundo plano 05002 no se actualiza (No, en la etapa S05002). Se pueden emplear diversos procedimientos adicionales en el proceso de actualización de segundo plano.

A continuación, la unidad de extracción de segundo plano 05004 lee una parte de la imagen de segundo plano 05002 y transmite la parte de la imagen de segundo plano 05002 a la unidad 06120 de transmisión. En caso de que se instalen una pluralidad de cámaras 112 de modo que todo el campo pueda ser sometido a formación de imágenes sin un ángulo ciego cuando se va a capturar una imagen de un juego, tal como un partido de fútbol, en el estadio o similar, grandes porciones de información de segundo plano de las cámaras 112 se superponen entre sí. Puesto que la información de segundo plano es grande, las imágenes pueden ser transmitidas después de eliminar las partes superpuestas en términos de la restricción de la banda de transmisión de modo que la cantidad de transmisión pueda ser reducida. Se describirá un flujo de este proceso haciendo referencia a la figura 35D. En la etapa S05010, la unidad de extracción de segundo plano 05004 establece una parte central de la imagen de segundo plano tal como se indica mediante una zona parcial 3401 rodeada por una línea de puntos en la figura 34C, por ejemplo. Específicamente, la zona parcial 3401 indica una zona de segundo plano que es transmitida por la propia cámara 112, y otras partes en la zona de segundo plano son transmitidas por las otras cámaras 112. En la etapa S05011, la unidad de extracción de segundo plano 05004 lee la zona parcial establecida 3401 en la imagen de segundo plano. En la etapa S05012, la unidad de extracción de segundo plano 05004 envía la zona parcial 3401 a la unidad 06120 de transmisión. Las imágenes de segundo plano emitidas son recopiladas en el servidor informático 200 de imágenes y se utilizan como textura de un modelo de segundo plano. Las posiciones de extracción de las imágenes de segundo plano 05002 en los adaptadores 120 de cámara se establecen de acuerdo con valores de parámetros predeterminados, de modo que no se produzca una falta de información de textura para un modelo de segundo plano. Normalmente, el requisito mínimo de las zonas de extracción se establece de modo que se reduce la cantidad de datos de transmisión. Por consiguiente, una gran cantidad de transmisión de información de segundo plano se puede reducir de manera eficaz y el sistema puede hacer frente a una alta resolución.

A continuación, la unidad de separación de primer plano 05001 realiza un proceso de detección de una zona de primer plano (una zona que incluye un objeto, tal como una persona). Se describirá un flujo del proceso de detección de la zona de primer plano ejecutado para cada píxel, haciendo referencia a la figura 35B. Se utiliza un procedimiento que utiliza información de diferencia de segundo plano, para la detección de un primer plano. En la etapa S05005, la unidad de separación de primer plano 05001 obtiene diferencias entre píxeles de una imagen recién introducida y píxeles en posiciones correspondientes en la imagen de segundo plano 05002. A continuación, se determina si las diferencias son mayores que un valor umbral L, en la etapa S05006. Suponiendo, en este caso, que la imagen recién introducida se muestra en la figura 34B, por ejemplo, en la imagen de segundo plano 05002 en la figura 34A, los píxeles en una zona que incluye personas tienen grandes diferencias. Cuando las diferencias son mayores que un valor umbral L, los píxeles se establecen como un primer plano en la etapa S05007. Un procedimiento para detectar un primer plano utilizando información de diferencia de segundo plano tiene operaciones ingeniosas, para que el primer plano se detecte con mayor precisión. Además, en la detección de primer plano se pueden emplear diversos procedimientos que incluyen un procedimiento que utiliza un valor característico o un procedimiento que utiliza aprendizaje automático.

La unidad de separación de primer plano 05001 ejecuta el proceso descrito haciendo referencia a la figura 35B anterior en los píxeles individuales de la imagen de entrada y, posteriormente, realiza un proceso de determinación de la zona de primer plano como un bloque para ser emitido. Se describirá un flujo de este proceso haciendo referencia a la figura 35C. En la etapa S05008, una zona de primer plano configurada mediante una pluralidad de píxeles acoplados entre sí se determina como una imagen de primer plano en la imagen en la que se ha detectado la zona de primer plano. Como proceso de detección de una zona que incluye píxeles acoplados entre sí, se utiliza, por ejemplo, un procedimiento de crecimiento de zonas. Puesto que el procedimiento de crecimiento de zonas es un algoritmo general, se omite su descripción detallada. Después de recopilar las zonas de primer plano como imágenes de primer plano en la etapa S05008, las imágenes de primer plano son leídas y enviadas sucesivamente a la unidad 06120 de transmisión en la etapa S05009.

A continuación, la unidad de generación de información de modelo 3D 06132 genera información de modelo 3D utilizando las imágenes de primer plano. Cuando el adaptador 120 de cámara recibe la imagen de primer plano de la cámara adyacente 112, la imagen de primer plano se suministra a la unidad 05006 de recepción de primer plano de una cámara diferente a través de la unidad 06120 de transmisión. Un flujo de un proceso ejecutado por el procesador de modelo 3D 05005 cuando una imagen de primer plano es introducida, se describirá haciendo referencia a la figura 35E. En este caso, cuando el servidor informático 200 de imágenes recopila datos de imágenes capturadas de las cámaras 112, inicia el procesamiento de imágenes y genera una imagen de punto de vista virtual, el período de tiempo necesario para la generación de imágenes puede aumentar debido a una gran cantidad de cálculo. En particular, la cantidad de cálculo en la generación del modelo 3D se puede incrementar considerablemente. Por lo tanto, en la figura 35E, se describirá un procedimiento para generar sucesivamente información de modelo 3D mientras los datos son transmitidos mediante la conexión en cadena que conecta los adaptadores 120 de cámara entre sí, para reducir la cantidad de procesamiento realizado por el servidor informático 200 de imágenes.

Primero, en la etapa S05013, la unidad de generación de información de modelo 3D 06132 recibe una imagen de primer plano capturada por una de las otras cámaras 112. Posteriormente, la unidad de generación de información de modelo 3D 06132 determina si la cámara 112 que ha capturado la imagen de primer plano recibida pertenece al grupo de puntos de observación de la cámara objetivo 112 y las cámaras 112 son adyacentes a la cámara objetivo 112. Cuando la determinación es afirmativa en la etapa S05014, el proceso avanza a la etapa S05015. Por otra parte, cuando la determinación es negativa, se determina que la imagen de primer plano de la otra cámara 112 no está asociada con la cámara objetivo 112 y el proceso finaliza, es decir, el proceso no se realiza. Además, aunque la determinación de si la cámara 112 es adyacente a la cámara objetivo 112 se realiza en la etapa S05014, un procedimiento para determinar la relación entre las cámaras 112 no está limitado a esto. Por ejemplo, la unidad de generación de información de modelo 3D 06132 puede obtener y establecer por adelantado un número de cámara de la cámara asociada 112 y realizar un proceso obteniendo datos de imagen solo cuando se transmiten los datos de imagen de la cámara asociada 112. También en este caso, se puede obtener el mismo resultado.

En la etapa S05015, la unidad de generación de información de modelo 3D 06132 obtiene información de la profundidad de la imagen de primer plano. Específicamente, la unidad de generación de información de modelo 3D 06132 asocia la imagen de primer plano suministrada desde la unidad de separación de primer plano 05001, con la imagen de primer plano de una de las otras cámaras 112 y, posteriormente, obtiene información de profundidad de los píxeles incluidos en la imagen de primer plano de acuerdo con valores de las coordenadas de los píxeles asociados y parámetros de cámara. En este caso, como procedimiento para asociar imágenes entre sí, se emplea, por ejemplo, un procedimiento de concordancia de bloques. El procedimiento de concordancia de bloques se utiliza en general y, por lo tanto, se omite una descripción detallada del mismo. Como procedimiento de asociación, pueden emplearse diversos procedimientos, tales como un procedimiento para mejorar la capacidad combinando entre sí la detección de puntos característicos, el cálculo del valor característico, un proceso de concordancia y similares.

En la etapa S05016, la unidad de generación de información de modelo 3D 06132 obtiene información de modelo 3D de la imagen de primer plano. Específicamente, los valores de las coordenadas globales de los píxeles incluidos en la imagen de primer plano son obtenidos de acuerdo con la información de profundidad obtenida en la etapa S05015 y los parámetros de cámara almacenados en la unidad 05007 de recepción de parámetros de cámara. A continuación, los valores de las coordenadas globales y los valores de los píxeles son utilizados como un conjunto, de modo que se establezcan los datos de un punto de un modelo 3D configurado como grupo de puntos. Tal como se describió anteriormente, se puede obtener información sobre un grupo de puntos de una parte del modelo 3D obtenida de la imagen de primer plano suministrada por la unidad de separación de primer plano 05001, y la información sobre un grupo de puntos de una parte del modelo 3D obtenida de la imagen de primer plano de la otra cámara 112. En la etapa S05017, la unidad de generación de información de modelo 3D 06132 añade un número de cámara y un número de cuadro a la información de modelo 3D obtenida, como metadatos (un código de tiempo y un tiempo absoluto pueden servir como metadatos, por ejemplo) y transmite la información de modelo 3D a la unidad 06120 de transmisión.

De este modo, incluso cuando los adaptadores 120 de cámara están conectados entre sí mediante la conexión en cadena y se establecen una pluralidad de puntos de observación, el procesamiento de imágenes se realiza de acuerdo con las correlaciones entre las cámaras 112 mientras los datos son transmitidos mediante la conexión en cadena, de modo que esa información de modelo 3D se genera sucesivamente. Como resultado, se realiza de manera eficaz un procesamiento de alta velocidad.

De acuerdo con esta realización, aunque los procesos descritos anteriormente son ejecutados mediante hardware, tal como FPGA o ASIC, implementado en el adaptador 120 de cámara, los procesos pueden ser ejecutados mediante un proceso de software utilizando una CPU, una GPU o un DSP, por ejemplo. Además, aunque el adaptador 120 de cámara ejecuta la generación de información de modelo 3D en esta realización, el servidor informático 200 de imágenes que recopila todas las imágenes de primer plano de las cámaras 112 puede generar información de modelo 3D.

A continuación, se describirá un proceso para realizar generación de imágenes en directo y generación de imágenes de repetición basándose en los datos almacenados en la base 250 de datos, y hacer que el terminal de usuario final 190 muestre una imagen generada que está realizada por el servidor central 270. Téngase en cuenta que el servidor central 270 de esta realización genera contenido de punto de vista virtual tal como una imagen en directo o una imagen de repetición. En esta realización, el contenido de punto de vista virtual es generado utilizando imágenes capturadas por la pluralidad de cámaras 112 como una pluralidad de imágenes de punto de vista. Específicamente, el servidor central 270 genera contenido de punto de vista virtual basándose en información de punto de vista especificada de acuerdo con una operación de usuario, por ejemplo. Aunque en esta realización se describe como ejemplo un caso en el que el contenido de punto de vista virtual incluye datos de sonido (datos de audio), es posible que no se incluyan los datos de sonido.

Cuando el usuario especifica un punto de vista manejando la UI de operaciones 330 de cámara virtual, es posible que no exista una imagen para ser capturada por la cámara 112 para la generación de una imagen correspondiente a una posición del punto de vista especificado (una posición de una cámara virtual), la resolución de la imagen puede no ser suficiente o la calidad de la imagen puede ser baja. En este caso, la determinación de que una condición para proporcionar una imagen para el usuario no se cumple, no se puede realizar hasta una fase de generación de imágenes, es posible que se deteriore la funcionalidad. A continuación se describirá un procedimiento para reducir la posibilidad.

La figura 36 es un flujo de procesamiento realizado por la UI de operaciones 330 de cámara virtual, el servidor central 270 y la base 250 de datos en un período de tiempo desde que el operador (el usuario) realiza una operación en el dispositivo de entrada hasta que se muestra la imagen de punto de vista virtual. Primero, el operador acciona el dispositivo de entrada para manejar la cámara virtual (S03300).

Ejemplos del dispositivo de entrada incluyen una palanca de mando, un disco de selección, un panel táctil, un teclado y un ratón.

La UI de operaciones 330 de cámara virtual obtiene parámetros de cámara virtual que indican una posición de entrada y una orientación de entrada de la cámara virtual (S03301).

Los parámetros de cámara virtual incluyen parámetros externos que indican una posición y una orientación de la cámara virtual y parámetros internos que indican una ampliación del zum de la cámara virtual.

La UI de operaciones 330 de cámara virtual transmite los parámetros de cámara virtual obtenidos, al servidor central 270.

Cuando se reciben los parámetros de cámara virtual, el servidor central 270 solicita a la base 250 de datos que transmita un grupo de modelos 3D de primer plano (S03303). La base 250 de datos transmite el grupo de modelos 3D de primer plano que incluye información posicional de un objeto de primer plano, al servidor central 270, en respuesta a la solicitud (S03304).

El servidor central 270 obtiene geométricamente un grupo de objetos de primer plano incluidos en un campo de visualización de la cámara virtual basándose en los parámetros de cámara virtual y en la información de posición del objeto de primer plano incluido en el modelo 3D del primer plano (S03305).

El servidor central 270 solicita a la base 250 de datos que transmita una imagen de primer plano del grupo de objetos de primer plano obtenido, el modelo 3D de primer plano, una imagen de segundo plano y un grupo de datos de sonido (S03306). La base 250 de datos transmite datos al servidor central 270 en respuesta a la solicitud (S03307).

El servidor central 270 genera una imagen de primer plano y una imagen de segundo plano en el punto de vista virtual a partir de la imagen de primer plano recibida y del modelo 3D de primer plano recibido y de la imagen de segundo plano recibida, y genera una imagen de vista completa en el punto de vista virtual combinando las imágenes.

Además, el servidor central 270 combina datos de sonido correspondientes a una posición de la cámara virtual de acuerdo con el grupo de datos de sonido para generar una imagen y sonido en el punto de vista virtual integrando los datos de sonido con la imagen de vista completa en el punto de vista virtual (S03308). El servidor central 270 transmite la imagen y el sonido generados en el punto de vista virtual a la UI de operaciones 330 de cámara virtual (S03309). La UI de operaciones 330 de cámara virtual realiza la visualización de la imagen capturada por la cámara virtual mediante la visualización de la imagen recibida. La figura 38A es un diagrama de flujo de un procedimiento de procesamiento realizado cuando la UI de operaciones 330 de cámara virtual genera una imagen en directo.

En la etapa S08201, la UI de operaciones 330 de cámara virtual obtiene información sobre una operación introducida por el operador en el dispositivo de entrada para manejar la cámara virtual 08001. En la etapa S08202, la unidad de operaciones 08101 de cámara virtual determina si la operación del operador corresponde a desplazamiento o rotación de la cámara virtual 08001. El desplazamiento o la rotación se realizan para un cuadro. Cuando la determinación es afirmativa, el proceso continúa con la etapa S08203. En caso contrario, el proceso continúa con la etapa S08205. Aquí, se realizan diferentes procesos para la operación de desplazamiento, la operación de rotación y una operación de selección de trayectoria. Por consiguiente, la expresión de la imagen en la que se gira la posición del punto de vista mientras se detiene el tiempo y la expresión de la imagen de desplazamiento continuo se pueden conmutar entre sí mediante una operación simple.

En la etapa S08203, se realiza un proceso para describir un cuadro haciendo referencia a la figura 38B. En la etapa S08204, la UI de operaciones 330 de cámara virtual determina si el operador ha introducido una operación de finalización. Cuando la determinación es afirmativa, el proceso finaliza y, en caso contrario, el proceso vuelve a la etapa S08201. En la etapa S08205, la unidad de operaciones 08101 de cámara virtual determina si el operador ha introducido una operación de selección de una trayectoria (una trayectoria de cámara virtual). Por ejemplo, la trayectoria puede estar representada por una línea de información sobre operaciones de la cámara virtual 08001 para una pluralidad de cuadros. Cuando se determina que se ha introducido la operación de selección de trayectoria, el proceso avanza a la etapa S08206. En caso contrario, el proceso vuelve a la etapa S08201.

En la etapa S08206, la UI de operaciones 330 de cámara virtual obtiene una operación de un cuadro siguiente de acuerdo con la trayectoria seleccionada. En la etapa S08207, se realiza un proceso para que se describa un cuadro haciendo referencia a la figura 38B. En la etapa S08208, se determina si se ha realizado el procesamiento sobre todos los cuadros de la trayectoria seleccionada. Cuando la determinación es afirmativa, el proceso avanza a la etapa S08204 y, en caso contrario, el proceso vuelve a la etapa S08206. La figura 38B es un diagrama de flujo del proceso para un cuadro, realizado en la etapa S08203 y la etapa S08206.

En la etapa S08209, la unidad de obtención de parámetros de cámara virtual 08102 obtiene un parámetro de cámara virtual después de que se cambien la posición y la orientación. En la etapa S08210, la unidad de determinación de colisión 08104 realiza una determinación de colisión. Cuando se produce una colisión, es decir, cuando no se cumple la restricción de cámara virtual, el proceso continúa con la etapa S08214. Cuando no se produce una colisión, es decir, cuando se cumple la restricción de cámara virtual, el proceso continúa con la etapa S08211.

De este modo, la UI de operaciones 330 de cámara virtual realiza la determinación de colisión. A continuación, se realiza un proceso de bloqueo de la unidad de operaciones o un proceso de generación de alerta mediante la visualización de un mensaje de un color diferente, de acuerdo con el resultado de la determinación, de modo que se pueda mejorar la retroalimentación inmediata al operador. Como resultado, se mejora la funcionalidad.

En la etapa S08211, la unidad 08106 de gestión de la trayectoria de cámara virtual transmite el parámetro de cámara virtual al servidor central 270. En la etapa S08212, la unidad de salida de imagen/sonido de la cámara virtual 08108 emite la imagen suministrada desde el servidor central 270.

En la etapa S08214, la posición y la orientación de la cámara virtual 08001 son corregidas para que se cumpla la restricción de cámara virtual. Por ejemplo, se cancela la última entrada operativa realizada por el usuario, y el parámetro de cámara virtual se devuelve al estado de un cuadro anterior. Con esto, cuando se produce una colisión después de que se introduce una trayectoria, por ejemplo, el operador puede corregir interactivamente la entrada operativa desde la parte en la que se produce la colisión, sin realizar la entrada operativa desde el principio y, por consiguiente, se mejora la funcionalidad.

En la etapa S08215, la unidad de salida de retroalimentación 08105 notifica al operador información que indica que no se cumple la restricción de cámara virtual. La notificación se realiza mediante un sonido, un mensaje o un procedimiento para bloquear la UI de operaciones 330 de cámara virtual. Sin embargo, el procedimiento de notificación no está limitado a estos.

La figura 39 es un diagrama de flujo de un procedimiento de procesamiento realizado cuando la UI 330 de funcionamiento de cámara virtual genera una imagen de repetición.

En la etapa S08301, la unidad 08106 de gestión de trayectoria de cámara virtual obtiene la trayectoria 08002 de cámara virtual de una imagen en directo. En la etapa S08302, la unidad 08106 de gestión de la trayectoria de cámara virtual acepta una operación realizada por el operador para seleccionar un punto de inicio y un punto de finalización de la trayectoria 08002 de cámara virtual de la imagen en directo. Por ejemplo, se selecciona la trayectoria 08002 de cámara virtual durante 10 segundos antes y después de una escena de gol. Cuando la imagen en directo tiene 60 cuadros por segundo, se incluyen 600 parámetros de cámara virtual en la trayectoria 08002 de cámara virtual durante 10 segundos. Con esto, la información de diferentes parámetros de cámara virtual a gestionar es asociada con diferentes cuadros.

En la etapa S08303, la trayectoria de cámara virtual seleccionada 08002 durante 10 segundos es almacenada como un valor inicial de la trayectoria 08002 de cámara virtual en la imagen de repetición. Además, en un proceso de la etapa S08307 a la etapa S08309, cuando se edita la trayectoria 08002 de cámara virtual, el resultado de la edición se almacena como actualización.

En la etapa S08304, la UI de operaciones 330 de cámara virtual determina si una operación introducida por el operador es una operación de reproducción. Cuando la determinación es afirmativa, el proceso avanza a la etapa S08305, y en caso contrario, el proceso avanza a la etapa S08307.

En la etapa S08305, se acepta una entrada del operador asociada con una selección de un rango de reproducción. En la etapa S08306, se reproducen una imagen y un sonido en el rango seleccionado por el operador. Específicamente, la unidad 08106 de gestión de trayectoria de cámara virtual transmite la trayectoria 08002 de cámara virtual en el rango seleccionado, al servidor central 270. Es decir, la unidad 08106 de gestión de trayectoria de cámara virtual transmite sucesivamente los parámetros de cámara virtual incluidos en la trayectoria 08002 de cámara virtual. La unidad 08108 de salida de imagen/sonido de cámara virtual emite una imagen de punto de vista virtual y un sonido de punto de vista virtual suministrados desde el servidor central 270. En la etapa S08307, la UI de operaciones 330 de cámara virtual determina si una entrada operativa del operador es una operación de edición. Cuando la determinación es afirmativa, el proceso avanza a la etapa S08308, y en caso contrario, el proceso avanza a la etapa S08310.

En la etapa S08308, la UI de operaciones 330 de cámara virtual especifica un rango seleccionado por el operador como un rango de edición. En la etapa S08309, una imagen y sonido en el rango de edición seleccionado son reproducidos mediante un proceso igual al realizado en la etapa S08306. Sin embargo, cuando la cámara virtual 08001 es accionada utilizando la unidad de operaciones 08101 de cámara virtual, se refleja el resultado del funcionamiento. Específicamente, una imagen de repetición puede ser editada para que sea una imagen en un punto de vista diferente de la imagen en directo. Además, la imagen de repetición puede ser editada de modo que se realice una reproducción lenta y se detenga la reproducción. Por ejemplo, la edición se puede realizar de tal manera que se detiene un tiempo y se desplaza un punto de vista.

En la etapa S08310, la UI de operaciones 330 de cámara virtual determina si una entrada operativa del operador es una operación de finalización. Cuando la determinación es afirmativa, el proceso avanza a la etapa S08311, y en caso contrario, el proceso avanza a la etapa S08304.

En la etapa S08311, la trayectoria 08002 de cámara virtual que ha sido editada es transmitida al servidor central 270.

La figura 40 es un diagrama de flujo de un procedimiento de un proceso de selección de una imagen de cámara virtual deseada por el usuario de entre una pluralidad de imágenes de cámara virtual generadas por la UI de operaciones 330 de cámara virtual, y visualización de la imagen de cámara virtual seleccionada. Por ejemplo, el usuario ve la imagen de la cámara virtual utilizando el terminal de usuario final 190. Téngase en cuenta que la trayectoria 08002 de cámara virtual puede almacenarse en el servidor informático 200 de imágenes o en un servidor web (no mostrado) diferente del servidor informático 200 de imágenes.

En la etapa S08401, el terminal de usuario final 190 obtiene una lista de las trayectorias 08002 de cámara virtual. Se puede añadir una vista en miniatura, la evaluación del usuario y similares a la trayectoria 08002 de cámara virtual. En la etapa S08401, el terminal de usuario final 190 muestra la lista de trayectorias 08002 de cámara virtual.

En la etapa S08402, el terminal de usuario final 190 obtiene información de designación asociada con la trayectoria 08002 de cámara virtual seleccionada de la lista por el usuario.

En la etapa S08403, el terminal de usuario final 190 transmite la trayectoria 08002 de cámara virtual seleccionada por el usuario al servidor central 270. El servidor central 270 genera una imagen de punto de vista virtual y un sonido de punto de vista virtual desde la trayectoria 08002 de cámara virtual recibida, para ser transmitidos al terminal de usuario final 190.

En la etapa S08404, el terminal de usuario final 190 emite la imagen de punto de vista virtual y el sonido del punto de vista virtual suministrados desde el servidor central 270.

De este modo, puesto que la lista de trayectorias 08002 de cámara virtual se almacena y una imagen puede ser reproducida posteriormente utilizando la trayectoria 08002 de cámara virtual, no es necesario almacenar continuamente las imágenes de punto de vista virtual y, por consiguiente, se puede reducir el coste del dispositivo de almacenamiento. Además, en caso de que se solicite la generación de imágenes correspondientes a una trayectoria 08002 de cámara virtual con un grado de prioridad alto, la generación de imágenes de una trayectoria 08002 de cámara virtual con un grado de prioridad bajo se puede realizar posteriormente. Además, si la trayectoria 08002 de cámara virtual es divulgada en el servidor web, se puede proporcionar o compartir una imagen de punto de vista virtual para los usuarios finales conectados a una web y, por consiguiente, se puede mejorar la capacidad de servicio para los usuarios.

Se describirá una pantalla visualizada en el terminal de usuario final 190. La figura 41 es un diagrama que muestra una pantalla de visualización 41001 mostrada por el terminal de usuario final 190 (autor de la ilustración: Vector Open Stock, consentimiento de uso: http://creativecommons.org/licenses/by/2.1/jp/legalcode).

El terminal de usuario final 190 muestra sucesivamente imágenes suministradas desde el servidor central 270 en una zona 41002 en la que se mostrarán imágenes para que el espectador (el usuario) pueda ver la imagen de punto de vista virtual, tal como un partido de fútbol. El espectador acciona un dispositivo de entrada de usuario de acuerdo con la imagen visualizada para cambiar el punto de vista de la imagen. Si el usuario mueve el ratón hacia la izquierda, por ejemplo, se muestra una imagen en la que se muestra un punto de vista dirigido a la izquierda en la imagen mostrada. Si el usuario mueve el ratón hacia arriba, se muestra una imagen en la que se ve una dirección superior en la imagen mostrada.

Los botones de la interfaz gráfica de usuario (Graphic User Interface, GUI) 41003 y 41004 en los que se pueden conmutar entre sí un funcionamiento manual y un funcionamiento automático, están dispuestos en una zona diferente de la zona 41002 de visualización de imágenes. Cuando se acciona el botón 41003 o el botón 41004, el espectador puede determinar si el punto de vista se cambia antes de la visualización o si la visualización se realiza en el punto de vista preestablecido.

Por ejemplo, el terminal de usuario final 190 carga sucesivamente información de funcionamiento de punto de vista que indica un resultado de conmutación de un punto de vista accionado manualmente por el usuario, al servidor informático 200 de imágenes o al servidor web (no mostrado). Posteriormente, un usuario que acciona otro terminal de usuario final 190 puede obtener la información de funcionamiento de punto de vista y puede ver una imagen de punto de vista virtual correspondiente a la información de funcionamiento de punto de vista. Además, el usuario puede ver una imagen seleccionada correspondiente a la información de funcionamiento de punto de vista popular, por ejemplo, calificando la información de funcionamiento de punto de vista cargada, y el servicio puede ser utilizado fácilmente incluso por el usuario que no está familiarizado con el funcionamiento.

A continuación, se describirá un funcionamiento de la unidad de gestión de aplicaciones 10001 que se acciona manualmente, dado que el espectador selecciona el funcionamiento manual. La figura 42 es un diagrama de flujo de un proceso de funcionamiento manual realizado por la unidad de gestión de aplicaciones 10001.

La unidad de gestión de aplicaciones 10001 determina si el usuario ha realizado la entrada (S10010).

Cuando la determinación es afirmativa (Sí, en la etapa S10010), la unidad de gestión de aplicaciones 10001 transforma la información de entrada de usuario en un comando del servidor central, de modo que el servidor central 270 puede reconocer la información de entrada de usuario (S10011).

Por otra parte, cuando la determinación es negativa (No, en la etapa S10010), el proceso avanza a la etapa S10013.

Posteriormente, la unidad de gestión de aplicaciones 10001 transmite el comando del servidor central a través de la unidad de sistema operativo 10002 y de la unidad 10003 de comunicación de red (S10012). Después de que el servidor central 270 genere una imagen en la que se cambia un punto de vista basándose en la información de entrada de usuario, la unidad de gestión de aplicaciones 10001 recibe una imagen del servidor central 270 a través de la unidad 10003 de comunicación de red y de la unidad de sistema operativo 10002 (S10013). A continuación, la unidad de gestión de aplicaciones 10001 muestra la imagen recibida en la zona de visualización de imágenes predeterminada 41002 (S10014). Realizando el proceso descrito anteriormente, el funcionamiento manual cambia el punto de vista de una imagen.

A continuación, se describirá un funcionamiento de la unidad de gestión de aplicaciones 10001 cuando el espectador (el usuario) selecciona el funcionamiento automático. La figura 43 es un diagrama de flujo de un proceso de funcionamiento automático realizado por la unidad de gestión de aplicaciones 10001.

Cuando se detecta información de entrada para el funcionamiento automático (S10020), la unidad de gestión de aplicaciones 10001 lee la información de entrada para el funcionamiento automático (S10021).

La unidad de gestión de aplicaciones 10001 convierte la información de entrada leída para el funcionamiento automático en un comando de servidor central reconocible por el servidor central 270 (S10022).

Posteriormente, la unidad de gestión de aplicaciones 10001 transmite el comando del servidor central a través de la unidad de sistema operativo 10002 y la unidad 10003 de comunicación de red (S10023).

Después de que el servidor central 270 genere una imagen en la que se cambia un punto de vista basándose en la información de entrada de usuario, la unidad de gestión de aplicaciones 10001 recibe una imagen del servidor central 270 a través de la unidad 10003 de comunicación de red y de la unidad de sistema operativo 10002 (S10024). Finalmente, la unidad de gestión de aplicaciones 10001 muestra la imagen recibida en una zona de visualización de imágenes predeterminada (S10025). El proceso descrito anteriormente se realiza repetidamente siempre que exista la información de entrada para el funcionamiento automático, de modo que se cambie el punto de vista de una imagen debido al funcionamiento automático. La figura 44 es un diagrama de flujo de un proceso de generación de una imagen de punto de vista virtual para un cuadro realizado por el servidor central 270.

La unidad 03001 de recepción de datos recibe los parámetros de cámara virtual del controlador 300 (S03100). Tal como se describió anteriormente, los parámetros de cámara virtual indican una posición y una orientación de un punto de vista virtual y similares.

La unidad de determinación de objetos de primer plano 03010 determina un objeto de primer plano necesario para la generación de una imagen de punto de vista virtual basándose en los parámetros de cámara virtual recibidos y en la posición del objeto de primer plano (S03101). El objeto de primer plano incluido en un campo de visión cuando se ve desde el punto de vista virtual se obtiene geométricamente en 3D. La unidad de generación de lista de solicitudes 03011 genera una lista de solicitudes de una imagen de primer plano del objeto de primer plano determinado, un grupo de modelos 3D de primer plano, una imagen de segundo plano y un grupo de datos de sonido, y la unidad de salida de datos de solicitud 03012 transmite una solicitud a la base 250 de datos (S03102). La lista de solicitudes incluye el contenido de los datos que se solicitarán a la base 250 de datos.

La unidad 03001 de recepción de datos recibe la información solicitada de la base 250 de datos (S03103). La unidad 03001 de recepción de datos determina si la información suministrada desde la base 250 de datos incluye información que indica un error (S03104).

En este caso, ejemplos de la información que indica un error incluyen un desbordamiento de la cantidad de transferencia de imagen, un fallo de captura de imágenes y un fallo de almacenamiento de una imagen en la base 250 de datos. La información de error se almacena en la base 250 de datos.

Cuando la información que indica un error está incluida en la etapa S03104, la unidad 03001 de recepción de datos determina que la generación de una imagen de punto de vista virtual no es posible, y finaliza el proceso sin emitir datos. Cuando se determina que la información que indica un error no está incluida en la etapa S03104, el servidor central 270 realiza la generación de una imagen de segundo plano en un punto de vista virtual, la generación de una imagen de primer plano y la generación de sonido correspondiente al punto de vista. La unidad de adición de textura de segundo plano 03002 genera un modelo de retícula de segundo plano que tiene textura, a partir de un modelo de retícula de segundo plano que se obtiene tras la activación del sistema y que se almacena en la unidad de gestión de modelo de retícula del segundo plano 03013 y la imagen de segundo plano obtenida por la base 250 de datos (S03105).

Además, el servidor central 270 genera una imagen de primer plano de acuerdo con un modo de representación (S03106). Además, el servidor central 270 genera sonido sintetizando grupos de datos de sonido como si se copiara el sonido en el punto de vista virtual (S03107). En la síntesis de grupos de datos de sonido, los tamaños de los datos de sonido individuales son controlados basándose en las posiciones de la obtención del punto de vista virtual y de los datos de audio.

La unidad de representación 03006 genera una imagen de vista completa en el punto de vista virtual recortando el modelo de retícula de segundo plano que tiene la textura generada en la etapa S3105 dentro de un campo de visión visto desde un punto de vista virtual, y la imagen de vista completa del punto de vista virtual combinando imágenes de primer plano (S03108).

La unidad de combinación 03008 integra el sonido virtual generado en la generación de sonido del punto de vista virtual (S03107) y la imagen de vista completa representada en el punto de vista virtual (S03109) para generar contenido de punto de vista virtual para un cuadro.

La unidad 03009 de salida de imágenes envía el contenido de punto de vista virtual generado para un cuadro al controlador externo 300 y al terminal de usuario final externo 190 (S03110).

A continuación, se describirá una determinación de control flexible para hacer frente a varias solicitudes de generación de una imagen de punto de vista virtual realizada para aumentar los casos de utilización a los que es aplicable este sistema.

La figura 45 es un diagrama de flujo de la generación de una imagen de primer plano. En este caso, se describirá un ejemplo de una política de selección de uno de una pluralidad de algoritmos de representación para que se trate una solicitud correspondiente a un destino de salida de imagen, en la generación de imágenes de punto de vista virtual.

En primer lugar, la unidad de gestión de modos de representación 03014 del servidor central 270 determina un procedimiento de representación. La estación de control 310 establece los requisitos para determinar un procedimiento de representación en el servidor central 270. La unidad de gestión de modos de representación 03014 determina un procedimiento de representación de acuerdo con los requisitos. La unidad de gestión de modos de representación 03014 comprueba si se realiza una solicitud, para dar prioridad al funcionamiento de alta velocidad, en la generación de una imagen de punto de vista virtual realizada por el servidor central 270 basándose en la formación de imágenes de la plataforma 113 de cámara (S03200). La solicitud de dar prioridad al funcionamiento de alta velocidad es equivalente a una solicitud de generación de imágenes con poco retardo. Cuando la determinación es afirmativa en la etapa S03200, se habilita IBR como la representación (S03201). Posteriormente, se determina si se ha realizado una solicitud para dar prioridad a un grado de libertad especificado de un punto de vista asociado con la generación de una imagen de punto de vista virtual (S03202). Cuando la determinación es afirmativa en la etapa S03202, se habilita MBR como la representación (S03203). Posteriormente, se determina si se realiza una solicitud para dar prioridad al aligeramiento de un proceso de cálculo en la generación de una imagen de punto de vista virtual (S03204). La solicitud de dar prioridad al aligeramiento de un proceso de cálculo se realiza cuando el sistema está configurado con bajo coste mientras se utiliza una pequeña cantidad de recursos informáticos, por ejemplo. Cuando la determinación es afirmativa en la etapa S03204, se habilita IBR como la representación (S03205). A continuación, la unidad de gestión de modos de representación 03014 determina si el número de cámaras 112 a utilizar para la generación de una imagen de punto de vista virtual es mayor o igual que un valor umbral (S03206). Cuando la determinación es afirmativa en la etapa S03206, se habilita MBR como la representación (S03207).

El servidor central 270 determina si un procedimiento de representación es MBR o IBR de acuerdo con la información de modo gestionada por la unidad de gestión de modos de representación 03014 (S03208). Téngase en cuenta que, si no se realiza alguno de los procesos de las etapas S03201, S03203, S03205 y S03207, se utiliza un procedimiento de representación por defecto, determinado previamente cuando se activa el sistema.

Cuando se determina que un procedimiento de representación es una base de modelo (MBR) en la etapa S03208, la unidad de determinación de textura de primer plano 03003 determina la textura del primer plano basándose en el modelo 3D de primer plano y en el grupo de imágenes de primer plano (S03209). Posteriormente, la unidad de ajuste del color del borde de la textura de primer plano 03004 realiza concordancia de color en un límite de la textura del primer plano determinada (S03210). La textura del modelo 3D de primer plano se extrae de una pluralidad de grupos de imágenes de primer plano y, por lo tanto, la concordancia de color se realiza para abordar las diferencias de color en la textura causadas por las diferencias de estados de formación de imágenes de las imágenes del primer plano.

Cuando se determina que un procedimiento de representación es IBR en la etapa S03208, la unidad de generación de imágenes del primer plano del punto de vista virtual 03005 realiza una conversión geométrica, tal como una transformación de perspectiva, sobre las imágenes de primer plano basándose en los parámetros de cámara virtual y los grupos de imágenes de primer plano para que se generen imágenes de primer plano en el punto de vista virtual (S03211).

Téngase en cuenta que el usuario puede cambiar arbitrariamente el procedimiento de representación durante el funcionamiento del sistema, o el sistema puede cambiar el procedimiento de representación de acuerdo con un estado del punto de vista virtual. Además, los procedimientos de representación candidatos pueden ser cambiados durante el funcionamiento del sistema.

Por consiguiente, un algoritmo de representación asociado con la generación de un punto de vista virtual no solo se puede configurar en el momento de la activación, sino que también puede ser cambiado de acuerdo con una situación y, por lo tanto, se pueden procesar diversas solicitudes. Específicamente, incluso cuando se solicitan elementos correspondientes a diferentes destinos de salida de imagen (grados de prioridad de parámetros, por ejemplo), la solicitud es tratada con flexibilidad. Téngase en cuenta que aunque se utiliza uno de IBR y m Br como procedimiento de representación en esta realización, la presente invención no está limitada a esto y se puede emplear un procedimiento híbrido que utilice ambos procedimientos. Cuando se emplea el procedimiento híbrido, la unidad de gestión de modos de representación 03014 determina una pluralidad de procedimientos que se utilizarán para la generación de zonas divididas obtenidas dividiendo la imagen de punto de vista virtual de acuerdo con la información obtenida por la unidad 03001 de recepción de datos. Específicamente, una parte de la imagen de punto de vista virtual para un cuadro puede ser generada basándose en la MBR y otras partes pueden ser generadas basándose en la IBR. Por ejemplo, un objeto que es brillante, que no tiene textura y que tiene una superficie no rebajada puede evitar el deterioro de la precisión del modelo 3D mediante la utilización de IBR, y un objeto que está cerca del punto de vista virtual puede evitar la planitud de una imagen utilizando la MBR. Además, el objeto cerca del centro de la pantalla debe ser mostrado claramente y, por lo tanto, la MBR genera una imagen, y la carga de procesamiento de un objeto ubicado en un extremo se puede reducir generando una imagen mediante la IBR. De este modo, la carga de procesamiento asociada con la generación de una imagen de punto de vista virtual y la calidad de imagen de la imagen de punto de vista virtual pueden ser controladas en detalle.

Además, aunque se pueden establecer diferentes configuraciones apropiadas para el sistema, incluidas las configuraciones de un punto de observación, un trabajo de cámara y el control de transmisión, para diferentes juegos, si el operador realiza manualmente la configuración del sistema cada vez que se lleva a cabo un juego, la carga para el operador puede aumentar y, por consiguiente, se necesita simplicidad en la configuración. Por consiguiente, el sistema 100 de procesamiento de imágenes actualiza automáticamente la configuración de un dispositivo que se someterá a un cambio de configuración, de modo que se proporciona un mecanismo para reducir la carga del operador que realiza la configuración del sistema para generar una imagen de punto de vista virtual. Este mecanismo se describirá a continuación.

La figura 46 es una tabla de una lista de información que se genera en el flujo de trabajo posterior a la instalación, descrito anteriormente, y que está asociado con las operaciones establecidas en los dispositivos incluidos en el sistema en el flujo de trabajo previo a la formación de imágenes. La estación de control 310 obtiene información sobre un juego del que se van a formar imágenes mediante la pluralidad de cámaras 112 de acuerdo con una operación de entrada realizada por el usuario. Téngase en cuenta que el procedimiento para obtener información del juego no está limitado a esto, y la estación de control 310 puede obtener la información del juego de otros dispositivos, por ejemplo. A continuación, la estación de control 310 almacena la información del juego obtenida y la información de configuración del sistema 100 de procesamiento de imágenes que están asociadas entre sí, como la lista de información. En lo sucesivo, la lista de información asociada con el funcionamiento se denominará “lista de ajustes”. Cuando la estación de control 310 funciona como un dispositivo de control que realiza un proceso de configuración del sistema de acuerdo con la lista de ajustes almacenada, se reduce la carga del operador que realiza la configuración del sistema.

La información del juego obtenida por la estación de control 310 incluye, como mínimo, uno de un tipo y un tiempo de inicio de un juego que es un objetivo de la formación de imágenes, por ejemplo. Sin embargo, la información del juego no está limitada a esto y la información del juego puede ser otra información asociada con el juego.

Un número 46101 de formación de imágenes indica una escena correspondiente a cada juego del que se van a formar imágenes, y un tiempo estimado 46103 indica un tiempo de inicio estimado y un tiempo de finalización estimado de cada juego. Antes de la hora de inicio de cada escena, la estación de control 310 transmite una solicitud de cambio de acuerdo con la lista de ajustes, a los dispositivos.

Un nombre del juego 46102 indica un nombre de un tipo de juego. Un punto de observación (una designación de coordenadas) 46104 incluye el número de puntos de observación de las cámaras 112a a 112z, las posiciones de las coordenadas de los puntos de observación y los números de cámara correspondientes a los puntos de observación. Las direcciones de formación de imágenes de las cámaras individuales 112 se determinan de acuerdo con las posiciones de los puntos de observación. Por ejemplo, si el tipo de juego es fútbol, el centro del campo, un área antes de una portería y similares se establecen como puntos de observación. Un trabajo 46105 de cámara indica un rango de una trayectoria de cámara cuando la UI de operaciones 330 de cámara virtual y el servidor central 270 accionan un punto de vista virtual y se genera una imagen. Se determina un rango disponible de designación del punto de vista asociado con la generación de una imagen de punto de vista virtual basándose en el trabajo 46105 de la cámara.

Un archivo de calibración 46106 almacena valores de parámetros de cámara que se obtienen en la calibración del tiempo de instalación, descrita haciendo referencia a la figura 17, y que están asociados con el posicionamiento de la pluralidad de cámaras 112 asociadas con la generación de una imagen de punto de vista virtual, y es generado para cada punto de observación.

Un algoritmo 46107 de generación de imágenes indica una configuración de un resultado de una determinación de si se usa la IBR, la MBR o un procedimiento híbrido de IBR y MBR, como procedimiento de representación asociado con la generación de una imagen de punto de vista virtual en base a la imagen capturada. La estación de control 310 establece el procedimiento de representación en el servidor central 270. Por ejemplo, se asocian entre sí la información de juego, que indica un tipo de juego correspondiente a un número de jugadores, que es menor o igual que un valor umbral, tal como lanzamiento de peso o salto de altura, correspondiente a un número de formación de imágenes de 3, e información de configuración que indica el procedimiento de MBR para generar una imagen de punto de vista virtual utilizando un modelo 3D generado basándose en una pluralidad de imágenes capturadas. Por consiguiente, el grado de libertad de designación de un punto de vista en una imagen de punto de vista virtual de un juego correspondiente a un número de jugadores pequeño, pasa a ser alto. Por otra parte, la carga de procesamiento se hace grande si se genera una imagen de punto de vista virtual mediante el procedimiento de MBR en un juego correspondiente a un número de jugadores que es mayor que el valor umbral, tal como una ceremonia de apertura, correspondiente a un número de formación de imágenes de 1, y por lo tanto, se asocia el procedimiento de IBR para generar una imagen de punto de vista virtual con una carga de procesamiento menor utilizando un número de imágenes capturadas menor que un número de imágenes capturadas utilizadas en la generación de un modelo 3D empleando el procedimiento de MBR.

Una transmisión de primer plano/segundo plano 46108 indica ajustes de tasas de compresión y velocidades de cuadros (una unidad es fps) de la imagen de primer plano (Foreground Image, FG) y la imagen de segundo plano (Background Image, BG) que están separadas de la imagen capturada. Téngase en cuenta que la imagen de primer plano se genera basándose en una zona de primer plano extraída de la imagen capturada para la generación de una imagen de punto de vista virtual, y se transmite en el sistema 100 de procesamiento de imágenes. De manera similar, la imagen de segundo plano se genera y transmite en base a una zona de segundo plano extraída de la imagen capturada. La figura 47 es una secuencia de funcionamiento cuando la información correspondiente a un número de formación de imágenes de 2 en la lista de ajustes se establece en los dispositivos incluidos en el sistema en el flujo de trabajo previo a la formación de imágenes realizado por la estación de control 310.

La estación de control 310 comprueba un tiempo de inicio estimada de un juego que sirve como objetivo de formación de imágenes especificado utilizando la lista de ajustes almacenada después de que se inicia el funcionamiento del sistema (F47101). Posteriormente, la estación de control 310 inicia el proceso de configuración correspondiente al número de formación de imágenes de 2 cuando se alcanza un punto de tiempo que es anterior al tiempo de inicio estimado durante un período de tiempo predeterminado (F47102). El período de tiempo predeterminado descrito anteriormente es más largo que un período de tiempo necesario para el proceso de establecimiento realizado basándose en la información del juego obtenida por la estación de control 310, y varía dependiendo del tipo de juego que sirve como objetivo de formación de imágenes. De este modo, cuando el proceso de configuración se inicia automáticamente en un punto de tiempo antes del inicio del juego durante un período de tiempo predeterminado, la configuración puede ser completada cuando se inicia el juego sin una instrucción para iniciar la configuración por el operador. Téngase en cuenta que, cuando el usuario emite una instrucción para iniciar la configuración, la estación de control 310 puede iniciar el proceso de configuración independientemente de la hora de inicio del juego.

El proceso de configuración realizado por la estación de control 310 incluye un proceso de configuración de parámetros asociados con el procesamiento de imágenes realizado por el dispositivo que genera una imagen de punto de vista virtual, y un proceso de configuración de parámetros se asocia con la formación de imágenes realizada por las cámaras 112, por ejemplo. Los parámetros asociados con el procesamiento de imágenes especifican un procedimiento de generación que se utilizará para la generación de una imagen de punto de vista virtual a partir de datos de imagen basados en la formación de imágenes, por ejemplo. Además, los ejemplos de los parámetros asociados con la formación de imágenes incluyen una dirección de formación de imágenes de una cámara y una ampliación del zum. Téngase en cuenta que el contenido del proceso de configuración no está limitado a esto, y puede ser un proceso de activación de los dispositivos incluidos en el sistema 100 de procesamiento de imágenes.

Primero, la estación de control 310 realiza una configuración de punto de observación (F47103). Posteriormente, se transmite al adaptador 120 de cámara (F47104) una solicitud para establecer una coordenada de un punto de observación para cada cámara. En este caso, las cámaras 112 se agrupan de acuerdo con un punto de observación, y se establece un punto de observación en la misma coordenada para las cámaras 112 incluidas en los grupos de puntos de observación. El adaptador 120 de cámara que ha recibido la solicitud para configurar una coordenada de punto de vista virtual para cada cámara transmite una solicitud de instrucción de PT de plataforma de cámara que incluye una instrucción para configurar la panorámica/inclinación (Panning/Tilting, PT) y una instrucción para configurar la cámara 112 y una lente, tal como una lente de ángulo bajo (F47105). El proceso en F47104 y F47105 se realiza repetidamente para el número de sistemas de detección 110. Además, la estación de control 310 establece información sobre un grupo de puntos de observación para cada cámara en el servidor de interfaz de usuario 230 y en la base 250 de datos (F47106).

A continuación, la estación de control 310 establece un valor obtenido por la calibración (F47107). Específicamente, la información de un archivo de calibración se establece en todos los sistemas de detección 110. La estación de control 310 transmite una solicitud de configuración de calibración a los adaptadores 120 de cámara (F47108). Los adaptadores 120 de cámara que han recibido la solicitud realizan ajustes de parámetros de formación de imágenes, enfoque y zum en la cámara 112, las lentes y la plataforma 113 de cámara (F47109). Además, la estación de control 310 también transmite la solicitud de configuración de calibración al servidor de interfaz de usuario 230 (F47110).

Posteriormente, la estación de control 310 realiza una configuración del trabajo de la cámara (F47111). A continuación, la estación de control 310 transmite una solicitud para configurar grupos de cámaras basándose en el punto de observación, los rangos de formación de imágenes de las cámaras 112 y un rango de una trayectoria de cámara virtual para el servidor central 270 (F47112). El servidor central 270 necesita información sobre el trabajo de la cámara para mapear una trayectoria de punto de vista de la cámara virtual 08001 desde la UI de operaciones 330 de cámara virtual a las cámaras físicas 112, para que se represente una imagen. El servidor central 270 transmite una solicitud de intento de cámara virtual a la UI de operaciones 330 de cámara virtual, para comprobar un rango móvil de la cámara virtual (F47113). A continuación, el servidor central 270 recibe una notificación de funcionamiento de cámara virtual desde la UI de operaciones 330 de cámara virtual (F47114). En ese caso, el servidor central 270 determina que no existe una imagen efectiva correspondiente a una posición de punto de vista de acuerdo con la notificación de funcionamiento de cámara virtual recibida (F47115). A continuación, el servidor central 270 transmite una notificación de error a la UI de operaciones 330 de cámara virtual (F47116). La UI de operaciones 330 de cámara virtual determina que el punto de vista no se puede mover más de acuerdo con la notificación de error, dirige la cámara virtual a otro punto de vista y transmite una notificación al servidor central 270 (F47117). El servidor central 270 determina que existe una imagen efectiva correspondiente al punto de vista correspondiente a la notificación (F47118) y transmite una respuesta de imagen correspondiente a la UI de operaciones 330 de cámara virtual (F47119).

A continuación, la estación de control 310 realiza una configuración de un algoritmo de generación de imágenes (F47120). A continuación, la estación de control 310 determina uno de los procedimientos de algoritmo, es decir, la IBR, la MBR y el híbrido, y notifica al servidor central 270 el procedimiento de algoritmo determinado (F47121).

Posteriormente, la estación de control 310 realiza configuraciones asociadas con un procedimiento para transmitir la imagen de primer plano y la imagen de segundo plano (F47112). La estación de control 310 realiza la configuración de las tasas de compresión de la imagen de primer plano (FG) y la imagen de segundo plano (BG), y una velocidad de cuadros (el número de cuadros por segundo: fps) a los adaptadores 120 de cámara, de acuerdo con la lista de ajustes. En la figura 47, se suministra a los adaptadores 120 de cámara (F47123) una instrucción para establecer una tasa de compresión de FG de 1/3 de compresión y una velocidad de cuadros de FG de 60 fps, e información que indica que la BG no es transmitida. En este caso, puesto que la imagen de segundo plano no se transmite desde el adaptador 120 de cámara, el servidor central 270 no puede obtener la textura del segundo plano en el momento de la representación. Por lo tanto, la estación de control 310 transmite una instrucción para utilizar un modelo 3D de segundo plano, es decir, una instrucción para generar una imagen de segundo plano basándose en una alambrada con forma de estadio, al servidor central 270 (F47124).

La formación de imágenes se realiza continuamente hasta el momento de finalización del juego mientras se realizan los procesos descritos anteriormente. Téngase en cuenta que el tiempo de juego se puede extender y, por lo tanto, el operador puede finalmente determinar la interrupción de la formación de imágenes.

Una vez finalizada la formación de imágenes, la estación de control 310 realiza nuevamente un proceso de inicio del sistema antes de un tiempo de inicio estimado de una siguiente escena. Específicamente, la estación de control 310 comprueba un tiempo de inicio estimado de una escena que tiene un número de formación de imágenes de 3 (F47125) y realiza una configuración correspondiente al número de formación de imágenes de 3 en los dispositivos incluidos en el sistema (F47126). A continuación, el proceso descrito anteriormente se realiza repetidamente de acuerdo con la lista de ajustes.

De este modo, puesto que la estación de control 310 realiza automáticamente la configuración de los dispositivos, el operador solo realiza una operación de inicio del sistema y una operación de comprobación del sistema y, por consiguiente, se puede simplificar la operación del operador asociada con el complicado control de la formación de imágenes.

La figura 48 es un diagrama de flujo del control de recepción, realizado por el servidor de interfaz de usuario 230, de un cuadro de imagen m de sincronización de cámara suministrado desde el adaptador 120 de cámara a través de un camino de la conexión en cadena. En caso de que la conexión en cadena esté configurada de manera diferente cada semicircunferencia o cuando la conexión en cadena se proporcione a través de una pluralidad de pisos, es posible que conseguir la generación de una imagen de punto de vista virtual con poco retardo pueda resultar difícil, cuando el servidor de interfaz de usuario 230 espera la recepción de los datos de imagen de toda la cámara 112. A continuación se describirá un procedimiento para reducir la posibilidad.

Primero, el servidor de interfaz de usuario 230 recibe un paquete de datos de imagen para cada camino de cámara de la conexión en cadena (S48100). A continuación, los cuadros de imagen m de sincronización de cámara son almacenados sucesivamente (S48101). A continuación, se determina si el número de grupos de puntos de observación es 1 (S48102). Cuando la determinación es negativa en la etapa S48102, es decir, en caso de una pluralidad de grupos de puntos de observación, los cuadros de imagen de la cámara son clasificados en una pluralidad de grupos de puntos de observación (S48103). Posteriormente, el servidor de interfaz de usuario 230 determina si, como mínimo, uno de los grupos de puntos de observación ha completado la recepción de un cuadro de imagen m en las cámaras 112 (S48104). Cuando la determinación es afirmativa, el procesador 02150 de imágenes, la unidad de acoplamiento de modelos 3D 02160, la unidad 02170 de acoplamiento de imágenes y la unidad 02180 de generación de archivos de datos de formación de imágenes realizan procesamiento de imágenes para cada grupo de puntos de observación (S48105). Posteriormente, el servidor de interfaz de usuario 230 determina si se ha realizado el procesamiento de imágenes en todos los grupos de puntos de observación. Cuando la determinación es negativa (No en la etapa S48106), el servidor de interfaz de usuario 230 determina si se ha producido un tiempo de espera para un cuadro de imagen (S48107). Se puede fijar un valor umbral de acuerdo con una unidad de tiempo para un cuadro. Cuando la determinación es afirmativa en la etapa S48107, el servidor de interfaz de usuario 230 detecta un cuadro de imagen perdido y marca un cuadro objetivo de la cámara 112 en el que se produce la pérdida con información que indica la pérdida (S48108), y escribe los datos de imagen en la base 250 de datos. Con esto, el servidor central 270 reconoce la pérdida del cuadro de imagen, y esto es eficaz para el proceso de representación. Específicamente, cuando el mapeo de la cámara virtual y la cámara real 112 especificado por la UI de operaciones 330 de cámara virtual es realizado por el servidor central 270, el servidor central 270 puede determinar inmediatamente la imagen de la cámara 112 en la que se ha producido la pérdida. Por lo tanto, cuando es posible que la imagen de punto de vista virtual generada falle, un proceso de corrección y similares se puede realizar automáticamente sobre una salida de imagen, sin contacto visual del operador.

A continuación, se describirán en detalle las configuraciones de hardware de los dispositivos de acuerdo con esta realización. Tal como se describió anteriormente, en esta realización, se muestra principalmente el caso en el que el adaptador 120 de cámara implementa hardware, tal como FPGA y/o ASIC, y el hardware ejecuta los diversos procesos descritos anteriormente. Esto es cierto para diversos dispositivos incluidos en el sistema de detección 110, el servidor de interfaz de usuario 230, la base 250 de datos, el servidor central 270 y el controlador 300. Sin embargo, como mínimo, algunos de los dispositivos pueden utilizar una CPU, una GPU, un DSP o similar para ejecutar el proceso de esta realización mediante un proceso de software.

La figura 49 es un diagrama de bloques que muestra una configuración de hardware del adaptador 120 de cámara para realizar la configuración funcional mostrada en la figura 2 mediante un proceso de software. Téngase en cuenta que el servidor de interfaz de usuario 230, la base 250 de datos, el servidor central 270, la estación de control 310, la UI de operaciones 330 de cámara virtual y el terminal de usuario final 190 pueden ser la configuración de hardware de la figura 49. El adaptador 120 de cámara incluye una CPU 1201, una ROM 1202, una RAM 1203, un dispositivo 1204 de almacenamiento auxiliar, una unidad de visualización 1205, una unidad de operaciones 1206, una unidad de comunicación 1207 y un bus 1208.

La CPU 1201 controla la totalidad del adaptador 120 de cámara utilizando programas informáticos y datos almacenados en la ROM 1202 y la RAM 1203. La ROM 1202 almacena programas y parámetros que no es necesario modificar. La RAM 1203 almacena temporalmente programas y datos suministrados desde el dispositivo 1204 de almacenamiento auxiliar y datos suministrados externamente a través de la unidad de comunicación 1207. El dispositivo 1204 de almacenamiento auxiliar está constituido por una unidad de disco duro, por ejemplo, y almacena datos de contenido, tales como imágenes fijas e imágenes en movimiento. La unidad de visualización 1205 está constituida por una pantalla de cristal líquido o similar, y muestra la interfaz gráfica de usuario (GUI) utilizada por el usuario para accionar el adaptador 120 de cámara. La unidad de operaciones 1206 está constituida por un teclado o un ratón, por ejemplo, y suministra diversas instrucciones a la CPU 1201 en respuesta a operaciones de usuario. La unidad de comunicación 1207 se comunica con dispositivos externos, tales como la cámara 112 y el servidor de interfaz de usuario 230. En caso de que el adaptador 120 de cámara esté conectado a un dispositivo externo de manera cableada, por ejemplo, un cable de LAN y similares están conectados a la unidad de comunicación 1207. Téngase en cuenta que en caso de que el adaptador 120 de cámara tenga la función de realizar una comunicación inalámbrica con un dispositivo externo, la unidad de comunicación 1207 tiene una antena. El bus 1208 se utiliza para conectar las partes del adaptador 120 de cámara con el fin de transmitir información.

Téngase en cuenta que una parte del proceso realizado por el adaptador 120 de cámara puede ser realizada mediante una FPGA, y la otra parte del proceso puede ser realizada por el proceso de software utilizando la CPU. Además, los componentes del adaptador 120 de cámara mostrados en la figura 49 pueden estar configurados mediante un solo circuito electrónico o una pluralidad de circuitos electrónicos. Por ejemplo, el adaptador 120 de cámara puede incluir una pluralidad de circuitos electrónicos que funcionan como la CPU 1201. Cuando la pluralidad de circuitos electrónicos realizan el proceso como la CPU 1201 en paralelo, se puede mejorar la velocidad de procesamiento del adaptador 120 de cámara.

Además, aunque la unidad de visualización 1205 y la unidad de operaciones 1206 de esta realización están incluidos en el adaptador 120 de cámara, el adaptador 120 de cámara puede no incluir, como mínimo, una de la unidad de visualización 1205 y la unidad de operaciones 1206. Como mínimo, una de la unidad de visualización 1205 y la unidad de operaciones 1206 puede estar dispuesta fuera del adaptador 120 de cámara, como un dispositivo independiente, y la CPU 1201 puede funcionar como un controlador de pantalla que controla la unidad de pantalla 1205 y un controlador de funcionamiento que controla la unidad de operaciones 1206. Los otros dispositivos incluidos en el sistema 100 de procesamiento de imágenes funcionan de la misma manera. Además, el servidor de interfaz de usuario 230, la base 250 de datos y el servidor central 270 pueden no incluir la unidad de visualización 1205, sino que la estación de control 310, la UI de operaciones 330 de cámara virtual y el terminal de usuario final 190 pueden incluir la unidad de visualización 1205, por ejemplo. Además, el caso en el que el sistema 100 de procesamiento de imágenes está instalado en instalaciones, tales como un estadio o una sala de conciertos, se describe principalmente como un ejemplo en esta realización. Ejemplos de otras instalaciones incluyen parques de atracciones, campos de juego, pistas de carreras, pistas de carreras de bicicletas, casinos, piscinas, pistas de hielo, áreas de esquí y clubes con música en directo. Además, los eventos que se llevan a cabo en diversas instalaciones pueden ser eventos en interiores o eventos al aire libre. Además, las instalaciones en esta realización pueden estar abiertas temporalmente (solo durante un tiempo limitado).

Según la realización descrita anteriormente, una imagen de punto de vista virtual puede ser generada fácilmente con independencia de la escala de los dispositivos incluidos en un sistema, tal como el número de cámaras 112, de la resolución de salida de las imágenes capturadas y de la velocidad de cuadros de salida. Aunque la realización de la presente invención se ha descrito anteriormente, la presente invención no está limitada a la realización anterior, y se pueden realizar diversas modificaciones y cambios dentro del alcance de la presente invención expuesta en las reivindicaciones.

Según la realización descrita anteriormente, en la generación de una imagen de punto de vista virtual, se puede especificar un punto de vista en un rango que cambia dependiendo de la situación.

Otras realizaciones

La realización o las realizaciones de la presente invención también pueden estar realizadas por un ordenador de un sistema o aparato que lee y ejecuta instrucciones ejecutables por ordenador (por ejemplo, uno o varios programas) grabadas en un medio de almacenamiento (que también se puede denominar más completamente como un “medio de almacenamiento no transitorio legible por ordenador”) para realizar la funciones de una o varias de las realizaciones descritas anteriormente y/o que incluye uno o varios circuitos (por ejemplo, un circuito integrado de aplicación específica (ASIC)) para realizar las funciones de una o varias de las realizaciones descritas anteriormente), y por un procedimiento realizado por el ordenador del sistema o aparato, por ejemplo, leyendo y ejecutando las instrucciones ejecutables por ordenador desde el medio de almacenamiento para realizar las funciones de una o varias de las realizaciones descritas anteriormente y/o controlando el uno o varios circuitos para realizar las funciones de una o varias de las realizaciones descritas anteriormente. El ordenador puede comprender uno o varios procesadores (por ejemplo, una unidad central de procesamiento (CPU), una micro unidad de procesamiento (MPU)) y puede incluir una red de ordenadores separados o procesadores separados para leer y ejecutar las instrucciones ejecutables por ordenador. Las instrucciones ejecutables por ordenador pueden ser suministradas al ordenador, por ejemplo, desde una red o desde el medio de almacenamiento. El medio de almacenamiento puede incluir, por ejemplo, uno o varios de un disco duro, una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), un almacenamiento de sistemas informáticos distribuidos, un disco óptico (tal como un disco compacto (CD), un disco versátil digital (Digital Versatile Disc, DVD) o un disco Blu-ray (Blu-ray Disc, BD)™), un dispositivo de memoria flash, una tarjeta de memoria y similares.

Aunque la presente invención se ha descrito haciendo referencia a ejemplos de realizaciones, se debe comprender que la invención no está limitada a los ejemplos de realizaciones descritos, sino que la invención está definida por las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Aparato de procesamiento de información, que comprende:

una unidad de obtención (06131, 02120, 02130, 02180), configurada para obtener imágenes de primer plano e imágenes de segundo plano, representando cada una de las imágenes de primer plano una zona de objeto de primer plano en una de las imágenes capturadas obtenidas por una cámara incluida en una pluralidad de cámaras, y que va a ser utilizada para generar una imagen de punto de vista virtual basada en una imagen obtenida, mediante llevar a cabo formación de imágenes desde una pluralidad de direcciones utilizando la pluralidad de cámaras, y representando cada una de las imágenes de segundo plano una zona de segundo plano que no incluye la zona del objeto de primer plano, siendo obtenidas las imágenes de primer plano y las imágenes de segundo plano con velocidades de cuadros diferentes entre sí, y

una unidad de salida (06111), configurada emitir las imágenes de primer plano obtenidas por la unidad de obtención,

caracterizado por que

la imagen de segundo plano se actualiza cambiando, utilizando un valor de píxel de una imagen capturada, un valor de píxel en una posición de píxel en la que la diferencia entre la imagen capturada y la imagen de segundo plano antes de ser actualizada es menor que un primer umbral, y

la imagen de primer plano se obtiene extrayendo, de la imagen capturada, una zona en la que la diferencia entre la imagen capturada y la imagen de segundo plano después de ser actualizada es mayor que un segundo umbral.

2. Aparato de procesamiento de información, según la reivindicación 1, en el que la velocidad de cuadros de las imágenes de primer plano obtenidas por la unidad de obtención es mayor que la velocidad de cuadros de las imágenes de segundo plano obtenidas por la unidad de obtención.

3. Aparato de procesamiento de información, según la reivindicación 1 o 2, en el que la unidad de salida emite las imágenes de primer plano obtenidas por la unidad de obtención y las imágenes de segundo plano obtenidas por la unidad de obtención, de tal manera que una imagen de primer plano está asociada con una imagen de segundo plano que tiene información de tiempo relacionada con información de tiempo de la imagen de primer plano obtenida, en base a una regla predeterminada.

4. Aparato de procesamiento de información, según la reivindicación 3, en el que la unidad de salida emite las imágenes de primer plano obtenidas por la unidad de obtención y las imágenes de segundo plano obtenidas por la unidad de obtención de tal manera que una imagen de primer plano está asociada con una imagen de segundo plano que tiene la información de tiempo más cercana a la información de tiempo de la imagen de primer plano obtenida.

5. Aparato de procesamiento de información, según la reivindicación 3, en el que la unidad de salida emite las imágenes de primer plano obtenidas por la unidad de obtención y las imágenes de segundo plano obtenidas por la unidad de obtención, de tal manera que una imagen de primer plano está asociada con una imagen de segundo plano que tiene la información de tiempo correspondiente a un punto de tiempo anterior a la información de tiempo de la imagen de primer plano obtenida, y que tiene la información de tiempo más cercana a la información de tiempo de la imagen de primer plano.

6. El aparato de procesamiento de información, según la reivindicación 3, en el que la unidad de salida emite las imágenes de primer plano obtenidas por la unidad de obtención y las imágenes de segundo plano obtenidas por la unidad de obtención, de tal manera que una imagen de primer plano está asociada con una imagen de segundo plano que tiene la información de tiempo correspondiente a un punto de tiempo después de la información de tiempo de la imagen de primer plano obtenida y tiene la información de tiempo más cercana a la información de tiempo de la imagen de primer plano.

7. Aparato de procesamiento de información, según la reivindicación 1, en el que la unidad de salida emite una imagen de primer plano y una imagen de segundo plano que son obtenidas por la unidad de obtención y que están asociadas entre sí.

8. Aparato de procesamiento de información, según cualquiera de las reivindicaciones 1 a 7,

en el que la unidad de obtención obtiene, además, datos de modelo 3D de un objetivo capturado por la pluralidad de cámaras, y

la unidad de salida emite una imagen de primer plano, una imagen de segundo plano y los datos de modelo 3D que son obtenidos por la unidad de obtención.

9. Aparato de procesamiento de información, según la reivindicación 8, en el que la unidad de salida emite una imagen de primer plano, una imagen de segundo plano y los datos de modelo 3D que son obtenidos por la unidad de obtención y que están asociados entre sí.

10. Aparato de procesamiento de información, según cualquiera de las reivindicaciones 1 a 9, en el que la unidad de salida emite las imágenes de primer plano y no las imágenes de segundo plano.

11. Aparato de procesamiento de información, según cualquiera de las reivindicaciones 1 a 10, en el que un destino de salida de las imágenes de primer plano obtenidas por la unidad de obtención que son emitidas por la unidad de salida es, como mínimo, uno de una unidad de almacenamiento incluida en el aparato de procesamiento de información, un dispositivo de almacenamiento conectado al aparato de procesamiento de información a través de una red y un aparato de generación de imágenes que está conectado al aparato de procesamiento de información a través de la red y que genera una imagen de punto de vista virtual.

12. Aparato de procesamiento de información, según cualquiera de las reivindicaciones 1 a 11, en el que se detecta un objeto predeterminado en una zona de objeto mediante un proceso de detección realizado en la imagen capturada.

13. Procedimiento para controlar un aparato de procesamiento de información, comprendiendo el procedimiento:

obtener imágenes de primer plano e imágenes de segundo plano, representando cada una de las imágenes de primer plano una zona de objeto de primer plano en una de las imágenes capturadas obtenidas por una cámara incluida en una pluralidad de cámaras, y siendo para ser utilizado para generar una imagen de punto de vista virtual basándose en una imagen obtenida llevando a cabo formación de imágenes desde una pluralidad de direcciones utilizando la pluralidad de cámaras, y representando cada una de las imágenes de segundo plano una zona de segundo plano que no incluye la zona del objeto de primer plano, siendo obtenidas las imágenes de primer plano y las imágenes de segundo plano con velocidades de cuadros diferentes entre sí, y

emitir las imágenes de primer plano obtenidas,

caracterizado por que

la imagen de segundo plano es actualizada cambiando, utilizando un valor de píxel de una imagen capturada, un valor de píxel en una posición de píxel en la que la diferencia entre la imagen capturada y la imagen de segundo plano antes de ser actualizada es menor que un primer umbral, y

14. Programa que hace que un ordenador funcione como las unidades incluidas en el aparato de procesamiento de información, según cualquiera de las reivindicaciones 1 a 12.