ES2908243T3

ES2908243T3 - Aparato de procesamiento de imágenes, sistema de procesamiento de imágenes, procedimiento de procesamiento de imágenes y programa

Info

Publication number: ES2908243T3
Application number: ES17864980T
Authority: ES
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-10-28
Filing date: 2017-10-20
Publication date: 2022-04-28
Anticipated expiration: 2037-10-20
Also published as: EP4012661A1; EP3534337B1; EP3534337A4; JP2018073105A; EP3534337A1; KR20200023513A; CA3041976C; BR112019008387A2; CN110944119B; BR112019008387B1; CN110944119A; KR102262731B1; KR102083767B1; KR20190064649A; US20190253639A1; CN109964253A; WO2018079430A1; KR20210068629A; KR102364052B1; AU2017351012B2

Abstract

Sistema de procesamiento de imágenes, que comprende: un medio de obtención de imágenes (100) para obtener imágenes capturadas desde una pluralidad de direcciones por una pluralidad de cámaras (2); un medio de obtención de información (110) para obtener información de punto de vista que indica un punto de vista virtual; y un medio de generación (120) para generar imágenes de punto de vista virtual en base a las imágenes obtenidas por el medio de obtención de imágenes y a la información de puntos de vista obtenida por el medio de obtención de información, en el que el medio de generación está configurado para generar una primera imagen de punto de vista virtual para ser entregada a un aparato de visualización (3) utilizado por un usuario para especificar un punto de vista virtual y para generar una segunda imagen de punto de vista virtual para ser entregada a un destino de salida diferente del aparato de visualización (3) utilizando por lo menos uno de la primera imagen de punto de vista virtual y los datos generados en un proceso para generar la primera imagen de punto de vista virtual mediante el procesamiento de imágenes utilizando la pluralidad de imágenes obtenidas por el medio de obtención de imágenes, teniendo la segunda imagen de punto de vista virtual una calidad de imagen superior a la de la primera imagen de punto de vista virtual.

Description

DESCRIPCIÓN

Aparato de procesam ien to de im ágenes, s istem a de procesam iento de im ágenes, p roced im iento de procesam iento de im ágenes y program a

S e cto r técn ico

La presente invención se refiere a una tecno log ía para genera r una im agen de punto de v is ta virtual.

E s tado de la técn ica anterior

Ú ltim am ente, ha llam ado la atención una tecno log ía para cap tu rar un sujeto desde m últip les puntos de vista insta lando de una p lura lidad de cám aras en d iferentes posiciones, y generando una im agen de punto de v is ta virtual o un m odelo trid im ensiona l utilizando una p lura lidad de im ágenes de punto de v is ta obtenidas m ediante la captura. Según la tecno log ía para genera r la im agen de punto de v is ta v irtua l a partir de la p lura lidad de im ágenes de punto de v is ta descritas anteriorm ente, por ejem plo, puesto que una escena destacada en fútbol o baloncesto se puede ver desde d iversos ángulos, es posible proporcionar una sensación de gran realism o a un usuario en com paración con una im agen normal.

De acuerdo con el docum ento PTL 1, se describe que la ca lidad de im agen de la im agen de punto de v is ta v irtua l se m ejora d ism inuyendo las unidades de representación en una zona lím ite de un objeto en la im agen en un caso en el que se va a genera r una im agen de punto de v is ta v irtua l com binando entre sí de las im ágenes cap tu radas desde la p lura lidad de puntos de vista.

La Patente U S2014/270706 describe el procesam iento de vídeos para genera r vídeos virtua les que proporcionan d iferentes puntos de v ista del evento.

La Patente U S 2013/342647 deta lla la generación de una im agen en co lo r de un punto de v ista de visua lización utilizando una im agen en co lo r y una im agen de pro fund idad de un punto de v is ta predeterm inado.

La Patente W O 2004/053591 describe un s istem a de v isua lización y cap tu ra de im ágenes en el que se genera una im agen s in te tizada de un sujeto desde un punto de v ista v irtua l a partir de im ágenes tom adas por dos cám aras, y utilizando posic ionam iento relativo de las cám aras.

Lista de referencias

B ib liog ra fía de patentes

PTL 1: Patente japonesa presentada ab ierta a inspección pública núm. 2013-223008

C aracte rís ticas de la invención

Problem a técn ico

Sin em bargo, según la tecno log ía de la técn ica re lacionada, es conceb ib le que, en a lgunos casos, no se pueda genera r una im agen de punto de v ista v irtua l según una p lura lidad de requisitos d iferentes con respecto a una ca lidad de im agen. Por ejem plo, en un caso en el que solo se va a genera r la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen alta, es conceb ib le que se a largue el tiem po de procesam iento re lacionado con la generación, y existe el tem or de que resulte difíc il responder al deseo de un usuario que qu is ie ra observar la imagen de punto de v is ta v irtua l en tiem po real, aunque la ca lidad de im agen sea baja. Por otro lado, en un caso en el que solo se va a genera r la im agen de punto de v ista v irtua l que tiene la ca lidad de im agen baja, existe un tem or de que resulte d ifícil responder a un deseo de un usuario que prioriza la ca lidad de im agen a lta de la im agen de punto de v is ta v irtua l sobre la propiedad de ser en tiem po real.

La presente invención ha sido realizada a la v ista del p rob lem a descrito anteriorm ente, y tiene com o objetivo generar una im agen de punto de v is ta v irtua l según una p lura lidad de requis itos d iferentes con respecto a una calidad de imagen.

Solución al problem a

La presente invención ha sido realizada con el fin de resolver el prob lem a descrito anteriorm ente. Según un aspecto de la presente invención, se da a conocer un s istem a de procesam ien to de im ágenes ta l com o se especifica en las re iv ind icaciones 1 a 11. Según otro aspecto de la presente invención, se da a conocer un p roced im iento de procesam iento de im ágenes ta l com o se especifica en las re iv ind icaciones 12 a 14. Según otro aspecto de la presente invención, se da a conocer un program a inform ático tal com o se especifica en la re iv indicación 15.

Efectos ven ta josos de la invención

Según la presente invención, es posib le genera r la im agen de punto de v is ta v irtua l según la p lura lidad de requis itos d iferentes con respecto a la ca lidad de la imagen.

B reve descripción de los dibujos

[F igura 1] La figu ra 1 es un d iag ram a exp lica tivo para describ ir una configuración de un s istem a de procesam iento de im ágenes 10.

[F igura 2] La figu ra 2 es un d iag ram a exp lica tivo para describ ir una configuración de hardw are de un aparato de procesam iento de im ágenes 1.

[F igura 3] La figura 3 es un d iagram a de flu jo para describ ir un m odo de func ionam ien to del aparato de procesam iento de im ágenes 1.

[F igura 4] La figu ra 4 es un d iagram a exp lica tivo para describ ir una configuración de una panta lla de visua lización m ediante un aparato de v isua lización 3.

[F igura 5] La figura 5 es un d iagram a de flu jo para describ ir un m odo de func ionam ien to del aparato de procesam iento de im ágenes 1.

[F igura 6] La figura 6 es un d iagram a de flu jo para describ ir un m odo de func ionam ien to del aparato de procesam iento de im ágenes 1.

D escripc ión de realizaciones

[C onfiguración del sistem a]

A continuación, se describ irán realizaciones de la presente invención haciendo referencia a los d ibujos. Prim ero, se describ irá una configuración de un s istem a de procesam iento 10 de im ágenes que genera y entrega una im agen de punto de v is ta v irtua l utilizando la figura 1. El s istem a de procesam iento de im ágenes 10 según la presente realización incluye un aparato de procesam iento de im ágenes 1, un grupo de cám aras 2, un aparato de visua lización 3 y un aparato de v isua lizac ión 4.

C abe seña la r que la im agen de punto de v is ta v irtua l, según la presente realización, es una im agen obten ida en un caso en el que un sujeto es cap tu rado desde un punto de v is ta v irtua l. En otras palabras, la im agen de punto de v is ta v irtua l es una im agen que representa una apariencia en un punto de v is ta especificado. El punto de v is ta virtual (punto de v is ta im aginario) puede ser especificado por un usuario, o tam bién, puede ser especificado de m anera autom ática en base a un resultado de un anális is de im agen o sim ilar. Es decir, la im agen de punto de v is ta virtual incluye una im agen de punto de v is ta arb itrario (im agen de punto de v is ta libre) correspondiente a un punto de v ista especificado arb itrariam ente por el usuario. Adem ás, en la im agen de punto de v ista v irtua l tam bién se incluyen una im agen correspondiente a un punto de v ista especificado por el usuario, de entre una p lura lidad de candidatos, y una im agen correspondiente a un punto de v is ta especificado de m anera autom ática por un aparato. Cabe seña la r que, según la presente realización, se describ irá principa lm ente un caso en el que la im agen de punto de v is ta v irtua l es una im agen en m ovim iento, pero la im agen de punto de v ista v irtua l tam bién puede ser una im agen fija.

El g rupo de cám aras 2 incluye una p lura lidad de cám aras, y cada una de las cám aras captura un sujeto desde d irecciones d iferentes respectivam ente. Según la presente realización, cada una de la p lura lidad de cám aras inclu idas en el g rupo de cám aras 2 está conectada al aparato de procesam iento de im ágenes 1 y transm ite una im agen capturada, un parám etro de cada cám ara y s im ilares al aparato de p rocesam iento de im ágenes 1. Sin em bargo, se debe tene r en cuen ta que la configuración no está lim itada a esto, y la p lura lidad de cám aras inclu idas en el g rupo de cám aras 2 pueden com un ica r entre sí, y cua lqu ie ra de las cám aras inclu idas en el g rupo de cám aras 2 puede transm itir las im ágenes captu radas por la p lura lidad de cám aras, los parám etros de la p lura lidad de cám aras y sim ilares, al aparato de procesam iento de im ágenes 1. Adem ás, en lugar de las im ágenes capturadas, cua lqu ie ra de las cám aras inclu idas en el grupo de cám aras 2 puede transm itir una imagen basada en la captura por parte del grupo de cám aras 2, tal com o una im agen generada en base a una d ife renc ia entre las im ágenes captu radas por la p lura lidad de cám aras.

El aparato de v isua lizac ión 3 acepta la especificación del punto de v ista v irtua l para genera r la im agen de punto de v is ta v irtua l, y transm ite la in form ación según la especificación, al aparato de p rocesam iento de im ágenes 1. Por e jem plo, el aparato de v isua lizac ión 3 incluye una unidad de entrada, tal com o una palanca de m ando, un disco selector, un panel táctil, un tec lado o un ratón, y el usuario (operador) que especifica el punto de v is ta v irtua l acciona la unidad de entrada para especificar el punto de v is ta v irtua l. El usuario, según la presente realización, es un operador que acc iona una unidad de entrada del aparato de v isua lizac ión 3 para especifica r el punto de v is ta virtual, o un espectador que observa la im agen de punto de v is ta v irtua l m ostrada por el aparato de v isua lización 4, y el usuario sim plem ente se m enciona en un caso en el que el operador y el espectador no se d istinguen particu larm ente entre sí. Según la presente realización, se describ irá principa lm ente el caso en el que el espectador es d iferente del operador, pero la configuración no está lim itada a esto, y el espectador y el operador pueden ser el m ism o usuario. Cabe seña la r que, según la presente realización, la in form ación según la especificación del punto de v is ta v irtua l que es transm itida desde el aparato de v isua lizac ión 3 al aparato de procesam iento de im ágenes 1 es la in form ación del punto de v is ta v irtua l que indica la posición y la orientación del punto de v is ta v irtua l. Cabe señalar, sin em bargo, que la configuración no está lim itada a esto, y la in form ación según la especificación del punto de v is ta v irtua l puede ser in form ación que indica los conten idos determ inados según el punto de v is ta virtual, ta les com o la fo rm a o la orientación del sujeto en la im agen de punto de v is ta virtua l, y el aparato de procesam iento de im ágenes 1 puede genera r la im agen de punto de v is ta v irtua l en base a la in form ación descrita anteriorm ente, según la especificación del punto de v ista virtual.

Adem ás, el aparato de v isua lizac ión 3 m uestra la im agen de punto de v is ta v irtua l generada y entregada por el aparato de procesam iento de im ágenes 1 en base a las im ágenes basadas en la cap tu ra por parte del g rupo de cám aras 2 y de la especificación del punto de v is ta v irtua l aceptada por el aparato de v isua lizac ión 3. Según esto, el operador puede rea lizar la especificación del punto de v ista v irtua l m ientras observa la im agen de punto de v is ta v irtua l m ostrada en el aparato de v isua lizac ión 3. Cabe seña la r que, según la presente realización, el aparato de v isua lizac ión 3 que m uestra la im agen de punto de v is ta v irtua l está configurado para aceptar la especificación del punto de v ista v irtua l, pero la configuración no está lim itada a esto. Por ejem plo, el aparato que acepta la especificación del punto de v is ta v irtua l y el aparato de v isua lizac ión que m uestra la im agen de punto de v is ta virtual para que el operador especifique el punto de v is ta v irtua l, pueden ser aparatos separados.

El aparato de v isua lizac ión 3 tam bién realiza una instrucción de generación para in iciar la generación de la imagen de punto de v is ta v irtua l con respecto al aparato de procesam iento de im ágenes 1 en base a la operación del operador. Cabe seña la r que la instrucción de generación no está lim itada a esto, y puede ser una instrucción para que el aparato de procesam iento de im ágenes 1 reserve la generación de la im agen de punto de v is ta v irtua l de tal m anera que la generación de la im agen de punto de v is ta v irtua l se in icia en un tiem po predeterm inado, por ejem plo. Adem ás, la instrucción de generación puede ser una instrucción para una reserva, de tal m anera que la generación de la im agen de punto de v is ta v irtua l se in icia en un caso en el que ocurre un evento predeterm inado, por ejem plo. Cabe seña la r que el aparato que realiza la instrucción de generación de la im agen de punto de v is ta v irtua l con respecto al aparato de procesam iento de im ágenes 1 puede ser un aparato d iferente del aparato de v isua lizac ión 3, y el usuario puede in troducir d irectam ente la instrucción de generación con respecto al aparato de procesam iento de im ágenes 1.

El aparato de v isua lizac ión 4 m uestra la im agen de punto de v is ta v irtua l generada por el aparato de procesam iento de im ágenes 1 en base a la especificación del punto de v is ta v irtua l por el operador que ha utilizado el aparato de v isua lizac ión 3 con respecto al usuario (espectador) d iferente del operador que especifica el punto de v ista virtual. Cabe seña la r que el s istem a de procesam iento de im ágenes 10 puede inc lu ir una p lura lidad de aparatos de v isua lizac ión 4, y la p lura lidad de aparatos de v isua lizac ión 4 puede m ostrar, respectivam ente, d iferentes im ágenes de punto de v is ta v irtua l. Por ejem plo, el aparato de v isua lizac ión 4 que m uestra la im agen de punto de v is ta v irtua l (im agen en d irecto) que se d ifund irá en d irecto y el aparato de v isua lizac ión 4 que m uestra la im agen de punto de v is ta v irtua l (im agen no en d irecto) que será d ifund ida después de la grabación, pueden esta r inclu idos en el s istem a de procesam iento de im ágenes 10.

El aparato de procesam iento de im ágenes 1 incluye una unidad de obtención de in form ación de la cám ara 100, una unidad de obtención de in form ación del punto de v is ta v irtua l 110 (en adelante, la unidad de obtención de puntos de v is ta 110), una unidad de generación de im ágenes 120 y una unidad de sa lida 130. La unidad de obtención de in form ación de la cám ara 100 obtiene las im ágenes basadas en la captura por parte del grupo de cám aras 2, parám etros externos y parám etros in ternos de las respectivas cám aras inclu idas en el g rupo de cám aras 2, y sim ilares, del grupo de cám aras 2, para su entrega a la unidad de generación de im ágenes 120. La unidad de obtención de puntos de v is ta 110 obtiene la in form ación según la especificación del punto de v is ta v irtua l por parte del operador desde el aparato de v isua lizac ión 3 para enviarla a la unidad de generación de im ágenes 120. La unidad de obtención de puntos de v is ta 110 tam bién acepta la instrucción de generación de la im agen de punto de v is ta v irtua l por parte el aparato de v isua lizac ión 3. La unidad de generación de im ágenes 120 genera la im agen de punto de v ista v irtua l en base a las im ágenes basadas en la cap tu ra que son obtenidas por la unidad de obtención de in form ación de la cám ara 100, la in form ación según la especificación obten ida por la unidad de obtención de puntos de v is ta 110, y la instrucción de generación aceptada por la unidad de obtención de puntos de v is ta 110 para en tregar a la unidad de sa lida 130. La unidad de sa lida 130 entrega la im agen de punto de v is ta v irtua l generada por la unidad de generación de im ágenes 120 al aparato externo, com o el aparato de v isua lizac ión 3 o el aparato de v isua lizac ión 4.

Cabe seña la r que, según la presente realización, el aparato de procesam iento de im ágenes 1 genera la p luralidad de im ágenes de punto de v is ta v irtua l que tienen d iferentes ca lidades de im agen, para ser entregadas a los destinos de sa lida según las respectivas im ágenes de punto de v is ta virtua l. Por ejem plo, la imagen de punto de v is ta virtual que tiene una ca lidad de im agen baja, en la que el tiem po de procesam iento re lacionado con la generación es corto, es entregada al aparato de v isua lizac ión 4 observado por el espectador que desea la im agen de punto de v is ta v irtua l en tiem po real (bajo retardo). Por otro lado, la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen alta, en la que el tiem po de procesam iento re lacionado con la generación es largo, es entregada al aparato de v isua lizac ión 4 observado por el espectador que desea que la im agen de punto de v is ta v irtua l tenga la ca lidad de im agen alta. Cabe seña la r que el retardo según la presente realización corresponde a un período desde que se realiza la captura por parte del g rupo de cám aras 2 hasta que se m uestra la im agen de punto de v is ta v irtua l basada en la captura. Cabe señalar, sin em bargo, que la defin ic ión del retardo no está lim itada a esto y, por ejem plo, se puede es tab lecer com o retardo una d iferencia de tiem po entre una hora del m undo real y una hora correspondiente a la im agen v isualizada.

Posteriorm ente, se describ irá una configuración de hardw are del aparato de procesam iento de im ágenes 1 utilizando la figura 2. El aparato de procesam iento de im ágenes 1 incluye una CPU 201, una ROM 202, una RAM 203, un d ispositivo de a lm acenam ien to aux ilia r 204, una unidad de v isua lizac ión 205, una unidad operativa 206, una unidad de com unicac ión 207 y un bus 208. La CPU 201 contro la la to ta lidad del aparato de procesam iento de im ágenes 1 utilizando program as inform áticos y datos a lm acenados en la ROM 202 o la RAM 203. Cabe seña la r que el aparato de procesam ien to de im ágenes 1 puede inc lu ir una GPU (Unidad de p rocesam iento de gráficos, G raphics Processing Unit), y la GUI puede rea lizar por lo m enos parte del procesam iento m ediante la CPU 201. La ROM 202 a lm acena los program as y parám etros que no requieren cam bios. La RAM 203 a lm acena tem pora lm ente los program as y datos sum in istrados desde el d ispositivo de a lm acenam ien to aux ilia r 204, datos sum in istrados desde el exte rio r a través de la unidad de com un icac ión 207 y sim ilares. El d ispositivo de a lm acenam ien to aux ilia r 204 está constitu ido, por e jem plo, por una unidad de d isco duro o sim ilar, y a lm acena datos de conten ido ta les com o una im agen fija y una im agen en m ovim iento.

La unidad de v isua lizac ión 205 está constitu ida, por ejem plo, por una panta lla de crista l líquido o sim ilar, y m uestra una GUI (in terfaz grá fica de usuario, G raphical User Interface) para que el usuario accione el aparato de procesam iento de im ágenes 1 y sim ilares. La unidad operativa 206 está constitu ida, por ejem plo, por un teclado, un ratón o sim ilar, y acepta las operaciones del usuario e in troduce va rias instrucciones a la CPU 201. La unidad de com unicación 207 realiza una com unicación con un aparato externo tal com o el grupo de cám aras 2, el aparato de v isua lizac ión 3 o el aparato de v isua lizac ión 4. Por ejem plo, un cable de LAN o s im ila r está conectado a la unidad de com unicación 207 en un caso en el que el aparato de procesam iento de im ágenes 1 está conectado al aparato externo de m anera cableada. Cabe señalar que, en caso de que el aparato de procesam iento de im ágenes 1 incluya una función para com unicarse de m anera ina lám brica con un aparato externo, la unidad de com unicación 207 está do tada de una antena. El bus 208 transm ite la in form ación conectando las unidades respectivas del aparato de procesam iento de im ágenes 1, entre sí.

Cabe seña la r que, según la presente realización, la unidad de v isua lizac ión 205 y la unidad operativa 206 existen en el in te rio r del aparato de procesam ien to de im ágenes 1, pero tam bién se puede adop ta r una configuración en la que el aparato de procesam iento de im ágenes 1 no esté dotado, por lo menos, de uno de la unidad de v isua lización 205 y la unidad operativa 206. Adem ás, por lo m enos una de la unidad de v isua lizac ión 205 y la unidad operativa 206 pueden ex is tir fuera del aparato de procesam iento de im ágenes 1 com o otro aparato, y la CPU 201 puede func ionar com o una unidad de contro l de v isua lizac ión que con tro la la unidad de v isua lizac ión 205, y una unidad de contro l operativa, que contro la la unidad operativa 206.

[F lu jo de func ionam ien to ]

A continuación, se describ irá un m odo de func ionam ien to del aparato de procesam iento de im ágenes 1 utilizando la figu ra 3. El procesam iento m ostrado en la figu ra 3 se in icia cuando la unidad de obtención de puntos de v ista 110 realiza la aceptación de la instrucción de generación de la im agen de punto de v is ta v irtua l y se repite periód icam ente (por ejem plo, cada fotogram a, en un caso en el que la im agen de punto de v is ta v irtua l es una im agen en m ovim ien to). Cabe señalar, sin em bargo, que el tiem po de inicio del p rocesam iento m ostrado en la figura 3 no está lim itado al tiem po descrito anteriorm ente. El procesam iento m ostrado en la F igura 3 se realiza cuando la CPU 201 expande los program as a lm acenados en la ROM 202 hacia la RAM 203, para ser e jecutados. Cabe seña la r que, por lo m enos, una parte del procesam iento m ostrado en la figura 3 puede ser realizada m ediante un hardw are de uso exclusivo d iferente de la CPU 201.

En el flu jo m ostrado en la figu ra 3, S2010 y S2020 corresponden al p rocesam iento para obtener la in form ación, y S2030 a S2050 corresponden al procesam iento para genera r y en tregar la im agen de punto de v is ta v irtua l (imagen de especificación) para que el operador especifique el punto de v is ta virtual. Adem ás, S2070 a S2100 corresponden al procesam iento para genera r y en tregar la im agen en directo. S2110 a S2130 corresponden al procesam iento para genera r y en tregar la im agen no en d irecto. A continuación, se describ irán deta lles de los procesos en las etapas respectivas.

En S2010, la unidad de obtención de in form ación de la cám ara 100 obtiene las im ágenes capturadas de las cám aras respectivas basándose en la cap tu ra por parte del g rupo de cám aras 2 y en los parám etros externos e in ternos de las respectivas cám aras. El parám etro externo es in form ación con respecto a una posición y una orientación de la cám ara, y el parám etro in terno es in form ación con respecto a una d is tanc ia foca l y un centro de im agen de la cám ara.

En S2020, la unidad de obtención de puntos de v ista 110 obtiene la in form ación del punto de v is ta v irtua l com o la in form ación según la especificación del punto de v is ta virtual, por parte del operador. Según la presente realización, la in form ación del punto de v ista v irtua l corresponde a un parám etro externo y a un parám etro in terno de una cám ara virtua l que cap tu ra el su jeto desde el punto de v is ta virtua l, y se necesita un fragm ento de in form ación del punto de v is ta v irtua l para genera r un fo togram a de la im agen de punto de v ista virtual.

En S2030, la unidad de generación de im ágenes 120 estim a una fo rm a trid im ensiona l de un objeto correspondiente al sujeto en base a las im ágenes captu radas por el grupo de cám aras 2. El objeto correspond ien te al sujeto es, por e jem plo, una persona, un objeto en m ovim ien to o sim ilar, que existe en un rango de cap tu ra del grupo de cám aras 2. La unidad de generación de im ágenes 120 ca lcu la d iferencias entre las im ágenes captu radas obtenidas del grupo de cám aras 2 y las im ágenes del fondo obtenidas previam ente, correspondientes a las respectivas cám aras, para genera r im ágenes de s ilue ta en las que una parte (zona del prim er plano) correspond ien te al objeto en la imagen cap turada es extraída. A continuación, la unidad de generación de im ágenes 120 utiliza las im ágenes de silue ta correspondientes a las respectivas cám aras y los parám etros de las respectivas cám aras para estim ar la fo rm a trid im ensiona l del objeto. Por ejem plo, se u tiliza una técn ica de V isua1Hull para la estim ación de la fo rm a trid im ensiona l. Com o resultado de este procesam iento se obtiene un grupo de puntos 3D (conjunto de puntos que tienen coordenadas trid im ensiona les) que representa la fo rm a trid im ensiona l del objeto correspondiente al sujeto. Cabe seña la r que el p roced im iento para obtener la fo rm a trid im ensiona l del objeto a partir de las im ágenes captu radas por el grupo de cám aras 2 no está lim itada a esto.

En S2040, la unidad de generación de im ágenes 120 realiza la representación del grupo de puntos 3D y un m odelo 3D del fondo en base a la in form ación de punto de v is ta v irtua l obtenida, y genera la im agen de punto de v is ta virtua l. El m odelo 3D del fondo es, por ejem plo, un m odelo CG, tal com o un circu ito de carreras en el que está insta lado el grupo de cám aras 2, y se crea p reviam ente para ser guardado en el s istem a de procesam iento de im ágenes 10. En la im agen de punto de v ista v irtua l generada por el procesam iento hasta ahora, la zona correspond ien te al objeto y la zona del fondo se m uestran respectivam ente en co lores p redeterm inados (por e jem plo, un solo color). Cabe señalar que el procesam iento para realizar la representación del g rupo de puntos 3D y el m odelo 3D del fondo ya se conoce en el secto r de los juegos y el cine, y se conoce un proced im iento para realizar el procesam iento rápidam ente, tal com o, por ejem plo, un p roced im iento para rea lizar el procesam iento utilizando la GPU. Por esta razón, la im agen de punto de v is ta v irtua l generada en el procesam iento hasta S2040 puede ser generada ráp idam ente según la captura por parte del grupo de cám aras 2 y la especificación del punto de v ista v irtua l por parte del operador.

En S2050, la unidad de sa lida 130 entrega la im agen de punto de v is ta v irtua l generada en S2040 por la unidad de generación de im ágenes 120 al aparato de v isua lizac ión 3 para que el operador especifique el punto de v is ta virtual. En este caso, se describ irá una configuración de panta lla de una panta lla de v isua lizac ión 30 del aparato de v isua lizac ión 3 utilizando la figura 4. La panta lla de v isua lizac ión 30 está constitu ida por una zona 310, una zona 320 y una zona 330. Por ejem plo, la im agen de punto de v is ta v irtua l generada com o im agen de la especificación se m uestra en la zona 310, la im agen de punto de v is ta v irtua l generada com o la im agen en d irecto se m uestra en la zona 320, y la im agen de punto de v is ta v irtua l generada com o im agen no en d irecto se m uestra en la zona 330. Es decir, la im agen de punto de v is ta v irtua l generada en S2040 y enviada en S2050 se m uestra en la zona 310. A continuación, el operador realiza la especificación del punto de v is ta v irtua l m ientras observa la panta lla de la zona 310. Cabe seña la r que es sufic ien te cuando el aparato de v isua lizac ión 3 m uestra por lo m enos la im agen de la especificación y no necesariam ente necesita m ostra r la imagen en d irecto y la im agen no en d irecto.

En S2060, la unidad de generación de im ágenes 120 de te rm ina si se realiza o no el procesam iento para genera r la im agen de punto de v is ta v irtua l que tiene una calidad de im agen superio r m ayor que la im agen de punto de v ista v irtua l generada en S2040. Por ejem plo, en un caso en el que solo se necesita la im agen que tiene la ca lidad de im agen baja para especifica r el punto de v is ta virtual, el flu jo no avanza hacia S2070, y el procesam iento fina liza. Por otro lado, en el caso de que se necesite una im agen que tenga la ca lidad de im agen m ás alta, el flu jo avanza hacia S2070 y el procesam iento continúa.

En S2070, la unidad de generación de im ágenes 120 aum enta m ás la precisión del m odelo de fo rm a del objeto (grupo de puntos 3D) que se estim a en S2030 utilizando una técn ica de Photo Hull, por ejem plo. Específicam ente, al p royecta r los puntos respectivos del grupo de puntos 3D en las im ágenes captu radas de las cám aras respectivas, y eva luar las tasas de co inc idencia de co lo r en las im ágenes captu radas respectivas, se dete rm ina si el punto es o no un punto necesario para representar la fo rm a del sujeto. Por ejem plo, con respecto a un de term inado punto en el g rupo de puntos 3D, una variación de un va lo r de píxel en un destino de proyección es m ayor que un um bral, se de te rm ina que el punto no es correcto dado que el punto que representa la fo rm a del sujeto y el punto es elim inado del g rupo de puntos 3D. Este procesam iento se realiza con respecto a todos los puntos en el grupo de puntos 3D para rea lizar el aum ento en la precisión del m odelo de fo rm a del objeto. Cabe seña la r que el proced im iento de aum entar la precisión y del m odelo de fo rm a del objeto no está lim itado a esto.

En S2080, la unidad de generación de im ágenes 120 e jecuta el procesam iento para co lo rear el grupo de puntos 3D en el que se increm enta la precisión en S2070 y lo proyecta sobre las coordenadas del punto de v is ta virtual, para genera r una im agen de p rim er p lano correspondiente a la zona de p rim er plano, y el procesam iento para generar una im agen del fondo v is ta desde el punto de v is ta v irtua l. A continuación, la unidad de generación de im ágenes 120 superpone la im agen de p rim er plano sobre la im agen del fondo generada, para genera r la im agen de punto de v is ta v irtua l com o la im agen en directo.

En el presente docum ento, se describ irá un e jem plo del p roced im iento de generación de im ágenes de p rim er plano (im agen de la zona correspond ien te al objeto) de la im agen de punto de v is ta v irtua l. El procesam iento para co lorear el g rupo de puntos 3D se e jecuta para genera r la im agen de prim er plano. El procesam iento de co loreado está constitu ido por la determ inación de la v is ib ilidad del punto y el procesam iento de cá lcu lo del color. En la de term inación de la visib ilidad, es posib le identificar las cám aras que pueden rea lizar la cap tu ra con respecto a los respectivos puntos a partir de re laciones posic ionales entre los respectivos puntos en el grupo de puntos 3D y la p lura lidad de cám aras inclu idas en el g rupo de cám aras 2. A continuación, con respecto a los puntos respectivos, se p royecta un punto sobre la im agen capturada de la cám ara que puede cap tu ra r el punto, y el co lo r de un píxel en el destino de la proyección se establece com o el co lor del punto. En el caso de que un c ierto punto sea capturado por una p lura lidad de cám aras, el punto se proyecta sobre las im ágenes captu radas de la p lura lidad de cám aras y se obtienen los va lo res de píxel en el destino de la proyección, de m odo que el co lo r del punto se decide ca lcu lando un prom edio de los valores de píxel. C uando la representación del grupo de puntos 3D co loreado de este m odo se realiza m ediante una tecno log ía de representación CG de la técn ica re lacionada, es posib le genera r la im agen del prim er plano de la im agen de punto de v is ta virtual.

A continuación, se describ irá un e jem plo del proced im iento para genera r la im agen del fondo de la im agen de punto de v is ta virtua l. En prim er lugar, se establecen los vértices del m odelo 3D del fondo (por ejem plo, los puntos correspondientes a los bordes del c ircu ito de carreras). A continuación, estos vértices son p royectados sobre sistem as de coordenadas de dos cám aras (establecidas com o una prim era cám ara y una segunda cám ara) cerca del punto de v is ta v irtua l y un s istem a de coordenadas del punto de v is ta v irtua l. Adem ás, se ca lcu la una prim era m atriz de proyección entre el punto de v is ta v irtua l y la prim era cám ara, y una segunda m atriz de proyección entre el punto de v is ta v irtua l y la segunda cám ara, utilizando los puntos correspondientes del punto de v is ta v irtua l y la prim era cám ara y los puntos correspondientes del punto de v is ta v irtua l y la segunda cám ara. A continuación, la im agen cap turada de la prim era cám ara y la imagen capturada de la segunda cám ara son proyectadas sobre los píxeles respectivos de la im agen del fondo utilizando la p rim era m atriz de proyección y la segunda m atriz de proyección, y se ca lcu la el p rom edio de los va lores de píxel en el destino de la proyección, de m odo que se deciden los va lores de píxel de la im agen del fondo. Cabe seña la r que los va lo res de píxel de la im agen del fondo pueden decid irse a partir de las im ágenes captu radas de tres o m ás cám aras m ediante un p roced im iento sim ilar.

La im agen de punto de v is ta v irtua l co loreada puede ser generada superpon iendo la imagen de p rim er p lano sobre la im agen del fondo así obten ida de la im agen de punto de v ista virtua l. Es decir, la im agen de punto de v ista virtual generada en S2080 tiene una ca lidad de im agen m ás alta que la im agen de punto de v is ta v irtua l generada en S2040 con respecto al núm ero de g radaciones de los colores. Por el contrario , el núm ero de gradaciones de los colores inclu idos en la im agen de punto de v is ta v irtua l generada en S2040 es m enor que el núm ero de gradaciones de los co lores inclu idos en la im agen de punto de v is ta v irtua l generada en S2080. Cabe seña la r que el p roced im iento de añadir la in form ación de co lo r a la imagen de punto de v is ta v irtua l no está lim itado a esto.

En S2090, la unidad de sa lida 130 entrega la im agen de punto de v is ta v irtua l generada en S2080 por la unidad de generación de im ágenes 120 al aparato de v isua lización 3 y al aparato de v isua lización 4 com o la imagen en directo. La im agen entregada al aparato de v isua lizac ión 3 se m uestra en la zona 320 y puede ser observada por el operador, y el espectador puede observar la imagen entregada al aparato de v isua lizac ión 4.

En S2100, la unidad de generación de im ágenes 120 de te rm ina si se realiza o no el procesam iento para genera r la im agen de punto de v is ta v irtua l que tiene una ca lidad de im agen m ás alta que la im agen de punto de v is ta v irtua l generada en S2080. Por ejem plo, en un caso en el que la im agen de punto de v is ta v irtua l solo se p roporciona para su d ifusión en d irecto con respecto al espectador, el flu jo no avanza hacia S2110 y el procesam iento fina liza. Por o tra parte, en un caso en el que la im agen que tiene la ca lidad de im agen m ás alta va a ser d ifund ida hacia el espectador después de la grabación, el flu jo avanza hacia S2110, y el procesam iento continúa.

En S2110, la unidad de generación de im ágenes 120 aum enta m ás la precisión del m odelo de fo rm a del objeto generado en S2070. Según la presente realización, el aum ento de la precisión se realiza e lim inando un punto a is lado del m odelo de form a. En la e lim inación de puntos aislados, en prim er lugar, con respecto a un con junto de vóxeles (grupo de puntos 3D) ca lcu lado m ediante Photo Hull, se investiga si existe o no otro vóxel en el entorno de los respectivos vóxeles. En un caso en el que el vóxel no existe en el entorno, se de te rm ina que el vóxel es el punto a is lado y el vóxel es e lim inado del con junto de vóxeles. C uando se e jecuta un procesam iento s im ila r a S2080 utilizando el m odelo de fo rm a del que se e lim ina el punto aislado, se genera la im agen de punto de v is ta v irtua l en la que se obtiene una m ayor precisión de la fo rm a del objeto que la im agen de punto de v ista v irtua l generada en S2080.

En S2120, la unidad de generación de im ágenes 120 aplica un procesam iento de suavizado a un lím ite entre la zona del p rim er plano de la im agen de punto de v is ta v irtua l generada en S 2110 y la zona del fondo, y corrige la imagen de ta l m anera que una zona de lím ite se m uestra suavem ente.

En S2130, la unidad de sa lida 130 entrega la im agen de punto de v is ta v irtua l generada por la unidad de generación de im ágenes 120 en S2120 al aparato de v isua lizac ión 3 y al aparato de v isua lizac ión 4 com o la im agen no en directo. La im agen no en d irecto entregada al aparato de v isua lizac ión 3 se v isua liza en la zona 330.

M ediante el procesam ien to descrito anteriorm ente, el aparato de procesam ien to de im ágenes 1 genera la im agen de punto de v ista v irtua l com o la im agen de la especificación para que el operador especifique el punto de v is ta v irtua l y la im agen en d irecto correspondiente a la im agen de punto de v is ta v irtua l que tiene una ca lidad de im agen m ás alta que la im agen de la especificación que se va a m ostrar con respecto al espectador, en base a un con junto de im ágenes captu radas y de la in form ación del punto de v is ta virtua l. En el presente docum ento, la im agen en d irecto se genera en base a la especificación del punto de v is ta v irtua l por parte del operador. Específicam ente, la imagen en d irecto es la im agen de punto de v ista v irtua l correspondiente al punto de v ista v irtua l decid ido según la operación de especificación por parte del operador con respecto a la im agen de la especificación. Adem ás, el aparato de procesam iento de im ágenes 1 tam bién genera la im agen no en d irecto correspond ien te a la im agen de punto de v is ta v irtua l que tiene una ca lidad de im agen m ás alta que la im agen en directo. A continuación, el aparato de procesam iento de im ágenes 1 entrega la im agen en d irecto y la im agen no en d irecto generadas, al aparato de v isua lizac ión 4, de tal m anera que se m uestra la im agen en d irecto antes de que se m uestre la im agen no en directo. El aparato de procesam iento de im ágenes 1 tam bién entrega la im agen de la especificación generada al aparato de v isua lizac ión 3, de ta l m anera que se m uestra la im agen de la especificación en el aparato de v isua lizac ión 3 antes de que se m uestre la im agen en d irecto en el aparato de v isua lizac ión 4.

Según esto, el aparato de v isua lizac ión 4 puede m ostra r la im agen de la especificación que tiene una ca lidad de im agen baja, la im agen en d irecto que se transm itirá en d irecto que tiene una calidad de im agen m ás alta que la im agen de la especificación, y la im agen no en d irecto que se transm itirá después de la grabación que tiene la ca lidad de im agen aún m ayor que la im agen en d irecto. Cabe seña la r que el aparato de v isua lizac ión 4 tam bién puede m ostra r solo una im agen en d irecto y una im agen no en d irecto, y en el caso descrito anteriorm ente, el aparato de procesam iento de im ágenes 1 entrega la im agen de punto de v is ta v irtua l adecuada para el aparato de v isua lizac ión 4. Adem ás, el aparato de v isua lización 3 puede m ostra r los tres tipos de im ágenes de punto de v ista virtua l, incluyendo la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen baja com o im agen de la especificación, la im agen de punto de v ista v irtua l que tiene la ca lidad de im agen m edia com o la im agen en directo, y la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen a lta com o la im agen no en d irecto. Cabe señalar que tam bién es sufic iente cuando el aparato de visua lización 3 no m uestra por lo m enos a lguna de la im agen en d irecto y la im agen no en directo.

Es decir, el aparato de procesam iento de im ágenes 1 entrega la im agen de la especificación al aparato de v isua lizac ión 3 para que el usuario especifique el punto de v is ta virtua l. A continuación, el aparato de procesam iento de im ágenes 1 entrega por lo m enos a lguna de la im agen en d irecto y la im agen no en d irecto que tiene una calidad de im agen m ás a lta que la im agen de la especificación, al aparato de v isua lizac ión 4, para m ostrar la im agen de punto de v is ta v irtua l generada en base a la especificación del punto de v is ta v irtua l por el usuario. Según esto, es posib le responder tan to a los requisitos del operador que desea m ostra r la im agen de punto de v is ta v irtua l con un retardo bajo para especificar el punto de v is ta v irtua l, com o al espectador que desea observar la im agen de punto de v is ta v irtua l con una calidad de im agen alta.

Cabe seña la r que, en el procesam iento descrito anteriorm ente, la im agen de punto de v is ta v irtua l se genera en base a las im ágenes basadas en la captura m ediante el g rupo de cám aras 2 y en la in form ación según la especificación del punto de v is ta virtua l, y la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen a lta se genera en base al resu ltado del procesam iento para la generación. Por esta razón, la m agnitud to ta l del procesam iento se puede reduc ir en com paración con un caso en el que la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen ba ja y la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen alta se generan respectivam ente m ediante procesos independientes. Cabe señalar, sin em bargo, que la im agen de punto de v ista v irtua l que tiene la ca lidad de im agen baja y la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen alta tam bién pueden ser generadas m ediante procesos independientes. Adem ás, en un caso en el que la im agen de punto de v ista v irtua l se m uestra en una panta lla insta lada en un recinto de com petic ión o en un recinto de un concierto, o se d ifunde en d irecto, correspondiente a un caso en el que no es necesario d ifund ir la im agen después de la grabación, el aparato de procesam iento de im ágenes 1 no realiza el procesam iento para genera r la im agen no en directo. Según esto, es posib le reducir la m agnitud del procesam iento para genera r la im agen no en d irecto que tiene la ca lidad de im agen alta.

Adem ás, el aparato de procesam iento de im ágenes 1 puede genera r una im agen de reproducción para ser m ostrada después de la captura, en lugar de la im agen en d irecto para ser d ifund ida en directo, o adem ás de la im agen en directo. Por ejem plo, la im agen de reproducción se m uestra en la panta lla del recinto de la com petic ión durante el in term edio o después del fina l del partido, en un caso en el que el ob je tivo de la cap tu ra por parte del g rupo de cám aras 2 es un partido, tal com o fútbol, en el recinto de la com petic ión. La im agen de reproducción tiene una ca lidad de im agen m ás alta que la im agen de la especificación y tam bién se genera con una calidad de im agen tal que la generación puede ser com ple tada hasta el final del partido o hasta el interm edio, para ser m ostrada.

A continuación, se describ irá otro m odo de func ionam ien to del aparato de procesam iento de im ágenes 1 utilizando la figu ra 5. Según el m odo de func ionam ien to descrito anteriorm ente utilizando la figura 3, la im agen de punto de vista v irtua l que tiene la ca lidad de im agen alta es generada ad ic iona lm ente realizando un procesam iento de un nuevo tipo después de genera r la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen baja. Por otra parte, en el m odo de func ionam ien to que se describ irá a continuación utilizando la figura 5, el aum ento de la ca lidad de imagen de la im agen de punto de v is ta v irtua l se realiza aum entando el núm ero de cám aras utilizadas para genera r la im agen de punto de v is ta virtua l. En la siguiente exp licación, se om itirán las descripciones de la parte s im ila r al p rocesam iento en la figu ra 3.

El procesam iento m ostrado en la figura 5 se in icia en el tiem po en que la unidad de obtención de puntos de v is ta 110 realiza la aceptación de la instrucción de generación de la im agen de punto de v is ta virtual. Cabe señalar, sin em bargo, que el tiem po de inicio del procesam iento de la figura 5 no está lim itado a esto. En S2010 y S2020, el aparato de procesam iento de im ágenes 1 obtiene las im ágenes captu radas por las respectivas cám aras del grupo de cám aras 2 y la in form ación del punto de v ista v irtua l m ediante un procesam iento sim ilar al descrito en la figura 3. En S4030, la unidad de generación de im ágenes 120 establece el núm ero de cám aras correspondiente a las im ágenes captu radas utilizadas para la generación de la imagen de punto de v is ta virtua l. En el presente docum ento, la unidad de generación de im ágenes 120 establece el núm ero de cám aras de ta l m anera que el procesam ien to en S4050 a S4070 se com ple ta en un tiem po de procesam iento m enor o igual a un umbral predeterm inado (por e jem plo, un tiem po correspondiente a un fo togram a en un caso en el que la im agen de punto de v ista v irtua l es una im agen en m ovim iento). Por ejem plo, se supone que el procesam ien to en S4050 a S4070 se e jecuta u tilizando las im ágenes captu radas de 100 cám aras por adelantado, y el tiem po de procesam iento es de 0,5 segundos. En este caso, cuando se desea que el procesam iento en S4050 a S4070 se com plete en 0 ,016 segundos correspondientes a un fo tog ram a de la im agen de punto de v is ta v irtua l en el que la ve loc idad de fo togram as es de 60 fps (fo togram a por segundo), se establece el núm ero de cám aras com o 3.

Cabe seña la r que, en un caso en el que la continuación de la generación de im ágenes se de te rm ina en S4080 después de que el procesam iento de S4050 a S4070 entrega la im agen de punto de v is ta virtual, el flu jo vue lve a S4030, y el núm ero de cám aras se a justa de nuevo. En el presente docum ento, un tiem po de procesam iento perm isib le se p ro longa de tal m anera que se genere la imagen de punto de v ista v irtua l que tiene una calidad de im agen m ás alta que la im agen de punto de v is ta v irtua l p reviam ente entregada, y el núm ero de cám aras se increm enta en consecuencia . Por ejem plo, el núm ero de cám aras a u tilizar correspondientes a las im ágenes captu radas se a justa a 20, de tal m anera que el procesam iento en S4050 a S4070 se com ple ta rá en un tiem po de procesam iento m enor o igual a 0,1 segundos.

En S4040, la unidad de generación de im ágenes 120 se lecciona las cám aras correspondientes a las im ágenes captu radas a u tilizar del grupo de cám aras 2 según el núm ero de cám aras establecido en S4030 para genera r la im agen de punto de v is ta virtua l. Por ejem plo, en un caso en el que se seleccionan 3 cám aras de entre 100 cám aras, se se lecciona la cám ara m ás cercana al punto de v is ta v irtua l, y la cám ara 34 y la cám ara 67 contadas desde la cám ara.

Adem ás, después de genera r la im agen de punto de v is ta v irtua l una vez, en un caso en el que el procesam ien to se realiza en el segundo tiem po aum entando el núm ero de im ágenes captu radas a utilizar, puesto que la precisión del m odelo de fo rm a estim ado en el p rocesam iento en el prim er tiem po se increm enta más, se se lecciona una cám ara d is tin ta a la cám ara se leccionada en el prim er procesam iento. Específicam ente, en un caso en el que se seleccionan 20 cám aras de entre 100 cám aras, se se lecciona prim ero la cám ara m ás cercana al punto de v is ta v irtua l de entre las cám aras que no son se leccionadas en el p rim er procesam iento, y se se lecciona la cám ara en in tervalos de cada c inco cám aras. En este m om ento, se salta la cám ara ya se leccionada en el p rim er procesam iento y se se lecciona la cám ara siguiente. Cabe señalar que, por ejem plo, en un caso en el que se genera la im agen de punto de v is ta virtual que tiene la ca lidad de im agen m áxim a com o im agen no en directo, se seleccionan todas las cám aras inclu idas en el g rupo de cám aras 2, y se e jecuta el procesam ien to en S4050 a S4070 utilizando las im ágenes captu radas de las respectivas cám aras.

Cabe seña la r que un p roced im iento de selección de las cám aras correspondientes a las im ágenes capturadas a u tilizar no está lim itado a esto. Por ejem plo, se puede p rio riza r la se lección de la cám ara cercana al punto de v ista virtua l. En este caso, d ism inuye la precisión de la estim ación de la fo rm a de la zona posterior que no se ve desde el punto de v ista v irtua l en la estim ación de la fo rm a del objeto correspond ien te al sujeto, pero m ejora la precisión de la estim ación de la fo rm a de la zona del lado de lantero, que se ve desde el punto de v is ta virtua l. Es decir, la ca lidad de im agen en la zona fác ilm en te observab le por el espectador en la im agen de punto de v is ta v irtua l puede ser m ejorada preferentem ente.

En S4050, la unidad de generación de im ágenes 120 e jecuta el p rocesam iento de estim ación de la fo rm a del objeto utilizando la im agen cap turada por la cám ara que se se lecciona en S4040. El procesam iento en este m om ento es, por ejem plo, una com binación del procesam iento en S2030 en la figura 3 (V isua1Hull) y el procesam iento en S2070 (Photo Hull). El procesam iento m ediante V isual Hull incluye el procesam iento para ca lcu la r un producto lógico de vo lúm enes v isua les de la p lura lidad de cám aras correspondientes a la p lura lidad de im ágenes captu radas a utilizar.

Adem ás, el procesam iento de Photo Hull incluye el procesam iento para proyectar los respectivos puntos del m odelo de fo rm a sobre la p lura lidad de im ágenes capturadas y ca lcu la r la consistenc ia de los va lores de píxel. Por esta razón, a m edida que d ism inuye el núm ero de cám aras correspondiente a las im ágenes captu radas a utilizar, d ism inuye la precisión de la estim ación de la fo rm a y se acorta el tiem po de procesam iento.

En S4060, la unidad de generación de im ágenes 120 ejecuta el procesam iento de reproducción. El procesam iento en este caso es s im ila r al procesam iento en S2080 en la figu ra 3, e incluye el procesam iento de co lo reado para el g rupo de puntos 3D y el procesam iento de generación para la im agen del fondo. El procesam iento de co loreado para el grupo de puntos 3D y el procesam iento de generación para la im agen del fondo incluyen am bos el procesam iento para dec id ir el co lo r m ediante el cá lcu lo utilizando los va lores de píxel de los puntos correspondientes a la p lura lidad de im ágenes capturadas. Por este m otivo, al ser m enor el núm ero de cám aras correspondiente a las im ágenes captu radas a utilizar, se d ism inuye la precisión de la representación y se acorta el tiem po de procesam iento.

En S4070, la unidad de sa lida 130 entrega la im agen de punto de v is ta v irtua l generada por la unidad de generación de im ágenes 120 en S4060 al aparato de v isua lizac ión 3 o al aparato de v isua lizac ión 4.

En S4080, la unidad de generación de im ágenes 120 de te rm ina si se realiza o no el procesam iento para genera r la im agen de punto de v is ta v irtua l que tiene una ca lidad de im agen m ás alta que la im agen de punto de v is ta v irtua l generada en S4060. Por ejem plo, en un caso en el que la im agen de punto de v is ta v irtua l generada en S4060 es la im agen para que el operador especifique el punto de v is ta v irtua l y la im agen en d irecto se genera posteriorm ente , el flu jo vue lve a S4030 y se genera la im agen de punto de v ista v irtua l com o la im agen en directo, aum entando el núm ero de cám aras utilizadas. Adem ás, en un caso en el que se genera ad ic iona lm ente la im agen no en d irecto después de genera r la im agen en directo, y se genera la im agen de punto de v is ta v irtua l com o im agen no en directo, aum entando m ás el núm ero de cám aras. Es decir, puesto que el núm ero de cám aras correspondiente a las im ágenes captu radas utilizadas para la generación de la imagen de punto de v ista v irtua l com o la imagen en d irecto es m ayor que el núm ero de cám aras correspondiente a las im ágenes capturadas utilizadas para la generación de la im agen de punto de v ista v irtua l com o la im agen de la especificación, la im agen en d irecto tiene una ca lidad de im agen m ás a lta que la im agen de la especificación. De m anera sim ilar, puesto que el núm ero de cám aras correspond ien te a las im ágenes captu radas u tilizadas para la generación de la im agen de punto de v is ta v irtua l com o im agen no en d irecto es m ayor que el núm ero de cám aras correspondiente a las im ágenes capturadas u tilizadas para la generación de la im agen de punto de v ista v irtua l com o la imagen en directo, la im agen no en d irecto tiene la ca lidad de im agen m ás a lta que la im agen en directo.

Cabe seña la r que, en S4080, en un caso en el que se de te rm ina que la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen m ás alta que la im agen de punto de v is ta v irtua l ya generada no necesita ser generada, o en un caso en el que se de te rm ina que la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen m ás alta no puede ser generada, el procesam iento fina liza.

M ed ian te el procesam ien to descrito anteriorm ente, el aparato de procesam ien to de im ágenes 1 puede genera r la p lura lidad de im ágenes de punto de v is ta v irtua l en las que la ca lidad de im agen se m ejora g radua lm en te en los tiem pos apropiados respectivos para su entrega. Por ejem plo, es pos ib le genera r la im agen de la especificación con poco retardo lim itando el núm ero de cám aras a u tilizar para la generación de la im agen de punto de v is ta v irtua l a un núm ero tal que el procesam ien to de generación pueda ser com ple tado en el tiem po de procesam iento establecido. Adem ás, en un caso en el que se van a genera r la im agen en d irecto y la im agen no en d irecto, es posib le generar im ágenes de m ayor ca lidad de im agen cuando el procesam iento de generación se realiza aum entando el núm ero de cám aras utilizadas.

A continuación, se describ irá otro m odo de func ionam ien to del aparato de procesam iento de im ágenes 1 utilizando la figu ra 6. Según el m odo de func ionam ien to descrito anteriorm ente utilizando la figu ra 5, cuando se increm enta el núm ero de cám aras utilizadas para genera r la im agen de punto de v ista v irtua l, se realiza el aum ento en la ca lidad de im agen de la im agen de punto de v is ta v irtua l. Por otra parte, según el m odo de func ionam ien to que se describ irá a continuación utilizando la figura 6, el aum ento de la ca lidad de im agen de la im agen de punto de v is ta v irtua l se realiza aum entando gradua lm en te la resolución de la im agen de punto de v ista v irtua l. En la siguiente explicación, las descripciones de la parte s im ila r al procesam iento en la figu ra 3 o la figu ra 5 serán om itidas. Cabe señalar que, según el m odo de func ionam ien to que se describ irá a continuación, el núm ero de píxeles de la im agen de punto de v is ta v irtua l a genera r se establece regu larm ente en 4K (3840 x 2160), y la resolución de la imagen de punto de vista v irtua l es contro lada depend iendo de si el cá lcu lo del va lo r de píxel se realiza para cada bloque de píxeles grande o cada bloque de píxeles pequeño. Cabe señalar, sin em bargo, que la configuración no está lim itada a esto, y la resolución puede ser con tro lada cam biando el núm ero de píxeles de la im agen de punto de v is ta v irtua l que se va a generar.

El procesam iento m ostrado en la figura 6 se in icia en el tiem po en que la unidad de obtención de puntos de v is ta 110 realiza la aceptación de la instrucción de generación de la im agen de punto de v is ta virtual. Cabe señalar, sin em bargo, que el tiem po de inicio del procesam iento de la figura 6 no está lim itado a esto. En S2010 y S2020, el aparato de procesam iento de im ágenes 1 obtiene las im ágenes captu radas por las respectivas cám aras del grupo de cám aras 2 y la in form ación del punto de v ista v irtua l m ediante un procesam iento sim ilar al descrito en la figura 3. En S5030, la unidad de generación de im ágenes 120 establece una resolución de la im agen de punto de v is ta v irtua l a generar. En el presente docum ento, la unidad de generación de im ágenes 120 establece una resolución tal que el procesam iento en S5050 y S4070 se com ple ta en un tiem po de procesam iento m enor o igual que un um bral predeterm inado. Por ejem plo, se supone que se e jecuta el procesam iento en S5050 y S4070 en un caso en el que la im agen de punto de v is ta v irtua l que tiene la resolución 4K es generada previam ente, y el tiem po de procesam iento se a justa a 0,5 segundos. En este caso, cuando se desea que el p rocesam iento en S5050 y S4070 se com plete en 0,016 segundos correspondientes a un fo togram a de la imagen de punto de v is ta v irtua l en que la ve loc idad de fo togram as es de 60 fps, la resolución tiene que ser de 0,016/0 ,5 = 1/31,25 veces la de 4K o inferior. En v ista de lo anterior, cuando las resoluciones vertica l y horizontal de la im agen de punto de v is ta v irtua l se ajustan respectivam ente a 1/8 veces la resolución 4K, el núm ero de b loques de píxeles cuyo va lo r de píxel se ca lcu la rá se convierte en 1/64, y el procesam iento se puede com p le ta r en m enos de 0,016 segundos.

C abe seña la r que, en un caso en el que se de te rm ina en S4080 que la generación de im ágenes con tinúa después de que el procesam iento en S5050 y S4070 entrega la imagen de punto de v is ta virtua l, el flu jo vue lve a S5030 y la resolución se a justa nuevam ente. En este caso, el tiem po de procesam ien to perm isib le se p ro longa de tal m anera que se genera la im agen de punto de v is ta v irtua l que tiene una ca lidad de im agen m ás alta que la im agen de punto de v is ta v irtua l em itida anteriorm ente, y la resolución aum enta de acuerdo con esto. Por ejem plo, cuando las resoluciones vertica l y horizontal se ajustan respectivam ente a 1/4 de la resolución 4K, el procesam iento en S5050 y S4070 se puede com p le ta r en un tiem po de procesam iento m enor o igual a 0,1 segundos. En S5040, la unidad de generación de im ágenes 120 decide la posic ión del píxel en la que se ca lcu la rá el va lo r de píxel en la im agen de punto de v is ta v irtua l según la resolución estab lecida en S5030. Por ejem plo, en un caso en el que la resolución de la im agen de punto de v is ta v irtua l se a justa a 1/8 de la resolución 4K, los va lores de píxel se calcu lan respectivam ente para cada ocho píxeles vertica l y horizonta lm ente. A continuación, se establece el m ism o va lo r de píxel que el píxel (x, y) para los píxeles existentes entre el píxel (x, y) y el píxel (x 8, y 8), en los que se ca lcu la el va lo r de píxel.

Adem ás, después de genera r una vez la im agen de punto de v is ta virtua l, en el caso de que el procesam iento en el segundo tiem po se realice aum entando la resolución, el va lo r de píxel se ca lcu la om itiendo el píxel en el que se ca lcu la el va lo r de píxel en el p rim er tiem po. Por ejem plo, en un caso en el que la resolución se a justa a 1/4 de la resolución 4K, se ca lcu la el va lo r de píxel del píxel (x 4, y 4), y se establece el m ism o va lo r de píxel que el píxel (x 4, y 4) para los píxeles existentes entre el píxel (x 4, y 4) y el píxel (x 8, y 8). De esta m anera, cuando se aum enta el núm ero de píxeles en los que se ca lcu la el va lo r de píxel, la resolución de la im agen de punto de vista v irtua l se puede aum entar hasta la resolución 4K com o m áxim o.

En S5050, la unidad de generación de im ágenes 120 realiza el procesam iento de co loreado para la im agen de punto de v is ta v irtua l ca lcu lando el va lo r de píxel del píxel en la posición dec id ida en S5040. Com o proced im iento de cá lcu lo para el va lo r de píxel, por ejem plo, se puede u tiliza r un proced im iento de V isua1Hull basado en im ágenes. Puesto que el va lo r de píxel se ca lcu la para cada píxel según este proced im iento , a m edida que el núm ero de píxeles en los que se ca lcu la el va lo r de píxel es m enor, es decir, a m edida que la resolución de la im agen de punto de v is ta v irtua l es m enor, el tiem po de procesam iento se acorta.

En S4070, la unidad de sa lida 130 entrega la im agen de punto de v is ta v irtua l generada por la unidad de generación de im ágenes 120 en S5050 al aparato de v isua lizac ión 3 o al aparato de v isua lizac ión 4.

En S4080, la unidad de generación de im ágenes 120 de te rm ina si se realiza o no el procesam iento para genera r la im agen de punto de v is ta v irtua l que tiene una ca lidad de im agen superio r a la de la im agen de punto de v is ta virtual generada en S5050. Por ejem plo, en un caso en el que la im agen de punto de v is ta v irtua l generada en S5050 es la im agen para que el operador especifique el punto de v is ta v irtua l y la im agen en d irecto se genera posteriorm ente , el flu jo vue lve a S5030 y se genera la im agen de punto de v is ta v irtua l que tiene una resolución mayor. Adem ás, después de que se genere la im agen en d irecto y se va a genera r adem ás la im agen no en d irecto, se genera la im agen de punto de v is ta v irtua l com o la im agen no en d irecto en la que se aum enta m ás la resolución. Es decir, puesto que la im agen de punto de v is ta v irtua l com o la imagen en d irecto tiene la resolución m ás alta que la im agen de punto de v is ta v irtua l com o la im agen de la especificación, la im agen en d irecto tiene la ca lidad de im agen m ás alta que la im agen de la especificación. De m anera sim ilar, puesto que la im agen de punto de v is ta v irtua l com o im agen no en d irecto tiene la resolución m ás alta que la imagen de punto de v is ta v irtua l com o la im agen en directo, la im agen no en d irecto tiene la ca lidad de im agen m ás alta que la im agen en directo.

Cabe seña la r que, en S4080, en un caso en el que se dete rm ina que no es necesario genera r la im agen de punto de v is ta v irtua l que tiene la ca lidad de im agen m ás alta que la im agen de punto de v ista v irtua l ya generada, o en un caso en el que se dete rm ina que la im agen de punto de v ista v irtua l que tiene la ca lidad de im agen m ás alta no se puede generar, el procesam iento fina liza.

M ediante el procesam ien to descrito anteriorm ente, el aparato de procesam ien to de im ágenes 1 puede genera r la p lura lidad de im ágenes de punto de v is ta v irtua l en las que la resolución se m ejora g radua lm en te en los tiem pos aprop iados respectivos para ser entregadas. Por ejem plo, es posib le genera r la imagen de la especificación con poco retardo ajustando la resolución de la im agen de punto de v is ta v irtua l a una resolución tal que el procesam iento de generación pueda ser com ple tado en el tiem po de procesam iento establecido. Adem ás, en un caso en el que se van a genera r la im agen en d irecto y la im agen no en directo, es posib le genera r im ágenes de m ayor ca lidad de im agen cuando se realiza el procesam iento de generación aum entando la resolución.

Tal com o se ha descrito anteriorm ente, el aparato de procesam iento de im ágenes 1 realiza el procesam iento de im ágenes para m e jo rar la ca lidad de im agen de la im agen de punto de v is ta v irtua l para genera r la im agen que tiene la ca lidad de im agen alta (por ejem plo, la im agen no en directo). El aparato de procesam iento de im ágenes 1 tam bién genera la im agen que tiene la ca lidad de im agen ba ja (por ejem plo, la im agen en d irecto) m ediante el procesam iento e jecutado en un tiem po de procesam ien to m enor o igual al um bral predeterm inado correspondiente al procesam iento parcia l inclu ido en el procesam ien to de im ágenes. Según esto, la im agen de punto de v is ta v irtua l se m ostrará con un retardo m enor o igual que el tiem po predeterm inado y se puede genera r y m ostra r la im agen de punto de v ista v irtua l que tiene la ca lidad de im agen alta.

Cabe seña la r que, en la exp licación de la figura 6, se supone que se estim a el parám etro de generación (resolución) para com ple ta r el p rocesam iento de generación en el tiem po de procesam iento m enor o igual al umbral predeterm inado, y la im agen de punto de v is ta v irtua l se genera m ediante el parám etro de generación estim ado. Sin em bargo, se debe tene r en cuen ta que la configuración no está lim itada a esto, y el aparato de procesam iento de im ágenes 1 puede m e jorar g radua lm en te la ca lidad de imagen de la im agen de punto de v is ta virtua l, y en tregar la im agen de punto de v ista v irtua l ya generada, en un m om ento en que el tiem po de procesam iento a lcanza un umbral predeterm inado. Por ejem plo, en un caso en el que la im agen de punto de v is ta v irtua l en la que la resolución es 1/8 de la resolución 4K ya está generada y la im agen de punto de v is ta v irtua l en la que la resolución es 1/4 de la resolución 4K no se ha com ple tado en el m om ento en que el tiem po de procesam iento a lcanza el um bral predeterm inado, se puede en tregar la im agen de punto de v is ta v irtua l en la que la resolución es 1/8. Adem ás, se puede en tregar la im agen de punto de v is ta v irtua l en la que se realiza el procesam ien to para m ejorar la resolución de 1/8 de resolución a 1/4 de resolución en la m itad del proceso.

Según la presente realización, se ha descrito principa lm ente el caso en el que la unidad de generación de im ágenes 120 inclu ida en el aparato de procesam iento de im ágenes 1 con tro la la generación de la im agen de punto de v is ta v irtua l en base a la im agen ob ten ida por la unidad de obtención de in form ación de la cám ara 100, y la in form ación de punto de v is ta v irtua l obten ida por la unidad de obtención de puntos de v is ta 110, y genera la p lura lidad de im ágenes de punto de v is ta v irtua l que tienen las ca lidades de im agen d iferentes. Cabe señalar, sin em bargo, que la configuración no está lim itada a esto, y la función para con tro la r la generación de la im agen de punto de v is ta v irtua l y la función para genera r realm ente la im agen de punto de v is ta v irtua l pueden esta r inclu idas en aparatos respectivam ente diferentes.

Por ejem plo, un aparato de generación (no m ostrado) que tiene la func ión de la unidad de generación de im ágenes 120 y genera la im agen de punto de v is ta v irtua l tam bién puede ex is tir en el s istem a de procesam iento de im ágenes 10. Por lo tanto, el aparato de procesam ien to de im ágenes 1 puede con tro la r la generación de la im agen de punto de v is ta v irtua l m ediante el aparato de generación en base a la im agen obten ida por la unidad de obtención de in form ación de la cám ara 100 y la in form ación obten ida por la unidad de obtención de puntos de v is ta 110. Específicam ente, el aparato de procesam ien to de im ágenes 1 transm ite las im ágenes captu radas y la in form ación del punto de v is ta v irtua l al aparato de generación, y realiza la instrucción para con tro la r la generación de la imagen de punto de v is ta virtua l. A continuación, el aparato de generación genera una prim era im agen de punto de v ista v irtua l y una segunda im agen de punto de v is ta v irtua l que se v isua liza rá en un tiem po anterior a la visua lización de la prim era im agen de punto de v is ta virtua l, ten iendo la segunda im agen de punto de v is ta v irtua l una calidad de im agen in ferior a la p rim era im agen de punto de v is ta virtual, en base a las im ágenes captu radas recib idas y la in form ación de punto de v is ta virtual. En este caso, la prim era im agen de punto de v ista v irtua l es, por ejem plo, la im agen no en d irecto, y la segunda im agen de punto de v ista v irtua l es, por ejem plo, la im agen en directo. Sin em bargo, cabe seña la r que el p ropósito de u tilización para la p rim era im agen de punto de v is ta v irtua l y la segunda im agen de punto de v ista v irtua l no está lim itado a esto. Cabe seña la r que el aparato de procesam iento de im ágenes 1 puede rea liza r el contro l de ta l m anera que la p rim era imagen de punto de v is ta v irtua l y la segunda im agen de punto de v is ta v irtua l sean generadas por los aparatos de generación respectivam ente diferentes. Adem ás, el aparato de procesam iento de im ágenes 1 puede rea lizar un contro l de sa lida para con tro la r el destino de sa lida de la im agen de punto de v ista v irtua l m ediante el aparato de generación y la tem porizac ión de salida y sim ilares.

Adem ás, el aparato de generación puede inc lu ir las funciones de la unidad de obtención de puntos de v ista 110 y la unidad de generación de im ágenes 120, y el aparato de procesam iento de im ágenes 1 puede con tro la r la generación de la im agen de punto de v ista v irtua l por el aparato de generación en base a las im ágenes obten idas por la unidad de obtención de in form ación de la cám ara 100. En este caso, las im ágenes obten idas por la unidad de obtención de in form ación de la cám ara 100 son im ágenes basadas en la captura ta les com o las im ágenes capturadas, capturadas por el g rupo de cám aras 2, y las im ágenes generadas en base a la d ife renc ia entre la p lura lidad de im ágenes capturadas. Adem ás, el aparato de generación puede inclu ir las func iones de la unidad de obtención de inform ación de la cám ara 100 y la unidad de generación de im ágenes 120, y el aparato de procesam iento de im ágenes 1 puede con tro la r la generación de la im agen de punto de v ista v irtua l por el aparato de generación. en base a las im ágenes obten idas por la unidad de obtención de puntos de v is ta 110. En este caso, las im ágenes obten idas por la unidad de obtención de puntos de v is ta 110 son la in form ación según la especificación del punto de v is ta virtua l, ta l com o la in form ación que indica los conten idos determ inados según el punto de v is ta virtua l, com o la fo rm a o la orientación del su jeto en la im agen de punto de v is ta v irtua l y la in form ación del punto de v ista virtual. Es decir, el aparato de procesam iento de im ágenes 1 puede ob tener la in form ación re lacionada con la generación de la im agen de punto de v is ta v irtua l que incluye por lo m enos una de las im ágenes basadas en la captura y la in form ación según la especificación del punto de v is ta virtua l, y con tro la r la generación de la im agen de punto de v is ta v irtua l en base a la in form ación obtenida.

Adem ás, por ejem plo, el aparato de generación que existe en el s istem a de procesam iento de im ágenes 10 puede inc lu ir las funciones de la unidad de obtención de in form ación de la cám ara 100, la unidad de obtención de puntos de v is ta 110 y la unidad de generación de im ágenes 120, y el aparato de procesam iento de im ágenes 1 puede con tro la r la generación de la im agen de punto de v is ta v irtua l por el aparato de generación en base a la inform ación re lacionada con la generación de la im agen de punto de v ista virtual. La in form ación re lacionada con la generación de la im agen de punto de v ista v irtua l en este caso incluye, por ejem plo, por lo m enos cua lqu iera de los parám etros con respecto a la ca lidad de im agen de la p rim era im agen de punto de v is ta v irtua l y los parám etros con respecto a la ca lidad de im agen de la segunda im agen de punto de v is ta v irtua l que son generados por el aparato de generación. Ejem plos específicos de los parám etros con respecto a la ca lidad de im agen incluyen el núm ero de cám aras correspondiente a las im ágenes captu radas utilizadas para la generación de la im agen de punto de v ista virtua l, la resolución de la imagen de punto de v is ta v irtua l, un tiem po perm isib le com o el tiem po de procesam iento re lacionado con la generación de la im agen de punto de v is ta v irtua l, y s im ilares. El aparato de procesam iento de im ágenes 1 obtiene estos parám etros con respecto a la ca lidad de im agen en base a la entrada del operador, por e jem plo, y con tro la el aparato de generación en base a los parám etros obtenidos m ediante la transm isión de los parám etros al aparato de generación o sim ilar. Según esto, el operador puede genera r la p lura lidad de im ágenes de punto de v ista v irtua l que tienen las calidades de im agen deseadas m utuam ente diferentes.

Tal com o se ha descrito anteriorm ente, el aparato de p rocesam iento de im ágenes 1 acepta la instrucción de generación de la imagen de punto de v is ta v irtua l en base a las im ágenes basadas en la captura del sujeto desde las d irecciones respectivam ente diferentes, por la p lura lidad de cám aras, y la in form ación según la especificación del punto de v is ta virtua l. A continuación, el aparato de procesam iento de im ágenes 1 realiza el contro l según la aceptación de la instrucción de generación, de ta l m anera que la p rim era im agen de punto de v is ta v irtua l a entregar a un prim er aparato de v isua lización y la segunda im agen de punto de v is ta v irtua l a entregar a un segundo aparato de v isua lizac ión son generadas a partir de las im ágenes en base a la captura y la in form ación según la especificación del punto de v ista v irtua l. En este caso, la segunda imagen de punto de v is ta v irtua l es una imagen de punto de v is ta v irtua l que tiene la ca lidad de im agen m ás alta que la p rim era imagen de punto de v is ta virtual. Según esto, por ejem plo, tam bién en el caso de que existan tan to el usuario que desea observar la im agen de punto de v is ta v irtua l en tiem po real com o el usuario que prioriza la ca lidad de im agen alta de la im agen de punto de v is ta v irtua l sobre la propiedad de ser en tiem po real, es posib le genera r la im agen de punto de v ista v irtua l adecuada para el tiem po en que se va a realizar la v isualización.

C abe seña la r que, según la presente realización, se ha descrito el caso en el que la gradación de color, la resolución y el núm ero de cám aras correspondiente a las im ágenes captu radas utilizadas para la generación de la im agen de punto de v is ta v irtua l son contro ladas com o la ca lidad de im agen de la im agen de punto de v is ta v irtua l, pero se pueden con tro la r otros parám etros ta les com o la ca lidad de im agen. Adem ás, se pueden con tro la r al m ism o tiem po una p lura lidad de parám etros con respecto a la ca lidad de imagen.

La presente invención tam bién se puede rea lizar m ediante el procesam iento en el que un p rogram a que realiza una o varias func iones de las realizaciones descritas anteriorm ente se sum in istra a un s istem a o aparato a través de una red o un m edio de a lm acenam iento, y uno o varios procesadores en un o rdenador del s istem a o el aparato lee y e jecuta el program a. Adem ás, la presente invención se puede rea lizar m ediante un c ircu ito (por ejem plo, un AS IC o s im ilar) que realiza una o varias funciones. Adem ás, el p rogram a puede esta r g rabado en un m edio de grabación legib le por ordenador, que se proporcionará.

La presente invención no está lim itada a las realizaciones descritas anteriorm ente. Por supuesto, se com prenderá que esta invención se ha descrito anteriorm ente solo a m odo de e jem plo, y que se pueden rea lizar m odificaciones de deta lle dentro del a lcance de esta invención, que está defin ido por las re iv indicaciones adjuntas.

Claims

REIVINDICACIONES

1. S istem a de procesam iento de im ágenes, que com prende:

un m edio de obtención de im ágenes (100) para obtener im ágenes cap tu radas desde una p lura lidad de d irecciones por una p lura lidad de cám aras (2);

un m edio de obtención de in form ación (110) para obtener in form ación de punto de v is ta que indica un punto de v ista v irtua l; y

un m edio de generación (120) para genera r im ágenes de punto de v is ta v irtua l en base a las im ágenes obtenidas por el m edio de obtención de im ágenes y a la in form ación de puntos de v is ta obten ida por el m edio de obtención de inform ación,

en el que el m edio de generación está configurado para genera r una prim era im agen de punto de v is ta v irtua l para ser entregada a un aparato de v isua lizac ión (3) utilizado por un usuario para especificar un punto de v is ta v irtua l y para genera r una segunda im agen de punto de v is ta v irtua l para ser entregada a un destino de sa lida d iferente del aparato de v isua lización (3) utilizando por lo m enos uno de la prim era im agen de punto de v is ta v irtua l y los datos generados en un proceso para genera r la p rim era im agen de punto de v is ta v irtua l m ediante el procesam ien to de im ágenes u tilizando la p lura lidad de im ágenes obten idas por el m edio de obtención de im ágenes, ten iendo la segunda im agen de punto de v is ta v irtua l una ca lidad de im agen superio r a la de la p rim era im agen de punto de v is ta virtual.

2. S istem a de procesam iento de im ágenes, según la re iv indicación 1,

en el que la segunda im agen de punto de v is ta v irtua l es entregada a por lo m enos otro aparato de v isua lizac ión (4) d ife rente del aparato de v isua lizac ión (3) que m uestra la imagen para que el usuario especifique el punto de v ista v irtua l y un d ispositivo de a lm acenam iento.

3. S istem a de procesam iento de im ágenes, según la re iv indicación 1 o 2, que com prende, adem ás:

un m edio de sa lida (130) para entregar la prim era im agen de punto de v is ta v irtua l y la segunda im agen de punto de v is ta v irtua l generadas por el m edio de generación (120),

en el que el tiem po en el que la p rim era im agen de punto de v is ta v irtua l es entregada por el m edio de sa lida es an te rio r al tiem po en el que la segunda im agen de punto de v ista v irtua l es entregada por el m edio de salida.

4. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 3,

en el que la in form ación del punto de v is ta obten ida por el m edio de obtención de in form ación (110) ind ica el punto de v is ta v irtua l especificado por una operación del usuario según la v isua lizac ión de la imagen en el aparato de visua lización.

5. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 4,

en el que el m edio de generación (120) está configurado para genera r la segunda im agen de punto de v is ta virtual realizando un procesam iento de im ágenes para m e jo rar la ca lidad de im agen con respecto a la prim era im agen de punto de v is ta v irtua l generada en base a las im ágenes obten idas y a la in form ación del punto de v is ta obtenida, y para genera r la p rim era im agen de punto de v ista v irtua l realizando un procesam iento e jecutado en un tiem po de procesam iento m enor que o igual que un um bral, correspond iendo el p rocesam iento al procesam iento parcial inclu ido en el procesam iento para genera r la segunda im agen de punto de v is ta v irtua l a partir de la p rim era imagen de punto de v is ta virtual.

6. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 5,

en el que la prim era im agen de punto de v is ta v irtua l es una im agen que representa una fo rm a de un objeto cap tu rada por, por lo m enos una de la p lura lidad de cám aras (2), y

en el que la segunda im agen de punto de v is ta v irtua l es una im agen que representa la fo rm a del objeto y tam bién un co lo r del objeto que no está representado en la prim era imagen de punto de v ista virtual.

7. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 6,

en el que la ca lidad de im agen re la tiva a la im agen de punto de v is ta v irtua l generada por el m edio de generación (120) es el núm ero de gradaciones de un co lo r inclu ido en la im agen de punto de v ista virtual.

8. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 6,

en el que la ca lidad de im agen re lativa a la im agen de punto de v is ta v irtua l generada por el m edio de generación es una resolución de una im agen de punto de v ista virtual.

9. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 8,

en el que el m edio de generación (120) está configurado, adem ás, para genera r una te rcera im agen de punto de v is ta v irtua l que tiene una calidad de im agen m ás alta que la de la segunda im agen de punto de v ista v irtua l, en base a las im ágenes obten idas por el m edio de obtención de im ágenes y a la in form ación del punto de v is ta obten ida del m edio de obtención de in form ación (110).

10. S istem a de procesam iento de im ágenes, según cua lqu ie ra de las re iv indicaciones 1 a 9, en el que el m edio de generación (120) está configurado para genera r la segunda im agen de punto de v ista v irtua l u tilizando las im ágenes correspondientes a m ás cám aras que el núm ero de cám aras correspond ien te a las im ágenes utilizadas para generar la prim era im agen de punto de v ista virtual.

11. S istem a de procesam iento de im ágenes, según cua lqu iera de las re iv ind icaciones 1 a 10, en el que el m edio de generación (120) está configurado para genera r la segunda im agen de punto de v is ta v irtua l utilizando una m agnitud de procesam iento m ayor que la utilizada para genera r la prim era im agen de punto de v is ta virtual.

12. Procedim iento de procesam iento de im ágenes, que com prende:

una e tapa de obtención de im ágenes, para obtener im ágenes basadas en la captura de una p lura lidad de d irecciones por parte de una p lura lidad de cám aras;

una etapa de obtención de in form ación para obtener in form ación de punto de v is ta que indica un punto de v ista v irtua l; y

una e tapa de generación para genera r im ágenes de punto de v is ta v irtua l en base a las im ágenes obten idas en la etapa de obtención de im ágenes y a la in form ación de punto de v is ta obten ida en la etapa de obtención de inform ación,

en el que la e tapa de generación incluye genera r una p rim era im agen de punto de v is ta v irtua l a en tregar a un aparato de v isua lizac ión utilizado por un usuario para especifica r el punto de v ista virtua l, y genera r una segunda im agen de punto de v is ta v irtua l a en tregar a un destino de sa lida d iferente del aparato de v isua lizac ión utilizando, por lo m enos, uno de la p rim era im agen de punto de v is ta v irtua l y de los datos generados en un proceso para genera r la prim era im agen de punto de v is ta v irtua l m ediante procesam ien to de im ágenes u tilizando la p lura lidad de im ágenes obten idas en la etapa de obtención de im ágenes, ten iendo la segunda im agen de punto de v is ta v irtua l una calidad de im agen m ás alta que la p rim era im agen de punto de v is ta virtual.

13. Procedim iento de procesam iento de im ágenes, según la re iv indicación 12,

en el que la segunda im agen de punto de v is ta v irtua l es una im agen de punto de v is ta v irtua l para ser m ostrada a una audiencia d iferente del usuario que especifica el punto de v is ta virtual.

14. S istem a de procesam iento de im ágenes, según la re iv indicación 12 o 13, que com prende:

una e tapa de entrega para entregar la prim era im agen de punto de v is ta v irtua l y la segunda im agen de punto de v is ta v irtua l generadas en la e tapa de generación,

en el que el tiem po en el que la prim era im agen de punto de v is ta v irtua l es entregada en la etapa de entrega es an te rio r al tiem po en el que la segunda im agen de punto de v ista v irtua l es entregada en la etapa de entrega.

15. Producto de p rogram a inform ático que com prende instrucciones que, cuando el p rogram a es e jecutado por un ordenador, hacen que el o rdenador ejecute el proced im iento de procesam ien to de im ágenes, según cua lqu ie ra de las re iv ind icaciones 12 a 14.