JP5384404B2 - Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program - Google Patents

Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program Download PDF

Info

Publication number
JP5384404B2
JP5384404B2 JP2010059320A JP2010059320A JP5384404B2 JP 5384404 B2 JP5384404 B2 JP 5384404B2 JP 2010059320 A JP2010059320 A JP 2010059320A JP 2010059320 A JP2010059320 A JP 2010059320A JP 5384404 B2 JP5384404 B2 JP 5384404B2
Authority
JP
Japan
Prior art keywords
image
divided
object data
dimensional object
element image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010059320A
Other languages
Japanese (ja)
Other versions
JP2011191645A (en
Inventor
祐一 岩舘
美和 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2010059320A priority Critical patent/JP5384404B2/en
Publication of JP2011191645A publication Critical patent/JP2011191645A/en
Application granted granted Critical
Publication of JP5384404B2 publication Critical patent/JP5384404B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Description

本発明は、分割三次元オブジェクトデータ抽出装置、要素画像生成装置、分割三次元オブジェクトデータ抽出プログラム、および要素画像生成プログラムに関する。   The present invention relates to a divided three-dimensional object data extraction device, an element image generation device, a divided three-dimensional object data extraction program, and an element image generation program.

インテグラル・フォトグラフィ方式の立体画像表示装置は、画像表示部の前面に設けられたレンズアレイを通して立体画像を表示するものである。具体的には、この立体画像表示装置は、レンズアレイの要素レンズ群に対応する要素画像群を表示する。
このインテグラル・フォトグラフィ方式による立体画像表示技術において、三次元モデルのデータである三次元オブジェクトデータから要素画像群を生成する技術が知られている。要素画像群に含まれる各要素画像は、例えば、画素ごとに光線の方向を求め、画素値を計算して生成されるものである。よって、要素画像群の生成には膨大な演算処理が必要であり、１台のコンピュータ装置が三次元オブジェクトデータから要素画像群を生成するのにかかる時間は多大である。 The integral photography type stereoscopic image display device displays a stereoscopic image through a lens array provided in front of the image display unit. Specifically, this stereoscopic image display device displays an element image group corresponding to the element lens group of the lens array.
In this three-dimensional image display technique using the integral photography method, a technique for generating an element image group from three-dimensional object data that is data of a three-dimensional model is known. Each element image included in the element image group is generated, for example, by obtaining the direction of the light ray for each pixel and calculating the pixel value. Accordingly, generation of element image groups requires enormous arithmetic processing, and it takes a long time for one computer device to generate element image groups from three-dimensional object data.

従来、三次元オブジェクトデータから要素画像群を生成する処理を複数のコンピュータ装置に分散処理させることによって、要素画像群の生成にかかる時間を短縮する技術が知られている（例えば、非特許文献１参照）。この分散処理の一手順を次に示す。まず、マスタコンピュータ装置が、フレーム画像の領域を複数の領域に分割して複数のコンピュータ装置にそれぞれ割り当る。次に、各コンピュータ装置が、各領域の要素画像群を生成してその要素画像群をマスタコンピュータ装置に供給する。次に、マスタコンピュータ装置が、取得した複数の要素画像群を結合してフレーム画像の要素画像群を生成する。この分散処理では、各コンピュータ装置は、三次元オブジェクトデータの全てのデータを用いて、フレーム画像の部分領域に対応する要素画像群を生成していた。   2. Description of the Related Art Conventionally, a technique for shortening the time required to generate an element image group by distributing a process of generating an element image group from three-dimensional object data to a plurality of computer devices is known (for example, Non-Patent Document 1). reference). One procedure of this distributed processing is as follows. First, the master computer device divides the frame image region into a plurality of regions and assigns the regions to a plurality of computer devices. Next, each computer device generates an element image group of each region and supplies the element image group to the master computer device. Next, the master computer device combines the acquired plurality of element image groups to generate an element image group of the frame image. In this distributed processing, each computer device generates an element image group corresponding to a partial region of a frame image using all data of the three-dimensional object data.

Nobuyuki Sakai, Nobuhiko Hata, Hongen Liao and Takeyoshi Dohi, “High performance computing for parallel rendering in surgical autostereoscopic display and navigation”, CARS 2003, ICS Volume 1256, pp. 403-407Nobuyuki Sakai, Nobuhiko Hata, Hongen Liao and Takeyoshi Dohi, “High performance computing for parallel rendering in surgical autostereoscopic display and navigation”, CARS 2003, ICS Volume 1256, pp. 403-407

しかしながら、従来の分散処理の方式では、要素画像群の生成処理に関する負荷が依然として大きく、さらなる時間の短縮が望まれていた。
そこで、本発明は、上記事情に鑑みてなされたものであり、三次元オブジェクトデータから要素画像群を生成する処理について、さらなる高速化をはかることのできる、分割三次元オブジェクトデータ抽出装置、要素画像生成装置、分割三次元オブジェクトデータ抽出プログラム、および要素画像生成プログラムを提供することを目的とする。 However, in the conventional distributed processing method, the load relating to the generation processing of the element image group is still large, and further reduction in time has been desired.
Therefore, the present invention has been made in view of the above circumstances, and a divided three-dimensional object data extraction device, element image, which can further increase the speed of processing for generating an element image group from three-dimensional object data. It is an object to provide a generation device, a divided three-dimensional object data extraction program, and an element image generation program.

［１］上記の課題を解決するため、本発明の一態様である分割三次元オブジェクトデータ抽出装置は、表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる分割三次元オブジェクトデータを抽出する分割三次元オブジェクトデータ抽出装置であり、前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値を示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンを抽出する分割三次元オブジェクトデータ抽出部を備え、前記所定範囲の前記要素レンズ群が所定の焦点距離を有する要素レンズからなることを特徴とする。
このように構成したことにより、画像領域が分割された分割画像領域から所定範囲の要素レンズ群を通して像を実現可能な空間分割領域を規定し、その空間分割領域に含まれる頂点を有するポリゴンを三次元オブジェクトデータから抽出するようにした。これにより、本発明の一態様である分割三次元オブジェクトデータ抽出装置は、要素画像生成装置が分割要素画像群を生成するのに必要な部分データ（リソース）を、三次元オブジェクトデータから抽出することができる。
［２］上記の課題を解決するため、本発明の一態様である分割三次元オブジェクトデータ抽出装置は、前記画像領域を複数の分割画像領域に分割し、これら複数の分割画像領域それぞれの範囲を示すデータを前記分割三次元オブジェクトデータ抽出部に供給する画像領域分割部をさらに備えることを特徴とする。
［３］上記の課題を解決するため、本発明の一態様である要素画像生成装置は、表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる要素画像を生成する要素画像生成装置であり、前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値および色データを示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンおよび前記色データを抽出する分割三次元オブジェクトデータ抽出部と、前記分割三次元オブジェクトデータ抽出部が抽出した前記ポリゴンおよび前記色データに基づいて前記分割画像領域に対応する要素画像群を生成する分割要素画像群生成部と、を備え、前記所定範囲の前記要素レンズ群が所定の焦点距離を有する要素レンズからなることを特徴とする。
［４］上記の課題を解決するため、本発明の一態様である分割三次元オブジェクトデータ抽出プログラムは、表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる分割三次元オブジェクトデータを抽出する分割三次元オブジェクトデータ抽出装置の処理をコンピュータに実行させる分割三次元オブジェクトデータ抽出プログラムであり、前記コンピュータを、前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値を示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、所定の焦点距離を有する要素レンズからなる要素レンズ群である前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンを抽出する分割三次元オブジェクトデータ抽出部、として機能させる。
［５］上記の課題を解決するため、本発明の一態様である要素画像生成プログラムは、表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる要素画像を生成する要素画像生成装置の処理をコンピュータに実行させる分割三次元オブジェクトデータ抽出プログラムであり、前記コンピュータを、前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値および色データを示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、所定の焦点距離を有する要素レンズからなる要素レンズ群である前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンおよび前記色データを抽出する分割三次元オブジェクトデータ抽出部と、前記分割三次元オブジェクトデータ抽出部が抽出した前記ポリゴンおよび前記色データに基づいて前記分割画像領域に対応する要素画像群を生成する分割要素画像群生成部、として機能させる。 [1] In order to solve the above-described problem, the divided three-dimensional object data extraction device according to one aspect of the present invention displays an integral photo that displays a frame image as a stereoscopic image through a lens array provided in front of the display unit. A divided three-dimensional object data extracting device for extracting divided three-dimensional object data used in a three-dimensional image display device using a graphic method, and a tertiary that indicates three-dimensional coordinate values of a plurality of vertices included in a polygon constituting the three-dimensional image The stereoscopic image in the divided image area obtained by dividing the image area of the frame image corresponding to the element lens group in the predetermined range included in the lens array from the original object data is reproduced by the element lens group in the predetermined range. A possible first spatial region and the surface on which the lens array is arranged In the space divided areas consisting of the first spatial region and plane-symmetrical second spatial region comprises a split three-dimensional object data extractor for extracting the polygon that is part of said apex, said element lenses of the predetermined range The group consists of element lenses having a predetermined focal length .
With this configuration, a space division region that can realize an image from a divided image region obtained by dividing the image region through a predetermined range of element lens groups is defined, and polygons having vertices included in the space division region are tertiary. Extracted from original object data. Thus, the divided three-dimensional object data extraction device according to one aspect of the present invention extracts partial data (resource) necessary for the element image generation device to generate a divided element image group from the three-dimensional object data. Can do.
[2] In order to solve the above problems, dividing the three-dimensional object data extracting apparatus of one embodiment of the present invention, the image area is divided into a plurality of divided image areas, a range of each of the plurality of divided image areas The image processing apparatus further includes an image region dividing unit that supplies data to be shown to the divided three-dimensional object data extracting unit.
[3] In order to solve the above-described problem, an element image generation apparatus according to an aspect of the present invention is based on an integral photography system that displays a frame image as a stereoscopic image through a lens array provided on the front surface of a display unit. an element image generating apparatus for generating element images used in the stereoscopic image display apparatus, a plurality of vertices each of the three-dimensional coordinate values and the three-dimensional object data representing the color data included in the polygons constituting the three-dimensional image, wherein A first spatial area in which the stereoscopic image in the divided image area obtained by dividing the image area of the frame image corresponding to the element lens group in the predetermined range included in the lens array can be reproduced by the element lens group in the predetermined range. And a second space region that is plane-symmetric with the first space region with respect to the surface on which the lens array is arranged. The space division region that a dividing three-dimensional object data extractor for extracting the polygon and the color data Ru contains the vertices, on the basis of the polygon and the color data of the divided three-dimensional object data extraction unit and extracted A divided element image group generation unit that generates an element image group corresponding to the divided image region, and the element lens group in the predetermined range includes an element lens having a predetermined focal length .
[4] In order to solve the above-described problem, the divided three-dimensional object data extraction program according to one aspect of the present invention is an integral photo that displays a frame image as a stereoscopic image through a lens array provided in front of the display unit. a split three-dimensional object data extraction program for executing processing for dividing the three-dimensional object data extracting device to a computer to extract the divided three-dimensional object data used in the stereoscopic image display apparatus according to a graphics system, the computer, the stereoscopic image A division in which the image area of the frame image is divided in accordance with a predetermined range of element lens groups included in the lens array from the three-dimensional object data indicating the three-dimensional coordinate values of each of a plurality of vertices included in the constituting polygon said stereoscopic image in the image area, A first spatial region reproducible by the element lens group of said predetermined range is an element lens group composed of element lenses having a focal length of the constant, and the first spatial region to the plane in which the lens array are arranged in the space divided areas consisting of a plane-symmetrical second space region, dividing the three-dimensional object data extractor for extracting the polygon that is part of said apex, to function as a.
[5] In order to solve the above problem, an element image generation program according to an aspect of the present invention is based on an integral photography system that displays a frame image as a stereoscopic image through a lens array provided on the front surface of a display unit. A divided three-dimensional object data extraction program for causing a computer to execute processing of an element image generation device that generates an element image used in a stereoscopic image display device, wherein the computer includes a plurality of vertices included in a polygon constituting the stereoscopic image The three-dimensional image in the divided image region obtained by dividing the image region of the frame image corresponding to the element lens group within a predetermined range included in the lens array from the three-dimensional object data indicating the respective three-dimensional coordinate values and color data. Is an element lens comprising an element lens having a predetermined focal length. The consisting of a first spatial area reproducible by the element lens group of said predetermined range is's group, and the lens array the first spatial region and plane-symmetrical second space region with respect to the arrayed surface the space division region, and dividing the three-dimensional object data extractor for extracting the polygon and the color data the Ru contain vertices, on the basis of the said polygon and the color data of the divided three-dimensional object data extraction unit and extracted It functions as a divided element image group generation unit that generates an element image group corresponding to the divided image area.

本発明によれば、三次元オブジェクトデータから要素画像群を生成する処理について、さらなる高速化をはかることができる。   According to the present invention, it is possible to further speed up the process of generating an element image group from three-dimensional object data.

第１実施形態における、分散処理システムの概略のシステム構成図である。1 is a schematic system configuration diagram of a distributed processing system in a first embodiment. FIG. 同実施形態において、立体画像表示装置が備える表示出力部の概略の構成を示す図である。In the embodiment, it is a figure which shows the schematic structure of the display output part with which a three-dimensional image display apparatus is provided. 同実施形態において、サーバ装置の機能構成を示すブロック図である。4 is a block diagram illustrating a functional configuration of a server device in the embodiment. FIG. 同実施形態において、要素画像生成装置の機能構成を示すブロック図である。3 is a block diagram illustrating a functional configuration of an element image generation device in the embodiment. FIG. 人物のオブジェクトの三次元形状をポリゴンにより表した図である。It is the figure which represented the three-dimensional shape of the person's object with the polygon. 三次元オブジェクトデータのデータ構成を示す図である。It is a figure which shows the data structure of three-dimensional object data. レンズアレイを通して表示部を見た場合の、フレーム画像の画像領域を模式的に表した図である。It is the figure which represented typically the image area | region of a frame image at the time of seeing a display part through a lens array. ｘｙ平面とｙｚ平面とｚｘ平面とにおける空間分割領域断面示す三面図である。It is a three-view figure which shows the space division area cross section in xy plane, yz plane, and zx plane. 分割画像領域属性によって定まる空間分割領域のｙｚ平面における断面図である。It is sectional drawing in yz plane of the space division area defined by a division | segmentation image area attribute. 分割画像領域属性によって定まる空間分割領域のｘｚ平面における断面図である。It is sectional drawing in the xz plane of the space division area defined by the division image area attribute. 第１実施形態において、分散処理システムにおけるサーバ装置および要素画像生成装置の処理手順を示すフローチャートである。5 is a flowchart illustrating a processing procedure of a server device and an element image generation device in the distributed processing system in the first embodiment. 同実施形態において、分割三次元オブジェクトデータ抽出部が実行する分割三次元オブジェクトデータ抽出処理の手順を示すフローチャートである。5 is a flowchart illustrating a procedure of divided three-dimensional object data extraction processing executed by a divided three-dimensional object data extraction unit in the embodiment. 第２実施形態における、分散処理システムの概略のシステム構成図である。It is a system configuration figure of the outline of a distributed processing system in a 2nd embodiment. 同実施形態において、サーバ装置の機能構成を示すブロック図である。4 is a block diagram illustrating a functional configuration of a server device in the embodiment. FIG. 同実施形態において、要素画像生成装置の機能構成を示すブロック図である。3 is a block diagram illustrating a functional configuration of an element image generation device in the embodiment. FIG. 同実施形態において、分散処理システムにおけるサーバ装置および要素画像生成装置の処理手順を示すフローチャートである。4 is a flowchart illustrating a processing procedure of a server device and an element image generation device in the distributed processing system in the embodiment. 正方格子型配列のレンズアレイを備える立体画像表示装置の表示出力部の概略の構成を示す図である。It is a figure which shows the schematic structure of the display output part of a three-dimensional image display apparatus provided with the lens array of a square lattice type | mold arrangement | sequence.

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である分割三次元オブジェクトデータ抽出装置と要素画像生成装置とが適用された分散処理システムについて説明する。図１は、本実施形態における分散処理システムの概略のシステム構成図である。同図に示すように、分散処理システム１０は、ネットワーク３を介して、サーバ装置１と７台の要素画像生成装置２（要素画像生成装置２−１〜２−７）とをそれぞれ接続した構成を有している。
この分散処理システム１０は、インテグラル・フォトグラフィ方式による立体画像表示装置（不図示）に表示させる要素画像群を、三次元オブジェクトデータから生成するシステムである。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[First Embodiment]
A distributed processing system to which a divided three-dimensional object data extraction device and an element image generation device according to a first embodiment of the present invention are applied will be described. FIG. 1 is a schematic system configuration diagram of a distributed processing system according to the present embodiment. As shown in the figure, the distributed processing system 10 has a configuration in which a server device 1 and seven element image generation devices 2 (element image generation devices 2-1 to 2-7) are connected via a network 3, respectively. have.
The distributed processing system 10 is a system that generates a group of element images to be displayed on a stereoscopic image display device (not shown) by an integral photography method from three-dimensional object data.

サーバ装置１は、三次元オブジェクトデータを記憶する装置であり、例えばコンピュータ装置である。また、サーバ装置１は、立体画像表示装置に表示させるフレーム画像の画像領域を分割し、要素画像生成装置２−１〜２−７それぞれに対して分割画像領域を通知する。また、サーバ装置１は、要素画像生成装置２−１〜２−７からそれぞれ取得した分割要素画像群を結合して立体画像表示装置の１フレーム画像分の要素画像群を生成し記憶する。   The server device 1 is a device that stores three-dimensional object data, and is, for example, a computer device. In addition, the server device 1 divides the image area of the frame image to be displayed on the stereoscopic image display device, and notifies each of the element image generation devices 2-1 to 2-7 of the divided image region. Further, the server device 1 combines the divided element image groups acquired from the element image generation devices 2-1 to 2-7 to generate and store an element image group for one frame image of the stereoscopic image display device.

要素画像生成装置２は、分割要素画像群を生成する装置であり、例えばコンピュータ装置である。要素画像生成装置２は、サーバ装置１から三次元オブジェクトデータを取得する。また、要素画像生成装置２は、サーバ装置１から通知された分割画像領域に対応する空間分割領域を計算し、その空間分割領域に含まれる三次元オブジェクトデータの部分データを分割三次元オブジェクトデータとして抽出する。また、要素画像生成装置２は、分割三次元オブジェクトデータに基づいて分割要素画像群を生成し、その分割要素画像群をサーバ装置１に供給する。   The element image generation apparatus 2 is an apparatus that generates a divided element image group, and is, for example, a computer apparatus. The element image generation device 2 acquires 3D object data from the server device 1. In addition, the element image generation device 2 calculates a space division region corresponding to the divided image region notified from the server device 1, and uses partial data of the 3D object data included in the space division region as divided 3D object data. Extract. The element image generation device 2 generates a divided element image group based on the divided three-dimensional object data, and supplies the divided element image group to the server device 1.

ネットワーク３は、少なくともサーバ装置１と要素画像生成装置２と間の通信を行う電気通信回線である。この電気通信回線は、無線回線もしくは有線回線またはこれらの回線の組み合わせである。ネットワーク３は、例えば、インターネットまたはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。   The network 3 is an electric communication line that performs communication between at least the server device 1 and the element image generation device 2. The telecommunication line is a wireless line, a wired line, or a combination of these lines. The network 3 is, for example, the Internet or a LAN (Local Area Network).

次に、立体画像表示装置について説明する。図２は、立体画像表示装置が備える表示出力部の概略の構成を示す図である。同図（ａ）は、表示出力部が要素画像群を表示することにより、立体像を観察できる様子を模式的に示した図である。なお、同図（ａ）は、側面図である。また、同図（ｂ）は、表示出力部に含まれるレンズアレイの表示面側から見た模式的な正面図である。   Next, the stereoscopic image display device will be described. FIG. 2 is a diagram illustrating a schematic configuration of a display output unit included in the stereoscopic image display device. FIG. 6A is a diagram schematically showing a state in which a stereoscopic image can be observed by displaying a group of element images by the display output unit. In addition, the figure (a) is a side view. FIG. 4B is a schematic front view seen from the display surface side of the lens array included in the display output unit.

図２（ａ）に示すように、表示出力部は、表示部２１とレンズアレイ２２とを備える。表示部２１は、分散処理システム１０が生成した要素画像群を表示する表示パネルであり、例えば、液晶表示パネルやプラズマ・ディスプレイ・パネルである。レンズアレイ２２は、同図（ｂ）に示すように、複数の要素レンズを、各要素レンズの光軸が平行となるように平面上に配列して構成または一体的に形成したものである。各要素レンズは凸レンズであり、その焦点距離や光透過率等の光学的特性は全ての要素レンズにおいて同一である。同図（ｂ）における要素レンズの配列は俵積型配列である。隣接する２個の要素レンズにおける各要素レンズの中心点間の距離をピッチとすると、レンズアレイ２２においては、水平方向の要素レンズのピッチＲＨは、要素レンズの直径に等しく、垂直方向の要素レンズのピッチＲＶは、ピッチＲＨの（√３）／２倍である。ただし、ピッチＲＨおよびピッチＲＶは、表示部２１の画素ピッチの非整数倍である。 As shown in FIG. 2A, the display output unit includes a display unit 21 and a lens array 22. The display unit 21 is a display panel that displays a group of element images generated by the distributed processing system 10, and is, for example, a liquid crystal display panel or a plasma display panel. As shown in FIG. 2B, the lens array 22 is configured or formed integrally by arranging a plurality of element lenses on a plane so that the optical axes of the element lenses are parallel to each other. Each element lens is a convex lens, and its optical characteristics such as focal length and light transmittance are the same in all element lenses. The arrangement of the element lenses in FIG. In the lens array 22, the pitch RH of the horizontal element lens is equal to the diameter of the element lens, and the vertical element in the lens array 22, where the distance between the center points of the element lenses in the two adjacent element lenses is the pitch. pitch R V of the lens is (√3) / 2 times the pitch R H. However, the pitch R H and the pitch R V is a non-integer multiple of the pixel pitch of the display unit 21.

なお、本実施形態において、レンズアレイ２２や要素画像群を図示する場合は、分かりやすくするために図を簡略化し、要素レンズや要素画像の個数を少なくしている。   In the present embodiment, when the lens array 22 and the element image group are illustrated, the drawing is simplified for the sake of clarity, and the number of element lenses and element images is reduced.

表示部２１に表示されるフレーム画像である要素画像群は、図２（ａ）に示すように、複数の要素画像ＥＩの集合（群）である。１個の要素画像ＥＩは、１個の要素レンズにより空間中に拡大投影される。よって、要素画像群は、要素画像ＥＩが同図（ｂ）のように俵積型状に配列された画像である。したがって、レンズアレイ２２は、同図（ａ）に示すように、表示部２１の前面側に、要素レンズの焦点距離Ｆ分の距離をおくとともに、各要素レンズが各要素画像ＥＩを捉えることができる位置に設けられる。
このようにして設けられた立体画像表示装置が要素画像群を表示すると、同図（ａ）に示すように、所定の位置において立体像ＳＩを視覚的に得ることができる。 The element image group which is a frame image displayed on the display unit 21 is a set (group) of a plurality of element images EI as shown in FIG. One element image EI is enlarged and projected in space by one element lens. Therefore, the element image group is an image in which the element images EI are arranged in a stacked pattern as shown in FIG. Therefore, as shown in FIG. 4A, the lens array 22 places a distance corresponding to the focal length F of the element lens on the front side of the display unit 21, and each element lens can capture each element image EI. It is provided at a position where it can be made.
When the stereoscopic image display device provided in this way displays an element image group, a stereoscopic image SI can be visually obtained at a predetermined position as shown in FIG.

次に、サーバ装置１の機能構成について説明する。図３は、サーバ装置１の機能構成を示すブロック図である。同図に示すように、サーバ装置１は、三次元オブジェクトデータ記憶部１０１と、三次元オブジェクトデータ供給部１０２と、立体画像表示装置パラメータ記憶部１０３と、画像領域分割部１０４と、分割画像領域属性供給部１０５と、分割要素画像群取得部１０６と、分割要素画像群結合部１０７と、要素画像群記憶部１０８とを備える。   Next, the functional configuration of the server device 1 will be described. FIG. 3 is a block diagram illustrating a functional configuration of the server device 1. As shown in the figure, the server device 1 includes a 3D object data storage unit 101, a 3D object data supply unit 102, a stereoscopic image display device parameter storage unit 103, an image area dividing unit 104, and divided image areas. An attribute supply unit 105, a divided element image group acquisition unit 106, a divided element image group combination unit 107, and an element image group storage unit 108 are provided.

三次元オブジェクトデータ記憶部１０１は、三次元オブジェクトデータを記憶する。この三次元オブジェクトデータのデータ構成については後述する。三次元オブジェクトデータ供給部１０２は、三次元オブジェクトデータ記憶部１０１から三次元オブジェクトデータを読み出して、その三次元オブジェクトデータを要素画像生成装置２−１〜２−７それぞれに供給する。   The three-dimensional object data storage unit 101 stores three-dimensional object data. The data configuration of the three-dimensional object data will be described later. The three-dimensional object data supply unit 102 reads the three-dimensional object data from the three-dimensional object data storage unit 101 and supplies the three-dimensional object data to each of the element image generation devices 2-1 to 2-7.

立体画像表示装置パラメータ記憶部１０３は、図２に示した立体画像表示装置の表示出力部に関するパラメータを記憶する。具体的には、パラメータは、要素レンズの焦点距離Ｆと、レンズアレイ２２における水平方向の要素レンズのピッチＲＨと、垂直方向の要素レンズのピッチＲＶと、表示部２１の水平方向および垂直方向それぞれの画素数と、表示部２１の画素ピッチとを含むデータである。立体画像表示装置パラメータ記憶部１０３は、このパラメータを予め記憶する。 The stereoscopic image display device parameter storage unit 103 stores parameters relating to the display output unit of the stereoscopic image display device shown in FIG. Specifically, the parameters, the focal length F of the element lenses, and the pitch R H horizontal element lenses of the lens array 22, the pitch R V vertical element lens, horizontal and vertical display section 21 The data includes the number of pixels in each direction and the pixel pitch of the display unit 21. The stereoscopic image display device parameter storage unit 103 stores the parameters in advance.

画像領域分割部１０４は、立体画像表示装置パラメータ記憶部１０３からパラメータを読み込み、そのパラメータと分散処理させる要素画像生成装置２の台数の値とに基づいて、フレーム画像の領域を、要素画像の領域に対応させて当該台数分の分割画像領域に分割する。分散処理させる要素画像生成装置２の台数の値は、画像領域分割部１０４に予め記憶されるかまたは外部から入力されるものであり、本実施形態においては、要素画像生成装置２−１〜２−７の台数である“７”である。そして、画像領域分割部１０４は、分散処理させる要素画像生成装置２−１〜２−７それぞれに対応させて、分割画像領域の分割画像領域属性を生成する。分割画像領域属性は、フレーム画像の領域における分割画像領域の範囲とその分割画像領域に対応する要素レンズ群の範囲とを示すデータと、分割画像領域と要素レンズ群との距離である要素レンズの焦点距離を含むパラメータとを有するデータである。この分割画像領域属性および分割画像領域については、その詳細を後述する。
分割画像領域属性供給部１０５は、分散処理させる要素画像生成装置２−１〜２−７それぞれに対して、分割画像領域属性を供給する。 The image region dividing unit 104 reads the parameters from the stereoscopic image display device parameter storage unit 103, and based on the parameters and the value of the number of element image generation devices 2 to be distributed, the region of the frame image is converted into the region of the element image. The image is divided into divided image areas corresponding to the number. The value of the number of elemental image generation apparatuses 2 to be distributed is stored in advance in the image area dividing unit 104 or input from the outside. In this embodiment, the elemental image generation apparatuses 2-1 to 2 are used. It is “7”, which is the number of −7. Then, the image region dividing unit 104 generates a divided image region attribute of the divided image region in correspondence with each of the element image generating devices 2-1 to 2-7 to be distributed. The divided image area attribute is data indicating the range of the divided image area in the frame image area and the range of the element lens group corresponding to the divided image area, and the distance between the divided image area and the element lens group. Data having parameters including focal length. Details of the divided image region attribute and the divided image region will be described later.
The divided image area attribute supply unit 105 supplies divided image area attributes to each of the element image generation apparatuses 2-1 to 2-7 to be distributed.

分割要素画像群取得部１０６は、分散処理させた要素画像生成装置２−１〜２−７それぞれから分割要素画像群を取得する。分割要素画像群は、画像領域分割部１０４が分割した分割画像領域に対応して生成された要素画像群であり、１フレーム画像分の要素画像群の部分領域である。
分割要素画像群結合部１０７は、分割要素画像群１０６から１フレーム画像分の分割要素画像群を取得して結合しフレーム画像全体における要素画像群を生成する。要素画像群記憶部１０８は、分割要素画像群結合部１０７が生成した要素画像群を記憶する。 The divided element image group acquisition unit 106 acquires a divided element image group from each of the element image generation apparatuses 2-1 to 2-7 subjected to distributed processing. The divided element image group is an element image group generated corresponding to the divided image area divided by the image area dividing unit 104, and is a partial area of the element image group for one frame image.
The divided element image group combining unit 107 acquires and combines divided element image groups for one frame image from the divided element image group 106 to generate an element image group in the entire frame image. The element image group storage unit 108 stores the element image group generated by the divided element image group combination unit 107.

サーバ装置１において、三次元オブジェクトデータ記憶部１０１と立体画像表示装置パラメータ記憶部１０３と要素画像群記憶部１０８とは、磁気ハードディスク装置や半導体記憶装置等のデータ記憶装置で構成される。また、データ記憶装置は、サーバ装置１に着脱可能なフレキシブルディスクや光ディスク等のディスク媒体、または半導体記録媒体であってもよい。   In the server device 1, the three-dimensional object data storage unit 101, the stereoscopic image display device parameter storage unit 103, and the element image group storage unit 108 are configured by a data storage device such as a magnetic hard disk device or a semiconductor storage device. The data storage device may be a disk medium such as a flexible disk or an optical disk that can be attached to and detached from the server apparatus 1 or a semiconductor recording medium.

次に、要素画像生成装置２の機能構成について説明する。図４は、要素画像生成装置２の機能構成を示すブロック図である。同図に示すように、要素画像生成装置２は、三次元オブジェクトデータ取得部２０１と、三次元オブジェクトデータ記憶部２０２と、分割画像領域属性取得部２０３と、分割三次元オブジェクトデータ抽出部２０５と、分割要素画像群生成部２０６と、分割要素画像群供給部２０７とを備える。   Next, a functional configuration of the element image generation device 2 will be described. FIG. 4 is a block diagram illustrating a functional configuration of the element image generation device 2. As shown in the figure, the element image generation apparatus 2 includes a 3D object data acquisition unit 201, a 3D object data storage unit 202, a divided image region attribute acquisition unit 203, a divided 3D object data extraction unit 205, A divided element image group generation unit 206 and a divided element image group supply unit 207.

三次元オブジェクトデータ取得部２０１は、サーバ装置１から供給される三次元オブジェクトデータを取得する。三次元オブジェクトデータ記憶部２０２は、三次元オブジェクトデータ取得部２０１が取得した三次元オブジェクトデータを記憶する。分割画像領域属性取得部２０３は、サーバ装置１から供給される分割画像領域属性を取得する。   The three-dimensional object data acquisition unit 201 acquires three-dimensional object data supplied from the server device 1. The 3D object data storage unit 202 stores the 3D object data acquired by the 3D object data acquisition unit 201. The divided image area attribute acquisition unit 203 acquires the divided image area attribute supplied from the server device 1.

分割三次元オブジェクトデータ抽出部２０５は、三次元オブジェクトデータ記憶部２０２に記憶された三次元オブジェクトデータと、分割画像領域属性取得部２０３が取得した分割画像領域属性によって規定される空間分割領域とに基づいて、三次元オブジェクトデータから、空間分割領域に含まれる分割三次元オブジェクトデータを抽出する。なお、分割三次元オブジェクトデータ抽出部２０５は、不図示の記憶部を備えている。   The divided three-dimensional object data extraction unit 205 converts the three-dimensional object data stored in the three-dimensional object data storage unit 202 and the spatial divided regions defined by the divided image region attributes acquired by the divided image region attribute acquisition unit 203. Based on the three-dimensional object data, divided three-dimensional object data included in the spatial division region is extracted. The divided 3D object data extraction unit 205 includes a storage unit (not shown).

分割要素画像群生成部２０６は、パラメータと分割三次元オブジェクトデータとに基づいて、分割画像領域に対応する分割要素画像群を生成する。分割要素画像群供給部２０７は、分割要素画像群生成部２０６が生成した分割要素画像群をサーバ装置１に供給する。   The divided element image group generation unit 206 generates a divided element image group corresponding to the divided image area based on the parameters and the divided three-dimensional object data. The divided element image group supply unit 207 supplies the divided element image group generated by the divided element image group generation unit 206 to the server device 1.

次に、三次元オブジェクトデータについて説明する。三次元オブジェクトデータは、オブジェクトの三次元形状の情報と色の情報とを含むデータである。オブジェクトの三次元形状は、オブジェクトの輪郭に離散的に存在する点に基づき、これらの点を頂点とする多角形のポリゴンの組み合わせにより表される。本実施形態においては、ポリゴンは三角形であるが、三角以上の角数の多角形でもよい。また、オブジェクトの色は、ポリゴンの各頂点に対応付けられた色データに基づき決定されるポリゴンの色により表される。図５は、人物のオブジェクトの三次元形状をポリゴンにより表した図である。なお、同図においては、ポリゴンの色を省略している。   Next, 3D object data will be described. The three-dimensional object data is data including information on the three-dimensional shape of the object and color information. The three-dimensional shape of the object is represented by a combination of polygonal polygons having vertices at these points based on points discretely present on the outline of the object. In the present embodiment, the polygon is a triangle, but it may be a polygon having more than a triangle. Further, the color of the object is represented by the color of the polygon determined based on the color data associated with each vertex of the polygon. FIG. 5 is a diagram showing the three-dimensional shape of a human object by polygons. In the figure, the color of the polygon is omitted.

図６は、三次元オブジェクトデータのデータ構成を示す図である。同図に示すように、三次元オブジェクトデータは、頂点属性データとポリゴンデータとを含む。
頂点属性データは、三次元オブジェクトの形状を表す複数の点それぞれの属性情報である。これらの点は、三次元オブジェクトの輪郭に離散的に存在する頂点であり、例えば、レンジセンサによって計測された三次元物体の形状の頂点や、コンピュータによって生成されたコンピュータグラフィックスの頂点である。頂点属性データは、点ごとに、頂点インデックスと座標値と色データとを関係付けたレコードを含む。頂点インデックスは、点の識別情報である。座標値は点の三次元位置を示す三次元直交座標系上の座標値であり、各軸における座標値は例えば浮動小数点形式で表される数値データである。色データは、点の色を示すデータであり、サンプリングした点における色情報である。 FIG. 6 is a diagram illustrating a data configuration of the three-dimensional object data. As shown in the figure, the three-dimensional object data includes vertex attribute data and polygon data.
The vertex attribute data is attribute information of each of a plurality of points representing the shape of the three-dimensional object. These points are vertices that exist discretely in the outline of the three-dimensional object. For example, the vertices are the vertices of the shape of the three-dimensional object measured by the range sensor and the vertices of computer graphics generated by the computer. The vertex attribute data includes a record that associates a vertex index, a coordinate value, and color data for each point. The vertex index is point identification information. The coordinate value is a coordinate value on a three-dimensional orthogonal coordinate system indicating the three-dimensional position of the point, and the coordinate value on each axis is numerical data expressed in, for example, a floating-point format. The color data is data indicating the color of the point, and is color information at the sampled point.

ポリゴンデータは、三次元オブジェクトの形状を表す複数の点を含む複数のポリゴンを示すデータである。各ポリゴンは、３個の頂点によって特定される。ポリゴンデータは、ポリゴンごとの、ポリゴンインデックスと頂点インデックスセットとを関係付けたレコードを含む。ポリゴンインデックスは、ポリゴンの識別情報である。頂点インデックスセットは、ポリゴンを特定する３個の点それぞれの頂点インデックスである。
つまり、三次元オブジェクトデータは、ポリゴンに含まれる複数の頂点それぞれの三次元座標値および色データを示すデータである。 The polygon data is data indicating a plurality of polygons including a plurality of points representing the shape of the three-dimensional object. Each polygon is specified by three vertices. The polygon data includes a record that associates a polygon index and a vertex index set for each polygon. The polygon index is polygon identification information. The vertex index set is a vertex index of each of three points that specify a polygon.
That is, the three-dimensional object data is data indicating the three-dimensional coordinate value and color data of each of a plurality of vertices included in the polygon.

次に、分割画像領域属性および分割画像領域について説明する。図７は、レンズアレイ２２を通して表示部２１を見た場合の、フレーム画像の画像領域を模式的に表した図である。同図において、レンズアレイ２２の複数の要素レンズそれぞれは不図示である。同図に示すように、フレーム画像の画像領域は、要素画像ＥＩの領域を多数含んでいる。これら多数の要素画像ＥＩの配列は、図２におけるレンズアレイ２２の要素レンズの配列と等しい。すなわち、レンズアレイ２２の複数の要素レンズそれぞれをピンホールとしてモデル化すると、各ピンホールの位置は各要素画像ＥＩの中心の位置に対応する。また、隣接する２個の要素画像ＥＩにおける各要素画像ＥＩの中心点間の距離を要素画像ピッチとすると、水平方向の要素画像ピッチは要素レンズのピッチＲＨと等しく、また垂直方向の要素画像ピッチは要素レンズのピッチＲＶと等しい。 Next, the divided image area attribute and the divided image area will be described. FIG. 7 is a diagram schematically showing an image area of a frame image when the display unit 21 is viewed through the lens array 22. In the figure, each of the plurality of element lenses of the lens array 22 is not shown. As shown in the figure, the image area of the frame image includes many areas of the element image EI. The arrangement of these many element images EI is equal to the arrangement of the element lenses of the lens array 22 in FIG. That is, when each of the plurality of element lenses of the lens array 22 is modeled as a pinhole, the position of each pinhole corresponds to the center position of each element image EI. If the distance between the center points of each element image EI in two adjacent element images EI is an element image pitch, the element image pitch in the horizontal direction is equal to the element lens pitch RH, and the element image in the vertical direction. pitch is equal to the pitch R V element lenses.

図７に示すように、サーバ装置１の画像領域分割部１０４は、水平方向のｘ軸と垂直方向のｙ軸とによる直交軸（原点は点Ｏ）をレンズアレイ２２の平面上に設ける。例えば、同図では、フレーム画像の中心位置に存在する要素画像ＥＩの中心位置に点Ｏを合わせて直交軸を設けている。なお、点Ｏの位置は、フレーム画像の画像領域内にあってもよいし画像領域外にあってもよい。   As shown in FIG. 7, the image area dividing unit 104 of the server device 1 provides an orthogonal axis (the origin is a point O) based on the horizontal x-axis and the vertical y-axis on the plane of the lens array 22. For example, in the figure, an orthogonal axis is provided by aligning the point O with the center position of the element image EI existing at the center position of the frame image. Note that the position of the point O may be within the image area of the frame image or may be outside the image area.

画像領域分割部１０４は、立体画像表示装置パラメータ記憶部１０３から読み込んだパラメータと要素画像生成装置の台数とに基づいて、フレーム画像の領域を要素画像生成装置の台数分の分割画像領域に分割する。図７は、画像領域分割部１０４がフレーム画像の領域を３個の分割画像領域７１〜７３に分割した例を示している。画像領域分割部１０４は、要素画像の境界において分割画像領域への分割を行なう。この例では、分割画像領域７１〜７３のそれぞれは、ｘ軸方向に並ぶ３行分の要素画像の領域を含んでいる。言い換えれば、画像領域分離部１０４は、ｙ座標の値に応じて分割画像領域への分割を行なう。
頂点属性データやポリゴンデータが、頂点のｙ座標値の順で記憶媒体に記憶されている場合には、上記の例のようにｘ軸と平行な境界線で分割画像領域への分割を行なうことにより、後述する分割三次元オブジェクトデータ抽出処理を実行する際に、単一の分割画像領域に対応するポリゴンデータや頂点属性データが、記憶媒体内の特定のセグメントに集中して存在することとなる。したがって、分割三次元オブジェクトデータ抽出処理において効率的にデータアクセスすることが可能となり、処理がより一層高速化される。 The image area dividing unit 104 divides the frame image area into divided image areas corresponding to the number of element image generation devices based on the parameters read from the stereoscopic image display device parameter storage unit 103 and the number of element image generation devices. . FIG. 7 illustrates an example in which the image region dividing unit 104 divides the frame image region into three divided image regions 71 to 73. The image area dividing unit 104 performs division into divided image areas at the boundary of the element image. In this example, each of the divided image areas 71 to 73 includes element image areas for three rows arranged in the x-axis direction. In other words, the image area separation unit 104 performs division into divided image areas according to the value of the y coordinate.
When vertex attribute data and polygon data are stored in the storage medium in the order of the y-coordinate values of the vertices, division into divided image areas is performed with a boundary line parallel to the x-axis as in the above example. As a result, when the divided three-dimensional object data extraction process described later is executed, polygon data and vertex attribute data corresponding to a single divided image area are concentrated on a specific segment in the storage medium. . Therefore, it is possible to efficiently access data in the divided three-dimensional object data extraction process, and the processing is further speeded up.

これと同様に、画像領域分割部１０４が、ｙ軸と平行な境界線で、フレーム画像から分割画像領域への分割を行うようにすることも好ましい。頂点属性データやポリゴンデータが、頂点のｘ座標値の順で記憶媒体に記憶されている場合には、上記と同様の理由により、分割三次元オブジェクトデータ抽出処理において効率的にデータアクセスすることが可能となり、処理がより高速化される。
言い換えれば、画像領域分割部１０４が、表示部２１の水平方向または垂直方向への分割を行なうようにすることが好ましい。
さらに言い換えれば、画像領域分割部１０４が、頂点属性データやポリゴンデータの記憶媒体内での並び順に応じて、フレーム画像の分割画像領域への分割を行なうようにすることが好ましい。 Similarly, it is also preferable that the image area dividing unit 104 divides a frame image into divided image areas along a boundary line parallel to the y-axis. When vertex attribute data and polygon data are stored in the storage medium in the order of the x-coordinate values of the vertices, data can be efficiently accessed in the divided three-dimensional object data extraction process for the same reason as described above. It becomes possible, and processing is further accelerated.
In other words, it is preferable that the image region dividing unit 104 divides the display unit 21 in the horizontal direction or the vertical direction.
In other words, it is preferable that the image area dividing unit 104 divides the frame image into divided image areas in accordance with the arrangement order of the vertex attribute data and polygon data in the storage medium.

画像領域分割部１０４は、レンズアレイ２２における要素レンズの位置と要素レンズに対応する要素画像ＥＩの位置とを、ｘ軸方向およびｙ軸方向における二次元の並び番号で特定する。つまり、図７に示すように、要素レンズおよび要素画像ＥＩは、ｘｙ直交座標系における整数座標値（ｉ，ｊ）によってインデックスが割り振られる。   The image region dividing unit 104 specifies the position of the element lens in the lens array 22 and the position of the element image EI corresponding to the element lens by a two-dimensional array number in the x-axis direction and the y-axis direction. That is, as shown in FIG. 7, the element lens and the element image EI are assigned with an integer coordinate value (i, j) in the xy orthogonal coordinate system.

画像領域分割部１０４は、分割画像領域を特定する情報である分割画像領域属性を、分散処理させる要素画像生成装置２−１〜２−７それぞれに対応させて生成する。つまり、画像領域分割部１０４は、分散処理させる要素画像生成装置２−１〜２−７それぞれに対応させて、分割画像領域に含まれる要素レンズおよび要素画像ＥＩの二次元の並び番号を選択し、その二次元の並び番号と立体画像表示装置パラメータ記憶部１０３から読み出したパラメータとを含めた分割画像領域属性を生成する。
例えば、図７に示した分割画像領域７２についての二次元の並び番号は、（−６，−１），（−５，−１），・・・，（５，１）、（６，１）と、（−６，０），（−５，０），・・・，（６，０）、（７，０）と、（−６，１），（−５，１），・・・，（５，１）、（６，１）とである。画像領域分割部１０４は、分割画像領域７２に含まれる全ての二次元の並び番号を分割画像領域属性に含めるようにしてもよいし、分割画像領域７２の座標値の対角２点の座標値である（−６，−１）および（７，１）のみを分割画像領域７２の座標値の代表として分割画像領域属性に含めるようにしてもよい。 The image region dividing unit 104 generates a divided image region attribute that is information for specifying a divided image region in correspondence with each of the element image generation devices 2-1 to 2-7 to be distributed. That is, the image area dividing unit 104 selects the two-dimensional array numbers of the element lens and the element image EI included in the divided image area in correspondence with each of the element image generating devices 2-1 to 2-7 to be distributed. Then, a divided image region attribute including the two-dimensional array number and the parameter read from the stereoscopic image display device parameter storage unit 103 is generated.
For example, the two-dimensional array numbers for the divided image region 72 shown in FIG. 7 are (−6, −1), (−5, −1),..., (5,1), (6,1). ), (−6, 0), (−5, 0),..., (6, 0), (7, 0), (−6, 1), (−5, 1),. ., (5,1), (6,1). The image area dividing unit 104 may include all the two-dimensional array numbers included in the divided image area 72 in the divided image area attribute, or two diagonal coordinate values of the coordinate values of the divided image area 72. Only (−6, −1) and (7, 1) may be included in the divided image region attribute as representative coordinate values of the divided image region 72.

次に、空間分割領域について説明する。図８は、ｘｙ平面とｙｚ平面とｚｘ平面とにおける空間分割領域断面示す三面図である。同図に示すｘ軸、ｙ軸、ｚ軸は、直交座標軸である。また、同図におけるｘ軸およびｙ軸は、図７におけるｘ軸およびｙ軸と同一の軸である。空間分割領域は、分割画像領域に対応する空間領域である。この空間分割領域は、第１の空間領域と第２の空間領域からなり、第１の空間領域は、表示部２１のフレーム画像の分割画像領域に分割要素画像群を表示させた場合に、その分割画像領域に対応するレンズアレイ２２の要素レンズ群によって像を再現可能な領域である。また、第２の空間領域は、ｘｙ平面に対して前記第１の空間領域と面対称な空間領域である。   Next, the space division area will be described. FIG. 8 is a three-view diagram illustrating a cross section of a space division region in the xy plane, the yz plane, and the zx plane. The x-axis, y-axis, and z-axis shown in the figure are orthogonal coordinate axes. Further, the x-axis and the y-axis in the figure are the same axes as the x-axis and the y-axis in FIG. The space division area is a space area corresponding to the divided image area. This space division area is composed of a first space area and a second space area. When the division element image group is displayed in the division image area of the frame image of the display unit 21, the first space area is displayed. This is an area where an image can be reproduced by the element lens group of the lens array 22 corresponding to the divided image area. The second spatial region is a spatial region that is plane-symmetric with the first spatial region with respect to the xy plane.

図８（ａ）は、空間分割領域のｘｙ平面における断面図である。この図において、分割画像領域８１は、表示部２１の表示面の一部である。また要素画像ＥＩは、分割画像領域８１に含まれる。そして、断面８２ｘｙは、分割画像領域８１（同図においてハッチングした要素画像ＥＩ）に対応する全ての要素レンズの中心点を含む最小の長方形である。
同図（ｂ）は、空間分割領域のｙｚ平面における断面図である。断面８２ｙｚは、ｙ軸を中心としてｚ軸の正方向に第１の空間領域の断面８２ｙｚ１を有するとともに、ｚ軸の負方向に第２の空間領域の断面８２ｙｚ２を有する。ｚ軸の正方向と負方向とにそれぞれ進むにつれて、各断面のｙ軸方向の幅は比例的に広くなる。
同図（ｃ）は、空間分割領域のｘｚ平面における断面図である。断面８２ｘｚは、ｘ軸を中心としてｚ軸の正方向に第１の空間領域の断面８２ｘｚ１を有するとともに、ｚ軸の負方向に第２の空間領域の断面８２ｘｚ２を有する。ｚ軸の正方向と負方向とにそれぞれ進むにつれて、各断面のｘ軸方向の幅は比例的に広くなる。 FIG. 8A is a cross-sectional view of the space division region in the xy plane. In this figure, a divided image area 81 is a part of the display surface of the display unit 21. The element image EI is included in the divided image area 81. The cross section 82 xy is a minimum rectangle including the center points of all the element lenses corresponding to the divided image region 81 (the hatched element image EI in the drawing).
FIG. 2B is a cross-sectional view of the space division region on the yz plane. The cross section 82 yz has a cross section 82 yz1 of the first spatial region in the positive direction of the z axis with the y axis as the center, and a cross section 82 yz2 of the second spatial region in the negative direction of the z axis. As the z-axis advances in the positive and negative directions, the width of each cross section in the y-axis direction increases proportionally.
FIG. 4C is a cross-sectional view of the space division region in the xz plane. Section 82 xz, along with a cross-section 82 xz1 the first spatial region in the positive direction of the z axis around the x axis and has a cross-section 82 Xz2 of the second spatial region in the negative direction of the z-axis. As the z axis progresses in the positive and negative directions, the width of each cross section in the x axis direction increases proportionally.

図９は、分割画像領域属性によって定まる空間分割領域のｙｚ平面における断面図である。なお、同図に示す空間分割領域は、図８に示した空間分割領域と異なるものであるため、異なる符号を付している。また、図９の説明においては、要素レンズをピンホールにモデル化して説明する。同図に示す空間分割領域は、ｘ軸に平行な４枚の平面ａ，ｂ，ｃ，ｄで仕切られる空間である。つまり、その空間分割領域のｙｚ平面における断面９１ｙｚは、同図における平面ａより下で且つ平面ｂより上の領域と、平面ｃより下で且つ平面ｄより上の領域とを合わせたものである。同図において、分割画像領域に対応するピンホールのうち、ｙ軸上負方向の端にあるピンホール９２のｙ座標値はＲＶ・ｍＬであり、ｙ軸上正方向の端にあるピンホール９３のｙ座標値はＲＶ・ｍＨである。
また、ピンホール９２に対応する要素画像を表示部２１に表示させてピンホール９２を通して投影させたときの、ピンホール９２から要素画像に向かう角度をθとすると、この角度θは、平面ａと平面ｃとが交わるときにｙｚ平面上でなす角度である。同様に、ピンホール９３に対応する要素画像を表示部２１に表示させてピンホール９３を通して投影させたときの、ピンホール９３から要素画像に向かう角度もθであり、この角度θは、平面ｂと平面ｄとが交わるときにｙｚ平面上でなす角度である。 FIG. 9 is a cross-sectional view in the yz plane of the space division region determined by the division image region attribute. In addition, since the space division area shown in the same figure is different from the space division area shown in FIG. 8, it attaches | subjects a different code | symbol. In the description of FIG. 9, the element lens is described as a pinhole. The space division area shown in the figure is a space partitioned by four planes a, b, c, and d parallel to the x axis. That is, the cross section 91 yz in the yz plane of the space division area is a combination of the area below the plane a and above the plane b in the figure, and the area below the plane c and above the plane d. is there. In the figure, among the pinholes corresponding to the divided image regions, the y-coordinate value of the pinhole 92 at the end in the negative direction on the y-axis is R V · m L , and the pin at the end in the positive direction on the y-axis The y coordinate value of the hole 93 is R V · m H.
In addition, when an element image corresponding to the pinhole 92 is displayed on the display unit 21 and projected through the pinhole 92, θ is an angle from the pinhole 92 toward the element image. An angle formed on the yz plane when the plane c intersects. Similarly, when the element image corresponding to the pinhole 93 is displayed on the display unit 21 and projected through the pinhole 93, the angle from the pinhole 93 toward the element image is θ, and this angle θ is the plane b. Is an angle formed on the yz plane when the plane d intersects with the plane d.

表示部２１の表示面と各要素レンズの中心点を含む面との距離は要素レンズの焦点距離に等しいため、角度θ／２は下記の式（１）のように表される。ここで、ＲＶは、要素レンズであるピンホールのｙ軸方向のピッチであり、Ｆは要素レンズと表示部２１との間隔、すなわち要素レンズの焦点距離である。 Since the distance between the display surface of the display unit 21 and the surface including the center point of each element lens is equal to the focal length of the element lens, the angle θ / 2 is expressed by the following equation (1). Here, RV is the pitch in the y-axis direction of the pinhole that is the element lens, and F is the distance between the element lens and the display unit 21, that is, the focal length of the element lens.

Figure 0005384404
Figure 0005384404

なお、上記の平面ａ，ｂ，ｃ，ｄは、それぞれ、下記の式（２）から式（５）までにより表される。   The planes a, b, c, and d are represented by the following formulas (2) to (5), respectively.

Figure 0005384404
Figure 0005384404

Figure 0005384404
Figure 0005384404

Figure 0005384404
Figure 0005384404

Figure 0005384404
Figure 0005384404

図１０は、分割画像領域属性によって定まる空間分割領域のｘｚ平面における断面図である。なお、同図の説明においても、要素レンズをピンホールにモデルして説明する。同図に示す空間分割領域は、ｙ軸に平行な４枚の平面ｅ，ｆ，ｇ，ｈで仕切られる空間である。つまり、その空間分割領域のｘｚ平面における断面１０１ｘｚは、同図における平面ｅより下で且つ平面ｆより上の領域と、平面ｇより下で且つ平面ｈより上の領域とを合わせたものである。同図において、分割画像領域に対応するピンホールのうち、ｘ軸上負方向の端にあるピンホール１０２のｘ座標値はＲＨ・ｎＬであり、ｘ軸上正方向の端にあるピンホール１０３のｘ座標値はＲＨ・ｎＨである。
また、ピンホール１０２に対応する要素画像を表示部２１に表示させてピンホール１０２を通して投影させたときの、ピンホール１０２から要素画像に向かう角度をφとすると、この角度φは、平面ｆと平面ｈとが交わるときにｘｚ平面上でなす角度である。同様に、ピンホール１０３に対応する要素画像を表示部２１に表示させてピンホール１０３を通して投影させたときの、ピンホール１０３から要素画像に向かう角度もφであり、この角度φは、平面ｅと平面ｇとが交わるときにｘｚ平面上でなす角度である。 FIG. 10 is a cross-sectional view in the xz plane of a space division region determined by the division image region attribute. In the description of the figure, the element lens is described as a pinhole. The space division area shown in the figure is a space partitioned by four planes e, f, g, and h parallel to the y axis. That is, the cross section 101 xz in the xz plane of the space division area is a combination of the area below the plane e and above the plane f in the same figure and the area below the plane g and above the plane h. is there. In the figure, among the pinholes corresponding to the divided image regions, the x-coordinate value of the pinhole 102 at the end in the negative direction on the x-axis is R H · n L , and the pin at the end in the positive direction on the x-axis The x coordinate value of the hole 103 is R H · n H.
Further, when an element image corresponding to the pinhole 102 is displayed on the display unit 21 and projected through the pinhole 102, when an angle from the pinhole 102 toward the element image is φ, the angle φ is equal to the plane f. The angle formed on the xz plane when the plane h intersects. Similarly, when an element image corresponding to the pinhole 103 is displayed on the display unit 21 and projected through the pinhole 103, the angle from the pinhole 103 toward the element image is also φ, and this angle φ is the plane e. Is an angle formed on the xz plane when the plane and the plane g intersect.

表示部２１の表示面と各要素レンズの中心点を含む面との距離は要素レンズの焦点距離に等しいため、角度φ／２は下記の式（６）のように表される。ここで、ＲＨは、要素レンズであるピンホールのｘ軸方向のピッチであり、Ｆは要素レンズと表示部２１との間隔、すなわち要素レンズの焦点距離である。 Since the distance between the display surface of the display unit 21 and the surface including the center point of each element lens is equal to the focal length of the element lens, the angle φ / 2 is expressed by the following equation (6). Here, RH is the pitch in the x-axis direction of the pinhole that is the element lens, and F is the distance between the element lens and the display unit 21, that is, the focal length of the element lens.

Figure 0005384404
Figure 0005384404

なお、上記の平面ｅ，ｆ，ｇ，ｈは、それぞれ、下記の式（７）から式（１０）までにより表される。   The planes e, f, g, and h are represented by the following formulas (7) to (10), respectively.

Figure 0005384404
Figure 0005384404

Figure 0005384404
Figure 0005384404

Figure 0005384404
Figure 0005384404

Figure 0005384404
Figure 0005384404

次に、第１実施形態における分散処理システム１０の動作について説明する。図１１は、分散処理システム１０におけるサーバ装置１および要素画像生成装置２の処理手順を示すフローチャートである。なお、このフローチャートでは、要素画像生成装置２−１〜２−７のうち１台のみを要素画像生成装置２として示している。
まず、同図におけるサーバ装置１の処理手順について説明する。ステップＳ１０１において、三次元オブジェクトデータ供給部１０２は、三次元オブジェクトデータ記憶部１０１から三次元オブジェクトデータを読み込み、その三次元オブジェクトデータを要素画像生成装置２に供給する。 Next, the operation of the distributed processing system 10 in the first embodiment will be described. FIG. 11 is a flowchart illustrating a processing procedure of the server device 1 and the element image generation device 2 in the distributed processing system 10. In this flowchart, only one of the element image generation apparatuses 2-1 to 2-7 is shown as the element image generation apparatus 2.
First, the processing procedure of the server device 1 in FIG. In step S <b> 101, the 3D object data supply unit 102 reads the 3D object data from the 3D object data storage unit 101 and supplies the 3D object data to the element image generation device 2.

次に、ステップＳ１０２において、画像領域分割部１０４は、立体画像表示装置パラメータ記憶部１０３からパラメータを読み込むとともに、当該画像領域分割部１０４が記憶している要素画像生成装置２の台数の値“７”を読み出す。次に、画像領域分割部１０４は、パラメータと分散処理させる要素画像生成装置２の台数の値とに基づいて、フレーム画像の領域を要素画像の領域に対応させて当該台数分の分割画像領域に分割する。そして、画像領域分割部１０４は、前述したように、分散処理させる要素画像生成装置２に対応させて、分割画像領域に含まれる要素レンズおよび要素画像の二次元の並び番号を選択し、その二次元の並び番号とパラメータとを含めた分割画像領域属性を生成する。   Next, in step S <b> 102, the image region dividing unit 104 reads parameters from the stereoscopic image display device parameter storage unit 103, and the value “7” of the number of elemental image generation devices 2 stored in the image region dividing unit 104. "Is read out. Next, based on the parameters and the value of the number of element image generation devices 2 to be distributed, the image area dividing unit 104 associates the area of the frame image with the area of the element image to form the divided image areas corresponding to the number. To divide. Then, as described above, the image region dividing unit 104 selects the two-dimensional array numbers of the element lens and the element image included in the divided image region in correspondence with the element image generation device 2 to be distributed, and the two. A divided image area attribute including a dimension array number and a parameter is generated.

次に、ステップＳ１０３において、分割画像領域属性供給部１０５は、分割画像領域属性を各要素画像生成装置２に供給する。
ステップＳ１０４において、要素画像群取得部１０６は、分散処理させた要素画像生成装置２から供給される分割要素画像群を取得する。
次に、ステップＳ１０５において、分割要素画像群結合部１０７は、分割要素画像群のデータを結合してフレーム画像全体における要素画像群を生成し、この要素画像群を要素画像群記憶部１０８に記憶する。 Next, in step S <b> 103, the divided image region attribute supply unit 105 supplies the divided image region attributes to each element image generation device 2.
In step S <b> 104, the element image group acquisition unit 106 acquires a divided element image group supplied from the element image generation apparatus 2 subjected to the distributed processing.
Next, in step S105, the divided element image group combining unit 107 combines the data of the divided element image groups to generate an element image group in the entire frame image, and stores this element image group in the element image group storage unit 108. To do.

次に、図１１における要素画像生成装置２の処理手順について説明する。ステップＳ１１１において、三次元オブジェクトデータ取得部２０１は、サーバ装置１から供給された三次元オブジェクトデータを取得し、この三次元オブジェクトデータを三次元オブジェクトデータ記憶部２０２に記憶する。
ステップＳ１１２において、分割画像領域属性取得部２０３は、サーバ装置１から供給される分割画像領域属性を取得する。この分割画像領域属性は、レンズアレイ２２に含まれる要素レンズの焦点距離Ｆと、レンズアレイ２２における水平方向の要素レンズのピッチＲＨと、垂直方向の要素レンズのピッチＲＶと、分割画像領域に対応する要素レンズおよび要素画像ＥＩの二次元の並び番号とを含む。
次に、ステップＳ１１３において、分割三次元オブジェクトデータ抽出部２０５は、三次元オブジェクトデータ記憶部２０２から三次元オブジェクトデータを読み込み、その三次元オブジェクトデータと、分割画像領域属性取得部２０３から供給された分割画像領域属性によって規定される空間分割領域計算部２０４が計算した空間分割領域とに基づいて、分割三次元オブジェクトデータ抽出処理を実行し、分割三次元オブジェクトデータを抽出する。この分割三次元オブジェクトデータ抽出処理については後述する。 Next, a processing procedure of the element image generation apparatus 2 in FIG. 11 will be described. In step S <b> 111, the three-dimensional object data acquisition unit 201 acquires the three-dimensional object data supplied from the server device 1 and stores the three-dimensional object data in the three-dimensional object data storage unit 202.
In step S <b> 112, the divided image region attribute acquisition unit 203 acquires the divided image region attribute supplied from the server device 1. This divided image area attribute includes the focal length F of the element lens included in the lens array 22, the pitch RH of the element lens in the horizontal direction in the lens array 22, the pitch R V of the element lens in the vertical direction, and the divided image area. And the two-dimensional array number of the element image EI.
Next, in step S113, the divided three-dimensional object data extraction unit 205 reads the three-dimensional object data from the three-dimensional object data storage unit 202, and is supplied from the three-dimensional object data and the divided image region attribute acquisition unit 203. Based on the space division area calculated by the space division area calculation unit 204 defined by the divided image area attribute, a divided three-dimensional object data extraction process is executed to extract divided three-dimensional object data. This divided three-dimensional object data extraction process will be described later.

次に、ステップＳ１１４において、分割要素画像群生成部２０６は、パラメータと分割三次元オブジェクトデータが示すポリゴンとに基づいて、分割画像領域に対応する分割要素画像群を生成する。具体的には、例えば、分割要素画像群生成部２０６は、公知の光線追跡法によって分割要素画像群を生成する。また、分割要素画像群生成部２０６は、例えば、分割画像領域に対応する分割要素画像群の画素ごとに、この画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成し、この単位ベクトルと要素レンズの焦点距離とに基づいて仮想カメラの位置および撮影方向を算出する。そして、分割要素画像群生成部２０６は、仮想カメラの位置および撮影方向を基準として三次元オブジェクトを投影変換することによって仮想撮影画像を生成し、この仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値とする。この分割要素画像群の生成処理の詳細は、特開２００９−１７５８６６号公報に開示されている。
次に、ステップＳ１１５において、分割要素画像群供給部２０７は、分割要素画像群生成部２０６が生成した分割要素画像群をサーバ装置１に供給する。 Next, in step S114, the divided element image group generation unit 206 generates a divided element image group corresponding to the divided image area based on the parameter and the polygon indicated by the divided three-dimensional object data. Specifically, for example, the divided element image group generation unit 206 generates a divided element image group by a known ray tracing method. Further, the divided element image group generation unit 206 generates a unit vector for the pinhole position of the element lens corresponding to the element image from this pixel position, for example, for each pixel of the divided element image group corresponding to the divided image area, Based on the unit vector and the focal length of the element lens, the position and shooting direction of the virtual camera are calculated. Then, the divided element image group generation unit 206 generates a virtual photographed image by projecting and transforming the three-dimensional object with reference to the position and the photographing direction of the virtual camera, and the pixel value of the center pixel of the virtual photographed image is determined as a virtual value. The pixel values of the pixels corresponding to the camera position and the pinhole position in the shooting direction are used. Details of the generation processing of the divided element image group are disclosed in Japanese Patent Laid-Open No. 2009-175866.
Next, in step S <b> 115, the divided element image group supply unit 207 supplies the divided element image group generated by the divided element image group generation unit 206 to the server device 1.

次に、分割三次元オブジェクトデータ抽出部２０５が実行する分割三次元オブジェクトデータ抽出処理について説明する。図１２は、分割三次元オブジェクトデータ抽出部２０５が実行する分割三次元オブジェクトデータ抽出処理の手順を示すフローチャートである。分割三次元オブジェクトデータ抽出部２０５は、分割画像領域属性取得部２０３から分割画像領域属性の供給を受け、三次元オブジェクトデータ記憶部２０２から三次元オブジェクトデータを読み込むと同図のフローチャートの処理を開始する。   Next, the divided 3D object data extraction process executed by the divided 3D object data extraction unit 205 will be described. FIG. 12 is a flowchart showing the procedure of the divided 3D object data extraction process executed by the divided 3D object data extraction unit 205. The divided 3D object data extraction unit 205 receives the supply of the divided image area attribute from the divided image area attribute acquisition unit 203 and starts the processing of the flowchart of FIG. 5 when reading the 3D object data from the 3D object data storage unit 202. To do.

まず、ステップＳ１２１において、分割三次元オブジェクトデータ抽出部２０５は、三次元オブジェクトデータの頂点属性データから１個のレコードを取り込む。
次に、ステップＳ１２２において、分割三次元オブジェクトデータ抽出部２０５は、レコードに含まれる座標値が空間分割領域内にあるか否かを判定する。つまり、分割三次元オブジェクトデータ抽出部２０５は、座標値を（ｐｘ，ｐｙ，ｐｚ）としたときに、式（２）から（５）までと式（７）から（１０）までとを用いて規定される空間分割領域内に座標値（ｐｘ，ｐｙ，ｐｚ）が含まれるか否かを判定する。 First, in step S121, the divided three-dimensional object data extraction unit 205 takes in one record from the vertex attribute data of the three-dimensional object data.
Next, in step S122, the divided three-dimensional object data extraction unit 205 determines whether or not the coordinate value included in the record is within the space division area. That is, the divided three-dimensional object data extraction unit 205 takes the expressions (2) to (5) and the expressions (7) to (10) when the coordinate values are (p x , p y , p z ). It is determined whether or not the coordinate values (p x , p y , p z ) are included in the space division area defined by using.

具体的には、分割三次元オブジェクトデータ抽出部２０５は、あらかじめ、ｘ＝ｐｘ，ｚ＝ｐｚとして式（２）によりｙａを計算し、ｘ＝ｐｘ，ｚ＝ｐｚとして式（３）によりｙｂを計算し、ｘ＝ｐｘ，ｚ＝ｐｚとして式（４）によりｙｃを計算し、ｘ＝ｐｘ，ｚ＝ｐｚとして式（５）によりｙｄを計算し、ｙ＝ｐｙ，ｚ＝ｐｚとして式（７）によりｘｅを計算し、
ｙ＝ｐｙ，ｚ＝ｐｚとして式（８）によりｘｆを計算し、ｙ＝ｐｙ，ｚ＝ｐｚとして式（９）によりｘｇを計算し、ｙ＝ｐｙ，ｚ＝ｐｚとして式（１０）によりｘｈを計算する。そして、分割三次元オブジェクトデータ抽出部２０５は、第１の判定条件である、（ｐｚ＜０） ∩ （ｐｙ≧ｙａ） ∩ （ｐｙ≦ｙｂ） ∩ （ｐｘ≦ｘｅ） ∩ （ｐｘ≧ｘｆ）と、第２の判定条件である、（ｐｚ≧０） ∩ （ｐｙ≧ｙｃ） ∩ （ｐｙ≦ｙｄ） ∩ （ｐｘ≦ｘｇ） ∩ （ｐｘ≧ｘｈ）とのうちいずれかの判定条件を満たすか否かを判定する。 Specifically, dividing the three-dimensional object data extracting unit 205 in advance, x = p x, a y a calculated by Equation (2) as z = p z, x = p x, equation as z = p z ( 3) y b is calculated, x = p x , z = p z is used to calculate y c using equation (4), and x = p x , z = p z is used to calculate y d using equation (5). the x e calculated by equation (7) as y = p y, z = p z,
y = p y, a x f calculated by Equation (8) as z = p z, and x g calculated by the equation (9) as y = p y, z = p z, y = p y, z = p calculating the x h by the equation (10) as z. Then, split the three-dimensional object data extraction unit 205, a first determination condition, (p z <0) ∩ (p y ≧ y a) ∩ (p y ≦ y b) ∩ (p x ≦ x e) ∩ (p x ≧ x f ) and the second determination condition (p z ≧ 0) ∩ ( py ≧ y c ) ∩ ( py ≦ y d ) ∩ (p x ≦ x g ) ∩ ( It is determined whether or not one of the determination conditions of p x ≧ x h ) is satisfied.

次に、ステップＳ１２３において、分割三次元オブジェクトデータ抽出部２０５は、座標値が空間分割領域内にあると判定した場合（Ｓ１２３：ＹＥＳ）はステップＳ１２４の処理に移り、座標値が空間分割領域内にないと判定した場合（Ｓ１２３：ＮＯ）はステップＳ１２５の処理に移る。
ステップＳ１２４において、分割三次元オブジェクトデータ抽出部２０５は、レコードの頂点インデックスを分割三次元オブジェクトデータ抽出部２０５の記憶部に記憶する。
ステップＳ１２５において、分割三次元オブジェクトデータ抽出部２０５は、頂点属性データに判定処理を行っていない他のレコードがあるか否かを判定し、他のレコードがあると判定した場合（Ｓ１２５：ＹＥＳ）はステップＳ１２１の処理に戻り、他のレコードがないと判定した場合（Ｓ１２５：ＮＯ）はステップＳ１２６の処理に移る。 Next, in step S123, when the divided three-dimensional object data extraction unit 205 determines that the coordinate value is within the space division area (S123: YES), the process proceeds to step S124, and the coordinate value is within the space division area. If it is determined that it is not present (S123: NO), the process proceeds to step S125.
In step S <b> 124, the divided 3D object data extraction unit 205 stores the vertex index of the record in the storage unit of the divided 3D object data extraction unit 205.
In step S125, the divided three-dimensional object data extraction unit 205 determines whether there is another record that has not been subjected to the determination process in the vertex attribute data, and determines that there is another record (S125: YES). Returns to the process of step S121, and when it is determined that there is no other record (S125: NO), the process proceeds to step S126.

ステップＳ１２６において、分割三次元オブジェクトデータ抽出部２０５は、記憶部に記憶された頂点インデックスと、三次元オブジェクトデータのポリゴンデータとに基づいて、空間分割領域に属するポリゴンのポリゴンインデックスを抽出する。具体的には、分割三次元オブジェクトデータ抽出部２０５は、ポリゴンデータのレコードごとに、頂点インデックスセットの３個の頂点インデックスが記憶部に記憶された頂点インデックスに含まれるか否かを判定し、３個の頂点インデックスのうちいずれか１個でも含まれるものがあると判定した場合は、そのレコードを抽出する。すなわち、本実施形態では、分割三次元オブジェクトデータ抽出部２０５は、ポリゴンの３個の頂点のうちいずれか１個の頂点が空間分割領域に含まれる場合に、当該ポリゴンがその空間分割領域に属すると判定する。   In step S126, the divided 3D object data extraction unit 205 extracts the polygon index of the polygon belonging to the space division region based on the vertex index stored in the storage unit and the polygon data of the 3D object data. Specifically, the divided three-dimensional object data extraction unit 205 determines whether the three vertex indexes of the vertex index set are included in the vertex index stored in the storage unit for each polygon data record, If it is determined that any one of the three vertex indexes is included, the record is extracted. In other words, in this embodiment, the divided 3D object data extraction unit 205, when any one of the three vertices of the polygon is included in the space division area, the polygon belongs to the space division area. Is determined.

次に、ステップＳ１２７において、分割三次元オブジェクトデータ抽出部２０５は、ステップＳ１２６の処理において得られたすべてのポリゴンに含まれる頂点の集合を、重複しないように抽出し、そしてそれらのすべての頂点に対応するレコードを頂点属性データから抽出する。そして、分割三次元オブジェクトデータ抽出部２０５は、ステップＳ１２６の処理において抽出したポリゴンデータのレコードの集合と、当該ステップＳ１２７の処理において抽出した頂点属性データのレコードの集合とを求めて本フローチャートの処理を終了する。   Next, in step S127, the divided three-dimensional object data extraction unit 205 extracts a set of vertices included in all the polygons obtained in the process of step S126 so as not to overlap, and sets all the vertices to those vertices. The corresponding record is extracted from the vertex attribute data. Then, the divided three-dimensional object data extraction unit 205 obtains a set of polygon data records extracted in the process of step S126 and a set of vertex attribute data records extracted in the process of step S127, and performs the processing of this flowchart. Exit.

よって、分割三次元オブジェクトデータ抽出部２０５が実行する分割三次元オブジェクトデータ抽出処理により、ポリゴンに含まれる複数の頂点それぞれの三次元座標値および色データを示す三次元オブジェクトデータから、分割画像領域の範囲とこの分割画像領域に対応する要素レンズ群の範囲と要素レンズの焦点距離とによって定まる空間分割領域に含まれる頂点を有するポリゴンおよび色データを抽出することができる。   Therefore, by the divided 3D object data extraction processing executed by the divided 3D object data extraction unit 205, the 3D object data indicating the 3D coordinate values and the color data of each of the plurality of vertices included in the polygon is converted into the divided image area. It is possible to extract polygons and color data having vertices included in a spatial division region determined by the range, the range of the element lens group corresponding to the division image region, and the focal length of the element lens.

本実施形態では、要素画像生成装置２−１〜２−７それぞれは、サーバ装置１から供給される分割画像領域属性に基づいて空間分割領域を規定し、分割要素画像群を生成するために必要な分割三次元オブジェクトデータを三次元オブジェクトデータから取得するようにした。よって、本実施形態によれば、要素画像生成装置２−１〜２−７それぞれは、必要最小限の負荷で分割要素画像群を生成することができる。よって、要素画像生成装置２−１〜２−７それぞれは、分割要素画像群の生成処理を高速に行うことができる。   In the present embodiment, each of the element image generation apparatuses 2-1 to 2-7 is necessary for defining a spatial division area based on the division image area attribute supplied from the server apparatus 1 and generating a division element image group. 3D object data is obtained from 3D object data. Therefore, according to the present embodiment, each of the element image generation apparatuses 2-1 to 2-7 can generate a divided element image group with a minimum necessary load. Therefore, each of the element image generation apparatuses 2-1 to 2-7 can perform the generation process of the divided element image group at high speed.

［第２の実施の形態］
次に、本発明の第２実施形態である分割三次元オブジェクトデータ抽出装置と要素画像生成装置とが適用された分散処理システムについて説明する。本実施形態の説明において、上述の第１実施形態と同一の構成については、その構成と同一の構成名とするとともに同一の符号を付し、その説明を省略する。
図１３は、本実施形態における分散処理システムの概略のシステム構成図である。同図に示すように、分散処理システム１０ａは、ネットワーク３を介してサーバ装置１ａと７台の要素画像生成装置２ａ（要素画像生成装置２ａ−１〜２ａ−７）とをそれぞれ接続した構成を有している。 [Second Embodiment]
Next, a distributed processing system to which the divided three-dimensional object data extraction device and the element image generation device according to the second embodiment of the present invention are applied will be described. In the description of the present embodiment, the same configuration as that of the first embodiment described above has the same configuration name as that of the configuration and the same reference numeral is assigned, and the description thereof is omitted.
FIG. 13 is a schematic system configuration diagram of the distributed processing system according to the present embodiment. As shown in the figure, the distributed processing system 10a has a configuration in which a server device 1a and seven element image generation devices 2a (element image generation devices 2a-1 to 2a-7) are connected via a network 3, respectively. Have.

サーバ装置１ａは、三次元オブジェクトデータを記憶する装置であり、例えばコンピュータ装置である。また、サーバ装置１ａは、インテグラル・フォトグラフィ方式による立体画像表示装置（不図示）に表示させるフレーム画像の画像領域を分割する。そして、サーバ装置１ａは、分割した各分割画像領域に対応する空間分割領域を計算し、各空間分割領域に対応させて三次元オブジェクトデータを分割する。そして、サーバ装置１ａは、分割して得た各分割三次元オブジェクトデータを要素画像生成装置２ａ−１〜２ａ−７それぞれに供給する。また、サーバ装置１ａは、要素画像生成装置２ａ−１〜２ａ−７それぞれから取得した分割要素画像群を結合し、立体画像表示装置の１フレーム画像分の要素画像群を生成して記憶する。   The server device 1a is a device that stores three-dimensional object data, and is, for example, a computer device. In addition, the server device 1a divides an image region of a frame image to be displayed on a stereoscopic image display device (not shown) by the integral photography method. Then, the server device 1a calculates a space division area corresponding to each divided image area, and divides the three-dimensional object data corresponding to each space division area. Then, the server device 1a supplies each divided three-dimensional object data obtained by the division to the element image generation devices 2a-1 to 2a-7. Further, the server device 1a combines the divided element image groups acquired from the element image generation devices 2a-1 to 2a-7, and generates and stores an element image group for one frame image of the stereoscopic image display device.

要素画像生成装置２ａは、分割要素画像群を生成する装置であり、例えばコンピュータ装置である。要素画像生成装置２ａは、サーバ装置１ａから分割三次元オブジェクトデータを取得する。また、要素画像生成装置２ａは、取得した分割三次元オブジェクトデータに基づいて分割要素画像群を生成し、その分割要素画像群をサーバ装置１ａに供給する。   The element image generation device 2a is a device that generates a group of divided element images, and is, for example, a computer device. The element image generation device 2a acquires the divided three-dimensional object data from the server device 1a. The element image generation device 2a generates a divided element image group based on the acquired divided three-dimensional object data, and supplies the divided element image group to the server device 1a.

本実施形態における立体画像表示装置は、第１実施形態における立体画像表示装置と同一である。   The stereoscopic image display device in the present embodiment is the same as the stereoscopic image display device in the first embodiment.

次に、サーバ装置１ａの機能構成について説明する。図１４は、サーバ装置１ａの機能構成を示すブロック図である。同図に示すように、サーバ装置１ａは、三次元オブジェクトデータ記憶部１０１と、立体画像表示装置パラメータ記憶部１０３と、画像領域分割部１０４と、分割要素画像群取得部１０６と、分割要素画像群結合部１０７と、要素画像群記憶部１０８と、分割三次元オブジェクトデータ抽出部１１０と、分割三次元オブジェクトデータ供給部１１１とを備える。   Next, the functional configuration of the server device 1a will be described. FIG. 14 is a block diagram illustrating a functional configuration of the server apparatus 1a. As shown in the figure, the server device 1a includes a three-dimensional object data storage unit 101, a stereoscopic image display device parameter storage unit 103, an image region division unit 104, a division element image group acquisition unit 106, and a division element image. A group combining unit 107, an element image group storage unit 108, a divided three-dimensional object data extraction unit 110, and a divided three-dimensional object data supply unit 111 are provided.

分割三次元オブジェクトデータ抽出部１１０は、三次元オブジェクトデータ記憶部１０１に記憶された三次元オブジェクトデータと、画像領域分割部１０４が生成した分割画像領域属性によって規定される各空間分割領域とに基づいて、三次元オブジェクトデータを分割して複数の分割三次元オブジェクトデータを抽出する。なお、分割三次元オブジェクトデータ抽出部１１０は、不図示の記憶部を備えている。
分割三次元オブジェクトデータ供給部１１１は、分割三次元オブジェクトデータ抽出部１１０が抽出した各分割三次元オブジェクトデータをパラメータとともに要素画像生成装置２ａ−１〜２ａ−７それぞれに供給する。 The divided three-dimensional object data extracting unit 110 is based on the three-dimensional object data stored in the three-dimensional object data storage unit 101 and each spatial divided region defined by the divided image region attribute generated by the image region dividing unit 104. Then, the three-dimensional object data is divided to extract a plurality of divided three-dimensional object data. The divided 3D object data extraction unit 110 includes a storage unit (not shown).
The divided three-dimensional object data supply unit 111 supplies each divided three-dimensional object data extracted by the divided three-dimensional object data extraction unit 110 to the element image generation apparatuses 2a-1 to 2a-7 together with parameters.

次に、要素画像生成装置２ａの機能構成について説明する。図１５は、要素画像生成装置２ａの機能構成を示すブロック図である。同図に示すように、要素画像生成装置２ａは、分割三次元オブジェクトデータ取得部２０８と、分割要素画像群生成部２０６と、分割要素画像群供給部２０７とを備える。
分割三次元オブジェクトデータ取得部２０８は、サーバ装置１ａから供給されるパラメータと分割三次元オブジェクトデータとを取得する。 Next, the functional configuration of the element image generation device 2a will be described. FIG. 15 is a block diagram illustrating a functional configuration of the element image generation device 2a. As shown in the figure, the element image generation device 2a includes a divided three-dimensional object data acquisition unit 208, a divided element image group generation unit 206, and a divided element image group supply unit 207.
The divided 3D object data acquisition unit 208 acquires parameters and divided 3D object data supplied from the server device 1a.

次に、第２実施形態における分散処理システム１０ａの動作について説明する。図１６は、分散処理システム１０ａにおけるサーバ装置１ａおよび要素画像生成装置２ａの処理手順を示すフローチャートである。なお、このフローチャートでは、要素画像生成装置２ａ−１〜２ａ−７のうち１台のみを要素画像生成装置２ａとして示している。
まず、同図におけるサーバ装置１ａの処理手順について説明する。ステップＳ２０１において、画像領域分割部１０４は、立体画像表示装置パラメータ記憶部１０３からパラメータを読み込むとともに、当該画像領域分割部１０４が記憶している要素画像生成装置２ａの台数の値“７”を読み出す。次に、画像領域分割部１０４は、パラメータと分散処理させる要素画像生成装置２ａの台数の値とに基づいて、フレーム画像の領域を要素画像の領域に対応させて当該台数分の分割画像領域に分割する。そして、画像領域分割部１０４は、前述したように、分散処理させる要素画像生成装置２ａに対応させて、分割画像領域に含まれる要素レンズおよび要素画像の二次元の並び番号選択し、その二次元の並び番号とパラメータとを含めた分割画像領域属性を生成して分割三次元オブジェクトデータ抽出１１０に供給する。 Next, the operation of the distributed processing system 10a in the second embodiment will be described. FIG. 16 is a flowchart showing a processing procedure of the server apparatus 1a and the element image generation apparatus 2a in the distributed processing system 10a. In this flowchart, only one of the element image generation devices 2a-1 to 2a-7 is shown as the element image generation device 2a.
First, the processing procedure of the server device 1a in FIG. In step S <b> 201, the image region dividing unit 104 reads parameters from the stereoscopic image display device parameter storage unit 103 and reads the value “7” of the number of elemental image generation devices 2 a stored in the image region dividing unit 104. . Next, based on the parameters and the value of the number of element image generation devices 2a to be distributed, the image area dividing unit 104 associates the area of the frame image with the area of the element image to form the divided image areas corresponding to the number of elements. To divide. Then, as described above, the image region dividing unit 104 selects the two-dimensional array number of the element lens and the element image included in the divided image region in correspondence with the element image generation device 2a to be distributed, and the two-dimensional A divided image region attribute including the arrangement number and parameter of the image is generated and supplied to the divided three-dimensional object data extraction 110.

次に、ステップＳ２０２において、分割三次元オブジェクトデータ抽出部１１０は、三次元オブジェクトデータ記憶部１０１から三次元オブジェクトデータを読み込み、その三次元オブジェクトデータと画像領域分割部１０４から供給された分割画像領域属性によって規定される空間分割領域とに基づいて、分割三次元オブジェクトデータ抽出処理を実行し、分割三次元オブジェクトデータを抽出する。この分割三次元オブジェクトデータ抽出処理は、第１実施形態における処理と同一である。
次に、ステップＳ２０３において、分割三次元オブジェクトデータ供給部１１１は、分割三次元オブジェクトデータを各要素画像生成装置２ａに供給する。
ステップＳ２０４において、要素画像群取得部１０６は、分散処理させた要素画像生成装置２ａから供給される分割要素画像群を取得する。
次に、ステップＳ２０５において、分割要素画像群結合部１０７は、分割要素画像群のデータを結合してフレーム画像全体における要素画像群を生成し、この要素画像群を要素画像群記憶部１０８に記憶する。 Next, in step S <b> 202, the divided 3D object data extraction unit 110 reads the 3D object data from the 3D object data storage unit 101, and the divided image area supplied from the 3D object data and the image area dividing unit 104. Based on the space division area defined by the attribute, the divided three-dimensional object data extraction process is executed to extract divided three-dimensional object data. This divided three-dimensional object data extraction process is the same as the process in the first embodiment.
Next, in step S203, the divided 3D object data supply unit 111 supplies the divided 3D object data to each element image generation device 2a.
In step S <b> 204, the element image group acquisition unit 106 acquires a divided element image group supplied from the element image generation apparatus 2 a that has been subjected to distributed processing.
Next, in step S205, the divided element image group combining unit 107 combines the data of the divided element image groups to generate an element image group in the entire frame image, and stores this element image group in the element image group storage unit 108. To do.

次に、図１６における要素画像生成装置２ａの処理手順について説明する。ステップＳ２１１において、分割三次元オブジェクトデータ取得部２０８は、サーバ装置１ａから供給されたパラメータと分割三次元オブジェクトデータとを取得する。
次に、ステップＳ２１２において、分割要素画像群生成部２０６は、パラメータと分割三次元オブジェクトデータとに基づいて、分割画像領域に対応する分割要素画像群を生成する。具体的には、第１実施形態と同様である。
次に、ステップＳ２１３において、分割要素画像群供給部２０７は、分割要素画像群生成部２０６が生成した分割要素画像群をサーバ装置１ａに供給する。 Next, a processing procedure of the element image generation device 2a in FIG. 16 will be described. In step S211, the divided 3D object data acquisition unit 208 acquires the parameters and the divided 3D object data supplied from the server device 1a.
Next, in step S212, the divided element image group generation unit 206 generates a divided element image group corresponding to the divided image area based on the parameters and the divided three-dimensional object data. Specifically, it is the same as in the first embodiment.
Next, in step S213, the divided element image group supply unit 207 supplies the divided element image group generated by the divided element image group generation unit 206 to the server device 1a.

本実施形態では、サーバ装置１ａは、フレーム画像の領域を要素画像生成装置２ａ−１〜２ａ−７の台数分の分割画像領域に分割して各空間分割領域を規定し、分割要素画像群を生成するために必要な部分データ（分割三次元オブジェクトデータ）に三次元オブジェクトデータを分割するようにした。そして、本実施形態では、サーバ装置１ａは、各分割三次元オブジェクトデータを要素画像生成装置２ａ−１〜２ａ−７それぞれに供給するようにした。よって、本実施形態によれば、要素画像生成装置２ａ−１〜２ａ−７それぞれは、必要最小限の負荷で分割要素画像群を生成することができる。よって、要素画像生成装置２ａ−１〜２ａ−７それぞれは、分割要素画像群の生成処理を高速に行うことができる。   In the present embodiment, the server apparatus 1a divides a frame image area into divided image areas corresponding to the number of element image generation apparatuses 2a-1 to 2a-7, defines each space division area, and sets divided element image groups. The 3D object data is divided into partial data (divided 3D object data) necessary for generation. In the present embodiment, the server device 1a supplies each divided three-dimensional object data to each of the element image generation devices 2a-1 to 2a-7. Therefore, according to the present embodiment, each of the element image generation devices 2a-1 to 2a-7 can generate a divided element image group with a minimum load. Therefore, each of the element image generation apparatuses 2a-1 to 2a-7 can perform the generation process of the divided element image group at high speed.

なお、上述した第１実施形態および第２実施形態においては、レンズアレイ２２の要素レンズの配列が俵積型配列である例について説明した。これ以外にも、本発明の実施形態は、レンズアレイの要素レンズの配列が正方格子型配列である場合にも適用できる。図１７は、正方格子型配列のレンズアレイを備える立体画像表示装置の表示出力部の概略の構成を示す図である。同図（ａ）は、表示出力部が要素画像群を表示することにより、立体像を観察できる様子を模式的に示した側面図である。また、同図（ｂ）は、表示出力部に含まれるレンズアレイの表示面側から見た模式的な正面図である。
同図（ｂ）に示すように、レンズアレイ２２ａの要素レンズの配列は正方格子型配列である。レンズアレイ２２ａにおいては、水平方向の要素レンズのピッチＲＨと垂直方向の要素レンズのピッチＲＶとのそれぞれは、要素レンズの直径に等しい。ただし、ピッチＲＨおよびピッチＲＶは、表示部２１の画素ピッチの非整数倍である。 In the first embodiment and the second embodiment described above, the example in which the arrangement of the element lenses of the lens array 22 is a stacked arrangement has been described. In addition to this, the embodiment of the present invention can also be applied to the case where the arrangement of the element lenses of the lens array is a square lattice type arrangement. FIG. 17 is a diagram illustrating a schematic configuration of a display output unit of a stereoscopic image display device including a lens array having a square lattice type arrangement. FIG. 4A is a side view schematically showing how a stereoscopic image can be observed by displaying a group of element images by the display output unit. FIG. 4B is a schematic front view seen from the display surface side of the lens array included in the display output unit.
As shown in FIG. 2B, the arrangement of the element lenses of the lens array 22a is a square lattice type arrangement. In the lens array 22a, each of the pitch R V pitch R H and vertical element lenses in the horizontal direction of the element lenses, equal to the diameter of the element lenses. However, the pitch R H and the pitch R V is a non-integer multiple of the pixel pitch of the display unit 21.

また、第１実施形態では、サーバ装置１が三次元オブジェクトデータ記憶部１０１および三次元オブジェクトデータ供給部１０２を備えていたが、これら三次元オブジェクトデータ記憶部１０１および三次元オブジェクトデータ供給部１０２は、いずれか１台の要素画像生成装置２、またはネットワーク３に接続されるサーバ装置に備えられるものであってもよい。
さらには、三次元オブジェクトデータ記憶部１０１と三次元オブジェクトデータ供給部１０２とが各別の装置に備えられていてもよい。例えば、サーバ装置１が三次元オブジェクトデータ記憶部１０１を備えるとともに要素画像生成装置２−１が三次元オブジェクトデータ供給部１０２を備え、要素画像生成装置２−１の三次元オブジェクトデータ供給部１０２がサーバ装置１の三次元オブジェクトデータ記憶部１０１から三次元オブジェクトデータを読み出して、要素画像生成装置２−１〜２−７に配信するようにしてもよい。 In the first embodiment, the server device 1 includes the three-dimensional object data storage unit 101 and the three-dimensional object data supply unit 102. The three-dimensional object data storage unit 101 and the three-dimensional object data supply unit 102 Any one of the element image generation devices 2 or a server device connected to the network 3 may be provided.
Furthermore, the three-dimensional object data storage unit 101 and the three-dimensional object data supply unit 102 may be provided in different devices. For example, the server device 1 includes the three-dimensional object data storage unit 101, the element image generation device 2-1 includes the three-dimensional object data supply unit 102, and the three-dimensional object data supply unit 102 of the element image generation device 2-1 includes The 3D object data may be read from the 3D object data storage unit 101 of the server device 1 and distributed to the element image generation devices 2-1 to 2-7.

また、要素画像生成装置２は、三次元オブジェクトデータ記憶部２０２を備えない構成としてもよい。つまり、三次元オブジェクトデータ取得部２０１が、取得した三次元オブジェクトデータを分割三次元オブジェクトデータ抽出部２０５に供給し、分割三次元オブジェクトデータ抽出部２０５が、リアルタイムに分割三次元オブジェクトデータを抽出するように要素画像生成装置を構成してもよい。   The element image generation device 2 may be configured not to include the three-dimensional object data storage unit 202. That is, the 3D object data acquisition unit 201 supplies the acquired 3D object data to the divided 3D object data extraction unit 205, and the divided 3D object data extraction unit 205 extracts the divided 3D object data in real time. The element image generation apparatus may be configured as described above.

また、第１実施形態および第２実施形態においては、要素画像生成装置２，２ａの台数がそれぞれ７台である例について説明したが、要素画像生成装置２，２ａそれぞれの台数はそれに限定されるものではない。例えば、要素画像生成装置２，２ａそれぞれの台数は、立体画像表示装置の表示部２１の解像度やレンズアレイ２２の要素レンズ群の規模（個数）等に応じて決められるものであってよい。   In the first embodiment and the second embodiment, the example in which the number of element image generation apparatuses 2 and 2a is 7 has been described. However, the number of element image generation apparatuses 2 and 2a is limited to that. It is not a thing. For example, the number of element image generation apparatuses 2 and 2a may be determined according to the resolution of the display unit 21 of the stereoscopic image display apparatus, the size (number) of element lens groups of the lens array 22, and the like.

また、上述した実施形態である分割三次元オブジェクトデータ抽出装置の少なくとも一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための分割三次元オブジェクトデータ抽出プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された分割三次元オブジェクトデータ抽出プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。   Moreover, you may make it implement | achieve at least one part function of the division | segmentation three-dimensional object data extraction apparatus which is embodiment mentioned above with a computer. In this case, a divided three-dimensional object data extraction program for realizing the function is recorded on a computer-readable recording medium, and the divided three-dimensional object data extraction program recorded on the recording medium is read into a computer system. It may be realized by executing.

また、同様にして、上述した実施形態である要素画像生成装置の少なくとも一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための要素画像生成プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された要素画像生成プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。   Similarly, at least a part of the functions of the element image generation apparatus according to the above-described embodiment may be realized by a computer. In this case, an element image generation program for realizing the function is recorded on a computer-readable recording medium, and the element image generation program recorded on the recording medium is read by the computer system and executed. May be.

なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。   Here, the “computer system” includes an OS (Operating System) and hardware of peripheral devices. The “computer-readable recording medium” refers to a portable recording medium such as a flexible disk, a magneto-optical disk, an optical disk, and a memory card, and a storage device such as a hard disk built in the computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case may be included and a program that holds a program for a certain period of time may be included. Further, the above program may be for realizing a part of the functions described above, or may be realized by a combination with the program already recorded in the computer system. .

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。   As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.

１，１ａ サーバ装置
２，２−１〜２−７，２ａ，２ａ−１〜２ａ−７ 要素画像生成装置
３ ネットワーク
１０，１０ａ 分散処理システム
１０１，２０２ 三次元オブジェクトデータ記憶部
１０２ 三次元オブジェクトデータ供給部
１０３ 立体画像表示装置パラメータ記憶部
１０４ 画像領域分割部
１０５ 分割画像領域属性供給部
１０６ 分割要素画像群取得部
１０７ 分割要素画像群結合部
１０８ 要素画像群記憶部
１１１ 分割三次元オブジェクトデータ供給部
２０１ 三次元オブジェクトデータ取得部
２０３ 分割画像領域属性取得部
１１０，２０５ 分割三次元オブジェクトデータ抽出部
２０６ 分割要素画像群生成部
２０７ 分割要素画像群供給部
２０８ 分割三次元オブジェクトデータ取得部 DESCRIPTION OF SYMBOLS 1,1a Server apparatus 2,2-1 to 2-7,2a, 2a-1 to 2a-7 Element image generation apparatus 3 Network 10,10a Distributed processing system 101,202 Three-dimensional object data storage part 102 Three-dimensional object data Supply unit 103 Stereo image display device parameter storage unit 104 Image region division unit 105 Division image region attribute supply unit 106 Division element image group acquisition unit 107 Division element image group combination unit 108 Element image group storage unit 111 Division three-dimensional object data supply unit DESCRIPTION OF SYMBOLS 201 Three-dimensional object data acquisition part 203 Division | segmentation image area attribute acquisition part 110,205 Division | segmentation three-dimensional object data extraction part 206 Division element image group generation part 207 Division element image group supply part 208 Division | segmentation three-dimensional object data acquisition part

Claims (5)

表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる分割三次元オブジェクトデータを抽出する分割三次元オブジェクトデータ抽出装置であり、
前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値を示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンを抽出する分割三次元オブジェクトデータ抽出部
を備え、
前記所定範囲の前記要素レンズ群が所定の焦点距離を有する要素レンズからなる
ことを特徴とする分割三次元オブジェクトデータ抽出装置。 A divided three-dimensional object data extraction device for extracting divided three-dimensional object data used in a stereoscopic image display device using an integral photography system that displays a frame image as a stereoscopic image through a lens array provided in front of a display unit ,
From the three-dimensional object data indicating the three-dimensional coordinate values of each of a plurality of vertices included in the polygon constituting the stereoscopic image, the image area of the frame image corresponds to a predetermined range of element lens groups included in the lens array. The stereoscopic image in the divided divided image area is plane-symmetric with the first space area with respect to the first space area that can be reproduced by the element lens group in the predetermined range and the surface on which the lens array is arranged. the space division region and a second spatial region comprises a split three-dimensional object data extractor for extracting the polygon that is part of said apex,
The element lens group in the predetermined range includes element lenses having a predetermined focal length.
Dividing the three-dimensional object data extraction device comprising a call. 前記画像領域を複数の分割画像領域に分割し、これら複数の分割画像領域それぞれの範囲を示すデータを前記分割三次元オブジェクトデータ抽出部に供給する画像領域分割部
をさらに備えることを特徴とする請求項１記載の分割三次元オブジェクトデータ抽出装置。 An image area dividing unit that divides the image area into a plurality of divided image areas and supplies data indicating ranges of the plurality of divided image areas to the divided three-dimensional object data extraction unit. Item 3. The divided three-dimensional object data extraction device according to Item 1. 表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる要素画像を生成する要素画像生成装置であり、
前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値および色データを示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンおよび前記色データを抽出する分割三次元オブジェクトデータ抽出部と、
前記分割三次元オブジェクトデータ抽出部が抽出した前記ポリゴンおよび前記色データに基づいて前記分割画像領域に対応する要素画像群を生成する分割要素画像群生成部と、
を備え、
前記所定範囲の前記要素レンズ群が所定の焦点距離を有する要素レンズからなる
ことを特徴とする要素画像生成装置。 An element image generation device that generates an element image used in a stereoscopic image display device using an integral photography system that displays a frame image as a stereoscopic image through a lens array provided in front of the display unit,
From the three-dimensional object data indicating the three-dimensional coordinate values and color data of each of a plurality of vertices included in the polygon constituting the stereoscopic image, the image area of the frame image is converted into an element lens group in a predetermined range included in the lens array. said stereoscopic image in the divided image areas divided in correspondence, a first spatial region reproducible by the element lens group of said predetermined range, said first spatial region to the plane in which the lens array are arranged in the space divided areas consisting of a plane-symmetrical second space region, and dividing the three-dimensional object data extractor for extracting the polygon and the color data the Ru contain vertices,
A dividing element image group generating unit that generates an element image group corresponding to the divided image areas based on the polygon and the color data of the divided three-dimensional object data extraction unit and extracted,
Equipped with a,
The element lens group in the predetermined range includes element lenses having a predetermined focal length.
Element image generating device comprising a call. 表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる分割三次元オブジェクトデータを抽出する分割三次元オブジェクトデータ抽出装置の処理をコンピュータに実行させる分割三次元オブジェクトデータ抽出プログラムであり、
前記コンピュータを、
前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値を示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、所定の焦点距離を有する要素レンズからなる要素レンズ群である前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンを抽出する分割三次元オブジェクトデータ抽出部、
として機能させるための分割三次元オブジェクトデータ抽出プログラム。 Processing of a divided three-dimensional object data extraction device for extracting divided three-dimensional object data used in a stereoscopic image display device using an integral photography system that displays a frame image as a stereoscopic image through a lens array provided in front of the display unit Is a divided three-dimensional object data extraction program that causes a computer to execute
The computer,
From the three-dimensional object data indicating the three-dimensional coordinate values of each of a plurality of vertices included in the polygon constituting the stereoscopic image, the image area of the frame image corresponds to a predetermined range of element lens groups included in the lens array. A first spatial region capable of reproducing the stereoscopic image in the divided divided image region by the element lens group in the predetermined range, which is an element lens group including element lenses having a predetermined focal length, and the lens array wherein the space dividing region dividing a three-dimensional object data extractor for extracting the polygon that is part of said apex comprising a has been the first spatial region to the plane and plane-symmetrical second spatial region,
Divided three-dimensional object data extraction program to function as 表示部の前面に設けられたレンズアレイを通してフレーム画像を立体画像として表示するインテグラル・フォトグラフィ方式による立体画像表示装置において用いられる要素画像を生成する要素画像生成装置の処理をコンピュータに実行させる分割三次元オブジェクトデータ抽出プログラムであり、
前記コンピュータを、
前記立体画像を構成するポリゴンに含まれる複数の頂点それぞれの三次元座標値および色データを示す三次元オブジェクトデータから、前記フレーム画像の画像領域が前記レンズアレイに含まれる所定範囲の要素レンズ群に対応して分割された分割画像領域における前記立体画像を、所定の焦点距離を有する要素レンズからなる要素レンズ群である前記所定範囲の前記要素レンズ群によって再現可能な第１空間領域と、前記レンズアレイが配列された面に対して前記第１空間領域と面対称な第２空間領域とからなる前記空間分割領域に、前記頂点が含まれる前記ポリゴンおよび前記色データを抽出する分割三次元オブジェクトデータ抽出部と、
前記分割三次元オブジェクトデータ抽出部が抽出した前記ポリゴンおよび前記色データに基づいて前記分割画像領域に対応する要素画像群を生成する分割要素画像群生成部、
として機能させるための要素画像生成プログラム。 Division that causes a computer to execute processing of an element image generation device that generates an element image used in a stereoscopic image display device using an integral photography system that displays a frame image as a stereoscopic image through a lens array provided in front of the display unit 3D object data extraction program,
The computer,
From the three-dimensional object data indicating the three-dimensional coordinate values and color data of each of a plurality of vertices included in the polygon constituting the stereoscopic image, the image area of the frame image is converted into an element lens group in a predetermined range included in the lens array. A first spatial region capable of reproducing the stereoscopic image in the corresponding divided image region by the element lens group in the predetermined range, which is an element lens group including element lenses having a predetermined focal length; and the lens in the space divided area with respect to the array are arranged face consisting of the first spatial region and plane-symmetrical second space region, dividing the three-dimensional object for extracting the polygon and the color data the Ru contains vertices and a data extraction unit,
Dividing element image group generating unit that generates an element image group corresponding to the divided image areas based on the polygon and the color data of the divided three-dimensional object data extraction unit and extracted,
Element image generation program to function as
JP2010059320A 2010-03-16 2010-03-16 Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program Expired - Fee Related JP5384404B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010059320A JP5384404B2 (en) 2010-03-16 2010-03-16 Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010059320A JP5384404B2 (en) 2010-03-16 2010-03-16 Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program

Publications (2)

Publication Number Publication Date
JP2011191645A JP2011191645A (en) 2011-09-29
JP5384404B2 true JP5384404B2 (en) 2014-01-08

Family

ID=44796604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010059320A Expired - Fee Related JP5384404B2 (en) 2010-03-16 2010-03-16 Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program

Country Status (1)

Country Link
JP (1) JP5384404B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454793B2 (en) * 2001-03-26 2003-10-06 三洋電機株式会社 Method for generating supply image to three-dimensional image display device
JP4477257B2 (en) * 2001-03-28 2010-06-09 三洋電機株式会社 Supply video generation method for 3D video display device
JP2006287592A (en) * 2005-03-31 2006-10-19 Namco Bandai Games Inc Image generating device, electronic equipment, and image generation method and program
KR100932977B1 (en) * 2005-07-05 2009-12-21 삼성모바일디스플레이주식회사 Stereoscopic video display
JP4928476B2 (en) * 2008-01-22 2012-05-09 日本放送協会 Stereoscopic image generating apparatus, method thereof and program thereof

Also Published As

Publication number Publication date
JP2011191645A (en) 2011-09-29

Similar Documents

Publication Publication Date Title
WO2018147329A1 (en) Free-viewpoint image generation method and free-viewpoint image generation system
JP4803594B2 (en) Apparatus and program for generating free viewpoint image by local region segmentation
CN110675489B (en) Image processing method, device, electronic equipment and storage medium
KR20140100656A (en) Point video offer device using omnidirectional imaging and 3-dimensional data and method
KR20060113514A (en) Image processing apparatus, image processing method, and program and recording medium used therewith
EP0794517B1 (en) Virtual architecture method and apparatus
JP5047124B2 (en) Parts identification image creation apparatus and method, parts identification display apparatus and method, program, and storage medium
JP5871705B2 (en) Image display apparatus, method and program
JP5522794B2 (en) Stereoscopic image generating apparatus and program thereof
JP2016220198A (en) Information processing device, method, and program
JP5452801B2 (en) Stereoscopic image generating apparatus and program thereof
CN116168143A (en) Multi-view three-dimensional reconstruction method
CN109920043A (en) The three-dimensional rendering of virtual 3D object
JP2015184061A (en) Extracting device, method, and program
TWI716874B (en) Image processing apparatus, image processing method, and image processing program
CN113989434A (en) Human body three-dimensional reconstruction method and device
JP2019146155A (en) Image processing device, image processing method, and program
JP5384404B2 (en) Divided three-dimensional object data extraction device, element image generation device, divided three-dimensional object data extraction program, and element image generation program
JP6846165B2 (en) Image generator, image display system and program
JP7374433B2 (en) How to generate three-dimensional shape data of a structure
JP6719168B1 (en) Program, apparatus and method for assigning label to depth image as teacher data
JP5734080B2 (en) Information processing apparatus, processing method thereof, and program
JP2012003520A (en) Three-dimensional printed matter production support device, plug-in program, three-dimensional printed matter production method, and three-dimensional printed matter
WO2019163449A1 (en) Image processing apparatus, image processing method and program
KR101855370B1 (en) Real object-based integral imaging system using polygon object model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131002

R150 Certificate of patent or registration of utility model

Ref document number: 5384404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees