WO2020050222A1 - 画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体 - Google Patents

画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体 Download PDF

Info

Publication number
WO2020050222A1
WO2020050222A1 PCT/JP2019/034453 JP2019034453W WO2020050222A1 WO 2020050222 A1 WO2020050222 A1 WO 2020050222A1 JP 2019034453 W JP2019034453 W JP 2019034453W WO 2020050222 A1 WO2020050222 A1 WO 2020050222A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
color difference
model
color
unit
Prior art date
Application number
PCT/JP2019/034453
Other languages
English (en)
French (fr)
Inventor
恭平 池田
山本　智幸
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2020050222A1 publication Critical patent/WO2020050222A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • One embodiment of the present invention relates to an image reproducing device, an image generating device, an image generating method, a control program, and a recording medium.
  • DynamicFusion In the field of CG, a technique called DynamicFusion for constructing a 3D model (three-dimensional model) by integrating input depths is being studied.
  • the purpose of DynamicFusion is mainly to construct a 3D model in which noise is removed in real time from a captured input depth.
  • an input depth acquired from a sensor is integrated into a common reference 3D model after compensating for deformation of a three-dimensional shape. This enables generation of a precise 3D model from low resolution and high noise depth.
  • Holportation capable of reproducing a 3D color model on an AR (Augmented Reality) space at a remote place.
  • Patent Document 1 discloses a technique of outputting an image of an arbitrary viewpoint by inputting a multi-view color image and a corresponding multi-view depth image at a pixel level.
  • JP-A-2013-30898 Japanese Unexamined Patent Publication
  • the above-described conventional technology has a problem that the traffic volume at the time of transmitting necessary data tends to increase in order to reproduce a target 3D color model with high quality.
  • One embodiment of the present invention has been made in view of the above problems, and has as its object to suppress an increase in traffic volume when transmitting information indicating a 3D color model.
  • an image reproducing apparatus includes a luminance information acquisition unit that acquires luminance information, a color difference information acquisition unit that acquires color difference information, and a 3D shape that generates a 3D shape.
  • a 3D shape generated by the 3D shape generating unit and the 3D shape generated by the 3D shape generating unit by referring to the luminance information acquired by the luminance information acquiring unit and the color difference information acquired by the color difference information acquiring unit, to thereby perform 3D coloring. It has a color model and a 3D color model generation unit that generates the color model.
  • FIG. 2 is a functional block diagram of the display device according to the first embodiment.
  • 5 is a flowchart illustrating an example of an image reproducing method by the display device according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame.
  • FIG. 9 is a diagram illustrating an example of a procedure for determining which color difference camera corresponds to a color difference value to be set.
  • FIG. 9 is a functional block diagram of a display device according to a second embodiment. 9 is a flowchart illustrating an example of an image reproducing method by the display device according to the second embodiment.
  • FIG. 3 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame.
  • FIG. 14 is a functional block diagram of a display device according to a modification of the second embodiment.
  • FIG. 3 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame.
  • FIG. 14 is a functional block diagram of a display device according to a third embodiment.
  • 13 is a flowchart illustrating an example of an image reproducing method by the display device according to the third embodiment.
  • FIG. 3 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame.
  • FIG. 15 is a functional block diagram of a display device according to a modification of the third embodiment.
  • FIG. 3 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame.
  • FIG. 14 is a functional block diagram of a display device according to a fourth embodiment.
  • FIG. 14 is a functional block diagram of an image generation device according to a fifth embodiment.
  • 15 is a flowchart illustrating an example of a method of transmitting each information by the image generation device according to the fifth embodiment.
  • FIG. 15 is a functional block diagram of an image generation device according to a modification of the fifth embodiment.
  • FIGS. 1 A first embodiment of the present invention will be described with reference to FIGS.
  • the display device generates and displays a 3D color model from input data, that is, a 3D model in which at least a part of the surface is colored.
  • the following (1) to (3) are executed as main steps in the image reproducing device provided in the display device according to the present embodiment.
  • the color data that is the basis of the 3D color model is input separately for luminance information and color difference information. Also, depth information is input.
  • FIG. 1 is a functional block diagram of a display device 1 according to the present embodiment. As shown in FIG. 1, the display device 1 includes an image reproducing device 3 and a display unit 21.
  • the image reproduction device 3 is a device that generates a 3D color model, and includes an acquisition unit 5, a 3D shape generation unit 13, and a 3D color model generation unit 15.
  • the acquisition unit 5 also functions as a color difference information acquisition unit 7, a depth information acquisition unit 9, and a luminance information acquisition unit 11, and acquires various types of information from an external device such as an image generation device 100 described below via a network as appropriate.
  • the color difference information acquisition unit 7 acquires color difference information.
  • the color difference information is information including a color difference image and color difference camera information.
  • the color difference image is an image in which color difference values are assigned to each pixel. Also, at least two color difference images correspond to the 3D color model at each time.
  • Color difference camera information is information meaning parameters of a camera that has captured a corresponding color difference image.
  • the parameters include a camera position / posture, a projection type, or a corresponding partial image area indicating a start position and a size of an image to be used.
  • depth camera information luminance camera information
  • texture camera information to be described later.
  • at least two color difference images corresponding to the 3D color model in the same frame are required to have the same color difference camera information under the same conditions.
  • the depth information acquisition unit 9 acquires the depth information.
  • the depth information is information including a depth image (depth map) and depth camera information.
  • the depth image is an image in which each pixel is assigned a depth value. Also, at least one depth image corresponds to the 3D color model at each time.
  • the depth camera information is information indicating parameters of a camera that has captured a corresponding depth image.
  • the luminance information acquisition unit 11 acquires luminance information.
  • the luminance information is information including a luminance image and luminance camera information.
  • the luminance image is an image in which a luminance value is assigned to each pixel. At least one luminance image corresponds to the 3D color model at each time.
  • the luminance value as the pixel value of the luminance image and the color difference value as the pixel value of the chrominance image may be expressed in a YUV format in which Y is a luminance value and U and V are chrominance values. May be expressed in the form of an HSV color system in which H is a luminance value and H and S are color difference values.
  • the 3D shape generation unit 13 generates a 3D shape with reference to the depth information.
  • the 3D shape is a 3D model indicating the shape of a target object.
  • the following format is used.
  • v a three-dimensional vector representing the coordinates of the vertices in the 3D space
  • f the definition of the faces constituting the model
  • Point cloud -Vertex position [v0, v1,..., vn]
  • vc Index / TSDF representation of the occupied voxel (the voxel where the object exists)
  • -TSD [
  • the color mapping unit 17 generates a color difference model by reflecting the color difference information on the 3D shape.
  • the color mapping unit 17 maps the pixel values of the color difference image indicated by the color difference information to the corresponding positions of the 3D shape.
  • the color difference model is a model in which a color difference value is set on at least a part of the surface of the 3D shape. Note that the color difference model does not include information on luminance.
  • the data format of the color difference model has the following format, for example.
  • [mesh] and [point cloud] mean that each color difference model includes information indicating a 3D shape in a mesh format or a point cloud format.
  • FIG. 2 is a flowchart illustrating an example of an image reproducing method by the display device 1 according to the present embodiment.
  • step S101 the acquisition unit 5 acquires depth information, luminance information, and color difference information.
  • FIG. 3 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame acquired by the acquisition unit 5.
  • t 1 to 5 means times corresponding to each frame.
  • each image acquired by the acquisition unit 5 in the present embodiment in other words, each image corresponding to each frame input to the image reproducing device 3 has the number of luminance images equal to the number of chrominance images. The configuration is less than that.
  • the luminance value has less sharp change than the color difference value. Therefore, the luminance can be sufficiently expressed by a luminance image having a smaller number and resolution than the color difference image.
  • step S102 the 3D shape generation unit 13 generates a 3D shape with reference to the depth information.
  • the method by which the 3D shape generation unit 13 generates the 3D shape may be an existing method.
  • step S103 the color mapping unit 17 generates a color difference model by reflecting the color difference information on the 3D shape.
  • the color mapping unit 17 may generate a color difference model in the following steps, for example.
  • the color mapping unit 17 generates a depth image corresponding to an image captured by the depth camera set to the same position and camera parameter as the position and camera parameter of each color difference camera indicated by the input color difference information with reference to the 3D shape. I do. That is, in the depth image, the distance from the color difference camera to the surface of the 3D shape is recorded as a depth value.
  • the color mapping unit 17 The color difference value corresponding to the target pixel position of the color difference image corresponding to the camera is set as the color difference value of the vertex.
  • FIG. 4 is a diagram illustrating an example of a procedure for determining which color difference camera corresponds to a color difference value to a vertex to be subjected to the 3D shape.
  • a case will be described in which one of the color difference value of the pixel position u1 of the color difference camera C1 and the color difference value of the pixel position u2 of the color difference camera C2 is set for the vertices P1 and P2 of the 3D shape 301.
  • the color difference value of the pixel position u1 of the color difference camera C1 is set for the vertex P1
  • the color difference value of the pixel position u2 of the color difference camera C2 is set for the vertex P2.
  • the color difference value of the pixel position u2 of the color difference camera C2 is also a candidate, but the pixel value of the pixel position u2 in the depth image corresponding to the color difference camera C2 generated in the step (1) is The distance between the color difference camera C2 and the vertex P2 is shown, which is inconsistent with the distance between the color difference camera C2 and the vertex P1, so that the color difference value at the pixel position u2 is not selected.
  • a suitable color difference value in consideration of the effect of occlusion can be set for each vertex to be subjected to the 3D shape.
  • step S104 the luminance value adding unit 19 generates a 3D color model by reflecting luminance information on the color difference model.
  • the luminance value adding unit 19 determines whether each of the vertices of the chrominance model has been processed through the generated depth image, for example, in the same manner as the above-described method in which the color mapping unit 17 sets the chrominance values for each of the vertices of the 3D shape. A brightness value may be set. Subsequently, the luminance value adding unit 19 sets a luminance value for the vertex of the color difference model for which the luminance value is not set.
  • the luminance value may be set along the gradation of the luminance value of the peripheral vertex, or may be set to a luminance value corresponding to the brightness of the color difference value set to the corresponding vertex in the input color difference model. Is also good.
  • step S105 the display unit 21 displays the 3D color model input from the image reproducing device 3 on a screen.
  • the processing from step S101 to step S105 is repeatedly and continuously executed until the reproduction of the image on the display device 1 ends.
  • the image reproduction device 3 includes the luminance information acquisition unit 11 that acquires luminance information, the color difference information acquisition unit 7 that acquires color difference information, and the 3D shape generation unit 13 that generates a 3D shape.
  • the 3D shape generated by the 3D shape generation unit 13 is colored with reference to the luminance information acquired by the luminance information acquisition unit 11 and the color difference information acquired by the color difference information acquisition unit 7 to create a 3D color model.
  • a 3D color model generation unit 15 that generates the 3D color model.
  • a part of the image having little effect on the image quality can be reduced, so that an increase in the traffic amount at the time of transmitting the information indicating the 3D color model is suppressed. be able to.
  • the image reproducing device 3 and the like separate the information indicating the approximate color difference, depth or luminance of the 3D color model and the information indicating the detailed color difference, depth or luminance of the 3D color model.
  • a configuration in which data is acquired and processed in separate frames may be used.
  • the image reproducing device 3 or the like acquires a rough depth image corresponding to a human skeleton and a detailed depth image corresponding to a human expression in separate frames. To generate a 3D color model.
  • the images to be processed by the image reproducing device 3 and the like and the image generating device 100 and the like described below may be images in which images corresponding to a plurality of cameras are integrated. Further, information indicating the arrangement of the images may be included in the corresponding camera information. For example, the depth images may be integrated for each position or direction of the corresponding camera, or for each rough depth or detailed depth, and the information indicating the arrangement of each depth image may be the depth information. A configuration included in the camera information may be used.
  • the color data that is the basis of the 3D color model is input separately for luminance information and color difference information. Also, depth information is input.
  • the light source information is information indicating a light source in a 3D space, and is information including, for example, a position and a posture of the light source with respect to a 3D color model, or lightness or color tone of light.
  • FIG. 5 is a functional block diagram of the display device 1a according to the present embodiment.
  • the display device 1a is different from the display device 1 shown in FIG. 1 in that the image reproducing device 3a further includes a light source estimating unit 25, and the 3D color model generating unit 15a includes a lighting / shading unit 23 instead of the luminance value adding unit 19. It is.
  • the light source estimating unit 25 estimates light source information in a 3D space including the 3D shape from each vertex position of the 3D shape and luminance information.
  • the data structure of the light source information has the following format, for example.
  • -Number of light sources n -Light source coordinates: [v0, v1,..., vn] -Light intensity (each color): [I0, I1,..., In] -Light source type: (area light, point light, ambient light)
  • the light source estimating unit 25 sets a luminance value for each vertex of the color difference model in the same manner as the processing of the luminance value adding unit 19 in step S104 of the first embodiment, and determines the light source information from the luminance value and coordinates of each vertex. May be estimated.
  • the light source estimating unit 25 may estimate the light source information in the following steps.
  • a luminance estimation value is calculated from the 3D shape and the point light source provisionally set in (1).
  • the luminance estimation value is a value calculated in the following steps, for example.
  • (A) The 3D shape plane that first intersects with the light beam corresponding to the pixel of the target luminance image, that is, the light beam that irradiates the position indicated by the pixel is determined. In other words, the surface of the 3D shape that first receives the ray is determined.
  • (B) Calculate the intensity of the reflected light observed at the pixel position of the target luminance image from the orientation of the surface, the position of the point light source, and the intensity of the point light source.
  • the lighting / shading unit 23 generates a 3D color model from the color difference model with reference to the light source information.
  • the lighting / shading unit 23 can generate a higher-quality 3D color model by referring to the light source information than when the luminance value adding unit 19 simply refers to the luminance information.
  • the lighting / shading unit 23 may generate a 3D color model in the following procedure, for example.
  • Lighting / shading processing is performed on the color difference model with reference to the light source information, and a luminance value is calculated for each vertex of the color difference model in consideration of the distance to the light source, the angle, the presence / absence of occlusion, and the like.
  • the calculated luminance value is set for each vertex of the color difference model, and a 3D color model is generated.
  • FIG. 6 is a flowchart illustrating an example of an image reproducing method by the display device 1a according to the present embodiment.
  • steps S101 to S103 the same processing as in the first embodiment is executed. After the processing of step S103 is performed, the processing of step S204 is subsequently performed.
  • step S204 the light source estimating unit 25 estimates light source information with reference to the input luminance information and the 3D shape.
  • the process of this step may be executed before step S102 or step S103, or may be executed in parallel with each step.
  • step S205 the lighting / shading unit 23 generates a 3D color model from the color difference model with reference to the light source information. After the processing of this step is performed, subsequently, the processing of step S105 is performed.
  • step S105 the display unit 21 displays the 3D color model input from the image reproducing device 3a on a screen.
  • the processing from step S101 to step S105 is repeatedly and continuously executed until the reproduction of the image on the display device 1a ends.
  • FIG. 7 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame acquired by the acquisition unit 5 in step S101 of the present embodiment.
  • the number of luminance images acquired by the acquisition unit 5 in the present embodiment may be smaller than that in the first embodiment due to the fact that light source information can be estimated.
  • the configuration may be such that the acquisition unit 5 acquires light source information instead of luminance information.
  • the image reproducing device 3a or the like does not need to include the light source estimating unit 25, and the light source information may be directly input from the acquiring unit 5 to the lighting / shading unit 23.
  • the light source estimating unit 25 does not necessarily need to refer to the 3D shape.
  • FIG. 8 is a functional block diagram of a display device 1b according to the present modification.
  • the display device 1b is different from the display device 1a shown in FIG. 5 in that the image reproducing device 3b further includes a storage unit 27.
  • the storage unit 27 is a storage device that stores various data, and also functions as the reference light source information storage unit 29.
  • the reference light source information storage unit 29 stores and stores the light source information estimated by the light source estimation unit 25.
  • accumulation includes a mode in which information already stored in the storage unit 27 is deleted and updated with new information, and the stored information does not increase.
  • the reference light source information storage unit 29 may be configured to update the parameters of the stored light source information according to the input light source information.
  • the following is an example of a procedure for calculating the light source intensity included in the updated light source information.
  • -weight the weight of the light source information input to the reference light source information storage unit 29 0.0 to 1.0
  • the light source estimating unit 25 according to the present modification is configured to output the estimated light source information to the reference light source information accumulating unit 29.
  • the light source estimating unit 25 reflects the light source information accumulated in the reference light source information accumulating unit 29, that is, The light source information corresponding to the target frame is estimated by appropriately referring to the corresponding light source information.
  • the light source information estimating unit may refer to the light source information stored in the reference light source information storing unit 29, and the luminance information corresponding to each frame does not necessarily need to be input to the image reproducing device 3b.
  • FIG. 9 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame acquired by the acquisition unit 5 in this modification. As illustrated in FIG. 9, in the present modification, there may be a frame in which the number of luminance images acquired by the acquisition unit 5 is 0.
  • the image reproducing device 3b includes at least the luminance information acquired by the luminance information acquiring unit 11 and the light source information indicating the light source in the past frame accumulated in the reference light source information accumulating unit 29. It further includes a light source estimating unit 25 for estimating light source information indicating a light source in the target frame with reference to any one of them, and a reference light source information accumulating unit 29 for accumulating the light source information estimated by the light source estimating unit 25.
  • the unit 15a generates a 3D color model with reference to the light source information estimated by the light source estimation unit 25 as the luminance information.
  • the 3D color model generation unit refers to the color difference model corresponding to the past frame and sets a color difference value for a vertex to which no color difference value is assigned in the color difference model corresponding to the target frame.
  • setting a color difference value for the vertex is also referred to as “compensation”.
  • the color data that is the basis of the 3D color model is input separately for luminance information and color difference information. Also, depth information is input.
  • FIG. 10 is a functional block diagram of the display device 1c according to the present embodiment.
  • the display device 1c is different from the display device 1a shown in FIG. 5 in that the 3D color model generation unit 15c further includes a colorless area compensation unit 33, and the image reproduction device 3c further includes a storage unit 27c.
  • the colorless area compensation unit 33 compensates for the color difference model input from the color mapping unit 17. Further, the colorless area compensating unit 33 may perform compensation by appropriately referring to a color difference model corresponding to a past frame stored in the storage unit 27c.
  • the colorless area compensating unit 33 outputs the compensated color difference model to the lighting / shading unit 23.
  • a color difference model including vertices for which no color difference value is set which is input from the color mapping unit 17 to the colorless area compensation unit 33, is also referred to as a “temporary color difference model”. Note that the colorless area compensation unit 33 does not necessarily need to perform compensation for all vertices of the provisional color difference model for which color difference values are not set.
  • the colorless area assurance unit may compensate for the provisional color difference model, for example, by the following procedure.
  • the color difference value of each vertex extracted in (1) is set by appropriately referring to the color difference model corresponding to the past frame stored in the reference color difference model information storage unit 31.
  • the colorless area assurance unit may set the color difference value in the following procedure, for example.
  • the vertex of the color difference model corresponding to the past frame, which corresponds to the vertex extracted in (1), is determined.
  • the method of determining the vertex is not limited to a specific method. For example, a vertex having a similar three-dimensional feature amount in 3D-SIFT or the like may be determined, or a provisional color difference model is compared with a color difference model corresponding to a past frame to estimate 3D deformation, and a response is taken before and after 3D deformation. The vertices in the vicinity may be selected.
  • the colorless area compensation unit 33 selects two or more vertices of the provisional chrominance model and derives the chrominance values of the vertices to be compensated from the chrominance values set for each vertex. May be set. For example, a configuration may be adopted in which a weighted average of the color difference values according to the distance from the vertex to be compensated is set as the color difference value of the vertex. According to the above configuration, it is possible to suppress the occurrence of the false contour.
  • the colorless area compensating unit 33 may also set a new color difference value for a vertex of the provisional color difference model for which a color difference value has already been set. For example, when setting a color difference value for the vertex, an average value of the color difference value of the vertex of the provisional color difference model and the corresponding vertex of the color difference model of the past frame may be used. Further, the average may be a weighted average.
  • the storage unit 27c also functions as the reference color difference model information storage unit 31.
  • the reference color difference model information storage unit 31 stores and stores the color difference model generated by the colorless area compensation unit 33.
  • the color difference model information storage unit may be configured to update the color difference value of the stored color difference model according to the input color difference model.
  • the colorless area compensation unit 33 or the like may update the color difference value by calculating a weighted average of the color difference model already stored in the color difference model information storage unit and the color difference model corresponding to the target frame. .
  • the following is an example of a procedure for calculating the weighted average.
  • -weight Weight of the color difference model corresponding to the target frame 0.0 to 1.0
  • An image reproducing method by the display device 1c according to the present embodiment will be described with reference to FIGS.
  • FIG. 11 is a flowchart illustrating an example of an image reproducing method by the display device 1c according to
  • step S303 in which the colorless area compensating section 33 compensates the provisional color difference model input from the color mapping section 17 is executed.
  • the processing in step S204 may be performed before step S102, step S103, or step S303, or may be performed in parallel with each of the steps.
  • FIG. 12 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame acquired by the acquisition unit 5 in step S101 of the present embodiment. As illustrated in FIG. 12, in the present embodiment, there may be a frame in which the number of color difference images acquired by the acquisition unit 5 is zero.
  • the image reproducing device 3c refers to at least one of the color difference information acquired by the color difference information acquisition unit 7 and the color difference model in the past frame stored in the reference color difference model information storage unit 31.
  • the 3D color model generation unit 15c further includes a colorless area compensation unit 33 that compensates for the color difference model in the target frame, and a reference color difference model information storage unit 31 that stores the color difference model compensated by the colorless area compensation unit 33.
  • a 3D color model is generated with reference to the color difference model compensated by the colorless area compensation unit 33. According to the above configuration, a higher-quality 3D color model can be generated.
  • FIG. 13 is a functional block diagram of a display device 1d according to the present modification.
  • the 3D color model generation unit 15d includes the colorless area compensation unit 33, and the storage unit 27d also functions as the reference light source information storage unit 29 and the reference color difference model information storage unit 31. I do. That is, similar to the modification of the second embodiment, when the light source estimating unit 25 estimates the light source information corresponding to the target frame, the image reproducing device 3d according to the present embodiment uses a And the 3D color model generation unit 15d refers to the color difference model corresponding to the past frame to compensate for the provisional color difference model, as in the third embodiment.
  • FIG. 14 is a diagram illustrating an example of a depth image, a luminance image, and a color difference image in each frame acquired by the acquisition unit 5 in this modification.
  • the present modification there may be a frame in which the number of luminance images acquired by the acquisition unit 5 is zero, or a frame in which the number of color difference images is zero.
  • the configuration of the present modified example there is an effect that the increase in the traffic amount can be further suppressed.
  • the color data that is the basis of the 3D color model is input separately for luminance information and color difference information. Also, depth information is input.
  • FIG. 15 is a functional block diagram of the display device 1e according to the present embodiment.
  • the display device 1e is configured such that the 3D color model generation unit 15e from the display device 1a illustrated in FIG. 5 includes a texturing unit 37 instead of the lighting / shading unit 23.
  • the acquisition unit 5e according to the present embodiment also functions as the texture information acquisition unit 35.
  • the texture information acquisition unit 35 acquires texture information.
  • the texture information is information including a texture map and texture camera information.
  • the texture map include a specular map, an opacity map, a bump map, a glow map, a reflection map, a displacement map, a normal map, and a mask map.
  • the texturing unit 37 generates a 3D color model from the color difference model with reference to the light source information, similarly to the lighting / shading unit 23. Further, a process of pasting a texture generated with reference to the texture information to at least a part of the surface of the 3D color model is performed.
  • the texturing unit 37 performs a process of generating a 3D color model and attaching a texture to the 3D color model in a process corresponding to step S205 of the second embodiment.
  • the image playback device 3e further includes the texture information acquisition unit 35 for acquiring texture information, and the 3D color model generation unit 15e adds a texture information acquisition unit to the generated 3D color model. 35 attaches a texture generated with reference to the acquired texture information. According to the above configuration, it is possible to generate a realistic 3D color model to which a texture is pasted.
  • FIG. 16 is a functional block diagram of the image generation device 100 according to the present embodiment.
  • the image generation device 100 is a device that generates depth information, color difference information, and luminance information, and includes an image reproduction device 3, a generation unit 102, and a necessity determination unit 110. Further, the image generation device 100 has a communication function of transmitting each piece of information to an external device.
  • the image reproducing device 3 included in the image generating device 100 may be any of the image reproducing devices 3a to 3d described in the second and subsequent embodiments.
  • the image reproducing device 3 and the like according to the present embodiment accumulate color difference information and luminance information corresponding to the past frame in a memory or a storage unit 27 (not shown), and at least one of the color difference information and the luminance information corresponds to the past frame.
  • a 3D color model is generated from the luminance information and the depth information corresponding to the target frame.
  • the generator 102 functions as a depth information generator 104 that generates depth information, a color difference information generator 106 that generates color difference information, and a luminance information generator 108 that generates luminance information from the input 3D color model. .
  • the color difference information generation unit 106 may calculate a color difference in a portion that is white due to specular reflection in the 3D color model.
  • the color difference values of the model or the color difference values of the peripheral pixels may be used.
  • the necessity determination unit 110 compares the original 3D color model input to the image generation device 100 with the 3D color model input from the image reproduction device 3, and determines whether or not transmission of at least any of the information is necessary. judge.
  • the necessity determination unit 110 determines whether the reproducibility of the 3D color model derived from the color difference information and the luminance information corresponding to the past frame and output from the image reproduction device 3 with respect to the original 3D color model is equal to or higher than a predetermined reference. For example, it is determined that there is no need to transmit additional information, and if the reproducibility does not satisfy the criterion, it is determined that additional information corresponding to the target frame needs to be transmitted.
  • the necessity determination unit 110 may determine that the transmission of the luminance information is unnecessary. If the color difference values are set for all the vertices of the 3D color model corresponding to the target frame, it may be determined that the transmission of the color difference image is unnecessary.
  • FIG. 17 is a flowchart illustrating an example of a method of transmitting each information by the image generation device 100 according to the present embodiment.
  • step S601 the generation unit 102 generates depth information, color difference information, and luminance information with reference to the input 3D color model.
  • the method by which the generation unit 102 generates each information may be an existing method.
  • step S602 the image reproducing device 3 generates a 3D color model from at least one of the color difference information and the luminance information corresponding to the past frame and the depth information corresponding to the target frame.
  • the method of generating the 3D color model by the image reproducing device 3 itself may be any of the methods described in the first to third embodiments.
  • the color difference information and the luminance information may both correspond to a past frame, or one may correspond to a past frame and the other may correspond to a target frame.
  • step S603 the necessity determination unit 110 compares the 3D color model input to the image generation device 100 in step S601 with the 3D color model generated by the image reproduction device 3 in step S602, and determines a destination of each information. It is determined whether or not it is necessary to transmit to the other device.
  • step S604 the image generating apparatus 100 transmits information determined to be necessary for transmission in step S603 to an external transmission.
  • step S605 the necessity determination unit 110 determines whether or not the determination has been performed for all types of information to be determined. If the determination has been made for all types of information, the processing based on the flowchart in FIG. 17 for the target frame ends, otherwise, the processing in step S603 is executed again. Note that the processing from step S601 to step S605 is repeatedly and continuously executed until the generation and transmission of an image in the image generation apparatus 100 are completed.
  • the image generation device 100 includes the first 3D color model, that is, the luminance information generation unit 108 that generates luminance information from the 3D color model input to the generation unit 102, A color difference information generation unit 106 that generates color difference information from the 3D color model; luminance information generated by the luminance information generation unit 108; and color difference information generated by the color difference information generation unit 106, at least one of which is in the past frame.
  • the first 3D color model that is, the luminance information generation unit 108 that generates luminance information from the 3D color model input to the generation unit 102
  • a color difference information generation unit 106 that generates color difference information from the 3D color model
  • luminance information generated by the luminance information generation unit 108 luminance information generated by the luminance information generation unit 108
  • color difference information generated by the color difference information generation unit 106 at least one of which is in the past frame.
  • An image reproducing apparatus (3D model reproducing unit) 3 that generates a second 3D color model with reference to the corresponding luminance information and color difference information, and compares the first 3D color model with the second 3D color model And a necessity judging section 110 for judging the necessity of transmission of at least one of the luminance information and the color difference information. According to the above configuration, it is possible to realize the image generating apparatus 100 that can generate the color data that is the basis of the 3D color model separately into the luminance information and the color difference information.
  • the image generation device 100 and an image generation device 100a described below may have a function of integrating a plurality of output images into a single image when a color difference image or a luminance image is not output.
  • the image generating apparatus 100 may integrate an 8-bit depth image and two types of 8-bit color difference images and transmit them as an 8-bit, 3-channel image to an external device.
  • a 16-bit depth image and an 8-bit luminance image may be integrated and transmitted to an external device as an 8-bit 3-channel image.
  • the image generating apparatus 100 and an image generating apparatus 100a to be described later generate respective information indicating a rough color difference, depth or luminance of the 3D color model, and respective information indicating a detailed color difference, depth or luminance, and generate separate frames. It may be configured to transmit by.
  • the image generating apparatus 100 when the target 3D color model is a person, the image generating apparatus 100 generates a rough depth image corresponding to the skeleton of the person and a detailed depth image corresponding to the facial expression of the person, and separates the frames into separate frames. May be sent.
  • FIG. 18 is a functional block diagram of an image generation device 100a according to the present modification.
  • the image generation device 100a according to the present modification includes an image reproduction device 3e instead of the image reproduction device 3, and the generation unit 102a also functions as a texture information generation unit 112 that generates texture information.
  • a texture is attached to the 3D color model input to the generation unit 102a. According to the configuration described above, it is possible to realize the image generation device 100a that can be used as a pair with the display device 1e according to the fourth embodiment.
  • the image generation device 100 illustrated in FIG. 16 and the image generation device 100a illustrated in FIG. 18 may include the light source estimation unit 25 instead of the luminance information generation unit 108.
  • the light source estimation unit 25 according to the present modification estimates light source information with reference to the input 3D color model. According to the configuration of the present modification, it is possible to realize the image generation device 100a that generates and outputs light source information.
  • Control blocks of the image reproducing devices 3 and 3a to 3e (particularly, the 3D shape generating unit 13 and 3D color model generating units 15, 15a, 15c to 15e) or control blocks of the image generating device (particularly, the generating unit 102 and the necessity determining unit 110) ) May be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
  • a logic circuit hardware
  • the image reproducing devices 3, 3a to 3e and the image generating device include a computer that executes instructions of a program that is software for realizing each function.
  • This computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the program. Then, in the computer, the object of the present invention is achieved when the processor reads the program from the recording medium and executes the program.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium include "temporary tangible media” such as ROM (Read Only Memory), tapes, disks, cards, semiconductor memories, and programmable logic circuits. Further, a RAM (Random Access Memory) for expanding the above program may be further provided.
  • the program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the program.
  • a transmission medium a communication network, a broadcast wave, or the like
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • An image reproducing device (3, 3a to 3e) includes a luminance information acquisition unit (11) for acquiring luminance information, a color difference information acquisition unit (7) for acquiring color difference information, and a 3D shape.
  • the 3D shape generation unit (13) to be generated and the 3D shape generated by the 3D shape generation unit are colored with reference to the luminance information acquired by the luminance information acquisition unit and the color difference information acquired by the color difference information acquisition unit.
  • a 3D color model generation unit that generates a 3D color model by performing the operation. According to the above configuration, it is possible to reduce a part of the image having little effect on the image quality, so that it is possible to suppress an increase in the traffic volume at the time of transmitting the information indicating the 3D color model.
  • An image reproducing apparatus is the image reproducing device according to the first aspect, wherein the luminance information acquired by the luminance information acquiring unit and the light source information indicating the light source in the past frame stored in the reference light source information accumulating unit (29).
  • the color model generation unit may be configured to generate the 3D color model with reference to the light source information estimated by the light source estimation unit as the luminance information. According to the above configuration, it is possible to generate a higher-quality 3D color model, and it is possible to further suppress an increase in traffic volume.
  • An image reproducing apparatus is the image reproducing device according to the first or second aspect, wherein the color difference information obtained by the color difference information obtaining unit and the color difference model in the past frame stored in the reference color difference model information storage unit (31). And a reference color difference model information storage unit that stores a color difference model compensated by the colorless region compensation unit, and a reference color difference model information storage unit that stores the color difference model compensated by the colorless region compensation unit.
  • the color model generation unit may be configured to generate a 3D color model with reference to the color difference model compensated by the colorless area compensation unit as the color difference information. According to the above configuration, a higher-quality 3D color model can be generated.
  • An image reproducing apparatus (3e) in any one of the aspects 1 to 3, further comprising a texture information acquisition section (35) for acquiring texture information.
  • a texture information acquisition section (35) for acquiring texture information May be configured to paste a texture generated with reference to the texture information obtained by the texture information obtaining unit to the generated 3D color model. According to the above configuration, it is possible to generate a realistic 3D color model to which a texture is pasted.
  • An image generation device (100, 100a) generates a luminance information generation unit (108) that generates luminance information from a first 3D color model, and generates color difference information from a first 3D color model.
  • a necessity judging unit (110) for judging the necessity of the transmission. According to the above configuration, it is possible to realize an image generating apparatus that can generate color data that is a source of a 3D color model separately into luminance information and color difference information.
  • An image generation method is an image generation method executed by an apparatus, wherein a luminance information obtaining step for obtaining luminance information, a color difference information obtaining step for obtaining color difference information, and a 3D shape are generated. 3D shape generating step, and adding color to the 3D shape generated in the 3D shape generating step with reference to the luminance information obtained in the luminance information obtaining step and the color difference information obtained in the color difference information obtaining step.
  • the method includes a color model and a 3D color model generating step of generating. According to the above method, a part of the image having little effect on the image quality can be reduced, so that an increase in the traffic amount at the time of transmitting the information indicating the 3D color model can be suppressed.
  • the image reproducing device and the image generating device according to each aspect of the present invention may be realized by a computer.
  • the computer is operated as each unit (software element) included in the image reproducing device or the image generating device.
  • a control program for the image reproducing device or the image generating device that causes the computer to implement the image reproducing device or the image generating device, and a computer-readable recording medium that records the program are also included in the scope of the present invention.

Abstract

３Ｄカラーモデルを示す情報の伝送時におけるトラフィック量の増大を抑制する。画像再生装置（３）は、輝度情報を取得する輝度情報取得部（１１）と、色差情報を取得する色差情報取得部（７）と、３Ｄシェイプを生成する３Ｄシェイプ生成部（１３）と、３Ｄシェイプに、輝度情報と、色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルと生成する３Ｄカラーモデル生成部（１５）とを備えている。

Description

画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体
　本発明の一態様は、画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体に関する。
　ＣＧの分野では、入力デプスを統合することで３Ｄモデル（３次元モデル）を構築するＤｙｎａｍｉｃＦｕｓｉｏｎという手法が検討されている。ＤｙｎａｍｉｃＦｕｓｉｏｎの目的は、主に、撮影した入力デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。ＤｙｎａｍｉｃＦｕｓｉｏｎでは、センサから取得される入力デプスを３次元形状の変形を補償した上で共通の参照３Ｄモデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。また、３Ｄカラーモデルを遠隔地のＡＲ（Augmented Reality）空間上に再現可能なＨｏｌｏｐｏｒｔａｔｉｏｎという技術が公知である。
　また、特許文献１には、多視点カラー画像と、画素レベルで対応する多視点デプス画像とを入力することで任意視点の画像を出力する技術が開示されている。
日本国公開特許公報「特開２０１３－３０８９８号公報」
　しかしながら、上述のような従来技術は、対象となる３Ｄカラーモデルを高品質に再現するために、必要なデータの伝送時におけるトラフィック量が増大しやすいという問題がある。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、３Ｄカラーモデルを示す情報の伝送時におけるトラフィック量の増大を抑制することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る画像再生装置は、輝度情報を取得する輝度情報取得部と、色差情報を取得する色差情報取得部と、３Ｄシェイプを生成する３Ｄシェイプ生成部と、上記３Ｄシェイプ生成部が生成した３Ｄシェイプに、上記輝度情報取得部が取得した輝度情報と、上記色差情報取得部が取得した色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルと生成する３Ｄカラーモデル生成部とを備えている。
　本発明の一態様によれば、３Ｄカラーモデルを示す情報の伝送時におけるトラフィック量の増大を抑制することができる。
実施形態１に係る表示装置の機能ブロック図である。 実施形態１に係る表示装置による画像再生方法の一例を示すフローチャートである。 各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。 何れの色差カメラに対応する色差値を設定するかを決定する手順の一例を示す図である。 実施形態２に係る表示装置の機能ブロック図である。 実施形態２に係る表示装置による画像再生方法の一例を示すフローチャートである。 各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。 実施形態２の変形例に係る表示装置の機能ブロック図である。 各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。 実施形態３に係る表示装置の機能ブロック図である。 実施形態３に係る表示装置による画像再生方法の一例を示すフローチャートである。 各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。 実施形態３の変形例に係る表示装置の機能ブロック図である。 各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。 実施形態４に係る表示装置の機能ブロック図である。 実施形態５に係る画像生成装置の機能ブロック図である。 実施形態５に係る画像生成装置による各情報の送信方法の一例を示すフローチャートである。 実施形態５の変形例に係る画像生成装置の機能ブロック図である。
　以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
　〔実施形態１〕
　本発明の第１の実施形態について図１～図４を参照して説明する。本実施形態においては、表示装置が、入力されたデータから３Ｄカラーモデル、つまり表面の少なくとも一部に色彩が付された３Ｄモデルを生成して表示する例について説明する。本実施形態に係る表示装置が備える画像再生装置における主な工程として、以下の（１）～（３）が実行される。
　（１）３Ｄカラーモデルの元となるカラーデータを、輝度情報と色差情報とに分けて入力する。また、デプス情報を入力する。
　（２）デプス情報から３Ｄシェイプを生成して色差情報を反映し、色差モデルを生成する。
　（３）色差モデルに輝度情報を反映して３Ｄカラーモデルを生成する。
　〔１．表示装置１の構成〕
　図１は、本実施形態に係る表示装置１の機能ブロック図である。図１に示す通り、表示装置１は、画像再生装置３と、表示部２１とを備えている。
　画像再生装置３は、３Ｄカラーモデルを生成する装置であって、取得部５、３Ｄシェイプ生成部１３、及び３Ｄカラーモデル生成部１５を備えている。
　取得部５は、色差情報取得部７、デプス情報取得部９、及び輝度情報取得部１１としても機能し、後述する画像生成装置１００等の外部の装置から適宜ネットワークを介して各情報を取得する。色差情報取得部７は、色差情報を取得する。ここで、色差情報とは、色差画像と色差カメラ情報とを含む情報である。また、色差画像とは、各画素に色差値が割り当てられた画像である。また、各時刻の３Ｄカラーモデルに対しては、少なくとも２枚の色差画像が対応する。
　色差カメラ情報とは、対応する色差画像を撮影したカメラのパラメータを意味する情報である。当該パラメータの例としては、カメラの位置・姿勢、プロジェクション種別、又は使用される画像の開始位置とサイズとを示す対応部分画像領域等が挙げられる。後述するデプスカメラ情報、輝度カメラ情報およびテクスチャカメラ情報の例についても同様である。通常、同フレームにおける３Ｄカラーモデルに対応する少なくとも２枚の色差画像は、対応する色差カメラ情報が同条件であることが要求される。
　デプス情報取得部９は、デプス情報を取得する。ここで、デプス情報とは、デプス画像（デプスマップ）とデプスカメラ情報とを含む情報である。デプス画像とは、各画素にデプス値が割り当てられた画像である。また、各時刻の３Ｄカラーモデルに対しては、少なくとも１枚のデプス画像が対応する。デプスカメラ情報とは、対応するデプス画像を撮影したカメラのパラメータを意味する情報である。
　輝度情報取得部１１は、輝度情報を取得する。ここで、輝度情報とは、輝度画像と輝度カメラ情報とを含む情報である。輝度画像とは、各画素に輝度値が割り当てられた画像である。また、各時刻の３Ｄカラーモデルに対しては、少なくとも１枚の輝度画像が対応する。なお、輝度画像の画素値となる輝度値、及び色差画像の画素値となる色差値は、Ｙが輝度値、Ｕ、Ｖが色差値に相当するＹＵＶ形式で表されるものでもよいし、Ｖが輝度値、Ｈ、Ｓが色差値に相当するＨＳＶ表色系の形式で表されるものであっても構わない。
　３Ｄシェイプ生成部１３は、デプス情報を参照して３Ｄシェイプを生成する。ここで、３Ｄシェイプとは、対象となる物体の形状を示す３Ｄモデルである。３Ｄシェイプのデータ構造としては、例えば以下の形式が挙げられる。
・メッシュ
- 頂点位置：[v0, v1, …, vn]
- ポリゴン：[f0, f1, …, fm]
　v：３Ｄ空間中の頂点座標を表す３次元ベクトル
　f：モデルを構成する面の定義、頂点座標の集合（頂点インデックスの配列）
・点群
- 頂点位置：[v0, v1, …, vn]
・ボクセル表現
- 占有ボクセル：[vc0, vc1, …, vcn]
　vc：占有ボクセル（対象が存在するボクセル）のインデックス
・ＴＳＤＦ表現
- ＴＳＤ：[tsd0, tsd1, …, tsdn]
　tsd（truncated signed distance）：近傍面からボクセルの距離（閾値でクリップ）、ボクセル単位で記録
　３Ｄカラーモデル生成部１５は、カラーマッピング部１７、及び輝度値付加部１９を備えており、３Ｄカラーモデルを生成する。
　カラーマッピング部１７は、３Ｄシェイプに色差情報を反映し、色差モデルを生成する。換言すると、カラーマッピング部１７は、３Ｄシェイプの対応する位置に対して色差情報が示す色差画像の画素値をマッピングする。ここで、色差モデルとは、３Ｄシェイプの表面の少なくとも一部に、色差値が設定されたモデルである。なお、色差モデルには輝度に関する情報は含まれない。色差モデルのデータ構造としては、例えば以下の形式が挙げられる。ここで、 [メッシュ]、[点群]とは、各色差モデルに、メッシュ形式あるいは点群形式の３Ｄシェイプを示す情報が含まれることを意味している。
・カラーメッシュ
- [メッシュ]
- 頂点カラー：[c0, c1, …, cn]
　c：対応する頂点のカラー（例えばＲＧＢ値）
・テクスチャ付メッシュ
- [メッシュ]
- テクスチャ座標：[u0, u1, …, un]
- テクスチャ画像 Tex
　u：対応する頂点に関連付けられるテクスチャ画像上の位置
・多視点画像付メッシュ
- [メッシュ]
- 多視点画像群：[Tex1, Tex2, …, Texk]
- 多視点画像投影パラメータ：[Proj1, Proj2, …, Projk]
・カラー点群
- [点群]
- 頂点カラー：[c0, c1, …, cn]
・カラーボクセル
- [点群]
- ボクセルカラー：[c0, c1, …, cn]
・カラーＴＳＤＦ
- [メッシュ]
- ボクセルカラー：[c0, c1, …, cn]
　輝度値付加部１９は、色差モデルに輝度情報を反映して、つまり色差モデルの表面の少なくとも一部に輝度値を設定して、３Ｄカラーモデルを生成する。つまり、３Ｄカラーモデルとは、色差モデルの各点に対して輝度値が設定されたオブジェクトであるとも言える。表示部２１は、３Ｄカラーモデルを含む動画像を表示可能な表示パネルである。
　〔２．画像再生方法〕
　本実施形態に係る表示装置１による画像再生方法について、図２～図４を参照して説明する。図２は、本実施形態に係る表示装置１による画像再生方法の一例を示すフローチャートである。
　ステップＳ１０１において、取得部５は、デプス情報、輝度情報および色差情報を取得する。図３は、取得部５が取得する、各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。図３および後述する各画像の一例を示す図において、ｔ＝１～５は、各フレームに対応する時刻を意味する。図３に例示するように、本実施形態において取得部５が取得する各画像、換言すると画像再生装置３に入力される、各フレームに対応する各画像は、輝度画像の枚数が色差画像の枚数よりも少ない構成である。少なくとも１つの３Ｄカラーモデルにおいては、色差値に比べると輝度値は急峻な変化が少ない。故に色差画像よりも少ない枚数、解像度の輝度画像で十分に輝度を表現することができる。
　ステップＳ１０２において、３Ｄシェイプ生成部１３は、デプス情報を参照して３Ｄシェイプを生成する。３Ｄシェイプ生成部１３が３Ｄシェイプを生成する方法は、既存の方法であってよい。
　ステップＳ１０３において、カラーマッピング部１７は、３Ｄシェイプに色差情報を反映し、色差モデルを生成する。カラーマッピング部１７は、例えば以下の工程で色差モデルを生成してよい。
　（１）色差カメラ毎に対応するデプス画像を生成する。
　カラーマッピング部１７は、入力された色差情報が示す各色差カメラの位置及びカメラパラメータと同一の位置及びカメラパラメータに設定したデプスカメラの撮影画像に相当するデプス画像を、３Ｄシェイプを参照して生成する。つまり、当該デプス画像には、当該色差カメラからの３Ｄシェイプの表面までの距離がデプス値として記録される。
　（２）３Ｄシェイプの頂点毎に色差値を設定する。
　カラーマッピング部１７は、（１）で生成したデプス画像上の対象となる画素位置のデプス値と、色差カメラから３Ｄシェイプの対象となる頂点までの距離が所定の距離以内であれば、当該色差カメラに対応する色差画像の対象となる画素位置に対応する色差値を、当該頂点の色差値として設定する。
　（２）の工程について、図４を参照して補足する。図４は、３Ｄシェイプの対象となる頂点に、何れの色差カメラに対応する色差値を設定するかを決定する手順の一例を示す図である。３Ｄシェイプ３０１の頂点Ｐ１、Ｐ２に対して、色差カメラＣ１の画素位置ｕ１の色差値、および色差カメラＣ２の画素位置ｕ２の色差値の何れの色差値を設定するかを決定する場合について説明する。この例の場合、頂点Ｐ１に対しては、色差カメラＣ１の画素位置ｕ１の色差値が設定され、頂点Ｐ２に対しては、色差カメラＣ２の画素位置ｕ２の色差値が設定される。例えば頂点Ｐ１に対する色差値としては、色差カメラＣ２の画素位置ｕ２の色差値も候補となるが、（１）の工程で生成した色差カメラＣ２に対応するデプス画像における画素位置ｕ２の画素値は、色差カメラＣ２及び頂点Ｐ２間の距離を示しており、色差カメラＣ２及び頂点Ｐ１間の距離とは矛盾するため、画素位置ｕ２の色差値は選択されない。上記の工程によれば、オクルージョンの影響を考慮した好適な色差値を、３Ｄシェイプの対象となる各頂点に対して設定できる。
　ステップＳ１０４において、輝度値付加部１９は、色差モデルに対して輝度情報を反映して３Ｄカラーモデルを生成する。輝度値付加部１９は、例えばカラーマッピング部１７が３Ｄシェイプの各頂点に対して色差値を設定する上述した方法と同様に、生成したデプス画像を介した工程によって色差モデルの各頂点に対して輝度値を設定してよい。続いて輝度値付加部１９は、色差モデルの、輝度値が設定されていない頂点に対して輝度値を設定する。例えば当該輝度値は、周辺の頂点の輝度値のグラデーションに沿って設定されてもよいし、入力された色差モデルにおける対応する頂点に設定された色差値の明度に対応する輝度値に設定されてもよい。
　ステップＳ１０５において、表示部２１は、画像再生装置３から入力された３Ｄカラーモデルを画面に表示する。なお、ステップＳ１０１からステップＳ１０５までの処理は、表示装置１において画像の再生が終了するまで繰り返し継続して実行される。
　このように、本実施形態に係る画像再生装置３は、輝度情報を取得する輝度情報取得部１１と、色差情報を取得する色差情報取得部７と、３Ｄシェイプを生成する３Ｄシェイプ生成部１３と、３Ｄシェイプ生成部１３が生成した３Ｄシェイプに、輝度情報取得部１１が取得した輝度情報と、色差情報取得部７が取得した色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルを生成する３Ｄカラーモデル生成部１５とを備えている構成である。
　上記の構成によれば、図３を参照して上述した例のように画質に影響の少ない一部の画像を削減できるので、３Ｄカラーモデルを示す情報の伝送時におけるトラフィック量の増大を抑制することができる。
　なお、本実施形態、及び以降の実施形態において、画像再生装置３等は、３Ｄカラーモデルの大まかな色差、デプス又は輝度を示す各情報と、詳細な色差、デプス又は輝度を示す各情報とを別々のフレームで取得して処理する構成でもよい。例えば、画像再生装置３等は、対象となる３Ｄカラーモデルが人である場合、人の骨格に対応する大まかなデプス画像と、人の表情に対応する詳細なデプス画像とを別々のフレームで取得して３Ｄカラーモデルを生成してもよい。
　また、画像再生装置３等、及び後述する画像生成装置１００等が処理対象とする各画像は、複数のカメラに対応する画像が統合された画像であってもよい。また、各画像がどのような配置で統合されたかを示す情報が、対応するカメラ情報に含まれていてもよい。例えばデプス画像が、対応するカメラの位置ごと若しくは方向ごと、又は大まかなデプス若しくは詳細なデプスごとに統合されていてもよく、各デプス画像がどのような配置で統合されたかを示す情報が、デプスカメラ情報に含まれる構成でもよい。
　〔実施形態２〕
　本発明の第２の実施形態について、図１及び図５～図７を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　本実施形態においては、画像再生装置が３Ｄカラーモデルに対する光の光源を推定する構成について説明する。本実施形態に係る画像再生装置における主な工程として、以下の（１）～（４）が実行される。
　（１）３Ｄカラーモデルの元となるカラーデータを、輝度情報と色差情報とに分けて入力する。また、デプス情報を入力する。
　（２）デプス情報から３Ｄシェイプを生成して色差情報を反映し、色差モデルを生成する。
　（３）光源情報を推定する。ここで光源情報とは、３Ｄ空間内の光源を示す情報であって、例えば３Ｄカラーモデルに対する光源の位置、姿勢、または光の明度若しくは色調等を含む情報である。
　（４）色差モデルに光源情報を反映して３Ｄカラーモデルを生成する。
　〔１．表示装置１ａの構成〕
　図５は、本実施形態に係る表示装置１ａの機能ブロック図である。表示装置１ａは、図１に示す表示装置１から、画像再生装置３ａが更に光源推定部２５を備え、３Ｄカラーモデル生成部１５ａが輝度値付加部１９に替わってライティング／シェーディング部２３を備える構成である。
　光源推定部２５は、３Ｄシェイプの各頂点位置と輝度情報とから、当該３Ｄシェイプを含む３Ｄ空間内における光源情報を推定する。
　ここで、光源情報のデータ構造としては、例えば以下の形式が挙げられる。 
- 光源の数：n
- 光源座標：[v0, v1, …, vn]
- 光源強度（各色）：[I0, I1, …, In]
- 光源種類：（面光源、点光源、環境光）
　なお、光源推定部２５は、実施形態１のステップＳ１０４における輝度値付加部１９の処理と同様に色差モデルの各頂点に対して輝度値を設定し、各頂点の輝度値と座標とから光源情報を推定してもよい。
　また、光源推定部２５は、例えば環境光と点光源とを推定する場合に、以下の工程で光源情報を推定してよい。
　（１）環境光と点光源とを仮設定する。
　（２）輝度画像を構成する各画素について、３Ｄシェイプと（１）で仮設定した点光源とから輝度推定値を算出する。ここで、輝度推定値とは、例えば以下の工程で算出される値である。
　（ａ）対象となる輝度画像の画素に対応する光線、即ち当該画素が示す位置に照射される光線と最初に交差する３Ｄシェイプの面を決定する。換言すると、当該光線を最初に受ける３Ｄシェイプの面を決定する。
　（ｂ）当該面の向きと点光源の位置及び点光源の強度とから対象となる輝度画像の画素位置で観測される反射光の強度を算出する。
　（ｃ）反射光の強度に環境光の強度を加算して、当該画素における輝度推定値とする。
　（３）輝度画像の各画素について、輝度値と（２）で算出した輝度推定値との差分の絶対値を合計して光源評価値とする。
　（４）環境光および点光源を変化させて光源評価値が最小となる光源を、光源推定部２５が推定する光源として光源情報を設定する。
　ライティング／シェーディング部２３は、光源情報を参照して色差モデルから３Ｄカラーモデルを生成する。ライティング／シェーディング部２３は、光源情報を参照することによって、輝度値付加部１９が単に輝度情報を参照した場合よりも高品位の３Ｄカラーモデルを生成することができる。ライティング／シェーディング部２３は、例えば以下の手順で３Ｄカラーモデルを生成してよい。
　（１）光源情報を参照して、色差モデルにライティング／シェーディング処理を行い、色差モデルの頂点毎に光源との距離、角度、遮蔽の有無等を考慮して輝度値を算出する。
　（２）算出した輝度値を色差モデルの各頂点に対して設定し、３Ｄカラーモデルを生成する。
　〔２．画像再生方法〕
　本実施形態に係る表示装置１ａによる画像再生方法について、図６及び図７を参照して説明する。図６は、本実施形態に係る表示装置１ａによる画像再生方法の一例を示すフローチャートである。
　ステップＳ１０１からステップＳ１０３においては、実施形態１と同様の処理が実行される。ステップＳ１０３の処理が実行されたのち、続いてステップＳ２０４の処理が実行される。
　ステップＳ２０４において、光源推定部２５は、入力された輝度情報と３Ｄシェイプとを参照して光源情報を推定する。なお、本ステップの処理は、ステップＳ１０２又はステップＳ１０３の前に実行されてもよいし、当該各ステップと並行して実行されてもよい。
　ステップＳ２０５において、ライティング／シェーディング部２３は、光源情報を参照して色差モデルから３Ｄカラーモデルを生成する。本ステップの処理が実行されたのち、続いてステップＳ１０５の処理が実行される。
　ステップＳ１０５において、表示部２１は、画像再生装置３ａから入力された３Ｄカラーモデルを画面に表示する。なお、ステップＳ１０１からステップＳ１０５までの処理は、表示装置１ａにおいて画像の再生が終了するまで繰り返し継続して実行される。
　図７は、本実施形態のステップＳ１０１において取得部５が取得する、各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。図７に例示するように、本実施形態において取得部５が取得する輝度画像の枚数は、光源情報が推定できれば事足りることに起因して実施形態１よりも少なくてもよい。
　なお、本実施形態、及び以降の実施形態においては、取得部５が、輝度情報ではなく光源情報を取得する構成でもよい。上記の構成においては、画像再生装置３ａ等が光源推定部２５を備えていることを要せず、取得部５からライティング／シェーディング部２３に光源情報が直接入力されてもよい。また、光源推定部２５は、光源情報を推定する場合に、必ずしも３Ｄシェイプを参照しなくてもよい。
　〔実施形態２の変形例〕
　実施形態２の変形例について、図５、図８及び図９を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本変形例においては、光源推定部２５が、対象となるフレームに対応する光源情報を推定する場合に、当該フレームよりも過去のフレームに対応する光源情報を参照する構成について説明する。以下、現時点において処理対象となるフレームを対象フレーム、当該フレームよりも過去のフレームを過去フレームとも呼称する。
　〔１．表示装置１ｂの構成〕
　図８は、本変形例に係る表示装置１ｂの機能ブロック図である。表示装置１ｂは、図５に示す表示装置１ａから、画像再生装置３ｂが更に記憶部２７を備える構成である。記憶部２７は、各種データを保存する記憶装置であって、参照光源情報蓄積部２９としても機能する。参照光源情報蓄積部２９は、光源推定部２５が推定した光源情報を保存して蓄積する。なお、本明細書において「蓄積」には、記憶部２７に既に保存されている情報を削除して新たな情報に更新し、格納されている情報が増加しない態様も含まれる。
　ここで、参照光源情報蓄積部２９は、入力される光源情報に応じて、格納する光源情報のパラメータを更新する構成でもよい。以下は、更新後の光源情報に含まれる光源強度の算出手順の一例である。
- weight：参照光源情報蓄積部２９に入力される光源情報の重み 0.0～1.0
- In：参照光源情報蓄積部２９に入力される光源強度
- 更新後の光源強度：I=(I*weight_sum+In*weight)/(weight_sum+weight)
- weight_sum=weight_sum+weight
　また、本変形例に係る光源推定部２５は、推定した光源情報を参照光源情報蓄積部２９にも出力する構成である。
　〔２．画像再生方法〕
　本変形例に係る光源推定部２５は、実施形態２のステップＳ２０４に相当する工程において、輝度情報と３Ｄシェイプとに反映し、参照光源情報蓄積部２９に蓄積された光源情報、つまり過去フレームに対応する光源情報も適宜参照して対象フレームに対応する光源情報を推定する。光源情報推定部は、参照光源情報蓄積部２９に蓄積された光源情報を参照してもよく、画像再生装置３ｂには必ずしも毎フレームに対応する輝度情報が入力されずともよい。
　図９は、本変形例において取得部５が取得する、各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。図９に例示するように、本変形例においては取得部５が取得する輝度画像の枚数が０枚のフレームがあってもよい。
　上述したように、本変形例に係る画像再生装置３ｂは、輝度情報取得部１１が取得した輝度情報と、参照光源情報蓄積部２９に蓄積された、過去フレームにおける光源を示す光源情報との少なくとも何れかを参照して対象フレームにおける光源を示す光源情報を推定する光源推定部２５と、光源推定部２５が推定した光源情報を蓄積する参照光源情報蓄積部２９とを更に備え、３Ｄカラーモデル生成部１５ａは、上記輝度情報として、光源推定部２５が推定した光源情報を参照して３Ｄカラーモデルを生成する。
　上記の構成によれば、より高品位な３Ｄカラーモデルを生成することが可能であり、トラフィック量の増大を更に抑制することができる効果を奏する。
　〔実施形態３〕
　本発明の第３の実施形態について、図５、図１０～図１２を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　本実施形態では、３Ｄカラーモデル生成部が過去フレームに対応する色差モデルを参照して、対象フレームに対応する色差モデルにおける、色差値が割り当てられていない頂点に対して色差値を設定する構成について説明する。以下、当該頂点に対して色差値を設定することを「補償」とも呼称する。
　本実施形態の画像再生装置における主な工程として、以下の（１）～（５）が実行される。
　（１）３Ｄカラーモデルの元となるカラーデータを輝度情報と色差情報とに分けて入力する。また、デプス情報を入力する。
　（２）デプス情報から３Ｄシェイプを生成して色差情報を反映し、色差モデルを生成する。
　（３）色差モデルを補償する。
　（４）光源情報を推定する。
　（５）色差モデルに光源情報を反映して３Ｄカラーモデルを生成する。
　〔１．表示装置１ｃの構成〕
　図１０は、本実施形態に係る表示装置１ｃの機能ブロック図である。表示装置１ｃは、図５に示す表示装置１ａから、３Ｄカラーモデル生成部１５ｃが更に無色領域補償部３３を備え画像再生装置３ｃが更に記憶部２７ｃを備える構成である。
　無色領域補償部３３は、カラーマッピング部１７から入力された色差モデルを補償する。また、無色領域補償部３３は、記憶部２７ｃに格納された、過去フレームに対応する色差モデルを適宜参照して補償を行ってもよい。
　そして無色領域補償部３３は、ライティング／シェーディング部２３に対して、補償を行った色差モデルを出力する。以下、カラーマッピング部１７から無色領域補償部３３に入力される、色差値が設定されていない頂点を含む色差モデルを「暫定色差モデル」とも呼称する。なお、無色領域補償部３３は、暫定色差モデルの、色差値が設定されていない全ての頂点に対する補償を必ずしも行わなくてもよい。
　また、無色領域保証部は、例えば以下の手順により暫定色差モデルの補償を行ってもよい。
　（１）カラーマッピング部１７から入力された暫定色差モデルにおける、色差値が設定されていない頂点を抽出する。
　（２）参照色差モデル情報蓄積部３１に蓄積された、過去フレームに対応する色差モデルを適宜参照して、（１）で抽出した各頂点の色差値を設定する。なお、無色領域保証部は、例えば以下の手順で色差値を設定してもよい。
　（ａ）（１）で抽出した頂点に対応する、過去フレームに対応する色差モデルの頂点を決定する。なお、当該頂点を決定する方法は特定の方法に限定されない。例えば、３Ｄ－ＳＩＦＴ等における三次元特徴量が近い頂点を決定してもよいし、暫定色差モデルと過去フレームに対応する色差モデルとを比較して３Ｄ変形を推定し、３Ｄ変形の前後で対応する近傍の頂点を選択しても構わない。
　（ｂ）（ａ）で決定した頂点の色差値を、（１）で決定した暫定色差モデルの頂点に設定する。
　なお、無色領域補償部３３は、（２）に相当する工程において、暫定色差モデルの２以上の頂点を選択し、各頂点に設定された色差値から補償の対象となる頂点の色差値を導出して設定してもよい。例えば補償の対象となる頂点からの距離に応じた色差値の加重平均を当該頂点の色差値に設定する構成でもよい。上記の構成によれば、疑似輪郭の発生を抑制することができる。
　また、無色領域補償部３３は、暫定色差モデルの、色差値が既に設定されている頂点に対しても新たな色差値を設定してもよい。例えば、当該頂点に色差値を設定する場合、暫定色差モデルの当該頂点の色差値と、過去フレームの色差モデルの対応する頂点との平均の値を使用してもよい。また、上記平均は、重み付き平均であってもよい。
　また、本実施形態に係る記憶部２７ｃは、参照色差モデル情報蓄積部３１としても機能する。参照色差モデル情報蓄積部３１は、無色領域補償部３３が生成した色差モデルを保存して蓄積する。
　なお、色差モデル情報蓄積部は、入力される色差モデルに応じて、格納する色差モデルの色差値を更新する構成でもよい。例えば、無色領域補償部３３等が、既に色差モデル情報蓄積部に格納されている色差モデルと、対象フレームに対応する色差モデルとの重み付き平均を算出して当該色差値を更新してもよい。以下は、当該重み付き平均の算出手順の一例である。
- weight：対象フレームに対応する色差モデルの重み 0.0～1.0
- U：対象フレームに対応する色差モデルの色差値
- 更新後の色差モデルの色差値：Un = (U*weight_sum+Un*weight)/(weight_sum+weight) - weight_sum=weight_sum+weight
　〔２．画像再生方法〕
　本実施形態に係る表示装置１ｃによる画像再生方法について、図１１及び図１２を参照して説明する。図１１は、本実施形態に係る表示装置１ｃによる画像再生方法の一例を示すフローチャートである。
　本実施形態においては、実施形態２のステップＳ１０３の後に、無色領域補償部３３がカラーマッピング部１７から入力された暫定色差モデルを補償するステップＳ３０３が実行される。なお、ステップのＳ２０４の処理は、ステップＳ１０２、ステップＳ１０３又はステップＳ３０３の前に実行されてもよいし、当該各ステップと並行して実行されてもよい。
　また、図１２は、本実施形態のステップＳ１０１において取得部５が取得する、各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。図１２に例示するように、本実施形態においては取得部５が取得する色差画像の枚数が０枚のフレームがあってもよい。
　このように本実施形態に係る画像再生装置３ｃは、色差情報取得部７が取得した色差情報と、参照色差モデル情報蓄積部３１に蓄積された、過去フレームにおける色差モデルとの少なくとも何れかを参照して対象フレームにおける色差モデルを補償する無色領域補償部３３と、無色領域補償部３３が補償した色差モデルを蓄積する参照色差モデル情報蓄積部３１とを更に備え、３Ｄカラーモデル生成部１５ｃは、上記色差情報として、無色領域補償部３３が補償した色差モデルを参照して３Ｄカラーモデルを生成する。上記の構成によれば、より高品位な３Ｄカラーモデルを生成することができる。
　〔実施形態３の変形例〕
　実施形態３の変形例について、図１３及び図１４を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図１３は、本変形例に係る表示装置１ｄの機能ブロック図である。図１３に示すように、画像再生装置３ｄは、３Ｄカラーモデル生成部１５ｄが無色領域補償部３３を備え、記憶部２７ｄが、参照光源情報蓄積部２９および参照色差モデル情報蓄積部３１としても機能する。つまり、本実施形態に係る画像再生装置３ｄは、実施形態２の変形例と同様に、光源推定部２５が、対象となるフレームに対応する光源情報を推定する場合に当該フレームよりも過去のフレームに対応する光源情報を参照し、且つ、実施形態３と同様に、３Ｄカラーモデル生成部１５ｄが過去フレームに対応する色差モデルを参照して暫定色差モデルの補償を行う構成である。
　図１４は、本変形例において取得部５が取得する、各フレームにおけるデプス画像、輝度画像および色差画像の一例を示す図である。図１４に例示するように、本変形例においては、取得部５が取得する輝度画像の枚数が０枚のフレームがあってもよいし、色差画像の枚数が０枚のフレームがあってもよい。本変形例の構成によれば、トラフィック量の増大を更に抑制することができる効果を奏する。
　〔実施形態４〕
　本発明の第４の実施形態について、図５及び図１５を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　本実施形態では、３Ｄカラーモデル生成部が、生成した３Ｄカラーモデルにテクスチャを貼り付けて出力する構成について説明する。
　本実施形態の画像再生装置における主な工程として、以下の（１）～（５）が実行される。
　（１）３Ｄカラーモデルの元となるカラーデータを輝度情報と色差情報とに分けて入力する。また、デプス情報を入力する。
　（２）デプス情報から３Ｄシェイプを生成して色差情報を反映し、色差モデルを生成する。
　（３）光源情報を推定する。
　（４）色差モデルに光源情報を反映して３Ｄカラーモデルを生成する。
　（５）３Ｄカラーモデルにテクスチャを貼り付ける。
　〔１．表示装置１ｅの構成〕
　図１５は、本実施形態に係る表示装置１ｅの機能ブロック図である。表示装置１ｅは、図５に示す表示装置１ａから３Ｄカラーモデル生成部１５ｅが、ライティング／シェーディング部２３に替わり、テクスチャリング部３７を備える構成である。また、本実施形態に係る取得部５ｅは、テクスチャ情報取得部３５としても機能する。
　テクスチャ情報取得部３５は、テクスチャ情報を取得する。ここで、テクスチャ情報とは、テクスチャマップとテクスチャカメラ情報とを含む情報である。テクスチャマップの一例としては、スペキュラマップ、不透明度マップ、バンプマップ、グロウマップ、反射マップ、ディスプレイメントマップ、法線マップ、又はマスクマップ等が挙げられる。テクスチャリング部３７は、ライティング／シェーディング部２３と同様に、光源情報を参照して色差モデルから３Ｄカラーモデルを生成する。また、３Ｄカラーモデルの表面の少なくとも一部に、テクスチャ情報を参照して生成したテクスチャを貼り付ける処理を行う。
　〔２．画像再生方法〕
　テクスチャリング部３７は、実施形態２のステップＳ２０５に相当する工程において、３Ｄカラーモデルを生成し、当該３Ｄカラーモデルにテクスチャを貼り付ける処理を行う。
　上述したように、本実施形態に係る画像再生装置３ｅは、テクスチャ情報を取得するテクスチャ情報取得部３５を更に備え、３Ｄカラーモデル生成部１５ｅは、生成した上記３Ｄカラーモデルに、テクスチャ情報取得部３５が取得したテクスチャ情報を参照して生成したテクスチャを貼り付ける。上記の構成によれば、テクスチャが貼り付けられた、リアリティのある質感の３Ｄカラーモデルを生成することができる。
　〔実施形態５〕
　本発明の第５の実施形態について、図１６及び図１７を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　本実施形態においては、実施形態１～３において上述した画像再生装置３等と対に用いることができる画像生成装置について説明する。
　本実施形態の画像生成装置における主な工程として、以下の（１）～（４）が実行される。
　（１）生成する各情報の元となる３Ｄカラーモデルを入力する。
　（２）過去フレームに対応する色差情報及び輝度情報と、対象フレームに対応するデプス情報とから３Ｄカラーモデルを生成する。
　（３）（１）で入力した３Ｄカラーモデルと、（２）で生成した３Ｄカラーモデルとを比較し、各情報の送信の要否を判定する。
　（４）（３）の判定結果に基づき、しかるべき情報を送信する。
　〔１．画像生成装置１００の構成〕
　図１６は、本実施形態に係る画像生成装置１００の機能ブロック図である。図１６に示す通り、画像生成装置１００は、デプス情報、色差情報および輝度情報を生成する装置であって、画像再生装置３、生成部１０２および要否判定部１１０を備えている。また、画像生成装置１００は、外部の装置に対して各情報を送信する通信機能を有している。
　ここで、画像生成装置１００が備える画像再生装置３は、実施形態２以降において上述した画像再生装置３ａ～３ｄの何れかであってもよい。ただし、本実施形態に係る画像再生装置３等は、過去フレームに対応する色差情報及び輝度情報を、図示しないメモリまたは記憶部２７等に蓄積し、少なくとも何れかは過去フレームに対応する色差情報及び輝度情報と、対象フレームに対応するデプス情報とから３Ｄカラーモデルを生成する。
　生成部１０２は、入力された３Ｄカラーモデルからそれぞれ、デプス情報を生成するデプス情報生成部１０４、色差情報を生成する色差情報生成部１０６、および輝度情報を生成する輝度情報生成部１０８として機能する。
　また、３Ｄカラーモデルにおける、鏡面反射で白くなっている箇所は、色差情報生成部１０６が色差を算出することが難しいので、当該箇所は、色差値を設定しないか、過去フレームに対応する３Ｄカラーモデルの色差値を使用するか、或いは周辺画素の色差値を使用してもよい。
　要否判定部１１０は、画像生成装置１００に入力された元の３Ｄカラーモデルと、画像再生装置３から入力された３Ｄカラーモデルとを比較して各情報の少なくとも何れかの送信の要否を判定する。ここで、要否判定部１１０は、画像再生装置３が出力する、過去フレームに対応する色差情報及び輝度情報に由来する３Ｄカラーモデルの元の３Ｄカラーモデルに対する再現度が所定の基準以上であれば、追加の情報を送信する必要が無いものと判定し、当該再現度が当該基準に満たなければ、対象フレームに対応する追加の情報を送信する必要があるものと判定する。
　例えば要否判定部１１０は、元の３Ｄカラーモデルと、画像再生装置３から入力された３Ｄカラーモデルとで輝度情報が同一であれば、輝度情報の送信は不要と判定してもよい。また、対象フレームに対応する３Ｄカラーモデルの全ての頂点に色差値が設定されていれば、色差画像の送信は不要と判定してもよい。
　〔２．情報送信方法〕
　本実施形態に係る画像生成装置１００の各情報の送信方法について、図１７を参照して説明する。図１７は、本実施形態に係る画像生成装置１００による各情報の送信方法の一例を示すフローチャートである。
　ステップＳ６０１において、生成部１０２は、入力された３Ｄカラーモデルを参照して、デプス情報、色差情報および輝度情報を生成する。ここで、生成部１０２が各情報を生成する方法は、既存の方法であってもよい。
　ステップＳ６０２において、画像再生装置３は、少なくとも何れかは過去フレームに対応する色差情報及び輝度情報と、対象フレームに対応するデプス情報とから３Ｄカラーモデルを生成する。なお、画像再生装置３が３Ｄカラーモデルを生成する方法自体は、実施形態１～３において上述した何れかの方法であってもよい。また、当該色差情報及び輝度情報は、双方が過去フレームに対応するものであってもよいし、一方が過去フレームに対応してもう一方が対象フレームに対応するものであってもよい。
　ステップＳ６０３において、要否判定部１１０は、ステップＳ６０１で画像生成装置１００に入力された３ＤカラーモデルとステップＳ６０２で画像再生装置３が生成した３Ｄカラーモデルとを比較して、各情報について送信先の装置に送信する必要があるか否かを判定する。
　ステップＳ６０４において、画像生成装置１００は、ステップＳ６０３で送信が必要と判定された情報を外部の送信に対して送信する。
　ステップＳ６０５において、要否判定部１１０は、判定の対象となる全種類の情報について判定を行ったか否かを判定する。全種類の情報について判定を行った場合、対象フレームにおける、図１７のフローチャートに基づく処理が終了し、そうでない場合、再度ステップＳ６０３の処理が実行される。なお、ステップＳ６０１からステップＳ６０５までの処理は、画像生成装置１００において画像の生成、送信が終了するまで繰り返し継続して実行される。
　上述したように、本実施形態に係る画像生成装置１００は、第１の３Ｄカラーモデル、つまり生成部１０２に入力される３Ｄカラーモデルから輝度情報を生成する輝度情報生成部１０８と、第１の３Ｄカラーモデルから色差情報を生成する色差情報生成部１０６と、輝度情報生成部１０８が生成した輝度情報と、色差情報生成部１０６が生成した色差情報とであって、少なくとも何れかは過去フレームに対応する輝度情報と色差情報とを参照して第２の３Ｄカラーモデルを生成する画像再生装置（３Ｄモデル再生部）３と、第１の３Ｄカラーモデルと、第２の３Ｄカラーモデルとを比較して、輝度情報と色差情報との少なくとも何れかの送信の要否を判定する要否判定部１１０と、を備えている。上記の構成によれば、３Ｄカラーモデルの元となるカラーデータを、輝度情報と色差情報とに分けて生成できる画像生成装置１００を実現できる。
　なお、画像生成装置１００及び後述する画像生成装置１００ａは、色差画像または輝度画像を出力しない場合、出力する複数の画像を単一の画像に統合する機能を有していてもよい。例えば、画像生成装置１００は、輝度画像を出力しない場合、８ｂｉｔのデプス画像と、８ｂｉｔの色差画像２種とを統合して８ｂｉｔ、３チャンネルの画像として外部の装置に送信してもよい。また、色差画像を出力しない場合、１６ｂｉｔのデプス画像と、８ｂｉｔの輝度画像とを統合して８ｂｉｔ３チャンネルの画像として外部の装置に送信してもよい。
　また、画像生成装置１００及び後述する画像生成装置１００ａは、３Ｄカラーモデルの大まかな色差、デプス又は輝度を示す各情報と、詳細な色差、デプス又は輝度を示す各情報と生成して別々のフレームで送信する構成でもよい。例えば、画像生成装置１００は、対象となる３Ｄカラーモデルが人である場合、人の骨格に対応する大まかなデプス画像と、人の表情に対応する詳細なデプス画像と生成して別々のフレームで送信してもよい。
　〔実施形態５の変形例１〕
　実施形態５の第１の変形例について図１８を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図１８は、本変形例に係る画像生成装置１００ａの機能ブロック図である。図１８に示すように、本変形例に係る画像生成装置１００ａは、画像再生装置３に替わり画像再生装置３ｅを備え、生成部１０２ａがテクスチャ情報を生成するテクスチャ情報生成部１１２としても機能する。また、生成部１０２ａに入力される３Ｄカラーモデルにはテクスチャが貼り付けられている。上記の構成によれば、実施形態４の表示装置１ｅと対に用いることができる画像生成装置１００ａを実現できる。
　〔実施形態５の変形例２〕
　実施形態５の第２の変形例について図１６及び図１８を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図１６に示す画像生成装置１００、および図１８に示す画像生成装置１００ａは、輝度情報生成部１０８に替わって光源推定部２５を備えていてもよい。ただし、本変形例に係る光源推定部２５は、入力された３Ｄカラーモデルを参照して光源情報を推定する。本変形例の構成によれば、光源情報を生成、出力する画像生成装置１００ａを実現できる。
　〔ソフトウェアによる実現例〕
　画像再生装置３、３ａ～３ｅの制御ブロック（特に３Ｄシェイプ生成部１３および３Ｄカラーモデル生成部１５、１５ａ、１５ｃ～１５ｅ）又は画像生成装置の制御ブロック（特に生成部１０２および要否判定部１１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、画像再生装置３、３ａ～３ｅおよび画像生成装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る画像再生装置（３、３ａ～３ｅ）は、輝度情報を取得する輝度情報取得部（１１）と、色差情報を取得する色差情報取得部（７）と、３Ｄシェイプを生成する３Ｄシェイプ生成部（１３）と、３Ｄシェイプ生成部が生成した３Ｄシェイプに、輝度情報取得部が取得した輝度情報と、色差情報取得部が取得した色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルを生成する３Ｄカラーモデル生成部とを備えている構成である。上記の構成によれば、画質に影響の少ない一部の画像を削減できるので、３Ｄカラーモデルを示す情報の伝送時におけるトラフィック量の増大を抑制することができる。
　本発明の態様２に係る画像再生装置は、上記の態様１において、輝度情報取得部が取得した輝度情報と、参照光源情報蓄積部（２９）に蓄積された、過去フレームにおける光源を示す光源情報との少なくとも何れかを参照して対象フレームにおける光源を示す光源情報を推定する光源推定部（２５）と、光源推定部が推定した光源情報を蓄積する参照光源情報蓄積部とを更に備え、３Ｄカラーモデル生成部は、輝度情報として、光源推定部が推定した光源情報を参照して３Ｄカラーモデルを生成する構成としてもよい。上記の構成によれば、より高品位な３Ｄカラーモデルを生成することが可能であり、トラフィック量の増大を更に抑制することができる効果を奏する。
　本発明の態様３に係る画像再生装置は、上記の態様１又は２において、色差情報取得部が取得した色差情報と、参照色差モデル情報蓄積部（３１）に蓄積された、過去フレームにおける色差モデルとの少なくとも何れかを参照して対象フレームにおける色差モデルを補償する無色領域補償部（３３）と、無色領域補償部が補償した色差モデルを蓄積する参照色差モデル情報蓄積部とを更に備え、３Ｄカラーモデル生成部は、色差情報として、無色領域補償部が補償した色差モデルを参照して３Ｄカラーモデルを生成する構成としてもよい。上記の構成によれば、より高品位な３Ｄカラーモデルを生成することができる。
　本発明の態様４に係る画像再生装置（３ｅ）は、上記の態様１から３までの何れか１項において、テクスチャ情報を取得するテクスチャ情報取得部（３５）を更に備え、３Ｄカラーモデル生成部は、生成した３Ｄカラーモデルに、テクスチャ情報取得部が取得したテクスチャ情報を参照して生成したテクスチャを貼り付ける構成としてもよい。上記の構成によれば、テクスチャが貼り付けられた、リアリティのある質感の３Ｄカラーモデルを生成することができる。
　本発明の態様５に係る画像生成装置（１００、１００ａ）は、第１の３Ｄカラーモデルから輝度情報を生成する輝度情報生成部（１０８）と、第１の３Ｄカラーモデルから色差情報を生成する色差情報生成部（１０６）と、輝度情報生成部が生成した輝度情報と、色差情報生成部が生成した色差情報とであって、少なくとも何れかは過去フレームに対応する輝度情報と色差情報とを参照して第２の３Ｄカラーモデルを生成する３Ｄモデル再生部（３）と、第１の３Ｄカラーモデルと、第２の３Ｄカラーモデルとを比較して、輝度情報と色差情報との少なくとも何れかの送信の要否を判定する要否判定部（１１０）と、を備えている構成である。上記の構成によれば、３Ｄカラーモデルの元となるカラーデータを、輝度情報と色差情報とに分けて生成できる画像生成装置を実現できる。
　本発明の態様６に係る画像生成方法は、装置によって実行される画像生成方法であって、輝度情報を取得する輝度情報取得ステップと、色差情報を取得する色差情報取得ステップと、３Ｄシェイプを生成する３Ｄシェイプ生成ステップと、３Ｄシェイプ生成ステップにおいて生成した３Ｄシェイプに、輝度情報取得ステップにおいて取得した輝度情報と、色差情報取得ステップにおいて取得した色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルと生成する３Ｄカラーモデル生成ステップとを含む方法である。上記の方法によれば、画質に影響の少ない一部の画像を削減できるので、３Ｄカラーモデルを示す情報の伝送時におけるトラフィック量の増大を抑制することができる。
　本発明の各態様に係る画像再生装置および画像生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを画像再生装置又は画像生成装置が備える各部（ソフトウェア要素）として動作させることにより画像再生装置又は画像生成装置をコンピュータにて実現させる画像再生装置又は画像生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、２０１８年９月７日に出願された日本国特許出願：特願２０１８－１６７８６３に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ　表示装置
３、３ａ、３ｂ、３ｃ、３ｄ、３ｅ　画像再生装置（３Ｄモデル再生部）
５、５ｅ　取得部
７　色差情報取得部
９　デプス情報取得部
１１　輝度情報取得部
１３　３Ｄシェイプ生成部
１５、１５ａ、１５ｃ、１５ｄ、１５ｅ　３Ｄカラーモデル生成部
１７　カラーマッピング部
１９　輝度値付加部
２１　表示部
２３　ライティング／シェーディング部
２５　光源推定部
２９　参照光源情報蓄積部
３１　参照色差モデル情報蓄積部
３３　無色領域補償部
３５　テクスチャ情報取得部
３７　テクスチャリング部
１００、１００ａ　画像生成装置
１０２、１０２ａ　生成部
１０４　デプス情報生成部
１０６　色差情報生成部
１０８　輝度情報生成部
１１０　要否判定部

Claims (8)

  1. 　輝度情報を取得する輝度情報取得部と、
    　色差情報を取得する色差情報取得部と、
    　３Ｄシェイプを生成する３Ｄシェイプ生成部と、
    　上記３Ｄシェイプ生成部が生成した３Ｄシェイプに、上記輝度情報取得部が取得した輝度情報と、上記色差情報取得部が取得した色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルを生成する３Ｄカラーモデル生成部と
    を備えていることを特徴とする画像再生装置。
  2. 　上記輝度情報取得部が取得した輝度情報と、参照光源情報蓄積部に蓄積された、過去フレームにおける光源を示す光源情報との少なくとも何れかを参照して対象フレームにおける光源を示す光源情報を推定する光源推定部と、
    　上記光源推定部が推定した光源情報を蓄積する参照光源情報蓄積部とを更に備え、
    　上記３Ｄカラーモデル生成部は、上記輝度情報として、上記光源推定部が推定した光源情報を参照して３Ｄカラーモデルを生成する
    ことを特徴とする請求項１に記載の画像再生装置。
  3. 　上記色差情報取得部が取得した色差情報と、参照色差モデル情報蓄積部に蓄積された、過去フレームにおける色差モデルとの少なくとも何れかを参照して対象フレームにおける色差モデルを補償する無色領域補償部と、
    　上記無色領域補償部が補償した色差モデルを蓄積する参照色差モデル情報蓄積部とを更に備え、
    　上記３Ｄカラーモデル生成部は、上記色差情報として、上記無色領域補償部が補償した色差モデルを参照して３Ｄカラーモデルを生成する
    ことを特徴とする請求項１又は２に記載の画像再生装置。
  4. 　テクスチャ情報を取得するテクスチャ情報取得部を更に備え、
    　上記３Ｄカラーモデル生成部は、生成した上記３Ｄカラーモデルに、上記テクスチャ情報取得部が取得したテクスチャ情報を参照して生成したテクスチャを貼り付ける
    ことを特徴とする請求項１から３までの何れか１項に記載の画像再生装置。
  5. 　第１の３Ｄカラーモデルから輝度情報を生成する輝度情報生成部と、
    　上記第１の３Ｄカラーモデルから色差情報を生成する色差情報生成部と、
    　上記輝度情報生成部が生成した輝度情報と、上記色差情報生成部が生成した色差情報とであって、少なくとも何れかは過去フレームに対応する輝度情報と色差情報とを参照して第２の３Ｄカラーモデルを生成する３Ｄモデル再生部と、
    　上記第１の３Ｄカラーモデルと、上記第２の３Ｄカラーモデルとを比較して、上記輝度情報と上記色差情報との少なくとも何れかの送信の要否を判定する要否判定部と、
    を備えていることを特徴とする画像生成装置。
  6. 　装置によって実行される画像生成方法であって、
    　輝度情報を取得する輝度情報取得ステップと、
    　色差情報を取得する色差情報取得ステップと、
    　３Ｄシェイプを生成する３Ｄシェイプ生成ステップと、
    　上記３Ｄシェイプ生成ステップにおいて生成した３Ｄシェイプに、上記輝度情報取得ステップにおいて取得した輝度情報と、上記色差情報取得ステップにおいて取得した色差情報とを参照して、色付けを行うことにより３Ｄカラーモデルと生成する３Ｄカラーモデル生成ステップと
    を含むことを特徴とする画像生成方法。
  7. 　請求項１に記載の画像再生装置としてコンピュータを機能させるための制御プログラムであって、上記３Ｄシェイプ生成部、及び上記３Ｄカラーモデル生成部としてコンピュータを機能させるための制御プログラム。
  8. 　請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/034453 2018-09-07 2019-09-02 画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体 WO2020050222A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-167863 2018-09-07
JP2018167863 2018-09-07

Publications (1)

Publication Number Publication Date
WO2020050222A1 true WO2020050222A1 (ja) 2020-03-12

Family

ID=69723212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034453 WO2020050222A1 (ja) 2018-09-07 2019-09-02 画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体

Country Status (1)

Country Link
WO (1) WO2020050222A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190398A1 (ja) * 2021-03-09 2022-09-15 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0374777A (ja) * 1989-08-17 1991-03-29 Graphic Commun Technol:Kk 顔画像合成装置
JP2010109783A (ja) * 2008-10-31 2010-05-13 Casio Computer Co Ltd 電子カメラ
JP2012141834A (ja) * 2010-12-30 2012-07-26 Tsuneo Ikedo 微細凹凸面物体描画回路
JP2014026391A (ja) * 2012-07-25 2014-02-06 Shiseido Co Ltd 質感定量化装置、質感定量化方法、及び質感定量化プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0374777A (ja) * 1989-08-17 1991-03-29 Graphic Commun Technol:Kk 顔画像合成装置
JP2010109783A (ja) * 2008-10-31 2010-05-13 Casio Computer Co Ltd 電子カメラ
JP2012141834A (ja) * 2010-12-30 2012-07-26 Tsuneo Ikedo 微細凹凸面物体描画回路
JP2014026391A (ja) * 2012-07-25 2014-02-06 Shiseido Co Ltd 質感定量化装置、質感定量化方法、及び質感定量化プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190398A1 (ja) * 2021-03-09 2022-09-15 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
JP2022137826A (ja) * 2021-03-09 2022-09-22 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム

Similar Documents

Publication Publication Date Title
US11210838B2 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
JP3996630B2 (ja) 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
JP4828506B2 (ja) 仮想視点画像生成装置、プログラムおよび記録媒体
CN110033475B (zh) 一种高分辨率纹理生成的航拍图运动物体检测与消除方法
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
KR100918007B1 (ko) 3차원 모델의 스케일링 방법, 스케일링 유닛 및 화상디스플레이 장치
JP2019057248A (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
EP3552183B1 (en) Apparatus and method for generating a light intensity image
KR20110093829A (ko) 깊이 맵을 생성하기 위한 방법 및 디바이스
JP2002024850A (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
JP4965967B2 (ja) 映像表示システムの調整システム
KR20080047673A (ko) 입체영상 변환 장치 및 그 방법
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
US20220084300A1 (en) Image processing apparatus and image processing method
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JPWO2020130070A1 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
WO2020050222A1 (ja) 画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体
CN113989434A (zh) 一种人体三维重建方法及设备
KR20210147626A (ko) 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
US20210118216A1 (en) Method of displaying a wide-format augmented reality object
JP2001291116A (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
JP2000348206A (ja) 画像生成装置および画像優先度決定方法
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856815

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856815

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP