CN109564696B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN109564696B
CN109564696B CN201780048142.7A CN201780048142A CN109564696B CN 109564696 B CN109564696 B CN 109564696B CN 201780048142 A CN201780048142 A CN 201780048142A CN 109564696 B CN109564696 B CN 109564696B
Authority
CN
China
Prior art keywords
image
viewpoint
depth
polygon
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048142.7A
Other languages
English (en)
Other versions
CN109564696A (zh
Inventor
押领司宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109564696A publication Critical patent/CN109564696A/zh
Application granted granted Critical
Publication of CN109564696B publication Critical patent/CN109564696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种图像处理设备和一种图像处理方法，其使得能够使用表示更多区域的三维结构的两个视点的纹理图像和深度图像来生成图像。选择部从对对应于深度图像的视点与每个像素的多边形之间的距离r的倒数1/r进行量化的第一量化方法、对距离r进行量化的第二量化方法和对构成两个视点的另一视点和对应于深度图像的视点与每个像素中的多边形之间的距离r’的倒数1/r’进行量化的第三量化方法中选择每个视点的深度图像的量化方法。本公开可以应用于例如显示设备等。

Description

图像处理设备和图像处理方法
技术领域
本公开涉及一种图像处理设备和一种图像处理方法，尤其涉及能够使用两个视点的纹理图像和深度图像来表示更多区域的三维结构的图像处理设备和图像处理方法。
背景技术
作为用于表示物体的三维结构的技术，主要有使用物体的多边形(3D网格)和粘贴到多边形的纹理来表示物体的三维结构的技术，以及使用通过相对于多个视点透视投影物体而获得的纹理图像和深度图像来表示物体的三维结构的技术。前一种技术是通用CG(计算机图形学)技术中使用的一种技术。后一种技术(以下称为2D深度技术)对于拍摄图像具有高亲和性，该拍摄图像是通过透视投影成像物体而获得的图像。
在物体的三维结构由2D深度技术表示的情况下，使用诸如MPEG MVD(运动图像专家组阶段多视图+深度)的编码方法对表示三维结构的数据进行编码(例如，参考NPL 1)。
[引用列表]
[专利文献]
[NPL 1]
Takanori SENOH,Kenji YAMAMOTO,Ryutaro OI and Taiichiro KURITA“MPEGMulti-View Image Coding Standardization,”Journal of the National Institute ofInformation and Communications Technology Vol.56Nos.1/2,2010年3月发行
发明内容
[技术问题]
如上所述，2D深度技术是使用通过相对于多个视点透视投影物体而获得的纹理图像(二维图像)和对应于纹理图像的深度图像来表示物体的三维结构的技术。因此，2D深度技术不能表示物体没有透视投影到的区域的三维结构。
因此，通过增加透视投影的视点数量以增加透视投影的区域，可以表示更多区域的三维结构。然而，随着透视投影的视点数量增加，表示三维结构所需的数据量增加。
本公开是鉴于如上所述的这种情况而做出的，并且使得能够使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。
[问题的解决方案]
本公开的第一方面的图像处理设备是这样一种图像处理设备，其包括：图像生成部，其被配置为使用通过将多边形的背面投影到垂直于视线方向的投影面而获得的纹理图像和对应于每个视点的纹理图像的深度图像来生成预定视点的纹理图像，该视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝多边形的中心；以及量化部，其被配置为对构成两个视点的另一视点和对应于深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
本公开第一方面的图像处理方法对应于本公开第一方面的图像处理设备。
在本公开的第一方面中，使用通过将多边形的背面投影到垂直于视线方向的投影面获得的纹理图像和对应于每个视点的纹理图像的深度图像来生成预定视点的纹理图像，该视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝多边形的中心。应当注意，每个视点的深度图像的量化方法是对构成两个视点的另一视点和对应于深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化的量化方法。
本公开的第二方面的图像处理设备是这样一种图像处理设备，其包括：纹理图像生成部，其被配置为通过将多边形的背面投影到垂直于视线方向的投影面来生成纹理图像，该视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝多边形的中心；以及深度图像生成部，其被配置为通过将通过量化方法获得的量化值设置为像素值来生成对应于每个视点的纹理图像的深度图像，该量化方法用于对构成两个视点的另一视点和对应于深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
本公开的第二方面的图像处理方法对应于本公开的第二方面的图像处理设备。
在本公开的第二方面中，通过将多边形的背面投影到垂直于视线方向的投影面来生成纹理图像，该视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝多边形的中心，并且通过将通过量化方法获得的量化值设置为像素值来生成对应于每个视点的纹理图像的深度图像，该量化方法用于对构成两个视点的另一视点和对应于深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
应当注意，本公开的第一方面和第二方面的图像处理设备可以通过使计算机执行程序来实现。
此外，为了实现本公开的第一方面和第二方面的信息处理设备，由计算机执行的程序可以通过发送介质发送或者通过将程序记录在记录介质中来提供。
[发明的有利效果]
根据本公开的第一方面，可以生成图像。根据本公开的第一方面，可以使用表示更多区域的三维结构的两个视点的纹理图像和深度图像来生成图像。
此外，根据本公开的第二方面，可以生成图像。根据本公开的第二方面，可以使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。
应当注意，这里描述的有利效果不一定是限制性的，并且可以是本公开中描述的一些有利效果。
附图说明
图1是示出作为应用本公开的图像处理设备的生成设备的第一实施例的配置示例的框图。
图2是示出成像设备的配置示例的视图。
图3是示出1的绘图部的配置示例的框图。
图4是示出距离r的视图。
图5是示出通过透视投影每个多边形的正面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图6是示出通过透视投影每个多边形的正面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图7是示出通过透视投影每个多边形的正面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图8是示出通过透视投影球体的背面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图9是示出通过透视投影球体的背面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图10是示出通过透视投影每个多边形的背面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图11是示出通过透视投影每个多边形的背面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图12是示出通过透视投影每个多边形的背面而生成的纹理图像和对应于纹理图像的深度图像的视图。
图13是示出生成处理的流程图。
图14是示出作为应用本公开的图像处理设备的显示设备的第一实施例的配置示例的框图。
图15是示出量化方法的选择的视图。
图16是示出量化方法的选择的视图。
图17是示出量化方法的选择的视图。
图18是示出量化方法的选择的视图。
图19是示出第一重建方法的视图。
图20是示出第二重建方法的视图。
图21是示出显示处理的流程图。
图22是示出量化信息生成处理的流程图。
图23是示出纹理图像的不同示例的视图。
图24是示出投影面的坐标系的视图。
图25是示出tan轴投影的视图。
图26是示出计算机硬件的配置示例的框图。
图27是示出车辆控制系统的示意性配置的示例的框图。
图28是辅助说明车外信息检测部和成像部的安装位置的示例的图。
具体实施方式
下面，描述用于执行本公开的模式(以下称为实施例)。需要注意的是，描述按以下顺序给出。
1.第一实施例：生成设备和显示设备(图1至图22)
2.纹理图像的不同示例(图23)
3.第二实施例：tan轴投影(图24和图25)
4.第三实施例：计算机(图26)
5.应用示例(图27和图28)
<1.第一实施例>
(生成设备的配置示例)
图1是示出作为应用本公开的图像处理设备的生成设备的第一实施例的配置示例的框图。
图1的生成设备12使用由成像设备11-1至11-N(N等于或大于2)获取的拍摄图像和深度图像来生成拍摄图像中的主成像物体的纹理图像和深度图像以及全天球图像的纹理图像和深度图像。
具体地，成像设备11-1至11-N围绕主成像物体配置，并且将主成像物体的至少一部分包括在其成像范围内。成像设备11-1至11-N中的每一个包括拍摄图像相机21和深度图像相机22。拍摄图像相机21以帧为单位对成像物体成像以获取拍摄图像，并将拍摄图像提供给生成设备12。深度图像相机22获取拍摄图像的每个像素处的成像物体在深度方向上的位置，生成表示该位置的信息被用作像素值的深度图像，并将深度图像提供给生成设备12。应当注意，在以下描述中，在不需要将成像设备11-1至11-N彼此具体区分的情况下，它们统称为成像设备11。
生成设备12包括区域提取部31、位置信息生成部32、颜色信息生成部33、多边形生成部34、绘图部35、全天球图像生成部36、分辨率降低部37、编码器38、存储部39和发送部40。
生成设备12的区域提取部31从N个成像设备11提供的N个摄像图像和N个深度图像中提取主成像物体的区域，并将这些区域提供给位置信息生成部32。此外，区域提取部31从N个拍摄图像和N个深度图像中提取除了主成像物体的区域之外的区域作为背景区域，并将背景区域提供给全天球图像生成部36。
位置信息生成部32使用从区域提取部31提供的主成像物体的区域的N个深度图像来生成对应于主成像物体的一个或多个多边形的位置信息。多边形的位置信息是多边形顶点在3D模型坐标系中的三维坐标，该3D模型坐标系是原点位于主成像物体中心的三维坐标系。位置信息生成部32将每个多边形的位置信息提供给颜色信息生成部33和多边形生成部34。此外，位置信息生成部32将主成像物体区域中的N个拍摄图像提供给颜色信息生成部33。
颜色信息生成部33使用从位置信息生成部32提供的每个多边形的位置信息和主成像物体的N个拍摄图像来生成颜色信息，诸如每个多边形的正面和背面的RGB值。具体地，颜色信息生成部33使用对应于多边形的拍摄图像的像素值来生成每个多边形的正面的颜色信息。此外，颜色信息生成部33还生成每个多边形的正面的颜色信息作为每个多边形的背面的颜色信息。颜色信息生成部33将每个多边形的正面和背面的每条颜色信息提供给多边形生成部34。
应当注意，多边形正面的颜色信息通过按照围绕正面的法线向量的顺时针方向描述多边形的每个顶点在3D模型坐标系中的三维坐标以及描述与三维坐标相关联的颜色信息来表示。多边形背面的颜色信息也类似于正面的颜色信息来表示。
多边形生成部34基于从位置信息生成部32提供的每个多边形的位置信息生成每个多边形，并基于从颜色信息生成部33提供的每个多边形的正面和背面的颜色信息将纹理粘贴到每个多边形的正面和背面。多边形生成部34将纹理被粘贴到每个多边形的正面和背面的每个多边形提供给绘图部35。
绘图部35(图像生成部)针对在相对于作为主成像物体的一个或多个多边形的中心的3D模型坐标系的原点彼此相对的两个视点中的每一个，执行将每个多边形的背面透视投影到透视投影面，以生成两个视点的纹理图像。具体地，对于两个视点中的每一个，绘图部35将每个多边形的背面透视投影到透视投影面，以生成两个视点的纹理图像，该透视投影面是法线，从每个视点指向原点的视线方向的直线通过该法线的中心。在本说明书中，“相对位置”不仅是相对位置，还包括在实现本公开的技术效果的范围内接近相对位置的位置。类似地，“法线”不仅包括法线本身，还包括接近垂直线的与该面成角度的线。
应当注意，尽管纹理图像的格式没有特别限制，但是例如可以采用YCbCr420格式。绘图部35基于多边形通过第一至第三量化方法生成分别对应于两个视点的纹理图像的深度图像。绘图部35将两个视点的纹理图像和通过第一至第三量化方法生成的深度图像提供给编码器38。
全天球图像生成部36将从区域提取部31提供的背景区域的N个拍摄图像透视投影到以3D模型坐标系原点为中心的正八面体，以生成在水平方向上围绕360度、在垂直方向上围绕180度的全天球图像的纹理图像。应当注意，如果实现了本公开的技术效果，全天球图像可以不是水平方向上围绕360度和垂直方向上围绕180度的球体的全部空间的图像，而是部空间的图像。与拍摄图像类似，全天球图像生成部36将从区域提取部31提供的背景区域的N个深度图像透视投影到正八面体，以生成全天球图像的深度图像。全天球图像生成部36将全天球图像的纹理图像和深度图像提供给分辨率降低部37。
分辨率降低部37将从全天球图像生成部36提供的全天球图像的纹理图像和深度图像转换成低分辨率的纹理图像和深度图像，并将它们提供给编码器38。
编码器38对从绘图部35提供的两个视点的纹理图像和通过第一至第三量化方法生成的深度图像进行编码，并对从分辨率降低部37提供的全天球图像的纹理图像和深度图像进行编码。虽然AVC(高级视频编码)方法、HEVC方法、MVD方法等可以用作它们的编码方法，但是这里假设使用AVC方法。
因此，编码器38通过编码生成视点的纹理图像的编码流(以下称为视点纹理流)，并且通过量化方法生成深度图像的编码流(以下称为视点深度流)。此外，编码器38通过编码生成分辨率降低的全天球图像的纹理图像的编码流(以下称为全天球纹理流)和分辨率降低的全天球图像的深度图像的编码流(以下称为全天球深度流)。编码器38将两个视点的视点纹理流和通过第一至第三量化方法生成的视点深度流以及全天球纹理流和全天球深度流提供给存储部39。
存储部39存储从编码器38提供给它们的两个视点的视点纹理流和通过第一至第三量化方法生成的视点深度流，以及全天球纹理流和全天球深度流。
发送部40针对每个视点，从存储在存储部39中的由第一至第三量化方法生成的视点深度流中，读出并发送由接收部41提供的量化方法信息指示的量化方法生成的视点深度流。此外，发送部40读出并发送存储在存储部39中的两个视点的视点纹理流以及全天球纹理流和全天球深度流。
接收部41针对每个视点，接收从以下描述的显示设备发送的量化方法信息并将其提供给发送部40，该量化方法信息表示第一至第三量化方法中对应于显示图像的量化方法。
生成设备12以上述方式将表示主成像物体的三维结构的多边形和颜色信息转换成两个视点的纹理图像和深度图像。因此，生成设备12可以使用通常使用的图像编码方法对两个视点的纹理图像和深度图像进行编码，以减少它们的数据量。结果，可以减小表示主成像物体的三维结构的数据的发送带宽。
应当注意，尽管图1的生成设备12生成多边形和颜色信息，但是生成设备12可以生成点云等的一些其他信息，只要它是表示CG技术中使用的三维结构的信息即可。
此外，虽然在图1的示例中，深度图像相机22获取像素数量等于拍摄图像的深度图像，但是在深度图像相机22获取像素数量小于拍摄图像的深度图像的情况下，在区域提取部31和位置信息生成部32之间提供深度图像插值部，对深度图像的像素值进行插值。在这种情况下，深度图像插值部对深度图像的像素值进行插值，以使深度图像的像素数量等于拍摄图像的像素数量。
此外，虽然在图1的示例中，每个成像设备11获取深度图像，但是深度图像可以从从对应于深度图像的成像设备11和不同的成像设备11获取的拍摄图像生成。
此外，虽然在图1的示例中，绘图部35通过所有第一至第三量化方法生成深度图像，但是也可以使用仅由接收部41接收的量化方法信息指示的量化方法生成深度图像。
(摄像设备的配置示例)
图2是示出图1的成像设备11的配置示例的视图。
在图2的示例中，N是9。
如图2所示，九个成像设备11-1至11-9被配置成围绕主成像物体61。
(绘图部的配置示例)
图3是示出图1的绘图部35的配置示例的框图。
图3的绘图部35包括纹理图像生成部71、r值获取部72、倒数r值获取部73、1/r量化部74、等距离量化部75和倒数1/r量化部76。
绘图部35的纹理图像生成部71通过针对两个视点中的每一个将从图1的多边形生成部34提供的每个多边形的背面透视投影到透视投影面来生成两个视点的纹理图像，并将两个视点的纹理图像提供给图1的编码器38。
r值获取部72针对两个视点中的每个，基于从多边形生成部34提供的每个多边形、两个视点中的一个和纹理图像的每个像素处的多边形，计算互连直线的距离r。r值获取部72将每个视点的每个像素的距离r提供给1/r量化部74和等距离量化部75。
倒数r值获取部73针对两个视点中的每一个，基于从多边形生成部34提供的每个多边形、两个视点中的另一个以及纹理图像的每个像素处的多边形，计算互连直线的距离r’。距离r和距离r’之间的关系由以下表达式(1)表示。
r’＝rmax+rmin-r…(1)
应当注意，rmax和rmin分别是纹理图像的所有像素处距离r的最大值和最小值。倒数r值获取部73将每个视点的每个像素的距离r’提供给倒数1/r量化部76。
1/r量化部74(深度图像生成部)针对每个视点，通过用于量化距离r的倒数的第一量化方法，根据以下表达式(2)量化从r值获取部72提供的每个像素的距离r的倒数，以计算量化后的值Id1(r)。
[数学式1]
Figure BDA0001965853640000091
1/r量化部74为每个视点生成每个像素值被给出为每个像素量化后的值Id1(r)的深度图像，并将深度图像提供给图1的编码器38。
等距离量化部75(深度图像生成部)针对每个视点，通过用于量化距离r的第二量化方法，根据以下表达式(3)，量化从r值获取部72提供的每个像素的距离r，以计算量化后的值Id2(r)。
[数学式2]
Id2(r)＝round[255(r-rmin)/(rmax-rmin)]...(3)
等距离量化部75为每个视点生成每个像素值被给出为每个像素量化后的值Id2(r)的深度图像，并将深度图像提供给编码器38。
倒数1/r量化部76(深度图像生成部)针对每个视点，通过用于量化距离r’的倒数的第三量化方法，根据以下表达式(4)，量化倒数r值获取部73提供的每个像素的距离r’的倒数，计算量化后的值Id3(r’)。
[数学式3]
Figure BDA0001965853640000092
倒数1/r量化部76为每个视点生成每个像素值被给出为在每个像素量化后的值Id3(r’)的深度图像，并将深度图像提供给编码器38。
(距离r的说明)
图4是示出距离r的视图。
在图4的示例中，由多边形生成部34生成的多边形在视点O1处的纹理图像的深度方向z上距视点O1的距离为zab的位置处形成垂直于深度方向z的面80。
在这种情况下，距离ra是其视点O1的纹理图像上的多边形是与深度方向z相交的面80上的点a的像素的距离r，是连接视点O1和点a的深度方向z上的直线的距离，并且是距离zab。
同时，距离rb是其视点O1的纹理图像上的多边形是不同于面80上的点a的点b的像素的距离r，是在不同于连接视点O1和点b的深度方向z的方向上的直线的距离，而不是距离zab。
(本公开的效果说明)
图5至图7是示出了针对相对于3D模型坐标系原点彼此相对的两个视点中的每一个，通过将每个多边形的正面透视投影到透视投影面而生成的纹理图像和对应于该纹理图像的深度图像的视图。
在图5至图7的示例中，主成像物体的多边形形成球体81。在这种情况下，如图5的A所示，在通过从作为两个视点之一的视点O1将球体81的正面沿透视投影到视线方向V1上的透视投影面而生成的纹理图像中，绘制粘贴到球体81的正面上的区域81A的纹理，该区域81A首先与每个投影方向82相交。投影方向是从视点延伸的方向，并且在相对于视线方向定义的角度的绝对值等于视场角的一半(在图3的示例中为θ)的范围内。此外，对应于纹理图像的深度图像是表示区域81A相对于视点O1在深度方向(视线方向V1)上的位置的图像。
此外，如图5的B所示，在通过从两个视点中的另一个视点O2将球体81的正面透视投影到视线方向V2上的透视投影面而生成的纹理图像中，绘图粘贴到球体81的正面上的区域81B的纹理，该区域81B首先与每个投影方向83相交。此外，对应于纹理图像的深度图像是表示区域81B相对于视点O2在深度方向(视线方向V2)上的位置的图像。
因此，如图5的C所示，来自视点O1的纹理图像和深度图像以及来自视点O2的纹理图像和深度图像可以用于表示相对于球体81的中心彼此相对的两个区域81A和81B的三维结构。然而，在球体的表面上，存在区域81A和区域81B以外的区域。换句话说，球体81的表面区域存在三维结构不能由视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像表示的区域。
例如，在将世界地图作为纹理应用于球体81的正面和背面，并且非洲海岸边大西洋上空是视点O1的情况下，作为纹理粘贴到区域81A的正面的非洲大陆和南美洲大陆的一部分被绘制在视点O1的纹理图像101中，如图6的A中左侧所示。
此外，在这种情况下，视点O2在太平洋上空中，并且作为纹理粘贴到区域81B的正面的澳大利亚大陆的一部分被绘制在视点O2的纹理图像102中，如图6的B中左侧所示。然而，南极洲等没有绘制在纹理图像101和纹理图像102中的任何一个中。
此外，如图6的A中右侧和图6的B中右侧所示，对应于纹理图像101的深度图像111和对应于纹理图像102的另一深度图像112是相同的。应当注意，在深度图像中，随着成像物体在每个像素处的深度方向上的位置的距离增加，像素值(亮度值)减小。因此，在深度图像111和深度图像112中，像素值在中心处最高，并且随着距中心的距离增加而减小。
以这种方式，在纹理图像101和纹理图像102中的任何一个中，南极洲等都没有被绘制。因此，如图7所示，使用纹理图像101和深度图像111以及纹理图像102和深度图像112重建的三维结构121仅仅是将世界地图粘贴到正面和背面作为纹理的球体81的一部分。
虽然在图5至7的示例中，多边形的形状是相对简单的球体81，但是在多边形的形状复杂的情况下，多边形的三维结构不能由两个视点的纹理图像表示的区域增加。
图8和图9是示出通过相对于视点O1将球体81的背面透视投影到视线方向V1上的透视投影面而生成的纹理图像和对应于该纹理图像的深度图像的视图。
如上所述，在通过相对于视点O1将球体81的正面透视投影到视线方向V1上的透视投影面来生成纹理图像的情况下，如图8所示，在纹理图像中绘图应用于球体81的正面上的每个点c1的纹理，每个投影方向82首先与该点c1相交。此外，对应于该纹理图像的深度图像是表示相对于视点O1在每个点c1处在深度方向(视线方向V1)上的位置的图像。
另一方面，在通过相对于视点O1将球体81的背面透视投影到视线方向V1上的透视投影面来生成纹理图像的情况下，如图8所示，在纹理图像中绘制应用于球体81背面上的每个点c2的纹理，每个投影方向82首先与该点c2相交。此外，对应于该纹理图像的深度图像是表示相对于视点O2在每个点c2处在深度方向(视线方向V1)上的位置的图像。
例如，在将世界地图作为纹理粘贴到球体81的正面和背面并且非洲岸边大西洋上空是视点O1的情况下，如图9所示，在视点O1的纹理图像131中，绘制了作为纹理粘贴到每个点c2的背面的北美大陆、南美大陆的一部分、南极洲、欧洲大陆的一部分、亚洲大陆和澳大利亚大陆。此外，在对应于纹理图像131的深度图像132中，像素值在中心处最低，并且随着距中心的距离增加而减小。
图10至图12是示出了对于相对于3D模型坐标系原点彼此相对的两个视点中的每一个，通过将多边形的背面透视投影到透视投影面而生成的纹理图像和对应于该纹理图像的深度图像的视图。
在图10至图12的示例中，主成像物体的多边形是球体81。在这种情况下，如图10的A所示，对于通过相对于视点O1上将球体81的背面透视投影到在视线方向V1上的透视投影面而生成的纹理图像，绘制粘贴到球体81上背面的区域153A的纹理，每个投影方向82首先与该区域153A相交。此外，对应于纹理图像的深度图像是表示区域81A相对于视点O1在深度方向(视线方向V1)上的位置的图像。
同时，如图10的B所示，对于通过相对于两个视点中的另一个视点O2将球体81的背面透视投影到在视线方向V2上的透视投影面而生成的纹理图像，绘制粘贴到球体81上背面的区域153B的纹理，每个投影方向83首先与该区域153B相交。此外，对应于纹理图像的深度图像是表示区域81B相对于视点O2在深度方向(视线方向V2)上的位置的图像。
因此，如图8C所示，相对于球体81的中心彼此相对的两个区域153A和153B的三维结构可以用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示。
应当注意，如图10的C所示，区域153A和区域153B彼此重叠。因此，整个球体81的三维结构可以用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示。
例如，在将世界地图作为纹理应用于球面81的正面并且非洲海岸边大西洋上空是视点O1的情况下，在视点O1的纹理图像161中绘制了作为纹理粘贴到区域153A的背面的北美大陆、南美洲大陆的一部分、南极洲、欧洲大陆的一部分、亚洲大陆和澳大利亚大陆，如图11的A中左侧所示。
此外，在这种情况下，视点O2在太平洋上空，并且在视点O2的纹理图像162中绘制了作为纹理粘贴到区域153B背面的非洲大陆、北美大陆、南美大陆、南极洲和欧洲大陆的一部分，如图11的B中左侧所示。因此，所有七大洲都绘制在纹理图像161和纹理图像162中的至少一个中。
此外，如图11的A和图11的B中右侧所示，对应于纹理图像161的深度图像163和对应于纹理图像162的深度图像164是相同的。在深度图像163和深度图像164中，像素值在中心处最高，并且随着距中心的距离增加而减小。
以如上所述的方式，所有七大洲都绘制在纹理图像161和纹理图像162中的至少一个中。因此，如图12的A所示，使用纹理图像161和深度图像163重建的三维结构171是大于视点O2侧的球体81的一半(图中的右半部分)的部分。同时，如图12的B所示，使用纹理图像162和深度图像164重建的三维结构172是大于视点O1侧的球体81的一半(图中的左半部分)的部分。因此，通过使用纹理图像161和深度图像163以及纹理图像162和深度图像164重建三维结构，可以生成整个球体81。
注意，区域153A和区域153B的重叠部分是使用纹理图像161和深度图像163或纹理图像162和深度图像164生成的。
例如，如图10的A所示，在区域153A和区域153B的重叠区域内的区域153A的端部的每个区域154相对于视点O1透视投影的情况下，相对于投影方向82的角度较小。因此，利用纹理图像161和深度图像163，可以高精度地表示区域154的三维结构。
然而，如图10的B所示，在区域154相对于视点O2透视投影的情况下，与区域154相对于视点O1透视投影的情况相比，区域154相对于投影方向83的角度更大。因此，利用纹理图像162和深度图像164，与纹理图像161和深度图像163相比，区域154的三维结构能够以更高的精度表示。因此，使用纹理图像162和深度图像164生成区域154。
通过使用纹理图像161和深度图像163以及纹理图像162和深度图像164中的对应于相对于重叠区域具有更大角度的投影方向的一个图像来生成区域153A和区域153B的重叠区域，可以提高球体81的重建精度。
(生成设备的处理说明)
图13是示出图1的生成设备12的生成处理的流程图。该生成处理针对由N个成像设备11获取的N个拍摄图像和N个深度图像的每个帧执行。
在图13的步骤S11，生成设备12的区域提取部31从从成像设备11提供的N个拍摄图像和N个深度图像中提取主成像物体的区域和背景区域。区域提取部31将主成像物体区域中的N个拍摄图像和深度图像提供给位置信息生成部32，并将背景区域中的N个拍摄图像和深度图像提供给全天球图像生成部36。
在步骤S12，位置信息生成部32使用从区域提取部31提供的主成像物体区域中的N个深度图像来生成主成像物体的每个多边形的位置信息，并将位置信息提供给颜色信息生成部33和绘图部35。此外，位置信息生成部32将主成像物体区域中的N个拍摄图像提供给颜色信息生成部33。
在步骤S13，颜色信息生成部33使用从位置信息生成部32提供的每个多边形的位置信息和主成像物体区域中的N个拍摄图像来生成每个多边形的正面和背面的颜色信息。颜色信息生成部33将每个多边形的正面和背面的颜色信息提供给绘图部35。
在步骤S14，绘图部35基于从位置信息生成部32提供的每个多边形的位置信息生成多边形，并且基于从颜色信息生成部33提供的每个多边形的正面和背面的颜色信息将纹理粘贴到每个多边形的正面和背面。
在步骤S15，绘图部35的纹理图像生成部71(图3)通过针对两个视点中的每个视点将每个多边形的背面透视投影到视线方向上的透视投影面来生成预先确定的两个视点的纹理图像。绘图部35将两个视点的纹理图像提供给编码器38。
在步骤S16，r值获取部72基于从多边形生成部34提供给每个视点的多边形来计算每个视点的每个像素的距离r，并将距离r提供给1/r量化部74和等距离量化部75。
在步骤S17，倒数r值获取部73基于从多边形生成部34提供的多边形计算每个视点的每个像素的距离r’，并将距离r’提供给倒数1/r量化部76。
在步骤S18，1/r量化部74通过对每个视点计算第一量化方法量化后的值Id1(r)来生成深度图像，并将该深度图像提供给编码器38。此外，等距离量化部75针对每个视点计算通过第二量化方法量化后的值Id2(r)，以生成深度图像，并将该深度图像提供给编码器38。此外，倒数1/r量化部76计算通过第三量化方法量化后的值Id3(r’)，以生成深度图像，并将该深度图像提供给编码器38。
在步骤S19，全天球图像生成部36通过将从区域提取部31提供的背景区域中的N个拍摄图像透视投影到以3D模型坐标系原点为中心的正八面体来生成全天球图像的纹理图像，并将全天球图像的纹理图像提供给分辨率降低部37。
在步骤S20，全天球图像生成部36类似于拍摄图像，将从区域提取部31提供的背景区域中的N个深度图像透视投影到正八面体，以生成全天球图像的深度图像，并将全天球图像的深度图像提供给分辨率降低部37。
在步骤S21，分辨率降低部37将从全天球图像生成部36提供的全天球图像的纹理图像和深度图像转换成较低分辨率的纹理图像和深度图像，并将分辨率降低的全天球图像的纹理图像和深度图像提供给编码器38。
在步骤S22，编码器38将两个视点的纹理图像和第一至第三量化方法的深度图像以及全天球图像的纹理图像和深度图像编码并提供给存储部39以进行存储。
在步骤S23，接收部41决定是否从下文描述的显示设备向其发送每个视点的量化信息。在步骤S23确定每个视点的量化信息被发送到那里的情况下，接收部41接收每个视点的量化信息并将其提供给发送部40。
然后，在步骤S24，发送部40针对每个视点，将发送目标的视点深度流的量化方法设置为由从接收部41提供的量化信息指示的量化方法，并使处理前进到步骤S25。
另一方面，在步骤S23中判断没有向其发送量化信息的情况下，发送部40将当前处理目标的帧之前的帧设置为处理目标时设置的量化方法设置为当前处理目标的帧的量化方法。然后，处理前进到步骤S25。
在步骤S25，发送部40读出存储在存储部39中的两个视点的视点纹理流和设定量化方法的视点深度流，以及全天球纹理流和全天球深度流，并发送它们。然后，处理结束。
通过以如上所述的方式，生成设备12针对相对于3D模型坐标系的原点的两个视点中的每一个，将多边形的背面透视投影到每个视点的视线方向上的透视投影面，来生成两个视点的纹理图像和深度图像。因此，与通过透视投影多边形的正面来生成纹理图像和深度图像的替代情况相比，生成的两个视点的纹理图像和深度图像可以在更多的区域中表示主成像物体的多边形的三维结构。
此外，生成设备12通过第一至第三量化方法生成深度图像。因此，下文描述的显示设备可以从第一至第三量化方法的视点深度流选择性地使用适合于显示图像的量化方法的视点深度流来生成显示图像。
(显示设备的配置示例)
图14是示出作为应用本公开的图像处理设备的显示设备的第一实施例的配置示例的框图。
图14的显示设备200接收从图1的生成设备12发送的两个视点的视点纹理流和预定量化方法的视点深度流，以及全天球纹理流和全天球深度流，以生成预定视点的纹理图像作为显示图像。
具体地，显示设备200包括接收部201、存储部202、解码器203、去量化部204、重建部205、绘图部206、显示部207、选择部208和发送部209。
显示设备200的接收部201接收从生成设备12发送的两个视点的视点纹理流和视点深度流以及全天球纹理流和全天球深度流，并将它们提供给存储部202。
存储部202存储从接收部201提供的两个视点的视点纹理流和视点深度流以及全天球纹理流和全天球深度流。
解码器203从存储部202读出两个视点的视点纹理流和视点深度流以及全天球纹理流和全天球深度流，并对它们进行解码。解码器203将作为解码结果获得的两个视点的纹理图像和深度图像以及全天球纹理图像和全天球深度图像提供给重建部205。此外，解码器203将作为解码结果获得的两个视点的深度图像提供给去量化部204。
去量化部204针对每个视点，通过对应于由从选择部208提供的量化信息指示的量化方法的去量化方法，对从解码器203提供的两个视点的深度图像进行去量化，以生成每个像素的距离信息。在量化信息指示第一量化方法的情况下，距离信息是距离r的倒数1/r，并且在量化信息指示第二量化方法的情况下，距离信息是距离r，但是在量化信息指示第三量化方法的情况下，距离信息是距离r’的倒数1/r’。去量化部204将两个视点的深度图像的每个像素的距离信息提供给重建部205。
重建部205使用两个视点的纹理图像和深度图像的每个像素的距离信息来重建3D模型坐标系中的主成像物体的三维结构。如上所述，与通过透视投影多边形的正面来生成纹理图像和深度图像的替代情况相比，由生成设备12生成的两个视点的纹理图像和深度图像可以在更多的区域中表示主成像物体的多边形的三维结构。因此，使用解码的两个视点的纹理图像和深度图像重建三维结构的主成像物体的区域的数量大于通过透视投影多边形的正面来生成两个视点的纹理图像和深度图像的替代情况。
此外，重建部205使用从解码器203提供的全天球图像的纹理图像和深度图像重建3D模型坐标系中的背景区域的三维结构。重建部205将主成像物体和背景区域的三维结构的位置信息和颜色信息提供给绘图部206。
绘图部206(图像生成部)基于从重建部205提供的主成像物体和背景区域的三维结构的位置信息和颜色信息，生成由观看者等指定的3D模型坐标系中的视点、视线方向和视场角的纹理图像作为显示图像。绘图部206将生成的显示图像提供给显示部207。
显示部207显示从绘图部206提供的显示图像。因此，观看者可以从例如在主成像物体周围的任意位置观看主成像物体。
选择部208基于观看者等指定的3D模型坐标系中的视点和视线方向，针对每个视点，计算由纹理图像的深度方向(视线方向)和显示图像的深度方向定义的角度作为显示改变角度。选择部208针对每个视点，基于显示改变角度，从第一至第三量化方法中选择深度图像的量化方法。选择部208生成所选择的量化方法的量化信息，并将其提供给去量化部204和发送部209。
这里要注意的是，尽管说明继续假设选择部208从第一至第三量化方法中选择深度图像的量化方法来执行量化，但是也可以将选择部208配置为其中预先设置第一至第三量化方法中的一种量化方法以使得量化部通过设置的量化方法执行量化的量化部。
此外，尽管这里的说明继续假设对于每个视点基于显示改变角度从第一至第三量化方法中选择量化方法，但是可以基于除显示改变角度之外的预定条件选择量化方法。
发送部209将从选择部208提供的量化信息发送到图1的生成设备12。
(量化方法选择说明)
图15至图18是示出由图14的选择部208选择量化方法的视图。
在通过第一量化方法生成视点O1的深度图像的情况下，如图15中虚线所示，表示视场角内的位置的相等像素值线是以视点O1为中心的圆弧，该视场角对应于可被假设为深度图像的像素值的值中的预定距离的值。此外，在第一量化方法中，因为距离r的倒数1/r被量化，所以相等像素值线之间的距离朝向视点O1减小。
因此，如图15所示，在由视点VO1的显示图像的深度方向Vz和视点O1的纹理图像的深度方向z限定的显示改变角度接近0度的情况下(在图15的示例中为0度)，即，在深度方向Vz和深度方向z彼此接近的情况下，相等像素值线之间的距离朝向视点VO1减小。换句话说，在显示图像中对于更靠近视点VO1并且突出的成像物体，深度图像的量化步长减小。结果，可以提高显示图像的画面质量。
此外，在显示改变角度接近360度的情况下，与显示改变角度接近0度的情况类似，因为深度方向Vz和深度方向z彼此接近，所以可以通过第一量化方法生成深度图像来提高显示图像的画面质量。因此，如图18所示，在显示改变角度等于或大于0度但小于
Figure BDA0001965853640000171
(第一阈值)度或等于或大于
Figure BDA0001965853640000172
(第二阈值)度但小于360度的情况下，选择部208选择第一量化方法。
相反，在通过第三量化方法生成视点O1的深度图像的情况下，如图16中的虚线所示，相等的像素值线是以视点O2为中心的圆弧，如图16中的虚线所示，视点O2相对于原点O与视点O1相对。此外，根据第三量化方法，因为距离r’的倒数1/r’被量化，所以相等像素值线之间的距离朝向视点O2减小，即，随着离视点O1的距离增大。
因此，如图16所示，在由视点VO1的显示图像的深度方向Vz和视点O1的深度图像的深度方向z限定的显示改变角度接近180度的情况下(在图15的示例中为180度)，即，在深度方向Vz和与深度方向z相反的方向彼此接近的情况下，相等像素值线之间的距离朝向视点VO1减小。换句话说，在显示图像中对于更靠近视点VO1并且突出的成像物体，深度图像的量化步长减小。结果，可以提高显示图像的画面质量。
因此，如图18所示，在显示改变角度等于或大于
Figure BDA0001965853640000181
(第三阈值)度但小于
Figure BDA0001965853640000182
(第四阈值)度的情况下，选择部208选择第三量化方法。
在通过第二量化方法生成视点O1的深度图像的情况下，相等的像素值线是以视点O1为中心的圆弧，如图17的虚线所示。此外，因为根据第二量化方法，距离r被量化，所以相等像素值线之间的距离每个都是相等的距离。
因此，在由视点VO1的显示图像的深度方向Vz和视点O1的深度图像的深度方向z限定的显示改变角度如图17所示接近270度的情况下，或者在显示改变角度接近90度的情况下，即，在深度方向Vz不接近深度方向z的正向和反向中的任何一个的情况下，选择部208选择第二量化方法。具体地，在第一或第三量化方法没有优势的情况下，选择部208选择第二量化方法。特别地，如图18所示，在显示改变角度等于或大于
Figure BDA0001965853640000185
度但小于
Figure BDA0001965853640000186
度或者等于或大于
Figure BDA0001965853640000183
度但小于
Figure BDA0001965853640000184
度的情况下，选择部208选择第二量化方法。
选择部208以上述方式选择第一至第三量化方法，因此，可以防止在显示图像中，量化步长朝向视点VO1变得更粗糙。
(第一种重建方法的说明)
图19是示出第一重建方法的视图。
注意，为了便于说明，假设在图19的示例中，两个视点的纹理图像和深度图像的分辨率为4(水平)×4(垂直)像素。此外，图19示出了使用两个视点中的一个视点O1的纹理图像和深度图像重建主成像物体的三维结构的情况。
第一种重建方法是使用点云重建三维结构的方法。具体地，如图19所示，根据第一重建方法，重建部205基于视点O1、视线方向V1、视场角2θ、对应于视点O1的纹理图像220的每个像素221的采样点231在纹理图像220上的位置(u,v)以及对应于纹理图像220的深度图像的每个像素221的像素值，生成采样点231在3D模型坐标系中的三维坐标(X,Y,Z)。
此外，重建部205将作为纹理图像220的每个像素221的像素值的YCbCr值转换成RGB值，并将它们确定为对应于像素221的采样点231的RGB值。重建部205将采样点231的RGB值的点绘制到该采样点231的三维坐标(X,Y,Z)，以重建主成像物体的三维结构。重建部205将采样点231的三维坐标(X,Y,Z)作为主成像物体的三维结构的位置信息提供给绘图部206，并将采样点231的RGB值作为主成像物体的三维结构的颜色信息提供给绘图部206。
(第二种重建方法的说明)
图20是示出第二重建方法的视图。
注意，为了便于描述，假设在图20的示例中，两个视点的纹理图像和深度图像的分辨率为4(水平)×3(垂直)像素。此外，图20示出了使用两个视点中的一个视点O1的纹理图像和深度图像重建主成像物体的三维结构的情况。
第二种重建方法是使用三角形贴片重建三维结构的方法。具体地，如图20左侧所示，在第二重建方法中，重建部205生成与视点O1的纹理图像240上的像素241相对应的采样点251。重建部205连接对应于纹理图像240的所有像素的采样点251中的三个相邻采样点251，以生成在三个相邻采样点251处具有顶点的三角形贴片252。
然后，重建部205基于视点O1、视线方向V1、视场角2θ、每个采样点251的纹理图像240上的位置(u,v)和深度图像中与纹理图像240相对应的每个像素241的像素值，生成采样点251在3D模型坐标系中的三维坐标(X,Y,Z)。
然后，重建部205基于采样点251的三维坐标(X,Y,Z)，在3D模型坐标系中配置对应于采样点251的采样点261，如图20右侧所示。此外，重建部205连接对应于构成三角形贴片252的顶点的三个采样点251的采样点261，以生成三角形贴片262。
此外，重建部205针对每个三角形贴片262，将构成对应于三角形贴片262的三角形贴片252的像素241的YCbCr值转换成RGB值，并使用RGB值来生成三角形贴片262的RGB值。重建部205针对每个三角形贴片262将三角形贴片262的RGB值纹理粘贴到三角形贴片262。重建部205由此重建主成像物体的三维结构。重建部205将作为三角形贴片262的顶点的采样点261的三维坐标(X,Y,Z)作为主成像物体的三维结构的位置信息提供给绘图部206。此外，重建部205将三角形贴片262的RGB值作为主成像物体的三维结构的颜色信息提供给绘图部206。
虽然参照图19和图20说明了从视点O1的纹理图像和深度图像重建主成像物体的三维结构的方法，但是从视点O2的纹理图像和深度图像重建主成像物体的三维结构的方法和从全天球图像的纹理图像和深度图像重建背景区域的三维结构的方法与刚才说明的那些类似。
(显示设备的处理的说明)
图21是示出图14的显示设备200的显示处理的流程图。例如，当观看者发出显示显示图像的请求时，该显示处理开始。
在图21的步骤S30，显示设备200的选择部208执行用于生成和发送量化信息的量化信息生成处理。下面参照图22描述量化信息生成处理的细节。
在步骤S31，接收部201接收响应于量化信息从图1的生成设备12发送的两个视点的视点纹理流和视点深度流以及全天球纹理流和全天球深度流，并将它们提供给存储部202以进行存储。
在步骤S32，解码器203从存储部202读出两个视点的视点纹理流和视点深度流以及全天球纹理流和全天球深度流，并对它们进行解码。解码器203将作为解码结果获得的两个视点的纹理图像和深度图像以及全天球图像的纹理图像和深度图像提供给重建部205。此外，解码器203将作为解码结果获得的两个视点的深度图像提供给去量化部204。
在步骤S33，去量化部204针对每个视点，通过对应于由从选择部208提供的量化信息指示的量化方法的去量化方法，对从解码器203提供的深度图像进行去量化，以生成每个像素的距离信息。去量化部204将每个视点的深度图像的每个像素的距离信息提供给重建部205。
在步骤S34，重建部205使用两个视点的纹理图像和深度图像的像素的距离信息在3D模型坐标系中重建主成像物体的三维结构。重建部205将主成像物体的三维结构的位置信息和颜色信息提供给绘图部206。
在步骤S35，重建部205使用从解码器203提供的全天球图像的纹理图像和深度图像在3D模型坐标系中重建背景区域的三维结构。重建部205将背景区域的三维结构的位置信息和颜色信息提供给绘图部206。
在步骤S36，绘图部206基于从重建部205提供的主成像物体和背景区域的三维结构的位置信息和颜色信息，生成具有观看者等指定的3D模型坐标系中的视点、视线方向和视场角的纹理图像作为显示图像。绘图部206将生成的显示图像提供给显示部207。
在步骤S37，显示部207显示从绘图部206提供的显示图像，并结束处理。
图22是示出图21的步骤S30的量化信息生成处理的流程图。对每个视点执行该量化信息生成处理。
在图22的步骤S51，选择部208基于观看者等指定的3D模型坐标系中的视点和视线方向来计算显示改变角度。
在步骤S52，选择部208判断显示改变角度是等于或大于0度但小于
Figure BDA0001965853640000211
度，还是等于或大于
Figure BDA0001965853640000212
度但小于360度。在步骤S52确定显示改变角度等于或大于0度但小于
Figure BDA0001965853640000213
度或者等于或大于
Figure BDA0001965853640000214
度但小于360度的情况下，处理前进到步骤S53。
在步骤S53，选择部208选择第一量化方法，并生成第一量化方法的量化信息并将其提供给发送部209。然后，处理前进到步骤S57。
另一方面，在步骤S52确定显示改变角度不等于或大于0度但小于
Figure BDA0001965853640000216
度或者不等于或大于
Figure BDA0001965853640000217
度但小于360度的情况下，处理前进到步骤S54。
在步骤S54，选择部208判断显示改变角度是等于或大于
Figure BDA0001965853640000218
度但小于
Figure BDA0001965853640000215
度，还是等于或大于
Figure BDA00019658536400002110
度但小于
Figure BDA0001965853640000219
度。在步骤S54确定显示改变角度等于或大于
Figure BDA00019658536400002112
度但小于
Figure BDA00019658536400002111
度，还是等于或大于
Figure BDA00019658536400002113
度但小于
Figure BDA00019658536400002114
度的情况下，处理前进到步骤S55。
在步骤S55，选择部208选择第二量化方法，并生成第二量化方法的量化信息并将其提供给发送部209。然后，处理前进到步骤S57。
另一方面，在步骤S54确定显示改变角度不等于或大于
Figure BDA00019658536400002115
度但小于
Figure BDA00019658536400002121
度或者不等于或大于
Figure BDA00019658536400002118
度但小于
Figure BDA00019658536400002117
度的情况下，即，在显示改变角度等于或大于
Figure BDA00019658536400002120
度但小于
Figure BDA00019658536400002119
度的情况下，处理前进到步骤S56。
在步骤S56，选择部208选择第三量化方法，并且生成第三量化方法的量化信息并将其提供给发送部209。然后，处理前进到步骤S57。
在步骤S57，发送部209将从选择部208提供的量化信息发送到图1的生成设备12。然后，处理返回到图21的步骤S30，然后前进到步骤S31。
以这种方式，显示设备200使用由生成设备12生成的两个视点的纹理图像和深度图像来生成显示图像。因此，与通过透视投影两个视点中的每一个的多边形的正面而生成的两个视点的纹理图像和深度图像的替代情况相比，可以重建更多区域中的主成像物体的三维结构，并从三维结构生成显示图像。结果，提高了显示图像的画面质量。
此外，显示设备200从第一至第三量化方法中选择用于每个视点的深度图像的量化方法。因此，显示设备200可以使用通过例如从第一量化方法到第三量化方法中适合于生成显示图像的量化方法生成的深度图像来生成显示图像。结果，提高了显示图像的画面质量。
<纹理图像的不同示例>
图23是示出纹理图像的不同示例的视图。
尽管在前面的描述中，纹理图像是一个视点的纹理图像，但是它可以是对应于该视点的左眼视点和右眼视点的纹理图像的组合。
具体地，如图23的A所示，纹理图像可以是例如打包图像420，其中对应于一个视点的左眼视点的纹理图像421和右眼视点的另一纹理图像422在横向(水平方向)上打包。
或者，如图23的B所示，纹理图像可以是例如压缩图像440，其中纹理图像421和另一纹理图像422在纵向(垂直方向)上被压缩。
在纹理图像是其中左眼视点和右眼视点的图像被打包的纹理图像的情况下，作为解码结果获得的纹理图像被分离成左眼视点的纹理图像和右眼视点的纹理图像。然后，为每只眼睛生成三维结构。
然后，基于与观看者等指定的视点相对应的左眼视点、视线方向和视场角，从左眼三维结构生成左眼显示图像。同时，基于与观看者等指定的视点相对应的右眼视点、视线方向和视场角，从右眼三维结构生成右眼显示图像。
在显示部207是3D可显示的情况下，显示部207将左眼显示图像显示为左眼图像，并将右眼显示图像显示为右眼图像，以3D显示显示图像。另一方面，在显示部207不可3D显示的情况下，显示部207以2D显示左眼的显示图像或右眼的显示图像。
应当注意，虽然在第一实施例中视点的数量是两个，但是视点的数量不限于两个。此外，这两个视点可能不会相互对立。视线方向可以是从视点到原点以外的位置的方向。
此外，显示设备200可以不向生成设备12发送量化信息，但是可以从生成设备12接收第一至第三量化方法的视点深度流，并将它们存储到存储部202中。在这种情况下，显示设备200基于量化信息，从存储在存储部202中的第一至第三量化方法的视点深度流中仅读出由量化信息指示的量化方法的视点深度流，并解码该视点深度流。
此外，尽管上述说明中的显示设备200基于显示改变角度选择量化方法，但是在显示设备200上的处理负荷将被抑制的情况下，可以选择第二量化方法，而与显示改变角度无关。此外，可以基于除了显示改变角度之外的信息来执行量化方法的选择。例如，可以基于主成像物体的运动的存在或不存在来选择量化方法。
此外，在第一和第二量化方法中，视点和每个像素之间的多边形深度方向上的距离可以用来代替距离r，而在第三量化方法中，视点和构成两个视点的另一个视点之间的每个像素处的多边形深度方向上的距离可以用来代替距离r’。
<第二实施例>
应用本公开的分配系统的第二实施例的配置与上述例如图1的生成设备12或图14中示出的显示设备200的配置相同，不同之处在于执行tan轴投影(细节将在下文中描述)来代替透视投影。因此，在下文中，仅给出tan轴投影的说明。
(投影面坐标系说明)
图24是示出投影面的坐标系的视图。
应当注意，在第三实施例中，投影面是二维平面，当生成设备12生成高分辨率图像时，映射到球体的全天球图像被tan轴投影到该二维平面，或者当显示设备200生成显示图像时，3D模型图像被tan轴投影到该二维平面的观看范围。
在图24的示例中，z为-1.0的投影面451被设置在3D模型的三维xyz坐标系中。在这种情况下，投影面451的中心O’是原点，投影面451的水平方向是s方向，而垂直方向是t方向的二维st坐标系是投影面451的坐标系。
应当注意，在以下描述中，使用坐标(s,t)和-1.0(即从原点O到投影面451的距离)将从xyz坐标系的原点O指向st坐标系的坐标(s,t)的向量452称为向量(s,t,-1.0)。
(tan轴投影说明)
图25是示出tan轴投影(切向轴投影)的视图。
图25是从z的负方向观察投影面451的视图。在图25的示例中，在st坐标系中，投影面451的s值和t值的最小值为-1.0，最大值为1.0。
在这种情况下，在透视投影中，投影点被设置在投影面451上，使得从原点O指向投影面451上的投影点的投影向量成为向量(s’,t’,-1.0)。应当注意，s’表示在从-1.0到1.0的s值范围内提供的每个预定距离处的值，t’表示在从-1.0到1.0的t值范围内提供的每个预定距离处的值。因此，透视投影中的投影点在投影面451上是均匀的。
相反，如果投影面451的视场角是θw(在图25的示例中是π/2)，则在tan轴投影中，投影点被设置在投影面451上，使得投影向量是向量(tan(s’*θw/2),tan(t’*θw/2),-1.0)。
具体地，如果s’*θw/2由θ表示，t’*θw/2由
Figure BDA0001965853640000241
表示，那么向量(tan(s’*θw/2),tan(t’*θw/2),-1.0)变成向量
Figure BDA0001965853640000242
此时，如果视场角θw接近π，则tanθ和
Figure BDA0001965853640000248
发散到无穷大。因此，向量
Figure BDA0001965853640000243
被校正为向量
Figure BDA0001965853640000244
使得tanθ和
Figure BDA0001965853640000245
不发散到无穷大，并且投影面451上的投影点被设置成使得投影向量成为向量
Figure BDA0001965853640000246
Figure BDA0001965853640000247
因此，在tan轴投影中，由对应于彼此相邻的投影点的每个投影向量定义的角度变得相等。
应当注意，类似于对数轴(对数标度)，tan(s’*θw/2)和tan(t’*θw/2)被理解为tan轴的s’和t’。因此，在本说明书中，投影向量是向量(tan(s’*θw/2),tan(t’*θw/2),-1.0)的投影被称为tan轴投影。
<第三实施例>
(应用本公开的计算机的说明)
虽然上述一系列处理可以由硬件执行，但是它也可以由软件执行。在一系列处理由软件执行的情况下，构成软件的程序被安装到计算机中。这里，计算机包括结合在专用硬件中的计算机，例如，通用个人计算机，其可以通过安装各种程序等来执行各种功能。
图26是示出根据程序执行上述一系列处理的计算机硬件的配置示例的框图。
在计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。
输入/输出接口505进一步连接到总线504。输入部506、输出部507、存储部508、通信部509和驱动器510连接到输入/输出接口505。
输入部506包括键盘、鼠标、麦克风等。输出部507包括显示器、扬声器等。存储部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动可装卸介质511，例如磁盘、光盘、磁光盘、半导体存储器等。
在以上述方式配置的计算机500中，CPU 501通过输入/输出接口505和总线504将例如存储在存储部508中的程序加载到RAM 503中，以执行上述一系列处理。
由计算机500(CPU 501)执行的程序可以被记录到例如作为封装介质等的可装卸介质511中并作为可装卸介质511提供。此外，该程序可以通过例如局域网、互联网、数字卫星广播等有线或无线发送介质来提供。
在计算机500中，通过在驱动器510上安装可装卸介质511，可以通过输入/输出接口505将程序安装到存储部508中。此外，通信部509可以通过有线或无线发送介质接收该程序，并将其安装到存储部508中。此外，该程序可以预先安装到ROM 502或存储部508中。
应当注意，由计算机500执行的程序可以是其中根据本说明书中描述的顺序按时间序列执行处理的程序，或者可以是其中并行执行处理或在例如当调用程序时等等必要的定时执行处理的程序。
<应用示例>
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为结合在各种类型的移动体中的设备，该移动体例如是汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)等。
图27是示出车辆控制系统7000的示意性配置的示例的框图，该车辆控制系统7000作为可应用根据本公开实施例的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图27所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以例如是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay等。
每个控制单元包括：根据各种程序执行算术处理的微型计算机；存储由微型计算机执行的程序、用于各种运算的参数等的存储部；和驱动各种控制目标装置的驱动电路。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；和通信I/F，用于通过有线通信或无线电通信与车辆内外的装置、传感器等进行通信。图27所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其它控制单元类似地包括微型计算机、通信I/F、存储部等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作用于产生车辆驱动力的驱动力产生装置例如内燃机、驱动马达等的控制装置，用于将驱动力传递到车轮的驱动力传递机构，用于调节车辆转向角度的转向机构，用于产生车辆制动力的制动装置等。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制装置的功能。
驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车身轴向旋转运动角速度的陀螺仪传感器、检测车辆加速度的加速度传感器、以及检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电动转向装置、制动装置等。
车身系统控制单元7200根据各种程序控制车身装备的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或例如前照灯、倒车灯、刹车灯、转向信号、雾灯等各种灯的控制装置。在这种情况下，可以将从移动装置发送的无线电波输入到车身系统控制单元7200，作为各种开关的按键或信号的替代。车身系统控制单元7200接收这些输入无线电波或信号，并控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制，或者控制提供给电池装置等的冷却装置。
车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括用于检测当前大气状况或天气状况的环境传感器和用于检测包括车辆控制系统7000的车辆周边的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一个。
环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一个。周边信息检测传感器可以是超声波传感器、雷达装置和LIDAR装置(光检测和测距装置或激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以被提供为独立的传感器或装置，或者可以被提供为其中集成了多个传感器或装置的装置。
图28示出了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部挡风玻璃上部的位置中的至少一个位置。设置在前鼻的成像部7910和设置在车辆内部挡风玻璃上部的成像部7918主要获得车辆7900前部的图像。设置在侧视镜上的成像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门上的成像部7916主要获得车辆7900后部的图像。设置在车辆内部挡风玻璃上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图28示出了各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置在前鼻的成像部7910的成像范围。成像范围b和c分别表示设置在侧视镜的成像部7912和7914的成像范围。成像范围d表示提供给后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获得从上方观看的车辆7900的鸟瞰图像。
设置在车辆7900的前部、后部、侧面和拐角处和车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。例如，设置在车辆7900的前鼻、后保险杠、车辆7900的后门和车辆内部挡风玻璃的上部的车外信息检测部7920、7926和7930可以是LIDAR装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。
回到图27，将继续描述。车外信息检测单元7400使成像部7410对车外的图像进行成像，并接收成像图像数据。另外，车外信息检测单元7400从连接到车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置或LIDAR装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收到的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测物体(例如人、车辆、障碍物、标志、路面上的文字等)的处理，或者检测与之的距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算到车外物体的距离。
此外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的文字等的图像识别处理，或者检测与之的距离的处理。车外信息检测单元7400可以对接收的图像数据进行诸如失真校正、对准等处理，并且组合由多个不同成像部7410成像的图像数据以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部7410成像的图像数据来执行视点转换处理。
车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行拍摄的相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅上的乘坐者或握着方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以判断驾驶员是否正在打瞌睡。车内信息检测单元7500可以对通过声音收集获得的音频信号进行诸如噪声消除处理等处理。
集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘坐者输入操作的设备实现，例如触摸面板、按钮、麦克风、开关、操纵杆等。集成控制单元7600可以被提供通过对通过麦克风输入的语音进行语音识别而获得的数据。输入部7800可以是例如使用红外线或其他无线电波的遥控装置，或者支持车辆控制系统7000的操作的外部连接装置，例如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘坐者可以通过手势输入信息。或者，可以输入通过检测乘坐者佩戴的可穿戴装置的运动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，其基于乘坐者等使用上述输入部7800输入的信息生成输入信号，并且将生成的输入信号输出到集成控制单元7600。乘坐者等通过操作输入部7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。
存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、运算结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可以由诸如硬盘驱动器(HDD)等磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F协调与外部环境7750中存在的各设备的通信。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM)、全球微波接入互操作性(WiMAX)、长期演进(LTE))、高级LTE(LTE-A)等，或者诸如无线LAN(也称为无线保真(Wi-Fi)、蓝牙等的另一无线通信协议。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以使用例如对等(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或者机器类型通信(MTC)终端)。
专用通信I/F 7630是支持为车辆使用而开发的通信协议的通信I/F。专用通信I/F7630可以实现标准协议，例如，车辆环境中的无线接入(WAVE)，其是作为低层的电气和电子工程师协会(IEEE)802.11p和作为高层的IEEE 1609的组合，专用短程通信(DSRC)，或者蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为一个概念，包括车辆和车辆之间的通信(车辆对车辆)、道路和车辆之间的通信(车辆对基础设施)、车辆和家庭之间的通信(车辆对家庭)以及行人和车辆之间的通信(车辆对行人)中的一个或多个。
定位部7640例如通过从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话的终端获得位置信息。
信标接收部7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥塞、封闭道路、所需时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述专用通信I/F 7630中。
车内装置I/F 7660是协调微型计算机7610和存在于车辆内的各种车内装置7760之间的连接的通信接口。车内装置I/F 7660可以使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)之类的无线通信协议建立无线连接。此外，车内装置I/F 7660可以通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链路(MHL)等经由图中未示出的连接终端(以及如果必要的话还有电缆)建立有线连接。车内装置7760可以例如包括乘坐者拥有的移动设备和可穿戴设备中的至少一个，以及携带到车辆中或附接到车辆的信息装置。车内装置7760还可以包括搜索到任意目的地的路径的导航装置。车内装置I/F 7660与这些车内装置7760交换控制信号或数据信号。
车载网络I/F 7680是调解微型计算机7610和通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010支持的预定协议发送和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于获得的关于车辆内外的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的防撞或减震、基于跟随距离的跟随驾驶、车速保持驾驶、车辆碰撞警告、车辆偏离车道警告等。此外，微型计算机7610可以通过基于所获得的关于车辆周围的信息控制驱动力产生装置、转向机构、制动装置等来执行旨在使得车辆自主行驶而不依赖于驾驶员等的操作的自动驾驶的协作控制。
微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息，生成车辆和诸如周围结构、人等的物体之间的三维距离信息，并且生成包括关于车辆当前位置周围环境的信息的局部地图信息。此外，微型计算机7610可以基于所获得的信息来预测危险，例如车辆碰撞、行人接近、进入封闭道路等，并生成警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。
声音/图像输出部7670将能够视觉上或听觉上向车辆的乘坐者或车辆外部通知信息的声音和图像中的至少一个的输出信号发送到输出装置。在图27的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出装置。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出装置可以不是这些装置，并且可以是诸如耳机、诸如由乘坐者佩戴的眼镜型显示器等的可佩戴装置、投影仪、灯等另一装置。在输出装置是显示装置的情况下，显示装置以各种形式可视地显示通过微计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息，例如文本、图像、表格、图表等。此外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并且可听地输出模拟信号。
顺便提及，在图27所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。或者，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一控制单元。此外，由上述说明中的一个控制单元执行的部分或全部功能可以被分配给另一个控制单元。即，只要经由通信网络7010发送和接收信息，任何控制单元都可以执行预定的算术处理。类似地，连接到控制单元之一的传感器或装置可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
应当注意，用于实现根据以上参照图1至图25描述的本实施例的生成设备12和显示设备200的功能的计算机程序可以被结合到某个控制单元等中。此外，还可以提供计算机可读记录介质，其中存储了上述计算机程序。记录介质可以是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以例如通过网络分发，而不使用记录介质。
在上述车辆控制系统7000中，可以应用以上根据参照图1至图25描述的本实施例的生成设备12和显示设备200。在这种情况下，例如，生成设备12和显示设备200被集成并对应于微型计算机7610、存储部7690和显示部7720。此外，成像设备11对应于成像部7410。在这种情况下，例如，车辆控制系统7000可以使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。
此外，上文参照图1至25描述的生成设备12和显示设备200的至少一部分组件可以由用于图27中示出的车辆控制系统7000的模块(例如，由一个管芯配置的集成电路模块)来实现。作为替代，参照图1至图25示出的生成设备12和显示设备200可以由图27中示出的车辆控制系统7000的多个控制单元实现。
应当注意，这里描述的有利效果仅仅是说明性的，而不是限制性的，并且可以获得其他优点。
此外，本公开的实施例不限于上述实施例，并且在不脱离本公开的主题的情况下，各种改变是可能的。
例如，本公开可以假设云计算的配置，其中一个功能由多个设备通过网络共享并协同处理。
此外，上文结合流程图描述的步骤可以由单个设备执行，或者可以由多个设备通过共享来执行。
此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由单个设备执行，也可以由多个设备通过共享来执行。
应当注意，本公开可以采用如下所述的配置。
(1)
一种图像处理设备，包括：
图像生成部，其被配置为使用通过将多边形的背面投影到垂直于视线方向的投影面而获得的纹理图像和对应于每个视点的纹理图像的深度图像来生成预定视点的纹理图像，该视线方向从跨越所述多边形的中心彼此相对的两个视点中的每一个朝所述多边形的中心；以及
量化部，其被配置为对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
(2)
根据上述(1)所述的图像处理设备，其中
所述量化部还包括除了所述对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化的量化方法之外的量化方法，并基于预定条件切换量化方法。
(3)
根据上述(1)所述的图像处理设备，其中
作为每个视点的所述深度图像的量化方法，所述量化部包括：第一量化方法，其对对应于所述深度图像的视点与每个像素的所述多边形之间的距离的倒数进行量化；第二量化方法，其对所述距离进行量化；以及第三量化方法，其对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化。
(4)
根据上述(3)所述的图像处理设备，其中
对应于所述第一和第二量化方法的距离是连接对应于所述深度图像的视点与每个像素中的所述多边形的直线的距离，并且
对应于所述第三量化方法的距离是连接另一视点和每个像素中的所述多边形的直线的距离。
(5)
根据(3)或(4)所述的图像处理设备，其中
所述量化部针对每个视点，基于由预定视点的纹理图像的深度方向和给定视点的纹理图像的深度方向定义的角度选择所述深度图像的量化方法。
(6)
根据上述(5)所述的图像处理设备，其中
在所述角度等于或大于0度但小于第一阈值或者等于或大于第二阈值但小于360度的情况下，所述量化部选择所述第一量化方法作为所述深度图像的量化方法，
所述第一阈值小于90度，并且
所述第二阈值大于270度。
(7)
根据上述(6)所述的图像处理设备，其中
在所述角度等于或大于所述第一阈值但小于第三阈值或者等于或大于第四阈值但小于所述第二阈值的情况下，所述量化部选择所述第二量化方法作为所述深度图像的量化方法，
所述第三阈值大于90度但小于180度，并且
所述第四阈值大于180度但小于270度。
(8)
根据上述(7)所述的图像处理设备，其中
在所述角度等于或大于所述第三阈值但小于所述第四阈值的情况下，所述量化部选择所述第三量化方法作为所述深度图像的量化方法。
(9)
根据上述(1)至(8)中任一项所述的图像处理设备，其中
使用由多个成像设备获取的拍摄图像和对应于所述拍摄图像的深度图像来生成所述多边形，所述多个成像设备配置在对应于所述多边形的成像物体周围，并且将所述成像物体的至少一部分包括在其成像范围内。
(10)
根据上述(9)所述的图像处理设备，其中
所述图像生成部使用使用由所述多个图像拍摄设备获取的拍摄图像生成的全天球图像的纹理图像和使用与由所述多个成像设备获取的拍摄图像相对应的深度图像生成的全天球图像的深度图像来生成所述预定视点的纹理图像。
(11)
一种由图像处理设备执行的图像处理方法，包括：
图像生成步骤，使用纹理图像和对应于每个视点的纹理图像的深度图像生成预定视点的纹理图像，所述纹理图像是通过将所述多边形的背面投影到垂直于视线方向的投影面而获得的，所述视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝向所述多边形的中心；以及
量化步骤，对构成所述两个视点的另一视点和对应于所述深度图像的视点和每个像素中的多边形之间的距离的倒数进行量化。
(12)
一种图像处理设备，包括：
纹理图像生成部，其被配置为将多边形的背面投影到垂直于视线方向的投影面以生成纹理图像，所述视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝向所述多边形的中心；以及
深度图像生成部，其被配置为通过将通过量化方法获得的量化值设置为像素值来生成对应于每个视点的纹理图像的深度图像，该量化方法用于对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
(13)
根据上述(12)所述的图像处理设备，其中
所述深度图像生成部还包括除了所述对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化的量化方法之外的量化方法，并基于预定条件切换量化方法。
(14)
根据上述(12)所述的图像处理设备，其中
作为每个视点的所述深度图像的量化方法，所述深度图像生成部包括：第一量化方法，其对对应于所述深度图像的视点与每个像素的所述多边形之间的距离的倒数进行量化；第二量化方法，其对所述距离进行量化；以及第三量化方法，其对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化。
(15)
根据上述(14)所述的图像处理设备，其中
对应于所述第一和第二量化方法的距离是连接对应于所述深度图像的视点与每个像素中的所述多边形的直线的距离，并且
对应于所述第三量化方法的距离是连接另一视点和每个像素中的所述多边形的直线的距离。
(16)
根据上述(14)或(15)所述的图像处理设备，还包括：
发送部，其被配置为发送由所述纹理图像生成部生成的两个视点的纹理图像和由所述深度图像生成部生成的两个视点的深度图像。
(17)
根据上述(16)所述的图像处理设备，其中
所述深度图像生成部通过所述第一至第三量化方法中的每一种生成所述两个视点的深度图像，并且
所述发送部发送所述深度图像生成部通过所述第一至第三量化方法之一生成的所述两个视点的深度图像。
(18)
根据上述(12)至(17)中任一项所述的图像处理设备，还包括：
多边形生成部，其被配置为使用由多个成像设备获取的拍摄图像和对应于所述拍摄图像的深度图像来生成所述多边形，所述多个成像设备配置在对应于所述多边形的成像物体周围，并且将所述成像物体的至少一部分包括在其成像范围内。
(19)
根据上述(18)所述的图像处理设备，还包括：
全天球图像生成部，其被配置为使用由所述多个图像拍摄设备获取的所述拍摄图像生成全天球图像的纹理图像，并使用对应于由所述多个成像设备获取的拍摄图像的深度图像生成所述全天球图像的深度图像。
(20)
一种由图像处理设备执行的图像处理方法，包括：
纹理图像生成步骤，将多边形的背面投影到垂直于视线方向的投影面以生成纹理图像，所述视线方向从跨越所述多边形的中心彼此相对的两个视点中的每一个朝向所述多边形的中心；以及
深度图像生成步骤，通过将通过量化方法获得的量化值设置为像素值来生成对应于每个视点的纹理图像的深度图像，该量化方法用于对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
[参考符号列表]
11-1至11-N成像设备，12生成设备，34多边形生成部，36全天球图像生成部，40发送部，61成像物体，71纹理图像生成部，74 1/r量化部，75等距离量化部，76倒数1/r量化部，81球体，200显示设备，206绘图部，208选择部。

Claims (20)

1.一种图像处理设备，包括：
图像生成部，其被配置为使用通过将多边形的背面投影到垂直于视线方向的投影面而获得的纹理图像和对应于每个视点的纹理图像的深度图像来生成预定视点的纹理图像，该视线方向从跨越所述多边形的中心彼此相对的两个视点中的每一个朝所述多边形的中心；以及
量化部，其被配置为对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
2.根据权利要求1所述的图像处理设备，其中
所述量化部还包括除了所述对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化的量化方法之外的量化方法，并基于预定条件切换量化方法。
3.根据权利要求1所述的图像处理设备，其中
作为每个视点的所述深度图像的量化方法，所述量化部包括：第一量化方法，其对对应于所述深度图像的视点与每个像素的所述多边形之间的距离的倒数进行量化；第二量化方法，其对所述距离进行量化；以及第三量化方法，其对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化。
4.根据权利要求3所述的图像处理设备，其中
对应于所述第一和第二量化方法的距离是连接对应于所述深度图像的视点与每个像素中的所述多边形的直线的距离，并且
对应于所述第三量化方法的距离是连接另一视点和每个像素中的所述多边形的直线的距离。
5.根据权利要求3所述的图像处理设备，其中
所述量化部针对每个视点，基于由预定视点的纹理图像的深度方向和给定视点的纹理图像的深度方向定义的角度选择所述深度图像的量化方法。
6.根据权利要求5所述的图像处理设备，其中
在所述角度等于或大于0度但小于第一阈值或者等于或大于第二阈值但小于360度的情况下，所述量化部选择所述第一量化方法作为所述深度图像的量化方法，
所述第一阈值小于90度，并且
所述第二阈值大于270度。
7.根据权利要求6所述的图像处理设备，其中
在所述角度等于或大于所述第一阈值但小于第三阈值或者等于或大于第四阈值但小于所述第二阈值的情况下，所述量化部选择所述第二量化方法作为所述深度图像的量化方法，
所述第三阈值大于90度但小于180度，并且
所述第四阈值大于180度但小于270度。
8.根据权利要求7所述的图像处理设备，其中
在所述角度等于或大于所述第三阈值但小于所述第四阈值的情况下，所述量化部选择所述第三量化方法作为所述深度图像的量化方法。
9.根据权利要求1所述的图像处理设备，其中
使用由多个成像设备获取的拍摄图像和对应于所述拍摄图像的深度图像来生成所述多边形，所述多个成像设备配置在对应于所述多边形的成像物体周围，并且将所述成像物体的至少一部分包括在其成像范围内。
10.根据权利要求9所述的图像处理设备，其中
所述图像生成部使用由多个图像拍摄设备获取的拍摄图像生成的全天球图像的纹理图像和使用与由所述多个成像设备获取的拍摄图像相对应的深度图像生成的全天球图像的深度图像来生成所述预定视点的纹理图像。
11.一种由图像处理设备执行的图像处理方法，包括：
图像生成步骤，使用纹理图像和对应于每个视点的纹理图像的深度图像生成预定视点的纹理图像，所述纹理图像是通过将多边形的背面投影到垂直于视线方向的投影面而获得的，所述视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝向所述多边形的中心；以及
量化步骤，对构成所述两个视点的另一视点和对应于所述深度图像的视点和每个像素中的多边形之间的距离的倒数进行量化。
12.一种图像处理设备，包括：
纹理图像生成部，其被配置为将多边形的背面投影到垂直于视线方向的投影面以生成纹理图像，所述视线方向从相对于多边形的中心彼此相对的两个视点中的每一个朝向所述多边形的中心；以及
深度图像生成部，其被配置为通过将通过量化方法获得的量化值设置为像素值来生成对应于每个视点的纹理图像的深度图像，该量化方法用于对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
13.根据权利要求12所述的图像处理设备，其中
所述深度图像生成部还包括除了所述对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化的量化方法之外的量化方法，并基于预定条件切换量化方法。
14.根据权利要求12所述的图像处理设备，其中
作为每个视点的所述深度图像的量化方法，所述深度图像生成部包括：第一量化方法，其对对应于所述深度图像的视点与每个像素的所述多边形之间的距离的倒数进行量化；第二量化方法，其对所述距离进行量化；以及第三量化方法，其对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的所述多边形之间的距离的倒数进行量化。
15.根据权利要求14所述的图像处理设备，其中
对应于所述第一和第二量化方法的距离是连接对应于所述深度图像的视点与每个像素中的所述多边形的直线的距离，并且
对应于所述第三量化方法的距离是连接另一视点和每个像素中的所述多边形的直线的距离。
16.根据权利要求14所述的图像处理设备，还包括：
发送部，其被配置为发送由所述纹理图像生成部生成的两个视点的纹理图像和由所述深度图像生成部生成的两个视点的深度图像。
17.根据权利要求16所述的图像处理设备，其中
所述深度图像生成部通过所述第一至第三量化方法中的每一种生成所述两个视点的深度图像，并且
所述发送部发送所述深度图像生成部通过所述第一至第三量化方法之一生成的所述两个视点的深度图像。
18.根据权利要求12所述的图像处理设备，还包括：
多边形生成部，其被配置为使用由多个成像设备获取的拍摄图像和对应于所述拍摄图像的深度图像来生成所述多边形，所述多个成像设备配置在对应于所述多边形的成像物体周围，并且将所述成像物体的至少一部分包括在其成像范围内。
19.根据权利要求18所述的图像处理设备，还包括：
全天球图像生成部，其被配置为使用由多个图像拍摄设备获取的所述拍摄图像生成全天球图像的纹理图像，并使用对应于由所述多个成像设备获取的拍摄图像的深度图像生成所述全天球图像的深度图像。
20.一种由图像处理设备执行的图像处理方法，包括：
纹理图像生成步骤，将多边形的背面投影到垂直于视线方向的投影面以生成纹理图像，所述视线方向从跨越所述多边形的中心彼此相对的两个视点中的每一个朝向所述多边形的中心；以及
深度图像生成步骤，通过将通过量化方法获得的量化值设置为像素值来生成对应于每个视点的纹理图像的深度图像，该量化方法用于对构成所述两个视点的另一视点和对应于所述深度图像的视点与每个像素中的多边形之间的距离的倒数进行量化。
CN201780048142.7A 2016-08-10 2017-07-27 图像处理设备和图像处理方法 Active CN109564696B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016157197 2016-08-10
JP2016-157197 2016-08-10
PCT/JP2017/027263 WO2018030168A1 (ja) 2016-08-10 2017-07-27 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN109564696A CN109564696A (zh) 2019-04-02
CN109564696B true CN109564696B (zh) 2022-11-29

Family

ID=61162983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048142.7A Active CN109564696B (zh) 2016-08-10 2017-07-27 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US11069120B2 (zh)
JP (1) JP6743893B2 (zh)
CN (1) CN109564696B (zh)
WO (1) WO2018030168A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2019021302A1 (en) * 2017-07-24 2019-01-31 Karthikeyan THANGARAJ METHOD FOR REPRESENTING SHAPE DATA AND COLOR OF 3D OBJECTS
CN109697688B (zh) 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
US11166080B2 (en) 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
KR102278848B1 (ko) * 2018-07-31 2021-07-19 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
US10818071B1 (en) * 2019-07-26 2020-10-27 Google Llc Image-based geometric fusion of multiple depth images using ray casting
CN113963094A (zh) * 2020-07-03 2022-01-21 阿里巴巴集团控股有限公司 深度图及视频处理、重建方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
CN1809844A (zh) * 2003-06-20 2006-07-26 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
CN101071510A (zh) * 2007-06-22 2007-11-14 腾讯科技（深圳）有限公司 水刻蚀的实现方法及渲染装置
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
JP2014140089A (ja) * 2011-05-10 2014-07-31 Sharp Corp 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
JP5807569B2 (ja) * 2012-01-31 2015-11-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP6016061B2 (ja) 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
CN1809844A (zh) * 2003-06-20 2006-07-26 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
CN101071510A (zh) * 2007-06-22 2007-11-14 腾讯科技（深圳）有限公司 水刻蚀的实现方法及渲染装置
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置
JP2014140089A (ja) * 2011-05-10 2014-07-31 Sharp Corp 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Rendering geometry with relief textures》;Lionel Baboud;《Proceedings of Graphics Interface 2006》;20060101;全文 *

Also Published As

Publication number Publication date
JPWO2018030168A1 (ja) 2019-06-06
US20190236795A1 (en) 2019-08-01
US11069120B2 (en) 2021-07-20
CN109564696A (zh) 2019-04-02
JP6743893B2 (ja) 2020-08-19
WO2018030168A1 (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
US10887571B2 (en) Image processing apparatus and image processing method
CN109844813B (zh) 图像处理装置和图像处理方法
CN109564696B (zh) 图像处理设备和图像处理方法
US11006135B2 (en) Image processing apparatus and image processing method
US20190304160A1 (en) Image processing apparatus and image processing method
US11184602B2 (en) Image processing apparatus and image processing method
US11134235B2 (en) Image processing apparatus and image processing method
US10943373B2 (en) Image processing apparatus and image processing method
US20200137417A1 (en) Generation device and generation method, and reproduction device and reproduction method
US20190230280A1 (en) Image processing apparatus and image processing method
CN109643468B (zh) 图像处理装置和图像处理方法
CN109564698B (zh) 图像处理设备和图像处理方法
US11087480B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant