CN106464860B - 深度信息在数字图像文件中的存储 - Google Patents
深度信息在数字图像文件中的存储 Download PDFInfo
- Publication number
- CN106464860B CN106464860B CN201580031095.6A CN201580031095A CN106464860B CN 106464860 B CN106464860 B CN 106464860B CN 201580031095 A CN201580031095 A CN 201580031095A CN 106464860 B CN106464860 B CN 106464860B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- depth information
- parallax
- data structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000012634 fragment Substances 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 11
- 102100038359 Xaa-Pro aminopeptidase 3 Human genes 0.000 claims description 9
- 101710081949 Xaa-Pro aminopeptidase 3 Proteins 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000004891 communication Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
在此公开了用于对采用如JPEG等文件格式的启用深度的数字图像进行编码的技术。除了经压缩的图像数据之外，可以将校准、视差和其他深度相关信息嵌入在给定图像文件的一个或多个应用特定片段中。
Description
背景技术
启用深度的数字摄影利用多个相机或图像传感器来获得关于从多个视角观看的场景中对象的表观深度范围的信息。当向观察者显示图像时，此信息可以例如用于人为地产生视差，这使得该观察者感知到该表观深度范围。
附图说明
图1展示了根据本公开的实施例配置的深度增强的摄影系统。
图2展示了根据本公开的实施例配置的图像文件的示例。
图3展示了可以结合各实施例使用的示例JPEG图像文件。
图4展示了根据本公开的实施例配置的示例JPEG文件。
图5展示了根据本公开的实施例的用于对采用JPEG格式的启用深度的数字图像进行编码的方法。
具体实施方式
公开了用于将深度信息存储在如联合图像专家组(JPEG)文件等的数字图像文件中的技术。在一个示例实施例中，可以通过计算数字图像的帧中的深度信息并将该深度信息嵌入JPEG图像文件格式中来实现这些技术。可以将该深度信息添加至标准JPEG文件有效载荷或从中提取该深度信息，因为JPEG标准规定了将应用特定(例如，非标准化的)信息添加至图像。以这种方式，支持JPEG格式的任何设备都可以显示该图像，即使这种设备未被配置成利用该深度信息。通过将该深度信息嵌入JPEG图像文件格式中，可以在任何设备上轻易共享和观看深度增强的摄影而无需修改。
总体概述
在数字摄影和三维(3D)图形中，数据信息描述了从视点到场景对象的表面的距离。目前，不存在用于捕捉、存储和观看移动设备或相机所记录的启用深度的图像的行业和开放标准。在不使用标准格式的情况下，不存在用于跨多个观看设备、在线服务和计算机系统共享和使用启用深度的图像的接受标准。
从而，并根据本公开的实施例，提供了用于对采用JPEG文件格式的启用深度的数字图像进行编码的技术。除了经压缩的图像数据之外，可以将校准、视差和其他深度相关信息嵌入JPEG文件的一个或多个应用特定片段中。这些片段在本公开中还称为块(chunk)。虽然各示例实施例是关于JPEG文件格式提供的，本公开中所讨论的技术还可以用于任何数量的其他文件格式，并且具体用于允许向图像添加应用特定信息的标准化图像文件格式，诸如在本公开中所描述的，无论是将其添加至文件有效载荷、开销、或这些项的某种组合。
系统架构
图1展示了根据本公开的实施例配置的深度增强的摄影系统100。如可以看出，系统100总体上包括一个或多个相机或图像传感器102a、102b、......、102n；处理器104；和存储设备106。这些传感器102a、102b、......、102n可以例如被配置成用于检测照度(亮度)、色度(颜色)、以及到场景内的点的深度或距离，并向该处理器104和存储设备106发送图像数据。将理解的是，在不背离本公开范围的情况下，可以利用其他数量、类型和配置的图像传感器(例如，被安排成从多个视角对场景进行拍照的多个相机)、处理器和存储设备。该处理器104可以包括图像处理模块108，该图像处理模块被配置成用于对从传感器102a、102b、......、102n接收到图像文件110中的图像数据进行处理，该图像文件可以存储在存储设备106中。在某些实施例中，图像文件110是JPEG图像文件；然而，将理解的是，某些实施例并不限于JPEG格式，并且可以将图像数据存储为任何合适的文件格式。该存储设备106可以包括适用于对处理器104和传感器102a、102b、......、102n所生产的数据进行存储的任何类型的存储器，并且可以本地连接至处理器104或者通过数据通信网络(未示出)进行远程连接。在某些实施例中，存储设备106可以包括当被执行时使得处理器104实施过程的指令，比如下面关于图5描述的过程。
在某些实施例中，系统100可以并入个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备、机顶盒、游戏控制台、或其他能够执行数字图像获取或处理的此类计算环境。
处理器104可以被实现为例如复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器、或任何其他微处理器或中央处理器单元(CPU)。在某些实施例中，处理器104可以包括(多个)双核处理器、(多个)双核移动处理器等等。存储设备106可以被实现为例如易失性存储器设备，诸如但不限于：随机访问存储器(RAM)、动态随机访问存储器(DRAM)或静态RAM(SRAM)。存储设备106可以被实现例如为非易失性存储设备，如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附属存储设备、闪存、电池应急SDRAM(同步DRAM)和/或网络可接入的存储设备。在某些实施例中，当包括如多个硬盘驱动器时，存储设备106可以包括为有价值的数据媒体提高存储性能加强保护的技术。
在各个实施例中，可以对系统100中示出的任何一个或多个部件进行集成。例如，相机/传感器102a、102b、......、102n，处理器104和存储设备106可以是集成式的；或者处理器104和存储设备106可以与相机/传感器102a、102b、......、102n分开集成。这些示例并不意在限制本公开的范围。
在各种实施例中，系统100可以实现为无线系统、有线系统或二者的组合。当实现为无线系统时，系统100可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、过滤器、控制逻辑等的无线共享介质通信的部件和接口。无线共享介质的示例可以包括无线频谱部分，例如RF频谱等。当实现为有线系统时，系统100可以包括适用于通过有线通信介质(例如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等等)进行通信的部件和接口。有线通信介质的示例可以包括导线、电缆、金属线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
系统100可以包括用于传达信息的一个或多个逻辑或物理信道。该信息可以包括媒体信息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例可以包括例如来自语音对话、可视会议、流式视频、电子邮件或文本消息、语音邮件消息、字母符号、图形、图像、视频、文本等等的数据。控制信息可以指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息、或者指示节点以预定方式处理该媒体信息(例如，使用帮助特权访问违规检查的硬件，如在此所描述的)。然而实施例不限于图1中示出或描述的元素或上下文。
如上所述，系统100可以用变化的物理风格或形状系数来体现。例如，在某些实施例中，系统100或其部分可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和如一个或多个电池的移动电力源或供应的任何设备。如之前所描述的，移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
移动计算设备的示例还可以包括被安排来由人佩戴的计算机，例如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机和其他可以佩带的计算机。在某些实施例中，例如移动计算设备可以被实现为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为示例实现为智能电话的移动计算设备描述，但应理解，其他实施例也可以使用其他无线移动计算设备实现。实施方案不局限于本上下文中。
在使用中，传感器102a、102b、......、102n中的一个或多个获得关于场景的信息，包括参考图像数据以及关于所述场景(未示出)中的各个物体离任意视点(例如，相机镜头的光圈)的距离的深度信息。该参考图像可以是主要参考图像(例如，常规二维照片)。在某些实施例中，传感器102a、102b、......、102n获得附加信息，包括例如与该主要参考图像相比从不同视角取得的一张或多张次要参考图像，比如在三维摄影中所找到的。鉴于本公开，其他用于从传感器102a、102b、......、102n获得启用深度的摄影信息将是明显的。一旦获得了该信息，图像处理模块108生成包含结构化格式的信息的图像文件110。下面关于图2至图4讨论了图像文件110的结构的示例。
图2展示了根据本公开的实施例配置的图1的图像文件110的示例。图像文件110包括下列信息中的一项或多项(在本公开中还称为有效载荷数据)：深度版本号202，主要参考图像数据204，深度参考图像数据206、校准信息208、视差信息210以及(如果有的话)附加数据212(例如，描述图像文件110的元数据(如标签)、用于网页观看的统一资源定位符(URL)、或其他上下文有效载荷数据)。
根据实施例，校准数据208可以包含以下各项中的一项或多项：校准版本号(例如，1、2、3、......)；校准类型(例如，工厂或现场)；相机数量；视图数量；RMS(均方根)图像对比度；相机类型(例如，戴维斯礁(Davis Reef))；相机校准；校正；相机号、标识号、参考号、在2*1矩阵中相对于参考相机的位置、以及2*1矩阵的传感器分辨率。在某些情况下，相机校准信息可以包括以下各项中的一项或多项：图像分辨率K——固有的3*3矩阵(双倍)(包括焦距)(高或低)；D——失真系数1*5矩阵(双倍)；R——旋转3*3矩阵(双倍)；T——3*1矩阵中相机中心的以毫米(mm)为单位的平移向量(负C)(双倍)；C——相机的以mm为单位的光学中心(x，y，z)，其中，平移向量T＝-C。在某些情况下，校正信息可以包括以下各项中的一项或多项：H_H——单应性(最终校正)3*3矩阵(双倍)(高)；H_L——单应性(最终校正)3*3矩阵(双倍)(低)；校正K_H——高；校正K_L——低；以及校正R——3D取向矩阵。在某些情况下，参考相机可以被用作面向外界的参考系。
根据实施例，视差信息210可以包括充当8位的PNG(Portable Network Graphics，便携式网络图形)文件的视差图。当被使用时，视差图表现为灰度图像，该灰度图像将具有小视差值的像素示出为较暗的颜色并将具有大视差值得像素示为较亮颜色。如果应用需要深度图，开发者应用或服务可以检索视差信息210和校准信息208以实时地计算深度。由于视差与离该(多个)相机的距离是成反比相关的，因此可以从视差信息210中导出距离值。当离该(多个)相机的距离增大时，视差减小。在某些情况下，图像文件中8位PNG的存在指示使用本公开中所描述的技术中的一种或多种技术进行编码的深度增强的数字图像或启用深度的数字图像。
图3展示了可以结合各实施例一起使用的示例JPEG图像文件300，包括用于将图2的示例图像文件110编码成JPEG格式的技术。如鉴于本公开将理解的，JPEG图像一般包括数据片段序列，每一个数据片段均以指示存储在对应片段中的数据的类型的标志开始。例如，JPEG图像文件300的第一片段可以包括‘SOI’或图像标记起点，接着是一个或多个应用特定的片段，接着是其他类型的数据片段(例如，DQT、DHT、SOF、SOS、EOI)和经压缩图像数据。JPEG支持高达十六种不同类型的应用特定片段。在图3的示例中，利用了APP3片段类型；然而，将理解的是，可以以类似的方式使用其他片段类型(APP0至APP15)，除非保留以供其它用途。
每个APP3应用片段在本公开中也被称为块。每个片段或块以JPEG标志(例如，表示“APP3”片段的十六进制FFE3)开始，接着是该块中数据的大小(例如，该块中的字节数)，接着是标签名称(如下文参照图4所描述的)，接着是块号(例如，n个块中的块1等)，接着是JPEG文件300中的总块数，接着是对应于标签名称所引用的信息类型的数据。在某些实施例中，对于JPEG文件300的具体实现方式，深度版本号可以用于表示任意指定的号码。例如，可以以不同于具有深度版本号“2”的文件的方式来组织具有深度版本号“1”的文件；以这种方式，可以实现设计的灵活性。如果数据表示视差，则可以将数据编码成8位的PNG深度分辨率文件。
图4展示了具有多个块402的示例JPEG文件300。在JPEG图像文件300中可以存在任何数量的块302，并且每个块402可以包含不同信息，如上文关于图2所描述的。每条信息可以与唯一标签名称(例如，“D_版本”、“D_校准”等)相关联。在包含参考图像的块402的情况下，标签名称可以例如采用“D_IMG_CXX_YY”的形式，其中，“CXX”是指相机或传感器号(例如，“C01”、“C02”等)并且“YY”是指对应的相机/传感器的图像号(例如，“00”、“01”、“02”等)。值得注意的是，通过以这种方式使用JPEG应用片段，任何被配置成使用存储在这些片段中的信息的设备或软件都可以轻易地从JPEG文件300中提取信息，同时其他设备和软件可以简单地忽略块402，而不对JPEG文件300中所存储的任何其他数据带来任何不利影响(例如，除了存储在块402中的数据之外的数据，如SOS(Start of Scan，开始扫描)标记之后的图像数据)。
方法
图5展示了根据本公开的实施例的用于对采用JPEG格式的启用深度的数字图像进行编码的方法。该方法可以例如由图1的处理器104实现。然而，在此所提供的功能同样可以以分布特性实施，如果这样期望的话。例如，某些功能可以由相机或图像传感器本地的处理器实施，并且其他功能可以由远程耦合至相机/图像传感器或处理器的部件实施。许多此类配置将是明显的。
可见，该方法包括从至少一个源(如相机或图像传感器102a、102b、......、102n，或这些的任何组合)中接收502图像数据，如关于图1所引用的。该方法继续通过基于该图像数据生成504深度信息来继续。该深度信息可以包括校准信息、视差信息、和附加元数据(比如上文关于图2所描述的)、或任何其他数据。该方法通过生成508数据结构来继续，深度信息被编码在该数据结构中。例如，该数据结构可以包括一个或多个JPEG应用片段，每个应用片段具有以下各项中的一项或多项：深度版本号、主要参考图像数据、深度参考图像数据、校准信息、视差信息、和附加元数据。如上文参照图3所描述的，该数据结构可以包含应用片段标识、数据大小值、标签名称值、块号值、总块数值、以及其他对应于与标签名称相关联的信息类型的数据。该方法通过将该数据结构存储510在数字图像文件中(例如，图3的JPEG图像文件300中)而继续。这个数字图像文件可以被存储在任何合适存储介质中。
可以使用硬件元件、软件元件、或两者的组合来实现各实施例。硬件元件的示例可以包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。是否使用硬件元件和/或软件元件可以根据任何数量的因子而在实施例之间变化，如预期的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
一些实施例可以使用例如机器可读介质或制品来实现，该机器可读介质或制品可以存储指令或指令集，该指令或指令集在被机器执行的情况下可以使机器执行根据本公开的实施例的方法和/或操作。这样的机器可以包括例如任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等，并且可以使用硬件和软件。机器可读介质或制品可以包括例如任何合适类型的存储器单元、存储器设备、存储器制品、存储介质、存储设备、存储制品、存储介质和/或存储单元，例如存储器、可移动或可移动介质、不可移动介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移动存储卡或盘、各种类型的数字通用盘(DVD)、磁带、盒式磁带等。这些指令可以包括任何适当类型的可执行代码，使用任何适当的高级、低级、面向对象、可视、编译和/或翻译编程语言实现该可执行指令。
进一步的示例实施例
以下示例属于进一步的实施例，许多置换和配置将从这些实施例变得明显。
示例1是一种用于将深度信息存储在数字图像文件中的方法，所述方法包括：基于表示数字图像的图像数据生成三维(3D)深度信息，所述3D深度信息表示视点与所述数字图像中的物体之间的距离；生成其中编码有所述3D深度数据的数据结构；以及将所述数据结构存储在所述数字图像文件中。
示例2包括如示例1所述的主题，并且进一步包括在兼容联合图像专家组(JPEG)的应用特定片段中编码所述数据结构。
示例3包括如示例2所述的主题，其中，所述应用特定片段是APP3片段。
示例4包括如示例1-3中任意一项所述的主题，并且进一步包括在所述数据结构中编码：版本号；参考图像数据；校准数据；以及视差数据。
示例5包括如示例4所述的主题，其中，所述视差数据包括8位便携式网络图形(PNG)文件。
示例6包括如示例5所述的主题，其中，所述PNG文件包括多个灰度像素，每个灰度像素具有表示视差值的亮度。
示例7包括如示例4-6中任意一项所述的主题，并且进一步包括在所述数据结构中编码：应用标记；应用片段长度值；标签名称值；块号值；总块数值；以及有效载荷数据。
示例8是一种图像处理系统，包括：存储设备；以及操作性地耦合至所述存储设备的处理器，所述处理器被配置成用于执行所述存储设备中所存储的指令，所述指令当被执行时使得所述处理器实施包括以下各项的过程：基于表示数字图像的图像数据生成三维(3D)深度信息，所述3D深度信息表示视点与所述数字图像中的物体之间的距离；生成其中编码有所述3D深度数据的数据结构；以及将所述数据结构存储在所述数字图像文件中。
示例9包括如示例8所述的主题，其中，所述过程进一步包括在兼容联合图像专家组(JPEG)的应用特定片段中编码所述数据结构。
示例10包括如示例8-9中任意一项所述的主题，其中，所述应用特定片段是APP3片段。
示例11包括如示例8-10中任意一项所述的主题，并且进一步包括在所述数据结构中编码：版本号；参考图像数据；校准数据；以及视差数据。
示例12包括如示例11所述的主题，其中，所述视差数据包括8位便携式网络图形(PNG)文件。
示例13包括如示例12所述的主题，其中，所述PNG文件包括多个灰度像素，每个灰度像素具有表示视差值的亮度。
示例14包括如示例11-13中任意一项所述的主题，并且进一步包括在所述数据结构中编码：应用标记；应用片段长度值；标签名称值；块号值；总块数值；以及有效载荷数据。
示例15包括如示例8-14中任一项所述的主题，并且进一步包括操作性地耦合至所述处理器的图像传感器。
示例16包括如示例15所述的主题，其中，所述图像传感器被配置成用于检测到场景内的点的深度。
示例17是一种非瞬态计算机程序产品，所述非瞬态计算机程序产品编码有当被一个或多个处理器执行时使得过程被实施的指令，所述过程包括：基于表示数字图像的图像数据生成三维(3D)深度信息，所述3D深度信息表示视点与所述数字图像中的物体之间的距离；生成其中编码有所述3D深度数据的数据结构；以及将所述数据结构存储在所述数字图像文件中。
示例18包括如示例17所述的主题，其中，所述过程进一步包括在兼容联合图像专家组(JPEG)的应用特定片段中编码所述数据结构。
示例19包括如示例17-18中任意一项所述的主题，其中，所述应用特定片段是APP3片段。
示例20包括如示例17-19中任意一项所述的主题，并且进一步包括在所述数据结构中编码：版本号；参考图像数据；校准数据；以及视差数据。
示例21包括如示例20所述的主题，其中，所述视差数据包括8位便携式网络图形(PNG)文件。
示例22包括如示例21所述的主题，其中，所述PNG文件包括多个灰度像素，每个灰度像素具有表示视差值的亮度。
示例23包括如示例20-22中任意一项所述的主题，并且进一步包括在所述数据结构中编码：应用标记；应用片段长度值；标签名称值；块号值；总块数值；以及有效载荷数据。
前述对示例实施例的描述是出于展示和描述的目的介绍的。所述描述不旨在是穷尽的或将本公开限制为所公开的确切形式。鉴于本公开，许多修改和变化都是可能的。本公开的范围旨在不受此详细说明限制，而是受所附权利要求书的限制。要求本申请的有限群的未来提交的申请可以通过不同的方式要求所公开的主题，并且可以总体上包括如之前所公开的或另外在此所演示的一种或多种限制的集合。
Claims (22)
1.一种将深度信息存储在数字图像文件中的方法，所述方法包括：
基于表示数字图像的图像数据生成三维(3D)深度信息，所述3D深度信息表示视点与所述数字图像中的物体之间的距离；
生成其中编码有所述3D深度信息的数据结构；
将所述数据结构编码在联合图像专家组(JPEG)兼容应用特定片段中；
将校准数据编码在所述应用特定片段中；以及
将所述数据结构存储在所述数字图像文件中。
2.如权利要求1所述的方法，其中，所述应用特定片段是APP3片段。
3.如权利要求1-2中任一项所述的方法，进一步包括在所述应用特定片段中编码：
版本号；
参考图像数据；
所述校准数据；以及
视差数据。
4.如权利要求3所述的方法，其中，所述视差数据包括8位便携式网络图形(PNG)文件。
5.如权利要求4所述的方法，其中，所述PNG文件包括多个灰度像素，每个灰度像素具有表示视差值的亮度。
6.如权利要求1所述的方法，进一步包括在所述数据结构中编码：
应用标记；
应用片段长度值；
标签名称值；
块号值；
总块数值；以及
有效载荷数据。
7.一种图像处理系统，包括：
存储设备；以及
操作性地耦合至所述存储设备的处理器，所述处理器被配置成用于执行所述存储设备中所存储的指令，所述指令当被执行时使得所述处理器实施包括以下各项的过程：
基于表示数字图像的图像数据生成三维(3D)深度信息，所述3D深度信息表示视点与所述数字图像中的物体之间的距离；
生成其中编码有所述3D深度信息的数据结构；
将所述数据结构编码在联合图像专家组(JPEG)兼容应用特定片段中；
将校准数据编码在所述应用特定片段中；以及
将所述数据结构存储在所述数字图像文件中。
8.如权利要求7所述的系统，其中，所述应用特定片段是APP3片段。
9.如权利要求7-8中任一项所述的系统，其中，所述过程进一步包括在所述应用特定片段中编码：
版本号；
参考图像数据；
所述校准数据；以及
视差数据。
10.如权利要求9所述的系统，其中，所述视差数据包括8位便携式网络图形(PNG)文件。
11.如权利要求10所述的系统，其中，所述PNG文件包括多个灰度像素，每个灰度像素具有表示视差值的亮度。
12.如权利要求7所述的系统，其中，所述过程进一步包括在所述数据结构中编码：
应用标记；
应用片段长度值；
标签名称值；
块号值；
总块数值；以及
有效载荷数据。
13.如权利要求7所述的系统，进一步包括操作性地耦合至所述处理器的图像传感器。
14.如权利要求13所述的系统，其中，所述图像传感器被配置成用于检测到场景内的点的深度。
15.一种用于对启用深度的数字图像进行编码的方法，所述方法包括：
基于表示数字图像的图像数据生成三维(3D)深度信息，所述3D深度信息表示视点与所述数字图像中的物体之间的距离；
生成其中编码有所述3D深度信息的数据结构；
将所述数据结构编码在联合图像专家组(JPEG)兼容应用特定片段中；
将校准数据编码在所述应用特定片段中；以及
将所述数据结构存储在所述数字图像文件中。
16.如权利要求15所述的方法，其中，所述应用特定片段是APP3片段。
17.如权利要求15-16中任一项所述的方法，其中，进一步包括在所述应用特定片段中编码：
版本号；
参考图像数据；
所述校准数据；以及
视差数据。
18.如权利要求17所述的方法，其中，所述视差数据包括8位便携式网络图形(PNG)文件。
19.如权利要求18所述的方法，其中，所述PNG文件包括多个灰度像素，每个灰度像素具有表示视差值的亮度。
20.如权利要求15所述的方法，其中，进一步包括在所述数据结构中编码：
应用标记；
应用片段长度值；
标签名称值；
块号值；
总块数值；以及
有效载荷数据。
21.一种其上存储有指令的计算机可读介质，所述指令当由计算机处理器执行时使所述处理器执行如权利要求15至20中任一项所述的方法。
22.一种设备，包括用于执行如权利要求15至20中任一项所述的方法的装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/328,231 US9369727B2 (en) | 2014-07-10 | 2014-07-10 | Storage of depth information in a digital image file |
| US14/328,231 | 2014-07-10 | ||
| PCT/US2015/034395 WO2016007248A1 (en) | 2014-07-10 | 2015-06-05 | Storage of depth information in a digital image file |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106464860A CN106464860A (zh) | 2017-02-22 |
| CN106464860B true CN106464860B (zh) | 2019-07-05 |
Family
ID=55064665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580031095.6A Expired - Fee Related CN106464860B (zh) | 2014-07-10 | 2015-06-05 | 深度信息在数字图像文件中的存储 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9369727B2 (zh) |
| EP (1) | EP3167609A4 (zh) |
| CN (1) | CN106464860B (zh) |
| WO (1) | WO2016007248A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10375374B2 (en) | 2017-03-29 | 2019-08-06 | Plethron Inc. | Dimension extractable object comprising spatial metadata for a captured image or video |
| CN109600601A (zh) * | 2018-11-23 | 2019-04-09 | 维沃移动通信有限公司 | 一种存储3d图像的方法及终端设备 |
| CN112868224B (zh) * | 2019-04-01 | 2023-08-29 | 谷歌有限责任公司 | 捕获和编辑动态深度图像的方法、装置和存储介质 |
| WO2022082431A1 (en) * | 2020-10-20 | 2022-04-28 | Beijing Tripmonkey Technology Limited | Systems and methods for extracting information from paper media based on depth information |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102484734A (zh) * | 2009-08-06 | 2012-05-30 | 高通股份有限公司 | 根据三维输入格式转换视频数据 |
| WO2013049699A1 (en) * | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
| US8599243B2 (en) * | 2009-07-09 | 2013-12-03 | Sony Corporation | Image processing device, image processing method, and program |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
| EP1875440B1 (en) * | 2005-04-19 | 2008-12-03 | Koninklijke Philips Electronics N.V. | Depth perception |
| US8077964B2 (en) | 2007-03-19 | 2011-12-13 | Sony Corporation | Two dimensional/three dimensional digital information acquisition and display device |
| JP4315212B2 (ja) * | 2007-05-02 | 2009-08-19 | カシオ計算機株式会社 | 撮像装置、撮像制御プログラム及び撮像制御方法 |
| WO2009011492A1 (en) | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
| KR101506926B1 (ko) * | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법 |
| EP2197217A1 (en) | 2008-12-15 | 2010-06-16 | Koninklijke Philips Electronics N.V. | Image based 3D video format |
| JP5604173B2 (ja) * | 2010-04-30 | 2014-10-08 | 三洋電機株式会社 | 再生装置、表示装置、記録装置及び格納媒体 |
| US8619124B2 (en) * | 2010-10-14 | 2013-12-31 | Industrial Technology Research Institute | Video data processing systems and methods |
| US9088835B2 (en) | 2010-12-17 | 2015-07-21 | Thomson Licensing | Method for adjusting depth or view of three-dimensional streaming video |
| JP6001826B2 (ja) * | 2011-05-18 | 2016-10-05 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 |
| KR101862543B1 (ko) * | 2011-09-08 | 2018-07-06 | 삼성전자 주식회사 | 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체 |
| EP2672713A4 (en) | 2012-01-13 | 2014-12-31 | Sony Corp | TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE, AND RECEIVING METHOD |
| WO2013108285A1 (ja) * | 2012-01-16 | 2013-07-25 | パナソニック株式会社 | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 |
-
2014
- 2014-07-10 US US14/328,231 patent/US9369727B2/en active Active
-
2015
- 2015-06-05 WO PCT/US2015/034395 patent/WO2016007248A1/en active Application Filing
- 2015-06-05 EP EP15819205.4A patent/EP3167609A4/en not_active Withdrawn
- 2015-06-05 CN CN201580031095.6A patent/CN106464860B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8599243B2 (en) * | 2009-07-09 | 2013-12-03 | Sony Corporation | Image processing device, image processing method, and program |
| CN102484734A (zh) * | 2009-08-06 | 2012-05-30 | 高通股份有限公司 | 根据三维输入格式转换视频数据 |
| WO2013049699A1 (en) * | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
Also Published As
| Publication number | Publication date |
|---|---|
| US9369727B2 (en) | 2016-06-14 |
| US20160014424A1 (en) | 2016-01-14 |
| EP3167609A1 (en) | 2017-05-17 |
| CN106464860A (zh) | 2017-02-22 |
| WO2016007248A1 (en) | 2016-01-14 |
| EP3167609A4 (en) | 2018-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10360732B2 (en) | Method and system of determining object positions for image processing using wireless network angle of transmission | |
| CN102749072B (zh) | 室内定位方法、装置及系统 | |
| KR101662972B1 (ko) | 단일 이미지로부터 깊이를 추정하기 | |
| CN106464860B (zh) | 深度信息在数字图像文件中的存储 | |
| US20160261793A1 (en) | System and method for controlling a camera based on processing an image captured by other camera | |
| US20160255357A1 (en) | Feature-based image set compression | |
| CN102375987B (zh) | 图像处理设备及图像特征向量提取与图像匹配方法 | |
| CN103843011A (zh) | 特征位置信息的译码 | |
| Bauer et al. | UASOL, a large-scale high-resolution outdoor stereo dataset | |
| CN114125310A (zh) | 拍照方法、终端设备及云端服务器 | |
| CN116468917A (zh) | 图像处理方法、电子设备及存储介质 | |
| CN114076970A (zh) | 一种定位方法、装置及系统 | |
| CN104572830A (zh) | 推荐拍摄信息的处理方法及装置 | |
| CN117082359B (zh) | 图像处理方法及相关设备 | |
| CN104102732A (zh) | 图像展现方法及装置 | |
| CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN109785439A (zh) | 人脸素描图像生成方法及相关产品 | |
| CN111104987B (zh) | 人脸识别方法、装置及电子设备 | |
| Shao et al. | Imagebeacon: Broadcasting color images over connectionless bluetooth le packets | |
| CN113989404B (zh) | 图片处理方法、装置、设备、存储介质和程序产品 | |
| CN114359490B (zh) | 基于多模态融合的电磁地图构建方法及相关装置 | |
| CN116453154A (zh) | 行人检测方法、系统、电子设备以及可读介质 | |
| JP7220361B2 (ja) | イメージ従属コンテンツの統合方法 | |
| CN117095319A (zh) | 一种目标定位方法、系统和电子设备 | |
| CN105426925A (zh) | 图像标注方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190705 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |