CN107360429B - 景深包装及解包装的rgb格式与yuv格式的转换与反转换的方法及电路 - Google Patents

景深包装及解包装的rgb格式与yuv格式的转换与反转换的方法及电路 Download PDF

Info

Publication number
CN107360429B
CN107360429B CN201710320277.6A CN201710320277A CN107360429B CN 107360429 B CN107360429 B CN 107360429B CN 201710320277 A CN201710320277 A CN 201710320277A CN 107360429 B CN107360429 B CN 107360429B
Authority
CN
China
Prior art keywords
pixel
value
sub
pixels
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710320277.6A
Other languages
English (en)
Other versions
CN107360429A (zh
Inventor
杨家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN107360429A publication Critical patent/CN107360429A/zh
Application granted granted Critical
Publication of CN107360429B publication Critical patent/CN107360429B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提出的转换方法包括：分别取得RGB格式的四像素中具有交错位置的两个R、两个G及两个B次像素值；以及依据取得的这些次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；其中，YUV格式的第一像素、第二像素、第三像素及第四像素的Y亮度值分别是由RGB格式的第一像素的R、第二像素的G、第三像素的G与第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B、第一像素的R与第三像素的G次像素值经计算而得到，第一像素的V色度值是由第四像素的R、第二像素的G与第四像素的B次像素值经计算而得到。

Description

景深包装及解包装的RGB格式与YUV格式的转换与反转换的方 法及电路
技术领域
本发明涉及一种应用于景深包装及解包装的RGB格式与YUV格式的转换与反转换的方法及其电路。
背景技术
人类可见的色彩都可用红、绿、蓝(R、G、B)三种颜色来加以混和而成。然而，人类的视觉系统对于亮度(luminance)比较敏感，而对于彩度比较不敏感，况且，三原色所构成的向量空间无法对影像强度(亮度)做处理，例如柔和化、锐利化等等。同时，由RGB格式构成的影像数据也在传输时占用较大带宽、储存时占用较多的内存。因此，有必要将RGB格式的影像数据转换成YUV格式，以达到高效率的影像传输。
在习知技术中，视频或影像压缩系统会将RGB次像素的相邻四个像素转换为YUV的相邻四个像素(又称YUV 444格式)后进行压缩传输，接收端再将YUV格式转换回RGB格式。
在习知技术的一个实施例中，如图11A与图11B所示，其分别显示RGB与YUV格式中，次像素的景深(depth)垂直与景深水平像素之间的转换示意图。在图11A中，配合以下表一的矩阵方程式，排除计算的误差外，景深像素对应在RGB格式的与YUV 444格式之间的转换及反转换并不会产生失真。
Figure BDA0001289607900000011
Figure BDA0001289607900000012
表一
另外，在图11B中，配合以下表二的矩阵方程式，排除计算的误差外，景深像素对应在RGB格式的与YUV 444格式之间的转换及反转换也不会产生失真。
Figure BDA0001289607900000021
Figure BDA0001289607900000022
表二
然而，为达到高效率的视频压缩传输，在一些实施例中，视频或影像压缩系统会保留YUV格式的四个像素的四个亮度值(Y，luminance)，但对四个色度值(U，V，chrominance)则采用次取样(Subsampling)的方式，仅保留两个像素的U、V色度值(又称YUV 422格式)，或一个像素的U、V色度值(又称YUV 420格式)，由此，使利用YUV422或420格式传输影像数据时可占用较少带宽、储存时可占用较少的内存，以达到高效率的视频压缩与传输。
请参照图12A与图12B所示，其分别显示景深垂直与景深水平包装的YUV444格式、YUV422格式及YUV420格式的示意图。在这两个图示中的圆圈内显示有剖面线的UV色度值已依取样的不同而被舍去。由于YUV 420格式会占用最少的带宽与内存，因此，视频或影像压缩系统最常被采用的格式正是YUV 420格式。
当接收端的影像解压缩系统接收到YUV420(或YUV 422)格式的影像数据时，会先将缺少的U、V色度值以保留的U、V色度值填入，以近似为YUV444格式之后再转换成RGB格式的影像数据。例如，在YUV 420格式中，解压缩系统会将第一像素的U色度值(U1)分别填入第二像素、第三像素及第四像素的U色度(U2、U3、U4)的位置内，并将第一像素的V色度值(V1)分别填入第二像素、第三像素及第四像素的V色度(V2、V3、V4)的位置内，再将YUV格式的四个像素转换回RGB格式。由于是将缺少的U、V色度值以保留的U、V色度值填入，因此，转换回的RGB格式的影像数据在景深落差的剧变区将会产生严重失真的现象。
上述习知技术的RGB格式与YUV格式的转换与反转换的方式已经长久被业界所采用，虽然参数值略有变化，但是在转换与反转换的做法上都是以上述的矩阵方式以及RGB或YUV三个变量去做转换，而且都只是强调传输的效率良好，并不考虑其他层面的问题。
发明人在过去提出的专利技术中提出了一种彩色帧(color frame)与景深帧(depth frame)的包装(packing)与解包装(unpacking)技术(Centralized Texture DepthPacking,CTDP)，可以将包装后的彩色帧与景深帧一并传送，其中RGB次像素即分别代表三个景深次像素。但是在转换的过程中却发现，应用于景深帧的压缩与传输时，若采用YUV420格式(或422格式)重新补回YUV 444格式之后，再转换回RGB格式时，在景深落差剧变区的位置上，景深像素将产生相当大的失真现象。
发明内容
有鉴于上述，本发明的目的为提供一种应用于景深包装及解包装的RGB格式与YUV格式的转换与反转换的方法及其电路。
本发明的转换方法与其转换电路与习知技术的做法不同，并不是以RGB或YUV的三个变量去做转换，但是同样可具有压缩效率较高、数据量较少及传输效率较高的优点，同样可有效降低现有传输设备及传输带宽的负担。
另外，相较于习知反转换的做法而言，本发明的反转换方法与其反转换电路可以还原成较佳原始的景深帧，因此可以改善在景深落差剧变区位置上的失真现象。
本发明提出一种应用于景深帧包装的RGB格式转换至YUV格式的方法，其中RGB格式包括R次像素、G次像素与B次像素，YUV格式包括Y亮度、U色度与V色度，具有RGB格式的景深帧至少包含四像素，四像素中的每一个的R次像素、G次像素、B次像素分别为垂直排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括以下步骤：分别取得四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式的第一像素的R次像素值经计算而得到，第二像素的Y亮度值是由第二像素的G次像素值经计算而得到，第三像素的Y亮度值是由第三像素的G次像素值经计算而得到，第四像素的Y亮度值是由第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后经计算而得到，第一像素的V色度值是由第四像素的R次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
本发明还提出一种应用于景深帧包装的RGB格式转换至YUV格式的电路，其中RGB格式包括R次像素、G次像素与B次像素，YUV格式包括Y亮度、U色度与V色度，具有RGB格式的景深帧至少包含四像素，四像素中的每一个的R次像素、G次像素、B次像素分别为垂直排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值。像素转换单元依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式的第一像素的R次像素值经计算而得到，第二像素的Y亮度值是由第二像素的G次像素值经计算而得到，第三像素的Y亮度值是由第三像素的G次像素值经计算而得到，第四像素的Y亮度值是由第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后经计算而得到，第一像素的V色度值是由第四像素的R次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
本发明又提出一种应用于景深帧包装的RGB格式转换至YUV格式的方法，其中RGB格式包括R次像素、G次像素与B次像素，YUV格式包括Y亮度、U色度与V色度，具有RGB格式的景深帧至少包含四像素，四像素中的每一个的R次像素、G次像素、B次像素分别为水平排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括以下步骤：分别取得四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式的第一像素的R次像素值经计算而得到，第二像素的Y亮度值是由第二像素的G次像素值经计算而得到，第三像素的Y亮度值是由第三像素的G次像素值经计算而得到，第四像素的Y亮度值是由第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B次像素值减去第一像素的R次像素值与第二像素的G次像素值的平均值后经计算而得到，第一像素的V色度值是由第四像素的R次像素值减去第三像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
本发明又提出一种应用于景深帧包装的RGB格式转换至YUV格式的电路，其中RGB格式包括R次像素、G次像素与B次像素，YUV格式包括Y亮度、U色度与V色度，具有RGB格式的景深帧至少包含四像素，四像素中的每一个的R次像素、G次像素、B次像素分别为水平排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值。像素转换单元依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式的第一像素的R次像素值经计算而得到，第二像素的Y亮度值是由第二像素的G次像素值经计算而得到，第三像素的Y亮度值是由第三像素的G次像素值经计算而得到，第四像素的Y亮度值是由第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B次像素值减去第一像素的R次像素值与第二像素的G次像素值的平均值后经计算而得到，第一像素的V色度值是由第四像素的R次像素值减去第三像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
本发明又提出一种应用于景深帧解包装的YUV格式转换至RGB格式的方法，其中YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素，具有YUV格式的景深帧至少包含四像素，四像素中的每一个的Y亮度、U色度、V色度分别为垂直排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括以下步骤：分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值；以及依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得到，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第三像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第二像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
本发明又提出一种应用于景深帧解包装的YUV格式转换至RGB格式的电路，其中YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素，具有YUV格式的景深帧至少包含四像素，四像素中的每一个的Y亮度、U色度、V色度分别为垂直排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值。像素转换单元依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得到，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第三像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第二像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
本发明又提出一种应用于景深帧解包装的YUV格式转换至RGB格式的方法，其中YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素，具有YUV格式的景深帧至少包含四像素，四像素中的每一个的Y亮度、U色度、V色度分别为水平排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括以下步骤：分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值；以及依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得到，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第二像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
本发明又提出一种应用于景深帧解包装的YUV格式转换至RGB格式的电路，其中YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素，具有YUV格式的景深帧至少包含四像素，四像素中的每一个的Y亮度、U色度、V色度分别为水平排列，四像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值。像素转换单元依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得到，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第二像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
承上所述，本发明的应用于景深包装的RGB格式与YUV格式的转换方法及其电路与习知转换技术的做法不同，并不是以RGB或YUV的三个变量去做转换，但是同样可具有压缩效率较高、数据量较少及传输效率较高的优点，亦可有效降低现有传输设备及传输带宽的负担。
另外，本发明的应用于景深解包装的RGB格式与YUV格式的反转换的方法及其电路中，可以还原成较佳原始的景深帧，因此，可以改善在景深落差剧变区位置上的失真现象。
附图说明
图1A为本发明优选实施例的一种将影像数据由RGB格式转换为YUV格式的转换方法的流程示意图。
图1B为本发明优选实施例的一种将影像数据由RGB格式转换为YUV格式的转换电路的功能方块示意图。
图2A为一个实施例的影像数据由RGB格式转换为YUV420格式的示意图。
图2B为一个实施例的影像数据由RGB格式转换为YUV422格式的示意图。
图2C为一个实施例的影像数据由RGB格式转换为YUV444格式的示意图。
图2D为影像数据由RGB格式转换为YUV420格式的另一示意图。
图3为本发明另一优选实施例的一种将影像数据由RGB格式转换为YUV格式的转换方法的流程示意图。
图4A为一个实施例的影像数据由RGB格式转换为YUV420格式的示意图。
图4B为一个实施例的影像数据由RGB格式转换为YUV422格式的示意图。
图4C为一个实施例的影像数据由RGB格式转换为YUV444格式的示意图。
图5A为本发明优选实施例的一种将影像数据由YUV格式转换为RGB格式的转换方法的流程示意图。
图5B为本发明优选实施例的一种将影像数据由YUV格式转换为RGB格式的转换电路的功能方块示意图。
图6A为一个实施例的影像数据由YUV422格式转换为RGB格式的示意图。
图6B为一个实施例的景深帧与彩色帧的对应示意图。
图6C为一个实施例的影像数据由YUV420格式转换为RGB格式的示意图。
图7为本发明优选实施例的一种将影像数据由YUV格式转换为RGB格式的转换方法的另一流程示意图。
图8A为一个实施例的影像数据由YUV422格式转换为RGB格式的示意图。
图8B为一个实施例的影像数据由YUV420格式转换为RGB格式的示意图。
图9A与图10A分别为习知技术由RGB格式转换YUV420格式，再由YUV420格式转换为RGB格式后的景深帧示意图。
图9B、图9C与图10B、图10C分别为本发明由RGB格式转换YUV420格式，再由YUV420格式转换为RGB格式后的景深帧示意图。
图11A与图11B分别显示RGB与YUV格式中，次像素的景深垂直与景深水平像素之间的转换示意图。
图12A与图12B分别显示景深垂直与景深水平包装的YUV444格式、YUV422格式及YUV420格式的示意图。
图13为一个实施例的3D影像及景深系统包装技术的步骤流程图。
具体实施方式
以下将参照相关附图，说明依据本发明应用于景深包装及解包装的RGB格式与YUV格式的转换与反转换的方法及其电路，其中相同的组件将以相同的参照符号加以说明。
本发明的转换、反转换方法与其电路是应用于3D景深系统的包装(packing)与解包装(unpacking)技术上。另外，本技术的转换、反转换方法与电路可应用于灰阶影像信号的压缩与传输上。本发明优选是应用于发明人在美国专利申请号第14/504,901、14/504,936、14/505,117与14/505,153号中所提出的3D影像系统的包装与解包装技术中。上述专利申请号均通过引用方式纳入本说明书全文之中。
发明人提出的3D影像及景深系统包装技术可参照图13所示。该步骤流程包含：分别重调彩色帧(color frame)与景深帧(depth frame)的尺寸(Downscaling)(步骤Q01、步骤Q02)；将重调后的景深帧进行像素重排列(Pixel Rearrangement)成RGB次像素格式(步骤Q03)、RGB格式与YUV格式转换(Format Conversion)(步骤Q04)、分割及反转(Splitting&Filpping)(步骤Q05)，再与重调后的彩色帧组合(步骤Q06)，之后再进行传输；接收端接收后再进行反转换工作，以得到原来的彩色帧与景深帧。本发明提出的RGB格式与YUV格式的转换就是使用于上述的YUV格式转换步骤；反之，本发明提出的RGB格式与YUV格式的反转换就是使用于接收端的格式反转换步骤。
在图13的步骤中，若跳过像素重排列，该RGB次像素格式排列也可以直接表示为依据对应位置的三个连续景深图素。该YUV格式也可称为YCbCr，即Cb以U表示，Cr以V表示。
换言之，本发明基于发明人于过去提出的彩色帧与景深帧的包装与解包装技术，更进一步提出将景深帧的格式转换(由RGB格式转换成YUV格式)与反转换(由YUV格式转换成RGB格式)的详细技术内容，包括转换与反转换的方法与其电路，以解决在景深帧在转换格式时，景深有落差的区域会有失真现象的问题。尤其是相邻的位置之间具有大景深落差时(即景深落差剧变区)。本发明所指的转换就是将RGB格式转换成YUV格式的过程，而本发明所指的反转换就是将YUV格式还原成RGB格式的过程。
请参照图1A及图1B所示，其中，图1A为本发明优选实施例的一种将影像数据由RGB格式转换为YUV格式的转换方法的流程示意图，而图1B为本发明优选实施例的一种将影像数据由RGB格式转换为YUV格式的转换电路1的功能方块示意图。
灰阶影像数据例如但不限于为景深帧，可包装为RGB格式，经本技术的转换方法与转换电路1转换后可得到YUV格式的影像数据，在YUV格式中，尤其是YUV420或422格式的影像数据应用于信号传输时可占用较少带宽、储存时可占用较少的内存，由此达到高效率的视频压缩与传输。其中，RGB格式包括R次像素、G次像素与B次像素，而YUV格式包括Y亮度、U色度与V色度。在本实施例中，具有RGB格式的影像数据包含四个相邻像素的群组，亦即每一个群组具有四个相邻的像素。因此，以下是将影像数据中所有群组的四像素都由RGB格式转换成YUV格式。其中，每一群组的四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。另外，每一个像素的R次像素、G次像素、B次像素分别为垂直排列。换言之，每一个像素的R次像素、G次像素、B次像素是位于同一行中。
如图1A所示，将影像数据由RGB格式转换为YUV格式的转换方法包括步骤S01至步骤S02。步骤S01为：分别取得该四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，而步骤S02为：依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式的第一像素的R次像素值经计算而得到，第二像素的Y亮度值是由第二像素的G次像素值经计算而得到，第三像素的Y亮度值是由第三像素的G次像素值经计算而得到，第四像素的Y亮度值是由第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后经计算而得到，第一像素的V色度值是由第四像素的R次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
另外，如图1B所示，转换电路1包括像素取得单元11及像素转换单元12，像素取得单元11与像素转换单元12电性连接。其中，像素取得单元11可由影像数据的每一群组中分别取得该四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，而像素转换单元12可依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值。在此，像素取得单元11与像素转换单元12是应用硬件电路或固件的方式来实现其功能。在一个实施例中，转换电路1可包含例如可以加/减法器及乘/除法器。
像素取得单元11可依据转换需求分别取得每一群组转换时对应所需的R次像素值、G次像素值与B次像素值，且像素转换单元12可将取得的R次像素值、G次像素值与B次像素值转换而得到YUV格式。在一些实施例中，像素转换单元12可将一个群组的四像素转换得到YUV格式后就储存至同一群组的第一像素、第二像素、第三像素及第四像素的对应位置中；或者，在另一些实施例中，像素转换单元12也可将所有的群组的四像素全部转换而得到YUV格式后，再全部储存至对应群组的第一像素、第二像素、第三像素及第四像素的对应位置中，对此并不限定。此外，存储单元(图未示)可分别与像素取得单元11及像素转换单元12电性连接，并可储存转换前与转换后的影像数据。以下将以实施例来说明上述的转换方法。
请参照图2A所示，其为一个实施例的影像数据由RGB格式转换为YUV420格式的示意图。在此，各像素的次像素的数量分别为三个，其为红、绿、蓝三个次像素(以R、G、B表示)，每一像素的R、G、B次像素分别为垂直排列(位于同一行中)，而转换后的YUV格式的影像数据的各次像素的数量也分别为三个，其为一个Y亮度与两个U、V色度所构成，且也分别为垂直排列。
以下以对应的代号来表示每一个次像素的位置及其次像素值。例如图2A的R1代表第一像素的R次像素位置与R次像素值，G1代表第一像素的G次像素位置与G次像素值，B1代表第一像素的B次像素位置与B次像素值。同样地，Y1、U1、V1对应代表第一像素的Y亮度位置与Y亮度值、第一像素的U色度位置与U色度值、第一像素的V色度位置与V色度值，以此类推。不过，若图示中的整个圆圈显示有斜线面的色度U、V是表示，该位置的U、V色度值为不存在。举例来说，在图2A的YUV420格式中，只有Y1～Y4亮度位置有对应的亮度值，及U1、V1色度位置有对应的色度值，而U2～U4、V2～V4的位置则不存在。另外，在图2A中，RGB或YUV格式的第一像素为左上角垂直排列的三个次像素(以1表示)，第二像素为右上角垂直排列的三个次像素(以2表示)，第三像素为左下角垂直排列的三个次像素(以3表示)，第四像素为右下角垂直排列的三个次像素(以4表示)，然而并不局限于此。不过，在一些实施例中，第一像素～第四像素的位置也可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
在本实施例中，将影像数据由RGB格式转换为YUV420格式的转换方法是通过像素取得单元11分别取得该四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，且依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV420格式的四个Y亮度值、一个U色度值及一个V色度值。在一个实施例的四像素中，像素取得单元11是分别取得第一像素与第四像素的R次像素值、第二像素与第三像素的G次像素值及第一像素与第四像素的B次像素值，且依据取得的第一像素与第四像素的R次像素值、第二像素与第三像素的G次像素值及第一像素与第四像素的B次像素值得到YUV格式的四个Y亮度值(Y1～Y4)、一个U色度值(U1)及一个V色度值(V1)。
其中，第一像素的Y亮度值是等于0.8588乘以第一像素的R次像素值后加16，第二像素的Y亮度值等于0.8588乘以第二像素的G次像素值后加16，第三像素的Y亮度值等于0.8588乘以第三像素的G次像素值后加16，第四像素的Y亮度值等于0.8588乘以第四像素的B次像素值后加16，第一像素的U色度值等于第一像素的B次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后乘以0.4392加128，第一像素的V色度值等于第四像素的R次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后乘以0.4392加128。换言之，
Y1＝0.8588×R1+16 (1)；
Y2＝0.8588×G2+16 (2)；
Y3＝0.8588×G3+16 (3)；
Y4＝0.8588×B4+16 (4)；
U1＝0.4392×(B1–0.5×(R1+G3))+128 (5)；
V1＝0.4392×(R4–0.5×(G2+B4))+128 (6)；
上述的方程式(1)～(6)可称为第一阶段转换。其中，方程式(1)～(6)中包含四个线性Y亮度值(Y1～Y4)转换编码(称为线性映像/linear mapping)：将原RGB值域{0,255}转至Y的值域{16,235}，及两个UV色度值(U1、V1)预测线性差值转换编码(称为DPCM)：将原DPCM值域{-255,255}转至U及V的值域{16,240}；线性映像可将各个Y值与UV值转换为与传统YUV值有相同分布，而预测线性差值则可使保有的UV值与传统UV值的特性相同，以确保原有压缩系统的压缩质量，并同时也有较佳景深解包装的质量，其中，公式(5)及(6)中的预测差值分别为D＝B1–0.5×(R1+G3)及D＝R4–0.5×(G2+B4)。由于转换后的YUV420格式的影像数据中舍去了U2～U4、V2～V4，因此，当利用YUV420格式的影像数据进行影像传输时可占用较少的带宽，储存时也可占用较少的内存，由此达到高效率的视频压缩与传输。
上述的方程式(5)～(6)，得依据预测差值D的分布采用线性或非线性转换编码(称为非线性映像/nonlinear mapping)差值，一般性预测差值转换公式为：
U1＝f(B1–0.5×(R1+G3))+128 (7)；
V1＝f(R4–0.5×(G2+B4))+128. (8)；
若采用线性函数转换，则为：
f(D)＝0.4392×D (9)；
方程式(7)～(8)即为方程式(5)～(6)。若采用非线性转换，转换公式可为分段线性(piece-wise linear)函数：
Figure BDA0001289607900000131
另外，请参照图2B所示，其为一个实施例的影像数据由RGB格式转换为YUV422格式的示意图。
将影像数据由RGB格式转换为YUV422格式的方法中，除了得到图2A的YUV420的Y1～Y4、U1与V1之外，像素取得单元11还分别取得四像素中的另一个R次像素值(R2)及另一个B次像素值(B3)，且像素转换单元12还依据取得的R次像素值、G次像素值与B次像素值得到YUV格式的第二像素的U色度(U2)值与第二像素的V色度(V2)值。其中，Y1～Y4的计算式可参照上述的方程式(1)～(4)、而U1与V1转换的计算式可参照上述的方程式(7)～(8)，其中若转换为线性转换的计算式可参照函数方程式(9)；若为非线性转换则可参照函数方程式(10)。而第二像素的U色度值是由第二像素的R次像素值减去第一像素的R次像素值与第二像素的G次像素值的平均值后经计算而得到，第二像素的V色度值是由第三像素的B次像素值减去第三像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
在一个实施例中，第二像素的U色度值等于第二像素的R次像素值减去第一像素的R次像素值与第二像素的G次像素值的平均值后的预测差值D经函数f(D)转换再加128，第二像素的V色度值等于第三像素的B次像素值减去第三像素的G次像值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换再加128。换言之，
U2＝f(R2–0.5×(R1+G2))+128； (11)；
V2＝f(B3–0.5×(G3+B4))+128； (12)；
其中，方程式(11)及(12)的预测差值分别以D＝R2–0.5×(R1+G2)及D＝B3–0.5×(G3+B4)表示。若采用线性转换，则该函数f(D)为公式(9)；若采用非线性转换，则该函数f(D)为公式(10)。
上述的方程式(11)～(12)可称为第二阶段转换。因此，在YUV422格式的转换过程中，除了第一阶段的转换程序(YUV420格式)之外，还包含第二阶段转换程序。其中，方程式(1)～(4)中包含四个表示线性Y值(Y1～Y4)转换编码(线性映像/linear mapping)，及方程式(7)、(8)、(11)、(12)表示四个UV值(U1,U2,V1,V2)预测线性差值转换编码(DPCM)。在此，转换后的YUV422格式的影像数据舍去了U3、U4、V3、V4。
另外，请参照图2C所示，其为一个实施例的影像数据由RGB格式转换为YUV444格式的示意图。
将影像数据由RGB格式转换为YUV444格式的方法中，除了得到上述的YUV422的Y1～Y4、U1、U2与V1、V2之外，像素取得单元11还取得四像素的其余的R次像素值、其余的G次像素值及其余的B次像素值，即R3、G1、G4、B2，且像素转换单元12还依据取得的R次像素值、G次像素值与B次像素值得到YUV格式的另两个U色度值(U3、U4)及另两个V色度值(V3、V4)，也就是四像素的YUV亮彩及色度值均得到。其中，Y1～Y4、U1、U2与V1、V2的计算式可参照上述的方程式(1)～(12)。另外，第三像素的U色度值是由第一像素的G次像素值减去第一像素的R次像素值与第一像素的B次像素值的平均值后的预测差值D经函数转换计算而得到，第三像素的V色度值是由第四像素的G次像素值减去第四像素的R次像素值与第四像素的B次像素值的平均值后的预测差值D经函数转换计算而得到，第四像素的U色度值是由第三像素的R次像素值减去第一像素的B次像素值与第三像素的G次像素值的平均值后的预测差值D经函数转换计算而得到，而第四像素的V色度值是由第二像素的B次像素值减去第二像素的G次像素值与第四像素的R次像素值的平均值后的预测差值D经函数转换计算而得到。
在一个实施例中，第三像素的U色度值等于第一像素的G次像素值减去第一像素的R次像素值与第一像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128，第三像素的V色度值等于第四像素的G次像素值减去第四像素的R次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128，第四像素的U色度值等于第三像素的R次像素值减去第一像素的B次像素值与第三像素的G次像素值的平均值后的预测差值D经函数f(D)转换加128，第四像素的V色度值等于第二像素的B次像素值减去第二像素的G次像素值与第四像素的R次像素值的平均值后的预测差值D经函数f(D)转换加128。换言之，
U3＝f(G1–0.5×(R1+B1))+128； (13)
V3＝f(G4–0.5×(R4+B4))+128； (14)
U4＝f(R3–0.5×(B1+G3))+128； (15)
V4＝f(B2–0.5×(G2+R4))+128； (16)
其中方程式(13)、(14)、(15)及(16)的预测差值分别以D＝G1–0.5×(R1+B1)，D＝G4–0.5×(R4+B4)，D＝R3–0.5×(B1+G3)及D＝B2–0.5×(G2+R4)表示。若采用线性转换，则该函数f(D)为公式(9)；若采用非线性转换，则该函数f(D)为公式(10)。
因此，在YUV444格式的转换过程中，除了第一阶段与第二阶段的转换程序之外，还包含上述方程式(U3、U4、V1、V2)的第三阶段转换程序，其中包含了四个线性Y值(Y1～Y4)转换编码(线性映像/linear mapping)及八个UV值(U1～U4、V1～V4)预测线性差值转换编码(差值预测/DPCM)。
另外，再特别说明的是，请参照图2A及图2D所示，其中，图2D为影像数据由RGB格式转换为YUV420格式的另一示意图。
在图2A中，RGB或YUV格式的第一像素为左上角垂直排列的三个次像素(以1表示)，第二像素为右上角垂直排列的三个次像素(以2表示)，第三像素为左下角垂直排列的三个次像素(以3表示)，第四像素为右下角垂直排列的三个次像素(以4表示)，但在图2D中，RGB或YUV格式的第一像素为右上角垂直排列的三个次像素，第二像素为左上角垂直排列的三个次像素，第三像素为右下角垂直排列的三个次像素，第四像素为左下角垂直排列的三个次像素。
在图2D中，同样地，第一像素的Y亮度值等于0.8588乘以第一像素的R次像素值后加16，第二像素的Y亮度值等于0.8588乘以第二像素的G次像素值后加16，第三像素的Y亮度值等于0.8588乘以第三像素的G次像素值后加16，第四像素的Y亮度值等于0.8588乘以第四像素的B次像素值后加16，第一像素的U色度值等于第一像素的B次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后的预测差值D经函数f(D)转换加128，第一像素的V色度值等于第四像素的R次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128。换言之，在图2D的本实施例中，第一阶段的转换为：
Y2＝0.8588×R2+16； (17)
Y1＝0.8588×G1+16； (18)
Y4＝0.8588×G4+16； (19)
Y3＝0.8588×B3+16； (20)
U2＝f(B2–0.5×(R2+G4))+128； (21)
V2＝f(R3–0.5×(G1+B3))+128； (22)
其中，方程式(21)及(22)的预测差值分别以D＝B2–0.5×(R2+G4)及D＝R3–0.5×(G1+B3)表示。若采用线性转换，则该函数f(D)为公式(9)；若采用非线性转换，则该函数f(D)为公式(10)。
因此，在RGB格式转换成YUV格式的过程中，本发明的取样方式是采取交错取样的方式(如图2A与图2D中的虚线所示)，以得到对应的YUV格式的次像素值；另外，本发明并不限定第一像素、第二像素、第三像素或第四像素是群组的四像素中的哪一个位置，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
另外，请再参照图1B并配合图3所示，其中，图3为本发明另一优选实施例的一种将影像数据由RGB格式转换为YUV格式的转换方法的流程示意图。
在本实施例中，具有RGB格式的影像数据一样包含四个相邻像素的复数群组，亦即每一个群组具有四个相邻的像素。其中，每一群组的四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，第四像素分别与第二像素及第三像素相邻排列。另外，本实施例之影像数据的每一个像素的R次像素、G次像素、B次像素分别为水平排列。换言之，每一个像素的R次像素、G次像素、B次像素是位于同一列中。
如图3所示，将影像数据由RGB格式转换为YUV格式的转换方法包括步骤P01至步骤P02。步骤P01为：分别取得该四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，而步骤P02为：依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式的第一像素的R次像素值经计算而得到，第二像素的Y亮度值是由第二像素的G次像素值经计算而得到，第三像素的Y亮度值是由第三像素的G次像素值经计算而得到，第四像素的Y亮度值是由第四像素的B次像素值经计算而得到，第一像素的U色度值是由第一像素的B次像素值减去第一像素的R次像素值与第二像素的G次像素值的平均值后经计算而得到，第一像素的V色度值是由第四像素的R次像素值减去第三像素的G次像素值与第四像素的B次像素值的平均值后经计算而得到。
另外，像素取得单元11可由影像数据的每一群组中分别取得该四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，而像素转换单元12将依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值。以下，将以实施例来说明图3的转换方法。
请参照图4A所示，其为一个实施例的影像数据由RGB格式转换为YUV420格式的示意图。
在本实施例中，RGB格式的各像素的次像素分别为水平排列，而转换后的YUV格式的影像数据的各次像素的数量也分别为水平排列。其中，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。在图4A中，RGB或YUV格式的第一像素为左上角水平排列的三个次像素(以1表示)，第二像素为右上角水平排列的三个次像素(以2表示)，第三像素为左下角水平排列的三个次像素(以3表示)，第四像素为右下角水平排列的三个次像素(以4表示)，然并不局限于此。不过，在一些实施例中，第一像素～第四像素的位置也可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
将影像数据由RGB格式转换为YUV420格式的转换方法是通过像素取得单元11分别取得该四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，且依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值。在一个实施例的YUV420格式的四像素中，像素取得单元11是分别取得第一像素与第四像素的R次像素值(R1、R4)、第二像素与第三像素的G次像素值(G2、G3)及第一像素与第四像素的B次像素值(B1、B4)，且像素转换单元12依据取得的第一像素与第四像素的R次像素值、第二像素与第三像素的G次像素值及第一像素与第四像素的B次像素值得到YUV格式的四个Y亮度值(Y1～Y4)、一个U色度值(U1)及一个V色度值(V1)。
在YUV格式的四像素中，第一像素的Y亮度值等于0.8588乘以第一像素的R次像素值后加16，第二像素的Y亮度值等于0.8588乘以第二像素的G次像素值后加16，第三像素的Y亮度值等于0.8588乘以第三像素的G次像素值后加16，第四像素的Y亮度值等于0.8588乘以第四像素的B次像素值后加16，第一像素的U色度值等于第一像素的B次像素值减去第一像素的R次像素值与第二像素的G次像素值的平均值后的预测差值D经函数f(D)转换加128，第一像素的V色度值等于第四像素的R次像素值减去第三像素的G次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128。换言之，
Y1＝0.8588×R1+16 (22)；
Y2＝0.8588×G2+16 (23)；
Y3＝0.8588×G3+16 (24)；
Y4＝0.8588×B4+16 (25)；
U1＝f(B1–0.5×(R1+G2))+128 (26)；
V1＝f(R4–0.5×(G3+B4))+128 (27)；
其中，方程式(26)及(27)的预测差值分别以D＝B1–0.5×(R1+G2)及D＝R4–0.5×(G3+B4)表示。若采用线性转换，则该函数f(D)为公式(9)；若采用非线性转换，则该函数f(D)为公式(10)。
上述的方程式(22)～(27)可称为第一阶段转换。其中，同样包含四个线性Y值(Y1～Y4)转换编码(线性映像/linear mapping)及两个UV值(U1、V1)预测线性差值转换编码(差值预测/DPCM)。由于转换后的YUV420格式的影像数据舍去了U2～U4、V2～V4，因此，当利用YUV420格式的影像数据进行传输时可占用较少带宽，储存时也可占用较少的内存，由此达到高效率的视频压缩与传输。
另外，请参照图4B所示，其为一个实施例的影像数据由RGB格式转换为YUV422格式的示意图。
将影像数据由RGB格式转换为YUV422格式的方法中，除了上述得到YUV420的Y1～Y4、U1与V1之外，像素取得单元11还分别取得四像素中的另一个R次像素值(R3)及另一个B次像素值(B2)，且像素转换单元12还依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的第二像素的U色度(U2)与第二像素的V色度(V2)。其中，Y1～Y4可参照上方程式(22)～(25)，U1与V1的计算式可参照上述方程式(26)～(27)，而第二像素的U色度值是由第三像素的R次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后的预测差值D经函数f(D)转换经计算而得到，第二像素的V色度值是由第二像素的B次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换经计算而得到。
在一个实施例中，第二像素的U色度值等于第三像素的R次像素值减去第一像素的R次像素值与第三像素的G次像素值的平均值后的预测差值D经函数f(D)转换加128，第二像素的V色度值等于第二像素的B次像素值减去第二像素的G次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128。换言之，
U2＝f(R3–0.5×(R1+G3))+128 (28)；
V2＝f(B2–0.5×(G2+B4))+128 (29)；
其中，方程式(28)及(29)的预测差值分别以D＝R3–0.5×(R1+G3)及D＝B2–0.5×(G2+B4)表示。若采用线性转换，则该函数f(D)为公式(9)；若采用非线性转换，则该函数f(D)为公式(10)。
上述的方程式(28)～(29)可称为第二阶段转换。上述的方程式(9)～(16)中同样包含四个线性Y值(Y1～Y4)转换编码(线性映像/linear mapping)及四个UV值(U1～U2、V1～V2)预测线性差值转换编码(差值预测/DPCM)。由于转换后的YUV422格式的影像数据舍去了U3～U4、V3～V4，因此，当利用YUV422格式的影像数据进行影像传输时也可占用较少带宽，储存时也可占用较少的内存，由此也可达到高效率的视频压缩与传输。
另外，请参照图4C所示，其为一个实施例的影像数据由RGB格式转换为YUV444格式的示意图。
将影像数据由RGB格式转换为YUV444格式的方法中，除了上述得到YUV422的Y1～Y4、U1、U2与V1、V2之外，像素取得单元11还分别取得四像素的其余的R次像素值、其余的G次像素值及其余的B次像素值，即R2、G1、G4、B3，且像素转换单元12还依据取得的这些R次像素值、这些G次像素值与这些B次像素值得到YUV格式的另两个U色度值及另两个V色度值，即U3、U4、V3、V4，也就是四像素的YUV格式的次像素值均全部得到。其中，Y1～Y4、U1、U2与V1、V2的计算式可参照上述方程式(22)～(29)。另外，第三像素的U色度值是由第一像素的G次像素值减去第一像素的R次像素值与第一像素的B次像素值的平均值后的预测差值D经函数f(D)转换经计算而得到，第三像素的V色度值是由第四像素的G次像素值减去第四像素的R次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换经计算而得到，第四像素的U色度值是由第二像素的R次像素值减去第一像素的B次像素值与第二像素的G次像素值的平均值后的预测差值D经函数f(D)转换经计算而得到，第四像素的V色度值是由第三像素的B次像素值减去第三像素的G次像素值与第四像素的R次像素值的平均值的预测差值D经函数f(D)转换后经计算而得到。
在一个实施例中，第三像素的U色度值等于第一像素的G次像素值减去第一像素的R次像素值与第一像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128，第三像素的V色度值等于第四像素的G次像素值减去第四像素的R次像素值与第四像素的B次像素值的平均值后的预测差值D经函数f(D)转换加128，第四像素的U色度值等于第二像素的R次像素值减去第一像素的B次像素值与第二像素的G次像素值的平均值后的预测差值D经函数f(D)转换加128，第四像素的V色度值等于第三像素的B次像素值减去第三像素的G次像素值与第四像素的R次像素值的平均值后的预测差值D经函数f(D)转换加128。换言之，
U3＝f(G1–0.5×(R1+B1))+128； (30)
V3＝f(G4–0.5×(R4+B4))+128； (31)
U4＝f(R2–0.5×(B1+G2))+128； (32)
V4＝f(B3–0.5×(G3+R4))+128； (33)
其中，方程式(30)、(31)、(32)及(33)的预测差值分别以D＝G1–0.5×(R1+B1)，D＝G4–0.5(R4+B4)，D＝R2–0.5×(B1+G2)、及D＝B3–0.5×(G3+R4)表示。若采用线性转换，则该函数f(D)为公式(9)；若采用非线性转换，则该函数f(D)为公式(10)。
因此，在YUV444格式的转换过程中，除了第一阶段与第二阶段的转换程序之外，还包含上述方程式(U3、U4、V3、V4)的第三阶段转换程序，其中包含了四个线性Y值(Y1～Y4)转换编码(线性映像/linear mapping)及八个UV值(U1～U4、V1～V4)预测线性差值转换编码(差值预测/DPCM)。
此外，在上述三阶段编码程序中，若只需要YUV420格式时，只要执行完第一阶段编码程序即可，若需要YUV422格式时，则需执行完第一阶段与第二阶段编码程序即可，若需要YUV424格式时，则要执行完三个阶段的编码程序。
另外，请参照图5A及图5B所示，其中，图5A为本发明优选实施例的一种将影像数据由YUV格式转换为RGB格式的转换方法的流程示意图，而图5B为本发明优选实施例的一种将影像数据由YUV格式转换为RGB格式的转换电路1a的功能方块示意图。在此，图5A的转换方法可称为图1A由RGB格式转换为YUV格式的反转换方法或还原方法。
同样地，影像数据例如但不限于为景深帧，并具有YUV格式，经本技术的转换方法与转换电路1a转换后可得到RGB格式的影像数据。其中，YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素。在本实施例中，具YUV格式的影像数据包含四个相邻像素的复数群组，亦即每一个群组具有四个相邻的像素。因此，以下是将影像数据中所有群组的四像素都由YUV格式转换成RGB格式。其中，每一群组的四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。另外，每一个像素的Y亮度值、U色度值、V色度值分别为垂直排列。换言之，每一个像素的Y亮度值、U色度值、V色度值是位于同一行中。
如图5A所示，将影像数据由YUV格式转换为RGB格式的转换方法包括步骤Q01至步骤Q02。步骤Q01为：分别取得该四像素的四个Y亮度值、一个U色度值及一个V色度值，而步骤Q02为：依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；其中，在RGB格式的该四像素中，该第一像素的R次像素值是由该第一像素的Y亮度值经计算而得到，该第二像素的G次像素值是由该第二像素的Y亮度值经计算而得到，该第三像素的G次像素值是由该第三像素的Y亮度值经计算而得到，该第四像素的B次像素值是由该第四像素的Y亮度值经计算而得到，该第一像素的B次像素值是由该第一像素的U色度值及该第一像素的R次像素值与该第三像素的G次像素值的平均值经计算而得到，该第四像素的R次像素值是由该第一像素的V色度值及该第二像素的G次像素值与该第四像素的B次像素值的平均值经计算而得到。
另外，如图5B所示，转换电路1a包括像素取得单元11a及像素转换单元12a，像素取得单元11a与像素转换单元12a电性连接。其中，像素取得单元11a可由影像数据的每一群组中分别取得该四像素的四个Y亮度值、一个U色度值及一个V色度值，而像素转换单元12a可依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值。
像素取得单元11a可依据转换需求分别取得每一群组转换时对应所需的Y亮度值、U色度值与V色度值，且像素转换单元12a将取得的Y亮度值、U色度值与V色度值转换而得到RGB格式。在一些实施例中，像素转换单元12a可将一个群组的四像素转换得到RGB格式后就储存至同一群组的第一像素、第二像素、第三像素及第四像素的对应位置中；或者，在另一些实施例中，像素转换单元12a也可将所有的群组的四像素全部转换而得到RGB格式后，再全部储存至对应群组的第一像素、第二像素、第三像素及第四像素的对应位置中，并不限定。此外，存储单元(图未示)可分别与像素取得单元11a及像素转换单元12a电性连接，并可储存转换前与转换后的影像数据。将以以下的实施例来说明上述的转换方法。
请参照图6A所示，其为一个实施例的影像数据由YUV422格式转换为RGB格式的示意图。
在YUV422格式的本实施例中，各群组的各像素的Y亮度值、U色度值及V色度值分别为垂直排列(位于同一行中)，而转换后的RGB格式的影像数据的各像素的R、G、B次像素也分别为垂直排列。在图6A中，RGB或YUV格式的第一像素为左上角垂直排列的三个次像素(以1表示)，第二像素为左上角垂直排列的三个次像素(以2表示)，第三像素为左下角垂直排列的三个次像素(以3表示)，第四像素为左下角垂直排列的三个次像素(以4表示)，然而并不局限于此。不过，在一些实施例中，第一像素～第四像素的位置也可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
由于本实施例是由YUV422格式转换为RGB格式，因此在图6A的YUV422格式中，各群组的四像素只有Y1～Y4、U1、V1、U2、V2等次像素位置有对应的次像素值，U3～U4、V3～V4的位置并不存在次像素值(缺，以整个圆圈显示有斜线面表示)。
在本实施例中，将影像数据由YUV422格式转换为RGB格式的转换方法是通过像素取得单元11a分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值，且像素转换单元12a依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值。
在一个实施例的YUV422格式的四像素中，像素取得单元11a是分别取得第一像素至第四像素的Y亮度值(Y1～Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)，且像素转换单元12a依据取得的第一像素至第四像素的Y亮度值(Y1～Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)得到第一像素与第四像素的R次像素值(R1、R4)、第二像素与第三像素的G次像素值(G2、G3)及第一像素与第四像素的B次像素值(B1、B4)。其中，在RGB格式的该四像素中，第一像素的R次像素值是由该第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得到，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第三像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第二像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
在一个实施例中，第一像素的R次像素值等于第一像素的Y亮度值减去16后乘以1.1644，第二像素的G次像素值等于第二像素的Y亮度值减去16后乘以1.1644，第三像素的G次像素值等于第三像素的Y亮度值减去16后乘以1.1644，第四像素的B次像素值等于第四像素的Y亮度值减去16后乘以1.1644，第一像素的B次像素值等于第一像素的U色度值减去128后乘以2.2768，再加上第一像素的R次像素值与第三像素的G次像素值的平均值，第四像素的R次像素值等于第一像素的V色度值减去128后乘以2.2768，再加上第二像素的G次像素值与第四像素的B次像素值的平均值。换言之，
R1＝1.1644×(Y1–16)； (34)
G2＝1.1644×(Y2–16)； (35)
G3＝1.1644×(Y3–16)； (36)
B4＝1.1644×(Y4–16)； (37)
B1＝2.2768×(U1–128)+0.5×(R1+G3)； (38)
R4＝2.2768×(V1–128)+0.5×(G2+B4)； (39)
在此称为第一阶段反转换，其包含四个线性反转换编码(R1、G2、G3、B4)，即线性映像(linear mapping)，以及两个预测线性差值反转换编码(B1、R4)，即差值预测(DPCM)。因此，由YUV420格式反转换成RGB格式时，需完成第一阶段反转换程序。
上述的方程式(38)～(39)的预测线性差值线性反转换中，反转换可依据原预测差值线性或非线性转换编码且采用对应于线性或非线性的反转换编码，其中，反转换可用一般性反转换编码公式如下所示：
B1＝g(U1)+0.5×(R1+G3)； (40)
R4＝g(V1)+0.5×(G2+B4)； (41)
其中，g(C)为色度值C的一般性反转换编码函数。若原包装程序采用预测差值为公式(9)的线性转换，则色度值C的解包装必须采用以下的线性反转换编码函数：
g(C)＝2.2769×(C-128)， (42)
此时方程式(40)～(41)即为方程式(38)～(39)。若原包装程序采用预测差值为公式(10)的非线性转换，则其解包装必须采用非线性反转换编码，其色度值C的反转换编码公式则为分段线性(piece-wise linear)反函数：
Figure BDA0001289607900000241
另外，在本实施例中，像素取得单元11a还分别取得各群组的四像素中的另一个U色度值及另一个V色度值，且像素转换单元12a还依据取得的该另一个U色度值、该另一个V色度值及得到的R次像素值、G次像素值与B次像素值得到另一个R次像素值及另一个B次像素值。在此，像素取得单元11a还取得第二像素的U色度值(U2)及第二像素的V色度值(V2)，且像素转换单元12a还依据取得的第二像素的U色度值(U2)、第二像素的V色度值(V2)及之前得到的第一像素的R次像素值(R1)、第二像素与第三像素的G次像素值(G2、G3)与第四像素的B次像素值(B4)，得到第二像素的R次像素值(R2)及第三像素的B次像素值(B3)。
其中，第二像素的R次像素值是由第二像素的U色度值及第一像素的R次像素值与第二像素的G次像素值的平均值经计算而得到，第三像素的B次像素值是由第二像素的V色度值及第三像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。具体而言，第二像素的R次像素值等于第二像素的U色度值取反函数g(U2)，再加上第一像素的R次像素值与第二像素的G次像素值的平均值，第三像素的B次像素值等于第二像素的V色度值取反函数g(V2)，再加上第三像素的G次像素值与第四像素的B次像素值的平均值。换言之，
R2＝g(U2)+0.5×(R1+G2)； (44)
B3＝g(V2)+0.5×(G3+B4)； (45)
若原包装程序的预测差值D采用公式(9)的线性转换f(D)，则解包装必须将色度值C等于U2或V2且以公式(42)的线性反函数g(C)计算线性反转换。若原包装程序的预测差值D采用公式(10)的非线性转换f(D)，则解包装必须将色度值C以公式(43)的非线性反函数g(C)以计算非线性反转换。
在此称为第二阶段反转换，其包含两个预测线性差值反转换编码(R2、B3)。因此，由YUV422格式反转换成RGB格式时，需完成第一阶段与第二阶段反转换程序。
不过，由于YUV422格式中没有U3～U4、V3～V4，因此，通过上述的方程式转换成RGB格式后，如图6A所示，各群组四像素的RGB格式中将缺少G1、B2、R3、G4等次像素。因此，为了补齐各群组的四像素中的G1、B2、R3、G4次像素值，在一个实施例中，像素转换单元12a还使用了一种平均内插解码方法求出四个未知值(G1、B2、R3、G4)(在此称为第一种)。其中，第一像素的G次像素值等于与第一像素的G次像素值相邻的所有次像素值的平均值，第二像素的B次像素值等于与第二像素的B次像素值相邻的所有次像素值的平均值，第三像素的R次像素值等于与第三像素的R次像素值相邻的所有次像素值的平均值，第四像素的G次像素值等于与第四像素的G次像素值相邻的所有次像素值的平均值。
具体而言，若该未知的次像素为影像数据边缘的次像素时，则该未知的次像素为相邻三个次像素位置的次像素值的平均；若该未知的次像素为影像数据边的内部次像素(非位于边缘位置的群组)时，则该未知的次像素为相邻四个次像素位置的次像素值的平均。例如图6A所示，
G1＝0.3333(R1+G2+B1) (46)；
B2＝0.250(B1+R4+B’1+G2) (47)；
R3＝0.3333(B1+R4+G3) (48)；
G4＝0.250(R4+G3+B4+G’3) (49)；
G’1＝0.250(R’1+G2+B’1+G’2) (50)；以此类推。
经由上述的平均内插解码方式可补齐RGB格式中，每一群组四像素中所有缺少的次像素值(G1、B2、R3、G4)，使得RGB格式的影像数据可完整。
另外，在另一个实施例中，像素转换单元12a还可使用另一种平均内插解码方法求出四个未知值(G1、B2、R3、G4)(在此称为第二种)。其中，3D影像生成系统可通过彩色帧(2D影像数据)产生与该彩色帧对应的景深帧，因此，景深帧与彩色帧为对应关系，亦即景深帧中的某一位置的次像素可对应至彩色帧对应位置的次像素。如图6B所示，景深帧中的次像素DX可对应至彩色帧的次像素IX，景深帧中的次像素DT可对应至彩色帧的次像素IT、…。
因此，在另一实施例中，第一像素的G次像素值是依据景深帧中与第一像素的G次像素值相邻的所有次像素值，以及彩色帧中与第一像素的G次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第二像素的B次像素值是依据景深帧中与第二像素的B次像素值相邻的所有次像素值，以及彩色帧中与第二像素的B次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第三像素的R次像素值是依据景深帧中与第三像素的R次像素值相邻的所有次像素值，以及彩色帧中与第三像素的R次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第四像素的G次像素值是依据景深帧中与第四像素的G次像素值相邻的所有次像素值，以及彩色帧中第四像素的G次像素值对应位置的次像素的相邻的所有次像素值经计算而得到。
请再参照图6A所示，以G1为例(G1为边缘的次像素)，其计算过程如下所示：G1相邻次像素R1、B1、G2的中位数为D，即D＝median(R1，B1，G2)；而Cost_color定义为[|IR1-IG1|，|IB1-IG1|，|IG2-IG1|]，其中，I为彩色帧中对应于景深帧位置的次像素值，假设Cost_color得到的值依序为1a、1b、1c；另外Cost_depth定义为[|R1-D|，|B1-D|，|G2-D|]，假设Cost_depth得到的值依序为2a、2b、2c，再将Cost_color的值对应加上Cost_depth的值，可得到三个值，即(1a+1b)、(2a+2b)、(3a+3b)，再取这三个值的中位数而得到D’；其中，若(1a+1b)≦D’，则保留次像素值R1，否则舍去R1；若(2a+2b)≦D’，则保留次像素值B1，否则舍去B1；若(3a+3b)≦D’，则保留次像素值G2，否则舍去G2；再取保留的次像素值的平均值作为G1的次像素值。
再以B2为例(B2为内部的次像素)，其计算过程如下所示：B2相邻次像素G2、R4、B1、B1’的中位数为D，即D＝median(G2，R4，B1，B1’)；Cost_color定义为[|IG2-IB2|，|IR4-IB2|，|IB1-IB2|，|IB1’-IB2|]，假设Cost_color得到的值依序为1a、1b、1c、1d；而Cost_depth定义为[|G2-D|，|R4-D|，|B1-D|，|B1’-D|]，假设Cost_depth得到的值依序为2a、2b、2c、2d，再将Cost_color的值对应加上Cost_depth的值，可得到四个值：(1a+1b)、(2a+2b)、(3a+3b)、(4a+4b)，再取这四个值的中位数而得到D’；同样地，若(1a+1b)、(2a+2b)、(3a+3b)或(4a+4b)≦D’时，则保留该次像素值，否则就舍去，再取保留次像素值的平均值作为B2的次像素值。此外，未知的次像素R3、G4的值可以此类推而得到。由此可得到四个未知值(G1、B2、R3、G4)。
另外，请参照图6C所示，其为一个实施例的影像数据由YUV420格式转换为RGB格式的示意图。
在YUV420格式的本实施例中，各群组的各像素的Y亮度值、U色度值及V色度值分别为垂直排列(位于同一行中)，而转换后的RGB格式的影像数据的各像素的R、G、B次像素也分别为垂直排列。另外，在一些实施例中，第一像素～第四像素的位置也可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
由于本实施例是由YUV420格式转换为RGB格式，因此在图6C的YUV420格式中，只有Y1～Y4亮度及U1、V1色度位置有对应的次像素值，U2～U4、V2～V4的位置并不存在有色度值(缺)。因此，除了各群组四像素中将缺少上述的G1、B2、R3、G4等次像素外，更缺少R2、B3等次像素。因此，除了上述利用二种平均内插解码方式求出四个未知值(G1、B2、R3、G4)等次像素(例如上述方程式(46)～(50))外，还可利用与上述方法相同的二种平均内插解码方式求出另两个未知值：R2、B3。
在一个实施例的第一种平均内插解码方法中，第二像素的R次像素值等于与第二像素的R次像素值相邻的所有次像素值的平均值，第三像素的B次像素值等于与第三像素的B次像素值相邻的所有次像素值的平均值。
同样地，若该未知的次像素为影像数据边缘的次像素时，则该未知的次像素为相邻的次像素值的三点平均；若该未知的次像素为影像数据边的内部次像素(非位于外侧边缘)时，则该未知的次像素为的相邻次像素值的四点平均。例如图6C所示，
R2＝0.3333(R1+G2+R’1)；
B3＝0.3333(G3+B4+R”1)；
B’3＝0.250(G’3+B4+R”’1+B’4)；以此类推。
或者，在另一实施例的第二种平均内插解码方法中，第二像素的R次像素值是依据景深帧中与第二像素的R次像素值相邻的所有次像素值，以及彩色帧中与第二像素的R次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第三像素的B次像素值是依据景深帧中与第三像素的B次像素值相邻的所有次像素值，以及彩色帧中与第三像素的B次像素值对应位置的次像素的相邻的所有次像素值经计算而得到。其计算方法可参照上述，在此不再赘述。
因此，为了补齐各群组的四像素中的R、G、B次像素值，本案的像素转换单元12a可使用二种平均内插解码方式求出六个未知值(G1、B2、R3、G4、R2、B3)。
另外，在另一实施例中，若要将YUV444格式的影像数据转换成RGB格式时，由于YUV444格式的影像数据的每一群组的四像素的Y亮度值、U色度值、V色度值都有，因此，除了上述YUV422格式中转换得到的R1、G2、G3、B4、B1、R4、R2与B3等次像素之外(完成上述的第一阶段与第二阶段反转换程序)，像素取得单元11a还分别取得四像素其余的U色度值(U3、U4)及其余的V色度值(V3、V4)，且像素转换单元12a还依据取得的这些U色度值、这些V色度值及得到的R次像素值、G次像素值与B次像素值，得到其余的R次像素值(R3)、其余的G次像素值(G1、G4)及其余的B次像素值(B2)；其中，第一像素的G次像素值是由第三像素的U色度值及第一像素的R次像素值与第一像素的B次像素值的平均值经计算而得到，第四像素的G次像素值是由第三像素的V色度值及第四像素的R次像素值与第四像素的B次像素值的平均值经计算而得到，第三像素的R次像素值是由第四像素的U色度值及第一像素的B次像素值与第三像素的G次像素值的平均值经计算而得到，第二像素的B次像素值是由第四像素的V色度值及第二像素的G次像素值与第四像素的R次像素值的平均值经计算而得到。
在一个实施例中，第一像素的G次像素值等于第三像素的U色度值取反函数g(U3)，再加上第一像素的R次像素值与第一像素的B次像素值的平均值，第四像素的G次像素值等于第三像素的V色度值取反函数g(V3)，再加上第四像素的R次像素值与第四像素的B次像素值的平均值，第三像素的R次像素值等于第四像素的U色度值取反函数g(U4)，再加上第一像素的B次像素值与第三像素的G次像素值的平均值，第二像素的B次像素值等于第四像素的V色度值取反函数g(V4)，再加上第二像素的G次像素值与第四像素的R次像素值的平均值。具体而言，
G1＝g(U3)+0.5×(R1+B1)；
G4＝g(V3)+0.5×(R4+B4)；
R3＝g(U4)+0.5×(B1+G3)；
B2＝g(V4)+0.5×(G2+R4)；
若原包装程序的预测差值D采用公式(9)的线性转换f(D)，则解包装必须将色度值C等于U3、V3、U4或V4以公式(42)的线性反函数g(C)计算线性反转换。若原包装程序的预测差值D采用公式(10)的非线性转换f(D)，则解包装必须将色度值C以公式(43)的非线性反函数g(C)以计算非线性反转换。
在此称为第三阶段反转换，其包含四个预测线性差值反转换编码(G1、G4、R3、B2)。因此，由YUV444格式反转换成RGB格式时，需完成上述的第一阶段、第二阶段与第三阶段反转换程序。
另外，请再参照图5B及图7所示，其中，图7为本发明优选实施例的一种将影像数据由YUV格式转换为RGB格式的转换方法的另一流程示意图。
影像数据例如但不限于为景深帧的影像数据，并具有YUV格式，经转换电路1a转换后可得到RGB格式的影像数据。在本实施例中，具YUV格式的影像数据包含四个相邻像素的复数群组，亦即每一个群组具有四个相邻的像素。因此，以下是将影像数据中所有群组的四像素都由RGB格式转换成YUV格式。其中，每一群组的四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。另外，每一个像素的Y亮度值、U色度值、V色度值分别为水平排列。换言之，每一个像素的Y亮度值、U色度值、V色度值是位于同一列中(水平方向)。
如图7所示，将影像数据由YUV格式转换为RGB格式的转换方法包括步骤R01至步骤R02。步骤R01为：分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值，而步骤R02为：依据取得的这些Y亮度值、U色度值与V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第二像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
另外，像素取得单元11a可由影像数据的每一群组中分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值，而像素转换单元12a依据取得的这些Y亮度值、该U色度值与该V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值。在一个实施例中，转换电路1a可包含例如可以加/减法器及乘/除法器。
像素取得单元11a可依据转换需求分别取得每一群组转换时对应所需的Y亮度值、U色度值与V色度值，且像素转换单元12a将取得的Y亮度值、U色度值与V色度值转换而得到RGB格式。以下，将以实施例来说明上述的转换方法。
请参照图8A所示，其为一个实施例的影像数据由YUV422格式转换为RGB格式的示意图。在此，在YUV422的格式中，各群组的各像素的Y亮度值及U色度值、V色度值分别为水平排列(位于同一列中)，而转转换后的RGB格式的影像数据的各像素的R、G、B次像素也分别为水平排列。不过，在一些实施例中，第一像素～第四像素的位置也可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
由于本实施例是由YUV422格式转换为RGB格式，因此在图8A的YUV422格式中，只有Y1～Y4亮度值及U1、V1、U2、V2等色度值的位置有对应的次像素值，U3～U4、V3～V4的位置并不存在有色度值(缺)。
在本实施例中，将影像数据由YUV格式转换为RGB格式的转换方法是通过像素取得单元11a分别取得四像素的四个Y亮度值、一个U色度值及一个V色度值，且像素转换单元12a依据取得的这些Y亮色度值、U色度值与V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值。在一个实施例的YUV422格式的四像素中，像素取得单元11a是分别取得第一像素至第四像素的Y亮度值(Y1～Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)，且像素转换单元12a依据取得的第一像素至第四像素的Y亮度值(Y1～Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)得到第一像素与第四像素的R次像素值(R1、R4)、第二像素与第三像素的G次像素值(G2、G3)及第一像素与第四像素的B次像素值(B1、B4)。其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值经计算而得到，第二像素的G次像素值是由第二像素的Y亮度值经计算而得到，第三像素的G次像素值是由第三像素的Y亮度值经计算而得到，第四像素的B次像素值是由第四像素的Y亮度值经计算而得到，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值与第二像素的G次像素值的平均值经计算而得到，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
在一个实施例中，第一像素的R次像素值等于第一像素的Y亮度值减去16后乘以1.1644，第二像素的G次像素值等于第二像素的Y亮度值减去16后乘以1.1644，第三像素的G次像素值等于第三像素的Y亮度值减去16后乘以1.1644，第四像素的B次像素值等于第四像素的Y亮度减去16后乘以1.1644，第一像素的B次像素值等于第一像素的U色度值取反函数g(U1)，再加上第一像素的R次像素值与第二像素的G次像素值的平均值，第四像素的R次像素值等于第一像素的V色度值取反函数g(V1)，再加上第三像素的G次像素值与第四像素的B次像素值的平均值。换言之，
R1＝1.1644×(Y1–16)；
G2＝1.1644×(Y2–16)；
G3＝1.1644×(Y3–16)；
B4＝1.1644×(Y4–16)；
B1＝g(U1)+0.5×(R1+G2)；
R4＝g(V1)+0.5×(G3+B4)；
若原包装程序的预测差值D采用公式(9)的线性转换f(D)，则解包装必须将色度值C等于U2或V2以公式(42)的线性反函数g(C)计算线性反转换。若原包装程序的预测差值D采用公式(10)的非线性转换f(D)，则解包装必须将色度值C以公式(43)的非线性反函数g(C)以计算非线性反转换。
在此也称为第一阶段反转换，其包含四个线性反转换编码(R1、G2、G3、B4)及两个预测线性差值反转换编码(B1、R4)。因此，由YUV420格式反转换成RGB格式时，需完成第一阶段反转换程序。
另外，在本实施例中，像素取得单元11a还分别取得各群组的四像素中的另一个U色度值及另一个V色度值，且像素转换单元12a还依据依据取得的该另一个U色度值、该另一个V色度值及上述得到的R次像素值、G次像素值与B次像素值，得到另一个R次像素值及另一个B次像素值。在此，像素取得单元11a还取得第二像素的U色度值(U2)及第二像素的V色度值(V2)，且像素转换单元12a还依据取得的第二像素的U色度值(U2)、第二像素的V色度值(V2)及之前得到的第一像素的R次像素值(R1)、第二像素与第三像素的G次像素值(G2、G3)与第四像素的B次像素值(B4)，得到第三像素的R次像素值(R3)及第二像素的B次像素值(B2)。其中，第三像素的R次像素值是由第二像素的U色度值及第一像素的R次像素值与第三像素的G次像素值的平均值经计算而得到，第二像素的B次像素值是由第二像素的V色度值及第二像素的G次像素值与第四像素的B次像素值的平均值经计算而得到。
具体而言，第三像素的R次像素值等于第二像素的U色度值取反函数g(U2)，再加上第一像素的R次像素值与第三像素的G次像素值的平均值，第二像素的B次像素值等于第二像素的V色度值取反函数g(V2)，再加上第二像素的G次像素值与第四像素的B次像素值的平均值。换言之，
R3＝g(U2)+0.5×(R1+G3)；
B2＝g(V2)+0.5×(G2+B4)；
若原包装程序的预测差值D采用公式(9)的线性转换f(D)，则解包装必须将色度值C等于U2或V2以公式(42)的线性反函数g(C)计算线性反转换。若原包装程序的预测差值D采用公式(10)的非线性转换f(D)，则解包装必须将色度值C以公式(43)的非线性反函数g(C)以计算非线性反转换。
在此称为第二阶段反转换程序，其包含两个预测线性差值反转换编码(R3、B2)。因此，由YUV422格式反转换成RGB格式时，需完成第一阶段与第二阶段反转换程序。
不过，由于YUV422格式的影像数据缺少U3～U4、V3～V4，因此，通过上述的方程式转换成RGB格式后，各群组四像素中将缺少G1、B3、R2、G4等次像素。因此，为了补齐各群组的四像素中的R、G、B次像素值，在一个实施例中，像素转换单元12a还使用第一种平均内插解码方式求出四个未知值(G1、B3、R2、G4)。其中，第一像素的G次像素值等于与第一像素的G次像素值相邻的所有次像素值的平均值，第三像素的B次像素值等于与第三像素的B次像素值相邻的所有次像素值的平均值，第二像素的R次像素值等于与第二像素的R次像素值相邻的所有次像素值的平均值，第四像素的G次像素值等于与第四像素的G次像素值相邻的所有次像素值的平均值。
具体而言，若该未知的次像素为影像数据边缘的次像素时，则该未知的次像素为相邻的次像素值的三点平均；若该未知的次像素为影像数据边的内部次像素(非位于外侧边缘)时，则该未知的次像素为相邻四次像素值的四点平均。例如图8A所示，
G1＝0.3333(R1+G3+B1)；
B3＝0.250(B1+G3+B’1+R4)；
R2＝0.3333(B1+G2+R4)；
G4＝0.250(R4+G’2+B4+G2)；
G’1＝0.250(R’1+G’3+B’1+G3)；以此类推。
经由上述的平均内插解码方式可补齐RGB格式中，每一群组四像素所缺少的次像素(G1、B3、R2、G4)，以得完整的RGB格式的影像数据。
另外，在另一实施例中，像素转换单元12a还使用第二种平均内插解码方法求出四个未知值(G1、B3、R2、G4)。其中，3D影像生成系统可通过彩色帧(2D影像数据)产生与该彩色帧对应的景深帧，因此，景深帧与彩色帧为对应关系，亦即景深帧中的某一位置的次像素可对应至彩色帧对应位置的次像素。
因此，在像素转换单元12a中，第一像素的G次像素值是依据景深帧中与第一像素的G次像素值相邻的所有次像素值，以及彩色帧中与第一像素的G次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第三像素的B次像素值是依据景深帧中与第三像素的B次像素值相邻的所有次像素值，以及彩色帧中与第三像素的B次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第二像素的R次像素值是依据景深帧中与第二像素的R次像素值相邻的所有次像素值，以及彩色帧中与第二像素的R次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第四像素的G次像素值是依据景深帧中与第四像素的G次像素值相邻的所有次像素值，以及彩色帧中第四像素的G次像素值对应位置的次像素的相邻的所有次像素值经计算而得到。其计算方法可参照上述，在此不再赘述。
另外，请参照图8B所示，其为一个实施例的影像数据由YUV420格式转换为RGB格式的示意图。
由于本实施例是由YUV420格式转换为RGB格式，因此在图8B的YUV420格式中，只有Y1～Y4亮度值及U1色度值、V1色度值的位置有对应的次像素值，U2～U4、V2～V4的位置并不存在次像素值(缺)。因此，除了各群组四像素中将缺少图8A的G1、B3、R2、G4等次像素外，更缺少R3、B2。因此，除了上述利用二种平均内插解码方式求出四个未知值(G1、B3、R2、G4)等次像素，还可利用与上述方法相同的二种平均内插解码方式求出另两个未知值(R3、B2)等次像素。在一个实施例的第一种平均内插解码方法中，第三像素的R次像素值等于与第三像素的R次像素值相邻的所有次像素值的平均值，第二像素的B次像素值等于与第二像素的B次像素值相邻的所有次像素值的平均值。例如图8B所示，
R3＝0.3333(R1+G3+R’1)；
B2＝0.3333(G2+B4+R”1)；
B’2＝0.250(G’2+B”4+R”’1+B4)；以此类推。
或者，在另一实施例的第二种平均内插解码方法中，第三像素的R次像素值是依据景深帧中与第三像素的R次像素值相邻的所有次像素值，以及彩色帧中与第三像素的R次像素值对应位置的次像素的相邻的所有次像素值经计算而得到，第二像素的B次像素值是依据景深帧中与第二像素的B次像素值相邻的所有次像素值，以及彩色帧中与第二像素的B次像素值对应位置的次像素的相邻的所有次像素值经计算而得到。其计算方法也可参照上述，在此不再赘述。
因此，为了补齐各群组的四像素中的R、G、B次像素值，本案的像素转换单元12a可使用二种平均内插解码方式求出六个未知值(G1、B3、R2、G4、R3、B2)。
另外，在另一实施例中，若要将YUV444格式的影像数据转换成RGB格式时，由于YUV444格式的影像数据的每一群组的四像素的Y亮度值及U色度值、V色度值都有，因此，除了上述YUG422格式中转换得到的次像素之外(R1、G2、G3、B4、B1、R4、R3与B2，即完成上述的第一阶段与第二阶段反转换程序)，像素取得单元11a还分别取得四像素其余的U色度值(U3、U4)及其余的V色度值(V3、V4)，且像素转换单元12a还依据取得的这些U色度值、这些V色度值及得到的R次像素值、G次像素值与B次像素值得到其余的R次像素值(R2)、其余的G次像素值(G1、G4)及其余的B次像素值(B3)；其中，第一像素的G次像素值是由第三像素的U色度值及第一像素的R次像素值与第一像素的B次像素值的平均值经计算而得到，第四像素的G次像素值是由第三像素的V色度值及第四像素的R次像素值与第四像素的B次像素值的平均值经计算而得到，第二像素的R次像素值是由第四像素的U色度值及第一像素的B次像素值与第二像素的G次像素值的平均值经计算而得到，第三像素的B次像素值是由第四像素的V色度值及第三像素的G次像素值与第四像素的R次像素值的平均值经计算而得到。
在一个实施例中，第一像素的G次像素值等于第三像素的U色度值取反函数g(U3)，再加上第一像素的R次像素值与第一像素的B次像素值的平均值，第四像素的G次像素值等于第三像素的V色度值取反函数g(V3)，再加上第四像素的R次像素值与第四像素的B次像素值的平均值，第二像素的R次像素值等于第四像素的U色度值取反函数g(U4)，再加上第一像素的B次像素值与第二像素的G次像素值的平均值，第三像素的B次像素值等于第四像素的V色度值取反函数g(V4)，再加上第三像素的G次像素值与第四像素的R次像素值的平均值。具体而言，
G1＝g(U3)+0.5×(R1+B1)；
G4＝g(V3)+0.5×(R4+B4)；
R2＝g(U4)+0.5×(B1+G2)；
B3＝g(V4)+0.5×(G3+R4)；
若原包装程序的预测差值D采用公式(9)的线性转换f(D)，则解包装必须将色度值C等于U3、V3、U4或V4以公式(42)的线性反函数g(C)计算线性反转换。若原包装程序的预测差值D采用公式(10)的非线性转换f(D)，则解包装必须将色度值C以公式(43)的非线性反函数g(C)以计算非线性反转换。
在此称为第三阶段反转换，其包含四个预测线性差值反转换编码(G1、G4、R2、B3)。因此，由YUV444格式反转换成RGB格式时，需完成上述的第一阶段、第二阶段与第三阶段反转换程序。
此外，应用习知技术与本技术分别将景深帧的影像数据由RGB格式转换YUV420格式，再由YUV420格式转换为RGB格式后，在一个实施例，习知技术所得到景深帧的峰值信号噪声比(Peak Signal to Noise Ratio,PSNR)与本技术以第一种平均内插解码或第二种平均内插解码后得到的PSNR较差，明显地，本技术的PSNR比较高，影像质量比较好。
另外，请参照图9A至图10C所示，其中，图9A与图10A分别为习知技术由RGB格式转换YUV420格式，再由YUV420格式转换为RGB格式后的景深帧示意图，而图9B、图9C与图10B、图10C分别为本技术由RGB格式转换YUV420格式，再由YUV420格式转换为RGB格式后的景深帧示意图。在此，图9B与图10B是利用上述第一种平均内插解码方式补齐每一群组的六个未知次像素值，而图9C与图10C是利用上述第二种平均内插解码方式补齐每一群组的六个未知次像素值。
如图9A与图10A所示，在大景深落差的地方(即景深落差剧变区位置)，例如人的右臂边缘处，图9A与图10A有明显的白点及锯齿状，而图9B与图10B、图9C与图10C的相同位置都没有白点而且线条也比较平滑，相对的失真较少。因此，本技术的转换与反转换方法与电路是以渐次预测译码方式及平均内插解码填入方式求得未知的损失点，相较习知技术而言，可以获得较佳RGB格式的转换以还原较佳原始的景深帧，因此，可以改善习知在景深落差剧变区位置上的失真现象。
综上所述，本发明应用于景深包装的RGB格式与YUV格式的转换方法及其电路与习知转换技术的做法不同，并不是以RGB或YUV中的三个变量去做转换，但是同样可具有压缩效率较高、数据量较少及传输效率较高的优点，也可有效降低现有传输设备及传输带宽的负担。
另外，本发明应用于景深解包装的RGB格式与YUV格式的反转换的方法及其电路中，可以还原成较佳原始的景深帧，因此，可以改善在景深落差剧变区位置上的失真现象。
以上所述仅为举例性，而非为限制性。任何未脱离本发明的精神与范畴而对其进行的等效修改或变更均应包含于随附的权利要求范围中。

Claims (12)

1.一种将景深帧包装的RGB格式转换至YUV格式的方法，其中RGB格式包括R次像素、G次像素与B次像素，YUV格式包括Y亮度、U色度与V色度，具有RGB格式的所述景深帧至少包含四像素，所述四像素中的每一个的R次像素、G次像素、B次像素分别为垂直排列，所述四像素分别为第一像素、第二像素、第三像素及第四像素，所述第一像素分别与所述第二像素及所述第三像素相邻排列，且所述第四像素分别与所述第二像素及所述第三像素相邻排列，该方法包括以下步骤：
分别取得所述四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及
依据取得的所述R次像素值、所述G次像素值与所述B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；
其中，在YUV格式的所述四像素中，所述第一像素的Y亮度值是由RGB格式的所述第一像素的R次像素值经计算而得到，所述第二像素的Y亮度值是由所述第二像素的G次像素值经计算而得到，所述第三像素的Y亮度值是由所述第三像素的G次像素值经计算而得到，所述第四像素的Y亮度值是由所述第四像素的B次像素值经计算而得到，所述第一像素的U色度值是由所述第一像素的R次像素值与所述第三像素的G次像素值的平均值被所述第一像素的B次像素值减去后所得到的差值再经计算而得到，所述第一像素的V色度值是由所述第二像素的G次像素值与所述第四像素的B次像素值的平均值被所述第四像素的R次像素值减去后所得到的差值再经计算而得到。
2.根据权利要求1所述的方法，其中所述第一像素的Y亮度值等于0.8588乘以所述第一像素的R次像素值后加16，所述第二像素的Y亮度值等于0.8588乘以所述第二像素的G次像素值后加16，所述第三像素的Y亮度值等于0.8588乘以所述第三像素的G次像素值后加16，所述第四像素的Y亮度值等于0.8588乘以所述第四像素的B次像素值后加16，所述第一像素的U色度值等于所述第一像素的R次像素值与所述第三像素的G次像素值的平均值被所述第一像素的B次像素值减去后，将所得到的差值乘以0.4392后加128，所述第一像素的V色度值等于所述第二像素的G次像素值与所述第四像素的B次像素值的平均值被所述第四像素的R次像素值减去后，将所得到的差值乘以0.4392后加128。
3.一种电路，应用于执行如权利要求1至2中任一项所述的将景深帧包装的RGB格式转换至YUV格式的方法，该电路包括：
像素取得单元，分别取得所述四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及
像素转换单元，依据取得的所述R次像素值、所述G次像素值与所述B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；
其中，在YUV格式的所述四像素中，所述第一像素的Y亮度值是由RGB格式的所述第一像素的R次像素值经计算而得到，所述第二像素的Y亮度值是由所述第二像素的G次像素值经计算而得到，所述第三像素的Y亮度值是由所述第三像素的G次像素值经计算而得到，所述第四像素的Y亮度值是由所述第四像素的B次像素值经计算而得到，所述第一像素的U色度值是由所述第一像素的R次像素值与所述第三像素的G次像素值的平均值被所述第一像素的B次像素值减去后所得到的差值再经计算而得到，所述第一像素的V色度值是由所述第二像素的G次像素值与所述第四像素的B次像素值的平均值被所述第四像素的R次像素值减去后所得到的差值再经计算而得到。
4.一种将景深帧包装的RGB格式转换至YUV格式的方法，其中RGB格式包括R次像素、G次像素与B次像素，YUV格式包括Y亮度、U色度与V色度，具有RGB格式的所述景深帧至少包含四像素，所述四像素中的每一个的R次像素、G次像素、B次像素分别为水平排列，所述四像素分别为第一像素、第二像素、第三像素及第四像素，所述第一像素分别与所述第二像素及所述第三像素相邻排列，且所述第四像素分别与所述第二像素及所述第三像素相邻排列，该方法包括以下步骤：
分别取得所述四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及
依据取得的所述R次像素值、所述G次像素值与所述B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度；
其中，在YUV格式的所述四像素中，所述第一像素的Y亮度值是由RGB格式的所述第一像素的R次像素值经计算而得到，所述第二像素的Y亮度值是由所述第二像素的G次像素值经计算而得到，所述第三像素的Y亮度值是由所述第三像素的G次像素值经计算而得到，所述第四像素的Y亮度值是由所述第四像素的B次像素值经计算而得到，所述第一像素的U色度值是由所述第一像素的R次像素值与所述第二像素的G次像素值的平均值被所述第一像素的B次像素值减去后所得到的差值再经计算而得到，所述第一像素的V色度值是由所述第三像素的G次像素值与所述第四像素的B次像素值的平均值被所述第四像素的R次像素值减去后所得到的差值再经计算而得。
5.如权利要求4所述的方法，其中所述第一像素的Y亮度值等于0.8588乘以所述第一像素的R次像素值后加16，所述第二像素的Y亮度值等于0.8588乘以所述第二像素的G次像素值后加16，所述第三像素的Y亮度值等于0.8588乘以所述第三像素的G次像素值后加16，所述第四像素的Y亮度值等于0.8588乘以所述第四像素的B次像素值后加16，所述第一像素的U色度值等于所述第一像素的R次像素值与所述第二像素的G次像素值的平均值被所述第一像素的B次像素值减去后，将所得到的预测差值经函数转换后加128，所述第一像素的V色度值等于所述第三像素的G次像素值与所述第四像素的B次像素值的平均值被所述第四像素的R次像素值减去后，将所得到的预测差值经函数转换后再加128。
6.一种电路，应用于执行如权利要求4至5中任一项所述的将景深帧包装的RGB格式转换至YUV格式的方法，该电路包括：
像素取得单元，分别取得所述四像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及
像素转换单元，依据取得的所述R次像素值、所述G次像素值与所述B次像素值得到YUV格式的四个Y亮度值、一个U色度值及一个V色度值；
其中，在YUV格式的所述四像素中，所述第一像素的Y亮度值是由RGB格式的所述第一像素的R次像素值经计算而得到，所述第二像素的Y亮度值是由所述第二像素的G次像素值经计算而得到，所述第三像素的Y亮度值是由所述第三像素的G次像素值经计算而得到，所述第四像素的Y亮度值是由所述第四像素的B次像素值经计算而得到，所述第一像素的U色度值是由所述第一像素的R次像素值与所述第二像素的G次像素值的平均值被所述第一像素的B次像素值减去后所得到的差值再经计算而得到，所述第一像素的V色度值是由所述第三像素的G次像素值与所述第四像素的B次像素值的平均值被所述第四像素的R次像素值减去后所得到的差值再经计算而得到。
7.一种将景深帧解包装的YUV格式转换至RGB格式的方法，其中YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素，具有YUV格式的所述景深帧至少包含四像素，所述四像素中的每一个的Y亮度、U色度、V色度分别为垂直排列，所述四像素分别为第一像素、第二像素、第三像素及第四像素，所述第一像素分别与所述第二像素及所述第三像素相邻排列，且所述第四像素分别与所述第二像素及所述第三像素相邻排列，该方法包括以下步骤：
分别取得所述四像素的四个Y亮度值、一个U色度值及一个V色度值；以及
依据取得的所述Y亮度值、所述U色度值与所述V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；
其中，在RGB格式的所述四像素中，所述第一像素的R次像素值是由所述第一像素的Y亮度值经计算而得到，所述第二像素的G次像素值是由所述第二像素的Y亮度值经计算而得到，所述第三像素的G次像素值是由所述第三像素的Y亮度值经计算而得到，所述第四像素的B次像素值是由所述第四像素的Y亮度值经计算而得到，所述第一像素的B次像素值是由所述第一像素的R次像素值与所述第三像素的G次像素值的平均值以及所述第一像素的U色度值经计算而得到，所述第四像素的R次像素值是由所述第二像素的G次像素值与所述第四像素的B次像素值的平均值以及所述第一像素的V色度值经计算而得到。
8.如权利要求7所述的方法，其中所述第一像素的R次像素值等于所述第一像素的Y亮度值减去16后乘以1.1644，所述第二像素的G次像素值等于所述第二像素的Y亮度值减去16后乘以1.1644，所述第三像素的G次像素值等于所述第三像素的Y亮度值减去16后乘以1.1644，所述第四像素的B次像素值等于所述第四像素的Y亮度值减去16后乘以1.1644，所述第一像素的B次像素值等于所述第一像素的U色度值减去128后乘以2.2768，再加上所述第一像素的R次像素值与所述第三像素的G次像素值的平均值，所述第四像素的R次像素值等于所述第一像素的V色度值减去128后乘以2.2768，再加上所述第二像素的G次像素值与所述第四像素的B次像素值的平均值。
9.一种电路，应用于执行如权利要求7至8中任一项所述的将景深帧解包装的YUV格式转换至RGB格式的方法，该电路包括：
像素取得单元，分别取得所述四像素的四个Y亮度值、一个U色度值及一个V色度值；以及
像素转换单元，依据取得的所述Y亮度值、所述U色度值与所述V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；
其中，在RGB格式的所述四像素中，所述第一像素的R次像素值是由所述第一像素的Y亮度值经计算而得到，所述第二像素的G次像素值是由所述第二像素的Y亮度值经计算而得到，所述第三像素的G次像素值是由所述第三像素的Y亮度值经计算而得到，所述第四像素的B次像素值是由所述第四像素的Y亮度值经计算而得到，所述第一像素的B次像素值是由所述第一像素的R次像素值与所述第三像素的G次像素值的平均值以及所述第一像素的U色度值经计算而得到，所述第四像素的R次像素值是由所述第二像素的G次像素值与所述第四像素的B次像素值的平均值以及所述第一像素的V色度值经计算而得到。
10.一种将景深帧解包装的YUV格式转换至RGB格式的方法，其中YUV格式包括Y亮度、U色度与V色度，RGB格式包括R次像素、G次像素与B次像素，具有YUV格式的所述景深帧至少包含四像素，所述四像素中的每一个的Y亮度、U色度、V色度分别为水平排列，所述四像素分别为第一像素、第二像素、第三像素及第四像素，所述第一像素分别与所述第二像素及所述第三像素相邻排列，且所述第四像素分别与所述第二像素及所述第三像素相邻排列，该方法包括以下步骤：
分别取得所述四像素的四个Y亮度值、一个U色度值及一个V色度值；以及
依据取得的所述Y亮度值、所述U色度值与所述V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；
其中，在RGB格式的所述四像素中，所述第一像素的R次像素值是由所述第一像素的Y亮度值经计算而得到，所述第二像素的G次像素值是由所述第二像素的Y亮度值经计算而得到，所述第三像素的G次像素值是由所述第三像素的Y亮度值经计算而得到，所述第四像素的B次像素值是由所述第四像素的Y亮度值经计算而得到，所述第一像素的B次像素值是由所述第一像素的R次像素值与所述第二像素的G次像素值的平均值以及所述第一像素的U色度值经计算而得到，所述第四像素的R次像素值是由所述第三像素的G次像素值与所述第四像素的B次像素值的平均值以及所述第一像素的V色度值经计算而得到。
11.如权利要求10所述的方法，其中所述第一像素的R次像素值等于所述第一像素的Y亮度值减去16后乘以1.1644，所述第二像素的G次像素值等于所述第二像素的Y亮度值减去16后乘以1.1644，所述第三像素的G次像素值等于所述第三像素的Y亮度值减去16后乘以1.1644，所述第四像素的B次像素值等于所述第四像素的Y亮度值减去16后乘以1.1644，所述第一像素的B次像素值等于所述第一像素的U色度值取其反函数，再加上所述第一像素的R次像素值与所述第二像素的G次像素值的平均值，所述第四像素的R次像素值等于所述第一像素的V色度值取其反函数，再加上所述第三像素的G次像素值与所述第四像素的B次像素值的平均值。
12.一种电路，应用于执行如权利要求10至11中任一项所述的将景深帧解包装的YUV格式转换至RGB格式的方法，该电路包括：
像素取得单元，分别取得所述四像素的四个Y亮度值、一个U色度值及一个V色度值；以及
像素转换单元，依据取得的所述Y亮度值、所述U色度值与所述V色度值得到RGB格式的两个R次像素值、两个G次像素值及两个B次像素值；
其中，在RGB格式的所述四像素中，所述第一像素的R次像素值是由所述第一像素的Y亮度值经计算而得到，所述第二像素的G次像素值是由所述第二像素的Y亮度值经计算而得到，所述第三像素的G次像素值是由所述第三像素的Y亮度值经计算而得到，所述第四像素的B次像素值是由所述第四像素的Y亮度值经计算而得到，所述第一像素的B次像素值是由所述第一像素的R次像素值与所述第二像素的G次像素值的平均值以及所述第一像素的U色度值经计算而得到，所述第四像素的R次像素值是由所述第三像素的G次像素值与所述第四像素的B次像素值的平均值以及所述第一像素的V色度值经计算而得到。
CN201710320277.6A 2016-05-09 2017-05-09 景深包装及解包装的rgb格式与yuv格式的转换与反转换的方法及电路 Expired - Fee Related CN107360429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662333502P 2016-05-09 2016-05-09
US62/333,502 2016-05-09

Publications (2)

Publication Number Publication Date
CN107360429A CN107360429A (zh) 2017-11-17
CN107360429B true CN107360429B (zh) 2020-03-13

Family

ID=60243600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710320277.6A Expired - Fee Related CN107360429B (zh) 2016-05-09 2017-05-09 景深包装及解包装的rgb格式与yuv格式的转换与反转换的方法及电路

Country Status (3)

Country Link
US (1) US10242646B2 (zh)
CN (1) CN107360429B (zh)
TW (1) TWI629892B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656664B1 (ko) * 2016-10-06 2024-04-12 삼성디스플레이 주식회사 표시장치
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN107948652B (zh) * 2017-11-21 2021-04-13 海信视像科技股份有限公司 一种进行图像转换的方法和设备
CN108200420B (zh) * 2018-01-16 2020-05-19 奇酷互联网络科技（深圳）有限公司 图像调节方法、装置、可读存储介质及终端
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
TWI673684B (zh) * 2018-04-12 2019-10-01 國立成功大學 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路
US11017566B1 (en) * 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US20220245862A1 (en) * 2020-04-28 2022-08-04 Shenzhen Sitan Technology Co., Ltd. Image processing method and device, camera apparatus and storage medium
CN111526366B (zh) * 2020-04-28 2021-08-06 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
EP4260312A1 (en) * 2020-12-08 2023-10-18 E Ink Corporation Methods for driving electro-optic displays
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1196641A (zh) * 1997-02-27 1998-10-21 松下电器产业株式会社 图像信号转换方法和设备以及图像提供系统
CN104519289A (zh) * 2013-10-02 2015-04-15 惟成科技有限公司 包装图框的解包装方法、装置及系统
CN104919804A (zh) * 2012-10-01 2015-09-16 微软技术许可有限责任公司 帧封装和解封较高分辨率色度采样格式

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372469B2 (en) * 2006-04-12 2008-05-13 Arcadyan Technology Corporation Image transforming method
JP4192975B2 (ja) * 2006-07-26 2008-12-10 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
TW200904206A (en) * 2007-07-05 2009-01-16 Inventec Corp Improved RGB images scaling or resizing method
EP2222087A1 (en) * 2009-02-19 2010-08-25 Thomson Licensing Bit depth upscaling in RGB colour space for reducing propagation of errors due to transformation to YUV colour space
CN103489427B (zh) * 2012-06-14 2015-12-02 深圳深讯和科技有限公司 Yuv转换成rgb以及rgb转换成yuv的方法和系统
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
TWI503788B (zh) 2013-10-02 2015-10-11 Jar Ferr Yang 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
TWI602144B (zh) 2013-10-02 2017-10-11 國立成功大學 包裝彩色圖框及原始景深圖框之方法、裝置及系統
US9854201B2 (en) * 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1196641A (zh) * 1997-02-27 1998-10-21 松下电器产业株式会社 图像信号转换方法和设备以及图像提供系统
CN104919804A (zh) * 2012-10-01 2015-09-16 微软技术许可有限责任公司 帧封装和解封较高分辨率色度采样格式
CN104519289A (zh) * 2013-10-02 2015-04-15 惟成科技有限公司 包装图框的解包装方法、装置及系统

Also Published As

Publication number Publication date
US20170323617A1 (en) 2017-11-09
US10242646B2 (en) 2019-03-26
CN107360429A (zh) 2017-11-17
TWI629892B (zh) 2018-07-11
TW201740718A (zh) 2017-11-16

Similar Documents

Publication Publication Date Title
CN107360429B (zh) 景深包装及解包装的rgb格式与yuv格式的转换与反转换的方法及电路
KR102377807B1 (ko) 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US7286136B2 (en) Display and weighted dot rendering method
KR100518100B1 (ko) 화상처리장치및방법,및화상부호화장치및방법
CN107950028A (zh) 改进的色彩重新映射信息辅助增强信息消息处理
US20130156311A1 (en) Method and apparatus for processing image signal
KR20180044291A (ko) 코딩 및 디코딩 방법과 대응하는 디바이스
US20100165078A1 (en) Image compression using checkerboard mosaic for luminance and chrominance color space images
WO2014132096A1 (en) Block color conversion
CN105049672A (zh) 视频信号产生设备和方法
KR20030066418A (ko) 크로미넌스 감쇄를 통한 영상 및 비디오 처리
CN101873502B (zh) 色彩空间转换电路及方法
JP2011171800A (ja) 送信信号変換装置および送信信号変換プログラム、並びに、受信信号変換装置および受信信号変換プログラム
JP5337737B2 (ja) 送信信号変換装置および送信信号変換プログラム、並びに、受信信号変換装置および受信信号変換プログラム
CN109672839B (zh) 景深图框包装及解包装的rgb格式的调整与重建方法及电路
KR100726067B1 (ko) 이미지 포멧 변환 방법
US10869058B2 (en) Method and circuit of assigning selected depth values to RGB subpixels and recovering selected depth values from RGB subpixels for colored depth frame packing and depacking
MX2011010334A (es) Metodo para procesar un archivo digital notablemente del tipo de imagen, video y/o audio.
US20220343822A1 (en) System and method for a multi-primary wide gamut color system
Kwak et al. 53‐2: Wide‐Color‐Gamut and High‐Dynamic‐Range Color‐Image Encoding Scheme based on CIECAM02
JPS63304770A (ja) カラ−画像のデ−タ圧縮方式
JPS63304769A (ja) カラ−画像のデ−タ圧縮方式
JPS639282A (ja) 画像情報符号化装置
Poynton Merging computing with studio video: Converting between R’G’B’and 4: 2: 2
Borg A better color matching between HD and UHD content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200313