CN102595162A - 图像处理设备、图像处理方法和程序 - Google Patents
图像处理设备、图像处理方法和程序 Download PDFInfo
- Publication number
- CN102595162A CN102595162A CN2012100109823A CN201210010982A CN102595162A CN 102595162 A CN102595162 A CN 102595162A CN 2012100109823 A CN2012100109823 A CN 2012100109823A CN 201210010982 A CN201210010982 A CN 201210010982A CN 102595162 A CN102595162 A CN 102595162A
- Authority
- CN
- China
- Prior art keywords
- image
- field picture
- macro block
- border
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000007906 compression Methods 0.000 claims abstract description 21
- 230000006835 compression Effects 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 238000000926 separation method Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提供了一种图像处理设备、图像处理方法和程序，该图像处理设备包括：帧图像生成单元，用于生成其中第一图像和第二图像相互相邻安排的帧图像；以及压缩处理单元，用于以宏块为单位压缩帧图像。帧图像生成单元安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
Description
技术领域
本公开涉及图像处理设备、图像处理方法和程序。
背景技术
近来，发布了3D显示设备，其通过显示用于左眼的图像和用于右眼的图像，能够使用户感知立体图像。预期3D显示设备将来将变得传播更广泛，例如，因为为3D视觉化创作的TV视频和电影正在增加，并且还因为正在积极从事用于将2D图像转换为3D图像的技术。此外，可以举出JP 2004-38933A作为描述3D显示设备的文献。
此外，以IEEE(电气电子工程师协会)802.11为代表的无线LAN(局域网)系统，由于其诸如设备的高灵活性的优点，正替代有线网络日益变得普遍。
通过IEEE 802.11标准化的无线LAN系统由一组无线通信设备和多个站构成，该组无线通信设备是操作为主单元的接入点，多个站操作为从单元，并且多个站连接到一个接入点。
此外，根据Wi-Fi联盟下的Wi-Fi直连(Wi-Fi Direct)，提出通过确定多个无线通信设备的每个用作组所有者和客户端的哪个，来形成通信组。形成通信组的、用作组所有者的无线通信设备和用作客户端的无线通信设备可以相互直接无线通信。
发明内容
然而，当前无线通信的传输速率和一些有线方法的传输速率不足以传送未压缩图像。因此，假设这样的情况，其中为了传送上述3D图像，将3D图像压缩。
按照以上所述，期望提供一种新颖的和改进的图像处理设备、图像处理方法和程序，其能够以改进再现质量的方式压缩图像。
根据本公开实施例，提供了一种图像处理设备，包括：帧图像生成单元，用于生成其中第一图像和第二图像相互相邻安排的帧图像；以及压缩处理单元，用于以宏块为单位压缩帧图像。帧图像生成单元安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
帧图像生成单元可以通过在安排方向上对第一图像和第二图像的两侧插入哑数据，使得第一图像和第二图像之间的边界与宏块的边界一致。
帧图像生成单元可以将存储沿着安排方向的、第一图像或第二图像必需的宏块数量的两倍值，乘以安排方向上的宏块的像素数量，以及将乘法结果和安排方向上帧图像的有效像素的数量之间的差作为哑数据，分发给安排方向上帧图像的两侧。
帧图像生成单元可以在沿着安排方向的第一图像和第二图像的有效像素的数量相同的情况下，将哑数据相等地分发给安排方向上帧图像的两侧，以及在沿着安排方向的第一图像和第二图像的有效像素的数量不同的情况下，将更多哑数据分发给这样的图像的安排侧，该侧具有比另一侧更少的有效像素。
所述图像处理设备还可以包括无线通信单元，用于无线传输已经通过压缩处理单元压缩的帧图像。
安排方向上帧图像的有效像素的数量可以不同于安排方向上宏块的像素数量的偶数倍。
第一图像可以是用于左眼的图像，并且第二图像可以是用于右眼的图像。
根据本公开另一实施例，提供了一种图像处理方法，包括：生成其中第一图像和第二图像相互相邻安排的帧图像；以及以宏块为单位压缩帧图像。在生成帧图像的步骤中，安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
根据本公开另一实施例，提供了一种使得计算机用作图像处理设备的程序，该图像处理设备包括：帧图像生成单元，用于生成其中第一图像和第二图像相互相邻安排的帧图像；以及压缩处理单元，用于以宏块为单位压缩帧图像。帧图像生成单元安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
根据上述本公开实施例，可以以改进再现质量的方式压缩图像。
附图说明
图1是示出根据本公开实施例的图像再现系统的配置的说明图；
图2是示出PC的软件构思的说明图；
图3是示出2D图像的压缩方法的说明图；
图4是示出通过另一技术的3D帧图像的压缩方法的说明图；
图5是示出根据本公开实施例的PC的硬件配置的说明图；
图6是示出根据本公开实施例的显示设备和PC的配置的功能框图；
图7是示出分组生成单元的配置的说明图；
图8是示出分组结构的说明图；
图9是示出由图像生成单元生成的帧图像的具体示例的说明图；
图10是示出由图像生成单元生成的帧图像的具体示例的说明图；
图11是示出根据本公开第一实施例的显示设备和PC的操作的流程图；
图12是示出由图像生成单元生成的帧图像的具体示例的说明图；以及
图13是示出由图像生成单元生成的帧图像的具体示例的说明图。
具体实施方式
以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有实质相同功能和配置的结构元件用相同参考标号表示，并且省略这些结构元件的重复说明。
在本说明书和附图中，有时通过对相同的参考标号添加不同的字母，相互区分对具有实质相同功能的多个结构元件。然而，如果不是特别需要区分具有实质相同功能配置的多个结构元件的每个，只分配相同的参考标号。
此外，将按照以下顺序描述“具体实施方式”。
1.图像再现系统的概况
2.硬件配置
3.第一实施例
3-1.PC和显示设备的配置
3-2.PC和显示设备的操作
4.第二实施例
5.结论
<1.图像再现系统的概况>
图1是示出根据本公开实施例的图像再现系统1的配置的说明图。如图1所示，根据本公开实施例的图像再现系统1包括显示设备10、PC 20和快门眼镜30。
PC(个人计算机)20具有与附近的无线通信设备(如显示设备10)连接并无线通信的功能。例如，PC 20可以根据Wi-Fi联盟标准开发下的Wi-Fi直连，与显示设备10形成通信组，并且与通信组中的显示设备10无线通信而不使用接入点。
此外，与显示设备10形成通信组，PC 20可以传输内容数据、控制数据等到显示设备10。在本说明书中，主要描述了这样的实施例，其中传输包括由R图像和L图像组成的多个帧图像的图像数据，作为内容数据的示例。图像数据可以是如电影、电视节目或视频节目、PC 20中的用户的工作屏幕、或游戏的显示屏幕的数据。然而，内容数据不限于图像数据，并且还可以传输如音乐、演讲或无线电广播节目的音频数据，作为来自PC 20的内容数据。
以下参考图2描述其中传送图像数据和控制数据的层。
图2是示出PC 20的软件构思的说明图。如图2所示，使用MPEG-TS/RTP/UDP/IP等传输如图像数据的内容数据。另一方面，通过不同于图像数据的通信路径的通信路径(如TCP/IP或L2层)传输控制数据。
此外，图1仅仅示出PC 20作为图像处理设备的示例，而图像处理设备不限于PC 20。例如，图像处理设备可以是信息处理设备，如家庭视频处理设备(例如，DVD记录器、盒式录像机等)、PDA(个人数字助理)、移动电话、家庭游戏机、便携式视频处理设备、便携式游戏机、或家用电器。
显示设备10具有与附近的无线通信设备(如PC 20)连接和无线通信的功能。例如，显示设备10可以根据Wi-Fi联盟标准开发下的Wi-Fi直连，与PC 20形成通信组，并且与通信组中的PC 20无线通信而不使用接入点。此外，例如，即使显示设备10和PC 20连接到相同接入点(AP)时，它们也可以使用IEEE802.11z(TDLS)进行直接通信。此外，显示设备10和PC 20还可以通过连线进行通信。
此外，与PC 20形成通信组，显示设备10可以接收从PC 20传输的图像数据，并且显示接收的图像数据。在该配置中，用户可以用更大的屏幕在显示设备10上显示在PC 20中处理的图像数据，而不需复杂的工作。
此外，通过显示用于左眼的L图像和用于右眼的R图像，显示设备10可以允许佩戴快门眼镜30的用户感知立体图像。
快门眼镜30包括例如由液晶快门形成的、R图像传输单元32和L图像传输单元34。快门眼镜30根据从显示设备10传输的信号，执行R图像传输单元32和L图像传输单元34的打开/关闭操作。允许用户通过经由快门眼镜30的R图像传输单元32和L图像传输单元34，观看从显示设备10发出的光，将显示设备10上显示的L图像和R图像感知为立体图像。
另一方面，当普通2D图像显示在显示设备10上时，允许用户通过直接观看从显示设备10发出的光，将显示设备10上显示的图像感知为普通2D图像。
此外，图1仅仅示出显示设备10作为图像再现设备的示例，而图像再现设备不限于显示设备10。例如，图像再现设备可以是具有图像再现功能的任何信息处理设备，如PC或视频处理设备。
此外，尽管图1中图示了在PC 20和显示设备10中实现无线通信功能的示例，但是实施例不限于这样的示例。例如，具有无线通信功能、图像数据编码功能和分组化功能的适配器外部地附接到PC 20。同样地，具有无线通信功能、图像数据解码功能等的适配器外部地附接到显示设备10。
此外，上面已经描述了这样的控制方法，其使用快门操作以使得L图像由左眼感知并且使得R图像由右眼感知，但是该控制方法不限于这样的示例。例如，通过使用用于左眼的偏振滤光片和用于右眼的偏振滤光片，也可以获得等效效果。
而且，在本说明书中，描述了这样的示例，其中PC 20作为一个帧图像传输作为第一图像和第二图像的R图像和L图像，但是第一图像和第二图像可以是独立图像。例如，第一图像可以是用于第一用户的图像，并且第二图像可以是用于第二用户的图像。更具体地，第一图像和第二图像可以是用于各个用户的游戏屏幕、节目屏幕等。
(背景)
现在，作为PC 20使用的将L图像和R图像存储到一个帧图像中的方法，存在并排方法和上下方法。并排方法是在水平方向上相互相邻安排L图像和R图像的方法，并且上下方法是在垂直方向上相互相邻安排L图像和R图像的方法。
而且，在通过连线(如HDMI)执行通信的情况下，因为对最大传输速率存在余量，并且错误率也足够低，所以PC 20还可以分开地数字传输每个像素而不用压缩帧图像。相应地，每个像素的传输不受图像的其他部分的影响。另一方面，在将帧图像无线传输到显示设备10的情况下，因为当前无线带宽不足以传输未压缩的帧图像，所以压缩帧图像。其他技术具有与该压缩有关的若干问题。在下面，将参考图3和4详细描述该问题。
图3是示出2D图像的压缩方法的说明图。图像处理设备以称为宏块的像素区域为单位压缩作为压缩目标的2D图像。通常，宏块为16*16像素的像素区域。因此，在压缩垂直方向上的有效屏幕大小为1080像素的2D图像的情况下，在下边缘存在用于形成一个宏块的像素的短缺，如图3所示，因此在下边缘插入8个像素的哑数据。根据另一技术的图像处理设备对由L图像和R图像构成的3D帧图像执行类似的处理，如下面将参考图4描述的。
图4是示出通过另一技术的3D帧图像的压缩方法的说明图。如图4所示，在对于L图像和R图像垂直方向上像素的数量为540的情况下，根据另一技术的图像处理设备以与图3所示的示例相同的方式，在下边缘插入8像素的哑数据，并且以宏块为单位压缩帧图像。另外，用虚线描出轮廓的矩形区域对应于宏块。
然而，在存在延伸跨越L图像的下面部分和R图像的上面部分的宏块的情况下，一个图像的压缩状态根据其他图像的压缩状态改变。相应地，即使L图像的下面部分对于多个帧图像是静态图像，如果R图像的上面部分包括运动，则在运动的影响下，改变压缩L图像的方式。因此，关于主观(subjective)图像质量，L图像的下面部分可能抖动。例如，如上所述的这样的问题可能出现在人正在地面上跑步的帧图像中。
此外，与有线通信相比，通常无线通信具有高错误率和差传输质量。相应地，如果无线传输已经以上述方式压缩的帧图像，则预期出现数据丢失。特别地，在期望减少传输延迟的应用中，使用UDP替代TCP，因此出现数据丢失的比率高。当这样的数据丢失出现时，2D图像在再现时在图像中将只有一个受损部分，但是如果数据丢失出现在延伸跨越L图像的下面部分和R图像的上面部分的宏块中，则两个部分(即，L图像的下面部分和R图像的上面部分)将受损。
此外，在正常广播中，以过扫描执行显示，并且在屏幕边缘处存在的错误不可能被用户感知，但是不是在所有情况下以过扫描执行显示。特别地，对于与PC有关的内容，在许多情况下以全像素模式执行显示。在该情况下，在边缘处的图像受损容易被用户感知。
相应地，已经从上述情况的观点做出本公开的实施例。根据本公开的实施例，3D帧图像可以以改进再现质量的方式压缩。在下面，首先将描述PC 20和显示设备10的硬件配置，然后，将详细描述如上所述的本公开的每个实施例。
<2.硬件配置>
图5是示出根据本公开实施例的PC 20的硬件配置的说明图。PC 20包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、和主机总线204。PC 20还包括桥205、外部总线206、接口207、输入设备208、输出设备210、存储设备(HDD)211、驱动器212和通信设备215。
CPU 201用作处理设备和控制设备，并且其根据程序控制PC 20中的整体操作。CPU 201可以是微处理器。ROM 202存储CPU 201要使用的程序、处理参数等。RAM 203暂时存储CPU 201的执行中要使用的程序、执行中变化的参数等。CPU 201、ROM 202和RAM 203通过主机总线204相互连接，该主机总线204可以是CPU总线等。
主机总线204经由桥205连接到外部总线206(如PCI(外围组件互连/接口)总线)。主机总线204、桥205和外部总线206不必相互分离，并且它们的功能可以通过一条总线实现。
例如，输入设备208可以包括用于用户输入信息的输入部件，如鼠标、键盘、触摸面板、按钮、麦克风、开关或操纵杆，以及输入控制电路，其用于生成基于用户输入的输入信号，并且将输入信号输出到CPU 201。PC 20的用户操纵输入设备208，从而输入各种类型的数据或者指令处理操作到PC20。
例如，输出设备210可以包括显示设备，如CRT(阴极射线管)显示设备、LCD(液晶显示器)设备、OLED(有机发光显示器)设备或灯。此外，例如，输出设备210可以包括音频输出设备，如扬声器或耳机。例如，输出设备210输出再现的内容。具体地，显示设备显示各种类型的信息，如通过文本或图像的再现视频数据。另一方面，音频输出设备将再现的音频数据等转换为声音并且输出声音。
存储设备211是用于数据存储的设备，其根据本实施例配置为PC 20的存储单元的示例。存储设备211可以包括存储介质、用于将数据记录到存储介质中的记录设备、用于从存储介质读取数据的读取设备、用于删除存储介质中记录的数据的删除设备等。例如，存储设备211可以是HDD(硬盘驱动器)。存储设备211驱动硬盘，并且存储要由CPU 201执行的程序和各种数据。
驱动器212是用于存储介质的读取器/写入器，并且可以并入PC 20中或外部地附接到PC 20。驱动器212读取附接到其的可移除存储介质24(如磁盘、光盘、磁光盘或半导体存储器)中记录的信息，并且将信息输出到RAM203。此外，驱动器212可以将信息写入可移除存储介质24中。
例如，通信设备215是由通信设备等配置的通信接口，以与附近的无线通信设备或网络建立连接。通信设备215可以是与无线LAN(局域网)兼容的通信设备、与LTE(长期演进)兼容的通信设备、或执行有线通信的连线通信设备。
此外，尽管上面已经参考图5描述了PC 20的硬件配置，但是显示设备10的硬件可以以与PC 20的硬件基本相同的方式配置，并且省略其说明。
<3.第一实施例>
在前面，已经参考图5描述了PC 20和显示设备10的硬件配置。接着，将参考图6到11描述本公开的第一实施例。
(3-1.PC和显示设备的配置)
图6是示出根据本公开实施例的显示设备10和PC 20的配置的功能框图。如图6所示，显示设备10包括图像分离单元120、解码器130、无线通信单元140、控制单元150、显示单元160和红外发射器170。此外，PC 20包括存储单元216、图像生成单元220、分组生成单元230、无线通信单元240和控制单元250。
PC 20的存储单元216存储内容数据，如由L图像和R图像构成的3D图像。这样的存储单元216可以是如非易失性存储器、磁盘、光盘、磁光(MO)盘等的存储介质。作为非易失性存储器，例如可以举出EEPROM(电可擦除可编程只读存储器)和EPROM(可擦除可编程ROM)。而且，作为磁盘，可以举出硬盘、盘状磁盘等。此外，作为光盘，可以举出CD(致密盘)、DVD-R(可记录数字多功能盘)、BD(蓝光盘(注册商标))等。
例如，图像生成单元(帧图像生成单元)220通过将从存储单元216提供的L图像和R图像相互相邻安排，生成一个帧图像。此时，图像生成单元220以这样的方式安排L图像和R图像，使得L图像和R图像之间的边界与作为帧图像压缩的单位的宏块的边界一致，如稍后将详细描述的。
分组生成单元230生成用于无线传输由多个帧图像构成的图像数据的分组，多个帧图像从图像生成单元220提供。在下面，将参考图7和8描述该分组生成单元230的详细配置。
图7是示出分组生成单元230的配置的说明图。如图7所示，分组生成单元230包括图像编码器231、音频编码器232、PES分组化器233、加密处理单元234和TS复用器235。
图像编码器231是压缩处理单元，其压缩编码并输出提供的图像数据。类似地，音频编码器232压缩编码并输出提供的音频数据。此外，图像编码器231和音频编码器232能够根据来自控制单元250的指令，改变各个数据项目的压缩率。
PES分组化器233从自图像编码器231输出的图像数据、和自音频编码器232输出的音频数据，生成PES分组。更具体地，PES分组化器233生成由PES报头和PES有效载荷构成的PES分组，如图8的(1)所示。PES报头包括用于描述定时信息(如DTS(解码时间戳)、PTS(呈现时间戳)等)的字段。
加密处理单元234加密从PES分组化器233提供的PES分组并将其输出。例如，加密处理单元234可以通过HDCP(高带宽数字内容保护)系统2.0加密PES分组。
TS复用器235生成由TS报头和TS有效载荷构成的TS流，如图8的(2)所示。此外，例如通过将PES分组划分为188字节固定长度获得TS有效载荷。该TS流作为其中添加RTP报头的RTP分组传输，如图8的(3)所示。
无线通信单元240无线传输包含由分组生成单元230生成的图像数据、控制单元250指定的控制数据等的RTP分组。例如，该无线通信单元240可以根据Wi-Fi联盟下的Wi-Fi直连操作。
控制单元250控制PC 20的整体操作。例如，控制单元250控制存储通过图像生成单元220的L图像和R图像的方法、分组生成单元230处的数据压缩率、以及通过无线通信单元240的无线通信。
显示设备10的无线通信单元140从PC 20接收包含图像数据、控制数据等的RTP分组。例如，该无线通信单元140可以根据Wi-Fi联盟标准开发下的Wi-Fi直连操作。
解码器130解释通过无线通信单元140接收的RTP分组，并且解码RTP分组中包含的图像数据等。即，解码器130解码构成图像数据的多个帧图像，并且将其提供给图像分离单元120。这里每个帧图像的宏块不延伸跨越L图像和R图像，因此在一个宏块中出现数据丢失时导致的受损可以限制到一个部分。
例如，图像分离单元120从通过解码器130解码的帧图像分离L图像和R图像，并且交替地将L图像和R图像提供给显示单元160。此外，可以从PC 20传输指示帧图像内L图像有效区域和R图像有效区域的信息，并且图像分离单元120可以根据该信息从帧图像分离L图像和R图像。
控制单元150控制显示设备10的整体操作。例如，控制单元150控制通过无线通信单元140的无线通信、通过解码器130的解码处理、通过图像分离单元120的图像分离处理等。
显示单元160显示从图像分离单元120提供的L图像和R图像。而且，红外发射器170发出用于控制快门眼镜30的快门操作的控制信号。快门眼镜30基于该快门控制信号，执行R图像传输单元32和L图像传输单元34的打开/关闭操作。特别地，以这样的方式执行快门操作，使得L图像传输单元34打开同时L图像显示在显示单元160上，以及R图像传输单元32打开同时R图像显示在显示单元160上。
(帧图像生成)
这里将详细描述通过图像生成单元220的帧图像的生成处理。
例如，图像生成单元220通过在垂直方向上相互相邻安排L图像和R图像生成帧图像。因为根据AVC标准在一个帧图像中只能定义一个有效像素区域，所以图像生成单元220使得L图像和R图像相互相邻。而且，图像生成单元220通过将哑数据插入到相互相邻安排的L图像和R图像的上侧和下侧，使得L图像和R图像之间的边界与宏块的边界一致，所述宏块是用于通过图像编码器231的图像压缩的单位。
更特别地，图像生成单元220可以通过以下过程插入哑数据。
(1)通过将沿着垂直方向的L图像或R图像的像素数量除以16(宏块的像素数量)，并且对除法结果的小数点四舍五入，来计算沿着垂直方向存储L图像或R图像必需的宏块的数量。
(2)计算宏块数量的两倍值并且将其乘以16，16是宏块的像素数量。
(3)将乘法结果和垂直方向上帧图像的有效像素的数量之间的差，作为哑数据分发到上侧和下侧。
这里，在垂直方向上有效像素的数量对于L图像和R图像相同的情况下，图像生成单元220将哑数据相等地分发给上侧和下侧。另一方面，在垂直方向上有效像素的数量对于L图像和R图像不同的情况下，图像生成单元220将更多哑数据分发给这样的一侧，在该侧安排具有比另一侧更少的有效像素的图像。
此外，当通过在垂直方向上将L图像和R图像的组合图像的像素数量除以16，来计算存储L图像和R图像的组合图像必需的宏块数量时，可以想到其中计算得到奇数的情况。如果必需的宏块数量为奇数，则将难以使得L图像和R图像之间的边界与宏块的边界一致，因此将沿着垂直方向存储L图像或R图像必需的宏块数量增加一倍是有效的，如上所述。
此外，如果垂直方向上L图像的有效像素的数量、和垂直方向上R图像的有效像素的数量，每个是垂直方向上宏块的像素数量的整数倍，则即使不插入哑数据，L图像和R图像之间的边界也将与宏块的边界一致。相应地，本公开的实施例可以说对这样的情况特别有效，其中在垂直方向上L图像的有效像素数量、或在垂直方向上R图像的有效像素数量，都不是垂直方向上宏块的像素数量的整数倍，即在垂直方向上帧图像的有效像素的数量，不是垂直方向上宏块的有效像素的数量的偶数倍的情况下。
在下面，将参考图9和10描述由这样的图像生成单元220生成的帧图像的具体示例。
图9和10是示出由图像生成单元220生成的帧图像的具体示例的说明图。在对于L图像和R图像在垂直方向上有效像素的数量为540的情况下，图像生成单元220根据如上所述的过程，将相当于4个像素的哑数据插入到L图像的上侧和R图像的下侧，如图9所示。结果，L图像和R图像之间的边界与宏块的边界一致，如图10所示。
根据该配置，L图像和R图像可以相互独立地压缩。这使得：即使在L图像的下部是跨越多个帧图像的静态图像，并且R图像的上部包括运动的情况下，也能够压缩L图像的下部，同时将其保持在静态图像的稳定状态。此外，在一个宏块中出现数据丢失时引起的受损可以限制到一个部分。
(3-2.PC和显示设备的操作)
在前面，已经描述了本公开第一实施例的配置。接着，将参考图11简要描述根据第一实施例的显示设备10和PC 20的操作。
图11是示出根据本公开第一实施例的显示设备10和PC 20的操作的流程图。如图11所示，首先，PC 20的图像生成单元220通过插入哑数据生成帧图像，使得L图像和R图像之间的边界与宏块的边界一致(S310)。
然后，PC 20的图像编码器231以宏块为单位压缩帧图像(S320)，并且无线通信单元240将包含压缩的帧图像的RTP分组传输到显示设备10(S330)。
然后，显示设备10的解码器130解码压缩的帧图像(S340)，图像分离单元120从帧图像分离L图像和R图像(S350)，并且显示单元160交替地显示已经通过图像分离单元120分离的L图像和R图像(S360)。
<4.第二实施例>
在前面，已经描述了本公开的第一实施例。在第一实施例中已经描述了对于L图像和R图像根据上下方法安排的情况的处理，然而，如下面将描述为第二实施例的，本技术还可应用于L图像和R图像根据并排方法安排的情况。
具体地，例如图像生成单元220通过在水平方向上相互相邻地安排L图像和R图像，来生成帧图像。此外，图像生成单元220通过将哑数据插入到相互相邻安排的L图像和R图像的左侧和右侧，使得L图像和R图像之间的边界与宏块的边界一致，所述宏块是通过图像编码器231的图像压缩的单位。
更特别地，图像生成单元220可以通过以下过程插入哑数据。
(1)通过将沿着水平方向的L图像或R图像的像素数量除以16(宏块的像素数量)，并且对除法结果的小数点四舍五入，来计算沿着水平方向存储L图像或R图像必需的宏块的数量。
(2)计算宏块数量的两倍值并且将其乘以16，16是宏块的像素数量。
(3)将乘法结果和水平方向上帧图像的有效像素的数量之间的差，作为哑数据分发到左侧和右侧。
这里，在水平方向上有效像素的数量对于L图像和R图像相同的情况下，图像生成单元220将哑数据相等地分发给左侧和右侧。另一方面，在水平方向上有效像素的数量对于L图像和R图像不同的情况下，图像生成单元220将更多哑数据分发给这样的一侧，在该侧安排具有比另一侧更少的有效像素的图像。
此外，如果水平方向上L图像的有效像素的数量、和水平方向上R图像的有效像素的数量，每个是水平方向上宏块的像素数量的整数倍，则即使不插入哑数据，L图像和R图像之间的边界也将与宏块的边界一致。相应地，本公开的实施例可以说对这样的情况特别有效，其中在水平方向上L图像的有效像素数量、或水平方向上R图像的有效像素数量，都不是水平方向上宏块的像素数量的整数倍，即在水平方向上帧图像的有效像素的数量，不是水平方向上宏块的有效像素的数量的偶数倍的情况下。
在下面，将参考图12和13描述由这样的图像生成单元220生成的帧图像的具体示例。
图12和13是示出由图像生成单元220生成的帧图像的具体示例的说明图。在对于L图像和R图像在水平方向上有效像素的数量为955的情况下，图像生成单元220根据上述过程，将相当于5个像素的哑数据插入到L图像的左侧和R图像的右侧，如图12所示。结果，L图像和R图像之间的边界与宏块的边界一致，如图13所示。
根据该配置，L图像和R图像可以相互独立地压缩。这使得：即使在L图像的右部是跨越多个帧图像的静态图像，并且R图像的左部包括运动的情况下，也能够压缩L图像的右部同时将其保持在静态图像的稳定状态。而且，在一个宏块中出现数据丢失时引起的受损可以限制到一个部分。
<5.结论>
如上所述，根据本公开实施例的图像生成单元220通过以这样的方式插入哑数据，使得L图像和R图像之间的边界与宏块的边界一致，来生成帧图像。根据该配置，L图像和R图像可以相互独立地压缩。而且，在一个宏块中出现数据丢失时引起的受损可以限制到一个部分。
本领域技术人员应当理解，取决于设计需求和其他因素，可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效的范围内。
例如，根据本说明书的显示设备10和PC 20的处理步骤没有必要必需根据如流程图所述的顺序时序地处理。例如，显示设备10和PC 20的处理步骤也可以按照不同于如流程图所述的顺序处理，或者可以并行地处理。
此外，还可以创建这样的计算机程序，用于使得显示设备10和PC 20中嵌入的硬件(如CPU 201、ROM 202或RAM 203)实现与上述显示设备10和PC 20的每个元件等效的功能。
本公开包含涉及于2011年1月13日向日本专利局提交的日本优先权专利申请JP 2011-005015中公开的主题，在此通过引用并入其全部内容。
Claims (9)
1.一种图像处理设备，包括：
帧图像生成单元，用于生成其中第一图像和第二图像相互相邻安排的帧图像；以及
压缩处理单元，用于以宏块为单位压缩帧图像，
其中，帧图像生成单元安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
2.按照权利要求1所述的图像处理设备，
其中，帧图像生成单元通过在安排方向上对第一图像和第二图像的两侧插入哑数据，使得第一图像和第二图像之间的边界与宏块的边界一致。
3.按照权利要求2所述的图像处理设备，
其中，帧图像生成单元
将存储沿着安排方向的第一图像或第二图像所需的宏块的数量的两倍值乘以安排方向上的宏块的像素数量，以及
将乘法结果和安排方向上帧图像的有效像素的数量之间的差作为哑数据，分发给安排方向上帧图像的两侧。
4.按照权利要求3所述的图像处理设备，
其中，帧图像生成单元
在沿着安排方向的第一图像和第二图像的有效像素的数量相同的情况下，将哑数据相等地分发给安排方向上帧图像的两侧，以及
在沿着安排方向的第一图像和第二图像的有效像素的数量不同的情况下，将更多哑数据分发给这样的图像的安排侧，该侧具有比另一侧更少数量的有效像素。
5.按照权利要求4所述的图像处理设备，还包括：
无线通信单元，用于无线传输已经通过压缩处理单元压缩的帧图像。
6.按照权利要求4所述的图像处理设备，
其中，安排方向上帧图像的有效像素的数量与安排方向上宏块的像素数量的偶数倍不同。
7.按照权利要求5所述的图像处理设备，
其中第一图像是用于左眼的图像，并且第二图像是用于右眼的图像。
8.一种图像处理方法，包括：
生成其中第一图像和第二图像相互相邻安排的帧图像；以及
以宏块为单位压缩帧图像，
其中，在生成帧图像的步骤中，安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
9.一种使得计算机用作图像处理设备的程序，该图像处理设备包括：
帧图像生成单元，用于生成其中第一图像和第二图像相互相邻安排的帧图像；以及
压缩处理单元，用于以宏块为单位压缩帧图像，
其中，帧图像生成单元安排第一图像和第二图像，使得第一图像和第二图像之间的边界与宏块的边界一致。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-005015 | 2011-01-13 | ||
| JP2011005015A JP5878295B2 (ja) | 2011-01-13 | 2011-01-13 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102595162A true CN102595162A (zh) | 2012-07-18 |
| CN102595162B CN102595162B (zh) | 2016-02-17 |
Family
ID=45093465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210010982.3A Expired - Fee Related CN102595162B (zh) | 2011-01-13 | 2012-01-13 | 图像处理设备、图像处理方法和程序 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9094664B2 (zh) |
| EP (1) | EP2477408A1 (zh) |
| JP (1) | JP5878295B2 (zh) |
| CN (1) | CN102595162B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140152762A1 (en) * | 2012-06-28 | 2014-06-05 | Nokia Corporation | Method, apparatus and computer program product for processing media content |
| KR102175822B1 (ko) * | 2014-01-03 | 2020-11-09 | 삼성디스플레이 주식회사 | 표시 장치 및 그 구동 방법 |
| EP4068788A1 (en) * | 2021-03-31 | 2022-10-05 | Panasonic Intellectual Property Corporation of America | Encoder, decoder, encoding method, and decoding method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1501318A1 (en) * | 2002-04-25 | 2005-01-26 | Sharp Corporation | Image encodder, image decoder, record medium, and image recorder |
| CN101223792A (zh) * | 2005-07-26 | 2008-07-16 | 夏普株式会社 | 立体图像记录装置及程序 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07143487A (ja) * | 1993-11-17 | 1995-06-02 | Canon Inc | 画像符号化装置 |
| JP4049280B2 (ja) * | 1996-09-24 | 2008-02-20 | 株式会社ハイニックスセミコンダクター | グレースケール形状情報符号化／復号化装置及び方法 |
| KR100501902B1 (ko) * | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
| EP0833521A3 (en) * | 1996-09-30 | 1999-09-15 | Hyundai Electronics Industries Co., Ltd. | Device for and method of coding/decoding image information |
| US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| US6683992B2 (en) * | 1999-12-28 | 2004-01-27 | Matsushita Electric Industrial Co., Ltd. | Image decoding apparatus and image coding apparatus |
| JP2004532540A (ja) * | 2001-03-05 | 2004-10-21 | インタービデオインコーポレイテッド | 誤り耐性のある符号化のためのシステム及び方法 |
| US6963671B2 (en) | 2002-04-17 | 2005-11-08 | Mitsubishi Electric Research Labs, Inc. | Method for determining distances to a surface from a range image |
| JP2004207862A (ja) * | 2002-12-24 | 2004-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム |
| KR100886191B1 (ko) * | 2004-12-06 | 2009-02-27 | 엘지전자 주식회사 | 영상 블록을 디코딩 하는 방법 |
| EP1703513A1 (en) * | 2005-03-15 | 2006-09-20 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal |
| US20060256868A1 (en) * | 2005-05-16 | 2006-11-16 | Ensequence, Inc. | Methods and systems for repositioning mpeg image content without recoding |
| CN102005063B (zh) * | 2005-07-05 | 2012-10-03 | 三洋电机株式会社 | 立体图像处理方法和立体图像处理装置及程序以及存储程序的记录介质 |
| KR100800653B1 (ko) * | 2006-12-01 | 2008-02-01 | 삼성전자주식회사 | 3차원 입체 영상을 압축하기 위한 장치 및 방법 |
| US20100135379A1 (en) * | 2008-12-02 | 2010-06-03 | Sensio Technologies Inc. | Method and system for encoding and decoding frames of a digital image stream |
| JP4451918B1 (ja) | 2009-06-26 | 2010-04-14 | 株式会社カケン | 循環濾過システム |
| CN104935935B (zh) * | 2009-10-21 | 2018-04-03 | Sk电信有限公司 | 视频编码方法、视频解码方法和视频解码装置 |
| KR101452713B1 (ko) * | 2009-10-30 | 2014-10-21 | 삼성전자주식회사 | 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치 |
| JP5748463B2 (ja) * | 2010-12-02 | 2015-07-15 | キヤノン株式会社 | 符号化装置およびプログラム |
-
2011
- 2011-01-13 JP JP2011005015A patent/JP5878295B2/ja not_active Expired - Fee Related
- 2011-11-24 EP EP20110190473 patent/EP2477408A1/en not_active Ceased
-
2012
- 2012-01-06 US US13/345,010 patent/US9094664B2/en not_active Expired - Fee Related
- 2012-01-13 CN CN201210010982.3A patent/CN102595162B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1501318A1 (en) * | 2002-04-25 | 2005-01-26 | Sharp Corporation | Image encodder, image decoder, record medium, and image recorder |
| CN101223792A (zh) * | 2005-07-26 | 2008-07-16 | 夏普株式会社 | 立体图像记录装置及程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9094664B2 (en) | 2015-07-28 |
| US20120183231A1 (en) | 2012-07-19 |
| JP5878295B2 (ja) | 2016-03-08 |
| EP2477408A1 (en) | 2012-07-18 |
| JP2012147319A (ja) | 2012-08-02 |
| CN102595162B (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107197340B (zh) | 使用无线局域网来传送和接收数据的无线通信装置和方法 | |
| TWI595777B (zh) | 透過ｈｄｍｉ發送顯示管理元數據 | |
| CN101910999B (zh) | 用以产生及实现移动式高清晰多媒体接口的方法、装置及系统 | |
| EP2025182B1 (en) | Method of transmitting/playing multimedia data over wireless network and wireless device using the method | |
| CN109076246B (zh) | 使用图像数据校正掩码的视频编码方法和系统 | |
| CN105652459A (zh) | 无线接收设备 | |
| CN102045578B (zh) | 图像处理设备和图像处理方法 | |
| CN111327959A (zh) | 视频插帧方法及相关装置 | |
| JP6617719B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
| CN103167334A (zh) | 用于经由hdmi信号的广播接收机双显示的便携式终端的装置和方法 | |
| CN102714747A (zh) | 立体视频图形覆盖 | |
| US20190208197A1 (en) | Image processing apparatus and image processing method | |
| CN102595162B (zh) | 图像处理设备、图像处理方法和程序 | |
| CN105260131A (zh) | 内容处理装置及其内容处理方法 | |
| JPWO2011099254A1 (ja) | データ処理装置及びデータ符号化装置 | |
| JP2016052015A (ja) | 電子機器および色域判定方法 | |
| CN102387396A (zh) | 接收装置 | |
| CN105812922A (zh) | 多媒体文件数据的处理方法及系统、播放器和客户端 | |
| CN103888795A (zh) | 一种数字屏按时播放系统及其按时播放方法 | |
| US7233366B2 (en) | Method and apparatus for sending and receiving and for encoding and decoding a telop image | |
| WO2011114633A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2014204339A (ja) | 電子機器、電子機器の制御方法、電子機器の制御プログラム | |
| CN117278778A (zh) | 一种图像处理方法、装置、拼接控制器及图像处理系统 | |
| TW201513675A (zh) | 多路視訊顯示控制方法及系統 | |
| WO2012149685A1 (en) | Wireless hd video streaming with intermediate bridge |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160217 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |