CN104683798B - 镜射影像编码方法及其装置、镜射影像解码方法及其装置 - Google Patents

Abstract

本发明提供一种镜射影像编码方法及其装置和镜射影像解码方法及其装置。所述镜射影像编码方法包括下列步骤。首先，取样储存于缓冲器中的当前帧。接着，判断当前帧与先于当前帧的先前帧之间的差异度是否高于预设门限值。若否，记录当前帧与先前帧之间的差异区块与差异区块的位置信息。之后，通过直接连线的影像通道发送差异区块及差异区块的位置信息至镜射影像解码装置。

Description

镜射影像编码方法及其装置、镜射影像解码方法及其装置

技术领域

本发明是有关于一种影像编码方法及其装置和影像解码方法及其装置，且特别是有关于一种镜射影像编码方法及其装置和镜射影像解码方法及其装置。

背景技术

随着科技的发展以及时代的演进，人们对于电子产品所提供的娱乐功能已越来越注重。因此，各家厂商无不争相推出各种新颖的数字娱乐产品，以吸引消费者们的注意。为了让使用者可将在移动装置上观看的画面投射至具有较大屏幕的显示器，现今已发展出一种具有屏幕镜射（Miracast）功能的外部装置，其可在与移动装置连接之后，依据移动装置所发送的数据而对应地控制显示器（例如电视）显示与移动装置相同的画面。

然而，在移动装置编码欲传送至所述外部装置的数据时，可能会因需满足所使用的编码标准规范而使得移动装置与外部装置在提供屏幕镜射功能时出现延迟的情形。举例而言，假设移动装置所使用的编码标准为H.264，则移动装置需先收集一定数量的帧之后，方能一并进行H.264的编码机制。并且，为了对这些被编码的帧进行解码，所述外部装置亦需收集对应数量的帧方可进行H.264的解码机制。如此一来，移动装置及外部装置用于收集帧的时间将可能使得显示器所显示的画面出现停顿、延迟等使用者较难忍受的现象。

发明内容

有鉴于此，本发明提供一种镜射影像编码方法及其装置，其可有效地避免因收集帧的时间过长所造成的屏幕镜射延迟情形。此外，本发明亦提供一种镜射影像解码方法及其装置，其可因应于镜射影像编码装置所传送的数据而对应地执行不同的功能，进而有效地提升解码的效率。

本发明提供一种镜射影像编码方法，适于镜射影像编码装置编码分享至镜射影像解码装置的画面。所述方法包括下列步骤：取样储存于缓冲器中的当前帧；判断当前帧与先于当前帧的先前帧之间的差异度是否高于预设门限值；若否，记录当前帧与先前帧之间的至少一差异区块及至少一差异区块的至少一位置信息；通过直接连线的影像通道发送至少一差异区块及至少一差异区块的至少一位置信息至镜射影像解码装置。

在本发明的一实施例中，至少一差异区块包括当前帧与先前帧之间相异的至少一像素区块，且所述至少一位置信息包括至少一像素区块在当前帧中的座标信息以及尺寸信息。

在本发明的一实施例中，在判断当前帧与先于当前帧的先前帧之间的差异度是否高于预设门限值的步骤之后，更包括：当差异度高于预设门限值时，采用H.264编码机制编码当前帧以及储存于缓冲器中的多个暂存帧；将编码后的当前帧以及所述多个暂存帧与对应的音频部分进行多工处理以产生传输串流；通过直接连线的串流通道发送传输串流至镜射影像解码装置。

在本发明的一实施例中，直接连线包括无线保真度直接连线。

本发明提供一种镜射影像编码装置，包括缓冲器、通讯单元、取样单元以及影像处理单元。取样单元耦接缓冲器，经配置以取样储存于缓冲器中的当前帧。影像处理单元耦接取样单元以及通讯单元，经配置以执行下列步骤：判断当前帧与先于当前帧的先前帧之间的差异度是否高于预设门限值；若否，记录当前帧与先前帧之间的至少一差异区块及至少一差异区块的至少一位置信息；控制通讯单元通过直接连线的影像通道发送至少一差异区块及所述至少一位置信息至镜射影像解码装置。

在本发明的一实施例中，当差异度高于预设门限值时，影像处理单元采用H.264编码机制编码当前帧以及储存于缓冲器中的多个暂存帧，并将编码后的当前帧以及所述多个暂存帧与对应的音频部分进行多工处理以产生传输串流，以及通过直接连线的串流通道发送传输串流至镜射影像解码装置。

本发明提供一种镜射影像解码方法，适于镜射影像解码装置解码镜射影像编码装置分享的画面。所述方法包括下列步骤：从直接连线接收来自镜射影像编码装置的数据；判断数据是来自直接连线的影像通道或是串流通道；若数据来自于影像通道，依据数据中的至少一差异区块及至少一位置信息调整当前帧，其中至少一位置信息对应于当前帧与先前帧之间的至少一差异区块；控制显示装置显示当前帧。

在本发明的一实施例中，至少一差异区块包括当前帧与先前帧之间相异的至少一像素区块，且所述至少一位置信息包括至少一像素区块在当前帧中的座标信息以及尺寸信息。

在本发明的一实施例中，在判断数据是来自直接连线的影像通道或是串流通道的步骤之后，更包括：若数据来自于串流通道，收集可用于进行H.264解码机制的多个帧，而所述多个帧包括当前帧；采用H.264解码机制解码所述多个帧；控制显示装置显示解码后的所述多个帧。

在本发明的一实施例中，直接连线包括无线保真度直接连线。

本发明提供一种镜射影像解码装置，包括通讯单元以及影像处理单元。通讯单元经配置以从直接连线接收来自镜射影像编码装置的数据。影像处理单元连接通讯单元，经配置以执行下列步骤：判断数据是来自直接连线的影像通道或是串流通道；若数据来自于影像通道，依据数据中的至少一差异区块及所述至少一位置信息调整当前帧，其中所述至少一位置信息对应于当前帧与先前帧之间的至少一差异区块；控制显示装置显示当前帧。

在本发明的一实施例中，镜射影像解码装置更包括连接至通讯单元以及影像处理单元的缓冲器，其中若数据来自于串流通道，影像处理单元更经配置以从缓冲器中收集可用于进行H.264解码机制的多个帧，而所述多个帧包括当前帧；采用H.264解码机制解码所述多个帧；控制显示装置显示解码后的所述多个帧。

基于上述，本发明实施例提出的镜射影像编码方法及其装置可在当前帧与先前帧之间的差异度不高于预设门限值时，仅将当前帧与先前帧之间差异区块及其位置信息发送至镜射影像解码装置。因应于来自前述镜射影像编码装置的差异区块位置信息，本发明实施例提出的镜射影像解码方法及其装置可直接依据这些差异区块及其位置信息更动先前帧上对应位置的像素区块，进而产生欲显示在显示装置上的当前帧。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1是依据本发明的一实施例绘示的镜射影像编码装置的功能方块图。

图2是依据本发明的一实施例绘示的镜射影像编码方法流程图。

图3是依据本发明的一实施例绘示的镜射影像解码装置的功能方块图。

图4是依据本发明的一实施例绘示镜射影像解码方法流程图。

【附图标记说明】

100：镜射影像编码装置

110、340：缓冲器

120：取样单元

130、320：影像处理单元

140、310：通讯单元

300：镜射影像解码装置

330：显示装置

S210～S270、S410～S470：步骤

具体实施方式

图1是依据本发明的一实施例绘示的镜射影像编码装置的功能方块图。在本实施例中，镜射影像编码装置100包括缓冲器110、取样单元120、影像处理单元130以及通讯单元140。镜射影像编码装置100例如是智能型手机（Smart Phone）、平板电脑（Tablet）、笔记型电脑、个人数字助理或是其他任何可通过无线传输技术将所播放的画面传输或分享至其他装置，以达到屏幕镜射（Miracast）功能的电子装置。所述无线传输技术例如是无线保真度直接连线（Wireless Fidelity direct，Wi-Fi direct），但本发明的可实施方式不限于此。缓冲器110例如是存储器等储存媒体，其可储存关联于镜射影像编码装置100所显示画面的多个帧（frame）。取样单元120耦接缓冲器110，可经配置以取样储存于缓冲器110中的各个帧。在一实施例中，当影像处理单元130是依据例如H.264的影像标准来编码用于屏幕镜射的影像时，影像处理单元130需收集一定数量的帧方可进行基于H.264的影像编码机制，而这些帧皆可暂存于缓冲器110中。

影像处理单元130耦接于取样单元120，其可以是绘图处理单元（GraphicsProcessing Unit，GPU）、一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器（microprocessor）、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路（Application Specific Integrated Circuit，ASIC）、场可编程门阵列电路（Field Programmable Gate Array，FPGA）、任何其他种类的集成电路、状态机、基于进阶精简指令集机器（Advanced RISC Machine，ARM）的处理器以及类似品。

通讯单元140耦接影像处理单元130，其可与例如机顶盒（Set-Top Box，STB）等镜射影像解码装置建立直接连线（例如是Wi-Fi直接连线），并通过此直接连线将影像处理单元130编码的帧或是其他相关的影像信息传输至所述镜射影像解码装置。

为了避免镜射影像编码装置100在与镜射影像解码装置进行屏幕镜射机制时出现画面延迟的现象，本发明实施例提出一种镜射影像编码方法，其可在前后两张帧之间的差异度不大时，减少发送至镜射影像解码装置的信息以提高镜射影像解码装置解码影像的效率。

图2是依据本发明的一实施例绘示的镜射影像编码方法流程图。本实施例提出的方法可由图1的镜射影像编码装置100执行，进而编码分享至镜射影像解码装置的画面（即，帧），以下即搭配图1的各个元件来说明本方法的步骤细节。

在步骤S210中，取样单元120可取样储存于缓冲器110中的当前帧。接着，在步骤S220中，影像处理单元130可判断当前帧与先于当前帧的先前帧之间的差异度是否高于预设门限值。所述先前帧例如在所述当前帧之前储存于缓冲器110的多个暂存帧之一，而所述预设门限值例如是5%或是任何由设计者自行设定的比例值。

具体而言，影像处理单元130可从缓冲器110中取出一先前储存的暂存帧（例如是所述当前帧的前一帧），并找出此帧与所述当前帧之间相异的像素区块。接着，影像处理单元130可计算这些相异的像素区块的总面积与整个当前帧的面积之间的比例，并用此比例来表征所述差异度。在一实施例中，各个像素区块可包括单一个像素或多个连续的像素，但本发明可不限于此。

若所述差异度高于所述预设门限值，则在步骤S230中，影像处理单元130可采用H.264编码机制编码当前帧以及储存于缓冲器中的多个暂存帧。并且，在步骤S240中，影像处理单元130可将编码后的当前帧以及所述多个暂存帧与对应的音频部分进行多工处理以产生传输串流（Transport Stream，TS）。之后，在步骤S250中，影像处理单元130可控制通讯单元140通过直接连线的串流通道（stream channel）发送传输串流至镜射影像解码装置。

另一方面，若所述差异度不高于所述预设门限值，在步骤S260中，影像处理单元130可记录当前帧与先前帧之间的差异区块及其位置信息。所述差异区块例如是所述当前帧与所述先前帧之间相异的像素区块的区域，而所述位置信息则例如包括这些差异区块在所述当前帧中的座标信息以及尺寸信息。在一实施例中，由于所述当前帧与先前帧之间的差异区块有可能个别包括多个上下相邻及/或左右相邻的像素，当这些相邻的像素组合出长方形的差异区块时，对于每个长方形的差异区块而言，影像处理单元130可仅记录位于角落的像素的座标以及整个差异区块的尺寸，以作为此差异区块的位置信息。

在一实施例中，在步骤S260之后，影像处理单元130更可判断所述差异区块及其位置信息总合的数据量是否大于预设压缩门限值（例如是1MB）。若是，影像处理单元130可将所述差异区块及其位置信息进行压缩；若否，影像影处理单元130可不压缩所述差异区块及其位置信息。

之后，在步骤S270中，影像处理单元130可控制通讯单元140通过直接连线的影像通道（image channel）发送（压缩后的）差异区块及其位置信息至镜射影像解码装置。所述影像通道例如是与所述串流通道不同的逻辑通道，其可借由在镜射影像编码装置100与镜射影像解码装置之间建立对应套接介面（socket）的方式来实现，但本发明的可实施方式不限于此。

换言之，当影像处理单元130判断当前帧与先前帧之间的差异度不高于预设门限值时，影像处理单元130可仅将当前帧与先前帧之间差异区块及其位置信息发送至镜射影像解码装置，而不需等待收集到足够数量的帧之后才进行H.264的编码机制。如此一来，镜射影像编码装置100的编码效率即可有效地提高。具体而言，在当前帧与先前帧之间的差异度不大时，镜射影像编码装置100可节省下收集用于进行H.264编码机制的帧的时间，进而避免因收集帧的时间过长所造成的屏幕镜射延迟情形。此外，在当前帧与先前帧之间的差异度不大时，由于不需将差异区块及其位置信息与对应的音频部分进行多工处理，因而可视为亦省下了进行多工处理的时间。

因应于镜射影像编码装置100所传送的差异区块及其位置信息或是传输串流，所述镜射影像解码装置可对应地执行不同的功能来处理从镜射影像编码装置100接收的数据，其细节如下所示。

图3是依据本发明的一实施例绘示的镜射影像解码装置的功能方块图。在本实施例中，镜射影像解码装置300包括通讯单元310以及影像处理单元320。镜射影像解码装置300例如是机顶盒或是其他可在接收镜射影像解码装置100所传送的数据后，对应地控制显示装置330显示与镜射影像解码装置100相同画面的电子装置。

通讯单元310例如是相似于图1所示通讯单元140的通讯元件。通讯单元310可与通讯单元140建立直接连线，并从此直接连线接收来自镜射影像编码装置100的数据（例如是差异区块及其位置信息或是传输串流）。影像处理单元320耦接于通讯单元310，其亦可以是绘图处理单元或是其他相似于图1所示处理单元130的处理器。

显示装置330可通过例如高解析度多媒体介面（High-Definition MultimediaInterface，HDMI）的介面连接至镜射影像解码装置300，但本发明的可实施方式不限于此。显示装置330可以是液晶显示器（Liquid Crystal Display，LCD）、薄膜晶体管（TFT）-LCD、有机发光二极管（Organic Light-Emitting Diode，OLED）、柔性显示器、三维（3D）显示器或其类似者。

在本实施例中，镜射影像解码装置300可更包括耦接于通讯单元310以及影像处理单元320的缓冲器340。缓冲器340例如是存储器等可用于暂存来自于镜射影像编码装置100的帧的储存媒体，但本发明的可实施方式不限于此。

图4是依据本发明的一实施例绘示镜射影像解码方法流程图。本实施例提出的方法可由图3的镜射影像解码装置300执行，进而解码镜射影像编码装置100分享的画面，以下即搭配图3的各个元件来说明本方法的步骤细节。

在步骤S410中，通讯单元310可从直接连线接收来自镜射影像编码装置100的数据。并且，在步骤S420中，影像处理单元320可判断数据是来自直接连线的影像通道或是串流通道。

对应于先前实施例中所教示的，若影像处理单元320判断所述数据是来自于串流通道，此即代表所接收的数据是传输串流，因此影像处理单元320可接续进行步骤S430以收集可用于进行H.264解码机制的多个帧。接着，在步骤S440中，影像处理单元440可采用H.264解码机制解码多个帧。并且，在步骤S450中，影像处理单元320可控制显示装置330显示解码后的多个帧。

另一方面，若影像处理单元320判断所述数据是来自于影像通道，此即代表所接收的数据是两个帧之间差异区块及其位置信息。

在一实施例中，影像处理单元320可先判断所述数据是否被压缩。若是，则影像处理单元320可先对所述数据进行解压缩，并接续进行步骤S460。若否，则影像处理单元320可直接进行步骤S460。

在步骤S460中，影像处理单元320可依据数据中的差异区块及其位置信息调整当前帧，并且在步骤S470中，控制显示装置330显示当前帧。

换言之，当影像处理单元320判断来自镜射影像编码装置100的数据仅是差异区块及其位置信息时，影像处理单元320即可直接依据这些位置信息更动先前帧上对应位置的像素区块的，进而产生欲显示在显示装置330上的当前帧。从另一观点而言，影像处理单元320除了不需等待收集到足够数量的帧之后才进行H.264的解码机制，亦不需对所述数据进行例如解多工（demultiplex）等处理。如此一来，镜射影像解码装置300的解码效率即可有效地提高。具体而言，在当前帧与先前帧之间的差异度不大时，镜射影像解码装置300可节省下收集用于进行H.264解码机制的帧的时间，进而避免因收集帧的时间过长所造成的屏幕镜射延迟情形。此外，由于不需对所述数据进行解多工等处理，因而可视为额外省下了用于进行解多工处理的时间。

综上所述，本发明实施例提出的镜射影像编码方法及其装置可在当前帧与先前帧之间的差异度不高于预设门限值时，仅将当前帧与先前帧之间差异区块及其位置信息发送至镜射影像解码装置，而不需等待收集到足够数量的帧之后才进行H.264的编码机制。此外，由于不需将差异区块及其位置信息与对应的音频部分进行多工处理，因而可视为亦省下了进行多工处理的时间。如此一来，镜射影像编码装置的编码效率即可有效地提高。

因应于来自前述镜射影像编码装置的差异区块及其位置信息，本发明实施例提出的镜射影像解码方法及其装置可直接依据这些位置信息更动先前帧上对应位置的像素区块，进而产生欲显示在显示装置上的当前帧。因此，镜射影像解码装置同样不需等待收集到足够数量的帧之后才进行H.264的解码机制，并且亦不需进行解多工等处理，进而使得其解码效率对应地提高。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求书所界定者为准。

Claims (12)

1.一种镜射影像编码方法，适于镜射影像编码装置编码分享至镜射影像解码装置的画面，其特征在于，所述方法包括下列步骤：

取样储存于缓冲器中的当前帧；

判断该当前帧与先于该当前帧的先前帧之间的差异度是否高于预设门限值，其中该差异度为该当前帧与该先前帧之间的至少一差异区块的总面积与整个该当前帧的面积之间的比例；

若否，记录该当前帧与该先前帧之间的该至少一差异区块及该至少一差异区块的至少一位置信息；以及

通过直接连线的影像通道发送该至少一差异区块及该至少一差异区块的该至少一位置信息至该镜射影像解码装置。

2.如权利要求1所述的方法，其特征在于，该至少一差异区块包括该当前帧与该先前帧之间相异的至少一像素区块，且该至少一位置信息包括该至少一像素区块在该当前帧中的座标信息以及尺寸信息。

3.如权利要求1所述的方法，其特征在于，在判断该当前帧与先于该当前帧的该先前帧之间的该差异度是否高于该预设门限值的步骤之后，更包括：

当该差异度高于该预设门限值时，采用H.264编码机制编码该当前帧以及储存于该缓冲器中的多个暂存帧；

将编码后的该当前帧以及该多个暂存帧与对应的音频部分进行多工处理以产生传输串流；以及

通过该直接连线的串流通道发送该传输串流至该镜射影像解码装置。

4.一种镜射影像编码装置，其特征在于，包括：

缓冲器；

通讯单元；

取样单元，耦接该缓冲器，经配置以取样储存于该缓冲器中的当前帧；以及

影像处理单元，耦接该取样单元以及该通讯单元，经配置以执行下列步骤：

判断该当前帧与先于该当前帧的先前帧之间的差异度是否高于预设门限值，其中该差异度为该当前帧与该先前帧之间的至少一差异区块的总面积与整个该当前帧的面积之间的比例；

若否，记录该当前帧与该先前帧之间的该至少一差异区块及该至少一差异区块的至少一位置信息；以及

控制该通讯单元通过直接连线的影像通道发送该至少一差异区块及该至少一差异区块的该至少一位置信息至镜射影像解码装置。

5.如权利要求4所述的镜射影像编码装置，其特征在于，该至少一差异区块包括该当前帧与该先前帧之间相异的至少一像素区块，且该至少一位置信息包括该至少一像素区块在该当前帧中的座标信息以及尺寸信息。

6.如权利要求4所述的镜射影像编码装置，其特征在于，当该差异度高于该预设门限值时，该影像处理单元采用H.264编码机制编码该当前帧以及储存于该缓冲器中的多个暂存帧，并将编码后的该当前帧以及该多个暂存帧与对应的音频部分进行多工处理以产生传输串流，以及通过该直接连线的串流通道发送该传输串流至该镜射影像解码装置。

7.一种镜射影像解码方法，适于镜射影像解码装置解码镜射影像编码装置分享的画面，所述方法包括下列步骤：

从直接连线接收来自镜射影像编码装置的数据；

判断该数据是来自该直接连线的影像通道或是串流通道；

若该数据来自于该影像通道，依据该数据中的至少一差异区块及该至少一差异区块的至少一位置信息调整当前帧，其中，该当前帧与先于该当前帧的先前帧之间的差异度不高于预设门限值，该差异度为该当前帧与该先前帧之间的该至少一差异区块的总面积与整个该当前帧的面积之间的比例，该至少一位置信息对应于该当前帧与该先前帧之间的该至少一差异区块；以及

控制显示装置显示该当前帧。

8.如权利要求7所述的方法，其特征在于，该至少一差异区块包括该当前帧与该先前帧之间相异的至少一像素区块，且该至少一位置信息包括该至少一像素区块在该当前帧中的座标信息以及尺寸信息。

9.如权利要求7所述的方法，其特征在于，在判断该数据是来自该直接连线的该影像通道或是该串流通道的步骤之后，更包括：

若该数据来自于该串流通道，收集可用于进行H.264解码机制的多个帧，而该多个帧包括该当前帧；

采用该H.264解码机制解码该多个帧；以及

控制该显示装置显示解码后的该多个帧。

10.一种镜射影像解码装置，包括：

通讯单元，经配置以从直接连线接收来自镜射影像编码装置的数据；

影像处理单元，连接该通讯单元以及显示装置，经配置以执行下列步骤：

判断该数据是来自该直接连线的影像通道或是串流通道；

若该数据来自于该影像通道，依据该数据中的至少一差异区块及该至少一差异区块的至少一位置信息调整当前帧，其中，该当前帧与先于该当前帧的先前帧之间的差异度不高于预设门限值，该差异度为该当前帧与该先前帧之间的该至少一差异区块的总面积与整个该当前帧的面积之间的比例，该至少一位置信息对应于该当前帧与该先前帧之间的该至少一差异区块；以及

控制该显示装置显示该当前帧。

11.如权利要求10所述的镜射影像解码装置，其特征在于，该至少一差异区块包括该当前帧与该先前帧之间相异的至少一像素区块，且该至少一位置信息包括该至少一像素区块在该当前帧中的座标信息以及尺寸信息。

12.如权利要求10所述的镜射影像解码装置，其特征在于，更包括连接至该通讯单元以及该影像处理单元的缓冲器，其中若该数据来自于该串流通道，该影像处理单元更经配置以：

从该缓冲器中收集可用于进行H.264解码机制的多个帧，而该多个帧包括该当前帧；

采用该H.264解码机制解码该多个帧；以及

控制该显示装置显示解码后的该多个帧。