CN103631548B - 影像外接装置及处理影像外接装置的方法 - Google Patents

Abstract

一种处理影像外接装置的方法，包括下列步骤。首先，接收第一数目的基础区域更新需求，每一基础区域更新需求对应一个影像区域。这些基础区域更新需求由一电子装置产生，对应一显示影像的更新内容。其次，根据这些基础区域更新需求所对应的影像区域进行计算，整合到传送影像区域。接着，将传送影像区域通过外部接口传送到影像外接装置。

Description

影像外接装置及处理影像外接装置的方法

技术领域

本发明涉及影像外接装置的处理方法以及影像外接装置，且尤其涉及画面更新处理的影像外接装置的处理方法及影像外接装置。

背景技术

今天生活中有许多不同的电子装置，大部分都需要使用到显示器。有些时候，为了可携带性的考虑，显示器的尺寸会做的比较小，例如上网笔记本电脑、平板电脑或手机。然而，这些设备的处理能力与日俱增。只要加上适当的输出接口与外接显示器，这些设备就可以为使用者提供高分辨率的画面。

这里提到的外接显示器包括常见的液晶屏幕、投影仪或其他能显示画面的装置。目前常见用于连接外接显示器的接口包括DVI、HDMI、Thunderbolt等。另一种常见的做法是将USB等外接显示适配器等装置的一端安装到计算机，另一端安装到外接显示器，以将计算机提供的画面经过处理，输出到外接显示器。

然而，通过USB等接口将影像输出到影像外接装置虽然方便，但常常受限于USB等接口的传输速率等因素，使得外接显示器的画面更新有不理想的情况。

因此，如果能够提供一种更有效率的影像外接装置的处理方法，将能够让使用者得到更多的使用上的便利和效益。

发明内容

本发明的实施例包括一种处理影像外接装置的方法，该方法包括下列步骤。首先，接收第一数目的基础区域更新需求，每一基础区域更新需求对应一个影像区域，且这些基础区域更新需求由一电子装置产生，对应一显示影像的更新内容。

其次，根据第一数目的复数基础区域更新需求所对应的影像区域进行计算，整合到第二数目的传送影像区域。并且，将第二数目的传送影像区域通过外部接口传送到影像外接装置。

在这个实施例中，第一数目可以大于第二数目。另外，多个基础区域更新需求可以被整合成一个传送影像区域，这个传送影像区域为多个基础区域更新需求的更新结果。

在这个实施例中的具体例子中，多个基础区域更新需求可由电子装置的操作系统产生，而这种处理影像外接装置的方法则由电子装置内执行的驱动程序实现。并且，驱动程序负责将显示影像通过外部接口传送到影像外接装置。

此外，在这个实施例的另一个具体例子中，还包括设定预定时间周期，及将在预定时间周期内，将对应的基础区域更新需求整合成对应的影像传送区域。

上述的外部接口的实施例包括USB传输接口。并且，在传送画面更新数据时，可先将传送影像区域传送到图像处理装置的一屏幕外存储器（off-screen memory），由图像处理装置存取传送影像区域的内容，再将其更新到显示画面的对应区域。这个做法可配合BitBlit指令方式进行。

根据本发明的另一个实施例提供了对应上述处理方法的影像外接装置。

跟据本发明的另一个实施例还提供了一种图像处理方法，用于电子装置，供在显示器上显示显示影像。首先，接收第一数目的基础区域更新需求。每一该基础区域更新需求对应一个影像区域，这些基础区域更新需求由电子装置产生，对应一显示影像的更新内容。并且，针对第一数目的多个基础区域更新需求所对应的影像区域进行计算，参考显示器的显示特性，计算整合至第二数目的传送影像区域。

在过去的做法中，由于每次操作系统触发的画面更新都直接被传送到影像外接装置，加上局部区域必须逐行传送，在画面更新时会因为传输速率的限制而导致画面不流畅。通过上述的实施例，可以有效地传输画面更新数据。

附图说明

下面结合附图和实施例对本发明做进一步说明。

图1为根据本发明一实施例的配置图。

图2为根据本发明一实施例的电子装置系统架构图。

图3为根据本发明一实施例的软件架构示意图。

图4为根据本发明一实施例的流程图。

图5A示出了画面更新的示意图。

图5B示出了画面更新的示意图。

图5C示出了画面更新的示意图。

图6示出了基础区域更新需求跟传送影像区域的关联示意图。

图7示出了省略画面更新的示意图。

图8A示出了整合更新画面步骤的示意图。

图8B示出了整合更新画面步骤的示意图。

图9A示出了整合更新画面步骤的示意图。

图9B示出了整合更新画面步骤的示意图。

图10示出了传送更新画面数据的示意图。

图11示出了传送更新画面数据的示意图。

图12示出了根据本发明的实施例设置的示意图。

图13示出了根据本发明另一实施例设置的示意图。

图14示出了根据本发明另一实施例设置的示意图。

图15示出了根据本发明另一实施例设置的示意图。

具体实施方式

首先，请参考图1。图1示出了根据本发明的第一实施例。

计算机104本身具有内建显示器106。除此以外，还通过一外接显示适配器108连接到一外接显示器102。在这个用来说明的具体实施例中，外接显示适配器108通过USB接口与计算机104连接。并且，外接显示适配器108通过数字视频接口DVI（Digital VisualInterface）与外接显示器102连接。

在这个实施例中，计算机104可以是常规的笔记本电脑。然而，在其他的实施例中，计算机104也可以替换成一般的桌面计算机或其他各种电子设备，例如影片播放器、平板电脑、手机等等。

另外，在这个实施例中，计算机104具有内建显示器106。然而，在其他的实施例中，内建显示器106不一定是必要的配备，例如光驱播放器或是数字电视的机顶盒等情况，外接显示器102可以是主要的显示器。

另外，在这个实施例中，外接显示适配器108以外部模块的方式与计算机104连接。然而，在其他的实施例中，相对于外接显示器102作为外部装置的计算机104也可以替换为：将本实施例中的外接显示适配器108安装在这个外部装置中，而共同构成一个整体。此外，在其他的实施例中，这个外接显示适配器108也可以跟外接显示器108结合，而构成一个整体。

另外，在这个实施例中，外接显示器108为具有显示屏幕的显示器。然而，在其他的实施例中，外接显示器108也可以是投影仪，接收视频画面并加以录制的录像装置等。

接着，请参考图2。图2示出了在图1中的计算机104的一种可行的架构示意图。

在图2的例子中，计算机104包括处理器201、内存203、内部独立显示适配器205、硬盘207、USB控制器209、USB传输接口211。处理器201从硬盘207将程序代码加载到内存203，并且根据需要执行程序代码以完成各种运算工作。

通常，运算工作的一部分包括产生图像数据，经由总线213传送给内部独立显示适配器205。内部独立显示适配器213对这些图像数据进行进一步的处理后，产生对应的图像流215传送给图1的内部显示器106。

除此以外，处理器201经由USB传输接口211和USB控制器209可以知道图1的外接显示适配器是否连接。假如有连接的话，处理器201根据硬盘读到的程序代码产出所需的图像数据。这些图像数据经由总线213传送到USB传输接口，进而传送到图1的外部显示适配器108。图1的外部显示适配器108处理这些图像数据，并转换成对应的图像流，进一步传送给图1的外部显示器102进行显示。

在图2所示的实施例中，计算机104由多个模块组成。然而，在其他的实施例中，根据不同的设计需求，这些组件可以做相应的调整或删除。例如，USB传输接口211可以改成thunderbolt接口、一般常见的AV端子接口或特别设计的规格接口等。如上所述，在其他的实施例中，计算机104可以替换成其他的电子装置，例如手机。因此，图2的组件甚至也可以部分或全部整合在同一集成电路芯片里。

接着，请参考图3。图3示出了图2的计算机104的一种可能的软件架构图。

在图3中，计算机安装了操作系统。操作系统通过驱动程序A、驱动程序B、驱动程序C等底层驱动程序与各种硬件进行通信。另一方面，操作系统通过应用程序编程接口(API)，与应用程序A、应用程序B、应用程序C等应用程序进行通信。通过这类的软件架构，图1的计算机104得以有秩序地完成各项指定工作。

在这个例子中，图1的外接显示适配器108有可能直接得到操作系统支持，而不需要额外安装另外的驱动程序。另一种可能是，图1的外接显示适配器108需要安装相应的驱动程序，以让操作系统可以知道如何和外接显示适配器108进行通信。

举例来说，用户通过操作系统的接口，可设定图1的外接显示器102显示与内建显示器102同样的内容。用户也可通过操作系统的接口，设定图1的外接显示器102显示与内建显示器102不同的内容，而扩大显示的内容。此外，外接显示器102也可以设定成专属某特定应用程序作为显示输出之用，例如播放影片。

在运作的过程中，驱动程序可提供信息给操作系统做进一步的判断和处理。然而，根据不同的设计需求，驱动程序也可以自行处理一部分与外接显示适配器108之间的通信，而不需把所有信息都传给操作系统。

在以下进一步说明的例子中，外接显示适配器108的处理步骤，在需要的时候，也可以部分交由对应的驱动程序进行处理。

驱动程序的程序代码，可以由外接显示适配器108的厂商，以光盘、在线下载或其他媒介提供给用户。这样的驱动程序的程序代码也可以由第三方进行编写和提供。

在这个实施例中，软件在逻辑上被划分成多层的多个模块。然而，在其他的实施例中，软件架构可以根据实际需求而进行调整。甚至，这里所描述的软件架构也可以部分或全部转换成对应的硬件电路。

接着，请参考图4，其示出了根据本发明的一种处理影像外接装置的方法的流程图。

首先，如上述图3中的操作系统根据用户的操作或上述应用程序的运作，计算有多少区域的画面需要进行更新。通常，为了效率的考虑，这些区域常常是矩形，但本发明的更新区域并不限于矩形。

这里提到的用户的操作范例，例如用户使用鼠标将某个窗口进行拖拉的移动，或是放大/缩小的移动，或是在某个区域进行画图、填上文字等等。

这里提到的应用程序的运作范例，例如应用程序更新状态，或是根据特定程序的运算在某个区域对画面进行更新等。

这些来自操作系统或其它组件，对于画面更新的需求在以下的例子中称为基础区域更新需求（basic area updating request)。此外，每个基础区域更新需求对应到一个影像区域（image area）。换言之，假设用户移动了鼠标，拖拉某个窗口，可能触发了20次的鼠标移动事件（event），而每次的鼠标移动事件，操作系统会去计算到底涉及多少影像区域需要更新。假如某次的鼠标移动事件涉及了三个影像区域，则理解成产生了三个基础区域更新需求。

在这个例子下，假如使用者使用图1的配置，这些来自操作系统的基础区域更新需求会由对应于外接显示适配器108的驱动程序接收（步骤402）。这个驱动程序在图1中的计算机执行，通常与外接显示适配器一起卖给使用者。使用者安装驱动程序，以使用外接显示适配器。另一种情况是操作系统已经内建了这个驱动程序，或将其实现为操作系统的一部分，而不特别称为驱动程序，也应该被视为和以下介绍的实施例具有相同的发明构思。

此外，图1的外接显示器102要对应鼠标操作，进行画面更新，就必须由计算机104提供给外接显示适配器108对应的数据。如果外接显示适配器108跟计算机104间的传输速度足够快，理论上，这些基础区域更新需求的每一个传送给外接显示适配器108即可。但假如外接显示适配器是通过例如USB 1.0、USB 2.0、WiFi等较慢的外部接口（externalinterface），具有有限或较低的数据传输速率。或是即使使用比较快的USB 3.0或其他快速传输接口，但由于当时除了显示器102，同一个外部接口还有其他的传输需求，也可能造成传输率的不足。在这样的情况下，如果处理每一个基础区域更新需求，可能会产生明显的画面更新延迟的视觉影响。这样的情况会造成使用者的不安和烦躁。

因此，驱动程序分批分析这些基础区域更新需求，并算出对应的传送影像区域（transmitted image area）。在分析的过程中，驱动程序可以直接省略掉一定数目的基础区域更新需求（步骤404）。举例来说，假如某个基础区域更新需求所对应的影像区域曾经应该要出现在显示画面，但出现的时间非常短，且在一个预定的时间周期结束前已经消失被别的画面取代，则可以直接省略掉这个基础区域更新需求。例如，某个区域的颜色进行逐渐变淡的更新，为了产生平顺的变淡效果，可能涉及100次的更新，但即使直接省略掉一半次数的更新，仍然能保留一定程度的平顺度，但却能立刻节省一半的数据传输量。因此，虽然使用者最好能看到这些对应的影像区域的更新，但假如在传输率有限的情况下，省略掉这些内容可以带来比较流畅的影像更新效果，则也是一个值得考虑的设计选项。

此外，驱动程序可以计算多个基础区域更新需求对应的影像区域之间，是否全部都执行更新之后，会出现其实并不需要更新的子区域。这些子区域也可以进行省略，而不进一步传给外接显示适配器108。

除了省略掉能够省略的内容，驱动程序也可以整合多个有重迭的基础区域更新需求，将其整合成一个传送影像区域（步骤406）。举例来说，用户可能用鼠标将一个窗口做一个拖曳的动作。这个拖曳的动作可能触发100次的鼠标事件，因此操作系统产生100个基础区域更新需求给驱动程序。这100个基础区域更新需求可能全部只占了10毫秒。此时，驱动程序可以设定一个预定时间周期，例如1毫秒，这100个基础区域更新需求就会被分成10组。每组基础区域更新需求由驱动程序进行累积的更新计算，并且只将每个预定时间周期的累积更新计算结果传给外接显示适配器108。

换言之，原本要传送100次基础区域更新需求对应的影像更新数据，通过这样的做法，只要传送10次整合后的传送影像区域。由于要进行这样的整合本身也需要一定的运算时间，因此，驱动程序可以参照人眼的变动察觉能力，以及外部接口的传输率，来决定到底应该把第一数目的基础区域更新需求，整合成对应第二数目的传输影像区域。通常，第一数目大于第二数目代表着节省一定比例的数据传送。

除了根据外部接口的传输率，在图1的例子中，也可以根据外接显示适配器108所连接的外接显示器102的显示特性来决定上述第一数目与第二数目之间的比例。举例来说，即使是使用同样的外接显示适配器108，也可能连接不同规格的外接显示器102。假如外接显示适配器108与外接显示器102之间的连接是通过HDMI等传输接口进行连接，外接显示适配器108可以得知外接显示器102的显示参数，例如每秒更新几张画面等。假设外接显示器102本身就不支持够快的画面更新率，即使用较高的整合比例，也不会造成结果的太大影响，但却能大幅减少外接显示适配器104跟计算机104间的数据传输量。

此外，驱动程序也可以提供设定接口，让用户设定上述第一数目跟第二数目之间的比例，决定整合的程度。

经过上述省略更新内容等整合操作后，需要传送的画面更新数据获得了明显的减少。接着，这些要被传送的数据，也就是传送影像区域，传送给影像外接装置（步骤408），例如图1的外接显示适配器108。

在将传送影像区域传送给影像外接装置时，可将这些传输数据先传到影像外接装置的显示内存，例如帧缓存（frame buffer）。这样，影像外接装置便能直接更新显示画面内容。另一种做法是，在将传送影像区域传送给影像外接装置时，可将这些传输数据先传送到影像外接装置的屏幕外存储器（off-screen memory）。再由影像外接装置在适当的时间将屏幕外存储器的更新数据更新到显示画面中。

将传输数据填写到屏幕外存储器的做法在例如USB等传输协议时特别有用，以下将配合图示做更清楚的说明。

通过上述的设计，便能提供一种有效的处理影像外接装置的方法。配合这样的处理方法，便能提供对应的有效影像外接装置。

接着，以下将配合图示，更清楚地解释上述实施例，并且介绍可能的其他实施例做法。

请参考图5A、图5B和图5C，这三个附图示出了一个基础区域更新需求的范例。

在这三个附图所示的例子，当用户用鼠标操作对窗口51进行拖曳，拉到位置52，此时操作系统进行运算，得到三个基础区域更新需求，对应到A、B、C三个影像区域53，54，55。

接着，请参考图6。操作系统62计算出这三个基础区域更新需求621后，将其传送给驱动程序64，驱动程序对其进行处理，产生了对应的传输影像区域A,B,C的数据，通过USB等外部接口，将数据传送给影像外部装置。

如果经过分析还是无法省略或整合，上述的驱动程序将传输影像区域A,B,C的数据传给影像外部装置。然而，如果分析后，发现有可以省略的基础区域更新需求，则将其进行省略。

除了上述同区域进行色彩淡出等情况，可以直接省略一定比例的基础区域更新需求，即使更新区域有改变，仍然可以省略掉一定比例的基础区域更新需求。

图7示出了在一预定时间周期内，有多个基础区域更新需求发生的例子。在这个例子中，在区域701的窗口被进行了拖曳操作，在预定时间周期内，陆续经过了区域702、703、704跟705。假如背景是固定的颜色，此时即使直接省略掉对应区域702与704的基础区域更新需求，而只传送区域701、703、705对应的基础区域更新需求，即可减少40%的数据传输量。

接着，请参见图8A与图8B的例子。这两个附图示出了即使假设5个基础区域更新需求已经省略掉两个区域，还有三个区域需要处理。如图5C跟上述说明所述，图8A的三个更新区域，在这个例子中对应于9个基础区域更新需求。

接着，请参见图9A跟图9B的例子。这两个附图示出了将多个更新区域整合成一个区域的方法。在图9A中，窗口从区域91按序被拖曳到区域92、93、94。假设驱动程序发现这三个更新区域92、93、94都是在一个预定时间周期内发生，例如10毫秒，驱动程序便将这三个更新区域整合成一个区域95。

换言之，驱动程序将对应更新区域92、93、94的基础区域更新需求继续计算，计算出更新后的结果。相较于直接将对应更新区域92、93、94的基础区域更新需求直接传给外接显示适配器，整合后的数据只需传送一次区域95的画面数据即可。因此，传送的资料量得到了进一步的缩减，显示画面的更新度也因此得到了更进一步的改善。

接着，请参见图10。图10示出了了在USB等外部接口传送更新数据的情况。

假设需要传送的更新区域数据105包含六列（row）A,B,C,D,E,F。并且，更新数据是直接要写到影像外接装置的显示内存，例如帧缓存（frame buffer）。假设第一列A的开头地址是1200单位，而一列的数据量是1000单位，则第二列B的开头地址是2200，第三列C的开头地址是3200，第四列D的开头地址是4200，第五列E的开头地址是5200，而第六列F的开头地址是6200。

因此，虽然这六列属于同一个更新区域，但在传送时却对应于六项独立的数据传输。并且，如果是在USB等外部接口中的传输，除了要传送基本的数据1071，还需要传送对应的包头（header）1073等。

图11示出了另一种传送更新数据的方法。这个方法应用了Bit Blit或相应的功能。Bit Blit是目前大部分显示适配器都有支持的一个功能，其设计的目的主要是为了进行动画。在一般的动画操作中，代表不同动作的一个角色图案会被依序贴在一个背景上。如果直接将角色图案写到画框内存等显示内存，等到要另一个角色图案时，就需要重新再重新异动画框内存。因此，这些角色图案被写到一个屏幕外存储器（off-screen memory），接着通过一个Bit Blit指令，使显示适配器的硬件从屏幕外存储器读取对应的角色图案，并且在适当的时间更新到对应的屏幕内存。由于这类的操作不需要经由处理器进行，效率比一般的更新来的更有效率。

如图1的例子中，外接显示适配器108所配备的处理芯片大部分具有BitBlit功能。因此，在传送更新数据时，可将多列的更新数据一次传到影像外接装置的屏幕外存储器，并且将相应的Bit Blit指令发给影像外接装置。

在图11中，A,B,C,D,E,F六列更新数据被包装在一起，传送到影像外接装置的屏幕外存储器113。换言之，这种传送方法省略了前述做法的包头部分。此外，这种做法只需要进行一次传输。这样的做法在USB等外部接口下会带来显著的时间节省，因为在USB的传输时，如果将数据通过多次传输，除了包头占据的数据量，每次传输需要进行装置间的通信，也会占用相对比例的处理时间。

接着，请参考图12、图13跟图14。这三个附图示出了了三种可能的实施例变化。

图12示出了的实施例中，计算机A 123除了将数据显示在自己的显示器A121上之外，还通过外接显示适配器125将显示画面呈现在显示器B 127上。显示器A 123的画面可以设定为与显示器B 127一致。此外，显示器B 127也可以设定成为显示器A 121的延伸。

根据上述的说明，本领域技术人员应该知道如何将上述画面更新的做法应用在这样的系统配置中，此处不再赘述。

图13示出了的另一实施例中，计算机A 133连接到显示器A 131。计算机B 137通过网络135连接到计算机A 133，并且要在显示器B 139上显示与显示器A相同的内容。这样的应用可以用在远程桌面。在这样的情况下，计算机A 133中可以安装类似上述驱动程序的画面更新指令，这样在显示器A 133画面更新要传送到远程的计算机B 137时，可以用上述省略等整合方式，先将要传到影像外部装置的基础区域更新需求进行分析处理，减少要传送的数据量，再用上述的Bit Blit方法来有效地传送数据。通过这样的做法，可以在网络带宽有限的情况下，尽可能保持画面更新的流畅度。

图14示出了的另一个实施例中，平板电脑147通过网络145连接到计算机A 143，以便在平板电脑147的屏幕上显示与显示器A 141相同的内容。相似于上述说明，上述的处理影像外接装置的方法，也可以写成指令，安装在计算机A 143中执行，以便更流畅地完成画面更新的操作处理。

上述的影像外接装置也可以整合到上述的电子装置内。在图15的例子中，平板电脑需要处理的画面更新操作，也可以通过上述的处理影像外部装置的方法，对要更新的画面数据进行整合后，以较少的数据量进行画面更新。

对于电子墨水或是为了省电的目的，这样的做法也能达到一定的效益。至于到底要整合到什么程度，例如上述的第一数目与第二数目之间的比例，则可根据显示器的显示特性等，进行自动调整或是提供设定接口给用户自行设定。

尽管上面已经用多个例子来说明本发明的构思，但必须说明的是，除了这些例子外，本领域技术人员当然也可以做出更多的变化，而仍然属于本发明所涵盖的范围内。

Claims (9)

1.一种处理影像外接装置的方法，包括：

接收第一数目的基础区域更新需求，每一所述基础区域更新需求对应一个影像区域，所述基础区域更新需求由一电子装置产生，以对应到一显示影像的更新内容；

根据所述第一数目的所述基础区域更新需求所对应的所述影像区域进行计算，整合到第二数目的传送影像区域，所述第一数目大于所述第二数目；

将所述第二数目的所述传送影像区域通过外部接口传送到影像外接装置；以及

根据所述外部接口的传输速率和画面的平顺度，决定所述基础区域更新需求对应的所述第一数目与所述传送影像区域对应的所述第二数目之间的比例。

2.如权利要求1所述处理影像外接装置的方法，其中多个所述基础区域更新需求被整合成一个所述传送影像区域，所述一个传送影像区域为所述多个基础区域更新需求结合的更新结果。

3.如权利要求1所述处理影像外接装置的方法，所述基础区域更新需求由所述电子装置的操作系统产生，所述处理影像外接装置的方法由在所述电子装置内执行的驱动程序实现，所述驱动程序负责将所述显示影像通过所述外部接口传送到所述影像外接装置。

4.如权利要求1所述处理影像外接装置的方法，还包括设定预定时间周期，及将在所述预定时间周期内对应的所述基础区域更新需求整合成对应的所述影像传送区域。

5.如权利要求1所述处理影像外接装置的方法，还包括将所述传送影像区域传送到所述影像外接装置的屏幕外存储器，由所述影像外接装置存取所述传送影像区域的内容，更新到所述显示画面的对应区域。

6.如权利要求1所述处理影像外接装置的方法，其中所述传送影像区域是使用BitBlit指令方式进行。

7.一种影像外接装置，通过外部接口连接到一电子装置，所述电子装置执行权利要求1所述处理影像外接装置的方法。

8.如权利要求7的影像外接装置，其中所述影像外接装置包括显示器。

9.如权利要求8的影像外接装置，其中所述影像外接装置在接收所述传送影像区域后，通过显示器呈现所述显示影像的更新结果。