CN1258413A - 图像产生和编码 - Google Patents

Abstract

一种用于产生和编码用于发送到手持或移动设备的图像的方法利用一种对象组件技术,其中图像由有限的组件类型的集合所构成,特别是点和多边形。图像被编码为所要画出的对象的列表,每个对象由命令字(图3)所指定,其后跟随着一个或多个在固定坐标图像区域中定位对象的坐标字(图4)。该命令字表示对象的轮廓颜色(c),对象的类型(CC),以及是否可以由用户所选择以进行交互作用(s)。在命令字中的参数位(p)表示点的半径或多边形顶点的数目。通过特定类型(CC)设置,可以在图像中包括文本串。

Description

图像产生和编码

本发明涉及图像的形成、操纵和编码，特别涉及用于传送到一个或多个远程用户的手持或移动设备的图像对象或从该设备接收的图像对象的编码，但不专用于此。

大多数当代的手持移动设备是由基于文本的用户界面所驱动的。通过这些界面用户可用浏览手机的功能并且选择和执行所需的任务。这种移动设备也可以采用象短信息服务(SMS)这样的全球数字移动通信系统(GSM)数字标准的一部分协议进行信息交换。这些基于文本的显示具有有限的能力，并且缺少显示的灵活性以及图像信息的吸引力。现在越来越需要包含图像信息来改善用户界面和信息的交换。

移动通信系统设法通过利用显示图标来表示或支持信息以提高信息的易理解性的一个例子在国际专利申请WO97/19429(Motorola/Deluca等)中描述。在所述的移动电话接收器中，图像数据库保持多个预定的图像的图像数据，每个图像由各自的(并且标准化的)代码所标识。在从另一个用户接收寻呼信息时，该手机处理器首先扫描该信息以识别它是否包含用于存储在图像数据库中的一个或两个图像的代码，并且在找到这些代码时，它在手机的显示屏上产生这些图像。其次，它扫描关于任何字符串数据的信息，如果发现的话，则把其转换为文本信息并显示在图像下方的屏幕上。

尽管该装置可以增加寻呼信息的吸引力和可理解性，但是它的灵活性受到要预先把图像数据下载到手机上的限制：尽管从手动数据输入到通过无线电下载图像数据文件已有各种用于更新手机的图像数据库的技术，所存在的问题是每个有限的图像组的标识必须标准化——至少要在一对利用该项服务的用户之间进行标准化。

因此，本发明的一个目的是提供一种用于显示在手持或移动设备的屏幕上的图像的极其简洁的产生和编码技术，该图像的数据可以作为整个信息或信息的一部分发送。

另一个目的是提供一种配置为接收、解码和显示这种编码图像的通信装置。

根据本发明的第一个方面，在此提供一种用于产生和编码用于发送的图像的方法，该方法包括如下步骤：从多个来自预定的对象类型组的组合对象组成图像，该组成包括在固定的坐标设定的图像区域内缩放和定位每个对象；产生一个标识在图像的再生中组合对象要被再现的次序的次序再现列表；依次编码该列表的每个对象作为标识该对象类型的第一数据字以及一个或多个为所述对象指定坐标的其它字。通过指定处于对象重叠分布形式中的图像(可以包括点、多边形和文本串)，发送者在可能要被发送的图像的形式上具有很大的灵活性。另外，通过限制为有限的对象类型组，发送该图像的所需的数据量保持为非常低。

为了允许一定程度的交互作用，图像的接收者可以选择构成该图像的一个或多个对象，为此目的，第一数据字可以包括表示该对象是否可以由图像的接收者从完整的图像中选择的指示符。第一数据字还可以包括关于是否各种对象作为轮廓或填充形式再现的指示符：其中该图像是多边形，在第一数据字之后所跟随的其它字可以适当地在图像区域内确定所述多边形的每个顶点的序列坐标，这样可以确定不规则和相对复杂的多边形。

固定坐标系图像区域(适于为128像素的方块)使得所有对象坐标可以相对地确定而不需要知道目标设备显示屏的尺寸和分辨率。

另外根据本发明，在此提供一种配置为接收和解码根据上述方法所产生和编码的图像的便携式通信装置，该装置包括：显示设备，其与被设置为格式化用于显示的图像的显示驱动器电路相耦合；接收器，其与所述显示驱动器相耦合并且被配置为接收编码图像数据并把其传给该显示驱动器；以及第一存储器装置，其与所述显示驱动器相耦合，并且包含所述对象标识符代码，所述显示驱动器被配置从该对象数据重构图像，并把其输出到显示屏。

当显示屏与图像区域相比在高度和/或宽度上不同时，该装置还可以包括乘法装置，其与该显示驱动器相耦合，并且被设置把图像对象的坐标缩放为显示屏的尺寸。

适当地，该装置还可以包括输入装置，通过操作该输入装置，用户可以选择一个或多个在代码流中由其第一数据字标识为可选的所选显示对象，该输入装置适合与信息格式化和发送装置相耦合，该信息格式化和发送装置被配置产生标识所选对象的信号并把其发送到图像发生源。这些输入装置可以包括与显示屏相重叠的触摸屏，或者该设备还包括多个用户可操作的控制器(例如，便携式电话的数字键)，该输入装置还可以作为这些用户可操作的控制器的可选择的第二功能而提供。

因此，该方法提供一种在低位率移动数据通信的优选形式中用于描述按照对象显示的图像的方法。该方法使得对象以一种独立于设备的方式显示于低分辨率至中分辨率的图像显示屏上，如移动电话或PDA(个人数字助理)的显示屏。另外，在一些实施例中，该方案使得用户可以用各种方法选择对象，例如触摸屏或通过光标选择。关于所选对象的信息可以被反馈回发信方，从而能够实现例如导航和交互显示方面的应用。

下面将参照附图通过举例描述本发明的优选实施例，其中：

图1是由7个对象所形成的组合对象图像的一个例子；

图2是图1的图像中的每个对象的各自属性的表；

图3表示标识一个对象的命令字的位结构；

图4表示对象坐标规范的位结构；

图5是来自图3的命令字的对象类型-位数值的表格以及它们的各自的含义；

图6是具体示出图1的图像中每个对象的序列编码的表格；以及

图7是适用于体现本发明的接收装置的方框原理图。

为了使图像直接传送到手持或移动设备，采用通过构成图像的对象(直线、多边形、点/圆等等)描述该图像的组合对象的规格。本申请人认识到用这种方法描述图像对于要在通常编码图像的整体尺寸较小与减小显示设备中所需的处理程度之间作出均衡的这种设备来说是有价值的技术。以组合对象形式来发送图像的主要优点是编码图像的尺寸。对于简单的直线图画来说，该编码的低冗余特性使得比基于位图的编码在相当大程度上节省了数据量。一个有用的附加特征是该图像可以容易地在显示点处缩放任意尺寸，使得该图像能够连续显示而与显示设备无关。

由于该图像基于编码对象和可视对象之间的明确关系(例如，一个对象可以是一座房屋的轮廓)，因此可以把附加信息以逻辑方式附加在对象上——例如，该对象是否由用户所“选择”，比如，通过用光标或触摸屏以一种逻辑方式点中该对象。对于需要显示该图像的处理，由于数据是作为一系列矢量而发送的，用于划线和填充显示区域的算法必须在显示设备中实现。但是，应当理解，这种算法是众所周知的，并且可以有效地实现。

用于如下实例中的构件图像对象包括三种主要画图对象：点、文本、和多边形；多边形可以具有一条至九条边，并且假设可以单色或双色显示，可以填充或不填充。每个对象可以用“黑色”(设置像素)或“白色”(清除像素)画出。图1示出总共由7个对象11-17所构成的组合对象图像10的一个例子。请注意，可以把对象相互重叠；对象是按照它们在编码数据流中指定的次序而画出的(如下文中所述)，并且编码数据表示显示对象的次序列表。隐含信息(即，列表中对象的数目)不需要明确地进行通知，但是可以用于把信息返回到图像的发信方(例如，用户所选择的对象的号码)。

作为一个例子，在图1的举例图像中的每个对象的属性在图2的表中示出。由于对象14(白色填充的多边形)是在对象13之后画出的(黑色填充的多边形)，它出现在箭头形状多边形13的上方。类似地，文本串(对象15)出现在白色填充的多边形14的上方。

组合对象图像中的所有顶点都用图1中所示的XY坐标系在固定坐标图像区域中指定，原点在上左角处，并且对于每条坐标轴的范围是0-127。尽管该图像区域是“方形”的(对于X和Y的范围是相同的)，但是显示设备不一定是方形的。图像可以在终端缩放以适于显示屏。

尽管当画图时不需要知道显示器的确切的显示分辨率，但是假设该图像被设计为用与该显示设备相一致的纵横比而画出的，已知：纵横比是宽度与高度的比例，这样一个160像素宽和64像素高的显示器具有2.5的纵横比，并且源图像被相应地按比例变化。另外，操作员可以在头标中把预定显示分辨率和排列指定给包含组合对象图像的信息，使终端相应地缩放该数据。

组合对象数据的编码要被特别压缩：每个要描绘的对象发送一个其后跟随着可变长数据的命令字。该数据可以是字符(7位ASCII码)或坐标(14位)。假设在该实例中接收器/解码器预先知道构成数据对象的长度，因此没有明显表示的末端；可以用多种机理把该结束信息通知给显示终端，这将在下文中得到说明——例如，如果GSM移动电话是接收设备，则它可以形成SMS分组头标的一部分。

该命令被格式化为数据的7位字。整个位格式在图3中示出，所有数据按照最高有效位到最低有效位的次序编码。第一位c是颜色位，并表示是用背景颜色(“白色”；c＝0)或是用前景颜色(“黑色”；c＝1)来描绘对象的边线。接着的两个位CC表示对象的类型(点、文本、填充或不填充的多边形)，其后是一个位s表示对象是否可以被在接收用户的设备上选择(0＝否；1＝是)，接着三个位ppp表示参数值0-7。三个参数位ppp的含义取决于所选的对象类型CC(在下文中描述)。

命令之后可以跟随着按照图像区域的坐标，并且按照图4所示进行格式化，在前的七个位给予用于X坐标的数值0-127，并且另外七个位给予用于Y坐标的数值0-127。

每个命令字有效地产生一个新的显示对象。除了下文所述的需要实际再现对象的信息之外，每个对象具有“可选”属性，通过在命令字中设置s位向显示终端表明一个对象是否可以由用户所选择。例如，表示美国行政区划地图的图像可以使每个州边界(被编码为一个多边形对象)为一个可选对象；这将使得用户可以通过一些方法在图形上选择一个州，以要求进一步的(地区性的)信息。

多种由用户选择对象的方法对于读者来说是显而易见的，并且取决于显示终端的能力。但是，请注意通过把选择能力的概念附加到对象上而不是附加到显示器的物理区域上，可以用不具有实际指示设备的设备来静态选择对象——例如，移动电话可以用上/下键来使光标循环通过每个所选对象，或者使每个可选对象在按下任何表示选择的其它按键之前轮流闪烁(通过周期性地切换颜色位c的数值实现)。

命令字的两个C位表示要被画出的对象的类型。这也确定命令字的参数位ppp的含义。图5的表格示出可能的设置和它们的含义。请注意，点命令(CC＝00)表示具有从1到8像素(ppp＝000至ppp＝111)的半径，并且圆心在由单个随后的坐标字所表示的点处的填充圆。另外，跟随在一个文本命令(CC＝01)之后的三个参数位之后的单个坐标字表示文本的第一个字符的上左部分的位置(假设在显示设备中具有固定的文本尺寸)。对于跟随在一个多边形命令(CC＝10或11)之后的坐标字来说，如果填充多边形的最后的点不与第一个点相一致，则在多边形由从该最后点到第一个点的直线所封闭。对于一个多边形命令，应当指出参数位ppp表示顶点的数目减2：这考虑到最简单的有效多边形具有两个顶点(即，为一直线，如图1中的对象11)，这使得范围发生变化，从而可以处理多达9个顶点的多边形。

通过具体的实例，图6的表格示出图1中所示的举例图像的组合对象的编码；从这一点可以看出整个图像可以表达为448个位的数据，或56个字节。

配置为接收和处理组合对象编码信息的移动/手持接收器的方框示意图在图7中示出。除了涉及本发明的操作之外的许多构成部件的功能为熟练的读者所熟知，因此将对其不具体描述。

所接收信号从天线20或其它信号输入端通过收发信机(transciever)22和解码器24电路级到达中央处理单元26，该单元(在本实施例中)也处理显示驱动器的功能，把图像和文本数据格式化为显示命令以输出到显示屏28。装置存储器30与处理器相耦合，并为该设备保存基本操作数据和程序。用户向处理器26的输入是通过控制器32进行的：这可以按照简单键盘和/或通过触摸屏装置与显示器28相结合的形式进行，如虚线34所示。该设备的其它常规功能(例如，音频处理)整体由标号36所示。

另一个存储器38与处理器26相耦合，其中包含命令字代码(参见图3和5)，以使处理器/显示驱动器26来编译所接收命令字，并重建编码图像：该存储器还保存用于文本串的ASCII码表。一个缩放电路级40还与该处理器相耦合，其中可以包括乘法器的简单硬件装置，用于把在所接收数据流中的图像区域坐标转换为适应显示设备28的可用区域和纵横比。最后，来自处理器26的输出信号，例如语音信息、对象选择的指示、或者在设备中产生的新图像(通过控制器32的用户操作产生)，被通过编码器42发送到收发信机22，以用于发送。

应当知道，图7中的方案可以有许多变化。例如，命令字代码存储器38可以与普通设备存储器30相结合。另外，解码器24/编码器42和/或缩放电路40可以完全嵌入在软件中，并且由处理器26所执行。另外，处理器的显示驱动器功能可以由一个分立的单元所处理，该单元可以具有能够读出显示数据的显示存储器。

触摸屏34极其适合于图像显示。它不仅提供一种对象选择的方法，而且提供用于对象创建的方法。这种与编码机构相耦合的输入机构可以使得图像信息打包到一条能够被发送并在接收器端解码的信息中，以使得图像在移动设备之间交换。

本发明具有广泛的应用领域，其中包括：用户可配置的用户界面、利用服务器剪辑技术的信息构成、汽车地图导航、交通信息、包括国际象棋和国际跳棋等在内的多种交互游戏。利用所述的编码技术的触摸屏用户界面使得可以用画笔画画，而用话机设备对该图画编码。利用这种输入机构，通过使图画和手写文字可以包含于在移动设备之间交换的信息中，使得信息变得个性化。独立选择对象的能力使得复热点(complex hotspots)得到定义，并且同时与图形本身相重叠。

从上文中，可以看出我们提供了一种使对象可以按照适于低位率移动数据通信的格式编码的装置。该编码方案使得对象能够映射到相关屏幕坐标，使该图像以独立于设备的方式再现。另外，由于在该编码方案中给予对象一个分离的标识，因此它们还能够分别在屏幕上高亮显示并选择。关于哪个对象被选择的信息可以反馈回发信方以进行导航和交互显示。

通过阅读本发明的公开文本，对于本领域内的专业技术人员来说还可以有其它显而易见的变形。这种变型可能涉及已经在交互图像编码设备的设计、制造和使用中已知的其它特点，并且其构成部件可以用于取代或增加在此已知描述的特点。尽管权利要求已经在本申请书中对于这些特点的特定组合进行阐明，应当知道本发明公开的范围还包括在此明示或暗示公开或者任何一般化的新特点和这些特点的新的组合，而无论它是否与在任何权利要求中声明的相同发明有关，并且无论它是否减轻本发明的任何或所有的相同技术问题。本申请人指出在本申请或从中派生出来的任何其他申请的执行过程中，新的权利要求可以阐明这些特点和/或这些特点的组合。

Claims (10)

1.一种用于产生图像和对图像编码以用于传输的方法，包括如下步骤：

由来自对象类型的预定集合的多个组合对象组成图像，该组成包括在固定的坐标系图像区域内对每个对象按比例变化和定位；

产生表示组合对象在图像的再生中再现的次序的次序再现列表；

依次把该列表的每个对象编码为表示对象类型的第一数据字以及一个或多个表示所述对象坐标的字。

2.根据权利要求1所述的方法，其特征在于，所述第一数据字包括关于该对象是否可以由所述图像的接收者从整个图像中选择的标识符。

3.根据权利要求1或2所述的方法，其特征在于，所述第一数据字包括关于该对象是否作为轮廓再现或被填充的标识符。

4.根据权利要求1、2或3所述的方法，其特征在于，该对象是多边形，并且跟随在第一数据字之后的所述其它字表示所述多边形的每个顶点在图像区域中的顺序坐标。

5.根据权利要求1至4中的任何一项所述的方法，其特征在于，固定坐标系图像区域是128个像素的方形。

6.一种配置为接收和解码根据权利要求1至5中的任何一项所述的方法产生和编码的图象的便携式通信装置，该装置包括：

与被设置为格式化用于显示的图像的显示驱动电路相耦合的显示设备；

与所述显示驱动器相耦合并被配置为接收编码图像数据并把它传送给显示驱动器的接收器；以及

与所述显示驱动器相耦合并保存所述对象标识代码的第一存储装置，所述显示驱动器被配置为从对象数据重构图像，并把其输出到显示器。

7.根据权利要求6所述的装置，其特征在于，还包括与所述显示驱动器相耦合的乘法装置，并设置为把图像对象的坐标缩放为显示器的尺寸。

8.根据权利要求6或7所述的装置，其特征在于，还包括输入设备，通过该设备的操作，用户还可以选择一个或多个在代码流中由其第一数据字标识为可选的显示对象，该装置包括被配置为产生标识所选对象的信号并把其传送到图像发信源的信息格式化和发送设备。

9.根据权利要求8所述的装置，其特征在于，所述输入设备包括与所述显示器相重叠的触摸屏。

10.根据权利要求8所述的装置，其特征在于，还包括多个用户可操作的控制器，其中提供所述输入设备作为所述用户可操作控制器的可选的第二功能。

Images