在数字相机、摄像机、扫描仪、图像记录器和其他用于以电子格式处理图像的设备中,光学图像通过图像传感器-如CCD(电荷耦合器件)传感器或CMOS传感器-转换为电子格式。这样的图像传感器由多个感光图元(picture element)组成,其优选地排列为矩阵的形式。图像传感器中图元的数目影响图像的质量(分辨率)。每个图元受控于一个电荷或另一个与它暴露于其中并能被测量的光的量成正比的电量。曝光后,利用例如机械快门来防止光进入图像传感器。快门的功能也可以通过足够快速地读取图像传感器,或通过将例如液晶显示屏或其他的、其半透明度能够被电子地控制的屏幕用作快门来电子地实现。
由图像传感器产生的模拟信号到数字格式的转换可以由模数转换器完成。模数转换的精度典型地是8比特,其中每个图元产生256级光强。考虑到人眼的特性,这个数目正常地足以获取所需的图像质量。这一转换结果从模数转换器以并行格式传送至进一步的处理步骤,例如在图像存储器或录像带上记录。
对于数字格式图像的记录已开发了多种记录格式。这些正常地包括头标部分和图像数据部分。头标部分正常地包括有关图像记录格式、图像可能已经历的压缩、分辨率等的信息。一种已知的图像记录标准是EXIF(可交换图像文件格式),它由多个制造商在例如数字相机中应用。根据该标准,图像记录的头标部分用于记录例如有关图像大小、分辨率、记录时间以及标准版本的数据。在已压缩的图像中,头标正常地还用于存储例如解压缩所需的信息,例如解量化表和解压缩表。
在很多相机中,有可能确定要在图像中记录的辅助数据,诸如捕获图像的时间(日期以及可能还有时刻)。并且,在一些相机中,用户可以确定要记录在图像上的一种自由形式的文本。因而在其后观看图像时,可以结合图像数据的其余数据而看到辅助数据。这种方案具有例如不能使辅助信息在图像中不可见而总是被显示的缺点。如果用户需要一个对象的图像,其中辅助信息不可见,那么用户就必须捕获一个没有辅助信息的图像和另一个带有辅助信息的图像。这很麻烦而且不必要地浪费了相机的图像存储器。并且,对同一对象拍摄的一幅接一幅的图像不一定完全相同。例如,这种方案不适合捕获一个正在运动或以另一种方式改变的对象。而且,用户还可能想要带有不同辅助信息的图像。例如,在一个图像中显示日期,在另一图像中显示用户定义的文本,而在第三个图像中显示所有的辅助信息。当采用现有技术的方案时,这样便需要用户拍摄几个图像并分别选择要包含在每个图像中的辅助信息,这使得记录更慢、消耗相机的存储器容量、并给相机用户带来更多的麻烦。为了根据图像格式而在图像中加入期望的辅助信息,还可能使用图像处理软件。同样在这种情况下,用户必须处理几个图像文件。如果没有使用标准的图像格式,则可能使用应用特定的文件格式,其中可足够处理单一文件。然而在这种情况下,人们必须使用所讨论的应用的准确文件格式。这样的应用的例子包括Photoshop
(System Inc.的商标)和Powerpoint
(Microsoft Inc.的商标)。
国际专利申请W001/95609公开了一种用于处理元数据(metadata)信息的系统和方法。作为数字图像文件获得的图像信息被传送到数据网。该数字图像例如是扫描图像。该系统包括用于输入与选定图像有关的元信息的输入,其包括可由图像信息获取装置获取的图像信息。该系统进一步包括结合图像信息获取操作而将与选定图像有关的元信息连接到数字图像文件的装置,由此图像信息获取装置获取选定图像的图像信息。与选定图像相关的元信息和数字图像被传送到数据网。该元信息是关于图像、图像内容或任何与该特定文档相关的其它信息的额外信息。元信息可以用来控制另一用户或设备,如数据库、文件服务器、计算机等要如何对待该数字图像文件。该系统使用户能够在图像获取操作的时刻和地点输入要连接到数字图像文件的元信息。
图1示出了根据本发明的一个有利实施例的设备1。设备1例如是相机或无线通信设备,但很明显本发明并不只限于这样的设备。设备1包括图像捕获装置2,例如CCD单元或CMOS单元。图像捕获装置2优选地包括图元(未示出),它们以矩阵的形式排列并优选地产生与图元被暴露给的光强成正比的电子数据,例如电荷。此电子数据从图元中读出并由模数转换器3转换成数字格式。因此,图像捕获装置2用作光电转换器。数字图像数据存储于存储器4中以便进一步处理。为了捕获彩色图像,图像捕获装置2正常地对要形成的每个像素包括三个图元。因而,这三个图元中的每一个用于形成一个颜色信息。这些颜色正常地为红、绿和蓝(RGB)。因此,每个像素由三个颜色信息单元组成。
图1的设备1还包括用于控制设备1的功能的控制块5。控制块5优选地包括至少一个处理器5.1(中央处理单元CPU),以及可能还包括数字信号处理器5.2(DSP)。设备1还包括使用该设备所需的输入装置6,例如操作键或小键盘。设备1还可以包括显示器7,用于向用户显示信息,例如捕获的图像或取景器的视图。
在一些应用中,图像1包括通信装置8,用于在设备1和另一设备(未示出)之间传输数据。通信装置8可能包括,例如用于短距离数据传输的本地通信装置8.1和用于长距离数据传输的长距离通信装置8.2,如移动通信装置。本地通信装置8.1可以用于例如从设备1传输图像到位于附近的另一设备,例如计算机。
设备1还可以包括用于连接如用于存储图像的存储卡10的连接装置9。因而,要由设备1捕获的图像可以在设备1的内部存储器4中和/或在存储卡10上记录。
此外,设备1优选地包括实时时钟11,用于维护要用作与图像有关的辅助数据的时间数据和日期数据,正如本说明书下面将要讨论的。而且,图1的设备1包括音频装置13。
下面描述的是根据本发明一个优选实施例在如图1所示的设备1中的方法的操作。为了捕获图像,用户使物镜12指向要成像的对象。设备1可以配备传统的光学取景器,或者图像捕获装置2可以用作寻象器。如果由图像捕获装置2产生的数据被用作为设备1的寻象器,则图像数据被传送以在显示器7上显示。在这种情况下,显示器7上显示的图像间或更新。在用户想要捕获图像的阶段,他/她按触发键6.1。这样,控制块5检测到按键,且采取记录图像的措施。控制块5传送命令到图像捕获装置2以捕获图像。这样,图像捕获装置2例如逐行、逐列、或逐个图元地传送图元的电荷到传送寄存器。实际中的传送电荷的方式依赖于例如实现图像转换装置的技术。这是本领域的技术人员已知的现有技术,在本上下文中不必详细描述它。
每个图元产生的电子数据在模数转换器3中转换为数字值并记录在存储器4中。存储器4优选地提供带有用于每一图元的一个存储位置的存储空间,其中被转换的值存储于存储器中为其预留的位置。设备1还可以包括几个模数转换器3,其中几个转换可以基本同时地进行。例如,具有三个转换器时,则有可能执行单像素的所有颜色成分的转换,该颜色成分在计划给所述像素的不同颜色成分的存储器位置中存储。
当图像区域中所有图元的电荷都已经转换为数字格式并存储之后,有可能形成图像记录。这优选地通过形成一个结构在根本上遵守给定格式的文件来完成。图2a以简化的方式示出了根据本发明有利实施例的图像记录200的结构。它包括头标部分201、图像数据部分202和辅助数据部分203。辅助数据部分是一个采用不同图像记录格式的已知的逻辑元素。辅助数据部分203可能包括例如EXIF字段。辅助数据部分203可以用来存储与图像相关的信息,例如日期和时间、图像分辨率、关于图像格式的数据(例如RGB、YUV)、图像是彩色图像还是黑白图像、关于图像数据压缩的数据等等。图像数据部分202用于这样地或以压缩方法压缩的形式存储图元的数字化的值。在根据本发明的系统中,优选地,辅助数据也存储在与图像有关的辅助数据部分203中形成的定义数据记录204中。用户因而可以选择是否在图像中显示此辅助数据。
在图2a的图像记录的例子中,辅助数据部分中的定义数据记录204计划用于图像记录中定义的辅助数据的每个条目。这些定义的数据记录204包括至少一个区域定义205,其包括存储的、关于图像中可用于显示辅助数据的区域的数据。区域205优选地为矩形,其中区域定义指示例如限定该区域的拐角点的坐标,或给定拐角(例如左上角)的坐标连同该区域的长和宽。除了区域定义外,每个定义数据记录204包括至少第一辅助数据字段206,用于存储辅助数据不显示的情况下(即辅助数据未激活)该区域的图像数据。并且,定义数据记录204包括第二辅助数据字段207,其包括关于要显示的辅助数据的数据(即辅助数据被激活)。这可以是已经是像素格式的数据(位图),其中在所述辅助数据显示的情况下第二辅助数据字段207的内容可以直接复制到遵从于区域定义的图像位置。第二辅助数据字段207的内容也可以是文本格式,或者它可能引用数据记录中的某些辅助数据,例如存储图像记录的日期和/或时间。另一种可能性是遵从第二辅助数据字段207的定义的信息在第一辅助数据字段206之上显示。这种情况下,第一辅助数据字段定义背景图像的类型,第二辅助数据字段207的数据置于其上。
上面给出的第一206和第二207辅助数据字段定义了一种以两种模式显示辅助数据的方法,其中在显示器7上显示图像记录的应用软件根据所述辅助数据是否要被显示而选择要显示第一辅助数据字段206或第二辅助数据字段207。
下面,我们就图3a和图3b的例子对要在根据本发明的有利实施例的方法中应用的辅助数据的形成进行描述。图3a示出了设备1记录的图像301。用户可以定义要包含在图像中的自由格式信息302。此自由格式信息302例如是文本。用户可以例如通过输入装置6输入此自由格式信息302,其中该文本存储于第二辅助数据字段207。显示该自由格式信息的位置依赖于所讨论的应用而或者是固定的,或者是能够在图像的区域内自由选取或通过选择替换位置之一来选取。如前所述,此位置优选地定义为一个区域,例如矩形单元,在其界限内辅助数据要根据愿望进行显示。此区域在图3a中用虚线304表示。图3a还示出了第二辅助数据303,在此例中其为日期。而且,此第二辅助数据303的位置可以是固定的或由用户选择。设备1用于在图像记录的辅助数据部分303中存储包含辅助数据和关于其在图像中显示位置的数据的定义数据记录。在定义这种辅助数据后,落在用于辅助数据的区域定义内的图像数据的那部分也在第一辅助数据字段206中存储。实践中,这通过将图像数据从区域304限定的存储器的那部分复制到第一辅助数据字段206来执行。
根据本发明的一个有利实施例,在图像将要在设备1或另一设备中显示的阶段,采取以下步骤。检查图像记录的头标部分以找出图像的类型。如果图像例如是压缩的,则通过压缩的信息以及可能与压缩有关的表格来解压以尽可能精确地恢复与原始图像对应的图像。此图像数据被传送到设备1的存储器4中为图像数据分配的存储器位置。此外,确定图像记录的辅助数据部分303是否包含用于辅助数据的定义数据记录204。如果发现至少一个定义数据记录204,则检查其内容。还可以询问用户是否要显示辅助数据。另一方面,此显示的数据还可以存储在定义数据记录204中。如果定义数据记录204中包括的数据在显示器7上显示,则例如从定义数据记录204确定用于显示辅助数据和辅助数据字段206、207的位置。这样,位于第一206或第二辅助数据字段中的图像数据,即遵从区域定义205的原始图像的部分被复制到设备1的存储器4中与显示位置对应的位置。并且,第二辅助数据字段207中的信息,即自由格式信息、日期、时间等被复制到各自的位置。另一方面,此辅助数据不必以其在图像记录中的形式复制到图像中,其中必须进行需要的转换以在显示器7上能够以可理解的格式显示该辅助数据。例如,如果日期以所谓的ASCII的格式存储,其中日期的一个字符以一字节(8比特)存储,则此数据必须例如转换成矩阵格式的像素掩码,其中还要考虑可视化该字符所要求的像素转换。因此,将遵从于像素掩码的图像像素设定为具有表示要显示符号(例如数字或字母)的给定颜色以区分它们和图像的其他部分。在图3a的例子中,使用黑色像素来显示辅助数据,但也可以用另一种颜色。
如果要显示的图像没有辅助数据,则正常地通过读取存储器中的图像并采取必要的解压缩步骤来显示该图像,以及如果图像已被存储为使得辅助数据可见,则通过将第一辅助数据字段206的图像数据传送到图像中区域定义205定义的位置来显示该图像。在图3b中,图3a的示例图像301显示时没有辅助数据303、304。
如果在显示图像时要(从显示器7中)清除辅助数据的一个或多个条目,则不必从存储器中重新读取整个图像,而是例如可以采取以下步骤。根据第一辅助数据字段206的图像数据被从要显示的图像的图像记录的辅助数据部分读出到存储器4中。在显示器上,此图像数据的内容对应于已显示将要清除的辅助数据的区域中的原始图像数据,即在该辅助数据部分的区域定义内该图像的那个部分。在这之后,要显示的图像与删除的辅助数据的区域中的原始图像一致。图3b示出了辅助数据的条目302、303都已被从图像3a中清除的情况。
根据本发明的方法,有可能实现具有变化内容的不同类型的图像记录。要提到的一个非限制性的例子是图4a和4b中示出的圣诞日历应用。这样,图像记录的图像数据部分202包括背景图像。优选地,在这个背景图像中已经定义要打开的24扇门,即从12月1日到12月24日。根据本发明,这些门已经通过附接于辅助数据部分203的定义的数据记录204实现。这样,每扇门是单独的辅助数据部分,包括第一206和第二207辅助数据字段。第一辅助数据字段206包括与门关闭的情况对应的图像数据。因此,第一辅助数据字段206的内容与门处的背景图像的内容一致。图4a示出了所有的门都关闭的情况。而且,第一辅助数据字段206包括数字(1到24),可能还包括门的轮廓线。第二辅助数据字段207包括门打开时要显示的图像数据。这样的一个例子是图4b中打开的15号门。而且,每个定义数据记录包括指示门是打开还是关闭的数据。门能够例如借助日历功能而自动地打开,或者用户能通过使用输入装置6来打开门。
本发明还可以结合其他类型的辅助数据来应用,辅助数据的一些例子将在下面参照图2b和图5来给出。图2b和图5示出了两个定义数据记录204。这些定义数据记录204包括多于两个的辅助数据字段206、207。第三辅助数据字段208包括例如电话号码、电子邮件地址等,以及有关所述辅助数据被激活时要启动的应用的数据。第四辅助数据字段209可以包括例如音频记录、注释或启动为激活而要采取的另一措施的信息。要提到的这样一个应用的一个例子是图5的情况,其中在显示器上有背景图像501以及附属于此背景图像501的辅助数据502、503。第一辅助数据502例如与发送电子邮件相关,而第二辅助数据503例如与进行话音呼叫相关。这样,第一辅助数据502的定义数据记录(未示出)提供有一个区域定义和四个辅助数据字段,其定义例如如下内容:呈现辅助数据的位置、被动状态(没有接收到/要发送电子邮件)的图像数据、活动状态(接收到电子邮件或用户想要发送电子邮件)的图像数据、有关电子邮件地址的信息、与要结合电子邮件的接收而呈现的声音。当用户基于第一辅助数据502的状态的改变而检测到已接收到电子邮件时,用户可以例如通过用定点设备(未示出)指向此辅助数据502或以其他这样已知的方式来阅读该电子邮件。可以通过选择(激活)此第一辅助数据502而将电子邮件发送到给定的电子邮件地址,其中设备1显示遵从于第一辅助数据的定义数据记录的第二辅助数据字段的图像,以及启动撰写电子邮件的电子邮件应用。优选地,第一辅助数据部分502的第四辅助数据字段中存储的电子邮件地址被设置为接收者的地址。
在图5的示例情况中,第二辅助数据503与呼叫相关,其中第二辅助数据503的定义数据记录(未示出)以相应的方式包括区域定义和四个辅助数据字段,其定义例如如下内容:辅助数据要被显示的位置、被动状态(没有呼入/不进行呼叫)的图像数据、活动状态(呼入或用户想要进行呼叫)的图像数据、电话号码的数据、基于呼入而要再生的声音。以相应的方式,该第二辅助数据503可以在呼叫给定号码时使用。
本发明适合于尤其结合具有基本固定格式的头标部分和图像数据部分的这种图像格式、以及附接该辅助数据的设施来使用。因此,没有实现按照本发明的功能的这种设备也仍可以在显示器上按照图像数据部分来显示图像而没有辅助数据。这种图像格式的一个非限制性的例子是JPEG,它被例如用于多种数字相机。JPEG图像格式包括一个头标部分和一个图象数据部分。该头标部分包括固定元素和可选扩展元素,其中此可选扩展元素可用于存储根据本发明的辅助数据部分。在相机应用中,该可选扩展元素进一步包括遵从于EXIF定义的数据,它被用于指示例如JPEG图像在相机中存储的方式以及可能的特定于相机的附加数据。
本发明可应用于多个不同的设备和程序中。要提到的例子包括相机、相机电话、相机与通信设备的组合、相机与数据处理器的组合、相册应用、万维网浏览器、适于接收和/或发送多媒体消息的通信设备、打印机等。
虽然上面已经结合单一图像给出本发明,但本发明也可结合图像系列来应用,例如视频图像。在这种情况下,图像数据部分202包括多个图像(例如视频演示的单一图像)。在实践中,这些图像不必存储于一个图像数据部分202中,而是可以将它们分成多个图像数据部分202。要结合这种图像系列显示的辅助数据还可以是有关图像系列进展的信息,例如播放时间或从图像系列开始的图像编号、剩余播放时间、或是剩余图像的数目等。辅助数据在例如卡拉OK类型的应用中也可以是与音乐录像节目有关的表演者的名字、所完成的那件作品的名字、歌曲的歌词等。视频的观看者因而可以按意愿而接入或者关断辅助数据(例如歌曲的歌词)的显示。
图像系列还可以例如通过互联网数据网络获得。同样在这种情况下,图像系列可以提供有辅助数据,该图像系列的观看者能够按意愿来将其设定为可见或者不可见。
在本发明的另一有利应用中,可以例如以只能在付费时看到辅助数据的方式来限制辅助数据的可见性。在这种情况下,只有在用户付费之后才能被授权使辅助数据可见。这可以通过以各种这样已知的方式实现,例如通过口令。这样,辅助数据只有通过输入口令才能变为可见。自然地,本发明还适于从显示中清除辅助数据受限的情况。这尤其适用于向观看者提供例如一段视频供预览而不用付费的情况,但是在观看期间在视频图像之上显示辅助数据。这个辅助数据可以例如因付费而被关断。自然,上面给出的例子仅仅是举例说明本发明的用途的一个非限制性的例子。
应用本发明所需要的功能可以在很大程度上通过软件,例如控制块5的程序代码来实现。
很明显本发明不限于上面给出的各个实施例,而是可以在所附权利要求的范围内进行修改。