CN1981511A - 用于创建加注释的图像的照相机和方法 - Google Patents

Abstract

本发明涉及一种注释由装备有预览装置的数字照相机所捕获的图像的方法，包括：向照相机提供使用户能够选择要注释的一个图像(12)并捕获至少一个附加的预览图像的操作模式，从所述附加图像中自动提取(20)注释(A)，并且通过组合所述注释(A)和要注释的图像(12)来创建(22)新的图像，同时在新的图像中遵守所述注释的位置和放大率，所述注释的位置和放大率实际上与所述注释在附加图像中的位置和放大率完全相同。

Description

用于创建加注释的图像的照相机和方法

技术领域

本标题中所描述的发明涉及加注释的图像的创建。由便携式设备捕获并电子地发送到收件人的图像也被称为“电子明信片”。它们已经变为在数字照相机用户之间受高度欣赏的交换媒介物。这在组合了远程通信和照相机功能的便携式数字设备的用户的情况下更是如此。在这些设备之中，特别应当提及的是照相手机(phonecam)。本发明涉及定制的图像注释和电子明信片。

背景技术

越来越多的照相手机用户已经发展了借助图像来进行通信的模式。就象声音或电子邮件一样，图像由用户的便携式设备发送并再现。实际上，照相手机或数字照相机通常具有能够显示图像的小控制屏幕。向具有大屏幕的家用计算机进行发送当然也是可以的。

发送的图像或“电子明信片”是从数字照片创建而来的。它们可以被定制成携带表明发送者个性的指示标志。它们例如可以被加有注释。然而，由于诸如照相手机之类的便携式设备的控制接口或键盘的尺寸是大小适中的，所以注释条目是令人厌烦的。

已知能够使手动注释与图像组合的设备或方法。人们可以参考在说明书末尾所给出的文档(1)和(2)的信息。同样，相对高级的接口是必要的。这包括例如能够读取承载有注释的文档的扫描器，或用户使用光笔在其上书写注释的触摸屏。此实例的说明由文档(1)给出。然而，便携式设备并且特别是为普通公众所设计的设备通常缺乏这些接口。

在注释图像时所出现的另外的困难同确定注释与图像相比较的相对尺寸以及注释在图像中的位置有关。此困难也是由于便携式设备的控制接口适中的尺寸的缘故所造成的。上述文档(2)提出创建包括注释的合成图象。然而，它规定了用于承载注释的预定位置。

预先为注释确定位置这一事实便于用户所必须执行的操作的进行，但是在出售时却降低了出现新形式的可能性。

发明内容

本发明的目的是建议一种用于注释图像的特别用户界面友好的过程，旨在数字照相机并且特别是照相手机上实现。

一个目的是建议一种能够以基本照相机为基础来进行注释-特别是手动注释的方法，所述基本照相机缺少专用于此功能的控制键盘或接口。

另一目标是建议一种尤其能够实现新形式注释的方法，采用这种方法，用户还可以在没有专用控制接口的情况下依照精确方式来控制注释在图像中的大小和布局。

另一目的是建议一种能够最优地感受此注释的方法，而不管其在图像中的位置如何，也不管在所注释区域周围的内容(颜色，纹理)怎样。

本发明目的还在于建议一种能够依照所述方法来进行图像注释的数字照相机。

为达到这些目的，更确切地说，本发明旨在提供一种用于注释由装备有控制屏幕的数字照相机所捕获的图像的方法，包括：

-在照相机上提供使用户能够选择至少一个图像并且捕获能够在控制屏幕上预览的至少一个附加图像的操作模式，

-从附加图像中自动提取注释，并且

-通过组合注释和要注释的图像来创建至少一个新的图像，而在新的图像中遵守注释的位置和放大率，该注释的位置和放大率与注释在附加图像中的位置和放大率基本上相同。

注释方法可以被实现来注释单个图像或多个图像。特别地是，可以注释视频序列的许多图像以便创建一个加注释的图像的序列。

“注释”意指能够从附加图像被提取并且引入到要注释的图像中的任何元素。这包括例如打印或手写的字符、图画、签名、徽标等。可以标识并保存与要提取的每个设计相关联的原始颜色。应当注意，从图像中进行注释提取的技术本身是已知的。对于这一情报，人们例如可以参见在说明书末尾给出的参考文档(3)。

要注释的图像和附加图像可以或可以不具有相同的分辨率。当要注释的图像由不同于用来捕获附加图像的照相机捕获时或当它们是来自视频序列的图像时，它们的分辨率于是不必与附加图像的分辨率相同。图像还可以经受先前的修改或操作。从而，所述过程如果必要的话，可以包括附加的处理步骤：例如包括重新调整图像大小、修改它们的分辨率或修改注释的定位。此处理可以发生在创建新图像时或在此步骤之前。

借助本发明，当用户希望把手写注释添加到图像时，他/她可以只使用任何铅笔或可用的笔来在任何书写支持物(support)上书写注释。然后，他/她通过把照相机向承载注释的书写支持物瞄准来捕获图像，事实上是附加图像。

因为注释的大小和位置被遵守着，即在附加图像和所创建的新合成图像中是完全相同的，所以这些参数可以由用户在没有控制接口的情况下非常简单地控制。甚至，注释的位置通过相对于承载注释的支持物来移动照相机而简单地加以确定。可以在照相机的预览装置上控制注释的位置。预览装置例如包括取景器和/或小控制屏幕。

依照相同方式，可以简单地通过朝向或远离承载注释的支持物移动照相机来确定注释的大小。如果照相机配备有变焦镜头，那么还可以驱使变焦镜头来确定注释的大小。

最后，当所述注释占据在控制屏幕上所预览的附加图像中所想要的位置和区域时，用户可以通过驱使照相机快门来捕获此图像。

为了进一步方便确定注释在最终图像中的位置和确定注释在最终图像中的尺寸，可以设想要注释的图像和所预览的附加图像的组合显示。

可以简单地迭加两个图像。这例如可以借助于使图像透明的过程来进行。在这种情况下，假定要注释的图像I’和附加图像I”具有相同的分辨率，与位于合成图像中给定位置(x，y)处的像素p相关联的亮度将取决于分别位于图像I’和I”中(x，y)处的两个像素的亮度。常规的透明功能例如在最终值方面对两个像素的亮度给予同样的作用。

作为候选，还可以设想轮流显示要注释的图像和附加图像，足够快速的交替能够判定它们图标内容的相对位置。从而，用户不仅可以重新调整注释在图像框内的大小和确定注释在图像框内的位置而且还可以相对于要注释的图像的图标内容项来重新调整其大小和位置。

附加图像由于是由照相机的图像传感器提供的，所以可以被预览，或者依照某一方式只示出先前提取的注释。实际上，当照相机设备的计算能力足够时，可以从由照相机所提供的附加图像中实时提取注释，并且在预览期间结合要注释的图像来显示注释。实时的预览步骤还使用户在必要时能够确认或容易地修改用来显示注释的颜色选项。

可以由用户来选择要注释的图像。这例如包括用户刚刚在正常拍摄模式中所捕获的图像。要注释的图像还可以是已经注释的图像，以便添加附加注释。要注释的图像还可以是在照相机存储器中所存储的、先前捕获的图像。要注释的图像可以是从图像存储供应商的服务器中所下载的图像或从装备有图像远程通信装置的数字照相机的另一用户处所接收的图像。最后，要注释的图像实际上可以是把注释叠加到简单的均匀背景。

可以通过把要注释的图像数据与所述注释的图像数据相组合来创建新的合成图像，所述合成图像包括要注释的图像和注释。然而，这会带来使图像的数字份量(weight)加倍的影响。另一解决方案是把注释数据包括在第四图像层中，所述第四图像层被添加到要注释图像的通常红色、绿色和蓝色层。这种组合还可以通过把要注释图像的像素替代为在附加图像中具有相同坐标的注释的像素来进行。因而，这是两个图像的融合。

又一解决方案是使用能够使短图像序列得以生成的视频编码格式，采用这种格式，加注释的图像内容就像现场手写或绘画那样逐渐显现开来。例如，使用基于对象的视频编码器(像MPEG-4)就能够把加注释的区域确定为可以被标识并处理的对象或对象组。

本发明还涉及一种用于实现上述方法的照相机。该照相机特别是这样的一种数字照相机，包括：

-用于预览包含注释的图像的预览装置，

-用于提取所预览的图像的注释的提取装置，

-用于选择要注释的图像的选择装置，和

-用于通过把要注释的图像与所述注释相组合来创建合成图像的创建装置。

像合成图像的创建装置之类的注释提取装置可以由内置于照相机中的计算机来提供，或由与所述照相机通信的远程计算机来提供。

优选地，依照上述方式来创建合成图像以遵守注释的位置和尺寸。

要注释图像的选择装置例如包括控制按钮或接口，所述控制按钮或接口使在存储器中所存储的图像文件能够上下滚动。

最后，预览装置可以包括取景器或控制屏幕，在上面可以显示附加图像和/或要注释的图像。如上所指出，可以设想借助叠加、透明或交替来实现同时显示。

照相机还可以包括远程通信装置，特别是无线电装置，能够对像因特网之类的通信网络进行访问。访问通信网络使用户能够把加注释的图像从他/她的便携式设备直接发送到所选接收者的电子地址。

新的合成图像例如可以包括在MMS(Multimedia MessagingService多媒体消息发送服务)类型的消息中以便将其作为电子邮件发送出去。

参考附图中的以下图形，本发明的其它特性和优点在下面的描述中将显现出来。此描述仅仅作为例示而并非是限制。

附图说明

图1是使用依照本发明的方法来图示具有图像注释的电子明信片的创建方法的流程图。

图2表示要注释的图像。

图3表示在注释框中所记下的要注释的图像。

图4表示用户为提取注释所捕获的附加图像。

图5示范了用于组合要注释的图像和从附加图像中所提取的注释的合成图像。

图6、7和8图示了注释提取方法的步骤。

图9是用于实现本发明方法的照相机的简化示意表示。

具体实施方式

在下面描述中，以相同的附图标记来标记各图中完全相同、类似或等效的部分以便于在各图之间进行参考。此外，术语“图像”用来描述所拍摄的情景、所显示的图像、所捕获的图像以及图像的数字数据。只有当为了清楚起见要求精确描述时，才给出附加的精确性描述。

图1的流程图的第一步骤10是使用数字照相机100(实际上是照相手机)来捕获场景的数字图像。这里，所捕获的图像构成要注释的图像12。

要注释的图像12a还可以取自照相机的存储器，所述存储器包含先前捕获的图像的图像文件或由远程通信接收信道所接收图像的图像文件。从而，图1的步骤14图示了从存储器内的图像中选择要注释的图像。可以通过在照相机的控制屏幕上连续地显示来自存储器的图像并且通过当出现所想要的图像时请用户按下确认按钮来执行选择。

在捕获或选择图像之后，向用户提供附加选项16以便注释或不注释所捕获的图像。这里，此选择被作为双态选择而呈现出来。然而，可以在照相机的控制屏幕上显示菜单以从大量选项之间示出一个选项。特别地是，所述菜单可以给出把图像组合到预置的呈现格式中的选项，例如以便把它转换为电子明信片。所述菜单可以进一步给出用于保存图像、排序所述图像的硬拷贝或实际上注释所述图像的选项。

当用户决定注释图像时，请他/她捕获包含所想要注释的附加图像。为此，用户例如可以在纸张上书写所想要的注释，并且捕获所述纸张的图像。用户还可以从承载题词、印刷字母、手写字符、图画或用户希望添加到所述图像作为注释的任何其它项的任何其它支持物来捕获图像。此操作被示为附图标记18。捕获附加图像处在在显示由照相机100的图像传感器104所提供的图像之后，以此就能够对用户要捕获的图像的成框和放大加以控制。显示器简单地对应于在照相机的取景器或控制屏幕中图像的通常预览模式。

尽管附加图像优选地是在要注释的图像之后被捕获的，但是此次序不必是必须的。实际上，可以依照任何次序独立地捕获具有注释的附加图像和要注释的图像，并且稍后执行关于是否继续去注释的选项16。在这种情况下，优选地，把各个图像保存到存储器的两个独立寄存器中。

附图标记20标示了本发明的重要步骤：从附加图像提取注释。参考以下附图来更详细地描述此步骤。可以直接根据所捕获的附加图像来提取注释以便确定注释的位置和对注释进行放大控制。还可以捕获第二附加图像，该第二附加图像并不用来确定注释的位置或放大控制，而只是简单地用于对它进行提取而已。第二附加图像例如是注释或部分注释上的特写镜头(close up)。

提取注释20还可以在捕获18、18a附加图像之后进行。它也可以在捕获之前-即在预览期间进行，以便能不仅预览附加图像而且还预览根据要注释的图像和注释所创建的合成图像。然而，对此，则要求更大的计算能力。

与所提取的注释相关的数字数据可以保存起来，以供可能在以后对其它图像进行注释所需要的重用。

图1的方法以组合22要注释的图像和从附加图像所提取的注释来继续。所述组合可以具有各种形式。所述注释可以被作为第二图像添加到要注释的图像。这产生合成图像，所述合成图像的数字份量与要注释的初始图像相比较被加倍。它只是简单地包含了两倍那么多的像素。第二种可能是如上所示使注释出现在要注释的图像的第四层中；此第四层被添加到包含分别对应于红色、绿色和蓝色分量的数据的三个层。又一解决方案是如上所述使用能够使短图像序列得以产生的视频编码格式，在这种格式中，加注释的图像的内容像现场手写或绘画那样逐渐显现出来。

附加步骤24依照用户愿望可以包括用于根据加注释的图像来为电子明信片或任何其它电子文档编排格式的其它操作。这例如包括插入预先记录的标题或注释；创建边缘或边框；或者把手写注释转换为字体等。特别地是，可以通过使用字符识别软件来把手写注释转换为字体。类似地是，在预先使用字符识别工具的情况下，可以把对应于以下合成语音的音频数据添加到图像数据，所述合成语音读取存在于所提取注释中的文本内容。这些操作可以在创建组合图像之前、期间或之后执行。

最后，最后步骤26(也是可选步骤)是把所组合图像封装到MMS(多媒体消息服务)中并把它发送到由用户所选择的接收者。此步骤还可以直接利用所捕获图像12(没有注释)来进行，如箭头27所示。

图2表示由用户所捕获的图像12，而且用户希望在把它发送到他/她所选择的接收者或打印服务供应商之前对它进行注释。然后，所述用户还必须捕获包含注释的附加图像。所述注释可以被叠加到图像上，即添加到图像框中。如图3所示，还可以定义比图像更大的框F。在这种情况下，可以把注释添加在图像旁边，同时遵守框F。预先记录的附加题字(在图3中未示出)还可以被添加到所述框中以便创建定制的电子明信片。

在图4中表示了附加图像13。更确切地，这是在图像被用户捕获之前在照相机的控制屏幕上所预览的图像。这里，这是用户在上面作出注释的纸张图像。可以看出注释A没有很好地与图像的背景B相区别开。这例如是由于注释是在有颜色的纸上做出的缘故。通常，在书写支持物上所存在的图案(诸如正方形或线条，甚至在支持物上的投影)可以通过把背景和要提取的信号相分隔开来加以消除。

从附加图像13中提取注释A。这实际上就是把附加图像转换为只能再现注释的1比特图像。从而，可以把所提取的注释与第一图像12相组合起来，即把它与要注释的图像相组合起来，以便生成在图5中所表示的合成图像15。

提取的结果可以是二进制图像，对于二进制图像，用于形成背景的像素具有设置值，例如0，而对应于所提取的信号的像素具有另一值，例如255。当人们希望保持注释的颜色信息时，可以保存所注释的内容在1和255之间的所有值，同时继续向背景分配值0。还可以生成包含所提取的注释的每个像素的位置以及可能还有相关联的颜色的表。

注释可以从图像13中提取或从第二附加图像13a中提取，所述第二附加图像13a在图4中用虚线画出。如上所述，第二附加图像例如对应于注释上的特写镜头。第二附加图像的捕获被示为图1中的附图标记18a。

下面将参考图6到9描述一个注释提取选项。在从所捕获的附加图像中提取注释的主要困难在于把注释A与在所述附加图像中可能出现的其它干扰项相区别开。这些例如是用来在其上书写注释的纸张的线条或正方形。这还可能是当捕获附加图像时由用户手持照相机所产生的投影等。

在图6中所示出的注释提取的第一步骤是在附加图像中只保留那些具有最大空间亮度梯度的部分。更精确地是，只保留那些空间亮度梯度超过阈值的区域。阈值例如可以被调节为基于对图像内容的分析或者被预先设置。此第一步骤实际上就是在图像中选择轮廓C，而不管是浅的还是深的。这使得注释能够通过例如消除在书写支持物上的投影而被选择出来。第一步骤还使得当任何网格线条具有比注释更低的空间梯度时而被丢弃掉。然而，可以借助附加的适当处理来改进对支持物的任何其它图案或任何网格线条的丢弃。这例如是对有规律的和重复的结构的搜索和对这些结构的丢弃。在第一步骤中所检测的轮廓大致地为要提取的加注释区域划出边界。然而，对亮度梯度所执行的阈值处理还可能消除对应于没怎么标注的线条的注释的一部分。此第一步骤还简单地旨在大致地标识可能包含注释的区域。

第二步骤是在附加图像中更准确地为一个或多个加注释的区域划出边界。对先前确定的轮廓在形态上的闭合例如使得能够选择出尚未提取且包围着轮廓C的附加图像的区域。在图7中利用附图标记M标记这些区域(也称作“掩模”)。对应于掩模M的附加图像的区域是其中存在要提取的注释的概率很高的区域。从而，可以在这些区域内应用比之前更具选择性的阈值处理。

由图8所图示的第三步骤还在于对所捕获的附加图像执行阈值处理操作。阈值处理并不适用于整个图像(整个图像的框F被简单地画成虚线)，而是只适用于与先前划出边界的掩模M相重合的部分。

阈值处理优选是亮度阈值处理。它可以通过使用可调整的或预置的阈值来执行。应当注意，如参考图6、7和8所描述的注释提取操作可以根据整个附加图像或简单地根据颜色层的一层或子集(即只是所述图像的某些颜色分量)来执行。实际上，附加图像是数字图像，所述图像当有颜色时能够被分成几个颜色层。依照用来在支持物上书写注释的颜色，可以通过只保留一个颜色层来使提取得以方便进行。对于三个颜色层，所述提取可以相互独立地执行，并且对于对比度或亮度梯度最大的颜色层而言，注释可以保留住。

然后，依照上述方式把所提取的注释与要注释的图像相组合起来。在优选实施例中，所述注释对应于1比特、要么全有要么全无类型的数据。它可以被叠加到要注释的图像上以便以黑色或任何其它颜色显现。在另一实施例中，所述注释可以借助能够保存更高质量信息的一个或多个字节来编码。特别地是，它可以包括与每个像素有关的颜色或者在所关注的像素周围区域中所提取的其它像素的值。如前所述，执行注释的组合时，还遵守注释的位置和大小。从而，注释的一个像素例如在附加图像和合成图像15中具有相同的坐标。

在图5的例子中，其背景是相对深色的，注释用白色来添加，以便改善视觉对比。通常，可以用黑色把注释添加到浅色背景上，而用白色把注释添加到深色背景上或用与要注释图像颜色互补的颜色来进行添加。依照更改进的方式，注释的每个像素可以被设置为与要注释图像的邻近像素相比较而言能够获得最优颜色和光量对比度的光量和颜色值。

可以设想用于附加图像的其它注释提取方法。对于这一情报，人们例如可以参见在说明书末尾给出的参考文档(3)。

图9是用于实现注释方法的数字照相机100的简化示意表示。它包括图像传感器104、快门106、取景器108以及在传感器104的相对侧上的控制屏幕102。控制屏幕用虚线来画出，这是因为它处于所示图形的相对一侧。

照相机还包括用于保存所捕获图像以及由远程通信信道所接收的任何图像的存储器112。实际上，照相机具有能够把所述照相机链接到像因特网那样的通信网络的远程通信模块114。此通信链路使图像能够被远程发送和接收。这些是有或者没有注释的图像。模块114优选是无线电模块，当照相机包括电话或消息发送功能时，所述无线电模块还可以用于语音传输。

附图标记120标示使用户能够在拍摄模式和注释模式之间进行选择的选择按钮。实际上，这是也能使用户从在存储器112中所保存的图像中选择要注释的图像或者选择包括注释的图像的多功能控制。

附图标记122标示被编程或电缆连接来管理合成图像的创建以及注释提取的计算机。所述计算机可以是用于照相机的各个功能的中央处理器。

所引用的文档

(1)US 2002/0051262

(2)US 6,005,972

(3)US 6,671,395

(4)US 6,054,990

(5)US 6,681,045

(6)WO 00/72125

Claims (9)

1.一种用于注释由装备有预览装置(102)的数字照相机(100)所捕获的图像的方法，包括：

在照相机上提供使用户能够选择至少一个要注释的图像(12)并且捕获至少一个附加预览的图像(13)的操作模式，

从所述附加图像中自动提取(20)注释(A)，并且

通过组合所述注释(A)和要注释的图像(12)来创建(22)至少一个新的图像，而在新的图像中遵守注释的位置和放大率，该注释的位置和放大率基本上与注释在附加图像中的位置和放大率完全相同。

2.如权利要求1所述的方法，其中提取注释包括在所述附加图像中选择对应于超过设置值的空间亮度梯度的轮廓(C)。

3.如权利要求2所述的方法，其中提取注释还包括轮廓(C)闭合以便创建至少一个掩模(M)的操作，以及在所述附加图像的对应于此掩码的至少一个部分中执行的阈值处理。

4.如权利要求1所述的方法，包括提供使得能够捕获(18)旨在用于在新的图像中固定注释的位置和放大率的第一附加图像(13)并且能够捕获(18a)旨在用于提取注释的第二附加图像(13a)的操作模式。

5.如权利要求1所述的方法，包括组合显示所预览的附加图像(13)和要注释的图像(12)。

6.如权利要求1所述的方法，包括预览步骤，在此期间，在照相机的控制屏幕上依照组合方式显示要注释的图像(12)和从附加图像(13)中所提取的注释(A)。

7.如权利要求1所述的方法，包括通过组合所述注释和要注释的图像序列来创建视频序列。

8.一种数字照相机，包括：

用于预览包含注释的图像的预览装置(102)，

用于提取所预览的图像的注释的提取装置(126)，

用于选择要注释的图像的选择装置(120)，和

用于通过把要注释的图像与所述注释相组合来创建合成图像的创建装置(120)。

9.如权利要求7所述的照相机，包括用于远程发送合成图像(15)的远程通信模块(114)。

Images