CN104170368A - 关于图像内容的方法和设备 - Google Patents

Abstract

本发明涉及再生图像的方法和设备。该设备包括控制器(120)和用于记录包括第一对象(551)和第二对象(552)的第一图像的图像记录部(190，200，300，400)，其特征在于：用于计算到所述第一对象和所述第二对象的每一个的距离数据的装置；所述控制器(120)被配置为产生用于第二图像的输出图像数据，所述输出图像数据包括到所述第一对象和所述第二对象的距离数据和用于附加视觉信息(553，554，555)的数据，其中，相对于来自所述计算的距离的距离信息，所述附加视觉信息和至少所述第二图像的第一部分在再生时与至少所述第二图像的第二部分相比被不同地可视化。

Description

关于图像内容的方法和设备

技术领域

本发明总体涉及图像处理并且提供具有与图像对象特征，尤其是图像深度，相关的相关信息的再生图像。

背景技术

当前，便携设备，例如安装了相机的移动电话、PDA、数码相机等等，允许显示高分辨率的视觉信息。

当通过显示器，例如相机或者计算机显示器，观看增强现实(AR)时，在屏幕上可以以所有深度再生大量信息。传统相机不能够产生精确确定某些深度和距离的深度图。但是，深度和距离可以被用于选择可视的AR信息。

发明内容

本发明的一个目的是提供一种方法和设备，从而解决了提供具有对应于基于到图像中的对象的距离的图像深度的附加信息的再生图像的问题。

为此，提供一种再生图像的设备，该设备包括：控制器和用于记录包括第一对象和第二对象的第一图像的图像记录部。该设备还包括用于计算到所述第一对象和所述第二对象的每一个的距离数据的装置；并且所述控制器被配置为产生用于第二图像的输出图像数据。所述输出图像数据包括到所述第一对象和所述第二对象的距离数据和用于附加视觉信息的数据。相对于来自所述计算的距离的距离信息，所述附加视觉信息和至少所述第二图像的第一部分在再生时与至少所述第二图像的第二部分相比被不同地可视化。所述不同的可视化在再生时包括与所述第一部分相比而言具有更少或更多细节、清晰度或对比度的不同的可视化特征。所述图像记录部包括下述中的一个或多个：深度相机、立体相机、计算相机、测距相机、闪烁激光雷达、渡越时间(ToF)相机或RGB-D相机，上述相机使用下述的不同的传感机制：距离选通ToF、射频调制ToF、脉冲光ToF和投影光立体。在一个实施例中，所述图像记录部测量到所述对象的实际距离。在一个实施例中，所述图像记录部包括自动对焦，从而提供用于记录的图像的对焦部分的被解释为距离数据的数据。在一个实施例，所述设备包括用于设置所述第二所述再生在外部显示器上被外部地执行的装置。所述控制器可以被配置为在取景器中产生深度图，并且所述设备被配置为分类将要观看的附加信息以及设置将要被再生的在所述信息中的细节等级。

本发明还涉及一种用于提供具有附加信息的再生图像的方法。该方法包括以下步骤：使用包括第一对象和第二对象以及包括标识到所述第一对象和所述第二对象的距离的数据的数字图像，产生包括与所述第一对象和所述第二对象相关联的所述附加信息的输出图像数据，所述输出图像数据再生具有插入的附加信息和相对于不同的距离的不同的可视性参数的所述图像。所述不同的可视性参数在再生时包括与所述第一部分相比而言具有更少或更多细节、清晰度或对比度的不同的可视化特征。所述方法可以进一步包括：在取景器中产生深度图，以及分类将要观看的附加信息以及设置将要被再生的在所述信息中的细节等级。

附图说明

参考附图，其中具有相同附图标记的元件在全文中表示类似的元件。

图1是一个示例性的系统的框图，在其中实现了在此描述的方法和系统；

图2示出了根据本发明的第一实施例的相机设备的示意图；

图3示出了根据本发明的第二实施例的相机设备的示意图；

图4示出了根据本发明的第三实施例的相机设备的示意图；

图5a和5b示意性地示出了根据本发明的一个实施例的以两个不同对焦模式显示图像的设备的显示器；以及

图6示出了根据本发明的方法的步骤的示意图。

具体实施方式

下面将会参考附图进行详细描述。在不同附图中的相同附图标记表示相同或者类似的元件。在此使用的术语“图像”被认为是视觉信息(例如图片、视频、照片、动画)的数字或者模拟表达。

同样，下面的详细描述不限制本发明。相反地，通过随附的权利要求以及等同物来定义本发明的范围。

根据本发明，通常当在取景器中具有连续产生的深度图时，该设备被配置为分类出要被观看的AR信息以及能够被设置的在该信息中的细节等级。

通过使用视场和在取景器的深度图产生的图片上设置焦点，该系统检测什么距离是焦点对准的。使用该信息，可以“自然地”产生AR信息。在对焦的视场区域中，更多的细节可以被提供增强现实。距离近或者远的对象可以具有不同的可视化特征，以与在图片中的相同方式，例如模糊不清、失焦、变灰等等。在图片的模糊部分，示出了较少的细节。通过改变对焦区域，模糊部分将会变得清晰并且附加信息被示出。

在此使用的术语“增强现实”、“附加信息”或“调节现实”通常涉及修改图像，例如通过计算机，通过附加特征，例如声音、视频、图形或者GPS数据等等。

图6示出了根据一个实施例的方法的步骤：

获取图像(1)，如下将要描述的，计算图像的深度或者到图像中对象的距离(2)，插入附加信息数据(3)并且与对象关联(4)以及利用具有相对于不同距离的不同可视性参数来再生(5)输出图像。

权利要求8的方法，其中所述不同可视性参数包括比再生时的所述第一部分具有更少或更多细节、清晰度、或对比度的不同的视觉特征。

权利要求8的方法，进一步包括在取景器中产生深度图以及分类将观看的附加信息并且设置将被再生的在信息中的细节等级。

图1是示例性系统100的示意图，其中实现了在此描述的方法和系统。系统100包括总线110、处理器120、存储器130、只读存储器(ROM)140、存储设备150、输入设备160、输出设备170、以及通信接口180。总线110允许在系统100的部件之间的通信。系统100还包括一个或者多个电源(未示出)。本领域技术人员可以意识到该系统100可以以多种方式配置并且包括其它或者不同的元件。

处理器120可以包括任何类型的编译和执行指令的处理器或者微处理器。处理器120还可以包括能够解码媒体文件(例如音频文件、视频文件、多媒体文件、图像文件、视频游戏等等)的逻辑块，并且产生至例如扬声器、显示器等等的输出。存储器130可以包括随机访问存储器(RAM)或者其它存储由处理器120执行的信息和指令的动态存储设备。存储器130还可以被用于存储在处理器120执行指令期间的临时变量或者其它中间信息。

ROM 140可以包括传统ROM设备和/或其它存储用于处理器120的静态信息和指令的静态存储设备。存储设备150可以包括磁盘或者光盘及其对应的驱动器和/或一些其它类型的用于存储信息和指令的磁或者光记录介质及其对应的驱动器。存储设备150还可以包括用于存储信息和指令的闪存(例如，电可擦可编程只读存储器(EEPROM))设备。

输入设备160可以包括一个或者多个允许用户向系统100输入信息的传统机构，例如键盘、小键盘、指向柄、鼠标、手写笔、语音识别、触摸屏和/或生物识别机构等等。该输入设备可以连接到图像记录器，例如用于静止或者运动图片的相机设备190。

输出设备170可以包括输出信息到用户的一个或者多个传统机构，包括显示器、打印机、一个或者多个扬声器等等。通信接口180可以包括任何收发器类机构，能够使得系统100与其它设备和/或系统通信。例如，通信接口180可以包括连接到LAN的调制解调器或者以太网接口。可选地，或者附加地，通信接口180可以包括用于通过网络通信的其它机构，例如无线网络。例如，通信接口可以包括射频(RF)发射器和接收器以及用于发送和接收RF数据的一个或者多个天线。

根据本发明的系统100提供一种平台，用户可以通过该平台获取接入以观看各种媒体，例如视频文件或图像文件、以及还有游戏、多媒体文件等等。系统100还可以显示与由系统100的用户播放和/或观看的图形格式的媒体相关的信息，如下将详细描述的。

根据示例性的实施例，响应于处理器120执行包括在存储器130中的指令序列，系统100可以执行各种处理。该指令可以被从其它计算机可读介质(例如存储设备150)中读入到存储器130中，或者通过通信接口180从单独的设备读入。应当理解，计算机可读介质可以包括一个或者多个存储设备或者载波。包括在存储器130中的指令序列的执行使得处理器120执行下面将要描述的动作。在一个可选实施例中，硬件布线电路可以被用于替代或者与软件指令联合来执行根据本发明的这些方面。因此，本发明不限制于硬件电路和软件的具体结合。

根据相机设备的第一实施例，可以是立体相机200。现在参考附图2，立体相机200可以包括左相机210L和右相机210R。术语“相机”意味着包括任何具有用于形成对象的图像的光学系统和用于接收和检测和/或记录该图像的介质的设备。左和右相机可以是胶片或者数字静态图像相机，可以是胶片或者数字运动图像相机，或者视频相机。左和右相机210L、210R可以以两眼间的距离IOD分离。左和右相机210L、210R中的每一个都包括镜头212L、212R。术语“镜头”意味着包括任何成像光学系统以及不限制于透明折射光学元件的组合。镜头可以使用折射、衍射和/或反射光学元件以及它们的组合。每一个镜头具有定义每一个相机210L、210R的视场中心的轴215L、215R。

相机210L、210R可以被布置为使得轴215L、215R平行或者使得在两个轴215L、215R之间形成一个会聚角。相机210L、210R被设置为使得轴215L、215R在距离相机一个会聚距离CD处交叉。该双眼距离IOD、会聚距离CD以及会聚角度α由以下公式定义：

α＝2A TAN(IOD/2CD)，或者(1)

CD＝IOD/[2TAN(α/2)] (2)

双眼距离IOD和会聚距离CD可以从镜头212L、212R的每一个内的节点测量，该节点可以是入射瞳孔的中心。由于入射瞳孔可以接近于镜头212L、212R的前面，所以可以从镜头212L、212R的前面方便地测量双眼距离IOD和会聚距离CD。

立体相机200可以被用于形成场景的立体图像。如在图2的简单例子中示出的，场景可以包括主要被摄体230，如示出的是一个人。该场景还可以包括背景(在主要被摄体之后)中的其它特征和对象。从相机210L、210R到最远背景对象240(例如示出的树)的距离可以被称为最远对象距离EOD。

当来自于立体相机(例如立体相机200)的图像被显示在观看屏幕上时，在会聚距离的场景对象将会出现在观看屏幕的平面中。接近于立体相机的主要被摄体230将会出现在观看屏幕的前面。距离立体相机较远的对象240出现在观看屏幕的后面。

图3示意性地示出了相机设备的第二实施例，其中示出了构成用于相机设备300的典型被动自动对焦系统的元件。相机设备300包括镜头301(可能是复合镜头)、传感器302(例如像素阵列)、用于移动镜头以改变系统焦距的马达310、以及与存储器304相关联的微处理器303。处理器303可以是处理器120而存储器304可以是RAM存储器，如之前提到的。马达和镜头包括对焦和平面调整装置305。平面调整装置形成图像稳定系统的一部分。平面调整装置例如可以包括倾斜镜头的装置。

处理器可操作以控制对焦装置和平面调整装置，从而通过连续地将相机设备的焦距设置在一个或者多个对焦位置，而焦平面的角度被倾斜从而与光路正交，自动对焦在相机的视场内的被摄体311上。相机设备可以进一步操作以获取在每一个对焦位置的图像以及执行来自每一个图像的数据的比较，从而确定最佳对焦。该比较包括比较来自至少沿着至少一个图像的倾斜对焦平面的两个不同位置的数据。该比较可以包括比较来自在针对每一个获取的图像的倾斜焦平面上的至少两个位置的数据。针对每一个图像，根据每一个图像的比较的位置的数量可以相同。

至少一些获取用于比较的数据的位置每一个都可以定义感兴趣的区域，并且相机设备在每个感兴趣的区域上执行比较。感兴趣区域可以包括倾斜的焦平面的倾斜轴的垂线，实质上位于视场的中心。用于比较的数据包括图像对比度或者清晰度统计，图像对比度或者清晰度统计可以被解释为距离数据，其被存储并且用于实现本发明。

在相机设备的第三实施例中，来自于自动对焦功能的数据可以被使用。图4示意性地示出了相机400，其包括镜头401、传感器(例如CCD传感器)402、以及自动对焦设备403。当自动对焦设备每一次尝试对焦在对象上时，该数据被提供给控制器120并且因此该对应于模糊对象(图像的一部分)的数据被存储。根据本发明，该数据可以构成用于AR深度的数据。

在另一个实施例中，可以使用计算相机，其使用了光学器件和计算的组合来产生最终的图像。光学器件被用于将场景中的光场的射线映射到检测器上的像素。该射线可以被光学器件几何地反射到与它们本来将已经到达的像素不同的像素。该射线还可以被光学器件光学计量地改变。在所有情况下，获取的图像被光学地编码。计算模块具有光学模型，用于解码获取的图像从而产生对视觉系统有益的新类型的图像。

其它深度相机，例如测距相机、闪烁激光雷达、渡越时间(ToF)相机以及RGB-D相机也可以被使用，它们使用不同传感机构，例如距离选通ToF、射频调制ToF、脉冲光ToF以及投影光立体。共性是它们都提供传统(有时是彩色)图像和用于每一个像素的深度信息(深度图像)。

另一项可以使用的技术是视差扫描深度增强成像方法，其依赖于在场景的深度平面之间的离散视差的差异。该差异是由于视差扫描引起的。当被适当地平衡(调制)并且显示时，通过观看者的大脑将离散视差的差异感知为深度。该深度图可以被获取以用于本发明的目的。

因此，本发明使用来自相机设备的上述实施例的信息来产生AR或调节现实信息。在视场区域的对焦场中，采用增强实景提供了更多的细节。接近或者远离的对象以与图片相同的方式被模糊。在该图片的模糊部分中，示出了较少的细节。通过改变对焦区域，模糊部分现在变得清晰并且附加信息被显示。

图5a和5b示出了显示图像的显示器550的一个例子，包括人脸551、其背景中具有风景画552。在这种情况下形成为标签553-555的AR信息被提供在显示的图像中。标签553可以是脸的名字：“人1”，标签554示出了树，是著名的“老橡树(OldOak)”，而标签555标识背景中的山，是“阿尔卑斯山”。

在图5a中，由于相机的焦点在脸上，脸的标签553和脸551没有被模糊。然而，在图5b中，焦点在背景中，也就是山和树，因此脸551和标签553被模糊，而标签554和555可以清楚地看到。

通过将信息从相机设备传输到计算机，图像和信息还可以随后在其它设备(例如计算机)上被再生。

应当注意到，词语“包括”并不排除出现其它不同于在此列出的元件或步骤，而在元件之前的词“一”或“一个”不排除多个这样的元件的出现。还应当注意到任何附图标记不限制权利要求的范围，并且本发明至少部分以硬件和软件的方式实现，并且多个“装置”、“元件”或者“设备”表示相同的硬件项目。

在此描述的本发明的各种实施例在方法步骤或者处理的广义语境中描述，其通过嵌入在计算机可读介质中的通过在网络环境中的计算机执行的包括计算机执行指令的计算机程序产品，例如编程代码来实现为一个实施例。通常，程序模块包括执行特定任务或者实现特殊摘要数据类型的例行程序、程序、对象、构件、数据结构等等。与数据结构相关联的计算机可执行指令和程序模块表示用于执行在此公开的方法的执行步骤的程序代码。该可执行指令或者相关联的数据结构的特定序列表示用于实现在此步骤或者处理中描述的功能的对应的动作的例子。

本发明的各种实施例的软件或者网络的实现，可以通过标准编程技术采用基于规则的逻辑电路和其它用于实现各种数据库搜索步骤或者处理、关联步骤或处理、比较步骤或处理以及判定步骤或处理的逻辑电路来实现。也应当注意到，如在此使用以及在下面权利要求中的词语“构件”和“模块”意在包含使用一个或者多个软件代码行的实现、和/或硬件实现、和/或接收人工输入的实施方式。

在此讨论的实施方式被选择并且被描述从而解释本发明的各种实施方式的原理和性质及其实际应用，以使得本领域技术人员能够利用各种实施方式中的和具有适合于特定使用预期的各种修改的本发明。在此描述的本发明的实施方式的特征被组合为方法、装置、模块、系统以及计算机程序产品的所有可能组合。

Claims (10)

1.一种用于再生图像的设备，该设备包括控制器(120)和用于记录包括第一对象(551)和第二对象(552)的第一图像的图像记录部(190，200，300，400)，其特征在于：

.用于计算到所述第一对象和所述第二对象的每一个的距离数据的装置；

.所述控制器(120)被配置为产生用于第二图像的输出图像数据，所述输出图像数据包括到所述第一对象和所述第二对象的距离数据和用于附加视觉信息(553，554，555)的数据，其中，相对于来自所述计算的距离的距离信息，所述附加视觉信息和至少所述第二图像的第一部分在再生时与至少所述第二图像的第二部分相比被不同地可视化。

2.根据权利要求1所述的设备，其中，所述不同的可视化在再生时包括与所述第一部分相比而言具有更少或更多细节、清晰度或对比度的不同的可视化特征。

3.根据权利要求1所述的设备，其中，所述图像记录部包括下述中的一个或多个：深度相机、立体相机、计算相机、测距相机、闪烁激光雷达、渡越时间(ToF)相机或RGB-D相机，上述相机使用下述的不同的传感机制：距离选通ToF、射频调制ToF、脉冲光ToF和投影光立体。

4.根据权利要求1所述的设备，其中，所述图像记录部测量到所述对象的实际距离。

5.根据权利要求1所述的设备，其中，所述图像记录部包括自动对焦，从而提供用于记录的图像的对焦部分的被解释为距离数据的数据。

6.根据权利要求1所述的设备，所述设备包括用于设置所述第二所述再生在外部显示器上被外部地执行的装置。

7.根据权利要求1所述的设备，其中，所述控制器被配置为在取景器中产生深度图，并且所述设备被配置为分类将要观看的附加信息以及设置将要被再生的在所述信息中的细节等级。

8.一种用于提供具有附加信息的再生图像的方法，该方法包括以下步骤：使用包括第一对象和第二对象以及包括标识到所述第一对象和所述第二对象的距离的数据的数字图像，产生包括与所述第一对象和所述第二对象相关联的所述附加信息的输出图像数据，所述输出图像数据再生具有插入的附加信息和相对于不同的距离的不同的可视性参数的所述图像。

9.根据权利要求8所述的方法，其中，所述不同的可视性参数在再生时包括与所述第一部分相比而言具有更少或更多细节、清晰度或对比度的不同的可视化特征。

10.根据权利要求8所述的方法，所述方法进一步包括：在取景器中产生深度图，以及分类将要观看的附加信息以及设置将要被再生的在所述信息中的细节等级。