CN107004004A - 使用深度知觉作为搜索、用户兴趣或偏好的指示符 - Google Patents

Abstract

提供了一种方法和装置。该方法在例如，在三维显示上或在虚拟现实空间中使用深度感知来提供偏好信息的显示。识别图像或图像序列中的对象，并基于偏好信息向该对象分派相关信息。基于偏好的强度，在显示的前景平面中不同程度地示出受青睐的对象。基于偏好的强度，在显示的背景平面中不同程度地示出不受青睐的对象。在基准面而不是前景或背景中示出未识别出或中立的对象。提供了电影数据库应用的示例实施例，其中，各种演员被推进或推出示出。另一实施例允许用户调节对象的平面，以更改他的偏好。

Description

使用深度知觉作为搜索、用户兴趣或偏好的指示符

技术领域

本原理涉及在三维(3D)显示上或在虚拟现实(VR)空间中使用深度感知来指示搜索结果、用户偏好或兴趣。

背景技术

图像分割技术通常被用来分离图像或视频序列中的不同对象。对象识别技术使得这些对象在现有序列中被识别或追踪。在医学成像领域，可以通过定义肿瘤看起来像什么、然后在医学视频序列中搜索合理地匹配该描述的对象，来识别这些医学视频序列中有可能是肿瘤的对象。

但是，如果用户想要搜索某个对象或某个主体，并且不确定该主体可能被包含在哪个媒体资产中或者不确定该主体的确切外观，则图像分割和对象识别技术将失效。

另一挑战是以有意义的方式向用户呈现这种搜索的结果，以使用户可以快速识别出他正在查找的这些对象。

存在识别视频图像或序列中的主体并将这些主体连同图像中的感兴趣的项目一起呈现给用户的需求。

发明内容

本原理涉及在三维(3D)显示上或在虚拟现实(VR)空间中使用深度感知来指示搜索结果、用户偏好或兴趣，解决了现有技术的这些及其他缺点和不足。

根据本原理的一方面，提供了一种在三维或虚拟现实空间中显示偏好信息的方法。该方法包括接收偏好信息的步骤。该方法还包括基于偏好信息，生成输入图像数据中的被分割出且被识别出的至少一个对象的相关数据的步骤。该方法进一步包括基于所生成的相关数据，在至少两个平面中显示图像数据的步骤。

根据本原理的另一方面，提供了一种装置。该装置包括处理器，该处理器被配置为接收偏好信息，并基于偏好信息生成从输入视频数据分割出且识别出的至少一个对象的相关数据。该装置还包括显示处理器，该显示处理器接收相关数据，并基于相关数据产生在至少两个平面中显示图像数据的数据。

结合附图，从下面对示例性实施例的详细描述中，本原理的这些及其他方面、特征和优点将变得显而易见。

附图说明

根据下面的示例图将更好地理解本原理，其中：

图1示出了用于在三维或者虚拟现实空间中使用多个平面显示偏好的示例方法100的流程图。

图2示出了用于在三维或者虚拟现实空间中使用多个平面显示偏好的装置的一个实施例。

图3a和3b示出了具有多个块的三维图像的概念视图。

具体实施方式

本原理涉及在三维或者虚拟现实空间中显示偏好信息的方法和装置。该信息被使用深度感知显示出来，以使最感兴趣的项目能够被显示在出现在前景中或者更靠近观看者的平面中。不喜欢的项目被显示在出现在背景中或者远离观看者的平面中。前景平面和背景平面可以基于用户的相关程度或者感兴趣程度，来改变它们向前或者向后的程度。

图1示出了本原理的一个实施例。图1是用于在三维或者虚拟现实空间中使用多个平面显示偏好的方法100的流程图。该方法从步骤101开始并且继续进行到步骤110，步骤110用于接收偏好信息。偏好信息可以包括一个或多个用户输入、所存储的配置文件信息、或者其他这种数据。偏好信息还可以包括前述信息的某种组合、或者可以是基于这些信息的。该方法随后进行到步骤120，步骤120用于基于来自步骤110的偏好信息，生成输入图像数据中的被分割出且被识别出的至少一个对象的相关数据。该方法随后继续进行到步骤130，步骤130用于基于来自步骤120的所生成的相关数据，在至少两个平面中显示图像数据。

图2示出了用于在三维或者虚拟现实空间中使用多个平面显示偏好的装置200的一个示例性实施例。该装置包括处理器210，处理器210被配置为接收偏好信息，并且基于偏好信息生成从输入视频数据分割出且识别出的至少一个对象的相关数据。偏好信息可以包括一个或多个用户输入、所存储的配置文件信息、或者其他这种数据。偏好信息还可以包括前述信息的某种组合、或者可以是基于这些信息的。分割信息和对象识别信息可以作为本原理的一部分在本地生成，也可以由外部源提供。该装置进一步包括显示处理器220，显示处理器220与处理器210的相关数据输出信号连接，并且基于相关数据产生在至少两个平面中显示图像数据的数据。

该装置还可以可选地从能够调节图像中的对象平面的用户接收输入，该输入随后被反馈到用户偏好，以调节他或她的偏好供以后使用。

如前所述，本原理涉及使用深度感知作为搜索结果、用户兴趣或偏好的指示符。该深度信息被显示在三维(3D)或者虚拟现实(VR)空间中，并被指派给(一个或多个)图像中的被分割出且被识别出的图像或图像序列中的至少一个对象。参考以下描述中的图像，应该理解的是，该处理也可以被应用于包括独立图像的图像序列。

偏好信息被用来生成深度信息(也被称为相关信息)。偏好信息可以通过多种方式获取。其可以基于用户输入，例如，搜索查询。其可以基于用户配置文件信息，或者可以基于其他信息，例如，指示输入图像或图像序列中的对象的相关性的一些外部提供的信息。

分割信息还被用来将图像分解为不同对象。该分割信息可以作为本原理的一部分在本地生成，也可以由外部源提供。边缘检测算法可以被用来检测不同对象，并将它们分解为图像中的多片拼图。

对象辨别或对象识别信息被用来识别已经从图像中分割出的对象。对象识别信息也可以作为本原理的一部分在本地生成，或者可以由外部源提供。

在至少一个示例性实施例中，来自外部源的一组数据可以指示在某些电影场景中出现的演员。该数据的一个示例的DigitalSmiths数据。

偏好信息与输入图像中的分割信息和对象识别信息一起被用来生成输入图像中的至少一个对象的相关信息。偏好信息可以指示用户对某对象感兴趣的程度、该对象与用户的相关性、或者偏好信息示出的一些其他度量。

基于偏好的强度而不同程度地将受青睐的对象示出在显示的前景平面中。基于偏好的强度而不同程度地将不受青睐的对象示出在显示的背景平面中。未被识别出或者中立的对象既没有被示出在前景中也没有被示出在背景中，而是被示出在基准面上。

图像中的一个或多个对象的相关信息被用来在视频平面中显示对象，该视频平面指示相对于图像中的其他对象或者相对于背景的用户兴趣对象。未被识别出的对象可以被留在看上去既没有被推出也没有被推进的基准面上。例如，如果用户对特定对象非常感兴趣，例如，用户已经搜索该对象，则该对象可以被示出在前景平面上。如果另一对象比第一对象的相关性稍小一些，但是仍然存在一些用户兴趣，则该另一对象可以被示出在相比于第一对象稍靠后前景一点的平面中，但是仍然被示出在相对于图像的中立部分的前景中，其中没有指示出相关性。例如，如果用户配置文件指示出对某个事物的强烈反感，并且该事物也被包含在图像中，则该事物将出现在背景中示出的平面中，以指示用户不喜欢。各种对象相对于它们出现的平面的呈现是基于偏好信息进行调节的。

图3中指示出了3D或VR空间中的图像的前景和背景部分的示例。图3a示出了图像中标记为1至5的五个块的正视图300。用户对块5 350最感兴趣或者最喜欢，其次对块3 330感兴趣或者喜欢，再次对块2 320感兴趣或者喜欢。用户对块1 310不感兴趣，对块4 340非常不感兴趣。

图3b示出了图像在本原理下的概念性侧视图360。由于用户对块5 350最感兴趣，所以该块被“向前推”，或者被示出在最接近的前景中。下一个最靠前的是块3 330，然后是块2 320。

用户对块1 310不感兴趣，所以块1 310被示出为被稍微“向后推”进图像的背景中。另外，用户对块4 340非常不感兴趣，所以块4 340被示出为被进一步“向后推”到图像的背景平面中。

通过电影查询应用的示例可以示出本原理的实施例的一个示例。用户想要在(本地或线上)电影图书馆中搜索男演员A的电影。用户还具有指示他喜欢以及不喜欢哪个男演员/女演员的已经存储的配置文件。该配置文件还可以指示其他偏好信息，例如，体裁、导演等。

一旦用户搜索男演员A的电影，则用户会接收到包括男演员A的电影的图像、剪辑、或者预告片形式的一系列搜索结果。在这些结果中，男演员A会由于来自搜索的用户请求而被推进前景中。但是，由于来自配置文件信息的其他偏好被使用，这些剪辑还会在每个结果中示出其他男演员/女演员，并且他们的图像可以基于针对该演员的用户偏好而看上去被向前或向后推进。

如果用户看到很多前景男演员/女演员，则该用户可能会渴望收看包含很多他喜欢的明星的电影。但是，如果该用户在前景中看到包含男演员A的电影，而该电影的其他演员被向后推，则他可以决定他不希望观看该电影，因为尽管他期望看男演员A的电影但是他不喜欢其他演员。

类似的构思可以被应用于媒体资产标题，其中，最吸引用户的标题可以被推入前景，不吸引人的标题可以被向后推。

在另一示例性实施例中，一旦显示在各种平面中被示出为具有诸如演员之类的对象时，则用户可以通过直接调节对象或演员所在的平面来更改他的偏好。例如，在上述男演员A的实施例中，如果用户决定他已经改变了对于图像中的对象中的一个对象的看法，则他可以向前或向后推该对象，并且他的偏好信息或配置文件将被自动上传并且将以新的方式影响搜索。

在本原理下的三维显示中，图像中的各种对象在各种平面中看上去更远或更近。在虚拟现实空间中，可以想象各种平面就像一些抽屉不同程度地伸出来、其他抽屉不同程度地推进去的文件柜一样。用户可以绕着这些文件行走，并且确定它们被推进或推出的程度。

本说明书阐述了本原理。因此，将明白的是，本领域技术人员将能够设计出，虽然这里没有明确描述或示出、但是体现本原理并且被包括在本原理中的各种布置。

这里列出的所有示例和条件性语言用于教学性目的以帮助阅读者理解(一个或多个)发明人为本领域贡献的本原理和概念，并且应该被理解为不对这些具体列出的示例和条件进行任何限制。

另外，列出本原理的原理、方面、和实施例及其具体示例的所有陈述意图覆盖其结构和功能等同物二者。另外，期望这些等同物包括当前已知的等同物和将来开发出的等同物(即，将来开发出的执行相同功能的任意元件，不论其结构如何)。

因此，例如，本领域技术人员将明白的是，这里示出的框图表示体现本原理的说明性电路的概念性视图。类似地，将明白的是，任何流程图、流程示意图、状态转换图、伪代码等代表实质上被表现在计算机可读介质中并且因此可以被计算机或处理器执行的各种处理，不论该计算机或处理器是否被明确示出。

图中示出的各种元件的功能可以通过使用专用硬件以及与适当软件相关联的、能够执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器、或者多个独立处理器(该多个独立处理器中的一些可以被共享)来提供。另外，术语“处理器”或“控制器”的明确使用不应该被理解为排他地指代能够执行软件的硬件，而可以暗示地而非限制性地包括数字信号处理器(DSP)硬件、存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失性存储设备。

还可以包括其他传统和/或定制的硬件。类似地，图中示出的任意开关仅是概念性的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过程序控件和专用逻辑的交互、甚至人工来实现，实施者可以根据上下文的更具体的理解来选择特定技术。

在权利要求中，被表达为用于执行指定功能的装置的任何元件旨在覆盖执行该功能的任何手段，包括例如：a)执行该功能的电路元件的组合，或者b)与用于执行软件的适当电路相结合来执行该功能的包括固件、微代码等的任意形式的软件。由这样的权利要求限定的本原理基于这样的事实，即，由所列举的各种部件提供的功能被以权利要求所需要的方式结合并汇聚在一起。因此认为，可以提供这些功能的任何部件都等同于这里示出的部件。

说明书中提到本原理的“一个实施例”或者“一实施例”以及它们的其他变形意味着，结合实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，出现在贯穿说明书的不同位置的短语“在一个实施例中”或“在一实施例中”、以及它们的任何其他变形并不一定全都指代同一个实施例。

将明白的是，下面使用的“/”、“和/或”、以及“至少一个”，例如，“A/B”、“A和/或B”、以及“A和B中的至少一个”，旨在仅覆盖第一个列出的选项A的选择、或者仅覆盖第二个列出的选项B的选择、或者覆盖选项A和B二者的选择。再如，在诸如“A、B、和/或C”和“A、B、和C中的至少一者”的情况下，这种短语旨在仅覆盖第一个列出的选项A的选择、仅覆盖第二个列出的选项B的选择、仅覆盖第三个列出的选项C的选择、仅覆盖第一和第二个列出的选项A和B二者的选择、仅覆盖第一和第三个列出的选项A和C二者的选择、仅覆盖第二和第三个列出的选项B和C二者的选择、或者覆盖所有三个选项A、B、和C的选择。本领域以及相关领域技术人员将很容易明白，上述情况可以扩展到列出很多项目的情况。

相关领域技术人员基于这里的教导将很容易确定本原理的这些和其他特征和优点。将理解的是，本原理的教导可以通过硬件、软件、固件、专用处理器、或者它们的组合的各种形式来实现。

最优选地，本原理的教导由硬件和软件的组合实现。另外，软件可以被实现为有形地具体化在程序存储单元上的应用程序。应用程序可以被上传到包括任何适当架构的机器，并被该机器执行。优选地，该机器被实现在具有例如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)、以及输入/输出(I/O)接口的硬件的计算机平台上。计算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是微指令代码的部分、应用程序的部分、或者它们的任意组合，并且可以由CPU执行。而且，诸如附加的数据存储单元和打印单元之类的各种其他外围单元可以被连接到计算机平台。

将进一步理解的是，由于附图中描绘的一些组成系统组件和方法优选地由软件实现，所以系统组件或处理功能块之间的实际连接可以基于本原理被编程的方式而不同。基于这里的教导，相关领域技术人员将能够预见到本原理的这些和类似实现方式或配置。

尽管已经参考附图描述了说明性实施例，但是将理解的是，本原理不限于这些精确实施例，并且各种改变和修改可以被相关领域技术人员想到并且不会超出本原理的范围。所有这些改变和修改旨在被包括在所附权利要求阐述的本原理的范围内。

Claims (16)

1.一种方法，包括：

接收偏好信息；

基于所述偏好信息，生成被分割出且被识别出的至少一个对象的相关数据；以及

基于所述相关数据，在至少两个平面中的一个平面中显示图像数据。

2.如权利要求1所述的方法，其中，所述显示步骤发生在三维或者虚拟现实空间中。

3.如权利要求1所述的方法，包括以下步骤：

响应于用户输入和所存储的配置文件信息中的至少一者，配置所存储的偏好信息。

4.如权利要求3所述的方法，包括以下步骤：

接收搜索查询作为用户输入。

5.如权利要求3所述的方法，包括以下步骤：

通过将至少一个用户输入与所存储的配置文件信息相结合，来配置所述偏好信息。

6.如权利要求1所述的方法，其中，所述至少一个对象是通过输入视频数据中包含的对象的数据库识别出来的。

7.如权利要求1所述的方法，其中，被分割出的所述至少一个对象是使用边缘检测处理分割出的。

8.如权利要求1所述的方法，其中，所述偏好信息被所述用户通过所述显示改变对象的平面而修改。

9.一种装置，包括：

处理器，被配置为接收偏好信息，并基于所述偏好信息生成从输入视频数据分割出且识别出的至少一个对象的相关数据；

显示处理器，该显示处理器接收所述相关数据，并基于所述相关数据产生在至少两个平面中的一个平面中显示图像数据的数据。

10.如权利要求9所述的装置，其中，所述显示处理器产生在三维或虚拟现实空间中的至少两个平面中的一个平面中显示所述图像数据的数据。

11.如权利要求9所述的装置，其中，所述偏好信息是基于用户输入和所存储的配置文件信息中的至少一者的。

12.如权利要求11所述的装置，其中，所述用户输入是搜索查询。

13.如权利要求11所述的装置，其中，所述偏好信息是至少一个用户输入和所存储的偏好信息的组合。

14.如权利要求11所述的装置，其中，所述至少一个对象是通过输入视频数据中包含的对象的数据库识别出来的。

15.如权利要求11所述的装置，其中，被分割出的所述至少一个对象是使用边缘检测处理分割出的。

16.如权利要求11所述的装置，其中，所述偏好信息被所述用户通过所述显示改变对象的平面来修改。