CN107004004B - 使用深度知觉作为搜索、用户兴趣或偏好的指示符 - Google Patents

使用深度知觉作为搜索、用户兴趣或偏好的指示符 Download PDF

Info

Publication number
CN107004004B
CN107004004B CN201580051350.3A CN201580051350A CN107004004B CN 107004004 B CN107004004 B CN 107004004B CN 201580051350 A CN201580051350 A CN 201580051350A CN 107004004 B CN107004004 B CN 107004004B
Authority
CN
China
Prior art keywords
preference
plane
information
image
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580051350.3A
Other languages
English (en)
Other versions
CN107004004A (zh
Inventor
约尔·福格尔森
胡安·M·诺古罗尔
亚当·巴乐斯特
吉拉姆·安德烈·罗杰·古斯萨尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
InterDigital Madison Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital Madison Patent Holdings SAS filed Critical InterDigital Madison Patent Holdings SAS
Publication of CN107004004A publication Critical patent/CN107004004A/zh
Application granted granted Critical
Publication of CN107004004B publication Critical patent/CN107004004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种方法和装置。该方法在例如，在三维显示上或在虚拟现实空间中使用深度感知来提供偏好信息的显示。识别图像或图像序列中的对象，并基于偏好信息向该对象分派相关信息。基于偏好的强度，在显示的前景平面中不同程度地示出受青睐的对象。基于偏好的强度，在显示的背景平面中不同程度地示出不受青睐的对象。在基准面而不是前景或背景中示出未识别出或中立的对象。提供了电影数据库应用的示例实施例，其中，各种演员被推进或推出示出。另一实施例允许用户调节对象的平面，以更改他的偏好。

Description

使用深度知觉作为搜索、用户兴趣或偏好的指示符
技术领域
本原理涉及在三维(3D)显示上或在虚拟现实(VR)空间中使用深度感知来指示搜索结果、用户偏好或兴趣。
背景技术
图像分割技术通常被用来分离图像或视频序列中的不同对象。对象识别技术使得这些对象在现有序列中被识别或追踪。在医学成像领域，可以通过定义肿瘤看起来像什么、然后在医学视频序列中搜索合理地匹配该描述的对象，来识别这些医学视频序列中有可能是肿瘤的对象。
但是，如果用户想要搜索某个对象或某个主体，并且不确定该主体可能被包含在哪个媒体资产中或者不确定该主体的确切外观，则图像分割和对象识别技术将失效。
另一挑战是以有意义的方式向用户呈现这种搜索的结果，以使用户可以快速识别出他正在查找的这些对象。
存在识别视频图像或序列中的主体并将这些主体连同图像中的感兴趣的项目一起呈现给用户的需求。
发明内容
本原理涉及在三维(3D)显示上或在虚拟现实(VR)空间中使用深度感知来指示搜索结果、用户偏好或兴趣，解决了现有技术的这些及其他缺点和不足。
根据本原理的一方面，提供了一种在三维或虚拟现实空间中显示偏好信息的方法。该方法包括接收偏好信息的步骤。该方法还包括基于偏好信息，生成输入图像数据中的被分割出且被识别出的至少一个对象的相关数据的步骤。该方法进一步包括基于所生成的相关数据，在至少两个平面中显示图像数据的步骤。
根据本原理的另一方面，提供了一种装置。该装置包括处理器，该处理器被配置为接收偏好信息，并基于偏好信息生成从输入视频数据分割出且识别出的至少一个对象的相关数据。该装置还包括显示处理器，该显示处理器接收相关数据，并基于相关数据产生在至少两个平面中显示图像数据的数据。
结合附图，从下面对示例性实施例的详细描述中，本原理的这些及其他方面、特征和优点将变得显而易见。
附图说明
根据下面的示例图将更好地理解本原理，其中：
图1示出了用于在三维或者虚拟现实空间中使用多个平面显示偏好的示例方法100的流程图。
图2示出了用于在三维或者虚拟现实空间中使用多个平面显示偏好的装置的一个实施例。
图3a和3b示出了具有多个块的三维图像的概念视图。
具体实施方式
本原理涉及在三维或者虚拟现实空间中显示偏好信息的方法和装置。该信息被使用深度感知显示出来，以使最感兴趣的项目能够被显示在出现在前景中或者更靠近观看者的平面中。不喜欢的项目被显示在出现在背景中或者远离观看者的平面中。前景平面和背景平面可以基于用户的相关程度或者感兴趣程度，来改变它们向前或者向后的程度。
图1示出了本原理的一个实施例。图1是用于在三维或者虚拟现实空间中使用多个平面显示偏好的方法100的流程图。该方法从步骤101开始并且继续进行到步骤110，步骤110用于接收偏好信息。偏好信息可以包括一个或多个用户输入、所存储的配置文件信息、或者其他这种数据。偏好信息还可以包括前述信息的某种组合、或者可以是基于这些信息的。该方法随后进行到步骤120，步骤120用于基于来自步骤110的偏好信息，生成输入图像数据中的被分割出且被识别出的至少一个对象的相关数据。该方法随后继续进行到步骤130，步骤130用于基于来自步骤120的所生成的相关数据，在至少两个平面中显示图像数据。
图2示出了用于在三维或者虚拟现实空间中使用多个平面显示偏好的装置200的一个示例性实施例。该装置包括处理器210，处理器210被配置为接收偏好信息，并且基于偏好信息生成从输入视频数据分割出且识别出的至少一个对象的相关数据。偏好信息可以包括一个或多个用户输入、所存储的配置文件信息、或者其他这种数据。偏好信息还可以包括前述信息的某种组合、或者可以是基于这些信息的。分割信息和对象识别信息可以作为本原理的一部分在本地生成，也可以由外部源提供。该装置进一步包括显示处理器220，显示处理器220与处理器210的相关数据输出信号连接，并且基于相关数据产生在至少两个平面中显示图像数据的数据。
该装置还可以可选地从能够调节图像中的对象平面的用户接收输入，该输入随后被反馈到用户偏好，以调节他或她的偏好供以后使用。
如前所述，本原理涉及使用深度感知作为搜索结果、用户兴趣或偏好的指示符。该深度信息被显示在三维(3D)或者虚拟现实(VR)空间中，并被指派给(一个或多个)图像中的被分割出且被识别出的图像或图像序列中的至少一个对象。参考以下描述中的图像，应该理解的是，该处理也可以被应用于包括独立图像的图像序列。
偏好信息被用来生成深度信息(也被称为相关信息)。偏好信息可以通过多种方式获取。其可以基于用户输入，例如，搜索查询。其可以基于用户配置文件信息，或者可以基于其他信息，例如，指示输入图像或图像序列中的对象的相关性的一些外部提供的信息。
分割信息还被用来将图像分解为不同对象。该分割信息可以作为本原理的一部分在本地生成，也可以由外部源提供。边缘检测算法可以被用来检测不同对象，并将它们分解为图像中的多片拼图。
对象辨别或对象识别信息被用来识别已经从图像中分割出的对象。对象识别信息也可以作为本原理的一部分在本地生成，或者可以由外部源提供。
在至少一个示例性实施例中，来自外部源的一组数据可以指示在某些电影场景中出现的演员。该数据的一个示例的DigitalSmiths数据。
偏好信息与输入图像中的分割信息和对象识别信息一起被用来生成输入图像中的至少一个对象的相关信息。偏好信息可以指示用户对某对象感兴趣的程度、该对象与用户的相关性、或者偏好信息示出的一些其他度量。
基于偏好的强度而不同程度地将受青睐的对象示出在显示的前景平面中。基于偏好的强度而不同程度地将不受青睐的对象示出在显示的背景平面中。未被识别出或者中立的对象既没有被示出在前景中也没有被示出在背景中，而是被示出在基准面上。
图像中的一个或多个对象的相关信息被用来在视频平面中显示对象，该视频平面指示相对于图像中的其他对象或者相对于背景的用户兴趣对象。未被识别出的对象可以被留在看上去既没有被推出也没有被推进的基准面上。例如，如果用户对特定对象非常感兴趣，例如，用户已经搜索该对象，则该对象可以被示出在前景平面上。如果另一对象比第一对象的相关性稍小一些，但是仍然存在一些用户兴趣，则该另一对象可以被示出在相比于第一对象稍靠后前景一点的平面中，但是仍然被示出在相对于图像的中立部分的前景中，其中没有指示出相关性。例如，如果用户配置文件指示出对某个事物的强烈反感，并且该事物也被包含在图像中，则该事物将出现在背景中示出的平面中，以指示用户不喜欢。各种对象相对于它们出现的平面的呈现是基于偏好信息进行调节的。
图3中指示出了3D或VR空间中的图像的前景和背景部分的示例。图3a示出了图像中标记为1至5的五个块的正视图300。用户对块5 350最感兴趣或者最喜欢，其次对块3 330感兴趣或者喜欢，再次对块2 320感兴趣或者喜欢。用户对块1 310不感兴趣，对块4 340非常不感兴趣。
图3b示出了图像在本原理下的概念性侧视图360。由于用户对块5 350最感兴趣，所以该块被“向前推”，或者被示出在最接近的前景中。下一个最靠前的是块3 330，然后是块2 320。
用户对块1 310不感兴趣，所以块1 310被示出为被稍微“向后推”进图像的背景中。另外，用户对块4 340非常不感兴趣，所以块4 340被示出为被进一步“向后推”到图像的背景平面中。
通过电影查询应用的示例可以示出本原理的实施例的一个示例。用户想要在(本地或线上)电影图书馆中搜索男演员A的电影。用户还具有指示他喜欢以及不喜欢哪个男演员/女演员的已经存储的配置文件。该配置文件还可以指示其他偏好信息，例如，体裁、导演等。
一旦用户搜索男演员A的电影，则用户会接收到包括男演员A的电影的图像、剪辑、或者预告片形式的一系列搜索结果。在这些结果中，男演员A会由于来自搜索的用户请求而被推进前景中。但是，由于来自配置文件信息的其他偏好被使用，这些剪辑还会在每个结果中示出其他男演员/女演员，并且他们的图像可以基于针对该演员的用户偏好而看上去被向前或向后推进。
如果用户看到很多前景男演员/女演员，则该用户可能会渴望收看包含很多他喜欢的明星的电影。但是，如果该用户在前景中看到包含男演员A的电影，而该电影的其他演员被向后推，则他可以决定他不希望观看该电影，因为尽管他期望看男演员A的电影但是他不喜欢其他演员。
类似的构思可以被应用于媒体资产标题，其中，最吸引用户的标题可以被推入前景，不吸引人的标题可以被向后推。
在另一示例性实施例中，一旦显示在各种平面中被示出为具有诸如演员之类的对象时，则用户可以通过直接调节对象或演员所在的平面来更改他的偏好。例如，在上述男演员A的实施例中，如果用户决定他已经改变了对于图像中的对象中的一个对象的看法，则他可以向前或向后推该对象，并且他的偏好信息或配置文件将被自动上传并且将以新的方式影响搜索。
在本原理下的三维显示中，图像中的各种对象在各种平面中看上去更远或更近。在虚拟现实空间中，可以想象各种平面就像一些抽屉不同程度地伸出来、其他抽屉不同程度地推进去的文件柜一样。用户可以绕着这些文件行走，并且确定它们被推进或推出的程度。
本说明书阐述了本原理。因此，将明白的是，本领域技术人员将能够设计出，虽然这里没有明确描述或示出、但是体现本原理并且被包括在本原理中的各种布置。
这里列出的所有示例和条件性语言用于教学性目的以帮助阅读者理解(一个或多个)发明人为本领域贡献的本原理和概念，并且应该被理解为不对这些具体列出的示例和条件进行任何限制。
另外，列出本原理的原理、方面、和实施例及其具体示例的所有陈述意图覆盖其结构和功能等同物二者。另外，期望这些等同物包括当前已知的等同物和将来开发出的等同物(即，将来开发出的执行相同功能的任意元件，不论其结构如何)。
因此，例如，本领域技术人员将明白的是，这里示出的框图表示体现本原理的说明性电路的概念性视图。类似地，将明白的是，任何流程图、流程示意图、状态转换图、伪代码等代表实质上被表现在计算机可读介质中并且因此可以被计算机或处理器执行的各种处理，不论该计算机或处理器是否被明确示出。
图中示出的各种元件的功能可以通过使用专用硬件以及与适当软件相关联的、能够执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器、或者多个独立处理器(该多个独立处理器中的一些可以被共享)来提供。另外，术语“处理器”或“控制器”的明确使用不应该被理解为排他地指代能够执行软件的硬件，而可以暗示地而非限制性地包括数字信号处理器(DSP)硬件、存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失性存储设备。
还可以包括其他传统和/或定制的硬件。类似地，图中示出的任意开关仅是概念性的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过程序控件和专用逻辑的交互、甚至人工来实现，实施者可以根据上下文的更具体的理解来选择特定技术。
在权利要求中，被表达为用于执行指定功能的装置的任何元件旨在覆盖执行该功能的任何手段，包括例如：a)执行该功能的电路元件的组合，或者b)与用于执行软件的适当电路相结合来执行该功能的包括固件、微代码等的任意形式的软件。由这样的权利要求限定的本原理基于这样的事实，即，由所列举的各种部件提供的功能被以权利要求所需要的方式结合并汇聚在一起。因此认为，可以提供这些功能的任何部件都等同于这里示出的部件。
说明书中提到本原理的“一个实施例”或者“一实施例”以及它们的其他变形意味着，结合实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，出现在贯穿说明书的不同位置的短语“在一个实施例中”或“在一实施例中”、以及它们的任何其他变形并不一定全都指代同一个实施例。
将明白的是，下面使用的“/”、“和/或”、以及“至少一个”，例如，“A/B”、“A和/或B”、以及“A和B中的至少一个”，旨在仅覆盖第一个列出的选项A的选择、或者仅覆盖第二个列出的选项B的选择、或者覆盖选项A和B二者的选择。再如，在诸如“A、B、和/或C”和“A、B、和C中的至少一者”的情况下，这种短语旨在仅覆盖第一个列出的选项A的选择、仅覆盖第二个列出的选项B的选择、仅覆盖第三个列出的选项C的选择、仅覆盖第一和第二个列出的选项A和B二者的选择、仅覆盖第一和第三个列出的选项A和C二者的选择、仅覆盖第二和第三个列出的选项B和C二者的选择、或者覆盖所有三个选项A、B、和C的选择。本领域以及相关领域技术人员将很容易明白，上述情况可以扩展到列出很多项目的情况。
相关领域技术人员基于这里的教导将很容易确定本原理的这些和其他特征和优点。将理解的是，本原理的教导可以通过硬件、软件、固件、专用处理器、或者它们的组合的各种形式来实现。
最优选地，本原理的教导由硬件和软件的组合实现。另外，软件可以被实现为有形地具体化在程序存储单元上的应用程序。应用程序可以被上传到包括任何适当架构的机器，并被该机器执行。优选地，该机器被实现在具有例如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)、以及输入/输出(I/O)接口的硬件的计算机平台上。计算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是微指令代码的部分、应用程序的部分、或者它们的任意组合，并且可以由CPU执行。而且，诸如附加的数据存储单元和打印单元之类的各种其他外围单元可以被连接到计算机平台。
将进一步理解的是，由于附图中描绘的一些组成系统组件和方法优选地由软件实现，所以系统组件或处理功能块之间的实际连接可以基于本原理被编程的方式而不同。基于这里的教导，相关领域技术人员将能够预见到本原理的这些和类似实现方式或配置。
尽管已经参考附图描述了说明性实施例，但是将理解的是，本原理不限于这些精确实施例，并且各种改变和修改可以被相关领域技术人员想到并且不会超出本原理的范围。所有这些改变和修改旨在被包括在所附权利要求阐述的本原理的范围内。

Claims (13)

1.一种使用多个平面显示偏好的方法，包括：
接收偏好信息，所述偏好信息与视频平面中显示的图像有关；
获取分割信息，所述分割信息指示所述图像中的一个或多个对象；
获取对象识别信息，所述对象识别信息识别已经从所述图像中分割出的所述一个或多个对象中的至少一个对象；
基于所述偏好信息、所述分割信息和所述对象识别信息，生成针对所述图像中被识别出的所述至少一个对象的相关数据；以及
呈现与所述至少一个对象相对应的图像数据，以使得所述至少一个对象能够出现在所显示的图像的多个平面中的一个平面中，其中，所述呈现包括基于所述相关数据来调整所述至少一个对象在其中出现的所述多个平面中的一个平面；并且其中
所述多个平面包括前景平面或背景平面中的一个或多个以及基准平面；
所述偏好信息包括为所述至少一个对象指示受青睐的偏好、中立的偏好或不受青睐的偏好中的一个；并且
所述调整包括基于所述相关数据指示所述中立的偏好与所述至少一个对象相关联而在所述基准平面中示出所述至少一个对象，并且所述调整包括以下各项中的至少一项：
基于所述相关数据指示所述受青睐的偏好与所述至少一个对象相关联而将所述至少一个对象向前拉以出现在所述前景平面中；或
基于所述相关数据指示所述不受青睐的偏好与所述至少一个对象相关联而将所述至少一个对象向后推以出现在所述背景平面中。
2.如权利要求1所述的方法，其中，所述呈现步骤发生在三维或者虚拟现实空间中。
3.如权利要求1所述的方法，其中，所述偏好信息包括用户输入或所存储的配置文件信息中的至少一者。
4.如权利要求3所述的方法，其中，所述用户输入包括搜索查询。
5.如权利要求1所述的方法，其中，所述图像被包括在视频中，并且获取所述对象识别信息是基于在所述视频中包括的图像中出现的对象的数据库的。
6.如权利要求1所述的方法，其中，获取所述分割信息包括使用边缘检测处理。
7.如权利要求1所述的方法，其中，基于用户输入来修改所述偏好信息，所述用户输入引起所述调整，以将所述至少一个对象在其中出现的平面从所述基准平面、所述前景平面和所述背景平面中的当前平面改变为所述基准平面、所述前景平面和所述背景平面中的另一平面。
8.一种使用多个平面显示偏好的装置，包括：
处理器，被配置为：
接收偏好信息，所述偏好信息与视频平面中显示的图像有关；
获取分割信息，所述分割信息指示所述图像中的一个或多个对象；
获取对象识别信息，所述对象识别信息识别已经从所述图像中分割出的所述一个或多个对象中的至少一个对象；
基于所述偏好信息、所述分割信息和所述对象识别信息，生成针对所述图像中被识别出的所述至少一个对象的相关数据；以及
呈现与所述至少一个对象相对应的图像数据，以使得所述至少一个对象能够出现在所显示的图像的多个平面中的一个平面中，其中，所述呈现包括所述处理器被进一步配置为基于所述相关数据来调整所述至少一个对象在其中出现的所述多个平面中的一个平面；并且其中
所述多个平面包括前景平面或背景平面中的一个或多个以及基准平面；
所述偏好信息包括为所述至少一个对象指示受青睐的偏好、中立的偏好或不受青睐的偏好中的一个；并且
所述调整包括基于所述相关数据指示所述中立的偏好与所述至少一个对象相关联而在所述基准平面中示出所述至少一个对象，并且所述调整包括以下各项中的至少一项：
基于所述相关数据指示所述受青睐的偏好与所述至少一个对象相关联而将所述至少一个对象向前拉以出现在所述前景平面中；或
基于所述相关数据指示所述不受青睐的偏好与所述至少一个对象相关联而将所述至少一个对象向后推以出现在所述背景平面中。
9.如权利要求8所述的装置，其中，为了呈现所述图像数据，所述处理器被进一步配置为在三维或虚拟现实空间中呈现所述图像数据。
10.如权利要求8所述的装置，其中，所述处理器被进一步配置为基于用户输入和所存储的配置文件信息中的至少一者来获取所述偏好信息。
11.如权利要求10所述的装置，其中，所述用户输入包括搜索查询。
12.如权利要求8所述的装置，其中，所述处理器被进一步配置为使用边缘检测处理来获取所述分割信息。
13.如权利要求8所述的装置，其中，基于用户输入来修改所述偏好信息，所述用户输入使得所述处理器执行所述调整，以将所述至少一个对象在其中出现的平面从所述基准平面、所述前景平面和所述背景平面中的当前平面改变为所述基准平面、所述前景平面和所述背景平面中的另一平面。
CN201580051350.3A 2014-09-22 2015-08-12 使用深度知觉作为搜索、用户兴趣或偏好的指示符 Active CN107004004B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462053349P 2014-09-22 2014-09-22
US62/053,349 2014-09-22
PCT/US2015/044778 WO2016048465A1 (en) 2014-09-22 2015-08-12 Use of depth perception as indicator of search, user interest or preference

Publications (2)

Publication Number Publication Date
CN107004004A CN107004004A (zh) 2017-08-01
CN107004004B true CN107004004B (zh) 2021-02-02

Family

ID=54012276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580051350.3A Active CN107004004B (zh) 2014-09-22 2015-08-12 使用深度知觉作为搜索、用户兴趣或偏好的指示符

Country Status (6)

Country Link
US (1) US11347793B2 (zh)
EP (1) EP3198473A1 (zh)
JP (1) JP2017535835A (zh)
KR (1) KR20170058942A (zh)
CN (1) CN107004004B (zh)
WO (1) WO2016048465A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159541B (zh) * 2019-12-11 2023-08-25 微民保险代理有限公司 一种帐号行为偏好的确定方法及装置
CN112612363A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 基于余光区域的用户非偏好比较方法和系统
US11334313B1 (en) * 2021-03-30 2022-05-17 Htc Corporation Managing conferences in virtual environment
CN113076436B (zh) * 2021-04-09 2023-07-25 成都天翼空间科技有限公司 一种vr设备主题背景推荐方法及系统
CN115423948B (zh) * 2022-11-04 2023-02-21 江西省映尚科技有限公司 Vr图像的处理方法、系统及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365300A (en) * 2000-06-07 2002-02-13 David Meakes Displaying search results according to relevance to query

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664077A (en) * 1993-09-06 1997-09-02 Nec Corporation Three-dimensional graph displaying system
US6505194B1 (en) 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
KR100809308B1 (ko) 2000-03-29 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자 프로파일들 및 검색 기준을 구성하고 관리하기위한 검색 사용자 인터페이스
JP2002157269A (ja) * 2000-11-22 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 映像ポータルシステム及び映像提供方法
US7995810B2 (en) * 2005-06-24 2011-08-09 The University Of Iowa Research Foundation System and methods for image segmentation in n-dimensional space
CN101300621B (zh) * 2005-09-13 2010-11-10 时空3D公司 用于提供三维图形用户界面的系统和方法
US7870140B2 (en) * 2006-06-12 2011-01-11 D&S Consultants, Inc. System and method of incorporating user preferences in image searches
US8549436B1 (en) * 2007-06-04 2013-10-01 RedZ, Inc. Visual web search interface
JP2009080580A (ja) 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
CN101510291A (zh) 2008-02-15 2009-08-19 国际商业机器公司 多维数据的可视化方法及装置
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5359266B2 (ja) * 2008-12-26 2013-12-04 富士通株式会社 顔認識装置、顔認識方法及び顔認識プログラム
US9489403B2 (en) * 2009-04-09 2016-11-08 Nokia Technologies Oy Method and apparatus for providing visual search engine results
US8335784B2 (en) * 2009-08-31 2012-12-18 Microsoft Corporation Visual search and three-dimensional results
US20110063288A1 (en) 2009-09-11 2011-03-17 Siemens Medical Solutions Usa, Inc. Transfer function for volume rendering
JP4988012B2 (ja) 2010-06-15 2012-08-01 株式会社東芝 電子機器およびインデキシング制御方法
JP2012064200A (ja) * 2010-08-16 2012-03-29 Canon Inc 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
CN103562957B (zh) * 2011-05-31 2016-12-14 乐天株式会社 信息提供装置、信息提供方法以及信息提供系统
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US8799263B2 (en) * 2011-09-04 2014-08-05 Leigh M Rothschild Systems, devices, and methods for providing multidimensional search results
KR101855939B1 (ko) 2011-09-23 2018-05-09 엘지전자 주식회사 영상표시장치의 동작 방법
US8990201B1 (en) * 2011-11-03 2015-03-24 Google Inc. Image search results provisoning
US10032303B2 (en) * 2012-12-14 2018-07-24 Facebook, Inc. Scrolling 3D presentation of images
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365300A (en) * 2000-06-07 2002-02-13 David Meakes Displaying search results according to relevance to query

Also Published As

Publication number Publication date
US11347793B2 (en) 2022-05-31
WO2016048465A1 (en) 2016-03-31
US20170300502A1 (en) 2017-10-19
JP2017535835A (ja) 2017-11-30
CN107004004A (zh) 2017-08-01
EP3198473A1 (en) 2017-08-02
KR20170058942A (ko) 2017-05-29

Similar Documents

Publication Publication Date Title
CN107004004B (zh) 使用深度知觉作为搜索、用户兴趣或偏好的指示符
CN105373768B (zh) 提供图像内容的方法和设备
US11960533B2 (en) Visual search using multi-view interactive digital media representations
CN108776676B (zh) 信息推荐方法、装置、计算机可读介质及电子设备
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
US20150134651A1 (en) Multi-dimensional surround view based search
CN107633023B (zh) 一种图像去重方法和装置
CN107229741B (zh) 信息搜索方法、装置、设备以及存储介质
US20110268426A1 (en) Video editing apparatus and video editing method
JP2008217428A (ja) 画像検索プログラム、方法及び装置
US20130322696A1 (en) Differing region detection system and differing region detection method
CN106407268B (zh) 一种基于覆盖率最优化法的内容检索方法及系统
KR102592904B1 (ko) 영상 요약 장치 및 방법
Yeh et al. Relative features for photo quality assessment
CN106528800A (zh) 一种基于真实场景的影像生成方法及装置
WO2021250009A1 (en) Method and system for selecting highlight segments
US11847829B2 (en) Method, apparatus, electronic device, and computer storage medium for video processing
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
Ejaz et al. Video summarization by employing visual saliency in a sufficient content change method
US20180203880A1 (en) Client-server communication for live search using multi-view digital media representations
Li et al. Multi-video synopsis for video representation
Ju et al. A semi-automatic 2D-to-3D video conversion with adaptive key-frame selection
Vandecasteele et al. Spatio-temporal wardrobe generation of actors’ clothing in video content
Folz et al. Aesthetic photo enhancement using machine learning and case-based reasoning
KR20090125527A (ko) 동영상 처리 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190523

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: The French Yixilaimu Leo City

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201208

Address after: Fa Guobali

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Fa Guobali

Applicant before: Interactive Digital CE Patent Holding Co.

GR01 Patent grant
GR01 Patent grant