CN109219810A - 用于3d组件的在线视角搜索 - Google Patents

Abstract

用于制定查询并且取回针对虚拟或者增强现实系统中的3D组件的相关结果的技术。在一方面中，用户使用工作流与3D组件工作，并且从一个或多个所选的透视图查看3D组件。与工作流相关联的数据以及所选的透视图被传输到在线引擎。在线引擎可以包括用于基于接收到的工作流数据和所选的透视图来自动形成查询的查询制定模块。所制定的查询可以被供应到搜索引擎以基于与所制定的查询的相关性来取回在线结果。一个或多个最相关的在线结果可以无缝地服务于用户作为工作流的一部分。

Description

用于3D组件的在线视角搜索

背景技术

随着用于可视化且处理三维(3D)中的信息的技术的出现，商业、学术和研究环境中的虚拟和增强现实的使用将日益广泛。这样的系统的用户可以查看3D“虚拟”或者“增强”空间中的其投影的模型(例如，在穿戴立体地显示其模型的3D渲染的眼镜时)。用户将进一步使能使用输入模态(诸如语音和手势)来设计和操纵空间中的3D组件。

为了促进虚拟和增强现实系统的可用性，允许用户在其3D投影工作流期间以无缝且直观的方式从因特网取回信息将是有利的。例如，当从所选的视角(perspective)查看3D组件时，虚拟或者增强现实系统的用户可能期望从在线搜索引擎取回关于他或她正查看的信息。提供可以促进与(诸如可以在虚拟或者增强现实系统的使用期间遭遇的)3D组件有关的在线信息的取回的系统将是期望的。

附图说明

图1图示了示出本公开的各个方面的第一场景。

图2示出了其中响应于示例性制定的用户查询的结果靠近影像中的3D组件被呈现的说明性场景。

图3图示了根据本公开的用于利用系统的工作流的方法的示例性实施例。

图4图示了根据本公开的用于使用系统的工作流的方法的备选示例性实施例。

图5图示了用于实现在此所描述的功能的系统的示例性实施例。

图6示出了用于训练可选的ML块的方法的示例性实施例。

图7图示了示例性制定的查询与示例性取回结果之间的对应性。

图8图示了参考系统所描述的在工作流期间由计算机执行的方法的示例性实施例。

图9图示了在工作流期间由服务器执行的方法的示例性实施例。

图10图示了在工作流期间由在线引擎执行的方法的示例性实施例。

图11图示了根据本公开的装置的示例性实施例。

图12图示了根据本公开的计算设备的示例性实施例。

具体实施方式

在此所描述的技术的各个方面总体上涉及用于处理在用于虚拟或者增强现实系统的工作流期间的信息的用户查询以及基于用户的查看视角自动制定查询的技术。进一步的方面涉及用于取回与制定的查询有关的结果的技术，制定的查询包括对应于3D组件的2D透视图的一个或多个图像。

结合附图下文阐述的详细描述旨在作为示例性手段“用作示例、实例或者图示”的描述，并且应当不必被解释为关于其他示例性方面是优选的或者有利的。详细描述包括出于提供本发明的示例性方面的透彻理解的目的的特定细节。对于本领域的技术人员而言将明显的是，可以在这些特定细节的情况下实践本发明的示例性方面。在一些实例中，众所周知的结构和设备以块图形式被示出以便避免模糊在此呈现的示例性方面的新颖性。

图1图示了示出本公开的各个方面的第一场景100。注意，场景100仅出于说明性目的而示出，并且不旨在将本公开的范围例如限于可以被处理、被支持的输入/输出接口的模型、特定知识领域、搜索结果或者示出或者建议的其他类型的信息的任何特定类型的模型(例如，医学、科学、技术、架构、方式、工业设计，等等)。

在图1中，系统101将“虚拟”或者“增强”现实接口提供给用户110以提供沉浸式数字体验。特别地，用户110可以穿戴交互式眼镜130，其向用户110呈现数字地形成的影像131(还被表示为“虚拟”或者“增强”影像)。注意，图1中示出的影像131旨在说明性地建议通过眼镜130由用户110看到的内容，并且不旨在将影像131的任何特定空间关系(例如，大小、定向、方向等)建议给用户110。影像131可以包括文本、图片、视频、图形等。将理解到，影像131仅出于说明性目的而被示出，并且不旨在将本公开的范围限于可以由在此公开的技术容纳的任何特定类型的影像。

在场景100中，由眼镜130所显示的影像131可以包括对应于由用户110工作的项目的数字地形成的三维(3D)模型或者组件132。这样的3D模型和影像131的任何其他方面可以被立体地呈现(即，“三维地”或者“在3D中”)，例如，眼镜130可以将深度的视觉知觉提供给用户110(通过将不同的图像呈现给用户110的左眼和右眼)。在该说明书中并且在权利要求中，“3D组件(component)”可以表示与可以被立体地呈现的任何影像相关联的参数。

进一步地在场景100中，用户110可以与影像131的某些方面“交互”(例如，由通过由系统101支持的一个或多个输入模态提供输入以修改影像131和/或任何其他系统参数)。这样的输入模态可以包括但不限于手势、语音控制、眼睛注视等。在示例性实施例中，通过移动他的手以在两或甚至三个维度上产生一个或多个特定手势120，用户110可以改变组件132被显示在影像131中的方式(例如，通过倾斜、缩放、旋转组件132、添加或者移除组件或者以其他方式修改组件132的任何方面)。在示例性实施例中，用户110还可以向系统101提供可以使用声音/语音识别子模块(未明确地示出在图1中)处理的语音输入。注意，示例性输入模态在此仅出于说明性目的而被描述，并且不旨在将本公开的范围限于可以由系统处理的任何特定类型的输入模态。

在示例性实施例中，系统101的计算机102可以与眼镜130通信(例如，通过有线电缆或者无线地)，并且用于创建、处理或者修改影像131的要求的功能可以在眼镜130、计算机102和/或其他处理模块(未示出)中间被共享或者被划分。此外，计算机102或者眼镜130还可以被耦合到用于采集由用户110提供的一种或多种类型的输入信号的多个传感器(未示出)。例如，麦克风(未示出)可以被提供以从用户110接收语音输入，一个或多个运动/空间传感器(未示出)可以检测和/或解译手势120等。

特别地，通过由系统101支持的一个或多个模态接收到的输入可以与针对某些类型的信息的用户110的查询有关。例如，在场景100中，用户110可以是使用系统101可视化和研究从人类患者的心脏的模型生成的3D组件132例如为外科手术做准备的内科医师。特别地，这样的3D模型可以特别地针对某个患者(例如，使用各种测量、测试或者成像模态(诸如X射线、磁共振成像、荧光镜检查等))构建。注意，虽然在此描述了示出将系统101应用到健康护理的领域的示例性实施例，但是在此公开的技术可以容易地适于可以受益于3D可视化的任何其他领域(包括但不限于例如所有类型的工业设计、科学研究、架构、工程等)。这样的备选示例性实施例被预期在本公开的范围内。

在示例性实施例中，由眼镜130呈现给用户110的视觉影像取决于由用户110所选的视角。基于所选的视角，眼镜130可以将3D组件132的不同的“透视图”呈现给用户110。在示例性实施例中，用户110可以通过将她自己(并且因此眼镜130)直接定位在相对于由系统101确定的固定空间参考点(未示出)的特定位置和定向处来选择视角。例如，当用户110被定位在具有第一定向的第一位置151a处时，可以呈现例如对应于由图1中的线150a所描绘的第一虚拟查看方向的第一视角影像。类似地，当用户110被定位在第二位置和定向(未明确地被标记在图1中)处，可以呈现对应于第二虚拟查看方向150b的第二视角影像，并且同样地用于第三和第四虚拟查看方向150c、150d。

在备选示例性实施例中，用户110可以备选地或者进一步使用其他输入模态来选择视角(例如，除了将他自己的身体相对于固定的空间参考点定位和/或定向之外)。例如，可以使用语音命令、光标输入、手势等来选择或者改变视角。在这样的情况下，视角可以然而与不同的查看方向(诸如150a、150b、150c等)相关联，例如，心脏模型132可以从视角查看，好像用户110站在对应于查看方向150b的空间位置处等。这样的备选示例性实施例预期在本公开的范围内。

在其中3D组件132对应于人类心脏的模型的说明性场景中，眼镜130可以在从第一视角150a查看时将心脏的右前表面的视图呈现给用户110。备选地，当第二视角150b被选择时，眼镜130可以将心脏的左前表面的视图呈现给用户110。在备选说明性场景(未示出)中，3D组件132可以对应于其他类型的3D模型，例如，汽车或者其他工业设计的模型、化学、生物和/或其他科学的模型或者其他类型等。

除了从所选的视角生成3D组件132的视图之外，系统101还可以向用户110提供当在3D组件132上执行操纵时连接到本地网络或者万维网的能力。用户110可以利用这样的连接性例如在使用3D组件132执行工作流时访问来自网络或者万维网的信息，其可以从而提高用户110的生产率。特别地，当从如上文所描述的各种视角查看3D组件132时，用户110可以具有关于所生成的视图的一个或多个查询。例如，当查看心脏的左前表面时，用户110可以具有关于查看模型的某个部分的感知阻塞或者收缩的附加信息的查询。

在示例性实施例中，用户110可以口头地说出这样的查询，并且计算机102可以将制定的查询提交给被定位在这样的网络上或者在万维网上的一个或多个数据库以取回相关信息。在示例性实施例中，这样的数据库可以对应于搜索引擎(例如，因特网搜索引擎)。计算机102可以从这样的数据库取回与用户查询有关的结果。例如，响应于针对“左心室缩小”的制定的用户查询，计算机102取回相关结果并且呈现影像131内的这样的结果(例如，文本、影像或者视频等)。这样的信息可以辅助用户110使用系统101更好地执行他的任务。

图2示出了其中响应于示例性制定的用户查询的结果235靠近影像231中的3D组件132被呈现的说明性场景200。

图3图示了根据本公开的用于利用系统101的工作流的方法300的示例性实施例。注意，仅出于说明性目的示出图3，并且不旨在将本公开的范围限于利用系统101的任何特定工作流或者序列。

在图3中，在块310处，用户可以创建新的项目文件或者从系统101取回已存在的一个项目文件。

在块320处，用户可以编辑或者修改3D组件。3D组件可以被存储在项目文件中。例如，参考场景100，用户110可以编辑对应于心脏模型的3D组件132，例如，以添加注释等。

在块325处，用户可以从一个或多个不同的所选的视角查看3D组件。

在块330处，用户可以将针对信息的查询提交给系统。例如，在场景100中，用户110可以提交用于“左心室缩小”的查询。

在块340处，用户可以响应于从系统提交的查询来接收结果。例如，在场景100中，这样的结果可以对应于由系统101响应于针对“左心室缩小”的查询而取回的数据134。

如果用户期望基于取回的结果来细化查询，则在块345处用户可以定制细化的查询，并且工作流可以返回块340以提交细化的查询。否则，用户可以利用来自取回的结果的信息在块320处继续编辑/修改项目文件。

虽然系统101和工作流300使对于用户而言工作并且操纵3D组件方便，但是将虚拟和增强现实系统装备有增加用户的生产率的增强能力将是期望的。特别地，提供当给定透视图被选择时自动地制定查询的技术将是期望的。例如，参考上文图2的描述，为了在查看3D组件132的所选的视角时对诸如“左心室缩小”的查询进行制定，用户110必须他自己具有心脏解剖学中的必要知识和经验以准确地标识被示出在所选的透视图中的内容，以对合理的查询进行制定。类似地，定制针对其他领域(例如，科学、医学、其他技术领域等)中的3D组件的查询还可以要求用户的一部分上的大量的知识和经验。在这样的场景中，提供具有补充用户的知识和/或自动地制定用于取回针对给定透视图的相关信息的查询的能力的虚拟或者增强现实系统将是期望的。

图4图示了根据本公开的用于使用系统101的工作流的方法400的备选示例性实施例。注意，仅出于说明性目的示出图4，并且不旨在将本公开的范围限于示出的任何特定工作流。

在图4中，在块410处，用户可以创建新的项目文件或者从系统101取回已存在的一个项目文件。

在块420处，用户可以编辑或者修改3D组件。

在块425处，用户可以从一个或多个不同的所选的视角查看3D组件。

在块430处，用户可选地请求对应于所选的(一个或多个)视角的在线信息。在示例性实施例中，系统101可以接受但是不需要要求明确查询的用户制定和提交。在块430处，用户请求可以仅将明确信号提供给系统101以基于可用信息自动地制定搜索查询(即，在不要求用户明确地制定查询的情况下，如下文进一步讨论的)，并且取回对应于这样的查询的结果。

将进一步理解到，工作流400不需要在块430处从用户接收明确请求来例如从块425转到块440。在示例性实施例中，在块440处在线信息(在下文中所描述的)可以响应于由系统101对搜索查询的自动制定和提交而被接收(例如，基于在块420处所执行的编辑/药物，以及如在块425处查看的3D组件的(一个或多个)3-D视角，如在下文中进一步描述的)。这样的备选示例性实施例预期在本公开的范围内。

在块440处，用户可以从系统接收与3D组件有关的在线信息以及查看的(一个或多个)视角。

如果用户随后地期望提交不同的搜索，则用户可以细化搜索参数或者以其他方式向系统指示在块445处经修改的搜索将被执行，并且工作流可以返回块440。在示例性实施例中，细化搜索参数可以包括例如基于在块440处已经接收到的在线信息明确地提供一个或多个搜索项，和/或选择接收到的在线信息中的一个或多个结果以用于进一步的调查等。

例如，参考图2中的说明性场景200，数据235(说明性地参考“主动脉瓣狭窄”)可以对应于例如在块440处取回的一个或多个结果。注意，与图3中的工作流300相反，工作流400的用户不需要明确地制定和提交查询(如在工作流300中的块325处所要求的)，因为系统101可以基于3D组件由用户查看的一个或多个视角自动地制定和提交查询。因此，工作流400中的块430被标记为“可选的”，其中用户被示出以请求针对所选的(一个或多个)视角的在线信息。

根据本公开内容，描述了用于实现具有在上文中所描述的能力的系统的各种技术。在示例性实施例中，系统可以基于查看的视角自动地制定和提交查询，并且从在线搜索引擎取回与查询有关的信息。

图5图示了用于实现在下文中所描述的功能的系统的示例性实施例500。注意，仅出于说明性目的示出图5，并且不旨在将本公开的范围限于所描述的块的任何特定实现或者功能划分。在某些示例性实施例中，示出的功能块或者模块中的一个或多个(例如，计算机510和服务器520)可以被集成到单个模块中；相反，由单个模块所执行的功能可以备选地跨示出的多个模块来划分。这样的备选示例性实施例预期在本公开的范围内。

在图5中，计算机510包括用于从用户接收输入、处理3D组件、将输出呈现给用户并且与系统500的其他模块通信的多个模块。特别地，计算机510可以包括用于存储和取回包含3D组件的项目文件的模块512。计算机510还可以包括允许例如通过眼镜130编辑、修改和显示项目文件的模块514。计算机510还可以包括处理例如由用户110和/或计算机101所生成的查询的可选模块516。计算机510还可以包括将从在线引擎接收到的查询响应结果传递给用户的模块518。

在示例性实施例中，计算机510可以被实现为直接地由用户可访问的任何类型的计算机，例如台式计算机、膝上型计算机、智能电话等。计算机510可以包括用于执行所描述的功能中的任一个的一个或多个物理地结合或者分离的子模块，例如，3D眼镜(诸如将信息显示给用户的眼镜130)或者其他类型的图像显示器。在示例性实施例中，眼镜130可以被配置为执行计算机510的功能中的一些功能。在示例性实施例中，计算机510可以包含在上文中参考场景100所描述的计算机102和/或眼镜130。

在示例性实施例中，计算机510的模块512、514、516、518可以彼此通信以交换信息并且顺序或者并行执行操作，诸如可能必需实现上文所描述的工作流300或者400。例如，模块512可以连续地存储(例如，备份)正通过模块514编辑的项目文件，明确查询可以由块516来处理，可以通过模块518取回和处理查询结果以用于由模块514显示等。

计算机510通过连接510a(其可以是例如有线、无线或者任何其他类型的连接)与服务器520通信。连接510a可以包括如在下文中所描述的若干逻辑信道512a、514a、516a、518a，以及未明确示出的其他逻辑信道。在示例性实施例中，可以通过一个或多个物理信道承载逻辑信道512a、514a、516a、518a。

在示例性实施例中，模块512可以通过信道512a存储和取回服务器520上的项目文件。模块514可以通过信道514a向服务器520传递由用户对项目文件做出的编辑和修改。例如，由用户110对项目文件的3D组件(诸如场景100中的组件132)做出的修改可以通过信道514a被传递到服务器520。这样的修改可以包括例如诸如文本编辑、形状编辑、选择和查看的项目文件的顺序/次序、由用户选择以查看3D组件的(一个或多个)视角等的细节。在示例性实施例中，模块514可以通过信道514a选择性地传递这样的细节，例如，可以省略一些细节，同时可以根据预配置规则传递其他。

可选模块516可以通过信道516a与服务器520通信。特别地，模块516可以接受由用户明确地制定的查询，例如，如参考工作流300的块330所描述的，并且将这样的用户制定的查询提交给服务器520。备选地，模块516可以基于如从工作流400采集的数据生成计算机制定的查询(例如，在图6的块620处，计算机510可以执行参考在线引擎530所描述的功能中的一些功能)，并且将这样的计算机制定的查询提交给服务器520。模块518可以响应于由模块516提交的查询通过信道518a从服务器520接收结果。在某些示例性实施例中，可以省略模块516，并且查询制定可以相反完全地在在线引擎530处(例如，在如下文进一步描述的在线引擎530的块532处)执行。

在示例性实施例中，从模块516传递到服务器520的查询可以被用于或者内部地或者从另一在线源(例如，如下文进一步描述的在线引擎530)取回相关结果。在这样的示例性实施例中，服务器520可以被理解为执行中介功能，将查询从计算机510传递到引擎530和/或将结果从引擎530传递到计算机510等。还可以通过未示出在连接510a中的一个或多个信道传递其他细节，包括但不限于用户身份、对文件或者系统的访问的频率或者定时等。

在示例性实施例中，计算机510和服务器520可以是“本地”或者“内部”元件，例如，其可以属于用户自己或者由用户自己控制，或者由用户还属于的实体控制。例如，在其中用户是使用工作流300或者400研究外科手术前模型的医学专家的示例性实施例中，计算机510可以是出于工作目的由用户使用的个人计算机，而服务器520可以全部地或者部分地由用户所属的医院来管理。在其中用户是使用工作流300创建建筑设计的建筑师的备选示例性实施例中，计算机510可以是出于工作目的由用户使用的个人计算机，而服务器520可以全部地或者部分地由用户所属的建筑公司来管理。在又一示例性实施例中，计算机510和服务器520二者可以被实现在由用户使用的单个个人计算机(未示出)上。

在示例性实施例中，服务器520不需要被实现在与计算机510分离的硬件中。例如，在下文中进一步描述的过滤器525和/或由服务器520所执行的任何其他功能可以物理地被实现在与被用于实现计算机510相同的硬件上。这样的备选示例性实施例预期在本公开的范围内。

计算机510与服务器520之间的通信可以在此被描述为“本地的”或者“内部的”。将理解到，在诸如300、400的工作流中，有时对于用户而言访问“远程”或者“外部”的资源(诸如不在本地实体的管理下的在线数据库、搜索引擎等)是有利的。这样的外部资源可以例如比内部可用的更广泛和/或综合。

在图5中，在线引擎530表示这样的外部资源。在线引擎530通过逻辑信道520a从服务器520接收输入，并且通过逻辑信道520b将结果传输给服务器520。在线引擎(或者“引擎”)530包括耦合到搜索引擎540的查询制定块531。搜索引擎540包括机器学习块542和图像/模型索引544，以及用于执行搜索引擎功能的其他块(未明确地被示出在图5中)，如在下文中进一步描述的。

特别地，查询制定块531使用从在线服务器520通过信道520a接收到的输入对用于搜索引擎540的明确查询进行制定。在示例性实施例中，通过信道520a接收到的这样的输入可以包括从计算机510由服务器520接收到的所选的信息，例如，项目文件的特点(例如，如通过信道512a传递的)、由用户对于项目文件做出的编辑和修改的特点(例如，如通过信道514a传递的)以及如由用户或者计算机制定的已存在的查询(如果可用的话)(例如，如通过信道516a传递的)。服务器520可以在通过信道520a发送到在线引擎530之前使用过滤器525对这样的信息进行过滤，如下文进一步所描述的。

在示例性实施例中，查询制定块531可以记录通过信道520a接收到的信息，以辅助评估和预测将可能可用于计算机510的用户的查询制定。在示例性实施例中，块531可以包括可选的机器学习模块或者ML模块533，其利用随时间的增加的准确度学习将通过信道520a接收到的输入映射到相关查询制定。例如，通过信道520a接收到的输入可以包括由用户创建的所有项目文件的累积记录，包括项目内容、项目文件规格(例如，诸如与每个项目文件有关的“医学”或者“建筑”的技术领域的标识、项目文件的内容的标识(例如，“心脏模型”或者“屋顶配置”等)、对项目文件做出的编辑和修改(例如，对项目文件的某个方面做出的大量的编辑或者放大，诸如在心脏模型的左心室部分上放大)等)。在示例性实施例中，在线引擎530可以从不仅与服务器520相关联的一个用户而是从许多用户接收这样的累积记录，例如，每个用户使用他自己的个体计算机(具有与对于计算机510示出的类似的架构)来继续工作他自己的项目文件。此外，在线引擎530可以不仅从一个服务器520而是从与各种组织实体(例如，不同的医院、研究实验室、工业设计公司等)相关联的许多服务器接收这样的累积记录。因此，在块531中包含的ML模块533可以有利地从训练包括跨许多用户、计算机(诸如510)和服务器(诸如520)累积的输入的数据来学习输入520a与制定的查询531a之间的适当的关联。

图6示出了用于训练可选的ML块533的方法600的示例性实施例。注意，仅出于说明性目的示出图6，并且不旨在将本公开的范围限于用于ML块530的机器训练的任何特定技术或者查询制定块531的任何特定实现。

在图6中，在块610处，通过信道520a在ML块533处接收项目数据。

在块620处，基于接收到的项目数据，自动地生成查询。在示例性实施例中，这样的查询可以被生成作为接收到的项目数据与输出的制定的查询之间的映射，其中这样的映射的参数可以基于机器学习技术来调节或者“训练”。

在块630处，基于所生成的查询，查询结果被取回并且返回给用户。

在块640处，关于查询结果的相关性接收用户反馈。在示例性实施例中，这样的用户反馈可以包括例如由用户造成的返回的查询结果的明确评级。在备选示例性实施例中，制定的查询531a还可以被显示给用户，并且针对相关性和准确度被评级。

在块645处，用户反馈用于更新用于基于在块640处接收到的项目数据生成查询的算法。

在示例性实施例中，通过信道520a接收到的项目数据可以包括与一个或多个项目文件相关联的3D组件的至少一个透视图。例如，参考图2中的场景200，与视角150a相关联的3D组件132的视图可以连同视角150a自身的参数(在此还被表示为“视角”数据)(例如，倾斜角和/或方位角)、模型上的描述数据(在此还被称为“模型数据”)(例如，模型具有来自年龄50的男性患者的人类心脏等)等一起被采集(例如，作为二维或2D图像)。所有这样的数据可以例如通过逻辑信道512a或514a被传递到服务器520，并且从服务器520被传递以查询在线引擎530中的制定块531。

在示例性实施例中，3D组件的一个或多个透视图可以在制定的查询531a时由查询制定块531包含。例如，查询531a可以包括对应于一个或多个透视图的(一个或多个)2D图像，以及诸如视角数据、模型数据等的文本描述符。在下文中进一步描述的是可以接受包括不仅文本字符串而且包括图像数据和视角/模型数据的查询的搜索引擎540。

在示例性实施例中，用户110可以从多个视角150a、150b、150c、150d等中的任一个或全部查看3D组件132。在示例性实施例中，由3D组件132的用户110查看的所有多个视角可以通过信道514a被传递到服务器520，并且因此通过信道520a被传递到在线引擎530。

在示例性实施例中，查看的视角中的一个或多个(在此还被表示为“所选的视角”)可以特别地由用户110指定用于包括在搜索查询中。例如，当在场景200中从视角150a查看3D组件132时，用户110可以明确地指定视角150a，并且这样的指定自身可以形成待传递到在线引擎530的查询的基础。例如，指定和透视图可以由块516采集、经由信道516a被传递给服务器520并且此后通过信道520a被传递给在线引擎530。在示例性实施例中，由用户110对视角(诸如视角150a)的明确指定可以自动地使得块516使用例如对应于所选的视角的2D图像以及对应于所选视角的视角数据来制定查询。在示例性实施例中，用户110还可以组合所选的视角输入查询字符串以附加地指定通过信道516a被传递到服务器520的查询的参数。在备选示例性实施例中，制定查询可以包括不仅对应于所选的视角的2D图像，而且由用户先前地查看的其他2D图像，以及对应的模型/视角参数。

在备选示例性实施例中，用户110不需要明确地指定视角(诸如视角150a)来发起查询生成和/或结果取回过程。例如，基于通过信道520a接收到的数据(可能地包括用户从其查看3D组件的一个或多个视角)，可选的机器学习模块533可以“学习”用于基于接收到的累积数据自动制定机器生成的查询531a的适当的触发点。例如，如果在场景200中任何点处的用户110使用10x或更大的放大因数查看3D组件132，那么机器学习模块533可以识别这样的放大因数可能地对应于需要关于查看的图像的附加信息的用户110，并且可以因此自动地使用通过信道520a接收到的可用数据发起查询制定过程。备选地，机器学习模块533可以学习以自动地将先前地查看的视角与自动化查询制定相关联，和/或基于接收到的特定类型的透视图自动触发查询制定和提交。例如，模块533可以学习以跨多个用户从众多先前地查看的视角标识异常条件(诸如“主动脉瓣狭窄”)，并且因此当在通过信道520a接收工作流数据时检测到这样的透视图时，可以发起自动化查询制定。这样的备选示例性实施例预期在本公开的范围内。

在备选示例性实施例中，ML块533可以是可选的，并且查询制定块531可以相反使用预配置的规则的集合对查询531a进行制定。例如，块531可以被配置为使用来自用户110的任何明确地制定的查询(例如，如由块516接收到并且通过信道516a传递的)以及3D组件的一个或多个所选的视角(如果可用的话)生成查询。备选地，如果用户未明确地制定查询，那么用户可以简单地指定3D组件的视角，该指定将自动触发查询制定块531以基于所选的视角、视角数据、项目数据等来制定查询。备选地，如果用户未明确地选择用于查询的3D组件的视角，则块531可以仍然被配置为响应于某些预配置的条件而自动发起查询制定，例如，当某些放大因数组合最小“居住”时间应用时(例如，在不执行其他任务的情况下由从某个视角查看模型的用户花费的时间)等。这样的备选示例性实施例预期在本公开的范围内。

制定的查询531a被提交给搜索引擎540，其响应于查询531a而取回相关结果540a。结果540a可以通过逻辑信道520b随后地由在线引擎530传递回到服务器520，并且服务器520可以然后将结果传达回给计算机510以用于显示给用户。

在示例性实施例中，搜索引擎540可以包括机器学习模块542，其利用随时间的增加的准确度学习将查询531a映射到相关结果。模块532可以采用从机器学习得到的技术，例如神经网络、逻辑回归、决策树等。在示例性实施例中，信道520a可以将某些训练信息从服务器520传达给可用于训练搜索引擎540的机器学习模块542的引擎530。例如，计算机510的用户的其用户身份可以通过信道520a被传达给机器学习模块542。项目文件的某些内容或者特点(例如，如通过信道512a从模块512接收到的)以及项目文件的某些编辑和修改(例如，如通过信道514a从模块514接收到的)还可以通过信道520a被传达给模块542。这样的接收到的数据可以由在线引擎530用于训练机器学习模块542以更好地处理和服务队列531a。

作为说明性示例，场景200中的用户110可以具有对应的用户身份(例如，与化名为“anne123”的用户相关联的)。anne123可以参与编辑多个医学项目文件(例如，与用于第一患者的心脏模型相关联的CardiacModel1，以及与用于第一患者的冠状动脉模型相关联的CoronaryArteryFile1等)。对于这样的项目文件做出的编辑可以包括例如利用一些诊断或者解释评论(诸如“可能的动脉收缩”等)注释CardiacModel1的一些部分。假定这样的信息可用于例如通过信道520a训练搜索引擎540的机器学习模块542，搜索引擎540可以有利地将更相关和准确的结果用于提交的查询。

例如，响应于包括心脏的侧视图的2D图像(例如，所选的视角)的、由anne123提交的查询，搜索引擎540可以基于在上文中提到的注释等更高度地对与动脉收缩有关的某些搜索结果进行排名。注意，先前的讨论仅出于说明性目的提供，并且不旨在将本公开的范围限于用于处理和/或确定可以由机器学习模块542采用的这样的信息中的模式的任何特定类型的信息或者技术。

在示例性实施例中，服务器520可以在将这样的数据传达给在线引擎530之前对从计算机510接收到的数据执行某些处理(例如，通过连接510a)。特别地，由于服务器520和计算机510可以是内部元件(例如，在用户属于的相同实体的管理的情况下)，因而当在线引擎530可以是外部元件时，在某些情况下对于服务器520而言在通过信道520a将数据发送到引擎530之前移除某些敏感或者机密信息可以是期望的。在示例性实施例中，可以由服务器520上的过滤器525执行这样的功能。

在其中查询531a包括对应于3D组件的一个或多个透视图的(一个或多个)2D图像的示例性实施例中，搜索引擎540可以被配置为接受包含这样的(一个或多个)图像的查询作为输入字段。特别地，搜索引擎540可以被配置为基于在线结果与一个或多个图像的相似性或者对应性对在线结果进行取回和排名。在示例性实施例中，查询图像(对应于例如3D组件的视角)与在线图像的相关性可以至少部分地基于图像模式识别和匹配技术而被确定，并且可以利用在计算机视觉、机器视觉、图像和模式识别等的领域中已知的技术。例如，可以计算查询图像与候选图像之间的一个或多个相关性度量。在示例性实施例中，可以附加地由其他参数(诸如查看视角等)的知识通知这样的计算。

图7图示了示例性制定的查询531a与示例性取回结果540a之间的对应性。注意，仅出于说明性目的示出图7，并且不旨在将本公开的范围限于任何特定类型的3D组件、技术领域、查询制定、查询字段、制定的查询的长度或者大小、结果的数目或者类型等。

在图7的左边701示出包括若干字段的示例制定的查询531a。特别地，示例制定的查询531a包括对应于例如通过信道520a接收到的3D组件的一个或多个透视图的图像字段705。查询531a还包括模型数据字段711，这指定用于图像字段705中示出的(一个或多个)透视图的模型的各种参数。查询531a还包括视角数据712，这指定与从其查看3D组件的视角有关的各种参数。例如，这样的视角字段可以指定场景100、200中图示的视角150a的参数、或者从其可以查看3D组件的任何其他视角。查询531a还包括用户数据字段713，这指定使用系统101生成所选的透视图的用户的各种特点。查询531a还包括项目数据字段714，其指定与关联于查看的3D组件的项目文件相关联的参数。

注意，图7中的示例制定的查询531a仅出于说明性目的而被示出。取决于系统的特定配置，示出的查询字段中的任一个可以从任何特定搜索查询或者任何示例性实施例进行省略。此外，未示出的附加查询字段可以容易地被包括在任何特定搜索查询或者任何示例性实施例中，并且可以容易地使用本公开的技术而调整。这样的备选示例性实施例预期在本公开的范围内。

在图7的右边751示出了示例查询结果540a。特别地，第一结果(“结果1”)说明性地包括图像部分761和描述图像部分761的文本描述762，并且同样地用于具有图像部分770和文本描述771的第二结果(“结果2”)等。在示例性实施例中，结果1和2可以从例如具有对应的描述的图像/模型的在线(例如，网络或者因特网)取回。在示例性实施例中，结果1和2可以从不同的在线源取回。

返回图5，为了促进具有相关在线结果的标识和匹配提交查询图像，搜索引擎540可以维持图像/模型索引544。索引544可以包括例如被认为是在满足包含图像的搜索查询中相关和/或有用的在线可访问模型和图像的列表，并且特别地，从3D组件生成的2D图像，其中用于生成2D图像的(一个或多个)视角可以先验已知或者可以不先验已知。

图8图示了参考101所描述的在工作流300期间由计算机510执行的方法800的示例性实施例。注意，仅出于说明性目的示出图8，并且不旨在将本公开的范围限于示出的任何特定方法。注意，计算机510可以通常执行不同的功能阵列，其中的仅一些为了清晰起见在方法800中被明确地描述。

在图8中，在块810处，计算机510将工作流数据传输给服务器520。在示例性实施例中，工作流数据可以包括与工作流300或者400有关的任何数据，包括但不限于在下文中所描述的通过信道512a、514a传递的数据。

在块820处，计算机510可选地从用户接收针对信息的明确查询或者请求。在这样的情况下，计算机510可以将针对信息的查询或者请求传输给服务器520。

在块830处，计算机510从服务器520接收信息。这样的信息可以包括例如查询结果，其中这样的查询结果可以响应于由用户明确地制定的查询，或者这样的查询结果可以响应于由在线引擎530自动生成的查询等。

在块840处，在块830处接收到的信息通过用户接口被提供给用户。

图9图示了在工作流400期间由服务器520执行的方法900的示例性实施例。注意，仅出于说明性目的示出图9，并且不旨在将本公开的范围限于示出的任何特定方法。注意，服务器920可以通常执行不同的功能阵列，其中的仅一些为了清晰起见在方法900中被明确地描述。

在图9中，在块910处，服务器520将经处理的工作流数据传输给在线引擎530。在块920处，对于信息的用户生成的“明显”查询或者请求(如果可用的话)被传输到在线引擎530。在块930处，从引擎530接收信息。在块940处，接收到的信息被传输给计算机510。

图10图示了在工作流400期间由在线引擎530执行的方法1000的示例性实施例。注意，仅出于说明性目的示出图10，并且不旨在将本公开的范围限于示出的任何特定方法。注意，引擎530可以通常执行不同的功能阵列，其中的仅一些为了清晰起见在方法1000中被明确地描述。

在图10中，在块1010处，引擎530从本地服务器(例如，服务器520)接收工作流数据。在示例性实施例中，这样的工作流数据可以包括3D组件的一个或多个所选的透视图。

在块1020处，引擎530基于接收到的工作流数据和3D组件的所选的(一个或多个)透视图来制定搜索查询。

在块1030处，取回与制定的查询有关的结果。取回的结果可以针对相关性来处理(例如，排名或者以其他方式针对相关性而过滤)。将理解到，这样的处理可以利用例如通过信道520a接收到的工作流数据细化和增加被呈现给用户的结果的相关性。

在块1040处，取回的结果可以用于服务器520和用户。

图11图示了计算设备1100的示例性实施例。设备1100包括处理器1110和保持指令的存储器1120，指令由处理器1110可执行以：接收由用户生成的工作流数据；基于接收到的工作流数据来制定查询，查询包括查询图像；取回与制定的查询有关的多个在线结果；根据与制定查询的相关性对取回的多个在线结果进行排名；并且将经排名的多个结果中的至少一个最高排名的结果用于用户。

图12图示了根据本公开的装置1200的示例性实施例。注意，仅出于说明性目的示出图12，并且不旨在限制本公开的范围。

在图12中，装置1200包括查询制定块1210，其被配置为接收由用户生成的工作流数据并且基于接收到的工作流数据来制定查询，查询包括查询图像。装置1200还包括搜索引擎1220，其被配置为取回与制定的查询有关的多个在线结果并且根据与制定查询的相关性对取回的多个在线结果进行排名。装置1200被配置为将经排名的多个结果中的至少一个最高排名的结果用于用户。

在该说明书中并且在权利要求中，将理解到当元件被称为被“连接到”或者“耦合到”另一元件时，其可以直接地连接或者耦合到另一元件或者中间元件可以存在。相反，当元件被称为“直接地连接”或者“直接地耦合”到另一元件时，不存在中间元件。此外，当元件被称为被“电耦合”到另一元件时，其表示低电阻的路径存在于这样的元件之间，而当元件被称为被简单地“耦合到”另一元件时，在这样的元件之间可以存在或可以不存在低电阻的路径。

可以至少部分地由一个或多个硬件和/或软件逻辑部件执行在此所描述的功能。例如，并且非限制性地，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。

虽然本发明易受到各种修改和备选构建的影响，但是其某些所图示的示例被示出在附图中并且上文已经详细描述。然而，应当理解，不存在将本发明限于所公开的特定形式的意图，而是相反，意图是覆盖落在本发明的精神和范围内的所有修改、备选构建和等同物。

Claims (10)

1.一种方法，包括：

接收由用户生成的工作流数据；

基于接收到的所述工作流数据来制定查询，所述查询包括查询图像；

取回与制定的所述查询有关的多个在线结果；

根据与制定的所述查询的相关性，对取回的所述多个在线结果进行排名；以及

将经排名的所述多个结果中的至少一个最高排名的结果提供给所述用户。

2.根据权利要求1所述的方法，所述查询图像包括3D组件的2D透视图。

3.根据权利要求2所述的方法，所述工作流数据包括与所述2D透视图相关联的视角数据。

4.根据权利要求3所述的方法，所述视角数据包括与所述2D透视图相对于所述3D组件的查看方向相关联的倾斜角或者方位角。

5.一种装置，包括：

查询制定块，其被配置为接收由用户生成的工作流数据并且基于接收到的所述工作流数据来制定查询，所述查询包括查询图像；以及

搜索引擎，其被配置为取回与制定的所述查询有关的多个在线结果并且根据与制定的所述查询的相关性对取回的所述多个在线结果进行排名；所述装置被配置为将经排名的所述多个结果中的至少一个最高排名的结果提供给所述用户。

6.根据权利要求5所述的装置，所述查询图像包括3D组件的2D透视图。

7.根据权利要求6所述的装置，所述工作流数据包括与所述2D透视图相关联的视角数据。

8.根据权利要求7所述的装置，所述视角数据包括与所述2D透视图相对于所述3D组件的查看方向相关联的倾斜角或者方位角。

9.一种计算设备，其包括处理器以及保持指令的存储器，所述指令由所述处理器可执行以：

接收由用户生成的工作流数据；

基于接收到的所述工作流数据来制定查询，所述查询包括查询图像；

取回与制定的所述查询有关的多个在线结果；

根据与制定的所述查询的相关性，对取回的所述多个在线结果进行排名；以及

将经排名的所述多个结果中的至少一个最高排名的结果提供给所述用户。

10.根据权利要求9所述的设备，所述查询图像包括3D组件的2D透视图。