CN111028362A - 图像显示、标注处理、图像处理方法和装置、存储介质 - Google Patents
图像显示、标注处理、图像处理方法和装置、存储介质 Download PDFInfo
- Publication number
- CN111028362A CN111028362A CN201911208539.5A CN201911208539A CN111028362A CN 111028362 A CN111028362 A CN 111028362A CN 201911208539 A CN201911208539 A CN 201911208539A CN 111028362 A CN111028362 A CN 111028362A
- Authority
- CN
- China
- Prior art keywords
- image
- annotation
- dimensional space
- dimensional
- dimensional spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种图像显示方法、标注处理方法、图像显示装置、标注处理装置、图像处理装置和非暂时性存储介质。该图像显示方法包括:获取三维空间图像;获取用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标;以及至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,以用于显示标注的至少部分和三维空间图像的至少部分。
Description
技术领域
本公开的实施例涉及一种图像显示方法、标注处理方法、图像显示装置、标注处理装置、图像处理装置和非暂时性存储介质。
背景技术
随着显示技术和图像处理技术的快速发展,对使用显示器件显示场景的三维空间图像的需求日益增长。例如,可以使用相关的图像处理技术将场景的二维全景图像转换为场景的三维空间图像,以再现上述场景。例如,可以使用虚拟现实技术将二维全景图像模拟为场景的三维空间图像。然而,单纯的场景再现已不能满足用户的需求,还需要基于标注后的场景来满足用户的交互、提示或指引的需求。
发明内容
本公开的至少一个实施例提供了一种图像显示方法,其包括:获取三维空间图像;获取用于所述三维空间图像的标注在所述三维空间图像的图像空间中的世界坐标;以及至少基于所述标注的世界坐标渲染所述三维空间图像的至少部分和所述标注的至少部分,以用于显示所述标注的至少部分和所述三维空间图像的至少部分。
例如,在所述图像显示方法的至少一个示例中,所述获取用于所述三维空间图像的标注在所述三维空间图像的图像空间中的世界坐标包括:获取通过转换所述标注在用于呈现所述三维空间图像的屏幕的屏幕坐标得到的所述标注在所述三维空间图像的图像空间中的世界坐标。
例如,在所述图像显示方法的至少一个示例中,至少基于所述标注的世界坐标渲染所述三维空间图像的至少部分和所述标注的至少部分包括:至少基于所述标注的世界坐标同时渲染所述三维空间图像的至少部分和所述标注的至少部分。
例如,在所述图像显示方法的至少一个示例中,所述图像显示方法还包括:接收三维空间图像调整请求;获取调整后的三维空间图像;以及至少基于所述标注的世界坐标以及所述调整后的三维空间图像渲染所述调整后的三维空间图像以及所述用于所述三维空间图像的标注中用于所述调整后的三维空间图像的部分。
例如,在所述图像显示方法的至少一个示例中,至少基于所述标注的世界坐标以及所述调整后的三维空间图像渲染所述调整后的三维空间图像以及所述用于所述三维空间图像的标注中用于所述调整后的三维空间图像的部分包括:至少基于所述标注的世界坐标以及所述调整后的三维空间图像同时渲染所述调整后的三维空间图像以及所述用于所述三维空间图像的标注中用于所述调整后的三维空间图像的部分;以及所述三维空间图像调整请求包括:旋转所述三维空间图像的请求和移动所述三维空间图像的请求的至少一个。
例如,在所述图像显示方法的至少一个示例中,所述标注包括第一标注,所述第一标注与第二三维空间图像的标识符相关联,所述第二三维空间图像对应的三维空间不同于所述三维空间图像对应的三维空间。
例如,在所述图像显示方法的至少一个示例中,所述图像显示方法还包括:接收三维空间图像切换请求;获取所述第二三维空间图像以及用于所述第二三维空间图像的新的标注在所述第二三维空间图像的图像空间中的世界坐标;以及至少基于所述第二三维空间图像以及所述新的标注在所述第二三维空间图像的图像空间中的世界坐标渲染所述新的标注的至少部分和所述第二三维空间图像的至少部分。
例如,在所述图像显示方法的至少一个示例中,至少基于所述第二三维空间图像以及所述新的标注在所述第二三维空间图像的图像空间中的世界坐标渲染所述新的标注的至少部分和所述第二三维空间图像的至少部分包括:至少基于所述第二三维空间图像以及所述新的标注在所述第二三维空间图像的图像空间中的世界坐标同时渲染所述新的标注的至少部分和所述第二三维空间图像的至少部分。
例如,在所述图像显示方法的至少一个示例中,在渲染所述第二三维空间图像的至少部分的第一阶段,逐渐增加所述第二三维空间图像的至少部分的透明度,并逐渐减小所述三维空间图像的至少部分的透明度。
本公开的至少一个实施例还提供了一种标注处理方法,其包括:接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求,其中,所述第一标注添加请求包括所述第一标注在用于呈现所述三维空间图像的屏幕的第一屏幕坐标以及与所述第一标注相匹配的第二三维空间图像的标识符;将所述第一屏幕坐标转换为所述第一标注在所述三维空间图像的图像空间中的第一世界坐标;以及将所述第一标注与所述第二三维空间图像的标识符相关联。
例如,在所述标注处理方法的至少一个示例中,所述将所述第一屏幕坐标转换为所述第一标注在所述三维空间图像的图像空间中的第一世界坐标包括:基于所述第一屏幕坐标以及所述第一标注的深度信息获取所述第一标注的第一世界坐标。
例如,在所述标注处理方法的至少一个示例中,所述标注处理方法还包括:接收针对所述第一标注的标注编辑请求;将所述第一世界坐标转换为所述第一屏幕坐标;接收对所述第一标注在采用所述第一屏幕坐标时执行的第一编辑操作指令;以及基于所述第一编辑操作指令处理所述第一标注。
例如,在所述标注处理方法的至少一个示例中,所述标注处理方法还包括:基于所述屏幕坐标在所述用于呈现所述三维空间图像的屏幕中提供标注编辑界面,其中,所述接收对所述第一标注在采用所述第一屏幕坐标时执行的所述第一编辑操作指令包括:接收所述标注编辑界面提供的编辑操作指令。
例如,在所述标注处理方法的至少一个示例中,所述第一编辑操作指令至少包括:修改所述第一标注的内容,修改与所述第一标注关联的标识符,以及删除所述第一标注的至少一个。
本公开的至少一个实施例还提供了一种图像显示装置,其包括:渲染装置。所述渲染装置被配置为:获取三维空间图像以及用于所述三维空间图像的标注在所述三维空间图像的图像空间中的世界坐标;以及至少基于所述标注的世界坐标渲染所述三维空间图像的至少部分和所述标注的至少部分,以用于显示所述标注的至少部分和所述三维空间图像的至少部分。
本公开的至少一个实施例还提供了另一种图像显示装置,其包括:处理器和存储器。所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的任一图像显示方法。
本公开的至少一个实施例还提供了一种标注处理装置,其包括:第一坐标转换装置和关联装置。所述第一坐标转换装置被配置为:接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求;所述第一标注添加请求包括所述第一标注在用于呈现所述三维空间图像的屏幕的第一屏幕坐标以及与所述第一标注相匹配的第二三维空间图像的标识符;所述第一坐标转换装置还被配置为:将所述第一屏幕坐标转换为所述第一标注在所述三维空间图像的图像空间中的第一世界坐标;以及所述关联装置被配置为:将所述第一标注与所述第二三维空间图像的标识符相关联。
本公开的至少一个实施例还提供了另一种标注处理装置,其包括:处理器和存储器。所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的任一标注处理方法。
本公开的至少一个实施例还提供了一种图像处理装置,其包括本公开的至少一个实施例提供的任一图像显示装置以及本公开的至少一个实施例提供的任一标注处理装置。
本公开的至少一个实施例还提供了一种非暂时性存储介质,包括存储其上的计算机程序指令。所述计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一图像显示方法以及本公开的至少一个实施例提供的任一标注处理方法的至少一个。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1是本公开的至少一个实施例提供的图像显示方法的示例性流程图;
图2A是一个三维空间的俯视图;
图2B是基于图2A所示的三维空间的二维全景图像获得的中间图像的示意图;
图3A是本公开的至少一个实施例提供的标注的一个示例;
图3B是本公开的至少一个实施例提供的标注的另一个示例;
图4是本公开的至少一个实施例提供的图像显示方法的示例性流程图;
图5是本公开的至少一个实施例提供的用于呈现三维空间图像的屏幕以及屏幕坐标系;
图6是本公开的至少一个实施例提供的一种世界坐标系的示例;
图7是本公开的至少一个实施例提供的一种图像显示装置的示例性框图;
图8是本公开的至少一个实施例提供的另一种图像显示装置的示例性框图;
图9是本公开的至少一个实施例提供的一种标注处理装置的示例性框图;以及
图10是本公开的至少一个实施例提供的另一种标注处理装置的示例性框图;
图11是本公开的至少一个实施例提供的图像处理装置的示例性框图;
图12是本公开的至少一个实施例提供的一种图像处理装置的示例性工作流程图;
图13是本公开的至少一个实施例提供的一种非暂时性存储介质的示例性框图;
图14示出了本公开的至少一个实施例提供的图像处理装置的示例性的场景图;以及
图15是本公开的至少一个实施例提供的计算设备的架构。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另作定义,此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
一种标注处理和显示方法通过相机计算标注在屏幕上位置(也即,标注的屏幕坐标),并基于标注的屏幕坐标将标注显示在三维空间图像中。
本公开的发明人注意到,尽管上述标注处理和显示方法容易实现,但是存在计算量大,延迟偏移,用户体验差等问题,具体说明如下。
首先,在旋转三维空间图像时,需要重新计算(不停的重新计算)标注的屏幕坐标,由此增加了标注处理和显示方法涉及的运算量。例如,在待显示的标注较多的情况下,需要针对每个标注重新计算屏幕坐标,此种情况下,将大幅增加标注处理和显示方法涉及的运算量
其次,由于基于标注的屏幕坐标渲染标注,因此需要分开渲染标注和三维空间图像,此种情况下,渲染标注的时刻和渲染三维空间图像的时刻存在差异;并且,在旋转三维空间图像时,标注和三维空间图像之间存在因上述渲染时刻差异导致的位置偏移(也即,延迟偏移),由此降低了渲染效果以及用户体验。
本公开的至少一个实施例提供了一种图像显示方法、标注处理方法、图像显示装置、标注处理装置、图像处理装置和非暂时性存储介质。该图像显示方法包括:获取三维空间图像;获取用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标;以及至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,以用于显示标注的至少部分和三维空间图像的至少部分。
例如,通过至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,该图像显示方法具有提升渲染效果和降低运算量潜力。
下面通过几个示例和实施例对根据本公开的至少一个实施例提供的图像显示方法进行非限制性的说明,如下面所描述的,在不相互抵触的情况下这些具体示例和实施例中不同特征可以相互组合,从而得到新的示例和实施例,这些新的示例和实施例也都属于本公开保护的范围。
图1是本公开的至少一个实施例提供的图像显示方法的示例性流程图。如图1所示,该图像显示方法包括以下的步骤S110-步骤S130。
步骤S110:获取三维空间图像。
例如,三维空间图像为三维空间(例如,部分区域或全部区域)的图像。例如,三维空间可以为居住空间、办公空间(例如,办公室)、销售空间(例如,卖场)、展览空间(例如,展厅)或其它适用的空间。例如,居住空间可以为卧室、客厅、厨房、酒店或民宿房间等。
在步骤S110,获取三维空间图像的具体方法可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。
在一个示例中,获取三维空间图像可以包括从存储器中获取(读取)存储在存储器中的三维空间图像。
在另一个示例中,获取三维空间图像可以包括远程获取三维空间图像,例如,使用信息发送和接收装置接收三维空间图像。例如,信息发送和接收装置可以从服务器接收三维空间图像。
例如,可以通过以下的步骤S111和步骤S112获取三维空间图像,并将获得的三维空间图像预先存储在存储器或服务器(例如,与服务器相关的数据库)中。
步骤S111:获取对应于三维空间图像的三维空间的二维全景图像。
步骤S112:基于二维全景图像获取三维空间图像。
例如,在步骤S111,可以从存储器或者服务器获取二维全景图像。例如,二维全景图像可以预先通过采用具有全景拍摄功能的相机对三维空间进行图像采集获得,并存储到存储器或者服务器中。例如,可以采用具有全景拍摄功能的相机采集三维空间的720度全景。
例如,在步骤S112中,基于二维全景图像获取三维空间图像的具体方法(图像处理方法)可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。
下面结合图2A和图2B对获取三维空间图像的方法做示例性描述。图2A是一个三维空间的俯视图,图2B是基于图2A所示的三维空间的二维全景图像获得的中间图像的示意图。如图2A所示,三维空间包括前侧1、后侧2、左侧3、右侧4、底部5和上部6(图2A未示出,参见图2B)。
例如,可以通过以下的方法获取三维空间图像。首先,采用具有拍摄功能的相机对图2A所示的三维空间进行图像采集以获得图2A所示的三维空间的二维全景图像;然后,将二维全景图像处理(例如,裁剪、拼接)为图2B所示的中间图像;接着,将图2B所示的中间图像拼接为三维空间图像。
步骤S120:获取用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标。
例如,标注为添加在三维空间图像的图像空间中的、且用于提示、指引或三维空间切换(全景切换)的标识或标签。图3A是本公开的至少一个实施例提供的标注(例如,标注的内容)一个示例;图3B是本公开的至少一个实施例提供的标注(例如,标注的内容)的另一个示例。例如,标注的内容可以包括文字、图形(参见图3A)、文字和图形的组合(参见图3B)或其它适用的表现形式。在标注的内容使用文字进行表示的情况下,标注例如可以为“客厅”、“卧室”’、“卧室:20平米”、“20平米”等。在标注的内容使用图形表示的情况下,标注例如可以为箭头、圆形、方形或者其它适用的形状。
例如,用于三维空间图像的标注的数目可以根据实际应用需求进行设定,在此不做具体限定。例如,用于三维空间图像的标注可以为一个标注或多个标注。例如,用于三维空间图像的标注的数目可以等于标注处理阶段在三维空间图像的图像空间中添加的标注的数目。
例如,标注包括第一标注和第二标注的至少一个。例如,第一标注与第二三维空间图像的标识符相关联。例如,第二三维空间图像对应的三维空间不同于三维空间图像(例如,第一三维空间图像)对应的三维空间。例如,在三维空间图像(例如,第一三维空间图像)对应的三维空间为客厅的情况下,第二三维空间图像对应的三维空间为卧室、过道、厨房或者其它任何不是上述客厅的空间。例如,利用第二三维空间图像的标识符可以获取(唯一获取)第二三维空间图像。例如,可以在三维空间图像中显示多个第一标注;与多个第一标注相关联的标识符彼此不同。例如,在多个第一标注分别为“卧室”、“过道”和“厨房”的情况下,与多个第一标注相关联的标识符分别为“卧室”的标识符(例如,02)、“过道”的标识符(例如,03)和“厨房”的标识符(例如,04)。
例如,第一标注是用于三维空间切换(全景切换)的标注。例如,在图像显示模式下,在图像观察者选择(点击)第一标注时,显示的三维空间图像将由当前的三维空间图像(例如,第一三维空间图像)切换为第二三维空间图像。例如,第一标注的表现形式可以包括符号(例如,图3A所示的箭头)、文字(例如,“卧室”)或文字和符号的组合结构(例如,图3B所示的箭头和文字的组合结构)。
例如,第二标注不与其它三维空间图像的标识符相关联。例如,与第二标注相关联的标识符可以为空(例如,00),由此第二标注不与其它三维空间图像的标识符相关联。又例如,第二标注不与任何标识符相关联。
例如,第二标注用于提示和指引。例如,第二标注的表现形式可以为文字、符号、线条、标尺一个或任意组合。例如,第二标注可以为“卧室:20平米”或者“20平米”。又例如,第二标注可以为指向预定位置的箭头以及文字“空调机位”的组合。再例如,第二标注可以为标识三维空间长度、宽度和高度的线条(或标尺)以及文字(例如,“2.7米”、“3.7米”和“2.2米”)的组合;此种情况下,该图像显示方法还包括:获取三维空间的尺寸信息(例如,在渲染标注之前获取)。
例如,三维空间图像的图像空间具有一个三维坐标系。例如,可以使用上述三维坐标系描述所有用于三维空间图像的标注的位置。例如,上述三维坐标系被称作世界坐标系;标注在上述三维坐标系中坐标为标注在三维空间图像的图像空间中的世界坐标(也即,标注的世界坐标)。例如,上述三维坐标系可以是三维笛卡尔坐标,也即,三维坐标系由三个互相垂直并相交的坐标轴X、Y和Z组成,坐标轴X、Y和Z的交点为三维坐标系(世界坐标系)的原点;此种情况下,标注的世界坐标可以由(Wx,Wy,Wz)表示,Wx、Wy和Wz分别为标注对应于坐标轴X、Y和Z的坐标值。需要说明的是,上述三维坐标系(世界坐标系)不限于实现为三维笛卡尔坐标,根据实际应用需求,上述三维坐标系(世界坐标系)还可以实现为圆柱坐标系、球面坐标系或其它适用的坐标系。例如,相机放置在世界坐标系的原点。
例如,获取用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标包括:获取通过转换标注在用于呈现三维空间图像的屏幕的屏幕坐标得到的标注在三维空间图像的图像空间中的世界坐标。例如,可以通过本公开的至少一个实施例提供的标注处理方法将标注在用于呈现三维空间图像的屏幕的屏幕坐标转换为标注在三维空间图像的图像空间中的世界坐标,然后将标注在三维空间图像的图像空间中的世界坐标存储在存储器和服务器的至少一个上,由此可以在执行图像显示方法时从存储器和服务器的至少一个上获取标注的世界坐标。为清楚起见,本公开的至少一个实施例提供的标注处理方法将在阐述完图像显示方法之后再进行阐述,在此不做赘述。
例如,获取用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标(也即,标注的世界坐标)的具体方法可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。在一个示例中,可以从存储器中获取(读取)存储在存储器中的标注的世界坐标。在另一个示例中,可以远程获取标注的世界坐标。例如,可以使用信息发送和接收装置获取标注的世界坐标。例如,信息发送和接收装置可以从服务器接收标注的世界坐标。例如,信息发送接收装置可以包括调制解调器、网络适配器、蓝牙发送接收单元或红外发送接收单元等。例如,信息发送接收装置还可以对发送或接收的信息进行编码、解码等操作。
步骤S130:至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,以用于显示标注的至少部分和三维空间图像的至少部分。
例如,可以至少基于标注的世界坐标渲染三维空间图像的部分和标注的至少部分。例如,三维空间图像的部分是指三维空间图像的对应于预定位置和预定的视角的部分。例如,假设图像观察者(例如,看房者)处于三维空间(对应于三维空间图像的三维空间)中的预定位置并采用预定的视角能够看到的三维空间的部分区域,三维空间图像的部分是指三维空间图像的对应于图像观察者能够观察到的三维空间的部分区域的部分。下面结合图2A进行示例性说明。
例如,假设图像观察者101(例如,看房者)处于图2A所示的三维空间中,并面向前侧1,则图像观察者101能够观察到三维空间的位于图像观察者101所在的虚拟平面(例如,图2A中包括虚线且垂直于三维空间的底部5的虚拟平面)与三维空间的前侧1之间的区域(也即,三维空间的部分区域);此种情况下,三维空间图像的部分是指三维空间图像的对应于虚拟平面与三维空间的前侧1之间的区域的部分。
例如,预定视角可以为预先设定的视角,预定位置可以为预先设定的位置。例如,预定视角可以为用于观察三维空间的正前方的视角,预定位置可以为三维空间图像的中心。例如,在渲染三维空间图像的部分之前,图像显示方法还包括获取预定视角和预定位置。
例如,在获取三维空间图像之后,在渲染三维空间图像的部分之前,图像显示方法还包括根据预定视角和预定位置从三维空间图像获取三维空间图像的部分(也即,待渲染的三维空间图像的部分)。
例如,在至少基于标注的世界坐标渲染三维空间图像的部分的情况下,标注的至少部分是指用于三维空间图像的所有标注中用于显示在三维空间图像的部分中的标注(也即,用于三维空间图像的所有标注中用于三维空间图像的部分的标注)。例如,可以基于标注的世界坐标、预定视角和预定位置从用于三维空间图像的所有标注中选取用于显示在三维空间图像的部分中的标注。
在一些示例中,标注的至少部分可以为用于三维空间图像的所有标注或部分标注。在另一些示例中,用于三维空间图像的所有标注中可能没有显示在三维空间图像的对应于预定位置和预定的视角的部分的标注;但是,在接收三维空间图像调整请求之后,标注的至少部分可以显示在调整后的三维空间图像中。
例如,通过至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,可以使得本公开的至少一个实施例提供的图像显示方法具有降低(例如,避免)渲染三维空间图像的至少部分的时刻以及渲染显示在三维空间图像的至少部分中的标注的时刻之间差异(例如,延迟)的潜力,由此可以提升渲染效果以及用户体验。
例如,至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分包括:至少基于三维空间图像的至少部分、标注的至少部分的内容和标注的世界坐标同时渲染三维空间图像的至少部分和标注的至少部分。例如,标注的内容是指用于表示标注的文字、图形、线条和标尺的任意一个或任意组合。
例如,可以基于相同的绘图标准(绘图协议)同时渲染三维空间图像的至少部分和标注的至少部分。例如,在基于网络端实现本公开的至少一个实施例提供的图像显示方法的情况下,相同的绘图标准(绘图协议)可以实现为网络图形库(Web Graphics Library,WebGL)。又例如,在基于移动端或桌面端实现本公开的至少一个实施例提供的图像显示方法的情况下,相同的绘图标准(绘图协议)还可以实现为开放图形库(Open GraphicsLibrary,OpenGL)。例如,可以基于图形处理器(GPU)、中央处理器(CPU)或其它适用的处理器运行上述相同的绘图协议(WebGL或OpenGL),以实现例如同时渲染三维空间图像的至少部分和标注的至少部分。
例如,通过至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,可以避免标注的至少部分与三维空间图像的至少部分在渲染时间上的差异(例如,在渲染时刻上的延迟),由此可以提升渲染效果以及用户体验。
例如,本公开的至少一个实施例提供的图像方法可以按照步骤S110、步骤S120和步骤S130的顺序顺次执行。又例如,本公开的至少一个实施例提供的图像方法可以按照步骤S110+步骤S120(也即,同时执行步骤S110+步骤S120)和步骤S130的顺序顺次执行。
例如,本公开的至少一个实施例提供的图像显示方法还具有显示调整后的三维空间图像以及用于调整后的三维空间图像的标注的功能。例如,本公开的至少一个实施例提供的图像显示方法还包括以下的步骤S140-步骤S160。
步骤S140:接收三维空间图像调整请求。
例如,三维空间图像调整请求包括:旋转三维空间图像的请求和移动三维空间图像的请求的至少一个。例如,旋转三维空间图像请求用于使得显示的三维空间图像的部分由三维空间图像的对应于预定视角(第一视角)和预定位置(第一位置)的部分转换为三维空间图像的对应于第二视角(不同于第一视角)和预定位置(第一位置)的部分(也即,调整后的三维空间图像)。例如,移动三维空间图像请求用于使得显示的三维空间图像的部分由三维空间图像的对应于预定视角(第一视角)和预定位置(第一位置)的部分转换为三维空间图像的对应于预定视角(第一视角)和第二位置(不同于第一位置)的部分(也即,调整后的三维空间图像)。例如,旋转和移动三维空间图像请求用于使得显示的三维空间图像的部分由三维空间图像的对应于预定视角(第一视角)和预定位置(第一位置)的部分转换为三维空间图像的对应于第二视角(不同于第一视角)和第二位置(不同于第一位置)的部分(也即,调整后的三维空间图像)。
例如,接收(例如,仅接收)旋转三维空间图像的请求包括接收第二视角的信息;接收(例如,仅接收)移动三维空间图像的请求包括接收第二位置的信息;接收(例如,同时接收)旋转三维空间图像的请求和移动三维空间图像的请求包括接收第二视角的信息以及第二位置的信息。
例如,三维空间图像调整请求可以由图像观察者发出;此种情况下,可以基于图像观察者的鼠标移动的方向和距离确定观察视角的调整量(例如,第二视角和预定视角之间的差值)和观察位置的调整量(例如,第二位置和预定位置之间的差值),并基于观察视角和观察位置的调整量生成三维空间图像调整请求。又例如,三维空间图像调整请求可以由执行本公开的至少一个实施例提供的图像显示方法的装置发出。例如,在显示三维空间图像预定时间之后,如果没有接收到三维空间图像调整请求,装置可以自动发出三维空间图像调整请求,以使得图像显示方法能够按照预定的规律调整显示的三维空间图像的部分。例如,上述预定时间可以10秒、15秒、20秒或者其它适用的数值。例如,预定的规律可以是使得观察视角自动改变以及使得观察位置自动改变中的至少一个。例如,观察视角可以匀速改变。例如,观察视角可以每秒调整(例如,朝向右侧增加)6度或者其它适用的数值。
步骤S150:获取调整后的三维空间图像。
例如,调整后的三维空间图像是指三维空间图像的对应于调整后的观察视角和/或观察位置的部分。例如,在接收(例如,仅接收)旋转三维空间图像的请求的情况下,调整后的观察视角和/或观察位置是指第二视角和预定位置;在接收(例如,仅接收)移动三维空间图像的请求的情况下,调整后的观察视角和/或观察位置是指预定视角和第二位置;在接收(例如,同时接收)旋转三维空间图像的请求和移动三维空间图像的请求的情况下,调整后的观察视角和/或观察位置是指第二视角和第二位置。
例如,可以基于三维空间图像调整请求以及三维空间图像获取调整后的三维空间图像。例如,在从存储器或者服务器获取三维空间图像的情况下,可以基于调整后的观察视角和/或观察位置从三维空间图像获取调整后的三维空间图像。又例如,可以从存储器或者服务器直接获取调整后的三维空间图像。
步骤S160:至少基于标注的世界坐标以及调整后的三维空间图像渲染调整后的三维空间图像以及用于三维空间图像的标注中用于调整后的三维空间图像的部分。
例如,可以基于标注的世界坐标以及调整后的观察视角和/或观察位置从用于三维空间图像的所有标注中选取用于显示在调整后的三维空间图像中的标注。例如,用于显示在调整后的三维空间图像中的标注以及用于显示在三维空间图像的部分中的标注不完全相同或者完全不相同。
例如,通过至少基于标注的世界坐标以及调整后的三维空间图像渲染调整后的三维空间图像以及用于三维空间图像的标注中用于调整后的三维空间图像的部分,可以避免在三维空间图像调整过程中重新计算标注的屏幕坐标,由此可以降低图像显示方法涉及的运算量并提升采用该图像显示方法的图像显示装置的效率。
例如,在用于三维空间图像的所有标注中用于调整后的三维空间图像的部分包括多个标注的情况下,无需重新计算上述多个标注任何一个的屏幕坐标,此种情况下,可以更为明显的降低图像显示方法涉及的运算量以及更为明显的提升采用该图像显示方法的图像显示装置的效率。例如,在图像显示过程中,接收的三维空间图像调整请求的较多(例如,自动调整三维空间图像)的情况下,采用本公开的至少一个实施例提供的图像显示方法可以更为明显的降低运算量。
例如,通过至少基于标注的世界坐标以及调整后的三维空间图像同时渲染调整后的三维空间图像以及用于三维空间图像的标注中用于调整后的三维空间图像的部分,还可以使得本公开的至少一个实施例提供的图像显示方法具有降低(例如,避免)渲染调整后的三维空间图像的时刻以及渲染显示在调整后的三维空间图像中的标注的时刻之间差异(例如,延迟)的潜力,由此使得本公开的至少一个实施例提供的图像显示方法具有降低(例如,避免)因上述渲染时刻差异(例如,延迟)导致的三维空间图像调整过程中标注与调整后的三维空间图像之间的位置偏移(例如,延迟偏移),进而可以提升渲染效果以及用户体验。
例如,在步骤S160中,至少基于标注的世界坐标以及调整后的三维空间图像渲染标注的至少部分和调整后的三维空间图像包括:至少基于调整后的三维空间图像、标注的世界坐标以及标注的至少部分的内容同时渲染调整后的三维空间图像以及用于三维空间图像的标注中用于调整后的三维空间图像的部分。例如,可以使用相同的绘图标准(绘图协议)同时渲染三维空间图像和标注。例如,相同的绘图标准(绘图协议)可以为WebGL、OpenGL或其它适用的绘图标准。
例如,通过至少基于标注的世界坐标以及调整后的三维空间图像同时渲染标注和调整后的三维空间图像,可以抑制(例如,避免)标注与调整后的三维空间图像之间的时间延迟,由此可以降低(例如,避免)因上述时间延迟导致的三维空间图像调整过程中标注与调整后的三维空间图像之间的位置偏移(例如,延迟偏移),进而可以提升渲染效果以及用户体验。
例如,可以按照步骤S140、步骤S150和步骤S160的顺序顺次执行步骤S140-步骤S160。例如,在图像显示的过程中,可以多次接收三维空间图像调整请求。例如,在图像显示的过程中,可以在多个不同的时刻分别接收多个三维空间图像调整请求;对于每个三维空间图像调整请求,可以顺次执行步骤S150和步骤S160。例如,对于每个三维空间图像调整请求,均无需计算待显示在调整后的三维空间图像中(也即,用于调整后的三维空间图像中)的标注的屏幕坐标,由此可以进一步地降低运算量。
例如,本公开的至少一个实施例提供的图像显示方法还具有切换三维空间图像(例如,全景切换)的功能。例如,本公开的至少一个实施例提供的图像显示方法还包括以下的步骤S170-步骤S190。例如,可以按照步骤S170、步骤S180和步骤S190的顺序顺次执行步骤S170-步骤S190。
步骤S170:接收三维空间图像切换请求。
例如,接收三维空间图像切换请求包括接收用于选择第一标注的标注选择请求。例如,选择第一标注表示发出三维空间图像切换请求。例如,接收用于选择第一标注的标注选择请求包括接收与第一标注相关联第二三维空间图像的标识符。
例如,三维空间图像切换请求可以由图像观察者发出;此种情况下,可以基于图像观察者的鼠标选择的第一标注以及与第一标注相关联的标识符生成三维空间切换调整请求。又例如,三维空间图像切换请求可以由执行本公开的至少一个实施例提供的图像显示方法的装置发出。例如,在图像观察者选择漫游观察模式的情况下,本公开的至少一个实施例提供的图像显示方法可以顺次显示多个三维空间图像;例如,可以将三维空间图像切换至第二三维空间图像(对应地,自动发出第一个三维空间图像切换请求),将第二三维空间图像切换至第三三维空间图像(对应地,自动发出第二个三维空间图像切换请求),将第三三维空间图像切换至第四三维空间图像(对应地,自动发出第三个三维空间图像切换请求),……直至完成所有待显示的三维空间图像的显示。例如,在时间上相邻的三维空间图像切换请求的发出时间之间的间隔可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。例如,在时间上相邻的三维空间图像切换请求的发出时间之间的间隔可以设置为1分钟、2分钟或者其它适用的数值。
步骤S180:获取第二三维空间图像以及用于第二三维空间图像的新的标注在第二三维空间图像的图像空间中的世界坐标。
例如,第二三维空间图像对应的三维空间不同于三维空间图像(例如,第一三维空间图像)对应的三维空间。
例如,可以基于三维空间图像切换请求(第一标注的标注选择请求)获取第二三维空间图像以及用于第二三维空间图像的新的标注(也即,用于显示在第二三维空间图像的标注)在第二三维空间图像的图像空间中的世界坐标(也即,新的标注的世界坐标)。
例如,可以利用与第一标注相关联的第二三维空间图像的标识符从存储器和服务器的至少一个上获取第二三维空间图像以及新的标注(例如,用于第二三维空间图像的所有标注)的世界坐标。
例如,新的标注包括与其它三维空间图像(也即,第二三维空间图像之外的其它三维空间图像)的标识符相关联的标注以及不其它三维空间图像的标识符相关联的标注的至少一个。与其它三维空间图像的标识符相关联的标注以及不其它三维空间图像的标识符相关联的标注与步骤S120描述的第一标注和第二标注具有相同或相似的特性,在此不再赘述。
例如,获取用于第二三维空间图像的新的标注在第二三维空间图像的图像空间中的世界坐标(也即,新的标注的世界坐标)包括:获取通过转换新标注在用于呈现第二三维空间图像的屏幕的屏幕坐标得到的新标注在第二三维空间图像的图像空间中的世界坐标。例如,可以通过本公开的至少一个实施例提供的标注处理方法将标注在用于呈现第二三维空间图像的屏幕的屏幕坐标转换为新标注在第二三维空间图像的图像空间中的世界坐标,然后将新的标注在第二三维空间图像的图像空间中的世界坐标存储在存储器和服务器的至少一个上,由此在执行本公开的至少一个实施例提供的图像显示方法时,可以从存储器和服务器的至少一个上获取新的标注的世界坐标。
步骤S190:至少基于第二三维空间图像以及新的标注在第二三维空间图像的图像空间中的世界坐标渲染新的标注的至少部分和第二三维空间图像的至少部分。
例如,可以至少基于第二三维空间图像以及新的标注在第二三维空间图像的图像空间中的世界坐标渲染新的标注的至少部分和第二三维空间图像的部分。
例如,第二三维空间图像的部分是指第二三维空间图像的对应于预定位置和预定视角的部分。例如,第二三维空间图像的部分是指第二三维空间图像的能够被位于(假设位于)第二三维空间图像的图像空间的预定位置并朝向预定视角观察的图像观察者观察到的部分。例如,新的标注的至少部分是指用于第二三维空间图像的所有标注中用于第二三维空间图像的部分(例如,待显示在第二三维空间图像的部分中)的部分。例如,可以基于新的标注在第二三维空间图像的图像空间中的世界坐标、预定位置和预定视角获取新的标注的至少部分(例如,待显示在第二三维空间图像的部分中的标注)。
例如,通过至少基于第二三维空间图像以及新的标注的世界坐标渲染第二三维空间图像的至少部分和新的标注的至少部分,可以使得本公开的至少一个实施例提供的图像显示方法具有降低(例如,避免)渲染第二三维空间图像的至少部分的时刻以及渲染显示在第二三维空间图像的至少部分中的标注的时刻之间差异(例如,延迟)的潜力,由此可以提升渲染效果以及用户体验。
例如,至少基于第二三维空间图像以及新的标注在第二三维空间图像的图像空间中的世界坐标渲染新的标注的至少部分和第二三维空间图像的至少部分包括:至少基于第二三维空间图像、新的标注在第二三维空间图像的图像空间中的世界坐标以及新的标注的内容同时渲染新的标注的至少部分和第二三维空间图像的至少部分。例如,新的标注的内容是指用于表示新的标注的文字、图形、线条和标尺的任意一个或任意组合。
例如,可以使用相同的绘图标准(绘图协议)同时渲染第二三维空间图像和新标注。例如,相同的绘图标准(绘图协议)可以为相同的绘图标准(绘图协议)可以为WebGL、OpenGL或其它适用的绘图标准。
例如,通过至少基于第二三维空间图像以及新的标注在第二三维空间图像的图像空间中的世界坐标同时渲染新的标注的至少部分和第二三维空间图像的至少部分,可以降低(例如,避免)新的标注的至少部分与第二三维空间图像的至少部分在渲染时间(渲染时刻)上的差异(例如,延迟),由此可以提升渲染效果以及用户体验。
例如,在渲染第二三维空间图像的至少部分(例如,同时渲染第二三维空间图像的至少部分和新的标注的至少部分)的第一阶段(例如,初始阶段),逐渐增加第二三维空间图像的至少部分的透明度以及新的标注的至少部分的透明度,并逐渐减小三维空间图像的至少部分的透明度和标注的至少部分的透明度;此种情况下,可以实现淡入淡出的切换效果,由此可以提升渲染效果以及用户体验。例如,第二三维空间图像的至少部分的透明度等于新的标注的至少部分的透明度,三维空间图像的至少部分的透明度等于标注的至少部分的透明度,第二三维空间图像的至少部分的透明度与三维空间图像的至少部分的透明度之和等于1。
例如,步骤S170-步骤S190可以在执行步骤S110-步骤S130之后且在执行步骤S140-步骤S160之前执行。又例如,步骤S170-步骤S190可以在执行步骤S110-步骤S130以及步骤S140-步骤S160之后执行;此种情况下,在渲染第二三维空间图像的至少部分(例如,同时渲染第二三维空间图像的至少部分和新的标注的至少部分)的第一阶段(例如,初始阶段),逐渐增加第二三维空间图像的至少部分的透明度以及新的标注的至少部分的透明度,并逐渐减小调整后的三维空间图像的透明度以及用于调整后的三维空间图像的标注透明度。
本公开的至少一个实施例还提供了一种标注处理方法,其包括:接收在三维空间图像的图像空间中添加标注的标注添加请求,此处,标注添加请求包括标注在用于呈现三维空间图像的屏幕的屏幕坐标;将屏幕坐标转换为标注在三维空间图像的图像空间中的世界坐标。
例如,本公开的至少一个实施例提供的一种标注处理方法可以在获取单个三维空间图像之后直接在三维空间图像的图像空间中添加标注,而无需在将多个三维空间图像拼接(例如,使用制作端)之后再添加标注,由此提升了标注处理方法的应用范围。
例如,本公开的至少一个实施例提供的一种标注处理方法可以将标注的屏幕坐标转换为标注的世界坐标。例如,通过上述标注处理方法获取的标注的世界坐标可以保存在存储器和服务器的至少一个中。例如,标注添加请求还可以包括标注的内容以及与标注相关联的标识符的至少一个。例如,标注的内容以及与标注相关联的标识符(如果存在)也可以保存在存储器和服务器的至少一个中。例如,在将标注的世界坐标、标注的内容以及与标注相关联的标识符(如果存在)保存在存储器和服务器的至少一个中的情况下,意味着完成了在三维空间图像的图像空间中添加标注动作。
例如,上述的标注处理方法可以基于本地端(例如,前端)实现,此种情况下,通过上述标注处理方法获取的标注的世界坐标可以由本地端输出并传递给服务器(例如,后端)并保存在服务器和存储器(例如,与服务器相关联的数据库)的至少一个中。又例如,上述的标注处理方法可以基于服务器(例如,后端)实现;此种情况下,通过上述标注处理方法获取的标注的世界坐标直接保持在服务器和存储器(例如,与服务器相关联的数据库)的至少一个中。例如,上述本地端可以为网络端、移动端和桌面端的至少一个。例如,网络端可被称为前端页面。
例如,可以在执行本公开的至少一个实施例提供的图像显示方法中从服务器或存储器的至少一个中获取标注的世界坐标,以作为标注(第一标注和第二标注的至少一个)和新的标注的至少一个,从而可以提升本公开的至少一个实施例提供的图像显示方法的渲染效果。
本公开的至少一个实施例还提供了另一种标注处理方法,其包括:接收针对在三维空间图像的图像空间的标注的标注编辑请求,此处,标注包括在图像空间中的世界坐标;将标注的世界坐标转换为标注在用于呈现三维空间图像的屏幕的屏幕坐标;接收对标注在采用屏幕坐标时执行的编辑操作指令;基于编辑操作指令处理标注。
例如,本公开的至少一个实施例提供的另一种标注处理方法可以将已经添加至三维空间图像的图像空间中标注的世界坐标转换为标注在用于呈现三维空间图像的屏幕中的屏幕坐标,此种情况下,可以在标注采用屏幕坐标时进行编辑操作,由此可以降低(例如,避免)标注编辑阶段的渲染延迟。
例如,可以在标注编辑阶段修改标注或者删除标注,修改标注包括修改标注的内容以及与修改与标注相关联的标识符(如果存在)。例如,完成编辑操作后,可以将修改后的标注保存在存储器和服务器的至少一个中或者将标注从存储器和服务器的至少一个中删除。例如,在将修改后的标注保存在存储器和服务器的至少一个中或者将标注从存储器和服务器的至少一个中删除之后,意味着完成了标注的编辑动作。
例如,在使用本公开的至少一个实施例提供的一种标注处理方法或另一种标注处理方法添加或编辑标注之后,可以对添加的标注或编辑后的标注进行预览。例如,可以使用本公开的至少一个实施例提供的图像显示方法显示添加的标注或编辑后的标注,以使得标注制作者可以预览添加的标注或编辑后的标注。
本公开的至少一个实施例还提供了再一种标注处理方法,其包括:接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求,此处,第一标注添加请求包括第一标注在用于呈现三维空间图像的屏幕的第一屏幕坐标以及与第一标注相匹配的第二三维空间图像的标识符;将第一屏幕坐标转换为第一标注在三维空间图像的图像空间中的第一世界坐标;以及将第一标注与第二三维空间图像的标识符相关联。
例如,本公开的至少一个实施例提供的一种标注处理方法可以在获取三维空间图像(例如,基于三维空间的二维全景图像获取的三维空间图像)之后直接在三维空间图像的图像空间中添加标注(例如,第一标注),而无需在使用制作端将多个三维空间图像拼接之后再添加标注(例如,第一标注),由此提升了标注处理方法的应用范围。
下面通过几个示例和实施例对根据本公开的至少一个实施例提供的再一种标注处理方法进行非限制性的说明,如下面所描述的,在不相互抵触的情况下这些具体示例和实施例中不同特征可以相互组合,从而得到新的示例和实施例,这些新的示例和实施例也都属于本公开保护的范围。
图4是本公开的至少一个实施例提供的图像显示方法的示例性流程图。例如,如图4所示,该图像显示方法包括以下的步骤S210-步骤S230。
步骤S210:接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求,此处,第一标注添加请求包括第一标注在用于呈现三维空间图像的屏幕的第一屏幕坐标以及与第一标注相匹配的第二三维空间图像的标识符。
在一个示例中,第一标注添加请求可以由标注添加者(例如,买房者)发出。例如,在标注添加模式下,标注添加者可以选择用于呈现三维空间图像的屏幕中的适当位置作为新增的第一标注的显示位置,增加第一标注的内容以及选择用于与第一标注相关联的三维空间图像(也即,第二三维空间图像),然后可以基于屏幕中的适当位置对应的屏幕坐标、第一标注的内容以及用于与第一标注相关联的三维空间图像的标识符生成第一标注添加请求。
在另一个示例中,第一标注添加请求还可以由标注制作端自动发出。例如,标注制作端可以识别多个三维空间图像的类型以及每个三维空间图像的各个图像区域与其它三维空间图像的关系中的至少一个;此种情况下,标注制作端可以将在每个三维空间图像的与其它三维空间图像相关联的图像区域中生成对应的第一标注。例如,在标注制作端识别出三维空间图像的三维空间为客厅,且三维空间图像的图像空间的前侧、后侧、左侧和右侧分别对应于阳台、玄关、卧室和餐厅的情况下,可以由制作端发出在三维空间图像的示出了部分阳台、部分玄关、部分卧室和部分餐厅的图像区域中自动添加四个第一标注的第一标注添加请求。例如,标注制作端可以基于神经网络(例如,卷积神经网络)识别多个三维空间图像的类型以及每个三维空间图像的各个图像区域与其它三维空间图像的关系。
例如,呈现三维空间图像的屏幕可以为显示器件的整个显示屏幕(例如,在全屏显示模式)或者显示器件的部分显示屏幕(例如,在非全屏显示模式)。例如,与第一标注相匹配的第二三维空间图像是指与第一标注的内容相匹配的第二三维空间图像。例如,第一标注的内容是文字“餐厅”的情况下,与第一标注相匹配的第二三维空间图像是餐厅的三维空间图像。又例如,第一标注的内容是指向玄关的箭头的情况下,与第一标注相匹配的第二三维空间图像是玄关的三维空间图像。
图5是本公开的至少一个实施例提供的用于呈现三维空间图像的屏幕102以及用于上述屏幕102的屏幕坐标系。例如,如图5所示,屏幕102的长度和高度分别为W和H;屏幕坐标系的原点o位于屏幕的左上角,且其坐标为(0,0);屏幕坐标系的x轴沿屏幕102的上边界延伸并且x轴的正向水平向右;屏幕坐标系的y轴沿屏幕的左边界延伸并且y轴的正向垂直向下。例如,屏幕中的任一位置T可以使用屏幕坐标(Sx,Sy)表示。例如,屏幕坐标可以使用像素作为度量单位。例如,在第一标注在用于呈现三维空间图像的屏幕的位置确定的情况下,第一标注在用于呈现三维空间图像的屏幕的第一屏幕坐标则对应确定。例如,可以基于屏幕中的被选择用于显示第一标注的位置获取第一标注的屏幕坐标。
步骤S220:将第一屏幕坐标转换为第一标注在三维空间图像的图像空间中的第一世界坐标。
图6是本公开的至少一个实施例提供的一种屏幕102和用于屏幕102的世界坐标系的一个示例。如图6所示,世界坐标系的X轴的正向为水平向右;Y轴的正向为垂直向上;Z轴的正向为垂直屏幕平面指向屏幕的显示侧或出光侧(例如,标注添加者);世界坐标系的原点O位于屏幕平面的中心,其坐标为(0,0,0)。如图6所示,可以将屏幕的长度和高度分别从W和H转换为2。
例如,将第一屏幕坐标转换为第一标注在三维空间图像的图像空间中的第一世界坐标包括:基于第一屏幕坐标以及第一标注的深度信息获取第一标注的第一世界坐标。
例如,如图5和6所示,屏幕中的任一位置T(例如,第一标注显示的位置)第一世界坐标为(Wx,Wy,Wz),且Wx=2×Sx/W-1;Wy=-2×Sy/H+1;Wz=Dz,此处,Dz表示第一标注的深度信息,第一标注的深度信息可以由标注制作者或标注制作端确定。例如,Dz大于等于-1小于等于1。例如,Dz可以设置为0.5。例如,标注制作者可以通过优化Dz,使得显示在三维空间图像中的第一标注具有良好的视觉效果。
步骤S230:将第一标注与第二三维空间图像的标识符相关联。
例如,通过将第一标注与第二三维空间图像的标识符相关联,可以使得第一标注被选择的情况下(在图像显示模式下被选择)生成的三维空间图像切换请求包括第二三维空间图像的标识符。
例如,通过将第一标注与第二三维空间图像的标识符相关联,可以在添加标注的过程中完成不同的三维空间图像(例如,多个三维空间图像)的拼接,此种情况下,可以省略单独的拼接过程,由此降低了标注处理方法的复杂度。
例如,可以按照步骤S210、步骤S220和步骤S230的顺序顺次执行步骤S210-步骤S230。又例如,可以按照步骤S210和步骤S220+步骤S230(也即,步骤S220和步骤S230同时执行)的顺序顺次执行步骤S210-步骤S230。再例如,可以按照步骤S210、步骤S230和步骤S220的顺序顺次执行步骤S210-步骤S230。
例如,本公开的至少一个实施例提供的再一种标注处理方法还具有添加第二标注的功能。例如,本公开的至少一个实施例提供的再一种标注处理方法还包括以下的步骤S231和步骤S232。
步骤S231:接收在三维空间图像的图像空间中添加第二标注的第二标注添加请求,此处,第二标注添加请求包括第二标注在用于呈现三维空间图像的屏幕的第二屏幕坐标。
步骤S232:将第二屏幕坐标转换为第二标注在三维空间图像的图像空间中的第二世界坐标。
例如,第二标注不与其它三维空间图像相关联(三维空间图像之外的其它三维空间图像)。例如,步骤S231和步骤S232的具体实现方法可以参见S210和步骤S220,在此不再赘述。例如,可以按照步骤S231和步骤S232的顺序顺次执行步骤S231和步骤S232。
例如,本公开的至少一个实施例提供的再一种标注处理方法还具有对已添加的第一标注进行编辑的功能。例如,本公开的至少一个实施例提供的再一种标注处理方法还包括以下的步骤S240-步骤S270。
步骤S240:接收针对第一标注的标注编辑请求。
例如,标注编辑请求可以由标注制作者发出。又例如,标注编辑请求还可以由标注制作端自动发出。例如,标注制作端可以识别多个三维空间图像的类型以及每个三维空间图像的各个图像区域与其它三维空间图像的关系中的至少一个;此种情况下,标注制作端可以对添加到三维空间图像的图像空间中的标注进行审核,并针对存在问题的标注(例如,第一标注)发出标注编辑请求。
步骤S250:将第一世界坐标转换为第一屏幕坐标。
例如,将第一世界坐标转换为第一屏幕坐标为将第一屏幕坐标转换为第一世界坐标的逆变换。例如,将第一世界坐标转换为第一屏幕坐标的具体方法可以参见将第一屏幕坐标转换为第一世界坐标的具体方法,在此不再赘述。
例如,在标注处理方法由服务器(例如,后端)实现的情况下,在执行步骤S250之后,可以将获得的第一屏幕坐标输出,例如,传递给本地端(例如,前端)。
例如,通过将已经添加至三维空间图像的图像空间中第一标注的世界坐标转换为第一标注在用于呈现三维空间图像的屏幕中的第一屏幕坐标,可以在第一标注采用第一屏幕坐标时进行编辑操作,由此可以降低(例如,避免)标注编辑阶段的渲染延迟。
步骤S260:接收对第一标注在采用第一屏幕坐标时执行的第一编辑操作指令。
例如,第一编辑操作指令至少包括:修改第一标注的内容,修改与第一标注关联的标识符,以及删除第一标注的至少一个。例如,修改与第一标注关联的标识符包括:将与第一标注关联的标识符由第二三维空间图像对应的标识符修改为第三三维空间图像对应的标识符(也即,修改与第一标注关联的三维空间图像);或者将与第一标注关联的标识符由第二三维空间图像对应的标识符修改为空标识符(也即,将第一标注转换为第二标注)。例如,第三三维空间图像对应的三维空间不同于第二三维空间图像对应的三维空间以及第一三维空间图像(也即,三维空间图像)对应的三维空间。
例如,在标注处理方法由本地端(例如,前端)实现的情况下,在执行步骤S250之后,在执行步骤S260之前,标注处理方法还包括:基于屏幕坐标提供标注编辑界面(例如,标注编辑框);此种情况下,接收对第一标注在采用第一屏幕坐标时执行的第一编辑操作指令包括:接收标注编辑界面提供的编辑操作指令。
步骤S270:基于第一编辑操作指令处理第一标注。
例如,处理后的第一标注可以保存在服务器和存储器的至少一个中。
例如,本公开的至少一个实施例提供的再一种标注处理方法还具有对已添加的第二标注进行编辑的功能。例如,本公开的至少一个实施例提供的再一种标注处理方法还包括以下的步骤S281-步骤S284。
步骤S281:接收针对第二标注的标注编辑请求。
步骤S282:将第二世界坐标转换为第二屏幕坐标。
步骤S283:接收对第二标注在采用第二屏幕坐标时执行的第二编辑操作指令。
步骤S284:基于第二编辑操作指令处理第二标注。
例如,第二编辑操作指令至少包括:修改第二标注的内容、删除第二标注以及将第二标注转换为第一标注的至少一个。例如,可以通过将第二标注与其它三维空间图像相关联,使得第二标注转换为第一标注。
例如,步骤S281-步骤S284的具体实现方法可以参见步骤S240-步骤S270,在此不再赘述。
本公开的至少一个实施例还提供了一种图像显示装置。图7是本公开的至少一个实施例提供的一种图像显示装置的示例性框图。如图7所示,该图像显示装置包括渲染装置。渲染装置被配置为:获取三维空间图像以及用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标;至少基于标注的世界坐标渲染(例如,同时渲染)三维空间图像的至少部分和标注的至少部分,以用于显示标注的至少部分和三维空间图像的至少部分。
例如,获取三维空间图像以及用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标以及至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分的具体方法可以参见本公开的至少一个实施例提供的图像显示方法,在此不再赘述。
例如,通过使得渲染装置至少基于标注的世界坐标渲染三维空间图像的至少部分和标注的至少部分,可以使得本公开的至少一个实施例提供的图像显示装置具有降低(例如,避免)渲染三维空间图像的至少部分的时刻以及渲染显示在三维空间图像的至少部分中的标注的时刻之间差异(例如,延迟)的潜力,由此可以提升图像显示装置的渲染效果以及用户体验的潜力。
例如,渲染装置可以通过软件、固件、硬件及其任意组合实现,例如,该硬件包括现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
本公开的至少一个实施例还提供了另一种图像显示装置。图8是本公开的至少一个实施例提供的另一种图像显示装置的示例性框图。如图8所示,该另一种图像显示装置包括:处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令,计算机程序指令被处理器运行时使得处理器执行本公开的至少一个实施例提供的任一图像显示方法。
例如,该处理器例如是中央处理单元(CPU)、图形处理器GPU、张量处理器(TPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如,该处理器可以实现为通用处理器,并且也可以为单片机、微处理器、数字信号处理器、专用的图像处理芯片、或现场可编程逻辑阵列等。例如,存储器可以包括易失性存储器和非易失性存储器的至少一种,例如存储器可以包括只读存储器(ROM)、硬盘、闪存等。相应地,该存储器可以实现为一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,在所述计算机可读存储介质上可以存储一个或多个计算机程序指令。处理器可以运行所述程序指令,以执行本公开的至少一个实施例提供的任一图像显示方法。该存储器还可以存储其他各种应用程序和各种数据,例如,所述应用程序使用和/或产生的各种数据等。
例如,本公开的至少一个实施例提供的另一种图像显示装置具有降低(例如,避免)渲染三维空间图像的至少部分的时刻以及渲染显示在三维空间图像的至少部分中的标注的时刻之间差异(例如,延迟)的潜力以及提升图像显示装置的渲染效果以及用户体验的潜力。
本公开的至少一个实施例还提供了一种标注处理装置。图9是本公开的至少一个实施例提供的一种标注处理装置的示例性框图。如图9所示,该标注处理装置包括:第一坐标转换装置和关联装置。第一坐标转换装置被配置为:接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求。第一标注添加请求包括第一标注在用于呈现三维空间图像的屏幕的第一屏幕坐标以及与第一标注相匹配的第二三维空间图像的标识符。第一坐标转换装置还被配置为:将第一屏幕坐标转换为第一标注在三维空间图像的图像空间中的第一世界坐标。关联装置被配置为:将第一标注与第二三维空间图像的标识符相关联。
例如,第一坐标转换装置和关联装置的每个可以通过软件、固件、硬件及其任意组合实现,例如,该硬件包括现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
例如,接收第一标注添加请求,将第一屏幕坐标转换为第一世界坐标以及将第一标注与第二三维空间图像的标识符相关联的具体方法可以参见本公开的至少一个实施例提供的任一标注处理方法,在此不再赘述。
例如,本公开的至少一个实施例提供的一种标注处理装置可以在获取三维空间图像(例如,基于二维全景图像获取的三维空间图像)之后直接在三维空间图像的图像空间中添加标注(例如,第一标注),而无需在使用制作端将多个三维空间图像拼接之后再添加标注(例如,第一标注),由此提升了标注处理装置的应用范围。
例如,通过利用关联装置将第一标注与第二三维空间图像的标识符相关联,可以在添加标注的过程中完成不同的三维空间图像(例如,多个三维空间图像)的拼接,此种情况下,可以省略单独的拼接过程,由此降低了本公开的至少一个实施例提供的标注处理装置的复杂度。
本公开的至少一个实施例还提供了另一种标注处理装置。图10是本公开的至少一个实施例提供的另一种标注处理装置的示例性框图。如图10所示,该另一种标注处理装置包括:处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令,计算机程序指令被处理器运行时使得处理器执行本公开的至少一个实施例提供的任一标注处理方法。
例如,处理器和存储器的具体实现方式可以参见图8所示的图像显示装置,在此不再赘述。例如,本公开的至少一个实施例提供的另一种标注处理装置的应用范围得到了提升,复杂度得到了降低。
本公开的至少一个实施例还提供了再一种标注处理装置。该标注处理装置包括坐标转换装置。坐标转换装置被配置为:接收在三维空间图像的图像空间中添加标注的标注添加请求;标注添加请求包括标注在用于呈现三维空间图像的屏幕的屏幕坐标;坐标转换装置还被配置为:将屏幕坐标转换为标注在三维空间图像的图像空间中的世界坐标。
例如,坐标转换装置可以通过软件、固件、硬件及其任意组合实现,例如,该硬件包括现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
例如,通过使用坐标转换装置将标注的屏幕坐标转换为标注的世界坐标,本公开的至少一个实施例提供的标注处理装置可以在获取单个三维空间图像之后直接在三维空间图像的图像空间中添加标注,而无需在将多个三维空间图像拼接(例如,使用制作端)之后再添加标注,由此提升了该标注处理装置的应用范围。例如,通过上述标注处理装置获取的标注的世界坐标可以保存在存储器和服务器的至少一个中,并在本公开的至少一个实施例提供任一图像显示装置运行时提供给该图像显示装置,以作为标注(第一标注和第二标注的至少一个)和新的标注的至少一个,从而可以提升本公开的至少一个实施例提供的图像显示装置的渲染效果。
本公开的至少一个实施例还提供了一种图像处理装置。图11是本公开的至少一个实施例提供的图像处理装置的示例性框图。如图11所示,该图像处理装置包括本公开的至少一个实施例提供的任一图像显示装置以及本公开的至少一个实施例提供的任一标注处理装置。如图11所述,标注处理装置获得的标注的世界坐标可以保存在服务器中,图像显示装置可以从服务器中获取标注的世界坐标。
例如,图像显示装置的具体实现方式可以参见图7或图8所示的示例,标注处理装置的具体实现方式可以参见图9或图10所示的示例,在此不再赘述。例如,本公开的至少一个实施例提供的图像处理装置具有提升渲染效果和降低运算量的潜力。
图12是本公开的至少一个实施例提供的一种图像处理装置的示例性工作流程图。如图12所示,在获得二维全景图像(例如,标注制作者上传的图像)之后,可以基于适用的图像处理技术将二维全景图像转换为三维空间图像,并显示上述三维空间图像。在接收到标注添加请求之后(例如,标注制作者或标注制作端发出),可以将待添加标注的位置的屏幕坐标转换为世界坐标,并至少将标注的世界坐标保存,由此完成的标注添加的动作。在保存标注之后,可以预览标注(例如,实时预览标注),如果已添加的标注不符合需求,可以对已添加的标注进行编辑。在接收到标注编辑请求(例如,标注制作者或标注制作端发出)后,首先,可以将标注的世界坐标转换为屏幕坐标,并基于屏幕坐标显示标注(例如,标注编辑界面);然后,可以接收针对标注的编辑操作指令(例如,修改标注的内容、修改与标注关联的标识符或删除标注),并基于编辑操作指令处理标注,由此完成的标注编辑动作。在标注的显示阶段,可以获取预先保存的标注的世界坐标,并至少基于标注的世界坐标渲染(例如,同时渲染)标注和三维空间图像。例如,在接收到预览标注请求后,可以获取预先保存的标注的世界坐标,并至少基于标注的世界坐标渲染(例如,同时渲染)标注和三维空间图像。
本公开的至少一个实施例还提供了一种非暂时性存储介质。图13是本公开的至少一个实施例提供的一种非暂时性存储介质的示例性框图。如图13所示,该非暂时性存储介质包括存储其上的计算机程序指令。计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一图像显示方法以及本公开的至少一个实施例提供的任一标注处理方法的至少一个。例如,本公开的至少一个实施例提供的非暂时性存储介质具有提升渲染效果和降低运算量的潜力。
图14示出了本公开的至少一个实施例提供的图像处理装置的示例性的场景图。如图14所示,该图像处理装置300可以包括用户终端310、网络320、服务器330以及数据库340。
例如,用户终端310可以是图14中示出的电脑310-1、便携式终端310-2。可以理解的是,用户终端还可以是能够执行数据的接收、处理和显示的任何其他类型的电子设备,其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能家居设备、可穿戴设备、车载电子设备、医疗电子设备等。例如,上述用户终端310可以运行在不同操作系统,例如,操作系统可以为IOS、Android、Linux、Windows等。
例如,所述网络320可以是单个网络,或至少两个不同网络的组合。例如,网络320可以包括但不限于局域网、广域网、公用网络、专用网络、因特网、移动通信网络等中的一种或几种的组合。
例如,该服务器可330以为一个单独的服务器,或者为一个服务器群组,服务器群组内的各个服务器通过有线网络或无线网络进行连接。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信,无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。该一个服务器群组可以是集中式的,例如数据中心,也可以是分布式的。服务器可以是本地的或远程的。例如,该服务器330可以为通用型服务器或专用型服务器,可以为虚拟服务器或云服务器等。
例如,数据库340可用于存储从用户终端310和服务器330工作中所利用、产生和输出的各种数据。数据库340可以经由网络320与服务器330或服务器330的一部分相互连接或通信,或直接与服务器330相互连接或通信,或者经由上述两种方式的结合实现与服务器330相互连接或通信。在一些实施例中,数据库340可以是独立的设备。在另一些实施例中,数据库340也可以集成在用户终端310和服务器340中的至少一个中。例如,数据库340可以设置在用户终端310上,也可以设置在服务器340上。又例如,数据库340也可以是分布式的,其一部分设置在用户终端310上,另一部分设置在服务器340上。
例如,图像处理装置涉及标注添加阶段、标注编辑阶段和标注显示阶段的至少一个。
在一个示例中,在标注添加阶段,用户终端310可以接收在三维空间图像的图像空间中添加标注的标注添加请求,并将标注的屏幕坐标转换为标注的世界坐标;然后,至少将标注的世界坐标以及标注的内容经由网络320或其它技术(例如,蓝牙通信、红外通信等)发送至服务器330;最后,服务器330可以至少将上述标注的世界坐标和标注的内容存储在服务器330或数据库340中。在标注编辑阶段,首先,用户终端310可以接收标注编辑请求;其次,用户终端310可以经由网络320或其它技术从服务器330至少获取标注的世界坐标以及标注的内容;第三,用户终端310可以将标注的世界坐标转换为屏幕坐标,接收对标注在采用屏幕坐标时执行的编辑操作指令,以及基于编辑操作指令处理标注;第四,用户终端310可以将编辑后的标注(例如,标注的内容)发送至服务器330;最后,服务器330可以将上述处理后(编辑后)的标注存储在服务器330或数据库340中。在标注显示阶段,首先,用户终端310可以经由网络320或其它技术从服务器330至少获取三维空间图像,以及用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标;然后,用户终端310可以至少基于标注的世界坐标渲染(例如,同时渲染)三维空间图像的至少部分和标注的至少部分,以用于显示标注的至少部分和三维空间图像的至少部分。
在一些实现方式中,用户终端可以利用用户终端内置的应用程序将标注的屏幕坐标转换为标注的世界坐标以及将标注的世界坐标转换为标注的屏幕坐标。在另一些实现方式中,用户终端可以通过调用用户终端外部存储的应用程序将标注的屏幕坐标转换为标注的世界坐标以及将标注的世界坐标转换为标注的屏幕坐标。
在另一个示例中,在标注添加阶段,服务器330可以接收在三维空间图像的图像空间中添加标注的标注添加请求,将标注的屏幕坐标转换为标注的世界坐标,并至少将上述标注的世界坐标和标注的内容存储在服务器330或数据库340中。在标注编辑阶段,首先,服务器330可以接收标注编辑请求,至少获取标注的世界坐标以及标注的内容,将标注的世界坐标转换为屏幕坐标,并将屏幕坐标提供用户终端310;然后,用户终端310基于屏幕坐标显示标注(例如,标注的编辑界面),接收对标注在采用屏幕坐标时执行的编辑操作指令,以及将编辑操作指令发送至服务器330;最后,服务器330可以基于编辑操作指令处理标注,并将编辑后(处理后)的标注存储在服务器330或数据库340中。在标注显示阶段,首先,用户终端310可以经由网络320或其它技术从服务器330至少获取三维空间图像,以及用于三维空间图像的标注在三维空间图像的图像空间中的世界坐标;然后,用户终端310可以至少基于标注的世界坐标渲染(例如,同时渲染)三维空间图像的至少部分和标注的至少部分,以用于显示标注的至少部分和三维空间图像的至少部分。
在一些实现方式中,服务器330可以利用服务器内置的应用程序将标注的屏幕坐标转换为标注的世界坐标以及将标注的世界坐标转换为标注的屏幕坐标。在另一些实现方式中,服务器330可以通过调用服务器外部存储的应用程序将标注的屏幕坐标转换为标注的世界坐标以及将标注的世界坐标转换为标注的屏幕坐标。
根据本申请实施例的方法或装置也可以借助于图15所示的计算设备400的架构来实现。
图15示出了该计算设备400的架构。如图15所示,计算设备400可以包括总线410、一个或至少两个CPU 420、只读存储器(ROM)430、随机存取存储器(RAM)440、连接到网络的通信端口450、输入/输出组件460、硬盘470等。计算设备400中的存储设备(例如,ROM 430或硬盘470)可以存储本公开的至少一个实施例提供图像显示方法和标注处理方法中至少一个对应的指令以及各种相关的数据或文件。计算设备400还可以包括人机用户界面480。当然,图15所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图15示出的计算设备中的一个或至少两个组件。
虽然上文中已经用一般性说明及具体实施方式,对本公开作了详尽的描述,但在本公开实施例基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本公开精神的基础上所做的这些修改或改进,均属于本公开要求保护的范围。
以上所述仅是本公开的示范性实施方式,而非用于限制本公开的保护范围,本公开的保护范围由所附的权利要求确定。
Claims (20)
1.一种图像显示方法,包括:
获取三维空间图像;
获取用于所述三维空间图像的标注在所述三维空间图像的图像空间中的世界坐标;以及
至少基于所述标注的世界坐标渲染所述三维空间图像的至少部分和所述标注的至少部分,以用于显示所述标注的至少部分和所述三维空间图像的至少部分。
2.根据权利要求1所述的图像显示方法,其中,所述获取用于所述三维空间图像的标注在所述三维空间图像的图像空间中的世界坐标包括:获取通过转换所述标注在用于呈现所述三维空间图像的屏幕的屏幕坐标得到的所述标注在所述三维空间图像的图像空间中的世界坐标。
3.根据权利要求1所述的图像显示方法,其中,至少基于所述标注的世界坐标渲染所述三维空间图像的至少部分和所述标注的至少部分包括:至少基于所述标注的世界坐标同时渲染所述三维空间图像的至少部分和所述标注的至少部分。
4.根据权利要求1-3任一项所述的图像显示方法,还包括:
接收三维空间图像调整请求;
获取调整后的三维空间图像;以及
至少基于所述标注的世界坐标以及所述调整后的三维空间图像渲染所述调整后的三维空间图像以及所述用于所述三维空间图像的标注中用于所述调整后的三维空间图像的部分。
5.根据权利要求4所述的图像显示方法,其中,至少基于所述标注的世界坐标以及所述调整后的三维空间图像渲染所述调整后的三维空间图像以及所述用于所述三维空间图像的标注中用于所述调整后的三维空间图像的部分包括:至少基于所述标注的世界坐标以及所述调整后的三维空间图像同时渲染所述调整后的三维空间图像以及所述用于所述三维空间图像的标注中用于所述调整后的三维空间图像的部分;以及
所述三维空间图像调整请求包括:旋转所述三维空间图像的请求和移动所述三维空间图像的请求的至少一个。
6.根据权利要求1-3任一项所述的图像显示方法,其中,所述标注包括第一标注,所述第一标注与第二三维空间图像的标识符相关联,所述第二三维空间图像对应的三维空间不同于所述三维空间图像对应的三维空间。
7.根据权利要求6所述的图像显示方法,还包括:
接收三维空间图像切换请求;
获取所述第二三维空间图像以及用于所述第二三维空间图像的新的标注在所述第二三维空间图像的图像空间中的世界坐标;以及
至少基于所述第二三维空间图像以及所述新的标注在所述第二三维空间图像的图像空间中的世界坐标渲染所述新的标注的至少部分和所述第二三维空间图像的至少部分。
8.根据权利要求7所述的图像显示方法,其中,至少基于所述第二三维空间图像以及所述新的标注在所述第二三维空间图像的图像空间中的世界坐标渲染所述新的标注的至少部分和所述第二三维空间图像的至少部分包括:至少基于所述第二三维空间图像以及所述新的标注在所述第二三维空间图像的图像空间中的世界坐标同时渲染所述新的标注的至少部分和所述第二三维空间图像的至少部分。
9.根据权利要求7所述的图像显示方法,其中,在渲染所述第二三维空间图像的至少部分的第一阶段,逐渐增加所述第二三维空间图像的至少部分的透明度,并逐渐减小所述三维空间图像的至少部分的透明度。
10.一种标注处理方法,包括:
接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求,其中,所述第一标注添加请求包括所述第一标注在用于呈现所述三维空间图像的屏幕的第一屏幕坐标以及与所述第一标注相匹配的第二三维空间图像的标识符;
将所述第一屏幕坐标转换为所述第一标注在所述三维空间图像的图像空间中的第一世界坐标;以及
将所述第一标注与所述第二三维空间图像的标识符相关联。
11.根据权利要求10所述的标注处理方法,其中,所述将所述第一屏幕坐标转换为所述第一标注在所述三维空间图像的图像空间中的第一世界坐标包括:基于所述第一屏幕坐标以及所述第一标注的深度信息获取所述第一标注的第一世界坐标。
12.根据权利要求10或11所述的标注处理方法,还包括:
接收针对所述第一标注的标注编辑请求;
将所述第一世界坐标转换为所述第一屏幕坐标;
接收对所述第一标注在采用所述第一屏幕坐标时执行的第一编辑操作指令;以及
基于所述第一编辑操作指令处理所述第一标注。
13.根据权利要求12所述的标注处理方法,还包括:基于所述屏幕坐标在所述用于呈现所述三维空间图像的屏幕中提供标注编辑界面,其中,所述接收对所述第一标注在采用所述第一屏幕坐标时执行的所述第一编辑操作指令包括:接收所述标注编辑界面提供的编辑操作指令。
14.根据权利要求12所述的标注处理方法,其中,所述第一编辑操作指令至少包括:修改所述第一标注的内容,修改与所述第一标注关联的标识符,以及删除所述第一标注的至少一个。
15.一种图像显示装置,包括:渲染装置,其中,所述渲染装置被配置为:
获取三维空间图像以及用于所述三维空间图像的标注在所述三维空间图像的图像空间中的世界坐标;以及
至少基于所述标注的世界坐标渲染所述三维空间图像的至少部分和所述标注的至少部分,以用于显示所述标注的至少部分和所述三维空间图像的至少部分。
16.一种图像显示装置,包括:处理器和存储器,
其中,所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求1-9任一项所述的图像显示方法。
17.一种标注处理装置,包括:第一坐标转换装置和关联装置,
其中,所述第一坐标转换装置被配置为:接收在三维空间图像的图像空间中添加第一标注的第一标注添加请求;
所述第一标注添加请求包括所述第一标注在用于呈现所述三维空间图像的屏幕的第一屏幕坐标以及与所述第一标注相匹配的第二三维空间图像的标识符;
所述第一坐标转换装置还被配置为:将所述第一屏幕坐标转换为所述第一标注在所述三维空间图像的图像空间中的第一世界坐标;以及
所述关联装置被配置为:将所述第一标注与所述第二三维空间图像的标识符相关联。
18.一种标注处理装置,包括:处理器和存储器,
其中,所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求10-14任一项所述的标注处理方法。
19.一种图像处理装置,包括如权利要求15或16所述的图像显示装置以及如权利要求17或18所述的标注处理装置。
20.一种非暂时性存储介质,包括存储其上的计算机程序指令,
其中,所述计算机程序指令被处理器运行时使得计算机执行如权利要求1-9任一项所述的图像显示方法以及如权利要求10-14任一项所述的标注处理方法的至少一个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911208539.5A CN111028362A (zh) | 2019-11-30 | 2019-11-30 | 图像显示、标注处理、图像处理方法和装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911208539.5A CN111028362A (zh) | 2019-11-30 | 2019-11-30 | 图像显示、标注处理、图像处理方法和装置、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111028362A true CN111028362A (zh) | 2020-04-17 |
Family
ID=70203685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911208539.5A Pending CN111028362A (zh) | 2019-11-30 | 2019-11-30 | 图像显示、标注处理、图像处理方法和装置、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028362A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241201A (zh) * | 2020-09-09 | 2021-01-19 | 中国电子科技集团公司第三十八研究所 | 面向增强/混合现实的远程标注方法和系统 |
CN112714266A (zh) * | 2020-12-18 | 2021-04-27 | 北京百度网讯科技有限公司 | 标注信息展示方法、装置、电子设备及存储介质 |
CN113379872A (zh) * | 2021-07-13 | 2021-09-10 | 重庆云图软件科技有限公司 | 一种工程图生成方法、装置、系统及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829468A (zh) * | 2018-05-30 | 2018-11-16 | 链家网(北京)科技有限公司 | 一种三维空间模型跳转处理方法及装置 |
CN108898675A (zh) * | 2018-06-06 | 2018-11-27 | 微幻科技(北京)有限公司 | 一种在虚拟场景中添加3d虚拟对象的方法及装置 |
CN109374002A (zh) * | 2018-10-09 | 2019-02-22 | 北京京东尚科信息技术有限公司 | 导航方法和系统、计算机可读存储介质 |
CN109859325A (zh) * | 2018-12-30 | 2019-06-07 | 贝壳技术有限公司 | 一种房屋vr视频中房间指引的显示方法及装置 |
CN110120087A (zh) * | 2019-04-15 | 2019-08-13 | 深圳市思为软件技术有限公司 | 三维虚拟沙盘的标签标注方法、装置及终端设备 |
CN110163952A (zh) * | 2018-11-15 | 2019-08-23 | 腾讯科技(北京)有限公司 | 室内图的展示方法、装置、终端和存储介质 |
-
2019
- 2019-11-30 CN CN201911208539.5A patent/CN111028362A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829468A (zh) * | 2018-05-30 | 2018-11-16 | 链家网(北京)科技有限公司 | 一种三维空间模型跳转处理方法及装置 |
CN108898675A (zh) * | 2018-06-06 | 2018-11-27 | 微幻科技(北京)有限公司 | 一种在虚拟场景中添加3d虚拟对象的方法及装置 |
CN109374002A (zh) * | 2018-10-09 | 2019-02-22 | 北京京东尚科信息技术有限公司 | 导航方法和系统、计算机可读存储介质 |
CN110163952A (zh) * | 2018-11-15 | 2019-08-23 | 腾讯科技(北京)有限公司 | 室内图的展示方法、装置、终端和存储介质 |
CN109859325A (zh) * | 2018-12-30 | 2019-06-07 | 贝壳技术有限公司 | 一种房屋vr视频中房间指引的显示方法及装置 |
CN110120087A (zh) * | 2019-04-15 | 2019-08-13 | 深圳市思为软件技术有限公司 | 三维虚拟沙盘的标签标注方法、装置及终端设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241201A (zh) * | 2020-09-09 | 2021-01-19 | 中国电子科技集团公司第三十八研究所 | 面向增强/混合现实的远程标注方法和系统 |
CN112241201B (zh) * | 2020-09-09 | 2022-10-25 | 中国电子科技集团公司第三十八研究所 | 面向增强/混合现实的远程标注方法和系统 |
CN112714266A (zh) * | 2020-12-18 | 2021-04-27 | 北京百度网讯科技有限公司 | 标注信息展示方法、装置、电子设备及存储介质 |
CN112714266B (zh) * | 2020-12-18 | 2023-03-31 | 北京百度网讯科技有限公司 | 标注信息展示方法、装置、电子设备及存储介质 |
US11694405B2 (en) | 2020-12-18 | 2023-07-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for displaying annotation information, electronic device and storage medium |
CN113379872A (zh) * | 2021-07-13 | 2021-09-10 | 重庆云图软件科技有限公司 | 一种工程图生成方法、装置、系统及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755485B2 (en) | Augmented reality product preview | |
US11783409B1 (en) | Image-based rendering of real spaces | |
US20210279957A1 (en) | Systems and methods for building a virtual representation of a location | |
US9420253B2 (en) | Presenting realistic designs of spaces and objects | |
US9330501B2 (en) | Systems and methods for augmenting panoramic image data with performance related data for a building | |
US8970586B2 (en) | Building controllable clairvoyance device in virtual world | |
CN108986233B (zh) | 一种快速绘制室内预览图的方法及其系统 | |
CN111028362A (zh) | 图像显示、标注处理、图像处理方法和装置、存储介质 | |
CN110728755B (zh) | 场景间漫游、模型拓扑创建、场景切换方法及系统 | |
US11836867B2 (en) | Techniques for virtual visualization of a product in a physical scene | |
CN113610981A (zh) | 脸部模型生成方法、交互方法及相关装置 | |
Jian et al. | Augmented virtual environment: fusion of real-time video and 3D models in the digital earth system | |
US11647244B2 (en) | Providing visual guidance for presenting visual content in a venue | |
Du et al. | Video fields: fusing multiple surveillance videos into a dynamic virtual environment | |
KR20180120456A (ko) | 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법 | |
JP2022077148A (ja) | 画像処理方法、プログラムおよび画像処理システム | |
CN113870439A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
CN106845477B (zh) | 基于多个重建图像的感兴趣区域建立方法及其装置 | |
Cui et al. | Fusing surveillance videos and three‐dimensional scene: A mixed reality system | |
KR20180029690A (ko) | 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버 | |
US20230394701A1 (en) | Information processing apparatus, information processing method, and storage medium | |
Kolivand et al. | Shadow generation in mixed reality: A comprehensive survey | |
KR20180090499A (ko) | 증강현실과 가상현실 쇼핑을 위한 상품의 3d모델 적용방법 | |
KR20210061869A (ko) | 증강현실 콘텐츠 제작 방법 및 장치 | |
CN116108523A (zh) | 构图生成方法、构图操作方法、计算机设备及其介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |