CN116630583A - 虚拟信息的生成方法、装置、电子设备及存储介质 - Google Patents
虚拟信息的生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116630583A CN116630583A CN202310906867.2A CN202310906867A CN116630583A CN 116630583 A CN116630583 A CN 116630583A CN 202310906867 A CN202310906867 A CN 202310906867A CN 116630583 A CN116630583 A CN 116630583A
- Authority
- CN
- China
- Prior art keywords
- virtual information
- target object
- edge
- information
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003190 augmentative effect Effects 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
Abstract
本发明提供一种虚拟信息的生成方法、装置、电子设备及存储介质，涉及光学显示技术领域，应用于增强现实设备或混合现实设备，虚拟信息的生成方法包括：获取虚拟信息指令；根据虚拟信息指令在真实场景图像中确定目标物体；生成对应目标物体的虚拟信息；识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像；其中虚拟信息不遮挡目标物体。通过上述方式，将生成的虚拟信息定位至物体边缘，使其不遮挡目标物体，不影响用户对目标物体的观察，提高了用户体验。
Description
技术领域
本发明涉及光学显示技术领域，尤其涉及一种虚拟信息的生成方法、装置、电子设备及存储介质。
背景技术
随着AR（Augmented Reality，增强现实）和MR（Mixed Reality，混合现实）技术的发展，物体识别和虚拟信息的显示已成为影响用户体验的关键因素。
现有的增强现实设备或混合现实设备可以基于物体识别算法对真实场景图像中的物体进行识别，生成并显示对应的虚拟信息。
在现有技术中，物体识别技术和虚拟信息的生成技术已得到广泛应用，但是虚拟信息的定位显示技术却不成熟。增强现实设备或混合现实设备对真实物体进行识别并生成对应的虚拟信息后，无法对生成的虚拟信息进行准确定位，导致生成的虚拟信息遮挡对应的真实物体，影响用户对真实物体的观察，影响用户体验。
发明内容
本发明提供一种虚拟信息的生成方法、装置、电子设备及存储介质，用以解决现有技术中增强现实设备或混合现实设备对真实物体进行识别并生成对应的虚拟信息后，无法对生成的虚拟信息进行准确定位，导致生成的虚拟信息遮挡对应的真实物体，影响用户对真实物体的观察，影响用户体验的缺陷。
本发明提供一种虚拟信息的生成方法，应用于增强现实设备或混合现实设备，虚拟信息的生成方法包括：获取虚拟信息指令；根据虚拟信息指令在真实场景图像中确定目标物体；生成对应目标物体的虚拟信息；识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像；其中虚拟信息不遮挡目标物体。
根据本发明提供的一种虚拟信息的生成方法，识别目标物体的物体边缘，包括：获取目标物体的形状信息、尺寸信息和位置信息；根据形状信息、尺寸信息和位置信息确定目标物体的真实边缘；根据真实边缘确定目标物体的物体边缘。
根据本发明提供的一种虚拟信息的生成方法，根据真实边缘确定目标物体的物体边缘，包括：利用几何边框作为目标物体的物体边缘；其中真实边缘在几何边框内。
根据本发明提供的一种虚拟信息的生成方法，几何边框为长方形边框，识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，包括：获取长方形边框的上下边框之间的第一距离和左右边框之间的第二距离；确定第一距离和第二距离之间的比值为长方形边框的形状参数；当形状参数大于第一预设数值时，将虚拟信息定位至长方形边框的左侧或长方形边框的右侧；当形状参数小于第二预设数值时，将虚拟信息定位至长方形边框的上侧或长方形边框的下侧。
根据本发明提供的一种虚拟信息的生成方法，将虚拟信息定位至物体边缘，包括：获得真实场景图像中的非目标物体；将虚拟信息定位至物体边缘，其中虚拟信息不遮挡非目标物体。
根据本发明提供的一种虚拟信息的生成方法，获取虚拟信息指令，包括：获取用户的输入指令，并根据输入指令生成虚拟信息指令。
根据本发明提供的一种虚拟信息的生成方法，根据虚拟信息指令在真实场景图像中确定目标物体，生成对应目标物体的虚拟信息，包括：根据虚拟信息指令确定指定物体和指定信息类型；识别真实场景图像中的真实物体，并判断真实物体是否为指定物体；当真实物体为指定物体时，将真实物体确定为目标物体；根据指定信息类型生成对应目标物体的虚拟信息。
根据本发明提供的一种虚拟信息的生成方法，获取虚拟信息指令，包括：在真实场景图像中识别到预设物体时，根据预设物体生成虚拟信息指令。
本发明还提供一种虚拟信息的生成装置，应用于增强现实设备或混合现实设备，虚拟信息的生成装置包括：指令获取模块，用于获取虚拟信息指令；目标物体确定模块，用于根据虚拟信息指令在真实场景图像中确定目标物体；虚拟信息生成模块，用于生成对应目标物体的虚拟信息；目标图像模块，用于识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像；其中虚拟信息不遮挡目标物体。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟信息的生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟信息的生成方法。
本发明提供的虚拟信息的生成方法、装置、电子设备及存储介质，应用于增强现实设备或混合现实设备，方法包括：获取虚拟信息指令；根据虚拟信息指令在真实场景图像中确定目标物体；生成对应目标物体的虚拟信息；识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像，其中虚拟信息不遮挡目标物体。通过上述方式，将生成的虚拟信息定位至物体边缘，使其不遮挡目标物体，不影响用户对目标物体的观察，提高了用户体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的虚拟信息的生成方法的流程示意图；
图2是本发明目标物体的物体边缘的示意图；
图3是本发明提供的虚拟信息的生成装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的虚拟信息的生成方法的流程示意图，在本实施例中，虚拟信息的生成方法应用于增强现实设备或混合现实设备，虚拟信息的生成方法包括步骤S110至步骤S140，各步骤具体如下：
S110：获取虚拟信息指令。
增强现实设备或混合现实设备可以获取虚拟信息指令，并基于虚拟信息指令确定待识别物体。
具体地，虚拟信息指令可以携带真实场景的图像；增强现实设备或混合现实设备可以从虚拟信息指令中提取出真实场景的图像。
可选地，虚拟信息指令可以是文本指令、语音指令、手势指令等。
例如，虚拟信息指令可以是语音指令“识别当前视野内的植物”；增强现实设备或混合现实设备可以获取该语音指令，该语音指令携带有用户当前视野的真实场景的图像；增强现实设备或混合现实设备可以从该语音指令确定用户当前视野的真实场景的图像。
S120：根据虚拟信息指令在真实场景图像中确定目标物体。
增强现实设备或混合现实设备可以通过摄像头或传感器捕捉到周围环境的真实场景图像，这些图像是现实世界中物体和场景的实际影像。真实场景图像是基于设备视角和摄像头的实时图像，提供了用户当前所处的真实环境的视觉信息。
真实场景的图像中包括多个真实物体，真实物体包括待识别物体和无需进行识别的物体，待识别物体中包括目标物体和非目标物体。
例如，真实场景的图像中可以包括手机、平板电脑、桌子、椅子，其中，手机和平板电脑属于电子设备类，桌子和椅子属于家具类。若要生成手机的虚拟信息，则增强现实设备或混合现实设备可以根据真实场景的图像中物体的类别进行初步判断，将家具作为无需进行识别的物体，而将电子设备作为待识别物体；在待识别物体中，手机为目标物体，而平板电脑为非目标物体。
具体地，识别并解析虚拟信息指令中包含的真实场景的图像信息，从真实场景的图像中提取出待识别物体。
进一步地，从待识别物体中确定目标物体。
具体地，增强现实设备或混合现实设备可以通过物体识别模块在真实场景图像中搜索待识别物体，并从待识别物体中确定目标物体。
可选地，通过基于深度学习的物体识别算法识别和确定目标物体。
S130：生成对应目标物体的虚拟信息。
虚拟信息是增强现实设备或混合现实设备生成并叠加到真实场景图像上的图像、文本、动画或其他形式的信息。虚拟信息可以包括文本信息、3D模型信息、指示箭头、虚拟角色等。
具体地，在真实场景图像中确定目标物体后，增强现实设备或混合现实设备可以基于人工智能算法生成对应目标物体的虚拟信息。
具体地，虚拟信息指令可以携带有所需生成的虚拟信息的类型信息和显示位置信息；增强现实设备或混合现实设备提取虚拟信息指令中携带的所需生成的虚拟信息的类型信息和显示位置信息，生成符合要求的对应目标物体的虚拟信息。
例如，真实场景的图像中包含一张桌子，虚拟信息指令可以是“在桌子的右上方显示与桌子相关联的文本信息和模型信息”，即所需生成的虚拟信息的类型为文本信息和模型信息，虚拟信息的显示位置为“桌子的右上方”。增强现实设备或混合现实设备可以基于人工智能算法生成对该桌子的文字描述和3D模型结构，并在桌子的右上方显示生成的虚拟信息。
若虚拟信息指令中不携带有所需生成的虚拟信息的类型信息和显示位置信息，则可以根据目标物体的类型、尺寸、当前视野的显示空间范围生成对应目标物体的虚拟信息。
例如，针对机器设备，若虚拟信息指令中不携带有所需生成的虚拟信息的类型信息和显示位置信息，则增强现实设备或混合现实设备根据目标物体的类型、尺寸、当前视野的显示空间范围生成对应目标物体的虚拟信息。具体地，若当前视野的显示空间范围小，而目标物体的尺寸大，则可以优先生成占用显示空间小的文本信息；若当前视野的显示空间范围大，而目标物体的尺寸小，则可以生成占用显示空间更大的信息，例如模型信息、视频信息等。
可选地，通过增强现实设备或混合现实设备内置的图形处理模块生成对应目标物体的虚拟信息。
S140：识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像。
其中虚拟信息不遮挡目标物体。
增强现实设备或混合现实设备显示的图像通常由真实场景图像和叠加的虚拟信息组成。
在生成对应目标物体的虚拟信息后，需要将虚拟信息定位至合适的显示位置。
具体地，通过边界检测算法识别目标物体的物体边缘，根据生成的虚拟信息所需的显示空间尺寸调整虚拟信息的显示位置，将虚拟信息定位至物体边缘，以确保虚拟信息不遮挡目标物体，得到真实场景和虚拟信息结合的目标图像。
用户可在增强现实设备或混合现实设备的显示屏上看到真实场景和虚拟信息结合的目标图像。
可选地，边界检测算法根据目标物体的形状、尺寸、目标物体在用户视野中的位置等信息识别目标物体的物体边缘。
本实施例提供的虚拟信息的生成方法，应用于增强现实设备或混合现实设备，方法包括：获取虚拟信息指令；根据虚拟信息指令在真实场景图像中确定目标物体；生成对应目标物体的虚拟信息；识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像，其中虚拟信息不遮挡目标物体。通过上述方式，将生成的虚拟信息定位至物体边缘，使其不遮挡目标物体，不影响用户对目标物体的观察，提高了用户体验。
在一些实施例中，识别目标物体的物体边缘，包括：获取目标物体的形状信息、尺寸信息和位置信息；根据形状信息、尺寸信息和位置信息确定目标物体的真实边缘；根据真实边缘确定目标物体的物体边缘。
目标物体的真实边缘指的是目标物体自身的边缘；可选地，目标物体的物体边缘可以是目标物体的真实边缘；目标物体的物体边缘也可以是在增强现实设备或混合现实设备中通过预设算法生成的标注边缘。
具体地，目标物体的物体边缘可以是几何边框，目标物体的图像和目标物体的真实边缘均在几何边框内，即目标物体的物体边缘所围成的区域内包含有目标物体的图像和目标物体的真实边缘。
先确定目标物体的物体边缘，再将生成的虚拟信息定位至物体边缘，由于目标物体的图像和目标物体的真实边缘均在几何边框内，因此可以确保生成的虚拟信息不遮挡目标物体。
可选地，通过摄像头获取目标物体的形状信息、尺寸信息和位置信息；基于形状信息、尺寸信息和位置信息，通过边界检测算法确定目标物体的真实边缘。
进一步地，根据真实边缘确定目标物体的物体边缘，目标物体的图像和目标物体的真实边缘均在目标物体的物体边缘内。
在一些实施例中，根据真实边缘确定目标物体的物体边缘，包括：利用几何边框作为目标物体的物体边缘；其中真实边缘在几何边框内。
可选地，几何边框可以是椭圆形边框、矩形边框、梯形边框、三角形边框、圆形边框等。
优选地，几何边框为正方形边框或者长方形边框。
请参阅图2，图2是本发明目标物体的物体边缘的示意图。如图2所示，目标物体为椅子；其中，椅子的物体边缘为长方形边框220，长方形边框220中包含有椅子的图像和椅子的真实边缘210。
虚拟信息可以定位至长方形边框220的左方或右方，不遮挡目标物体。
在一些实施例中，几何边框为长方形边框。
长方形边框包括沿水平方向的两条边框和沿竖直方向的两条边框；其中，长方形边框的上下边框指的是沿水平方向的两条边框，包括上边框和下边框，长方形边框的左右边框指的是沿竖直方向的两条边框，包括左边框和右边框。
当几何边框为长方形边框时，识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，包括：获取长方形边框的上下边框之间的第一距离和左右边框之间的第二距离；确定第一距离和第二距离之间的比值为长方形边框的形状参数。
根据第一距离和第二距离之间的比值可以确定长方形边框的形状，因此可以将第一距离和第二距离之间的比值作为长方形边框的形状参数。
可选地，当形状参数大于第一预设数值时，将虚拟信息定位至长方形边框的左侧或长方形边框的右侧。
当形状参数大于第一预设数值时，可以认为长方形边框的上下边框之间的第一距离较大，则在用户视野中，该长方形边框的高度较大，在垂直方向上，虚拟信息的显示空间可能不足，因此将虚拟信息定位至长方形边框的左侧或长方形边框的右侧。
可选地，当形状参数小于第二预设数值时，将虚拟信息定位至长方形边框的上侧或长方形边框的下侧。
当形状参数小于第二预设数值时，可以认为长方形边框的左右边框之间的第二距离较大，则在用户视野中，该长方形边框的宽度较大，在水平方向上，虚拟信息的显示空间可能不足，因此将虚拟信息定位至长方形边框的上侧或长方形边框的下侧。
增强现实设备或混合现实设备可以根据长方形边框的形状参数对虚拟信息进行定位，无需用户手动调节位置，提高了用户在AR或MR环境中的操作效率，简化了操作步骤。
在一些实施例中，将虚拟信息定位至物体边缘，包括：获得真实场景图像中的非目标物体；将虚拟信息定位至物体边缘，其中虚拟信息不遮挡非目标物体。
真实场景的图像中包括多个真实物体，真实物体包括待识别物体和无需进行识别的物体，待识别物体中包括目标物体和非目标物体。为了便于用户观察真实场景图像中的非目标物体，在生成虚拟信息后，将虚拟信息定位至目标物体的物体边缘时，还需要确保虚拟信息既不遮挡目标物体，也不遮挡非目标物体。
在一些实施例中，获取虚拟信息指令，包括：获取用户的输入指令，并根据输入指令生成虚拟信息指令。
当用户需要查看视野内指定物品对应的虚拟信息时，还可以直接输入指令。
增强现实设备或混合现实设备可以根据输入指令生成虚拟信息指令。
可选地，用户的输入指令可以是文本指令、语音指令、手势指令、视觉指令等。
在一些实施例中，根据虚拟信息指令在真实场景图像中确定目标物体，生成对应目标物体的虚拟信息，包括：根据虚拟信息指令确定指定物体和指定信息类型；识别真实场景图像中的真实物体，并判断真实物体是否为指定物体；当真实物体为指定物体时，将真实物体确定为目标物体；根据指定信息类型生成对应目标物体的虚拟信息。
虚拟信息指令可以包括指定物体和指定信息类型相关的数据，增强现实设备或混合现实设备可以根据指定物体和指定信息类型相关的数据确定指定物体和指定信息类型。
例如，指定物体为某品牌电子设备，指定信息类型为文本信息，则增强现实设备或混合现实设备将会识别真实场景图像中的所有真实物体，并逐一判断真实物体是否为某品牌电子设备，当该真实物体为某品牌电子设备时，将该真实物体确定为目标物体，并为该电子设备生成对应的文本形式的虚拟信息。
在一些实施例中，获取虚拟信息指令，包括：在真实场景图像中识别到预设物体时，根据预设物体生成虚拟信息指令。
可选地，可以在增强现实设备或混合现实设备中设置需要进行自动识别的预设物体，当在真实场景图像中识别到预设物体时，可根据预设物体自动生成虚拟信息指令，基于虚拟信息指令生成对应的虚拟信息，并将虚拟信息定位至合适的位置。
增强现实设备或混合现实设备可以自动生成虚拟信息指令，无需用户人为指定，实现虚拟信息的自动化生成和快速准确定位，提高用户体验。
请参阅图3，图3是本发明提供的虚拟信息的生成装置的结构示意图；在本实施例中，虚拟信息的生成装置应用于增强现实设备或混合现实设备，虚拟信息的生成装置包括指令获取模块310、目标物体确定模块320、虚拟信息生成模块330和目标图像模块340。
指令获取模块310，用于获取虚拟信息指令。
目标物体确定模块320，用于根据虚拟信息指令在真实场景图像中确定目标物体。
虚拟信息生成模块330，用于生成对应目标物体的虚拟信息。
目标图像模块340，用于识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像。
其中虚拟信息不遮挡目标物体。
在一些实施例中，目标图像模块340，用于获取目标物体的形状信息、尺寸信息和位置信息；根据形状信息、尺寸信息和位置信息确定目标物体的真实边缘；根据真实边缘确定目标物体的物体边缘。
在一些实施例中，利用几何边框作为目标物体的物体边缘；其中真实边缘在几何边框内。
在一些实施例中，几何边框为长方形边框，目标图像模块340，用于获取长方形边框的上下边框之间的第一距离和左右边框之间的第二距离；确定第一距离和第二距离之间的比值为长方形边框的形状参数；当形状参数大于第一预设数值时，将虚拟信息定位至长方形边框的左侧或长方形边框的右侧；当形状参数小于第二预设数值时，将虚拟信息定位至长方形边框的上侧或长方形边框的下侧。
在一些实施例中，目标图像模块340，用于获得真实场景图像中的非目标物体；将虚拟信息定位至物体边缘，其中虚拟信息不遮挡非目标物体。
在一些实施例中，指令获取模块310，用于获取用户的输入指令，并根据输入指令生成虚拟信息指令。
在一些实施例中，目标物体确定模块320，用于根据虚拟信息指令确定指定物体和指定信息类型；识别真实场景图像中的真实物体，并判断真实物体是否为指定物体；当真实物体为指定物体时，将真实物体确定为目标物体。虚拟信息生成模块330，用于根据指定信息类型生成对应目标物体的虚拟信息。
在一些实施例中，指令获取模块310，用于在真实场景图像中识别到预设物体时，根据预设物体生成虚拟信息指令。
图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行虚拟信息的生成方法，该方法包括：获取虚拟信息指令；根据虚拟信息指令在真实场景图像中确定目标物体；生成对应目标物体的虚拟信息；识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像；其中虚拟信息不遮挡目标物体。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的虚拟信息的生成方法，该方法包括：获取虚拟信息指令；根据虚拟信息指令在真实场景图像中确定目标物体；生成对应目标物体的虚拟信息；识别目标物体的物体边缘，并将虚拟信息定位至物体边缘，得到真实场景和虚拟信息结合的目标图像；其中虚拟信息不遮挡目标物体。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种虚拟信息的生成方法，其特征在于，应用于增强现实设备或混合现实设备，所述虚拟信息的生成方法包括：
获取虚拟信息指令；
根据所述虚拟信息指令在真实场景图像中确定目标物体；
生成对应所述目标物体的虚拟信息；
识别所述目标物体的物体边缘，并将所述虚拟信息定位至所述物体边缘，得到真实场景和虚拟信息结合的目标图像；其中所述虚拟信息不遮挡所述目标物体。
2.根据权利要求1所述的虚拟信息的生成方法，其特征在于，所述识别所述目标物体的物体边缘，包括：
获取所述目标物体的形状信息、尺寸信息和位置信息；
根据所述形状信息、所述尺寸信息和所述位置信息确定所述目标物体的真实边缘；
根据所述真实边缘确定所述目标物体的物体边缘。
3.根据权利要求2所述的虚拟信息的生成方法，其特征在于，所述根据所述真实边缘确定所述目标物体的物体边缘，包括：
利用几何边框作为所述目标物体的物体边缘；其中所述真实边缘在所述几何边框内。
4.根据权利要求3所述的虚拟信息的生成方法，其特征在于，所述几何边框为长方形边框，所述识别所述目标物体的物体边缘，并将所述虚拟信息定位至所述物体边缘，包括：
获取所述长方形边框的上下边框之间的第一距离和左右边框之间的第二距离；
确定所述第一距离和所述第二距离之间的比值为所述长方形边框的形状参数；
当所述形状参数大于第一预设数值时，将所述虚拟信息定位至所述长方形边框的左侧或所述长方形边框的右侧；
当所述形状参数小于第二预设数值时，将所述虚拟信息定位至长方形边框的上侧或所述长方形边框的下侧。
5.根据权利要求2所述的虚拟信息的生成方法，其特征在于，所述将所述虚拟信息定位至所述物体边缘，包括：
获得所述真实场景图像中的非目标物体；
将所述虚拟信息定位至所述物体边缘，其中所述虚拟信息不遮挡所述非目标物体。
6.根据权利要求1所述的虚拟信息的生成方法，其特征在于，所述获取虚拟信息指令，包括：
获取用户的输入指令，并根据所述输入指令生成所述虚拟信息指令。
7.根据权利要求1-6任一项所述的虚拟信息的生成方法，其特征在于，所述根据所述虚拟信息指令在真实场景图像中确定目标物体，生成对应所述目标物体的虚拟信息，包括：
根据所述虚拟信息指令确定指定物体和指定信息类型；
识别所述真实场景图像中的真实物体，并判断所述真实物体是否为所述指定物体；
当所述真实物体为所述指定物体时，将所述真实物体确定为目标物体；
根据所述指定信息类型生成对应所述目标物体的虚拟信息。
8.根据权利要求1-5任一项所述的虚拟信息的生成方法，其特征在于，所述获取虚拟信息指令，包括：
在真实场景图像中识别到预设物体时，根据所述预设物体生成所述虚拟信息指令。
9.一种虚拟信息的生成装置，其特征在于，应用于增强现实设备或混合现实设备，所述虚拟信息的生成装置包括：
指令获取模块，用于获取虚拟信息指令；
目标物体确定模块，用于根据所述虚拟信息指令在真实场景图像中确定目标物体；
虚拟信息生成模块，用于生成对应所述目标物体的虚拟信息；
目标图像模块，用于识别所述目标物体的物体边缘，并将所述虚拟信息定位至所述物体边缘，得到真实场景和虚拟信息结合的目标图像；其中所述虚拟信息不遮挡所述目标物体。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的虚拟信息的生成方法。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的虚拟信息的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310906867.2A CN116630583A (zh) | 2023-07-24 | 2023-07-24 | 虚拟信息的生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310906867.2A CN116630583A (zh) | 2023-07-24 | 2023-07-24 | 虚拟信息的生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630583A true CN116630583A (zh) | 2023-08-22 |
Family
ID=87590640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310906867.2A Pending CN116630583A (zh) | 2023-07-24 | 2023-07-24 | 虚拟信息的生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630583A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805116A (zh) * | 2018-05-18 | 2018-11-13 | 浙江蓝鸽科技有限公司 | 图像文本检测方法及其系统 |
| CN111833458A (zh) * | 2020-06-30 | 2020-10-27 | 北京市商汤科技开发有限公司 | 图像显示方法及装置、设备、计算机可读存储介质 |
| CN113206971A (zh) * | 2021-04-13 | 2021-08-03 | 聚好看科技股份有限公司 | 一种图像处理方法及显示设备 |
| US11282404B1 (en) * | 2020-12-11 | 2022-03-22 | Central China Normal University | Method for generating sense of reality of virtual object in teaching scene |
| CN114584824A (zh) * | 2020-12-01 | 2022-06-03 | 阿里巴巴集团控股有限公司 | 数据处理方法、系统、电子设备、服务端及客户端设备 |
-
2023
- 2023-07-24 CN CN202310906867.2A patent/CN116630583A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805116A (zh) * | 2018-05-18 | 2018-11-13 | 浙江蓝鸽科技有限公司 | 图像文本检测方法及其系统 |
| CN111833458A (zh) * | 2020-06-30 | 2020-10-27 | 北京市商汤科技开发有限公司 | 图像显示方法及装置、设备、计算机可读存储介质 |
| CN114584824A (zh) * | 2020-12-01 | 2022-06-03 | 阿里巴巴集团控股有限公司 | 数据处理方法、系统、电子设备、服务端及客户端设备 |
| US11282404B1 (en) * | 2020-12-11 | 2022-03-22 | Central China Normal University | Method for generating sense of reality of virtual object in teaching scene |
| CN113206971A (zh) * | 2021-04-13 | 2021-08-03 | 聚好看科技股份有限公司 | 一种图像处理方法及显示设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037281B2 (en) | Image fusion method and device, storage medium and terminal | |
| CN107862315B (zh) | 字幕提取方法、视频搜索方法、字幕分享方法及装置 | |
| EP3358298B1 (en) | Building height calculation method and apparatus, and storage medium | |
| CN106228548B (zh) | 一种屏幕裂痕的检测方法及装置 | |
| US9361731B2 (en) | Method and apparatus for displaying video on 3D map | |
| KR20160119221A (ko) | 이미징 디바이스에서의 사진 구도 및 포지션 안내 | |
| CN104463855B (zh) | 一种基于频域和空域结合的显著区域检测方法 | |
| CN111582085A (zh) | 单据拍摄图像识别方法及装置 | |
| CN104680532B (zh) | 一种对象标注方法及装置 | |
| CN105303514A (zh) | 图像处理方法和装置 | |
| EP4033458A2 (en) | Method and apparatus of face anti-spoofing, device, storage medium, and computer program product | |
| WO2018102880A1 (en) | Systems and methods for replacing faces in videos | |
| CN110348496A (zh) | 一种人脸图像融合的方法及系统 | |
| CN106682652B (zh) | 基于增强现实的结构表面病害巡检和分析方法 | |
| CN114168052A (zh) | 多图显示方法、装置、设备及存储介质 | |
| CN111222432A (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
| CN111652140A (zh) | 基于深度学习的题目精准分割方法、装置、设备和介质 | |
| CN113221767B (zh) | 训练活体人脸识别模型、识别活体人脸的方法及相关装置 | |
| WO2014206274A1 (en) | Method, apparatus and terminal device for processing multimedia photo-capture | |
| CN116630583A (zh) | 虚拟信息的生成方法、装置、电子设备及存储介质 | |
| CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
| CN112446817A (zh) | 图片融合方法及装置 | |
| CN116862920A (zh) | 一种人像分割方法、装置、设备及介质 | |
| CN113486941B (zh) | 直播图像的训练样本生成方法、模型训练方法及电子设备 | |
| CN111258408B (zh) | 一种用于人机交互的对象边界确定方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |